推薦一個(gè)C#大模型推理開源項(xiàng)目，讓你輕松駕馭私有化部署！
01 項(xiàng)目簡介
LLama是Meta發(fā)布的一個(gè)免費(fèi)開源的大模型，是一個(gè)有著上百億數(shù)量級參數(shù)的大語言模型，支持CPU和GPU兩種方式。
而LLamaSharp就是針對llama.cpp封裝的C#版本，讓方便我們基于C#開發(fā)應(yīng)用，讓我們不需要自己編譯llama.cpp。它的性能接近llama.cpp，支持Windows、Linux和MAC。
02 項(xiàng)目結(jié)構(gòu)
該項(xiàng)目提供了多種Web、WebAPI、控制臺等多個(gè)Demo版本。
03 使用方法
1、安裝依賴
Install-Package LLamaSharp
2、演示源碼
using LLama.Common;
using LLama;
string modelPath = "..\\LLama.Unittest\\Models\\llama-2-7b-chat.Q4_0.gguf";
var?prompt?=?"?I?want?a?C?#?function?to?do?binary?search?of?an?array?,?please?show?me?the?code.";?//提示詞
// 加載模型
var parameters = new ModelParams(modelPath)
{
ContextSize = 1024,
Seed = 1337,
GpuLayerCount = 5
};
using var model = LLamaWeights.LoadFromFile(parameters);
// 初始化聊天會話
using var context = model.CreateContext(parameters);
var ex = new InteractiveExecutor(context);
ChatSession session = new ChatSession(ex);
// 顯示提示
Console.WriteLine();
Console.Write(prompt);
// 循環(huán)運(yùn)行推理以與LLM聊天
while (prompt != "stop")
{
foreach (var text in session.Chat(prompt, new InferenceParams() { Temperature = 0.6f, AntiPrompts = new List<string> { "User:" } }))
{
Console.Write(text);
}
prompt = Console.ReadLine();
}
// 保存會話
session.SaveSession("SavedSessionPath");
3、效果
04 項(xiàng)目地址
https://github.com/SciSharp/LLamaSharp
更多開源項(xiàng)目： https://github.com/bianchenglequ/NetCodeTop
- End -
推薦閱讀
Helix Toolkit：為.NET開發(fā)者帶來的3D視覺盛宴
10個(gè)基于.Net開發(fā)的Windows開源軟件項(xiàng)目
毀掉一個(gè)程序員的6個(gè)方法
推薦10個(gè).Net通用權(quán)限管理開源項(xiàng)目文章來源：http://www.zghlxwxcb.cn/news/detail-768960.html
基于.NET的強(qiáng)大文件格式開源轉(zhuǎn)換工具文章來源地址http://www.zghlxwxcb.cn/news/detail-768960.html
到了這里，關(guān)于C#開源項(xiàng)目：私有化部署LLama推理大模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
