LlamaGPT一個(gè)自托管、離線、類似 ChatGPT 的聊天機(jī)器人，由 Llama 2 提供支持。100% 私密，不會(huì)有任何數(shù)據(jù)離開你的設(shè)備。
推薦：用 NSDT編輯器 快速搭建可編程3D場(chǎng)景
1、如何安裝LlamaGPT
LlamaGPT可以安裝在任何x86或arm64系統(tǒng)上。
首先確保你已安裝 Docker。然后，克隆此存儲(chǔ)庫(kù)并 進(jìn)入目錄：
git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
現(xiàn)在可以使用以下任何模型運(yùn)行 LlamaGPT，具體取決于你的硬件：
| 模型大小 | 使用的模型 | 所需的最低 RAM | 如何啟動(dòng) LlamaGPT |
|---|---|---|---|
| 7B | Nous Hermes Llama 2 7B (GGML q4_0) | 8GB | docker compose up -d |
| 13B | Nous Hermes Llama 2 13B (GGML q4_0) | 16GB | docker compose -f docker-compose-13b.yml up -d |
| 70B | Meta Llama 2 70B Chat (GGML q4_0) | 48GB | docker compose -f docker-compose-70b.yml up -d |
可以通過(guò) http://localhost:3000 訪問(wèn) LlamaGPT。
要停止 LlamaGPT，請(qǐng)運(yùn)行：
docker compose down
2、基準(zhǔn)測(cè)試
我們?cè)谝韵掠布蠝y(cè)試了 LlamaGPT 模型，并使用默認(rèn)系統(tǒng)提示和用戶提示：“宇宙如何膨脹？” 溫度設(shè)置為 0 時(shí)保證確定性結(jié)果。 生成速度是前 10 代的平均值。
- Nous Hermes Llama 2 7B (GGML q4_0)
| 設(shè)備 | 生成速度 |
|---|---|
| M1 Max MacBook Pro (10 64GB RAM) | 8.2 令牌/秒 |
| Umbrel Home (16GB RAM) | 2.7 令牌/秒 |
| Raspberry Pi 4 (8GB RAM) | 0.9 令牌/秒 |
- Nous Hermes Llama 2 13B (GGML q4_0)
| 設(shè)備 | 生成速度 |
|---|---|
| M1 Max MacBook Pro (64GB RAM) | 3.7 令牌/秒 |
| Umbrel Home (16GB RAM) | 1.5 令牌/秒 |
- Meta Llama 2 70B 聊天 (GGML q4_0)
不幸的是，我們還沒(méi)有這個(gè)模型的任何基準(zhǔn)。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-659172.html
原文鏈接：LlamaGPT自托管chatbot — BimAnt文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-659172.html
到了這里，關(guān)于LlamaGPT -基于Llama 2的自托管類chatgpt聊天機(jī)器人的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
