什么是 Serge ？

Serge 是基于 llama.cpp 運(yùn)行 Alpaca 模型的聊天界面。完全自托管，不需要 API 密鑰。適合 4GB RAM 并且能在 CPU 上運(yùn)行。

什么是 LLaMA ?

LLaMA 是一種機(jī)器學(xué)習(xí)算法，全稱為 Laplacian Regularized Least Squares for Multiple Kernel Learning。它是一種多核學(xué)習(xí)方法，可以用于處理多個(gè)核函數(shù)的數(shù)據(jù)集，以提高分類或回歸的準(zhǔn)確性。LLaMA 算法利用拉普拉斯正則化技術(shù)來平衡不同核函數(shù)的貢獻(xiàn)，從而提高分類或回歸的性能。LLaMA 算法已經(jīng)在許多領(lǐng)域得到了廣泛的應(yīng)用，包括生物信息學(xué)、圖像識別、自然語言處理等。

什么是 llama.cpp

llama.cpp 是在 C/C++ 中移植的 Facebook 的 LLaMA 模型。

什么是 Alpaca 模型 ？

Alpaca 模型是一種基于深度學(xué)習(xí)的自然語言處理模型，它可以用于文本分類、情感分析、問答系統(tǒng)等任務(wù)。Alpaca 模型采用了一種特殊的網(wǎng)絡(luò)結(jié)構(gòu)，稱為“路徑卷積神經(jīng)網(wǎng)絡(luò)”（ Path Convolutional Neural Network，PCNN），該網(wǎng)絡(luò)結(jié)構(gòu)可以同時(shí)處理詞序列和句法樹，從而提高了模型的性能。此外，Alpaca 模型還使用了一種叫做“自適應(yīng)注意力”（ Adaptive Attention）的機(jī)制，可以自動地調(diào)整不同單詞的權(quán)重，從而更好地捕捉句子的意義。Alpaca 模型已經(jīng)在多個(gè)自然語言處理任務(wù)上取得了優(yōu)秀的表現(xiàn)，成為了該領(lǐng)域中的一個(gè)重要研究方向之一。

老蘇試了下，4GB 內(nèi)存有點(diǎn)夠嗆，尤其是你的群暉還跑了其他的服務(wù)，如果有 8GB可以試試，不需要 GPU 還是不錯(cuò)的，雖然運(yùn)算速度慢點(diǎn)

注意事項(xiàng)

CPU

目前 Serge 需要與 AVX2 指令兼容的 CPU ，老蘇猜測應(yīng)該是因?yàn)?MongoDB 的緣故。官方給的檢測命令是：

# 檢測 cpu 是否支持 AVX2
lscpu | grep avx2

但是在群暉上，并沒有 lscpu，所以老蘇咨詢了 ChatGPT ，他給老蘇提供了下面的命令， 請用SSH 客戶端登錄到群暉后，在命令行中運(yùn)行

# 檢測 cpu 是否支持 AVX2
cat /proc/cpuinfo | grep avx2

如果輸出包含 avx2，則表示您的 CPU 支持 AVX2。如果未找到 avx2，則表示您的 CPU 不支持 AVX2。

內(nèi)存

如果您的模型沒有足夠的可用內(nèi)存，llama 就會崩潰，下面是官方提供的數(shù)據(jù)：

• 7B 需要大約 4.5GB 的空閑 RAM
• 13B 需要大約 12GB 的空閑RAM
• 30B 需要大約 20GB 的空閑RAM

安裝

ghcr.io 鏡像下載

官方的鏡像沒有發(fā)布在 docker hub，而是在 ghcr.io，所以直接用命令行來安裝。

在 SSH 客戶端中依次執(zhí)行下面的命令

# 下載鏡像
docker pull ghcr.io/nsarrazin/serge:latest

如果沒有科學(xué)上網(wǎng)，很可能會拉不動，可以試試 docker 代理網(wǎng)站：https://dockerproxy.com/，但是會多幾個(gè)步驟

# 如果拉不動的話加個(gè)代理
docker pull ghcr.dockerproxy.com/nsarrazin/serge:latest

# 重命名鏡像（如果是通過代理下載的）
docker tag ghcr.dockerproxy.com/nsarrazin/serge:latest ghcr.io/nsarrazin/serge:latest

# 刪除代理鏡像（如果是通過代理下載的）
docker rmi ghcr.dockerproxy.com/nsarrazin/serge:latest

當(dāng)然代理網(wǎng)站也不是什么時(shí)候都好使，有時(shí)候也會報(bào)錯(cuò)，例如下面??這樣的

Error response from daemon: received unexpected HTTP status: 500 Internal Server Error

所以有一個(gè)穩(wěn)定的科學(xué)上網(wǎng)環(huán)境還是很重要的

docker cli 安裝

現(xiàn)在可以開始運(yùn)行了

# 新建文件夾 serge 和 子目錄
mkdir -p /volume2/docker/serge/{data,weights}

# 進(jìn)入 serge 目錄
cd /volume2/docker/serge

# 運(yùn)行容器
docker run -d \
   --restart unless-stopped \
   --name serge \
   -p 8018:8008 \
   -v $(pwd)/data:/data/db \
   -v $(pwd)/weights:/usr/src/app/weights \
   ghcr.io/nsarrazin/serge:latest

docker compose 安裝

也可以用 docker-compose 安裝，將下面的內(nèi)容保存為 docker-compose.yml 文件

version: '3'

services:
  serge:
    image: ghcr.io/nsarrazin/serge:latest
    container_name: serge
    restart: unless-stopped
    ports:
      - 8018:8008
    volumes:
      - ./data:/data/db
      - ./weights:/usr/src/app/weights
      - /etc/localtime:/etc/localtime:ro

然后執(zhí)行下面的命令

# 新建文件夾 serge 和 子目錄
mkdir -p /volume2/docker/serge/{data,weights}

# 進(jìn)入 serge 目錄
cd /volume2/docker/serge

# 將 docker-compose.yml 放入當(dāng)前目錄

# 一鍵啟動
docker-compose up -d

運(yùn)行

在瀏覽器中輸入 http://群暉IP:8018 就能看到主界面

首先要點(diǎn) Download model下載模型

老蘇下了 gpt4all ，文件大小和 7B 、7B-native 是一樣的，估摸著內(nèi)存占用應(yīng)該是一樣的，但具體有什么區(qū)別老蘇不清楚 ???♂?

下載速度挺快的，日志中看不到具體的下載地址

點(diǎn)左側(cè)的 Home 回到首頁

聊天之前，可以設(shè)置模型的參數(shù)，但是說實(shí)話，老蘇也不明白這些該如何設(shè)置，所以就保持了默認(rèn)的

點(diǎn)紫色的 Start a new chat 開始聊天

老蘇問了第一個(gè)問題 你支持中文嗎？

感覺一下就把天給聊死了，這接下來怎么聊呢？老蘇的英文水平也就能說個(gè) What's you name? 、How are you?、How old are you?

老蘇的機(jī)器是 4G 內(nèi)存的， CPU 也比較古老，所以每個(gè)問題都需要很長時(shí)間才會有應(yīng)答，差不多每個(gè)問題也就一頓飯的功夫吧 ??

昨晚裝好之后，第一個(gè)問題是中文的，其實(shí)難道也不大，但還是直接把機(jī)器給整的沒響應(yīng)了，早上起來一看重啟了，估計(jì)是資源耗盡了吧，有興趣的話，你也可以試試

參考文檔

nsarrazin/serge: A web interface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API.
地址：https://github.com/nsarrazin/serge

https://serge.chat
地址：https://serge.chat/

[P] Serge, a self-hosted app for running LLaMa models (Alpaca) entirely locally, no remote API needed. : MachineLearning
地址：https://www.reddit.com/r/MachineLearning/comments/11yvbzc/p_serge_a_selfhosted_app_for_running_llama_models/文章來源地址http://www.zghlxwxcb.cn/news/detail-498811.html

到了這里，關(guān)于Serge讓你在本地運(yùn)行LLaMa模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！