大語言模型（LLM）現(xiàn)在非常流行，可惜ChatGPT等都不開源。大家沒法搭建一個自己的環(huán)境來感受以下。幸好Meta開源了LLama，這是LLama的介紹：
https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
具體技術(shù)細節(jié)請看論文：
LLaMA: Open and Efficient Foundation Language Models
以 Meta 開源 LLaMA（直譯為「大羊駝」）系列模型為起點，斯坦福大學(xué)等機構(gòu)的研究人員先后在其上進行「二創(chuàng)」，開源了基于 LLaMA 的 Alpaca（羊駝）、Alpaca-Lora、Luotuo（駱駝）等輕量級類 ChatGPT 模型，大大降低了這類模型的研究、應(yīng)用門檻，訓(xùn)練、推理成本一再降低。
近日，來自加州大學(xué)伯克利分校、卡內(nèi)基梅隆大學(xué)、斯坦福大學(xué)、加州大學(xué)圣迭戈分校的研究者們又提出了一個新的模型 ——Vicuna（小羊駝）。這個模型也是基于 LLaMA，不過用到的是 13B 參數(shù)量的版本。
這個項目有趣的地方在于，作者在評測環(huán)節(jié)并沒有通過某種「標(biāo)準(zhǔn)化考試」來測定模型性能（因為他們認為這些問題測不出模型在對話中的變通能力），而是讓 GPT-4 當(dāng)「考官」，看看 GPT-4 更傾向于 Vicuna-13B 還是其他基線模型的答案。結(jié)果顯示，GPT-4 在超過 90% 的問題中更傾向于 Vicuna，并且 Vicuna 在總分上達到了 ChatGPT 的 92%。
經(jīng)過他們優(yōu)化后，大家也可以在自己的CPU環(huán)境上體驗一下了。
LLama共有4種模型：
一般的筆記本也就只能玩得起7B和13B兩種了。下面是我在CPU環(huán)境上的搭建過程。
模型下載地址：
eachadea/ggml-vicuna-13b-4bit · Hugging Face
運行程序可以使用LLAMA.cpp, github地址：
https://github.com/ggerganov/llama.cpp
可以直接下載編譯后的程序：
https://github.com/ggerganov/llama.cpp/releases
隨便選一個編譯的解壓（我用的llama-master-698f7b5-bin-win-avx2-x64.zip）并把模型文件放在同一個目錄下
然后為了方便每次使用，寫一個bat文件，內(nèi)容如下:
@echo off
".\main.exe" -ins -m .\ggml-vicuna-13b-4bit-rev1.bin直接執(zhí)行這個Bat文件或者命令行執(zhí)行這個命令都行。
效果如圖：
文章來源：http://www.zghlxwxcb.cn/news/detail-421835.html
7B的與13B的類似，就不重復(fù)說了。文章來源地址http://www.zghlxwxcb.cn/news/detail-421835.html
到了這里，關(guān)于建立自己的ChatGPT：LLama私有化部署及測試的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
