一，演示
私人部署地址：http://ilovechatgpt.cn。
免費使用！無限調(diào)用！速度還蠻快呢。
二，ChatGLM介紹
官方地址：https://github.com/THUDM/ChatGLM-6B
ChatGLM-6B 是一個開源的、支持中英雙語的對話語言模型，由基于清華大學(xué) KEG 實驗室與智譜 AI 于 2023 年聯(lián)合訓(xùn)練，可以針對用戶的問題和要求提供適當(dāng)?shù)拇饛?fù)和支持。
它基于 General Language Model 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費級的顯卡上進(jìn)行本地部署（具體的部署條件看下章）。 ChatGLM-6B 使用了和 ChatGPT 相似的技術(shù)，針對中文問答和對話進(jìn)行了優(yōu)化。經(jīng)過約 1T 標(biāo)識符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋自助、人類反饋強化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答。
特點：
- 開源
- 支持中文（國內(nèi)很少有支持中文的開源模型）
- 低成本部署（兼容CPU）
- 具有記憶功能
三，部署條件
經(jīng)過測試，推薦還是GPU部署，CPU運行的話運行時占用的資源更多，并且速度實在太慢了，自己單獨使用的話也不能忍受這么慢的速度。GPU的生成速度才能滿足使用的體驗。
內(nèi)存不夠啟動項目的話，進(jìn)程會被自動kill掉。而且模型啟動后占用的現(xiàn)存是遠(yuǎn)遠(yuǎn)低于需要的現(xiàn)存的，比如說，我用GPU部署的無量化的ChatGLM2-6B模型，正常來說需要13GB顯存，但我完全啟動后，只占用了4GB。
四，手把手教你搭建
1. 安裝git
# centos 操作系統(tǒng)
yum install git
# ubuntu 操作系統(tǒng)
apt-get update
apt install git
2. 克隆地址到本地
git clone https://github.com/THUDM/ChatGLM-6B
# 進(jìn)入項目文件夾
cd ChatGLM-6B
實在很慢的話，直接去gitee上面搜ChatGLM-6B，找最新的，有很多人把它搬到gitee作為鏡像項目。
3. 進(jìn)入項目，克隆模型文件
模型文件的作用是作為訓(xùn)練集，項目能夠本地加載該模型文件并將其用于預(yù)測新的自然語言文本。模型文件決定我們能有怎么樣的輸出結(jié)果。
可以根據(jù)上面部署條件的需求，來選擇項目。我這里以 chatglm2-6b 來部署。
# 注意！后面一定要加上.git。
git clone https://huggingface.co/THUDM/chatglm2-6b.git
路徑下就會有ChatGLM2-6B的文件夾，我們進(jìn)入到里面
cd chatglm2-6b
你會發(fā)現(xiàn)模型很大，但是一下子就clone完了，是因為大文件是存儲到lfs上面的，需要我們用到git的lfs工具來進(jìn)行下載。當(dāng)然，你也可以手動下載后，然后拷貝到服務(wù)器上，不過太麻煩，不推薦。
4. git lfs工具安裝（已安裝的話跳過）
centos安裝命令
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
sudo yum install git-lfs
git lfs install
ubuntu安裝命令
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
5. 克隆模型大文件
git lfs pull
模型文件都很大，下載時間很久，我建議在晚上的時候，使用如下命令，這樣睡一覺，全部都已經(jīng)下載好了。
# nohup 讓程序后臺運行，使其不受終端會話的影響而持續(xù)運行
nohup git lfs pull &
6. 運行web_demo.py
我建議把模型文件夾名字換成model，畢竟容易理解
# 進(jìn)入到項目文件夾內(nèi)部
cd ChatGLM-6B
# 改模型名字
mv chatglm2-6b model
修改官方樣例代碼
vim web_demo.py
model為模型路徑，也就是剛剛改的。
.cuda() 意味用GPU運行，如果沒有GPU，換成 .float() 用CPU運行就可以
- server_name參數(shù)指定能夠訪問的ip，默認(rèn)不寫的話是只能本地127.0.0.1訪問
- server_port參數(shù)指定web服務(wù)端口
- share代表是否讓huggingface給你生成一個公網(wǎng)地址，別人能通過該公網(wǎng)地址直接訪問。默認(rèn)只能使用72小時。
7. 結(jié)果
五，補充
還可以通過命令行窗口交互，運行python cli_demo.py文件
nohup python cli_demo.py &
通過模型生成post接口，供其余后臺應(yīng)用直接調(diào)用
nohup python api.py &
文章來源：http://www.zghlxwxcb.cn/news/detail-604673.html
歡迎關(guān)注我的公眾號！??文章來源地址http://www.zghlxwxcb.cn/news/detail-604673.html
到了這里，關(guān)于【ChatGLM】手把手教你云服務(wù)器部署ChatGLM聊天網(wǎng)站，不限次數(shù)調(diào)用。的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
