注冊(cè)算力平臺(tái)（驅(qū)動(dòng)云平臺(tái)）

1.平臺(tái)注冊(cè)

平臺(tái)注冊(cè)鏈接：
https://growthdata.virtaicloud.com/t/SA

2.查看算力

注冊(cè)完成后，點(diǎn)擊右上角：費(fèi)用中心，可查看領(lǐng)取的算力。

3.進(jìn)入平臺(tái)中心

https://platform.virtaicloud.com/

部署ChatGLM3-6B模型

ChatGLM3 是智譜AI和清華大學(xué) KEG 實(shí)驗(yàn)室聯(lián)合發(fā)布的新一代對(duì)話預(yù)訓(xùn)練模型。
推理速度比上一代提高了很多，雖然本教程有兩種啟動(dòng)方式，但教程作者強(qiáng)烈推薦使用streamlit體驗(yàn)，效果極佳。

1.創(chuàng)建項(xiàng)目

• 創(chuàng)建好賬號(hào)之后，進(jìn)入自己的空間，點(diǎn)擊右上角的創(chuàng)建項(xiàng)目。

• 給項(xiàng)目起一個(gè)你喜歡的名稱，選擇添加鏡像
  
• 鏡像選擇pytorch2.0.1，Conda3.9
  
• 選擇預(yù)訓(xùn)練模型，點(diǎn)擊公開(kāi)，選擇不要蔥姜蒜上傳的這個(gè)ChtaGLM3-6B模型。
  
• 都選完之后，點(diǎn)擊右下角的創(chuàng)建，代碼選擇暫不上傳。待會(huì)直接clone代碼。
  
• 點(diǎn)擊運(yùn)行代碼
  
• 資源配置選擇：B1.large， 24G的顯存足夠加載模型了。其他的不需要設(shè)置，然后點(diǎn)擊右下角的開(kāi)始運(yùn)行。
  

2.配置環(huán)境

• 等右邊兩個(gè)工具全部加載完畢之后，再點(diǎn)擊JupyterLab進(jìn)入開(kāi)發(fā)環(huán)境~

• 進(jìn)入界面之后是這樣的，然后點(diǎn)擊這個(gè)小加號(hào)。
  
• 點(diǎn)擊terminal，進(jìn)入終端。
  

設(shè)置鏡像源、克隆項(xiàng)目

• 升級(jí)apt，安裝unzip

apt-get update && apt-get install unzip

• 設(shè)置鏡像源，升級(jí)pip

git config --global url.“https://gitclone.com/”.insteadOf https://
pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip

• 克隆項(xiàng)目，并進(jìn)入項(xiàng)目目錄

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

修改requirements

• 雙擊左側(cè)的requirements.txt文件，把其中的torch刪掉，因?yàn)槲覀兊沫h(huán)境中已經(jīng)有torch了，避免重復(fù)下載浪費(fèi)時(shí)間【注意：刪除之后要保存文件，可以使用快捷鍵Ctrl+S或者點(diǎn)擊左上角的File，再點(diǎn)擊保存】。
  
• 點(diǎn)擊左上選項(xiàng)卡，重新返回終端，安裝依賴，依賴安裝完畢后還需要安裝peft

pip install -r requirements.txt
pip install peft

3.修改web_demo_gradio.py代碼

1、修改模型目錄

• 雙擊basic_demo 編輯web_demo_gradio.py，將加載模型的路徑修改為：/gemini/pretrain，如下圖所示

2、修改啟動(dòng)代碼

• 接下來(lái)還需要修改一段啟動(dòng)代碼，將滾動(dòng)條拉到最后一行，啟動(dòng)代碼修改為如下~

demo.queue().launch(share=False, server_name=“0.0.0.0”,server_port=7000)

3、添加外部端口映射

• 在界面的右邊添加外部端口：7000
  

4、運(yùn)行g(shù)radio界面

• 點(diǎn)擊左上選項(xiàng)卡，重新返回終端，運(yùn)行web_demo_gradio.py

cd basic_demo
python web_demo_gradio.py

• 等待模型慢慢加載完畢，可能需要個(gè)五六分鐘叭保持一點(diǎn)耐心 ~
  

5、訪問(wèn)gradio頁(yè)面

• 加載完畢之后，復(fù)制外部訪問(wèn)的連接，到瀏覽器打打開(kāi)

4.修改web_demo_streamlit.py代碼

如果你運(yùn)行了gradio，需要先殺掉這個(gè)進(jìn)程，不然內(nèi)存不夠。
CTRL+C 可以殺掉進(jìn)程~
殺掉進(jìn)程之后，顯存不會(huì)立刻釋放，可以觀察右邊的GPU內(nèi)存占用，查看顯存釋放情況。

1、修改模型目錄

• 雙擊basic_demo 編輯web_demo_streamlit.py，將加載模型的路徑修改為：/gemini/pretrain，如下圖所示~
  

2、運(yùn)行streamlit界面

• 點(diǎn)擊左上選項(xiàng)卡，重新返回終端，運(yùn)行web_demo_stream.py并指定7000端口，這樣就不用再次添加外部端口映射啦~

streamlit run web_demo_streamlit.py --server.port 7000

3、訪問(wèn)streamlit界面

• 復(fù)制外部訪問(wèn)地址到瀏覽器打開(kāi)，之后模型才會(huì)開(kāi)始加載。等待模型記載完畢~
  
• 以下是模型在加載時(shí)Streamlit的畫面，在工作臺(tái)中看到加載完成后刷新即可正常使用。
  
• 加載成功后工作臺(tái)后端畫面

用免費(fèi)GPU部署自己的stable-diffusion

1.創(chuàng)建項(xiàng)目

1. 進(jìn)入趨動(dòng)云用戶工作臺(tái)，選擇：當(dāng)前空間，請(qǐng)確保當(dāng)前所在空間是注冊(cè)時(shí)系統(tǒng)自動(dòng)生成的空間。
   注：非系統(tǒng)自動(dòng)生成的空間，沒(méi)有贈(zèng)送的算力金
2. 點(diǎn)擊：快速創(chuàng)建，選擇創(chuàng)建項(xiàng)目，創(chuàng)建新項(xiàng)目。
3. 填寫相關(guān)的項(xiàng)目信息，其中鏡像選擇如下。
   
   4.數(shù)據(jù)集選擇如下。
   
   5.待項(xiàng)目信息完善后，鏡像和數(shù)據(jù)集選擇完畢之后，點(diǎn)擊 “創(chuàng)建”。
   
4. 彈出的上傳代碼對(duì)話框，選擇 “暫不上傳”。

2. 初始化開(kāi)發(fā)環(huán)境實(shí)例

之后找到最右側(cè) “開(kāi)發(fā)”-> “初始化開(kāi)發(fā)環(huán)境實(shí)例”

按照下圖進(jìn)行選擇

運(yùn)行初始化中，等待約 5-10 分鐘，當(dāng)右側(cè)的 網(wǎng)頁(yè)終端 和 JupyterLab 不再是灰色時(shí)，表明工具注入成功。此時(shí)您便可在此開(kāi)發(fā)環(huán)境上通過(guò)工具進(jìn)行模型調(diào)優(yōu)，詳情可參見(jiàn)下一步。

3. 部署模型

初始化完畢，點(diǎn)擊下圖所示右側(cè) “網(wǎng)頁(yè)終端”

依次輸入以下4串命令就可以啦，注意每一次命令輸入之后要等它運(yùn)行完畢之后再輸入下一條指令，建議復(fù)制命令而不是手動(dòng)輸入，容易出現(xiàn)遺漏空格或者路徑出錯(cuò)的情況（網(wǎng)頁(yè)終端無(wú)法使用Ctrl+C復(fù)制和Ctrl+V粘貼，可以鼠標(biāo)在頁(yè)面點(diǎn)擊右鍵，然后選擇“復(fù)制”或者“粘貼”）。

1、解壓代碼及模型

tar xf /gemini/data-1/stable-diffusion-webui.tar -C /gemini/code/

2、解壓配置文件到隱藏目錄/root/.cache

tar xf /gemini/data-1/cache.tar -C /root/ （文件位置可能發(fā)生變化，如果報(bào)錯(cuò)請(qǐng)刪除該行）

3、拷貝frpc內(nèi)網(wǎng)穿透文件 （注意有兩行 -> 兩條指令）

cp /gemini/data-1/frpc_linux_amd64 /root/miniconda3/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2 （文件位置可能發(fā)生變化，如果報(bào)錯(cuò)請(qǐng)刪除該行）
chmod +x /root/miniconda3/lib/python3.10/site-packages/gradio/frpc_linux_amd64_v0.2

4、拷貝模型文件到項(xiàng)目目錄下

cp /gemini/data-1/v1-5-pruned-emaonly.safetensors /gemini/code/stable-diffusion-webui/

5、更新系統(tǒng)httpx依賴

pip install httpx==0.24.1

6、運(yùn)行項(xiàng)目

cd /gemini/code/stable-diffusion-webui && python launch.py --deepdanbooru --share --xformers --listen

當(dāng)命令窗口出現(xiàn)如下兩個(gè)網(wǎng)址時(shí)表示部署成功，可以復(fù)制右側(cè)的外部訪問(wèn)網(wǎng)址訪問(wèn)webui

訪問(wèn)這個(gè)網(wǎng)址就可以直接使用啦

4. 體驗(yàn)自己的stable diffusion

登錄進(jìn)去之后輸入prompt提示詞

(masterpiece),(best quality),(Realistic photos),a cute girl, war a cap, headphones, summer, sunset, mountain road, flowers, nice weather, healing sense, detailed, half-length shot, anime style, 8k

注意：體驗(yàn)完后，一定要停止項(xiàng)目運(yùn)轉(zhuǎn)。一定要停止項(xiàng)目運(yùn)轉(zhuǎn)。一定要停止項(xiàng)目運(yùn)轉(zhuǎn)。不然會(huì)一直消耗GPU資源。

參考資料：https://datawhaler.feishu.cn/docx/BwjzdQPJRonFh8xeiSOcRUI3n8b文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-841529.html

到了這里，關(guān)于大模型學(xué)習(xí)筆記（一）：部署ChatGLM模型以及stable-diffusion模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！