国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【ChatGLM】記錄一次Windows部署ChatGLM-6B流程及遇到的問(wèn)題

2年前作者：喝不完一杯咖啡分類(lèi)：Toy博客閱讀(25)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了【ChatGLM】記錄一次Windows部署ChatGLM-6B流程及遇到的問(wèn)題。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

部署環(huán)境

系統(tǒng)版本：Windows 10 企業(yè)版
版本號(hào)：20H2
系統(tǒng)類(lèi)型：64 位操作系統(tǒng), 基于 x64 的處理器
處理器：Intel? Core? i7-8700 CPU @ 3.20GHz 3.19 GHz
機(jī)帶 RAM：16.0 GB
顯卡：NVIDIA RTX 2070（8G）
Python版本：3.10.11

文件下載

文件分為兩個(gè)部分：

github上開(kāi)源的訓(xùn)練、推理、以及運(yùn)行demo、api的一些代碼文件
huggingface上的語(yǔ)言模型相關(guān)文件，主要包含官方訓(xùn)練好的大語(yǔ)言模型文件，以及模型文件對(duì)應(yīng)的一些配置文件，其中模型文件會(huì)很大，可以使用GIT LFS下載，或者直接上清華的網(wǎng)盤(pán)上下載，本文使用的是從網(wǎng)盤(pán)下載，配置文件直接clone即可，clone前設(shè)置GIT_LFS_SKIP_SMUDGE=1，可跳過(guò)大文件的下載，只下載模型文件之外的配置文件。

項(xiàng)目文件

git clone https://github.com/THUDM/ChatGLM-6B.git

安裝依賴：

cd ChatGLM-6B

pip install -r requirements.txt

模型配置文件

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

模型文件

chatglm-6b：（只有chatglm-6b)

https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

其他：（包含chatglm-6b-int4、chatglm-6b-int8…）

https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

按需下載，下載后替換至上一步中下載的chatglm-6b目錄下。

注：下載之后，需要對(duì)比每個(gè)文件大小，如果有文件不完整，將運(yùn)行失敗

模型文件必須要和配置文件配套下載，否則運(yùn)行不成功

文件保存位置：

D:\ChatGLM-6B\ChatGLM-6B\THUDM\chatglm-6b

$runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI時(shí)代,AI,ChatGLM,人工智能,大語(yǔ)言模型$

下載完成之后，修改第5、6行：將參數(shù)文件路徑換為本地的

$runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI時(shí)代,AI,ChatGLM,人工智能,大語(yǔ)言模型$

運(yùn)行demo

$runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI時(shí)代,AI,ChatGLM,人工智能,大語(yǔ)言模型$

python web_demo.py

$runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI時(shí)代,AI,ChatGLM,人工智能,大語(yǔ)言模型$

遇到的問(wèn)題

RuntimeError: Internal: D:\a\sentencepiece\sentencepiece\src\sentencepiece_processor.cc(1102) [model_proto->ParseFromArray(serialized.data(), serialized.size())]

Traceback (most recent call last):

  File "D:\ChatGLM-6B\ChatGLM-6B\web_demo.py", line 5, in <module>

    tokenizer = AutoTokenizer.from_pretrained("D:\\ChatGLM-6B\\ChatGLM-6B\\THUDM\\chatglm-6b", trust_remote_code=True, revision="")

  File "D:\python3.10\lib\site-packages\transformers\models\auto\tokenization_auto.py", line 679, in from_pretrained

    return tokenizer_class.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs)

  File "D:\python3.10\lib\site-packages\transformers\tokenization_utils_base.py", line 1804, in from_pretrained

    return cls._from_pretrained(

  File "D:\python3.10\lib\site-packages\transformers\tokenization_utils_base.py", line 1958, in _from_pretrained

    tokenizer = cls(*init_inputs, **init_kwargs)

  File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 221, in __init__

    self.sp_tokenizer = SPTokenizer(vocab_file, num_image_tokens=num_image_tokens)

  File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 64, in __init__

    self.text_tokenizer = TextTokenizer(vocab_file)

  File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 22, in __init__

    self.sp.Load(model_path)

  File "D:\python3.10\lib\site-packages\sentencepiece\__init__.py", line 905, in Load

    return self.LoadFromFile(model_file)

  File "D:\python3.10\lib\site-packages\sentencepiece\__init__.py", line 310, in LoadFromFile

    return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg)

RuntimeError: Internal: D:\a\sentencepiece\sentencepiece\src\sentencepiece_processor.cc(1102) [model_proto->ParseFromArray(serialized.data(), serialized.size())]

解決：對(duì)比下載的所有配置文件，是否有不完整的文件，執(zhí)行命令：GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b 時(shí)，有個(gè)2mb左右的文件，沒(méi)有成功下載：ice_text.model

AssertionError: Torch not compiled with CUDA enabled

原因是你試圖用GPU跑，但是你安裝的 Torch 不支持CUDA，是僅支持CPU的版本，執(zhí)行命令：
```
python -c "import torch; print(torch.cuda.is_available())"
```
如果返回False，說(shuō)明安裝的PyTorch不支持CUDA。
1. 更新顯卡驅(qū)動(dòng)為最新的（官方驅(qū)動(dòng) | NVIDIA）
2. 下載安裝cuda_toolkit（https://developer.nvidia.com/cuda-toolkit）<這一步尚未驗(yàn)證是否必須>
3. 重啟電腦
4. 執(zhí)行命令安裝torch：
```
pip install torch==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html
```
（第一次沒(méi)有操作2、3步，沒(méi)有成功，第二次安裝了toolkit后重啟好了，但不能確定這兩步是否有效，可以先忽略這兩步，不行再嘗試）

? 需要下載一個(gè)2.6G的文件，安裝完成后，print(torch.cuda.is_available())為T(mén)rue，大功告成。

? 可以在Previous PyTorch Versions | PyTorch 查看自己的顯卡CUDA版本對(duì)應(yīng)的torch版本，如果沒(méi)找到，可以嘗試一個(gè)最接近的比實(shí)際小的版本。

查看CUDA版本：

$runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI時(shí)代,AI,ChatGLM,人工智能,大語(yǔ)言模型$

或者直接執(zhí)行命令：nvidia-smi 查看

$runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI時(shí)代,AI,ChatGLM,人工智能,大語(yǔ)言模型$ 文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-807868.html

這個(gè)配置運(yùn)行非量化的chatglm-6b，響應(yīng)很慢很慢，重新下載chatglm-6b-Int4的模型文件和配置文件部署后，速度正常了。

到了這里，關(guān)于【ChatGLM】記錄一次Windows部署ChatGLM-6B流程及遇到的問(wèn)題的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

ChatGLM2-6B在windows下的部署
1、Windows 10 專業(yè)版， 64位，版本號(hào)：22H2，內(nèi)存：32GB 2、已安裝CUDA11.3 3、已安裝Anaconda3 64bit版本 4、有顯卡NVIDIA GeForce RTX 3060 Laptop GPU 1、進(jìn)入Anaconda Powershell Prompt 2、創(chuàng)建保存chatglm2-6b的huggingface模型的公共目錄。之所以創(chuàng)建一個(gè)公共目錄，是因?yàn)檫@個(gè)模型文件是可以被各種應(yīng)用
2024年02月13日
瀏覽(35)
ChatGLM2-6B! 我跑通啦！本地部署+微調(diào)（windows系統(tǒng)）
記錄一下此時(shí)此刻，2023年7月8日22點(diǎn)04，從ChatGLM2-6B在7月4日開(kāi)放了ptuning到此時(shí)此刻，ChatGLM2-6B的微調(diào)終于被哥們跑通了！從本地部署ChatGLM2-6B 到本地進(jìn)行P-tuning微調(diào) ，再到最后的模型檢測(cè) ，哥們?nèi)芡耍?這里非常感謝ChatGLM2-6B｜開(kāi)源本地化語(yǔ)言模型這篇博客！因?yàn)槲也贾?/p>
2024年02月16日
瀏覽(22)
Windows下cpu部署運(yùn)行清華大學(xué)ChatGLM-6B語(yǔ)言模型（詳解）
ChatGLM-6B 清華大學(xué)實(shí)現(xiàn)的一個(gè)開(kāi)源的、支持中英雙語(yǔ) 、支持圖像理解的對(duì)話語(yǔ)言模型。它基于
2024年02月12日
瀏覽(18)
記錄使用nginx部署靜態(tài)資源流程，以及遇到的訪問(wèn)靜態(tài)資源404問(wèn)題
將網(wǎng)站靜態(tài)資源（HTML，JavaScript，CSS，img等文件）與后臺(tái)應(yīng)用分開(kāi)部署實(shí)現(xiàn) 動(dòng)靜分離，提高用戶訪問(wèn)靜態(tài)代碼的速度，降低對(duì)后臺(tái)應(yīng)用訪問(wèn)，減輕后臺(tái)服務(wù)器的壓力。這里我選擇放在了 html文件夾下，（也可以放在和html文件夾同級(jí)，或其它位置打開(kāi) conf文件夾打開(kāi)總配置文
2024年02月08日
瀏覽(26)
記錄一次Linux下ChatGLM部署過(guò)程
本地化的GPT就是香，就是有點(diǎn)費(fèi)錢(qián)。項(xiàng)目地址：https://github.com/THUDM/ChatGLM-6B 由于本地電腦顯卡都不行，所以我租了AutoDL的一臺(tái)算力服務(wù)器。 Tesla T4 16G 顯存，56GB內(nèi)存，符合我們跑ChatGLM的配置。其實(shí)本來(lái)這臺(tái)服務(wù)器是其他用途，跑vits的，所以選擇了so-vits-svc4的鏡像，這類(lèi)的
2024年02月09日
瀏覽(19)
chatglm——從部署到訓(xùn)練全流程&&你遇到的錯(cuò)誤都在這里。
自然語(yǔ)言訓(xùn)練似乎一夜之間就被chatgpt帶火了。而因?yàn)槲覀冃枰鲎匀徽Z(yǔ)言訓(xùn)練開(kāi)發(fā)，所以就找了清華大學(xué)的chatglm來(lái)開(kāi)發(fā)。在部署中我們遇到了很多的問(wèn)題，當(dāng)然也是各種百度去解決。最終功夫不負(fù)有心人，我們嘗試了各種方法，完成了整體的訓(xùn)練。下面我就把完整的流程和
2024年02月06日
瀏覽(21)
ChatGLM2-6B模型推理流程和模型架構(gòu)詳解
提示：文章寫(xiě)完后，目錄可以自動(dòng)生成，如何生成可參考右邊的幫助文檔因?yàn)楸救嗽谧龃竽Ｐ蛢?yōu)化方面的研究，之前拆了ChatGLM2的源代碼，看看能從哪些地方深入。結(jié)果剛拆完沒(méi)多久，昨天，也就是10 月 27 日，智譜 AI 在 2023 中國(guó)計(jì)算機(jī)大會(huì)(CNCC)上發(fā)布了自研第三代對(duì)話大模
2024年02月03日
瀏覽(30)
記一次windows11安裝hashcat遇到的問(wèn)題
解壓后在目錄下打開(kāi)cmd輸入 hashcat.exe -h 正確的話會(huì)看到類(lèi)似于下圖的幫助菜單因?yàn)槲蚁胍平鈝ifi密碼，所以提前將轉(zhuǎn)換的.hccap文件放在了同級(jí)目錄下執(zhí)行命令：hashcat -m 2500 -a 3 wpahash.hccap ?d?d?d?d?d?d?d?d 發(fā)現(xiàn)如下報(bào)錯(cuò)信息：解決方法：下載安裝對(duì)應(yīng)版本的CUDA：CUDA Toolkit 12.
2024年02月01日
瀏覽(43)
ChatGLM-6B阿里云部署
重點(diǎn)關(guān)注指標(biāo)：CPU、內(nèi)存、GPU、GPU驅(qū)動(dòng)? 類(lèi)型 OS CPU 內(nèi)存 GPU 機(jī)器配置 ubuntu_20_04_x64 16核 125G NVIDIA A100 80G ? git git-lfs(大文件管理) python 3.10.7(如果已經(jīng)安裝了python其他版本，不用再安裝此版本) 下載解壓源碼此時(shí)終端內(nèi)輸入: python -V 出現(xiàn) Python 3.10.7表示python安裝成功。下載模型
2024年02月11日
瀏覽(15)
ChatGLM2-6B 部署
這是ChatGLM2-6B 部署的閱讀筆記，主要介紹了ChatGLM2-6B模型的部署和一些原理的簡(jiǎn)單解釋。它是單卡開(kāi)源的對(duì)話模型。充分的中英雙語(yǔ)預(yù)訓(xùn)練較低的部署門(mén)檻 FP16半精度下，需要至少13G的顯存進(jìn)行推理，甚至可以進(jìn)一步降低到10G(INT8)和6G(INT4) 更長(zhǎng)的序列長(zhǎng)度 ChatGLM-6B 序列長(zhǎng)度達(dá)
2024年02月09日
瀏覽(27)