国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<sup id="p5qu8"></sup><style id="p5qu8"><progress id="p5qu8"><bdo id="p5qu8"></bdo></progress></style>

mac M系列芯片安裝chatGLM3-6b模型

2年前作者：晚點(diǎn)吧分類(lèi)：Toy博客閱讀(59)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了mac M系列芯片安裝chatGLM3-6b模型。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

1 環(huán)境安裝

1.1 mac安裝conda.

下載miniconda，并安裝

curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.sh
sh Miniconda3-latest-MacOSX-arm64.sh

1.2 創(chuàng)建虛擬環(huán)境并激活

創(chuàng)建名為chatglm3的虛擬環(huán)境，python版本為3.10.2
激活環(huán)境（后續(xù)要在這個(gè)環(huán)境安裝pytorch及依賴包）

conda create -n chatglm3 python==3.10.2
conda activate chatglm3

1.3 安裝pytorch-nightly

conda install pytorch torchvision torchaudio -c pytorch-nightly

1.4 下載chatglm3 代碼

1 下載地址，git地址：https://github.com/THUDM/ChatGLM3
2 進(jìn)入代碼中，安裝依賴包

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3-main
pip install -r requirement.txt

2 模型下載

推薦使用方式3下載，可以下載任意開(kāi)源大模型，且速度飛快，沒(méi)有墻限制

方式1: 直接在huggingface官網(wǎng)下載（國(guó)內(nèi)比較難）

https://huggingface.co/dwdcth/chatglm3-6b-int4

方式2 使用國(guó)內(nèi)鏡像

https://hf-mirror.com/dwdcth/chatglm3-6b-int4

方式3

使用modelscope下載
https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary
安裝魔塔依賴
pip install modelscope -U
代碼中的路徑即為要下載的模型，可以自行選擇模型下載（mac 16G推薦下載int4）
model_dir = snapshot_download(‘ZhipuAI/chatglm3-6b’, revision=‘v1.0.1’)
模型默認(rèn)保存路徑為家目錄下， ~/.cache/modelscope/hub/ZhipuAI/ChatGLM3-6B/

1 安裝依賴
pip install modelscope -U

2 使用代碼下載
from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

3 模型使用

1 修改web_demo2.py中的device為"mps"
DEVICE = ‘mps’
如果測(cè)試cli_demo.py文件，修改如下代碼，模型需要時(shí)float()類(lèi)型的，不然會(huì)報(bào)錯(cuò)。(不過(guò)好像還沒(méi)有用到mps，待測(cè)試)
DEVICE = ‘mps’
model = AutoModel.from_pretrained(TOKENIZER_PATH, trust_remote_code=True).float()

# web_demo2.py 運(yùn)行
streamlit run basic_demo/web_demo2.py

4 模型web展示

streamlit run basic_demo/web_demo2.py

macbookpro chatglm3,算法工程化,大模型,chatglm,魔塔社區(qū) 文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-787273.html

到了這里，關(guān)于mac M系列芯片安裝chatGLM3-6b模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

CP03大語(yǔ)言模型ChatGLM3-6B特性代碼解讀（1）
對(duì)話模式、工具模式、代碼解釋器模式例程閱讀理解。 ChatGLM3-6B已經(jīng)進(jìn)行了中文場(chǎng)景的訓(xùn)練，可以直接運(yùn)用于中文場(chǎng)景。本次學(xué)習(xí)的示例，提供了三種模式。包括： Chat: 對(duì)話模式，在此模式下可以與模型進(jìn)行對(duì)話； Tool: 工具模式，模型除了對(duì)話外，還可以通過(guò)工具進(jìn)行其他
2024年02月22日
瀏覽(23)
開(kāi)源模型應(yīng)用落地-chatglm3-6b-gradio-入門(mén)篇（七）
? ? 早前的文章，我們都是通過(guò)輸入命令的方式來(lái)使用Chatglm3-6b模型?，F(xiàn)在，我們可以通過(guò)使用gradio，通過(guò)一個(gè)界面與模型進(jìn)行交互。這樣做可以減少重復(fù)加載模型和修改代碼的麻煩，讓我們更方便地體驗(yàn)?zāi)Ｐ偷男Ч?? ? 是一個(gè)用于構(gòu)建交互式界面的Python庫(kù)。它使得在Py
2024年04月26日
瀏覽(68)
解鎖大語(yǔ)言模型LLM對(duì)話潛力：ChatGLM3-6B的多輪對(duì)話實(shí)踐與深入探索
隨著人工智能技術(shù)的飛速發(fā)展，多輪對(duì)話系統(tǒng)已成為自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn)。多輪對(duì)話要求模型不僅能理解用戶的當(dāng)前輸入，還需結(jié)合對(duì)話歷史進(jìn)行連貫回復(fù)，這對(duì)模型的上下文理解和生成能力提出了更高要求。ChatGLM3-6B作為一種先進(jìn)的大型語(yǔ)言模型，在多輪對(duì)話任務(wù)
2024年02月22日
瀏覽(24)
LLM大語(yǔ)言模型（三）：使用ChatGLM3-6B的函數(shù)調(diào)用功能前先學(xué)會(huì)Python的裝飾器
目錄 ChatGLM3-6B的函數(shù)調(diào)用模式示例本地啟動(dòng)ChatGLM3-6B工具模式如何在ChatGLM3-6B里新增一個(gè)自定義函數(shù)呢？ get_weather基于Python的裝飾器實(shí)現(xiàn) 函數(shù)注解@register_tool 現(xiàn)在我們來(lái)自定義一個(gè)kuakuawo()函數(shù) ChatGLM3-6B目前有三種使用模式：對(duì)話模式工具模式（也就是本文要介紹的函數(shù)調(diào)用
2024年01月25日
瀏覽(30)
從零開(kāi)始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫(kù)（二）
接上文：從零開(kāi)始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫(kù) Langchain-chatchat 0.2.10 推薦使用python3.11.7，通過(guò)下面命令進(jìn)行python環(huán)境創(chuàng)建。如下圖安裝完畢后，通過(guò)以下命令激活python虛擬環(huán)境如下圖，shell命令行前面會(huì)出現(xiàn)（langchain）這個(gè)虛擬環(huán)境名。轉(zhuǎn)到
2024年03月21日
瀏覽(32)
從零開(kāi)始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫(kù)（完結(jié)篇）
相關(guān)文章：從零開(kāi)始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫(kù)（一） https://blog.csdn.net/hya168/article/details/131460230 從零開(kāi)始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知識(shí)庫(kù)（二） https://blog.csdn.net/hya168/article/details/135870440 生成默認(rèn)配置文件此命令
2024年02月20日
瀏覽(21)
【本地大模型部署與微調(diào)】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
本文檔詳細(xì)介紹了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知識(shí)庫(kù)，成功的在本地搭建了一個(gè)大模型。此外，還利用LLaMA-Factory進(jìn)行了大模型的微調(diào)。 1.ChatGLM3-6b 2.m3e 3.One-API 4.Fastgpt 5.LLaMA-Factory 1.1創(chuàng)建騰訊云服務(wù)器注意: ChatGLM3-6b的大模型40多個(gè)G,購(gòu)買(mǎi)騰訊
2024年03月22日
瀏覽(33)
基于MacBook Pro M1芯片運(yùn)行chatglm2-6b大模型
ChatGLM2-6B代碼地址 chatglm2-6b模型地址 Mac M1芯片部署 ChatGLM2-6B 是開(kāi)源中英雙語(yǔ)對(duì)話模型 ChatGLM-6B 的第二代版本，在保留了初代模型對(duì)話流暢、部署門(mén)檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，ChatGLM2-6B 引入了如下新特性：更強(qiáng)大的性能。更長(zhǎng)的上下文。更高效的推理。更開(kāi)放的協(xié)
2024年01月25日
瀏覽(23)
ChatGLM3-6B的本地api調(diào)用
1.運(yùn)行openai_api_demo路徑下的openai_api.py 啟動(dòng)后界面：注意：本地api調(diào)到的前提是——本地部署了ChatGLM3-6B,本地部署的教程可參考： 20分鐘部署ChatGLM3-6B 部署了若CUDA可用，默認(rèn)會(huì)以CUDA方式運(yùn)行，占用顯存約5.9G；若CUDA不可用，則會(huì)以內(nèi)存方式進(jìn)行加載，官方稱(chēng)CPU調(diào)用需要32G內(nèi)存
2024年01月21日
瀏覽(37)
使用vLLM和ChatGLM3-6b批量推理
當(dāng)數(shù)據(jù)量大的時(shí)候，比如百萬(wàn)級(jí)別，使用 ChatGLM3-6b 推理的速度是很慢的。發(fā)現(xiàn)使用 vLLM 和 ChatGLM3-6b 批量推理極大的提高了推理效率。本文主要通過(guò)一個(gè)簡(jiǎn)單的例子進(jìn)行實(shí)踐。除了 Python（本文使用 3.11）、CUDA（本文使用 11.8）外，還要安裝 vllm、pytorch、xformers 等庫(kù)，特別注意
2024年02月04日
瀏覽(30)

<pre id="m67sa"><label id="m67sa"></label></pre>

<tbody id="m67sa"></tbody>