国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

使用開(kāi)源通義千問(wèn)模型（Qwen）搭建自己的大模型服務(wù)

2年前作者：昵稱(chēng)不能為null分類(lèi)：Toy博客閱讀(30)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了使用開(kāi)源通義千問(wèn)模型（Qwen）搭建自己的大模型服務(wù)。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

目標(biāo)

1、使用開(kāi)源的大模型服務(wù)搭建屬于自己的模型服務(wù)；

2、調(diào)優(yōu)自己的大模型；

選型

采用通義千問(wèn)模型，https://github.com/QwenLM/Qwen

步驟

1、下載模型文件

開(kāi)源模型庫(kù)：https://www.modelscope.cn/models

mkdir -p /data/qwen
cd /data/qwen
git clone --depth 1 https://www.modelscope.cn/qwen/Qwen-14B-Chat.git
# 小內(nèi)存機(jī)器下載1.8B參數(shù)的，14B需要幾十內(nèi)存
# git clone --depth 1 https://www.modelscope.cn/qwen/Qwen-1_8B-Chat.git

2、下載使用docker 鏡像

docker pull qwenllm/qwen

3、啟動(dòng)腳本

https://github.com/QwenLM/Qwen/blob/main/docker/docker_web_demo.sh

# 修改如下內(nèi)容
IMAGE_NAME=qwenllm/qwen
QWEN_CHECKPOINT_PATH=/data/qwen/Qwen-14B-Chat
PORT=8000
CONTAINER_NAME=qwen

4、運(yùn)行

訪問(wèn)http://localhost:8080 即可

sh docker_web_demo.sh

輸出如下，可以查看容器日志是否報(bào)錯(cuò)。

Successfully started web demo. Open '...' to try!
Run `docker logs ...` to check demo status.
Run `docker rm -f ...` to stop and remove the demo.

效果

使用開(kāi)源通義千問(wèn)模型（Qwen）搭建自己的大模型服務(wù),通義千問(wèn),大模型

文檔參考

https://github.com/QwenLM/Qwen/blob/main/README_CN.md

常見(jiàn)問(wèn)題

1、運(yùn)行報(bào)錯(cuò)?

去掉docker_web_demo.sh中--gpus all

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

2、Error while deserializing header: HeaderTooLarge

先安裝yum install git-lfs 在下載模型文件，模型是git大文件管理，需要git-lfs的支持。

Traceback (most recent call last):
? File "web_demo.py", line 209, in <module>
? ? main()
? File "web_demo.py", line 203, in main
? ? model, tokenizer, config = _load_model_tokenizer(args)
? File "web_demo.py", line 50, in _load_model_tokenizer
? ? model = AutoModelForCausalLM.from_pretrained(
? File "/usr/local/lib/python3.8/dist-packages/transformers/models/auto/auto_factory.py", line 511, in from_pretrained
? ? return model_class.from_pretrained(
? File "/usr/local/lib/python3.8/dist-packages/transformers/modeling_utils.py", line 3091, in from_pretrained
? ? ) = cls._load_pretrained_model(
? File "/usr/local/lib/python3.8/dist-packages/transformers/modeling_utils.py", line 3456, in _load_pretrained_model
? ? state_dict = load_state_dict(shard_file)
? File "/usr/local/lib/python3.8/dist-packages/transformers/modeling_utils.py", line 458, in load_state_dict
? ? with safe_open(checkpoint_file, framework="pt") as f:
safetensors_rust.SafetensorError: Error while deserializing header: HeaderTooLarge

3、Cannot allocate memory

內(nèi)存不足，可以嘗試選擇1_8B小參數(shù)的模型。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-790964.html

到了這里，關(guān)于使用開(kāi)源通義千問(wèn)模型（Qwen）搭建自己的大模型服務(wù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶(hù)投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

通義千問(wèn)開(kāi)源了 720 億、70億、140億、Qwen-VL 四個(gè)大模型：實(shí)現(xiàn)“全尺寸、全模態(tài)”開(kāi)源
本心、輸入輸出、結(jié)果編輯：簡(jiǎn)簡(jiǎn)單單 Online zuozuo 地址：https://blog.csdn.net/qq_15071263 個(gè)人簡(jiǎn)介 : 簡(jiǎn)簡(jiǎn)單單Online zuozuo，目前主要從事 Java 相關(guān)工作，商業(yè)方向?yàn)?B、G 端，主要使用Java、Python 進(jìn)行日常開(kāi)發(fā)，喜歡探索各個(gè)方面的內(nèi)容，對(duì)很多的方向、內(nèi)容感興趣：目前對(duì) AIGC、云
2024年02月04日
瀏覽(30)
阿里云通義千問(wèn)開(kāi)源第二波！大規(guī)模視覺(jué)語(yǔ)言模型Qwen-VL上線魔搭社區(qū)
通義千問(wèn)開(kāi)源第二波！8月25日消息，阿里云推出大規(guī)模視覺(jué)語(yǔ)言模型Qwen-VL，一步到位、直接開(kāi)源。Qwen-VL以通義千問(wèn)70億參數(shù)模型Qwen-7B為基座語(yǔ)言模型研發(fā)，支持圖文輸入，具備多模態(tài)信息理解能力。在主流的多模態(tài)任務(wù)評(píng)測(cè)和多模態(tài)聊天能力評(píng)測(cè)中，Qwen-VL取得了遠(yuǎn)超同等規(guī)
2024年02月11日
瀏覽(26)
【通義千問(wèn)】大模型Qwen GitHub開(kāi)源工程學(xué)習(xí)筆記（5）-- 模型的微調(diào)【全參數(shù)微調(diào)】【LoRA方法】【Q-LoRA方法】
本文介紹了使用微調(diào)技術(shù)進(jìn)行自然語(yǔ)言生成的方法。通過(guò)使用transformers庫(kù)中的AutoModelForCausalLM和AutoTokenizer，可以在多節(jié)點(diǎn)環(huán)境下進(jìn)行微調(diào)。你需要將所有樣本放到一個(gè)列表中并存入json文件中。每個(gè)樣本對(duì)應(yīng)一個(gè)字典，包含id和conversation，其中后者為一個(gè)列表。示例如下所示：
2024年01月23日
瀏覽(29)
初步體驗(yàn)通過(guò) Semantic Kernel 與自己部署的通義千問(wèn)開(kāi)源大模型進(jìn)行對(duì)話
春節(jié)之前被 Semantic Kernel 所吸引，開(kāi)始了解它，學(xué)習(xí)它。在寫(xiě)這篇博文之前讀了一些英文博文，順便在這里分享一下： Intro to Semantic Kernel – Part One Intro to Semantic Kernel – Part Two Build a custom Copilot experience with your private data using and Kernel Memory Semantic Kernel: The New Way to Create Artific
2024年02月19日
瀏覽(25)
玩一玩通義千問(wèn)Qwen開(kāi)源版，Win11 RTX3060本地安裝記錄！
大概在兩天前，阿里做了一件大事兒。就是開(kāi)源了一個(gè)低配版的通義千問(wèn)模型--通義千問(wèn)-7B-Chat。這應(yīng)該是國(guó)內(nèi)第一個(gè)大廠開(kāi)源的大語(yǔ)言模型吧。雖然是低配版，但是在各類(lèi)測(cè)試?yán)锩娑挤浅Ｄ艽颉?官方介紹： Qwen-7B是基于Transformer的大語(yǔ)言模型, 在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)
2024年02月13日
瀏覽(24)
【通義千問(wèn)】繼ChatGPT爆火后，阿里云的大模型“通義千問(wèn)”它終于來(lái)了
通義千問(wèn) 顧名思義，通順流暢的語(yǔ)句可以回答成千上萬(wàn)的問(wèn)題。這個(gè)名字來(lái)源于兩個(gè)方面： “ 通義 ”意味著該模型具有廣泛的知識(shí)和普適性，可以理解和回答各種領(lǐng)域的問(wèn)題。作為一個(gè)大型預(yù)訓(xùn)練語(yǔ)言模型，“通義千問(wèn)”在訓(xùn)練過(guò)程中學(xué)習(xí)了大量的文本數(shù)據(jù)，從而具備了跨
2023年04月13日
瀏覽(52)
通義千問(wèn)Qwen模型運(yùn)行異常解決記錄：FlashAttention only supports Ampere GPUs or newer
通過(guò)langchain調(diào)用Qwen/Qwen-1_8B-Chat模型時(shí)，對(duì)話過(guò)程中出現(xiàn)報(bào)錯(cuò)提示：很疑惑，其他LLM模型都能正常運(yùn)行，唯獨(dú)Qwen不行。查了很多資料，眾說(shuō)紛紜，未解決。于是仔細(xì)看報(bào)錯(cuò)信息，最后一行報(bào)錯(cuò)說(shuō) File “/root/anaconda3/envs/chatchat/lib/python3.10/site-packages/langchain_community/chat_models/ope
2024年01月21日
瀏覽(25)
【大模型】0.5B的大模型通義千問(wèn)1.5-0.5B-Chat來(lái)了！！
Qwen1.5是Qwen2的測(cè)試版，這是一個(gè)基于轉(zhuǎn)換器的純解碼器語(yǔ)言模型，在大量數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練。與之前發(fā)布的Qwen相比，改進(jìn)之處包括：顯著改善了人類(lèi)對(duì)聊天模型的偏好；對(duì)基本模式和聊天模式的多語(yǔ)言支持；穩(wěn)定支持32K上下文長(zhǎng)度，適用于各種尺寸的模型不需要trust_r
2024年02月20日
瀏覽(24)
通義千問(wèn) - Code Qwen能力算法賽道季軍方案
在23年最后一月，我們團(tuán)隊(duì) VScode 參加了天池通義千問(wèn)AI挑戰(zhàn)賽 - Code Qwen能力算法賽道，經(jīng)過(guò)初賽和復(fù)賽的評(píng)測(cè)，我們最后取得季軍的成績(jī)，團(tuán)隊(duì)成員來(lái)自中科院計(jì)算所、B站等單位，在這里非常感謝隊(duì)友的努力付出，下面是一些我們參加比賽的歷程和方案分享，歡迎大家討論和
2024年01月21日
瀏覽(26)
llama.cpp部署通義千問(wèn)Qwen-14B
llama.cpp是當(dāng)前最火熱的大模型開(kāi)源推理框架之一，支持了非常多的LLM的量化推理，生態(tài)比較完善，是個(gè)人學(xué)習(xí)和使用的首選。最近阿里開(kāi)源了通義千問(wèn)大語(yǔ)言模型，在眾多榜單上刷榜了，是當(dāng)前最炙手可熱的開(kāi)源中文大語(yǔ)言模型。今天在github上看到前幾天llama.cpp已經(jīng)支持Qwe
2024年02月03日
瀏覽(29)