国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

免費(fèi)部署一個開源大模型 MOSS

這篇具有很好參考價值的文章主要介紹了免費(fèi)部署一個開源大模型 MOSS。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

2023年初,ChatGPT 人工智能對話模型火爆全球,僅兩個月的時間就突破一億月活用戶,成為有史以來應(yīng)用速度最快的技術(shù)之一。

ChatGPT 的大熱引發(fā)了全球科技巨頭之間的“軍備競賽”,中國本土的“中國版 ChatGPT ”也隨之展開了激烈角逐。在中國多家科技公司中,百度于3月上線的對話 AI 產(chǎn)品“文心一言”最先開火。

近日復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)研發(fā)的大語言模型 MOSS 也已公開發(fā)布并開源。MOSS 的公開發(fā)布無疑加劇了國內(nèi) ChatGPT 式產(chǎn)品的競爭。

MOSS 是什么?

免費(fèi)部署一個開源大模型 MOSS

MOSS 是一個支持中英雙語和多種插件的開源對話語言模型,moss-moon系列模型具有160億參數(shù),在 FP16 精度下可在單張 A100/A800 或兩張 3090 顯卡運(yùn)行,在 INT4/8 精度下可在單張 3090 顯卡運(yùn)行。MOSS 基座語言模型在約七千億中英文以及代碼單詞上預(yù)訓(xùn)練得到,后續(xù)經(jīng)過對話指令微調(diào)、插件增強(qiáng)學(xué)習(xí)和人類偏好訓(xùn)練具備多輪對話能力及使用多種插件的能力。

申請服務(wù)器

這里使用阿里云免費(fèi)的 GPU 服務(wù)器進(jìn)行部署,免費(fèi)試用活動頁 https://free.aliyun.com/ 。

只要沒有申請過 PAI-DSW 資源的新老用戶皆可申請 5000CU 的免費(fèi)額度,3個月內(nèi)使用。

免費(fèi)部署一個開源大模型 MOSS

點(diǎn)擊試用,完成注冊、實(shí)名、領(lǐng)取產(chǎn)品后進(jìn)入如下頁面。

免費(fèi)部署一個開源大模型 MOSS

創(chuàng)建工作空間并授權(quán)。

免費(fèi)部署一個開源大模型 MOSS

授權(quán)完成,前往默認(rèn)工作空間。

免費(fèi)部署一個開源大模型 MOSS

創(chuàng)建交互式建模(DWS)實(shí)例。

免費(fèi)部署一個開源大模型 MOSS

輸入實(shí)例名稱,就叫它 550W 吧~,GPU 選擇 A10 或者 V100 都行,這倆是支持資源包抵扣的,其他的不支持,這里注意!V100 性能更好,但我們測試使用沒必要,就選 A10 就行,A10 顯卡每小時消耗6.991計(jì)算時,如果不關(guān)機(jī)持續(xù)使用大概可以使用30天。

免費(fèi)部署一個開源大模型 MOSS

數(shù)據(jù)集是可選的,如果想閑時關(guān)機(jī)建議使用數(shù)據(jù)集,可以把數(shù)據(jù)保存,不然每次關(guān)機(jī)后啟動都得重新部署。

免費(fèi)部署一個開源大模型 MOSS

選擇鏡像 URL,填入與地區(qū)對應(yīng)的鏡像地址。

杭州地域:dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

北京地域:dsw-registry-vpc.cn-beijing.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

上海地域:dsw-registry-vpc.cn-shanghai.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

深圳地域:dsw-registry-vpc.cn-shenzhen.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

免費(fèi)部署一個開源大模型 MOSS

然后點(diǎn)擊下一步,耐心等待實(shí)例創(chuàng)建,這個過程還是比較耗時的。

部署 MOSS

實(shí)例創(chuàng)建成功后,點(diǎn)擊打開,進(jìn)入控制臺。

免費(fèi)部署一個開源大模型 MOSS

進(jìn)入下面這個頁面后,點(diǎn)擊 “Terminal” 進(jìn)入命令行。

免費(fèi)部署一個開源大模型 MOSS

1、下載倉庫內(nèi)容到本地

# git clone ``https://github.com/OpenLMLab/MOSS.git

免費(fèi)部署一個開源大模型 MOSS

2、進(jìn)入MOSS文件夾

# cd MOSS

3、修改 requirements.txt

torch==1.10.1 改為 torch==1.13.1

免費(fèi)部署一個開源大模型 MOSS

4、安裝依賴

# pip install -r requirements.txt

5、修改moss_cli_demo.py文件第 31 至 33 行

model = load_checkpoint_and_dispatch(
    raw_model, model_path, device_map="auto", no_split_module_classes=["MossBlock"], dtype=torch.float16, max_memory={0: "18GiB", "cpu": "26GiB"}
)

免費(fèi)部署一個開源大模型 MOSS

6、啟動服務(wù),第一次啟動需要下載模型,耐心等待

# python moss_cli_demo.py

免費(fèi)部署一個開源大模型 MOSS

等待一段時間后,出現(xiàn)以下對話框就是安裝成功了,你就可以跟MOSS對話啦~

免費(fèi)部署一個開源大模型 MOSS

總結(jié)

MOSS 的公開無異于宣告與百度對話模型的“正面競爭”,這場人工智能的“決戰(zhàn)”注定轟動一時。未來幾個月, ChatGPT 式對話產(chǎn)品將在中國大行其道,而 MOSS 和“文心一言”的 PK 則成為行業(yè)和公眾最關(guān)心的話題。這場競賽的結(jié)果,將對中國在人工智能領(lǐng)域的地位產(chǎn)生重大影響。人工智能時代的創(chuàng)新,正在以前所未有的速度在中國大陸蔓延。

MOSS 和“文心一言”的競逐,只是 AI 產(chǎn)業(yè)發(fā)展的序章。隨著競爭不斷升級,未來的 AI 產(chǎn)品將更加智能,技術(shù)創(chuàng)新更加頻繁。中國終將在這場科技革命的浪潮中,占領(lǐng)一席之地。文章來源地址http://www.zghlxwxcb.cn/news/detail-462955.html

到了這里,關(guān)于免費(fèi)部署一個開源大模型 MOSS的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 一個開源免費(fèi)功能強(qiáng)大的Chatgpt Web程序 搭建自己的Chatgpt機(jī)器人

    一個開源免費(fèi)功能強(qiáng)大的Chatgpt Web程序 搭建自己的Chatgpt機(jī)器人

    ChatGPT Web Midjourney Proxy 是我用過的幾款ChatGPT Web程序當(dāng)中我覺得最好用的一款,還支持midjourney的圖片生成 ai換臉和很多的ChatGPT store。 ? 原chatgpt web 所有功能 ? chatgpt web 支持自定義api key、base_url ? midjourney 文生圖 ? midjourney 墊圖+文生圖 ? midjourney 圖變 U1到U4 、 V1到V4、重繪

    2024年03月23日
    瀏覽(31)
  • 三個開源大模型(chatglm2-6B, moss, llama)-chatglm2的測試

    chatglm2-6B 是清華大學(xué)開源的一款支持中英雙語的對話語言模型。經(jīng)過了 1.4T 中英標(biāo)識符的預(yù)訓(xùn)練與人類偏好對齊訓(xùn)練,具有62 億參數(shù)的 ChatGLM2-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答。結(jié)合模型量化技術(shù),用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署(INT4 量化級別下最低只需 6G

    2024年02月11日
    瀏覽(43)
  • 類ChatGPT的部署與微調(diào)(下):從ChatGLM、MOSS到ChatDoctor、可商用

    類ChatGPT的部署與微調(diào)(下):從ChatGLM、MOSS到ChatDoctor、可商用

    隨著『GPT4多模態(tài)/Microsoft?365?Copilot/Github?Copilot?X/ChatGPT插件』的推出,絕大部分公司的技術(shù)?產(chǎn)品?服務(wù),以及絕大部分人的工作都將被革新一遍 類似iPhone的誕生?大家面向iOS編程?有了App?Store 現(xiàn)在有了ChatGPT插件/GPT應(yīng)用商店,以后很多公司?很多人面向GPT編程(很快技術(shù)人員

    2024年02月01日
    瀏覽(18)
  • 類ChatGPT的部署與微調(diào)(下):從GLM、ChatGLM到MOSS、ChatDoctor、可商用

    類ChatGPT的部署與微調(diào)(下):從GLM、ChatGLM到MOSS、ChatDoctor、可商用

    隨著『GPT4多模態(tài)/Microsoft?365?Copilot/Github?Copilot?X/ChatGPT插件』的推出,絕大部分公司的技術(shù)?產(chǎn)品?服務(wù),以及絕大部分人的工作都將被革新一遍 類似iPhone的誕生?大家面向iOS編程?有了App?Store 現(xiàn)在有了ChatGPT插件/GPT應(yīng)用商店,以后很多公司?很多人面向GPT編程(很快技術(shù)人員

    2024年02月04日
    瀏覽(43)
  • ChatGPT和Bard太貴,介紹8個免費(fèi)開源的大模型解決方案!

    ChatGPT和Bard太貴,介紹8個免費(fèi)開源的大模型解決方案!

    8個開源的ChatGPT和Bard的替代方案,帶你發(fā)現(xiàn)更多廣泛使用的開源框架和模型。 微信搜索關(guān)注《Python學(xué)研大本營》,加入讀者群,分享更多精彩 LLaMA項(xiàng)目包含了一組基礎(chǔ)語言模型,其規(guī)模從70億到650億個參數(shù)不等。這些模型在數(shù)以百萬計(jì)的token上進(jìn)行訓(xùn)練,而且它完全在公開的

    2024年02月14日
    瀏覽(46)
  • Vicuna- 一個類 ChatGPT開源 模型

    Meta 開源 LLaMA(大羊駝)系列模型為起點(diǎn),研究人員逐漸研發(fā)出基于LLaMA的Alpaca(羊駝)、Alpaca-Lora、Luotuo(駱駝)等輕量級類 ChatGPT 模型并開源。 google提出了一個新的模型:Vicuna(小羊駝)。該模型基于LLaMA,參數(shù)量13B。Vicuna-13B 通過微調(diào) LLaMA 實(shí)現(xiàn)了高性能的對話生成 Vicun

    2024年02月04日
    瀏覽(16)
  • 本地部署 Chatbot UI,一個開源的 ChatGPT UI

    本地部署 Chatbot UI,一個開源的 ChatGPT UI

    Chatbot UI 是一個用于 AI 模型的開源聊天 UI。適用于 OpenChat 模型。 畫面效果展示如下, https://github.com/imoneoi/openchat-ui 安裝 nvm, 激活 nvm, 安裝 node, 克隆代碼, 安裝依賴項(xiàng), 創(chuàng)建配置文件, 啟動應(yīng)用, 訪問應(yīng)用,使用瀏覽器打開 http://localhost:3000/, Environment Variable Default

    2024年02月16日
    瀏覽(19)
  • AI模型部署記錄(一)-ChatGLM:清華開源本地部署(2023/05/06更新)

    文章首發(fā)及后續(xù)更新:https://mwhls.top/4500.html,無圖/無目錄/格式錯誤/更多相關(guān)請至首發(fā)頁查看。 新的更新內(nèi)容請到mwhls.top查看。 歡迎提出任何疑問及批評,非常感謝! 服務(wù)部署匯總 本來這篇是為了打比賽寫的,寫著寫著發(fā)現(xiàn)兩個問題,AI部署連續(xù)幾篇,等我比賽打完再發(fā)模

    2024年02月03日
    瀏覽(60)
  • 本地免費(fèi)GPT4?Llama 2開源大模型,一鍵部署且無需硬件要求教程

    本地免費(fèi)GPT4?Llama 2開源大模型,一鍵部署且無需硬件要求教程

    ????????目前扎克布格帶來了最新的Llama 2開源NLP大模型,目前有三個版本分別是70億參數(shù)量,130億參數(shù)量和700億參數(shù)量,龐大的數(shù)據(jù)集和參數(shù)量保證了模型的強(qiáng)大,官網(wǎng)宣稱性能與gpt4相比不落下風(fēng),又因?yàn)殚_源使得我們可以實(shí)現(xiàn)本地化gpt4的夢想并且免費(fèi)!我們可以通過微

    2024年02月11日
    瀏覽(26)
  • 【Docker】快速部署 ChatGPT Next Web,一鍵免費(fèi)部署你的私人 ChatGPT 網(wǎng)頁應(yīng)用,支持 GPT3, GPT4 & Gemini Pro 模型。

    【Docker】快速部署 ChatGPT Next Web,一鍵免費(fèi)部署你的私人 ChatGPT 網(wǎng)頁應(yīng)用,支持 GPT3, GPT4 & Gemini Pro 模型。

    ChatGPT Next Web 可以一鍵免費(fèi)部署你的私人 ChatGPT 網(wǎng)頁應(yīng)用,支持 GPT3, GPT4 Gemini Pro 模型。你無需任何復(fù)雜的配置,只需幾行命令就可以完成部署。我們將通過 Docker 來部署這個應(yīng)用。 下載 Docker 鏡像 首先,我們需要從 Docker Hub 下載 ChatGPT 應(yīng)用的 Docker 鏡像。 Docker 版本需要在

    2024年03月10日
    瀏覽(95)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包