国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè)

這篇具有很好參考價(jià)值的文章主要介紹了大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè)。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方,請(qǐng)大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

按照文檔操作:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt單卡跑完訓(xùn)練:大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

按照要求更改微調(diào)的數(shù)據(jù):

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

完成微調(diào)數(shù)據(jù)的腳本生成:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

修改配置文件:大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

替換好文件后啟動(dòng):大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

啟動(dòng)后終端如圖:大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

用于微調(diào)的一些數(shù)據(jù)顯示:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

訓(xùn)練時(shí)間,loss:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

可見(jiàn)模型是經(jīng)過(guò)微調(diào)數(shù)據(jù)反復(fù)糾正,慢慢被引導(dǎo)向微調(diào)設(shè)計(jì)者所想的方向:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

3個(gè)epoch完:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

參數(shù)轉(zhuǎn)換、合并:大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt更改路徑為現(xiàn)存的參數(shù):大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

用streamlit進(jìn)行啟動(dòng)模型,開(kāi)始對(duì)話:

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

但是有錯(cuò)誤 ,到DDL了。

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

加載完鏡像后再運(yùn)行,其他能顯示,圖片卻不能,心態(tài)小崩。

大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè),深度學(xué)習(xí),人工智能,AIGC,prompt

模型已經(jīng)微調(diào)完,圖片總是有問(wèn)題,如我的遠(yuǎn)程登錄一般無(wú)二。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-807109.html

到了這里,關(guān)于大模型實(shí)戰(zhàn)營(yíng)Day4 XTuner 大模型單卡低成本微調(diào)實(shí)戰(zhàn) 作業(yè)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來(lái)自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請(qǐng)注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • Pytorch-day09-模型微調(diào)-checkpoint

    torchvision微調(diào) timm微調(diào) 半精度訓(xùn)練 起源: 1、隨著深度學(xué)習(xí)的發(fā)展,模型的參數(shù)越來(lái)越大,許多開(kāi)源模型都是在較大數(shù)據(jù)集上進(jìn)行訓(xùn)練的,比如Imagenet-1k,Imagenet-11k等 2、如果數(shù)據(jù)集可能只有幾千張,訓(xùn)練幾千萬(wàn)參數(shù)的大模型,過(guò)擬合無(wú)法避免 3、如果我們想從零開(kāi)始訓(xùn)練一個(gè)

    2024年02月11日
    瀏覽(34)
  • Django Web開(kāi)發(fā)(day4)——數(shù)據(jù)模型使用與填充網(wǎng)站數(shù)據(jù)(對(duì)數(shù)據(jù)庫(kù)的基本操作)

    Django Web開(kāi)發(fā)(day4)——數(shù)據(jù)模型使用與填充網(wǎng)站數(shù)據(jù)(對(duì)數(shù)據(jù)庫(kù)的基本操作)

    本博客將會(huì)涉及:? Django 數(shù)據(jù)模型的使用 視頻數(shù)據(jù)的導(dǎo)入 admin 后臺(tái)的使用? 1、Django 數(shù)據(jù)模型的使用? 在上一篇中完成了網(wǎng)站的數(shù)據(jù)模型的創(chuàng)建,在數(shù)據(jù)模型創(chuàng)建之后, Django 會(huì)為我們的數(shù)據(jù)模型創(chuàng)建一套數(shù)據(jù)庫(kù)抽象的 API 接口,以供我們進(jìn)行檢索數(shù)據(jù)、創(chuàng)建數(shù)據(jù)、更新和修

    2024年01月18日
    瀏覽(36)
  • 【LLM】Prompt tuning大模型微調(diào)實(shí)戰(zhàn)

    【LLM】Prompt tuning大模型微調(diào)實(shí)戰(zhàn)

    prompt tuning可看做是prefix tuning的簡(jiǎn)化版本,在輸入層加入prompt tokens,并不需要加入MLP進(jìn)行調(diào)整來(lái)解決難訓(xùn)練的問(wèn)題,作者實(shí)驗(yàn)表明隨著預(yù)訓(xùn)練模型參數(shù)量的增加,prompt tuning效果逼近fine tuning效果 之前提到過(guò)可以借助 peft 庫(kù)(Parameter-Efficient Fine-Tuning)進(jìn)行微調(diào),支持如下tuni

    2024年02月13日
    瀏覽(26)
  • 【LLM】金融大模型場(chǎng)景和大模型Lora微調(diào)實(shí)戰(zhàn)

    【LLM】金融大模型場(chǎng)景和大模型Lora微調(diào)實(shí)戰(zhàn)

    金融行業(yè)需要垂直領(lǐng)域LLM,因?yàn)榇嬖诮鹑诎踩蛿?shù)據(jù)大多數(shù)存儲(chǔ)在本地,在風(fēng)控、精度、實(shí)時(shí)性有要求 (1)500億參數(shù)的BloombergGPT BloombergGPT金融大模型也是用transformer架構(gòu),用decoder路線, 構(gòu)建目前規(guī)模最大的金融數(shù)據(jù)集FINPILE,對(duì)通用文本+金融知識(shí)的混合訓(xùn)練。 用了512塊40

    2024年02月12日
    瀏覽(17)
  • GPT實(shí)戰(zhàn)系列-如何用自己數(shù)據(jù)微調(diào)ChatGLM2模型訓(xùn)練

    廣告文案生成模型 輸入文字 :類型#裙 顏色#藍(lán)色 風(fēng)格#清新*圖案#蝴蝶結(jié) 輸出文案 :裙身處采用立體蝴蝶結(jié)裝飾輔以藍(lán)色條帶點(diǎn)綴,令衣身造型飽滿富有層次的同時(shí)為其注入一絲甜美氣息。將女孩清新嬌俏的一面襯托而出。 訓(xùn)練和測(cè)試數(shù)據(jù)組織: 數(shù)據(jù)可以從 下載鏈接,t

    2024年02月06日
    瀏覽(18)
  • Gemma谷歌(google)開(kāi)源大模型微調(diào)實(shí)戰(zhàn)(fintune gemma-2b/7b)

    Gemma谷歌(google)開(kāi)源大模型微調(diào)實(shí)戰(zhàn)(fintune gemma-2b/7b)

    Gemma-SFT(谷歌, Google), gemma-2b/gemma-7b微調(diào)(transformers)/LORA(peft)/推理 v1, 20240222, transformers==4.38.0時(shí)候, 微調(diào)只跑通了gemma-2b-it(因?yàn)橹挥?jì)算了output的loss, 且使用的是fp16), 同時(shí)該版本transformers實(shí)現(xiàn)有些問(wèn)題, 比如說(shuō)1.tokenizer要加bos, 2.RoPE計(jì)算精度問(wèn)題(float32), 3.激活函數(shù)gelu_pytorch_tanh; v2,

    2024年04月11日
    瀏覽(22)
  • ChatGLM-6B模型微調(diào)實(shí)戰(zhàn)(以 ADGEN (廣告生成) 數(shù)據(jù)集為例,序列長(zhǎng)度達(dá) 2048)

    ChatGLM-6B模型微調(diào)實(shí)戰(zhàn)(以 ADGEN (廣告生成) 數(shù)據(jù)集為例,序列長(zhǎng)度達(dá) 2048)

    kingglory/ChatGLM-6B 項(xiàng)目地址 1 介紹 對(duì)于 ChatGLM-6B 模型基于 P-Tuning v2 的微調(diào)。P-Tuning v2 將需要微調(diào)的參數(shù)量減少到原來(lái)的 0.1%,再通過(guò)模型量化、Gradient Checkpoint 等方法,差不多需要 7GB或則8GB 顯存即可運(yùn)行。 2 環(huán)境 2.1 python 環(huán)境 或者 2.2 下載代碼 2.3 安裝依賴 運(yùn)行微調(diào)需要4.27

    2024年02月03日
    瀏覽(18)
  • 基于LLaMA Factory,單卡3小時(shí)訓(xùn)練專屬大模型 Agent

    基于LLaMA Factory,單卡3小時(shí)訓(xùn)練專屬大模型 Agent

    大家好,今天給大家?guī)?lái)一篇 Agent 微調(diào)實(shí)戰(zhàn)文章 Agent (智能體)是當(dāng)今 LLM(大模型)應(yīng)用的熱門話題 [1],通過(guò)任務(wù)分解(task planning)、工具調(diào)用(tool using)和多智能體協(xié)作(multi-agent cooperation)等途徑,LLM Agent 有望突破傳統(tǒng)語(yǔ)言模型能力界限,體現(xiàn)出更強(qiáng)的智能水平。

    2024年01月25日
    瀏覽(23)
  • 《實(shí)戰(zhàn)AI模型》——趕上GPT3.5的大模型LLaMA 2可免費(fèi)商用,內(nèi)含中文模型推理和微調(diào)解決方案

    目錄 準(zhǔn)備環(huán)境及命令后參數(shù)導(dǎo)入: 導(dǎo)入模型: 準(zhǔn)備LoRA: 導(dǎo)入datasets: 配置

    2024年02月16日
    瀏覽(91)
  • LLaMA-META發(fā)布單卡就能跑的大模型

    LLaMA-META發(fā)布單卡就能跑的大模型

    2023年2月25日,Meta使用2048張A100 GPU,花費(fèi)21天訓(xùn)練的Transformer大模型LLaMA開(kāi)源了。 1.4T tokenstakes approximately 21 days 以下是覺(jué)得論文中重要的一些要點(diǎn) 1)相對(duì)較小的模型也可以獲得不錯(cuò)的性能 研究者發(fā)現(xiàn)在給定計(jì)算能力限制的情況下,最好的性能并不是來(lái)源于更大的模型,而是來(lái)

    2023年04月08日
    瀏覽(24)

覺(jué)得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請(qǐng)作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包