相關(guān)文章

• 

  從零開始的LLaMA-Factory的指令增量微調(diào)

  大模型，包括部署微調(diào)prompt/Agent應(yīng)用開發(fā)、知識(shí)庫(kù)增強(qiáng)、數(shù)據(jù)庫(kù)增強(qiáng)、知識(shí)圖譜增強(qiáng)、自然語(yǔ)言處理、多模態(tài)等大模型應(yīng)用開發(fā)內(nèi)容 從0起步，揚(yáng)帆起航。 大模型應(yīng)用向開發(fā)路徑及一點(diǎn)個(gè)人思考 大模型應(yīng)用開發(fā)實(shí)用開源項(xiàng)目匯總 大模型問(wèn)答項(xiàng)目問(wèn)答性能評(píng)估方法 大模型數(shù)據(jù)

  2024年04月09日

  瀏覽(31)
• 

  小白也能微調(diào)大模型：LLaMA-Factory使用心得

  大模型火了之后，相信不少人都在嘗試將預(yù)訓(xùn)練大模型應(yīng)用到自己的場(chǎng)景上，希望得到一個(gè)垂類專家，而不是通用大模型。 目前的思路，一是RAG(retrieval augmented generation)，在模型的輸入prompt中加入盡可能多的“目標(biāo)領(lǐng)域”的相關(guān)知識(shí)，引導(dǎo)模型在生成時(shí)盡量靠攏目標(biāo)領(lǐng)域，運(yùn)

  2024年04月13日

  瀏覽(32)
• 

  Python - 深度學(xué)習(xí)系列30 - 使用LLaMA-Factory微調(diào)模型

  最實(shí)用的一種利用大語(yǔ)言模型的方式是進(jìn)行微調(diào)。預(yù)訓(xùn)練模型與我們的使用場(chǎng)景一定會(huì)存在一些差異，而我們又不可能重頭訓(xùn)練。 微調(diào)的原理并不復(fù)雜，載入模型，灌新的數(shù)據(jù)，然后運(yùn)行再訓(xùn)練，保留checkpoints。但是不同項(xiàng)目的代碼真的不太一樣，每一個(gè)都要單獨(dú)去看的話比

  2024年04月12日

  瀏覽(25)
• 

  安裝LLaMA-Factory微調(diào)chatglm3，修改自我認(rèn)知

  安裝git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python=3.10 conda activate llama_factory cd LLaMA-Factory pip install -r requirements.txt 之后運(yùn)行 單卡訓(xùn)練， CUDA_VISIBLE_DEVICES=0 python src/train_web.py，按如下配置 demo_tran.sh ? export_model.sh ? cli_demo.sh 注意合并模型的時(shí)候，最后復(fù)制

  2024年02月04日

  瀏覽(28)
• 

  LLaMA-Factory微調(diào)（sft）ChatGLM3-6B保姆教程

  下載LLaMA-Factory 下載ChatGLM3-6B 下載ChatGLM3 windows下載CUDA ToolKit 12.1 （本人是在windows進(jìn)行訓(xùn)練的，顯卡GTX 1660 Ti） CUDA安裝完畢后，通過(guò)指令 nvidia-smi 查看 1、選擇下載目錄：E:llm-trainLLaMA-Factory，并打開 2、創(chuàng)建新的python環(huán)境，這里使用conda創(chuàng)建一個(gè)python空環(huán)境，選擇python3.10 參考

  2024年04月13日

  瀏覽(33)
• 

  快速上手！LLaMa-Factory最新微調(diào)實(shí)踐，輕松實(shí)現(xiàn)專屬大模型

  Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息發(fā)布的新一代基礎(chǔ)語(yǔ)言大模型，該模型擁有優(yōu)異的數(shù)學(xué)、代碼能力。自發(fā)布以來(lái)，Yuan2.0已經(jīng)受到了業(yè)界廣泛的關(guān)注。當(dāng)前Yuan2.0已經(jīng)開源參數(shù)量分別是102B、51B和2B的3個(gè)基礎(chǔ)模型，以供研發(fā)人員做進(jìn)一步的開發(fā)。 LLM（大語(yǔ)言模型）微

  2024年01月20日

  瀏覽(24)
• 

  LLaMA-Factory可視化界面微調(diào)chatglm2；LoRA訓(xùn)練微調(diào)模型 簡(jiǎn)單案例

  參考：https://github.com/huggingface/peft https://github.com/hiyouga/LLaMA-Factory 類似工具還有流螢，注意是做中文微調(diào)訓(xùn)練這塊；來(lái)訓(xùn)練微調(diào)的chatglm2需要完整最新文件，不能是量化后的模型；另外測(cè)試下來(lái)顯卡資源要大于20來(lái)G才能順利，這邊T4單卡訓(xùn)練中間顯存不足，需要開啟4bit量化才行

  2024年02月05日

  瀏覽(34)
• 

  llama-factory SFT 系列教程 (四)，lora sft 微調(diào)后，使用vllm加速推理

  llama-factory SFT系列教程 (一)，大模型 API 部署與使用 llama-factory SFT系列教程 (二)，大模型在自定義數(shù)據(jù)集 lora 訓(xùn)練與部署 llama-factory SFT系列教程 (三)，chatglm3-6B 命名實(shí)體識(shí)別實(shí)戰(zhàn) llama-factory SFT 系列教程 (四)，lora sft 微調(diào)后，使用vllm加速推理 llama-factory 提供了 vllm API 部署，但筆

  2024年04月27日

  瀏覽(20)
• 

  LLaMA-Factory 8卡4090 deepspeed zero3 微調(diào)Qwen14B-chat

  環(huán)境安裝 推薦使用docker，Ubuntu20.04 https://www.modelscope.cn/docs/%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85 下載模型 在modelscope主頁(yè)，找到模型 https://modelscope.cn/models/qwen/Qwen-14B-Chat/summary 可以使用如下腳本 微調(diào) 使用LLaMA-Factory， 下載下面?zhèn)}庫(kù)的代碼， https://github.com/hiyouga/LLaMA-Factory 在代碼目錄，

  2024年04月15日

  瀏覽(24)
• 

  【本地大模型部署與微調(diào)】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory

  本文檔詳細(xì)介紹了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知識(shí)庫(kù)，成功的在本地搭建了一個(gè)大模型。此外，還利用LLaMA-Factory進(jìn)行了大模型的微調(diào)。 1.ChatGLM3-6b 2.m3e 3.One-API 4.Fastgpt 5.LLaMA-Factory 1.1創(chuàng)建騰訊云服務(wù)器 注意: ChatGLM3-6b的大模型40多個(gè)G,購(gòu)買騰訊

  2024年03月22日

  瀏覽(33)