項(xiàng)目設(shè)計(jì)集合（人工智能方向）：助力新人快速實(shí)戰(zhàn)掌握技能、自主完成項(xiàng)目設(shè)計(jì)升級(jí)，提升自身的硬實(shí)力（不僅限NLP、知識(shí)圖譜、計(jì)算機(jī)視覺等領(lǐng)域）：匯總有意義的項(xiàng)目設(shè)計(jì)集合，助力新人快速實(shí)戰(zhàn)掌握技能，助力用戶更好利用 CSDN 平臺(tái)，自主完成項(xiàng)目設(shè)計(jì)升級(jí)，提升自身的硬實(shí)力。
-
專欄訂閱：項(xiàng)目大全提升自身的硬實(shí)力
-
[專欄詳細(xì)介紹：項(xiàng)目設(shè)計(jì)集合（人工智能方向）：助力新人快速實(shí)戰(zhàn)掌握技能、自主完成項(xiàng)目設(shè)計(jì)升級(jí)，提升自身的硬實(shí)力（不僅限NLP、知識(shí)圖譜、計(jì)算機(jī)視覺等領(lǐng)域）
基于中文金融知識(shí)的 LLaMA 系微調(diào)模型的智能問答系統(tǒng)：LLaMA大模型訓(xùn)練微調(diào)推理等詳細(xì)教學(xué)
基于 LLaMA 系基模型經(jīng)過中文金融知識(shí)指令精調(diào)/指令微調(diào)(Instruct-tuning) 的微調(diào)模型。通過中文金融公開問答數(shù)據(jù)+爬取的金融問答數(shù)據(jù)構(gòu)建指令數(shù)據(jù)集，并在此基礎(chǔ)上對(duì) LLaMA 系模型進(jìn)行了指令微調(diào)，提高了 LLaMA 在金融領(lǐng)域的問答效果。
基于已有數(shù)據(jù)和繼續(xù)爬取的中文金融數(shù)據(jù)，將繼續(xù)利用 GPT3.5/4.0 API 構(gòu)建高質(zhì)量的數(shù)據(jù)集，另在中文知識(shí)圖譜-金融、CFLEB 金融數(shù)據(jù)集等數(shù)據(jù)上進(jìn)一步擴(kuò)充高質(zhì)量指令數(shù)據(jù)集。
-
基于 Chinese-LLaMA 和中文金融數(shù)據(jù)進(jìn)行指令微調(diào)的模型。
-
基于 Meta-LLaMA 和中文金融數(shù)據(jù)進(jìn)行指令微調(diào)的模型。
1. 環(huán)境安裝
首先安裝依賴包，python環(huán)境建議3.9+
pip install -r requirements.txt
其次安裝 lfs 方便本地下載 LLaMa 大模型
git lfs install
# 下載7B模型到本地
bash ./base_models/load.sh
2.模型下載
LoRA 權(quán)重可以通過 Huggingface 下載，結(jié)構(gòu)如下：
Fin-Alpaca-LoRA-7B-Meta/
- adapter_config.json # LoRA權(quán)重配置文件
- adapter_model.bin # LoRA權(quán)重文件
| LoRA模型下載 | 分類 | 重構(gòu)模型 | 訓(xùn)練數(shù)據(jù) | 訓(xùn)練序列長度 | 版本 |
|---|---|---|---|---|---|
| Fin-Alpaca-LoRA-7B-Meta | 中文金融問答微調(diào)模型 | decapoda-research/llama-7b-hf | 12M 指令數(shù)據(jù) | 512 | V1.0 |
| Fin-Alpaca-LoRA-7B-Linly | 中文金融問答微調(diào)模型 | Linly-AI/Chinese-LLaMA-7B | 14M 指令數(shù)據(jù) | 512 | V1.1 |
3.Inference：?jiǎn)文Ｐ屯评?多模型對(duì)比
目前在./instruction_data/infer.json中提供了一些測(cè)試用例，也可替換成其它的數(shù)據(jù)集但注意格式保持一致
運(yùn)行infer腳本
#單模型推理
bash ./scripts/infer.sh
#多模型對(duì)比
bash ./scripts/comparison_test.sh
4.數(shù)據(jù)集構(gòu)建
此前版本采用了公開和爬取的中文金融領(lǐng)域問答數(shù)據(jù)，涉及到保險(xiǎn)、理財(cái)、股票、基金、貸款、信用卡、社保等。
指令數(shù)據(jù)示例如下：
問題：辦理商業(yè)匯票應(yīng)遵守哪些原則和規(guī)定？
回答: 辦理商業(yè)匯票應(yīng)遵守下列原則和規(guī)定：1.使用商業(yè)匯票的單位，必須是在銀行開立帳戶的法人；2.商業(yè)匯票在同城和異地均可使用；3.簽發(fā)商業(yè)匯票必須以合法的商品交易為基礎(chǔ)；4.經(jīng)承兌的商業(yè)匯票，可向銀行貼現(xiàn)；5.商業(yè)匯票一律記名，允許背書轉(zhuǎn)讓；6.商業(yè)匯票的付款期限由交易雙方商定，最長不得超過6個(gè)月；7.商業(yè)匯票經(jīng)承兌后，承兌人即付款人負(fù)有到期無條件交付票款的責(zé)任；8.商業(yè)匯票由銀行印制和發(fā)售。
針對(duì)此前數(shù)據(jù)仍存在不準(zhǔn)確和類型單一等不完善的地方；目前我們利用GPT3.5/4.0 接口進(jìn)一步優(yōu)化數(shù)據(jù)、并擴(kuò)充中文金融知識(shí)庫，設(shè)置多種Prompt形式、multi-task形式拓展豐富指令數(shù)據(jù)集，實(shí)現(xiàn)金融領(lǐng)域多業(yè)務(wù)場(chǎng)景覆蓋。
最新模型情況：（即將發(fā)布，敬請(qǐng)期待～）
5.微調(diào)Finetune
若想用自己的數(shù)據(jù)集微調(diào) LLaMA，請(qǐng)按照./instruction_data/fin_data.json的格式構(gòu)建自己的數(shù)據(jù)集
運(yùn)行 finetune 腳本
bash ./scripts/finetune.sh
6.訓(xùn)練細(xì)節(jié)
6.1 計(jì)算資源需求
目前訓(xùn)練設(shè)備為一張A100-SXM-80GB顯卡，訓(xùn)練總輪次10輪。batch_size=64的情況下顯存占用在40G左右、batch_size=96的情況下顯存占用在65G左右。預(yù)計(jì)3090/4090顯卡(24GB顯存)以上顯卡可以較好支持，根據(jù)顯存大小來調(diào)整batch_size。
6.2實(shí)驗(yàn)記錄
6.3 模型效果對(duì)比
| 測(cè)試輸入 | 原始Llama輸出 | Cornucopia(Fin-Alpaca-LoRA-7B-Meta)輸出 | Cornucopia(Fin-Alpaca-LoRA-7B-Linly)輸出 | 文心一言輸出 | 訊飛星火認(rèn)知輸出 |
|---|---|---|---|---|---|
| 老年人理財(cái)好還是存定期好？ | 老年人的理財(cái)辦法應(yīng)該適合于自身情況。如果他/她有足夠的時(shí)間和投資能力，則建議他/她利用現(xiàn)在的時(shí)間與投資機(jī)會(huì)進(jìn)行理財(cái)活動(dòng)。因?yàn)槔夏耆丝梢垣@得余額、保險(xiǎn)、房地產(chǎn)等多種收入方式，所以他/她可以選擇不同類型的理財(cái)項(xiàng)目，包括公開市場(chǎng)、非公開市場(chǎng)、基金、信托計(jì)劃等。當(dāng)然，老年人也應(yīng)該注意其實(shí)需要的生活財(cái)務(wù)安全。 | 若投資者風(fēng)險(xiǎn)承受能力比較高，那么可以選擇理財(cái)產(chǎn)品進(jìn)行投資，若投資者風(fēng)險(xiǎn)承受能力比較低，那么可以選擇定期存款進(jìn)行投資。目前理財(cái)產(chǎn)品和定期存款都是保本型產(chǎn)品，不會(huì)虧損本金，并且收益由投資標(biāo)的決定，所以理財(cái)產(chǎn)品和定期存款相比較更加穩(wěn)定。需要注意的是理財(cái)產(chǎn)品和定期存款沒有同樣的活期利率，而且理財(cái)產(chǎn)品每日計(jì)算收益，所以理財(cái)產(chǎn)品收益越高，投資者獲得收益的概率也越高。9QDII基金是指中國市場(chǎng)上開放式外資基金，這類基金主要投資于：A股、港股、美股、英股、德股、日股、法股、臺(tái)股、香港股、新加坡股等；QFII基金是指中國交易所開放式外資基金，這類基金主要投資于：A股、港股、美股、英股、德股、日股、法股、臺(tái)股、香港股、新加坡股等。 | 對(duì)于風(fēng)險(xiǎn)承受能力比較低的老年人來說，選擇定期存款比較好，因?yàn)槠滹L(fēng)險(xiǎn)性比較低，收益也比較穩(wěn)定，而對(duì)于風(fēng)險(xiǎn)承受能力比較高的老年人來說，選擇理財(cái)產(chǎn)品比較好，因?yàn)槠滹L(fēng)險(xiǎn)性比較大，收益也比較高。需要注意的是目前理財(cái)產(chǎn)品不是保本型產(chǎn)品，有虧損本金的可能，并且根據(jù)投資標(biāo)的分為不同的風(fēng)險(xiǎn)等級(jí)，若投資者風(fēng)險(xiǎn)承受能力比較低，那么可以選擇風(fēng)險(xiǎn)等級(jí)R2及以下的理財(cái)產(chǎn)品，若投資者風(fēng)險(xiǎn)承受能力比較高，那么可以選擇風(fēng)險(xiǎn)等級(jí)R3及以上的理財(cái)產(chǎn)品。當(dāng)前理財(cái)產(chǎn)品包括：債券型基金、股票型基金、混合型基金、指數(shù)基金和聯(lián)接基金等，投資者可以根據(jù)自身實(shí)際情況選擇合適的產(chǎn)品進(jìn)行投資。 | 老年人存定期比較好。老年人沒工作收入，資產(chǎn)總額也是在逐漸降低，而且老人容易生病，而醫(yī)療費(fèi)支出較大。如果老年人投資理財(cái)產(chǎn)品，伴隨著其產(chǎn)品凈值的變化，是有可能會(huì)出現(xiàn)虧損現(xiàn)象的。而定期存款，其利率一般是固定的，期滿返本還息，相對(duì)而言，安全系數(shù)高，盈利更持久。 | 作為AI語言模型，我沒有個(gè)人觀點(diǎn)和建議。但是，老年人理財(cái)和存定期都有其優(yōu)缺點(diǎn)。老年人理財(cái)?shù)膬?yōu)點(diǎn)是可以更好地規(guī)劃自己的財(cái)務(wù)狀況，包括退休金、醫(yī)療保險(xiǎn)、子女教育等方面的支出。此外，老年人可以通過投資股票、基金等金融產(chǎn)品來增加財(cái)富。存定期的優(yōu)點(diǎn)是風(fēng)險(xiǎn)較小，收益相對(duì)穩(wěn)定。老年人可以選擇不同期限的定期存款，根據(jù)自己的需求和風(fēng)險(xiǎn)承受能力來選擇。綜合來看，老年人應(yīng)該根據(jù)自己的實(shí)際情況和需求來選擇適合自己的理財(cái)方式。如果老年人有足夠的資金和風(fēng)險(xiǎn)承受能力，可以考慮投資股票、基金等金融產(chǎn)品來增加財(cái)富。如果老年人更注重穩(wěn)定性和安全性，可以選擇存定期來保障自己的財(cái)務(wù)狀況。 |
| 股票和基金能當(dāng)天隨買隨賣嗎？ | Yes, stocks and funds can be bought and sold on the same day. | 不能，股票和基金實(shí)行T+1交易，交易日當(dāng)天買入，按照買入當(dāng)天收盤時(shí)的凈值計(jì)算，第二個(gè)交易日確認(rèn)份額，份額確認(rèn)后計(jì)算收益，所以在交易日買入就要等到第二個(gè)交易日才能獲得收益。比如投資者周一買入了某只股票，周二市場(chǎng)上公布的凈值為10元，那么投資者可以根據(jù)這些數(shù)據(jù)計(jì)算收益：1000×10=10000；10000/10=1000。若投資者持有此股票超過30個(gè)工作日，那么可以直接轉(zhuǎn)換成現(xiàn)金，也就是將該股票全部或者部分提前支取。需要注意的是，目前沒有任何法律法規(guī)限制投資者在交易日買入基金、股票，因此投資者在交易日買入基金、股票都能進(jìn)行當(dāng)天開放型交易。同時(shí)，投資者在交易日買入股票之后，其股票會(huì)自動(dòng)轉(zhuǎn)換為現(xiàn)金，并且投資者在交易日買入股票之后，其股票會(huì)自動(dòng)轉(zhuǎn)換為漲跌幅限制（20％左右），從而影響投資者的手續(xù)費(fèi)和收益。 | 不能，股票交易時(shí)間：周一至周五上午9:30-11:30，下午13:00-15:00，法定節(jié)假日不交易?；鸾灰讜r(shí)間：周一至周五上午9:30-11:30，下午13:00-15:00，法定節(jié)假日不交易。股票實(shí)行T+1交易，按照市場(chǎng)實(shí)時(shí)價(jià)格進(jìn)行成交，遵循價(jià)格優(yōu)先、時(shí)間優(yōu)先的原則，滬深兩市股票漲跌幅限制為10%，創(chuàng)業(yè)板和科創(chuàng)板股票漲跌幅限制為20%，北交所漲跌幅限制為30%，ST以及*ST漲跌幅限制為5%（創(chuàng)業(yè)板和科創(chuàng)板漲跌幅還沒有這個(gè)限制），港股漲跌幅限制為20%，新三板漲跌幅限制為10%（創(chuàng)業(yè)板和科創(chuàng)板漲跌幅還沒有這個(gè)限制），對(duì)于投資者來說，股票交易比較靈活，可以根據(jù)自身情況進(jìn)行交易，并且股票交易手續(xù)費(fèi)比較低，基金交易手續(xù)費(fèi)也比較低，同時(shí)股票波動(dòng)比較大，風(fēng)險(xiǎn)也比較大。 | 不可以，股票基金實(shí)行T+1交易，交易日當(dāng)天買入（交易時(shí)間），按照買入當(dāng)天收盤時(shí)的凈值計(jì)算，第二個(gè)交易日確認(rèn)份額，份額確認(rèn)后才能將基金賣出，一般交易日當(dāng)天買入，第三個(gè)交易日才能賣出，第三個(gè)交易日隨時(shí)可以賣出。 | 股票和基金的交易方式因不同的證券市場(chǎng)而異。在一些證券市場(chǎng)上，股票和基金是可以當(dāng)天隨買隨賣的，也就是所謂的“T+0”交易。但是，在另一些證券市場(chǎng)上，股票和基金是不能當(dāng)天隨買隨賣的，需要等待一定的交易時(shí)間后才能進(jìn)行買賣。在中國A股市場(chǎng)中，股票和基金是不能當(dāng)天隨買隨賣的，需要進(jìn)行T+1或T+2的交易。這意味著如果您今天買入了一只股票或基金，那么您需要等到明天才能賣出它。 在其他一些國家和地區(qū)，股票和基金的交易方式可能會(huì)有所不同。因此，如果您想進(jìn)行股票或基金的投資，建議您了解當(dāng)?shù)氐慕灰滓?guī)則和市場(chǎng)情況。 |
7.提示詞模板
此目錄包含用于 LoRA 微調(diào) LLaMa 模型的提示的模板樣式。
- Format
模板是通過一個(gè)JSON文件描述的，該文件包含以下鍵：
-
prompt_input: The template to use when input is not None. Uses{instruction}and{input}placeholders. -
prompt_no_input: The template to use when input is None. Uses{instruction}placeholders. -
description: A short description of the template, with possible use cases. -
response_split: The text to use as separator when cutting real response from the model output.
No {response} placeholder was used, since the response is always the last element of the template and is just to be concatenated to the rest.
7.1模板案例
The default template, used unless otherwise specified, is alpaca.json
{
"description": "Template used by Alpaca-LoRA.",
"prompt_input": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n",
"prompt_no_input": "Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:\n",
"response_split": "### Response:"
}
7.2 現(xiàn)有模板
7.2.1 alpaca
到目前為止，用于通用LoRA微調(diào)的默認(rèn)模板。
7.2.2 alpaca_legacy
原始羊駝使用的舊模板，響應(yīng)字段后沒有“\n”。保留以供參考和實(shí)驗(yàn)。
7.2.3 alpaca_short
一個(gè)修剪過的羊駝模板，它似乎也表現(xiàn)得很好，并保留了一些 tokens。使用默認(rèn)模板創(chuàng)建的模型似乎也可以通過短時(shí)間查詢。
8.提示構(gòu)建模塊
- prompter.py
Prompter class, a template manager.
from utils.prompter import Prompter
-
本項(xiàng)目參考了以下開源項(xiàng)目，文章來源：http://www.zghlxwxcb.cn/news/detail-632631.html
- Facebook LLaMA: https://github.com/facebookresearch/llama
- Stanford Alpaca: https://github.com/tatsu-lab/stanford_alpaca
- alpaca-lora by @tloen: https://github.com/tloen/alpaca-lora
- Huatuo-Llama-Med-Chinese: https://github.com/SCIR-HI/Hatuo-Llama-Med-Chinese
- 文心一言 https://yiyan.baidu.com/welcome 本項(xiàng)目的logo由文心一言自動(dòng)生成
- 訊飛星火認(rèn)知 https://xinghuo.xfyun.cn/desk
項(xiàng)目碼源以及資料見文章頂部or文末
https://download.csdn.net/download/sinat_39620217/88009376文章來源地址http://www.zghlxwxcb.cn/news/detail-632631.html
到了這里，關(guān)于基于中文金融知識(shí)的 LLaMA 系微調(diào)模型的智能問答系統(tǒng)：LLaMA大模型訓(xùn)練微調(diào)推理等詳細(xì)教學(xué)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![MedicalGPT：基于LLaMA-13B的中英醫(yī)療問答模型（LoRA）、實(shí)現(xiàn)包括二次預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模、強(qiáng)化學(xué)習(xí)訓(xùn)練[LLM:含Ziya-LLaMA]。](https://imgs.yssmx.com/Uploads/2024/02/828638-1.png)
