介紹
BenTsao:[原名:華駝(HuaTuo)]: 基于中文醫(yī)學知識的大語言模型指令微調(diào)
本項目開源了經(jīng)過中文醫(yī)學指令精調(diào)/指令微調(diào)(Instruction-tuning) 的大語言模型集,包括LLaMA、Alpaca-Chinese、Bloom、活字模型等。
我們基于醫(yī)學知識圖譜以及醫(yī)學文獻,結合ChatGPT API構建了中文醫(yī)學指令微調(diào)數(shù)據(jù)集,并以此對各種基模型進行了指令微調(diào),提高了基模型在醫(yī)療領域的問答效果。
效果
醫(yī)學知識庫圍繞疾病、藥物、檢查指標等構建,字段包括并發(fā)癥,高危因素,組織學檢查,臨床癥狀,藥物治療,輔助治療等。知識庫示例如下:
{"中心詞": "偏頭痛", "相關疾病": ["妊娠合并偏頭痛", "惡寒發(fā)熱"], "相關癥狀": ["皮膚變硬", "頭部及眼后部疼痛并能聽到連續(xù)不斷的隆隆聲", "晨起頭痛加重"], "所屬科室": ["中西醫(yī)結合科", "內(nèi)科"], "發(fā)病部位": ["頭部"]}
我們利用GPT3.5接口圍繞醫(yī)學知識庫構建問答數(shù)據(jù),設置了多種Prompt形式來充分利用知識。
指令微調(diào)的訓練集數(shù)據(jù)示例如下:文章來源:http://www.zghlxwxcb.cn/news/detail-657267.html
"問題:一位年輕男性長期使用可卡因,突然出現(xiàn)胸痛、嘔吐、出汗等癥狀,經(jīng)檢查發(fā)現(xiàn)心電圖反映心肌急性損傷,請問可能患的是什么疾???治療方式是什么?"
回答: 可能患的是心肌梗塞,需要進行維拉帕米、依普利酮、硝酸甘油、?阻滯劑、嗎啡等藥物治療,并進行溶栓治療、低分子量肝素、鈣通道阻滯劑等輔助治療。此外需要及時停用可卡因等藥物,以防止病情加重。"
地址
Huatuo-Llama-Med-Chinese文章來源地址http://www.zghlxwxcb.cn/news/detail-657267.html
到了這里,關于中文醫(yī)學知識語言模型:BenTsao的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章,希望大家以后多多支持TOY模板網(wǎng)!