目錄

前言

模型搭建

1.數(shù)據(jù)導入

2.數(shù)據(jù)標注

3.數(shù)據(jù)處理

4.訓練配置

?5.發(fā)布模型

結尾

前言

生成式AI一直是我所關注的技術，尤其現(xiàn)在集成多態(tài)大模型的基礎之上，能否實際落地運用于各式各樣的場景領域一直都是現(xiàn)今熱點討論的技術話題。對于如今比較成熟的生成式AI，如ChatGPT,ChatGLM和文心一言，都可以通過自然語言交互的形式，根據(jù)用戶的指令，完成問答、文本創(chuàng)作、代碼查錯等任務。但是我們普遍實際去運用這些生成式AI只是回答一些領域較淺的問題，涉及到垂直領域更深入的問題便達不到預期的效果，且如果想要針對所處領域設計一個比較符合期望的響應式AI的話，還得自己根據(jù)數(shù)據(jù)集重新訓練模型。

想要建造一個垂直所屬領域深入的生成響應式AI是很復雜的工程，如果不借助已搭建的AI數(shù)據(jù)訓練平臺的話，很難達到符合預期的效果，而且一般來說有此需求的公司都對AI模型給出的回答準確率有較高的要求。就以我之前做過的人工智能項目來說，準確率一般都需要滿足90%以上甚至更高的效果才行。這需要我們對AI模型進行多版微調才能滿足需求，在沒有一套完善的AI搭建平臺想要做出效果需要大量的人力物力，訓練大模型的成本和技術壁壘都非常高，需要長期在大模型領域深耕，而且需要充足的算力儲備、數(shù)據(jù)儲備、高端AI人才儲備。

這么來說想要實現(xiàn)一個屬于自己的垂直領域專家AI似乎是需要付出極大代價的項目。那么我們擺脫從零開始創(chuàng)建生成AI，借用已經可以實現(xiàn)泛化基礎的生成式AI，在此之上進行二次模型訓練以完成預期的模型。以市面上可以使用的基礎生成式AI來探討，ChatGPT的能力非常強且應用場景非常廣泛，但是主要是境內使用困難和成本相對較高。ChatGLM對于中文十分友好，但是缺少大模型微調等一系列開發(fā)和應用工具鏈，需要配套開發(fā)一系列平臺工具，開發(fā)排期很長，短期內不可能達到預期。那么我們把目光放到文心一言，很少有人對這款產品有比較深入的了解，一般都視為ChatGPT的中文版本，不了解百度云還有大模型平臺文心千帆。

文心千帆大模型平臺是百度智能云推出的全球首個一站式企業(yè)級大模型平臺，為企業(yè)提供大模型訓練及推理的全流程工具鏈和整套環(huán)境，讓企業(yè)以最簡單最高效的方式用上大模型、用好大模型。在文心千帆上，企業(yè)不但可以直接調用文心一言服務，也可以開發(fā)、部署和調用自己的大模型服務，是企業(yè)擁抱大模型的最佳選擇。

文心千帆不僅提供了包括文心一言底層模型（ERNIE-Bot）和第三方開源大模型，還提供了各種AI開發(fā)工具和整套開發(fā)環(huán)境，方便客戶輕松使用和開發(fā)大模型應用。文心千帆平臺基于百度智能云，采用飛槳深度學習框架作為底層支撐，并內置文心大模型技術。用戶通過少量數(shù)據(jù)調整，可輕松獲得高精度和高性能的大模型。目前百度智能云已面向企業(yè)和個人客戶開放文心千帆大模型平臺公有版測試服務（官方申請地址：https://cloud.baidu.com/survey/qianfan.html）有興趣有需求的開發(fā)者可以去體驗一下，借助這次機會能夠體驗一把云上AI大模型開發(fā)具體流程，帶大家來感受一下。

模型搭建

文心千帆大模型平臺覆蓋從數(shù)據(jù)管理、數(shù)據(jù)標注、模型開發(fā)、模型納管、部署上線的AI能力研發(fā)與應用全生命周期建設和管理。模型平臺使用還是十分簡單便捷的，我們需要完成六個步驟便可以快速完成大模型定制及測試效果。搭建過程我會全程記錄下來，大家可參考。

1.數(shù)據(jù)導入

?在導航欄選擇“數(shù)據(jù)服務 > 數(shù)據(jù)集管理”，進入數(shù)據(jù)總覽界面，選擇創(chuàng)建數(shù)據(jù)集。之后我們根據(jù)平臺給出的prompt格式導入數(shù)據(jù)即可，總共有五種數(shù)據(jù)格式可以導入。

?如果是類如問答的形式，也就是一問一答的數(shù)據(jù)集，可以選擇有標準信息再導入，那么就可以不必再進行數(shù)據(jù)標注步驟了。

此時可以根據(jù)所屬領域收集數(shù)據(jù)集，一般來說有三種場景可建立AI模型：場景一對話溝通，在實際生活中，針對用戶需求提供快速應答，精準匹配用戶需求，完成營銷商拓、及時響應、正向心理輔導等內容，提升客戶體驗。

場景二內容創(chuàng)作根據(jù)用戶的需求，生成精準匹配的創(chuàng)作文本，為用戶提供視頻編排的劇本來源；潤色成型的故事、詩歌等文本內容，給用戶創(chuàng)造提升文本能力的文化環(huán)境。

場景三分析控制，根據(jù)用戶的需求快速生成可執(zhí)行的代碼或者根據(jù)用戶的需求，平臺結合自身已具備的多種數(shù)據(jù)，生成匹配度更高的應答內容。

我這里需求場景為對數(shù)學建模領域有更深入垂直的了解并且精通機器學習以及深度學習應用場景以及對應建模流程。那么我們根據(jù)需求的AI去收集構建數(shù)據(jù)集。格式的話可以根據(jù)數(shù)據(jù)集的數(shù)據(jù)格式去下載對應的數(shù)據(jù)樣例看與之匹配的數(shù)據(jù)格式，比如我們收集的數(shù)據(jù)集是JSONL格式的數(shù)據(jù)樣例就為：

如果是純文本TXT格式就為：

?我這里收集的數(shù)據(jù)是無標準信息的數(shù)據(jù)集，導入成功后可以來到下一步直接開始數(shù)據(jù)標準。

2.數(shù)據(jù)標注

若是很難找到標注答案，文心千帆還提供了在線直接標注功能，省去了收集問題答案的步驟，非常方便。當前平臺支持回答自動生成，需要調用平臺自有的LLM模型。使用自動生成將會產生費用，這點需要注意。在線標注中，當用戶同一個對話框中多次問到相同（相近）的問題時，后臺應答會按照既定順序給出答案。

在點擊回答框內選擇自動生成便可以調用文心一言模型直接生成對應標注，當然也可以自己打上標注：

排序1為自己打的標注，而排序2為自動生成的標注，我們依次給數(shù)據(jù)集打上標注。不得不說自己手動標注實在是太花時間了，這里最好自己寫一個程序去自動收集數(shù)據(jù)標注或者是解析文本自動生成相應的prompt文件。

3.數(shù)據(jù)處理

我們收集得到的數(shù)據(jù)集并不一定是經過數(shù)據(jù)處理過后的數(shù)據(jù)，如果是原生數(shù)據(jù)不免包含些許噪音，需要對這些數(shù)據(jù)集清洗一遍。文心千帆大模型平臺是包含有數(shù)據(jù)處理功能，可以直接一步清洗到位，很方便：

勾選對應數(shù)據(jù)的噪音即可。

4.訓練配置

?接下來我們進入生成AI的重要環(huán)節(jié)-大模型生成和調優(yōu)。我們需要根據(jù)適合自己任務場景的訓練模式并加以調參訓練，從而實現(xiàn)理想的模型效果。

我們需要先進行RLHF訓練，RLHF（Reinforcement Learning from Human Feedback，基于人類反饋的強化學習）是一種機器學習方法，它使智能系統(tǒng)能夠從環(huán)境中學習并最大化特定目標。RLHF與傳統(tǒng)強化學習方法的不同之處在于，它直接利用人類的反饋來優(yōu)化模型，而不是僅僅依靠環(huán)境來提供獎懲。1. 人類的反饋不是直接作用于大模型或RL過程，而是通過RM間接實現(xiàn)。2. RL本身也不是依靠環(huán)境提供獎懲，環(huán)境是為了提供agent執(zhí)行結果，結果是否采納也是取決于獎懲機制的。RLHF已成功應用于文心千帆大模型平臺, 能夠生成類似人類的文本并執(zhí)行各種語言任務。RLHF使模型能夠在大量文本數(shù)據(jù)語料庫上進行訓練，并在復雜的語言任務(如語言理解和生成)上取得令人印象深刻的結果。

RLHF的成功取決于人類提供的反饋的質量，根據(jù)任務和環(huán)境，反饋的質量可能是主觀的和可變的。因此，開發(fā)有效且可擴展的收集和處理反饋的方法非常重要。

總的來說，RLHF 比傳統(tǒng)的機器學習和強化學習提供了更多的指導，能夠捕捉到人類偏好的全部內容，從而驅使人工智能系統(tǒng)與人類價值觀相一致。即使 RLHF 不能完全解決對內部調整的擔憂，它所識別的失敗以及它賦予獎勵和政策模型的知識也適用于提高社會和合作環(huán)境中人工智能的安全性、可靠性和可信度。

RLHF訓練模式可以依次訓練獎勵模型和利用強化學習機制，訓練得到性能更優(yōu)的模型。

那么我們創(chuàng)建獎勵模型任務開始訓練，獎勵模型是強化學習中的一個重要概念，它直接影響智能體的學習效果和行為表現(xiàn)：

這里我的數(shù)據(jù)集名稱輸入有誤還是數(shù)學建模的數(shù)據(jù)集，這個沒有關系。數(shù)據(jù)量最少要求32條數(shù)據(jù)，可以添加新的數(shù)據(jù)集版本：

訓練完成之后我們可以調出日志查看情況：

我們可以選擇的大模型有兩種，第一種是ERNIE-Bot-turbo是百度自行研發(fā)的大語言模型，覆蓋海量中文數(shù)據(jù)，具有更強的對話問答、內容創(chuàng)作生成等能力。第二種是BLOOMZ-7B，知名的大語言模型，由HuggingFace研發(fā)并開源，能夠以46種語言和13種編程語言輸出文本。

選擇好配置成功我們就可以開始構建初版AI了。

而且可以直接生成評估報告十分直觀的看到模型指標：

之后我們便可發(fā)布模型了。

?5.發(fā)布模型

發(fā)布公有云服務，將訓練完成的模型部署在百度云服務器，通過API接口調用模型。

部署完成后我們可以直接進入在線測試，對我們的模型評估效果：

結尾

?至此我們就完成了整個AI模型的部署，是不是感覺很快。但是還是仍有很多細節(jié)需要完善，第一個是數(shù)據(jù)集的深度和獎勵模型的建立效果，我們需要集成更多的數(shù)據(jù)集和反饋效果。第二點我們需要建立Prompt工程不斷的完善迭代模型，以達到更準確的效果。如果是在探求人工智能AI如何實施落地或是和我一樣由此需求要建立專家AI的可以來體驗一下，確實十分的簡單高效。文章來源地址http://www.zghlxwxcb.cn/news/detail-599376.html

到了這里，關于AI自動生成領域大牛？巧用文心千帆快速創(chuàng)建垂直領域專家的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！