作者：寒斜
AIGC 持續(xù)火爆全球，越來(lái)越多的場(chǎng)景開(kāi)始接入并體現(xiàn)非凡的價(jià)值。其中應(yīng)用廣泛的場(chǎng)景之一就是智能知識(shí)問(wèn)答，它改變了人們學(xué)習(xí)的方式，從閱讀式到問(wèn)答式，讓知識(shí)的獲取更加精準(zhǔn)有效。開(kāi)源軟件擁有著廣泛的求知群體，AIGC+ 社區(qū)的結(jié)合是學(xué)習(xí)型社區(qū)未來(lái)演進(jìn)方向上的一個(gè)新穎的嘗試，今天我們結(jié)合 RocketMQ 學(xué)習(xí)社區(qū)的實(shí)踐來(lái)跟大家聊聊構(gòu)建該類場(chǎng)景的經(jīng)驗(yàn)以及遇到的一些挑戰(zhàn)。
學(xué)習(xí)社區(qū)的新范式
學(xué)習(xí)社區(qū)本身的訴求是希望能夠快速傳播知識(shí)、提升影響力，而社區(qū)開(kāi)發(fā)者則是希望更快、更及時(shí)、更準(zhǔn)確的獲得專業(yè)知識(shí)。
以往從社區(qū)獲取知識(shí)的方式有兩種：
- 翻閱社區(qū)的文檔和社區(qū)提供的源代碼進(jìn)行自主學(xué)習(xí)；
- 和社區(qū)的技術(shù)大牛進(jìn)行交流，獲取答案。
兩種方式都存在一定的問(wèn)題， 第一種自學(xué)的成本較高，為了更好的理解相關(guān)的基本概念，需要根據(jù)快速入門文檔一步一步操作，然后繼續(xù)深入了解其他的知識(shí)點(diǎn)，想要獲取更關(guān)注的知識(shí)成本較高，而且因個(gè)體理解的差異，社區(qū)傳播知識(shí)的效果也不一定能夠令人滿意；第二種雖然可以準(zhǔn)確獲得想要的知識(shí)，對(duì)個(gè)體知識(shí)的掌握也好于第一種，但是社區(qū)專家的解答往往不是實(shí)時(shí)的，所以不論是對(duì)于開(kāi)發(fā)者的學(xué)習(xí)，還是對(duì)社區(qū)知識(shí)的傳播來(lái)說(shuō)效率都不高。
現(xiàn)在有了第三種方式：基于大語(yǔ)言模型的專業(yè)知識(shí)問(wèn)答，社區(qū)開(kāi)發(fā)者可以隨時(shí)隨地進(jìn)行專業(yè)知識(shí)提問(wèn)，享受 24 小時(shí)專家服務(wù)， 對(duì)于學(xué)習(xí)社區(qū)而言，傳播自身知識(shí)的效率也變得更高了。
專有語(yǔ)料庫(kù)的智能問(wèn)答技術(shù)基本原理
如圖所示， 專有語(yǔ)料庫(kù)的智能問(wèn)答系統(tǒng)分為兩個(gè)部分：
-
語(yǔ)料庫(kù)的錄入，管理員將專業(yè)的社區(qū)資料進(jìn)行上傳，智能問(wèn)答系統(tǒng)會(huì)對(duì)文檔進(jìn)行切片，然后通過(guò) embedding 算法將其轉(zhuǎn)化為向量數(shù)據(jù)，存儲(chǔ)下來(lái)等待檢索；
-
問(wèn)題解答，用戶輸入的問(wèn)題經(jīng)過(guò)向量轉(zhuǎn)化后通過(guò)近似搜索算法跟向量數(shù)據(jù)庫(kù)的內(nèi)容做比對(duì)，得到近似值答案后，結(jié)合提示詞模版以及用戶問(wèn)題一同輸入給大語(yǔ)言模型，大語(yǔ)言模型做歸納總結(jié)后返回給用戶。所以系統(tǒng)的完整功能既包含直接的答案輸出（根據(jù)大模型能力結(jié)果可能不準(zhǔn)確，主要是“幻答”），也包含根據(jù)向量近似值檢索出來(lái)的原文列表。后者作為輔證，幫助學(xué)習(xí)者判斷答案的正確與否。
生產(chǎn)的挑戰(zhàn)
相較于技術(shù)方案的論證，真正想把智能問(wèn)答能力發(fā)布到生產(chǎn)有著非常多的挑戰(zhàn)，下面來(lái)跟大家共同探討一下。
安全
安全始終是 AIGC 類服務(wù)最需要關(guān)心的問(wèn)題，沒(méi)有之一。主要包含以下幾點(diǎn)：
- 數(shù)據(jù)安全
- 內(nèi)容安全，包含輸出和輸出
- 系統(tǒng)安全
數(shù)據(jù)安全主要是指使用大模型服務(wù)，尤其是境外服務(wù)會(huì)導(dǎo)致數(shù)據(jù)跨境，這是不能被允許的；
內(nèi)容安全主要是用戶輸入以及結(jié)果輸出不能包含涉黃涉恐的內(nèi)容；
系統(tǒng)安全則是攻擊者可以通過(guò)提示詞誘導(dǎo)導(dǎo)致一些機(jī)密信息的泄露。以上的安全問(wèn)題都是需要被嚴(yán)重關(guān)切。
安全問(wèn)題解決方案
數(shù)據(jù)安全的解法就是使用完全合規(guī)的大模型服務(wù)或者完全托管開(kāi)源的模型實(shí)現(xiàn) 100% 私有化，RocketMQ 學(xué)習(xí)社區(qū)是基于開(kāi)源的 chatlm6b 問(wèn)答系統(tǒng)方案并且使用阿里云多款產(chǎn)品組合，從而實(shí)現(xiàn)模型服務(wù)和業(yè)務(wù)邏輯一體化的 AI 應(yīng)用。
chatlm6b 問(wèn)答系統(tǒng)方案：
https://github.com/imClumsyPanda/langchain-ChatGLM
內(nèi)容安全，針對(duì)輸入內(nèi)容做安全算法過(guò)濾， 阿里云的綠網(wǎng)服務(wù)能夠很好的支撐這一點(diǎn)，規(guī)避使用者輸入不合規(guī)的問(wèn)題，輸出結(jié)果的約束則是通過(guò)提示詞工程完成-僅允許回答領(lǐng)域內(nèi)的問(wèn)題。
系統(tǒng)安全，應(yīng)對(duì)提示詞注入(PI)的風(fēng)險(xiǎn)，則可以考慮采用啟發(fā)式方法，在惡意輸入到達(dá)前將其過(guò)濾或者使用專用 LLM 來(lái)分析傳入的提示并識(shí)別潛在的攻擊。
相關(guān)的解決方案可以參考：https://rebuff.ai/
服務(wù)高可用
社區(qū)的智能問(wèn)答系統(tǒng)上線之后，必然要面對(duì)更多的訪問(wèn)請(qǐng)求。模型推理本身無(wú)法并行，意味進(jìn)入模型推理的請(qǐng)求需要排隊(duì)處理，如何快速拉起更多的模型服務(wù)，應(yīng)對(duì)并發(fā)請(qǐng)求，是線上生產(chǎn)面臨的現(xiàn)實(shí)問(wèn)題；此外如何應(yīng)對(duì)單點(diǎn)服務(wù)故障以及如何對(duì)數(shù)據(jù)進(jìn)行容災(zāi)備份，都是生產(chǎn)服務(wù)必須考慮的問(wèn)題。
成本/效率/體驗(yàn)的平衡
如何更快的交付業(yè)務(wù)服務(wù)，如何實(shí)現(xiàn)體驗(yàn)和成本的平衡，也是擺在實(shí)際生產(chǎn)中的問(wèn)題。
如果你選擇了模型自托管，有兩種使用 GPU 的方案，第一種是自己買卡搭建服務(wù)，第二種是租賃云廠商的服務(wù)器。第一種需要很強(qiáng)的技術(shù)背景，并且需要處理好服務(wù)的高可用，第二種則需要對(duì) GPU 的消耗進(jìn)行精打細(xì)算，任何一家云廠商提供的 GPU 服務(wù)費(fèi)用都不低。除此之外隨著業(yè)務(wù)交付時(shí)間的臨近，處理非業(yè)務(wù)的技術(shù)問(wèn)題也會(huì)增加業(yè)務(wù)交付的風(fēng)險(xiǎn)，業(yè)務(wù)研發(fā)投入的減少也會(huì)影響服務(wù)的使用體驗(yàn)。
一句話總結(jié)就是，實(shí)現(xiàn)成本、效率、體驗(yàn)三者的平衡絕非易事。
RocketMQ 學(xué)習(xí)社區(qū)的探索
RocketMQ 學(xué)習(xí)社區(qū)的構(gòu)建，采用的是阿里云 Serverless 架構(gòu)，實(shí)現(xiàn)百分之百的私有化，并且盡最大可能得解決安全問(wèn)題。通過(guò) Serverless 實(shí)現(xiàn)成本/效率/體驗(yàn)的平衡以及服務(wù)的高可用。此外在網(wǎng)絡(luò)層面使用了更安全的 vpn 內(nèi)網(wǎng)服務(wù)，更大程度的杜絕系統(tǒng)關(guān)鍵信息泄露，同時(shí)還保留了切換商業(yè)模型服務(wù)的能力，方便在后續(xù)切換時(shí)獲得更加精準(zhǔn)的問(wèn)題答案。
RocketMQ 學(xué)習(xí)社區(qū) Serverless 架構(gòu)方案
專業(yè)安全團(tuán)隊(duì)安全水位評(píng)估結(jié)果
開(kāi)源模型地址
https://github.com/imClumsyPanda/langchain-ChatGLM
總結(jié)
除了以上的生產(chǎn)挑戰(zhàn)，我們也遇到了非常多的工程化研發(fā)中的細(xì)節(jié)問(wèn)題，比如 Serverless 架構(gòu)的模型服務(wù)部署，端到端的性能調(diào)優(yōu)，后續(xù)會(huì)跟大家一一拆解，做更詳細(xì)的文章分享。
我們相信，大模型的出現(xiàn)在持續(xù)的改變這個(gè)世界，隨著基于專業(yè)語(yǔ)料庫(kù)的智能問(wèn)答技術(shù)的成熟，更廣泛的行業(yè)如教育，醫(yī)療，法律等也都會(huì)被惠及。開(kāi)源社區(qū)也會(huì)迎來(lái)嶄新的方向，今天把我們的實(shí)踐跟大家做分享，也希望能有更多的同學(xué)參與其中，一起共創(chuàng)，將開(kāi)源社區(qū)傳播知識(shí)的能力放大，惠普更多的開(kāi)發(fā)者。
RocketMQ 學(xué)習(xí)社區(qū)體驗(yàn)地址
RocketMQ 學(xué)習(xí)社區(qū)是國(guó)內(nèi)首個(gè)基于 AIGC 提供的知識(shí)服務(wù)社區(qū)，歡迎大家點(diǎn)擊體驗(yàn)（建議PC端體驗(yàn)完整功能）：https://rocketmq-learning.com/**
PS：RocketMQ 社區(qū)以 RocketMQ 5.0 資料為主要訓(xùn)練內(nèi)容，持續(xù)優(yōu)化迭代中，回答內(nèi)容均由人工智能模型生成，其準(zhǔn)確性和完整性無(wú)法保證，且不代表 RocketMQ 學(xué)習(xí)社區(qū)的態(tài)度或觀點(diǎn)。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-485288.html
點(diǎn)擊此處，立即體驗(yàn) RocketMQ 學(xué)習(xí)社區(qū)文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-485288.html
到了這里，關(guān)于基于 AIGC，RocketMQ 學(xué)習(xí)社區(qū)探索開(kāi)源軟件學(xué)習(xí)新范式的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
