作者：
英特爾創(chuàng)新大使 劉力
英特爾開發(fā)者技術(shù)推廣經(jīng)理 李翊瑋

1.?前言

?

??在當(dāng)今的企業(yè)環(huán)境中，信息的快速獲取和處理對(duì)于企業(yè)的成功至關(guān)重要。為了滿足這一需求，我們可以將RAG技術(shù)與企業(yè)本地知識(shí)庫相結(jié)合，以提供實(shí)時(shí)的、自動(dòng)生成的信息處理和決策支持。這將有助于企業(yè)更好地應(yīng)對(duì)快速變化的市場(chǎng)環(huán)境，提高企業(yè)的競爭力和創(chuàng)新能力。

??企業(yè)本地知識(shí)庫是一個(gè)集中存儲(chǔ)和管理企業(yè)內(nèi)部知識(shí)的系統(tǒng)。它包含了企業(yè)的歷史數(shù)據(jù)、經(jīng)驗(yàn)教訓(xùn)、最佳實(shí)踐、流程文檔、產(chǎn)品信息等。企業(yè)本地知識(shí)庫是企業(yè)智慧的結(jié)晶，對(duì)于企業(yè)的運(yùn)營和發(fā)展具有重要意義。

將RAG技術(shù)與企業(yè)本地知識(shí)庫相結(jié)合，可以為企業(yè)帶來以下幾個(gè)方面的優(yōu)勢(shì)：

• 實(shí)時(shí)性：RAG技術(shù)可以實(shí)時(shí)地從企業(yè)本地知識(shí)庫中提取相關(guān)信息，并生成用戶所需的內(nèi)容。這意味著用戶可以快速地獲取到最新的知識(shí)和信息，而不需要花費(fèi)大量時(shí)間去查找和整理。
• 自動(dòng)化：RAG技術(shù)可以自動(dòng)地處理和生成內(nèi)容，減少了人工干預(yù)的需求。這不僅可以提高企業(yè)的效率，還可以減少人為錯(cuò)誤的發(fā)生。
• 個(gè)性化和定制化：RAG技術(shù)可以根據(jù)用戶的需求和偏好，生成個(gè)性化的內(nèi)容。通過與企業(yè)本地知識(shí)庫的結(jié)合，可以提供更加精準(zhǔn)和有針對(duì)性的信息，滿足不同用戶的需求。
• 知識(shí)共享和傳承：企業(yè)本地知識(shí)庫是一個(gè)集中存儲(chǔ)和共享知識(shí)的平臺(tái)。通過與RAG技術(shù)的結(jié)合，可以將這些知識(shí)快速地傳遞給需要的用戶，促進(jìn)知識(shí)的共享和傳承。

2. RAG簡介

? ? RAG - Retrieval-Augmented Generation（檢索增強(qiáng)生成）是一種先進(jìn)的自然語言處理（NLP）技術(shù)，它結(jié)合了信息檢索（Retrieval）和神經(jīng)網(wǎng)絡(luò)生成（Generation）兩種方法，以提升模型在生成文本時(shí)的準(zhǔn)確性和相關(guān)性。在傳統(tǒng)的生成模型中，模型依據(jù)自身學(xué)習(xí)到的知識(shí)庫生成文本。然而，這種方法受限于模型訓(xùn)練時(shí)所接觸到的數(shù)據(jù)范圍，特別是在處理未見的、需要實(shí)時(shí)查找新信息的場(chǎng)景時(shí)，可能無法生成最新或最準(zhǔn)確的內(nèi)容。

? RAG模型通過引入一個(gè)檢索組件，在接收到輸入問題或任務(wù)后，首先從大規(guī)模預(yù)定義的知識(shí)庫（如網(wǎng)頁、文檔集合或其他結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)源）中檢索與任務(wù)相關(guān)的信息片段。然后，檢索到的信息作為額外的上下文輸入，與原始輸入一起傳遞給生成模型。生成模型在此基礎(chǔ)上，利用檢索到的信息以及自身的語言模型能力，生成更為精確、詳盡且與現(xiàn)實(shí)世界信息保持同步的回答或文本內(nèi)容。

? 簡單來說，RAG模型就是在傳統(tǒng)生成模型的基礎(chǔ)上增加了一個(gè)動(dòng)態(tài)獲取外部知識(shí)的能力，這樣既保留了大模型生成連貫文本的優(yōu)點(diǎn)，又解決了由于模型記憶限制導(dǎo)致的知識(shí)更新和準(zhǔn)確性不足的問題，尤其適用于問答系統(tǒng)、對(duì)話系統(tǒng)及需要實(shí)時(shí)更新信息的自然語言處理任務(wù)。

3.? OpenVINO Notebook簡介

?OpenVINO Notebooks是一套以Jupyter Notebook為載體的開源交互式編程教程和示例代碼合集，由英特爾公司開發(fā)和維護(hù)。這套資源專為使用 OpenVINO 工具套件的開發(fā)者設(shè)計(jì)，旨在幫助他們更快地理解和掌握如何利用 OpenVINO 進(jìn)行深度學(xué)習(xí)模型的優(yōu)化與推理及實(shí)際部署AI在各式業(yè)務(wù)應(yīng)用場(chǎng)景里面。本文使用的OpenVINO 版本為2023.3。安裝教程請(qǐng)參考https://github.com/openvinotoolkit。

4. 部署平臺(tái)簡介：

? 算力魔方是一款可以DIY的迷你主機(jī)，采用了抽屜式設(shè)計(jì)，后續(xù)組裝、升級(jí)、維護(hù)只需要拔插模塊。通過選擇計(jì)算模塊的版本，再搭配不同額 IO 模塊可以組成豐富的配置，適應(yīng)不同場(chǎng)景。性能不夠時(shí)，可以升級(jí)計(jì)算模塊提升算力, 如需要顯卡可加上顯卡， IO 接口不匹配時(shí)，可以更換 IO 模塊調(diào)整功能，而無需重構(gòu)整個(gè)系統(tǒng)。本文在帶有英特爾12代酷睿i7-1265U芯片組里的銳炬? Xe集成顯卡+RAM 32GB的算力魔方上完成驗(yàn)證。

5.? 在集成顯卡上部署RAG

5.1 搭建OpenVINO Notebooks開發(fā)環(huán)境

第一步：請(qǐng)使用下面的命令克隆存儲(chǔ)庫創(chuàng)建并激活名為“openvino_env”的虛擬環(huán)境

git clone https://github.com/openvinotoolkit/openvino_notebooks.git

cd openvino_notebooks

conda create -n openvino_env python=3.9

第二步：請(qǐng)使用下面的命令激活虛擬環(huán)境并安裝依賴包，并啟動(dòng)Jupyter Notebooks

conda activate openvino_env

pip install -r requirements.txt

jupyter lab notebooks

5.2? 下載模型到本地

請(qǐng)使用命令將ChatGLM3 6B和text2vec模型下載到本地

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

5.3?運(yùn)行254-rag-chatbot程序

請(qǐng)運(yùn)行Notebooks里面的代碼模塊, 注意!! 國內(nèi)用戶請(qǐng)勿運(yùn)行模塊1，從模塊2開始一步步運(yùn)行代碼到NNCF模塊，模型壓縮選擇int4并按照下圖一及二圖修改notebooks 254里的代碼引導(dǎo)程序指定對(duì)應(yīng)的模型路徑完成ChatGLM3-6b模型int 4量化及部署

圖一

圖二

text2vec-large-chinese 模型部署

運(yùn)行結(jié)果，如下所示：本地知識(shí)庫已成功加入ChatGLM 6B模型里并精確回答問題

運(yùn)行視頻.avi

6.? 總結(jié)

??將RAG技術(shù)與企業(yè)本地知識(shí)庫相結(jié)合，可以為企業(yè)提供實(shí)時(shí)、自動(dòng)化、個(gè)性化和定制化的信息處理和決策支持。這將有助于企業(yè)更好地應(yīng)對(duì)快速變化的市場(chǎng)環(huán)境，提高企業(yè)的競爭力和創(chuàng)新能力。

? 利用OpenVINO工具套件簡單易用，僅需三步即可在算力魔方完成開發(fā)環(huán)境搭建及模型的INT4量化且在英特爾集成顯卡上的部署實(shí)現(xiàn)RAG企業(yè)本地知識(shí)庫部署。

作者介紹：

劉力，深圳市鉑盛科技有限公司的創(chuàng)始人。帶領(lǐng)團(tuán)隊(duì)成功設(shè)計(jì)了多種計(jì)算機(jī)系統(tǒng)，并申請(qǐng)了多項(xiàng)專利和軟件著作，鉑盛科技為國家高新技術(shù)企業(yè)，深圳市專精特新企業(yè)。鉑盛通過整合算力和算法，打造軟硬件一體化的AIPC解決方案，目前產(chǎn)品已在工業(yè)控制、智能機(jī)器人、教育、醫(yī)療、金融等多個(gè)邊緣計(jì)算領(lǐng)域得到廣泛應(yīng)用。

聯(lián)系方式

電話：13537819699

Email：leo.liu@pasuntech.com

英特爾創(chuàng)新大使 劉力

英特爾開發(fā)者技術(shù)推廣經(jīng)理 李翊瑋文章來源地址http://www.zghlxwxcb.cn/news/detail-858901.html

到了這里，關(guān)于英特爾集成顯卡+ChatGLM3大語言模型的企業(yè)本地AI知識(shí)庫部署的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！