1. 什么是 langchain-ChatGLM
一種利用 ChatGLM-6B + langchain 實現(xiàn)的基于本地知識的 ChatGLM 應(yīng)用。增加 clue-ai/ChatYuan 項目的模型 ClueAI/ChatYuan-large-v2 的支持。
本項目中 Embedding 默認(rèn)選用的是 GanymedeNil/text2vec-large-chinese，LLM 默認(rèn)選用的是 ChatGLM-6B。依托上述模型，本項目可實現(xiàn)全部使用開源模型離線私有部署。
2. 什么是 langchain
大型語言模型（LLM）正在成為一種變革性的技術(shù)，使開發(fā)者能夠建立他們以前無法建立的應(yīng)用程序。然而，孤立地使用這些LLM往往不足以創(chuàng)建一個真正強(qiáng)大的應(yīng)用程序–當(dāng)你能將它們與其他計算或知識來源相結(jié)合時，真正的力量才會出現(xiàn)。這個庫的目的是協(xié)助開發(fā)這些類型的應(yīng)用。
langchain 使用 Transformer 模型，并在多個語言間建立鏈?zhǔn)浇Y(jié)構(gòu)實現(xiàn)翻譯。比如，它可以通過英語→法語→西班牙語完成英語到西班牙語的翻譯。
langchain 只使用公開數(shù)據(jù)集進(jìn)行訓(xùn)練，不需要額外的數(shù)據(jù)。它使用的訓(xùn)練集包括：
- WMT2014英法翻譯數(shù)據(jù)集
- WMT2014英德翻譯數(shù)據(jù)集
- UN翻譯語料庫
langchain 提供11種語言的機(jī)器翻譯模型,語言包括：英語、法語、西班牙語、意大利語、德語、荷蘭語、葡萄牙語、俄語、日語、中文、阿拉伯語。
langchain的參數(shù)量較小,其基礎(chǔ)模型只有 47M 參數(shù),加快推理速度并降低計算資源要求。
langchain開源免費(fèi)，模型與代碼都在 GitHub 開源，方便研究與生產(chǎn)使用。
3. Github 地址
https://github.com/imClumsyPanda/langchain-ChatGLM
https://github.com/hwchase17/langchain
4. 安裝 Miniconda3
下載 Conda 安裝腳本，
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
運(yùn)行安裝腳本，
bash Miniconda3-latest-Linux-x86_64.sh
按提示操作。當(dāng)提示是否初始化 Conda 時,輸入 “yes”，
安裝完成后，關(guān)閉當(dāng)前終端并打開新終端，這將激活 Conda，
sudo su - root
更新 Conda 至最新版本，
conda update conda
添加必要的 Conda 通道以獲取更多軟件包，
conda config --add channels conda-forge
conda config --add channels defaults
測試是否安裝成功，
conda list
如果顯示 Conda 及其內(nèi)部包的列表,則說明安裝成功。
5. 創(chuàng)建虛擬環(huán)境
conda create -n langchain-chatglm python==3.10.4
conda activate langchain-chatglm
6. 部署 langchain-ChatGLM
git clone https://github.com/imClumsyPanda/langchain-ChatGLM; cd langchain-ChatGLM
pip3 install -r requirements.txt
pip3 install -U gradio
pip3 install modelscope
7. 啟動 langchain-ChatGLM
python webui.py
8. 訪問 langchain-ChatGLM
使用瀏覽器打開 http://localhost:7860/，
問它一個問題，清華大學(xué)在哪？
9. API部署
python api.py
10. 命令行部署
python cli_demo.py
11. 其他，LangChain Document Loaders
refer: https://python.langchain.com/en/latest/modules/indexes/document_loaders.html
將語言模型與你自己的文本數(shù)據(jù)結(jié)合起來是一個強(qiáng)有力的方法。做到這一點的第一步是將數(shù)據(jù)加載到 "文檔 "中 – 即一些文本片段。這個模塊的目的是使之變得簡單。
這方面的一個主要驅(qū)動是 Unstructured python 包。這個包是將所有類型的文件 – 文本、powerpoint、圖片、html、pdf等–轉(zhuǎn)化為文本數(shù)據(jù)的好方法。文章來源：http://www.zghlxwxcb.cn/news/detail-457546.html
完結(jié)！文章來源地址http://www.zghlxwxcb.cn/news/detail-457546.html
到了這里，關(guān)于本地部署 langchain-ChatGLM的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
