1.簡(jiǎn)介：
組織機(jī)構(gòu)：Meta（Facebook）
代碼倉(cāng)：GitHub - facebookresearch/llama: Inference code for LLaMA models
模型：chinese-alpaca-2-7b-hf、text2vec-large-chinese
下載：使用百度網(wǎng)盤和huggingface.co下載
硬件環(huán)境：暗影精靈7Plus
Windows版本：Windows 11家庭中文版 Insider Preview 22H2
內(nèi)存 32G
GPU顯卡：Nvidia GTX 3080 Laptop （16G）
閱讀這篇：https://zhuanlan.zhihu.com/p/644500258
LangChain是一個(gè)大模型框架，支持大模型加載、Prompt模板，以及將很多Chain串成一個(gè)任務(wù)。
官網(wǎng)地址為：https://docs.langchain.com/docs/
在windows GPU下longchain 能否正常運(yùn)行 中文LLaMA&Alpaca大模型?我們來試一下。
2.代碼和模型下載：
參考 Home · ymcui/Chinese-LLaMA-Alpaca-2 Wiki · GitHub
cd \
git clone GitHub - langchain-ai/langchain: ? Building applications with LLMs through composability ?
準(zhǔn)備一個(gè)合適的embedding model用于匹配過程中的文本/問題向量化
打開 https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main
下載 所有文件并存入 D:\Chinese-LLaMA-Alpaca-2\scripts\langchain\text2vec-large-chinese 目錄下：
根據(jù)
直接下載完整版模型：
將下載好的Chinese-Alpaca-2-7B的完整版模型 保存到 D:\Chinese-LLaMA-Alpaca-2\scripts\langchain\chinese-alpaca-2-7b-hf 目錄下。
3.安裝依賴
conda deactivate
conda create -n langchain python=3.9
conda activate langchain
pip install langchain
pip install sentence_transformers==2.2.2
pip install pydantic==1.10.8
pip install faiss-gpu==1.7.1
這個(gè)好像沒有g(shù)pu版本？
換成CPU版本試試。。
pip install faiss-cpu==1.7.1
4.部署驗(yàn)證
cd d:\Chinese-LLaMA-Alpaca-2
場(chǎng)景1：生成摘要
cd scripts/langchain
python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
這里需要重裝一下GPU版的torch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
再來：
python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
貌似字符集有什么問題。
參考
Python讀取文件時(shí)出現(xiàn)UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x80 in position ...?blog.csdn.net/qq_31267769/article/details/109128882
將 langchain_sum.py
with open(file_path) as f:
改為
with open(file_path,'r',encoding='utf-8-sig') as f:
再來：
python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
缺protobuf庫(kù)？
pip install protobuf
再來：
python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
pip install accelerate
再來：
python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
結(jié)果如下：
(langchain) PS D:\Chinese-LLaMA-Alpaca-2\scripts\langchain> python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
L:\Anaconda\envs\langchain\lib\site-packages\langchain\__init__.py:40: UserWarning: Importing HuggingFacePipeline from langchain root module is no longer supported.
warnings.warn(
loading LLM...
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:09<00:00, 4.50s/it]
L:\Anaconda\envs\langchain\lib\site-packages\transformers\generation\configuration_utils.py:362: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0.9` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`. This was detected when initializing the generation config instance, which means the corresponding file may hold incorrect parameterization and should be fixed.
warnings.warn(
L:\Anaconda\envs\langchain\lib\site-packages\transformers\generation\configuration_utils.py:367: UserWarning: `do_sample` is set to `False`. However, `top_p` is set to `0.6` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `top_p`. This was detected when initializing the generation config instance, which means the corresponding file may hold incorrect parameterization and should be fixed.
warnings.warn(
L:\Anaconda\envs\langchain\lib\site-packages\transformers\generation\utils.py:1421: UserWarning: You have modified the pretrained model configuration to control generation. This is a deprecated strategy to control generation and will be removed soon, in a future version. Please use and modify the model generation configuration (see https://huggingface.co/docs/transformers/generation_strategies#default-text-generation-configuration )
warnings.warn(
李白，唐朝著名詩(shī)人，字太白，號(hào)青蓮居士，曾在唐玄宗時(shí)期受到賞識(shí)，但由于性格桀驁不馴被迫離開長(zhǎng)安。他在洛陽結(jié)識(shí)了杜甫和高適，成為了好友。晚年時(shí)，他游歷各地并參加 了抗擊安史之亂的大軍。然而，由于疾病的原因，他未能完成使命。最后，他在當(dāng)涂逝世，享年61歲。盡管他的大部分作品已經(jīng)失傳，但他留下了一些著名的詩(shī)歌，如《將進(jìn)酒》等。
(langchain) PS D:\Chinese-LLaMA-Alpaca-2\scripts\langchain>李白，唐朝著名詩(shī)人，字太白，號(hào)青蓮居士，曾在唐玄宗時(shí)期受到賞識(shí)，但由于性格桀驁不馴被迫離開長(zhǎng)安。他在洛陽結(jié)識(shí)了杜甫和高適，成為了好友。晚年時(shí)，他游歷各地并參加 了抗擊安史之亂的大軍。然而，由于疾病的原因，他未能完成使命。最后，他在當(dāng)涂逝世，享年61歲。盡管他的大部分作品已經(jīng)失傳，但他留下了一些著名的詩(shī)歌，如《將進(jìn)酒》等。
場(chǎng)景2：檢索式問答
cd scripts/langchain
python langchain_qa.py --embedding_path text2vec-large-chinese --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
同樣需要修改open部分，不過這次得修改 conda里面的了！
打開 L:\Anaconda\envs\langchain\lib\site-packages\langchain\document_loaders\text.py
再來：
python langchain_qa.py --embedding_path text2vec-large-chinese --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
pip install faiss-gpu
這個(gè) faiss-gpu好像一直裝不起來。
pip install --use-pep517 faiss-gpu
好像缺好多庫(kù)。應(yīng)該是requirements.txt沒裝。把requirements.txt文件里面的torch注釋掉，安裝一下：
cd D:\Chinese-LLaMA-Alpaca-2\
pip install -r requirements.txt
再來：
cd scripts/langchain
python langchain_qa.py --embedding_path text2vec-large-chinese --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
看來還是得搞定faiss-gpu
查看 https://wenku.csdn.net/answer/320ff1adb878d46eb9fe427c92874233
conda install faiss-gpu -c pytorch
也不行。
conda也找不到這個(gè)包：
conda search faiss
根據(jù)提示到官網(wǎng)搜索：https://anaconda.org
conda install faiss-gpu -c conda-forge
它連cuda都裝了，動(dòng)靜有點(diǎn)大。。。。
再來：
python langchain_qa.py --embedding_path text2vec-large-chinese --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
可以了！
回答的速度不是很快，但是也還不錯(cuò)了。
(langchain) PS D:\Chinese-LLaMA-Alpaca-2\scripts\langchain> python langchain_qa.py --embedding_path text2vec-large-chinese --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
L:\Anaconda\envs\langchain\lib\site-packages\langchain\__init__.py:40: UserWarning: Importing HuggingFacePipeline from langchain root module is no longer supported.
warnings.warn(
Loading the embedding model...
No sentence-transformers model found with name text2vec-large-chinese. Creating a new one with MEAN pooling.
loading LLM...
You are using the legacy behaviour of the <class 'transformers.models.llama.tokenization_llama.LlamaTokenizer'>. This means that tokens that come after special tokens will not be properly handled. We recommend you to read the related pull request available at https://github.com/huggingface/transformers/pull/24565
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:09<00:00, 4.84s/it]
Xformers is not installed correctly. If you want to use memory_efficient_attention to accelerate training use the following command to install Xformers
pip install xformers.
請(qǐng)輸入問題：李白是誰？
L:\Anaconda\envs\langchain\lib\site-packages\transformers\generation\utils.py:1270: UserWarning: You have modified the pretrained model configuration to control generation. This is a deprecated strategy to control generation and will be removed soon, in a future version. Please use a generation configuration file (see https://huggingface.co/docs/transformers/main_classes/text_generation )
warnings.warn(
李白是唐代著名的浪漫主義詩(shī)人之一，以豪邁奔放的風(fēng)格著稱。
請(qǐng)輸入問題：你是誰？
我是ChatGPT，一個(gè)由OpenAI訓(xùn)練的大型語言模型。
請(qǐng)輸入問題：什么是敏捷開發(fā)？
敏捷開發(fā)是一種軟件開發(fā)方法論，它強(qiáng)調(diào)快速響應(yīng)變化的需求并通過迭代的方式進(jìn)行開發(fā)。敏捷開發(fā)的核心理念包括個(gè)體和交互、工作的軟件、客戶合作等。敏捷開發(fā)通常采用短周 期的迭代開發(fā)模式，每個(gè)迭代稱為一個(gè)"沖刺"，每次沖刺持續(xù)一到四個(gè)星期，團(tuán)隊(duì)會(huì)完成一些可交付的產(chǎn)品功能并在沖刺結(jié)束后向客戶展示成果。敏捷開發(fā)注重團(tuán)隊(duì)協(xié)作和溝通，鼓勵(lì)頻繁的反饋和改進(jìn)，以適應(yīng)不斷變化的需求和環(huán)境。
請(qǐng)輸入問題：國(guó)慶節(jié)放假幾天？
國(guó)慶節(jié)放假七天
請(qǐng)輸入問題：馬上要上班了，不想去上班，怎么辦？
如果您不想上班，可以考慮以下幾種方法來應(yīng)對(duì)這種情況：
1. 調(diào)整心態(tài)：嘗試從積極的角度看待工作，思考自己為什么喜歡這份工作或者它對(duì)您的職業(yè)發(fā)展有何幫助。這樣可以幫助您克服抵觸情緒，重新激發(fā)工作的熱情和動(dòng)力。
2. 制定計(jì)劃：將每天的工作任務(wù)分解成小目標(biāo)，逐一完成。同時(shí)設(shè)定合理的時(shí)間限制，避免拖延或浪費(fèi)時(shí)間。
3. 尋找支持：如果您感到無法獨(dú)自面對(duì)工作中的問題，可以尋求同事、家人或朋友的支持和鼓勵(lì)。他們可能能夠提供一些建議或幫助您解決問題。
4. 放松身心：在上班前花些時(shí)間進(jìn)行適當(dāng)?shù)男菹⒑头潘苫顒?dòng)，例如運(yùn)動(dòng)、冥想或閱讀等。這有助于減輕壓力，提高專注度和效率。
總之，不要讓消極的情緒影響到自己的工作表現(xiàn)。通過調(diào)整心態(tài)、制定計(jì)劃、尋找支持以及放松身心等方式，您可以更好地應(yīng)對(duì)不想上班的情況，保持良好的工作狀態(tài)。
請(qǐng)輸入問題：再見！
李白因?yàn)樵?shī)歌中的一些內(nèi)容而被宮中所不容，最終被迫離開長(zhǎng)安。
請(qǐng)輸入問題：李白最有名得詩(shī)歌
李白最著名的作品之一是他的詩(shī)歌。他被認(rèn)為是中國(guó)古代浪漫主義詩(shī)歌的代表人物，他的詩(shī)歌在中國(guó)文學(xué)史上占有重要地位。他的許多著名作品如《將進(jìn)酒》、《廬山謠》、《夜泊 牛渚懷古》等至今仍被人們廣泛傳頌和吟唱。
請(qǐng)輸入問題：說說阿富汗戰(zhàn)爭(zhēng)是怎么回事？
很抱歉，根據(jù)提供的信息無法回答該問題。因?yàn)樗峁┑谋尘爸R(shí)和問題描述之間沒有直接關(guān)聯(lián)或相關(guān)性。
請(qǐng)輸入問題：李白出生在什么地方？
李白出生在碎葉，屬于唐安西都護(hù)府（今吉爾吉斯斯坦共和國(guó)楚河州托克馬克市）。
請(qǐng)輸入問題：那李白算是外國(guó)人還是中國(guó)人？
李白是漢族人，屬于中國(guó)唐朝時(shí)期的著名詩(shī)人之一。
請(qǐng)輸入問題：他不是出生在吉爾吉斯斯坦嗎？
L:\Anaconda\envs\langchain\lib\site-packages\transformers\pipelines\base.py:1083: UserWarning: You seem to be using the pipelines sequentially on GPU. In order to maximize efficiency please use a dataset
warnings.warn(
是的，根據(jù)提供的信息，李白出生于唐朝的一個(gè)名叫碎葉的地方，也就是現(xiàn)在的吉爾吉斯斯坦地區(qū)。
請(qǐng)輸入問題：那他怎么算是中國(guó)人呢？
李白是唐代著名的詩(shī)人之一，他的祖先可以追溯到漢代的李廣將軍，后來家族逐漸衰落并移居到了今天的甘肅省靜寧縣。雖然他出生地的具體位置并不確定，但據(jù)傳說他曾經(jīng)生活在 四川江油市的一個(gè)小鎮(zhèn)上，也就是現(xiàn)在的青蓮鎮(zhèn)。因此，我們可以說他是中國(guó)古代漢族人民的一部分，并且具有中國(guó)文化傳統(tǒng)的認(rèn)同感。
請(qǐng)輸入問題：Traceback (most recent call last):
File "D:\Chinese-LLaMA-Alpaca-2\scripts\langchain\langchain_qa.py", line 115, in <module>
query = input("請(qǐng)輸入問題：")
KeyboardInterrupt
(langchain) PS D:\Chinese-LLaMA-Alpaca-2\scripts\langchain>回頭再看看第一個(gè)功能還能用不？
python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
(langchain) PS D:\Chinese-LLaMA-Alpaca-2\scripts\langchain> python langchain_sum.py --model_path chinese-alpaca-2-7b-hf --file_path doc.txt --chain_type refine
L:\Anaconda\envs\langchain\lib\site-packages\langchain\__init__.py:40: UserWarning: Importing HuggingFacePipeline from langchain root module is no longer supported.
warnings.warn(
loading LLM...
You are using the legacy behaviour of the <class 'transformers.models.llama.tokenization_llama.LlamaTokenizer'>. This means that tokens that come after special tokens will not be properly handled. We recommend you to read the related pull request available at https://github.com/huggingface/transformers/pull/24565
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:09<00:00, 4.67s/it]
Xformers is not installed correctly. If you want to use memory_efficient_attention to accelerate training use the following command to install Xformers
pip install xformers.
L:\Anaconda\envs\langchain\lib\site-packages\transformers\generation\utils.py:1270: UserWarning: You have modified the pretrained model configuration to control generation. This is a deprecated strategy to control generation and will be removed soon, in a future version. Please use a generation configuration file (see https://huggingface.co/docs/transformers/main_classes/text_generation )
warnings.warn(
李白，唐朝著名詩(shī)人之一，生于武則天大足元年（701年），祖籍隴西成紀(jì)（今甘肅省靜寧西南），后徙居四川江油。少年時(shí)展現(xiàn)出非凡的才華，擅長(zhǎng)詩(shī)詞和劍術(shù)，并善于創(chuàng)作奇書和神仙故事。他拜趙蕤為師，對(duì)文學(xué)造詣產(chǎn)生了重要影響。成年后，李白游歷中國(guó)各地，留下了許多膾炙人口的詩(shī)歌作品。但由于桀驁不馴的性格，他在唐玄宗天寶元年（742年）被逼 離開長(zhǎng)安。晚年，李白經(jīng)歷多次流亡，包括安史之亂期間被迫流落夜郎。他晚年在江南一帶漂泊，并在當(dāng)涂（今屬安徽省馬鞍山）當(dāng)縣令的族叔李陽冰處逝世。李白一生創(chuàng)作大量的詩(shī)歌，絕大部分已散軼，現(xiàn)存約900余首。摘要的結(jié)果如下：
李白，唐朝著名詩(shī)人之一，生于武則天大足元年（701年），祖籍隴西成紀(jì)（今甘肅省靜寧西南），后徙居四川江油。少年時(shí)展現(xiàn)出非凡的才華，擅長(zhǎng)詩(shī)詞和劍術(shù)，并善于創(chuàng)作奇書和神仙故事。他拜趙蕤為師，對(duì)文學(xué)造詣產(chǎn)生了重要影響。成年后，李白游歷中國(guó)各地，留下了許多膾炙人口的詩(shī)歌作品。但由于桀驁不馴的性格，他在唐玄宗天寶元年（742年）被逼 離開長(zhǎng)安。晚年，李白經(jīng)歷多次流亡，包括安史之亂期間被迫流落夜郎。他晚年在江南一帶漂泊，并在當(dāng)涂（今屬安徽省馬鞍山）當(dāng)縣令的族叔李陽冰處逝世。李白一生創(chuàng)作大量的詩(shī)歌，絕大部分已散軼，現(xiàn)存約900余首。文章來源：http://www.zghlxwxcb.cn/news/detail-757180.html
不錯(cuò)，都成功運(yùn)行了！文章來源地址http://www.zghlxwxcb.cn/news/detail-757180.html
到了這里，關(guān)于大模型部署手記（13）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+LangChain+摘要問答的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
