一、本機(jī)環(huán)境
1.硬件環(huán)境：
CPU：銳龍5600X
顯卡：GTX3070
內(nèi)存：32G
注：硬件配置僅為博主的配置，不是最低要求配置，也不是推薦配置。該配置下計(jì)算速度約為40tokens/s。實(shí)測(cè)核顯筆記本（i7-1165g7）也能跑，速度3tokens/s。
2.軟件環(huán)境：
Windows系統(tǒng)版本：Win11專業(yè)版23H2
Python版本：3.11
Cuda版本：12.3.2
VS版本：VS2022 17.8.3
langchain版本：0.0.352
llama-cpp-python版本：0.2.27
二、安裝準(zhǔn)備工作
1.模型下載
大模型有很多種格式，比如Meta官網(wǎng)下載的pth格式，Huggingface下載的ggml格式、gguf格式等。（博主最開(kāi)始下的Meta官網(wǎng)的版本，結(jié)果發(fā)現(xiàn)langchain框架用不了，走了不少?gòu)澛罚?/p>
langchain框架使用的是gguf格式（老版本則是ggml格式 llama.cpp <= 0.1.48），所以我們?cè)贖uggingface上下載gguf格式的模型，下載鏈接為T(mén)heBloke/Llama-2-7B-Chat-GGUF at main (huggingface.co)，本文選擇的模型為llama-2-7b-chat.Q4_K_M.gguf。
不同模型的大小、硬件需求、計(jì)算速度、精度不同，具體區(qū)別詳見(jiàn)網(wǎng)站的README.md文檔。
| 模型名稱 | 量化方式 | 模型精度 | 大小 | 最小內(nèi)存要求 | 備注 |
|---|---|---|---|---|---|
| llama-2-7b-chat.Q2_K.gguf | Q2_K | 2 | 2.83 GB | 5.33 GB | 模型最小, 質(zhì)量最差 - 不推薦 |
| llama-2-7b-chat.Q3_K_S.gguf | Q3_K_S | 3 | 2.95 GB | 5.45 GB | 模型很小, 質(zhì)量較差 |
| llama-2-7b-chat.Q3_K_M.gguf | Q3_K_M | 3 | 3.30 GB | 5.80 GB | 模型很小, 質(zhì)量較差 |
| llama-2-7b-chat.Q3_K_L.gguf | Q3_K_L | 3 | 3.60 GB | 6.10 GB | 模型小, 質(zhì)量略差 |
| llama-2-7b-chat.Q4_0.gguf | Q4_0 | 4 | 3.83 GB | 6.33 GB | 常規(guī);模型小, 質(zhì)量很差 - 相比更推薦 Q3_K_M |
| llama-2-7b-chat.Q4_K_S.gguf | Q4_K_S | 4 | 3.86 GB | 6.36 GB | 模型小, 質(zhì)量稍好 |
| llama-2-7b-chat.Q4_K_M.gguf | Q4_K_M | 4 | 4.08 GB | 6.58 GB | 模型中等, 質(zhì)量中等 - 推薦 |
| llama-2-7b-chat.Q5_0.gguf | Q5_0 | 5 | 4.65 GB | 7.15 GB | 常規(guī); 模型中等, 質(zhì)量中等 - 相比更推薦 Q4_K_M |
| llama-2-7b-chat.Q5_K_S.gguf | Q5_K_S | 5 | 4.65 GB | 7.15 GB | 模型大, 質(zhì)量稍好 - 推薦 |
| llama-2-7b-chat.Q5_K_M.gguf | Q5_K_M | 5 | 4.78 GB | 7.28 GB | 模型大, 質(zhì)量較好 - 推薦 |
| llama-2-7b-chat.Q6_K.gguf | Q6_K | 6 | 5.53 GB | 8.03 GB | 模型很大, 質(zhì)量很好 |
| llama-2-7b-chat.Q8_0.gguf | Q8_0 | 8 | 7.16 GB | 9.66 GB | 模型很大, 質(zhì)量最好 - 不推薦 |
?2.VS2022安裝
下載Microsoft C++ 生成工具 - Visual Studio，在安裝頁(yè)面勾選使用C++的桌面開(kāi)發(fā)，完成安裝。
3.Cuda安裝
注：Cuda用于N卡加速模型計(jì)算，langchain+llama2支持只用cpu加速，如不用gpu加速可不安裝。
下載Cuda完成安裝，下載鏈接CUDA Toolkit 12.3 Update 2 Downloads | NVIDIA Developer
注：后續(xù)安裝python包llama-cpp-python時(shí)可能會(huì)遇到No Cuda toolset found問(wèn)題，需要將Cuda安裝包當(dāng)作壓縮包打開(kāi)，在cuda_12.3.2_546.12_windows.exe\visual_studio_integration\CUDAVisualStudioIntegration\extras\visual_studio_integration\MSBuildExtensions\文件夾中找到以下4個(gè)文件，將這4個(gè)文件放入VS2022的目錄中，博主的路徑為C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v170
4.Python及其余pip包安裝
python安裝
Python安裝方式請(qǐng)查閱其余教程：安裝 python at windows - PanPan003 - 博客園 (cnblogs.com)
langchain安裝
打開(kāi)powershell，輸入以下命令安裝langchain框架
pip install langchain
llama-cpp-python安裝
由于我們要用cuda加速模型計(jì)算，安裝llama-cpp-python前需要配置powelshell環(huán)境，使llama-cpp-python啟用cuda。如果僅用cpu跑模型，可不輸入此行代碼，不同配置的詳細(xì)說(shuō)明參照abetlen/llama-cpp-python：llama.cpp 的 Python 綁定 (github.com)
$env=CMAKE_ARGS="-DLLAMA_CUBLAS=on"
輸入以下命令安裝llama-cpp-python包
pip install llama-cpp-python
如果之前已經(jīng)安裝過(guò)llama-cpp-python，想用不同的配置方式重新安裝，需要在配置好環(huán)境變量后輸入
pip install --upgrade --force-reinstall llama-cpp-python
?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-777130.html
?
三、運(yùn)行代碼
請(qǐng)將模型與python代碼文件放在同一目錄下，或自行修改目錄。
from langchain.callbacks.manager import CallbackManager from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler from langchain.chains import LLMChain from langchain.prompts import PromptTemplate from langchain_community.llms import LlamaCpp template = """Question: {question} Answer: Let's work this out in a step by step way to be sure we have the right answer.""" prompt = PromptTemplate(template=template, input_variables=["question"]) # Callbacks support token-wise streaming callback_manager = CallbackManager([StreamingStdOutCallbackHandler()]) n_gpu_layers = 40 # Change this value based on your model and your GPU VRAM pool. n_batch = 512 # Should be between 1 and n_ctx, consider the amount of VRAM in your GPU. # Make sure the model path is correct for your system! llm = LlamaCpp( model_path="llama-2-7b.Q4_K_M.gguf", n_gpu_layers=n_gpu_layers, n_batch=n_batch, callback_manager=callback_manager, verbose=True, # Verbose is required to pass to the callback manager ) llm_chain = LLMChain(prompt=prompt, llm=llm) question = "What NFL team won the Super Bowl in the year Justin Bieber was born?" llm_chain.run(question)
?
?
?
?
參考鏈接：
1.llama2介紹
Llama 2 來(lái)襲 - 在 Hugging Face 上玩轉(zhuǎn)它
關(guān)于 Llama 2 的一切資源，我們都幫你整理好了 - HuggingFace - 博客園 (cnblogs.com)
2.langchain介紹
LangChain 中文文檔 v0.0.291 | ????? Langchain
3.llama-cpp-python編譯相關(guān)問(wèn)題
Windows CMake編譯錯(cuò)誤：No CUDA toolset found解決方法
Error while installing python package: llama-cpp-python - Stack Overflow
c++ - CUDA compile problems on Windows, Cmake error: No CUDA toolset found - Stack Overflow
?4.帶GUI的實(shí)戰(zhàn)
本地部署開(kāi)源大模型的完整教程：LangChain + Streamlit+ Llama - 知乎 (zhihu.com)文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-777130.html
?
到了這里，關(guān)于Windows11下私有化部署大語(yǔ)言模型實(shí)戰(zhàn) langchain+llama2的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
