一直想在自己的筆記本上部署一個(gè)大模型驗(yàn)證，早就聽(tīng)說(shuō)了llama.cpp，可是一直沒(méi)時(shí)間弄。
今天終于有時(shí)間驗(yàn)證了。首先本機(jī)安裝好g++,cmake.我下載的cmake版本是cmake-3.27.0-rc4-windows-x86_64.msi。安裝時(shí)選擇增加系統(tǒng)變量。接著GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++
執(zhí)行以下步驟：
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp
mkdir build cd build cmake .. cmake --build . --config Release
好像看上去很簡(jiǎn)單，其實(shí)坑一堆。首先我執(zhí)行第三步的時(shí)候cmake說(shuō)命令不存在。我。。。查看環(huán)境變量已經(jīng)設(shè)置了，無(wú)語(yǔ)。到處找各種方案，都是喊設(shè)置環(huán)境變量，無(wú)意中想著在powershell環(huán)境下試一下。執(zhí)行powershell，在這個(gè)環(huán)境下可以執(zhí)行cmake。執(zhí)行完以后，退出powershell，可以在命令行執(zhí)行cmake了，真是怪事。估計(jì)我以前做過(guò)啥子環(huán)境設(shè)置，先不管。
繼續(xù)執(zhí)行cmake ..，報(bào)CMake Error: CMAKE_C_COMPILER not set, after EnableLanguage
CMake Error: CMAKE_CXX_COMPILER not set, after EnableLanguage
-- Configuring incomplete, errors occurred!。
網(wǎng)上找了一堆解決方案，都不適合，最后自己摸索。先刪除build目錄下的文件，執(zhí)行cmake -G"MinGW Makefiles" ..成功。注意這里的..不能少。
生成了make文件。興匆匆的執(zhí)行cmake --build . --config Release，又報(bào)錯(cuò)：
collect2.exe: error: ld returned 1 exit status
examples\server\CMakeFiles\server.dir\build.make:101: recipe for target 'bin/server.exe' failed
mingw32-make.exe[2]: *** [bin/server.exe] Error 1
CMakeFiles\Makefile2:1751: recipe for target 'examples/server/CMakeFiles/server.dir/all' failed
mingw32-make.exe[1]: *** [examples/server/CMakeFiles/server.dir/all] Error 2
Makefile:99: recipe for target 'all' failed
mingw32-make.exe: *** [all] Error 2
真是欲哭無(wú)淚。又在網(wǎng)上找了各種方案，其中比較靠譜的是增加#pragma comment(lib,"ws2_32.lib")與g++ server.cpp -o server -lws2_32?？墒且或?yàn)證，pragma comment(lib,"ws2_32.lib")是vs用法。g++不支持。g++ server.cpp -o server -lws2_32又是在各種互相串聯(lián)的makefile文件中引用，根本無(wú)法找到。一下子進(jìn)入了死結(jié)。不死心，又各種makefile看，終于找到了一個(gè)思路link_libraries。試著在CMakeLists.txt增加link_libraries(-lws2_32)，再次執(zhí)行cmake --build . --config Release，完美成功。截圖如下：
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-606916.html
?后面基本就是下載模型，放到指定目錄，執(zhí)行main.exe即可。四個(gè)小時(shí)，終于搞定了。記錄一下，供大家參考。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-606916.html
到了這里，關(guān)于llama.cpp LLM模型 windows cpu安裝部署踩坑記錄的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
