與同類大語(yǔ)言模型對(duì)比，它不僅對(duì)硬件的依賴更小，性能卻更高。關(guān)鍵是完全開(kāi)源，使得對(duì)模型在具有行業(yè)特性的場(chǎng)景中，有了高度定制的能力。
Gemma模型當(dāng)下有四個(gè)版本，Gemma 7b, 2b, 2b-it, 7b-it 。通俗來(lái)說(shuō)，2b及精簡(jiǎn)小巧，覆蓋了現(xiàn)代流行的語(yǔ)言，對(duì)硬件依賴小。7b是常規(guī)型的，要有的基本都有了，硬件上最低需要8gb內(nèi)存（顯存）。后綴帶it的版本，可適用于nvidia較新顯卡，支持int8(fp8), tensorrt核心。但我的40hx硬件被閹割太厲害，連fp16都跑不起來(lái)，就沒(méi)測(cè)試了。
安裝環(huán)境：
我的硬件環(huán)境是虛擬機(jī)環(huán)境，40hx顯卡直通，linux系統(tǒng)，遠(yuǎn)程訪問(wèn)。軟件環(huán)境需要目標(biāo)是ollama及open-webui。ollama是大語(yǔ)言模型的一個(gè)運(yùn)行環(huán)境，open-webui是基于openAI及ollama的一個(gè)前端界面。目前ollama只支持nvidia的GPU加速，別的顯卡就不討論了。
安裝過(guò)程：
-
虛擬機(jī)安裝，這邊需要注意的是，顯卡必須直通，CPU必須在主機(jī)直通模式。不然GPU加速就不能成功。
-
安裝常用的軟件，wget curl git nvidia-toolkit
-
確認(rèn)環(huán)境：nvidia-smi看一下顯卡是不是正常驅(qū)動(dòng)，cat /proc/cpuinfo 看一下AVX是否加載。這二點(diǎn)決定了GPU加速
-
在linux上運(yùn)行：（要科學(xué)）
curl -fsSL https://ollama.com/install.sh | sh
然后等待安裝完成，安裝完成后，執(zhí)行?ollama run gemma:2b 或者?ollama run gemma:7b 等模型下載完畢后，就進(jìn)入字符界面，你就可以跟機(jī)器交流了。按ctrl-d可退出。
- 遠(yuǎn)程訪問(wèn)：
因?yàn)槲沂窃诜?wù)器上安裝的，操作需要在PC上，所以需要做一下遠(yuǎn)程
sudo nano /etc/systemd/system/ollama.service (我是ubuntu系統(tǒng)debian類似，其它系統(tǒng)查看services配置方法）
在nano中，[Service]下面加一行?Environment=“OLLAMA_HOST=0.0.0.0:11434”
自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過(guò)，也去過(guò)華為、OPPO等大廠，18年進(jìn)入阿里一直到現(xiàn)在。
深知大多數(shù)Linux運(yùn)維工程師，想要提升技能，往往是自己摸索成長(zhǎng)或者是報(bào)班學(xué)習(xí)，但對(duì)于培訓(xùn)機(jī)構(gòu)動(dòng)則幾千的學(xué)費(fèi)，著實(shí)壓力不小。自己不成體系的自學(xué)效果低效又漫長(zhǎng)，而且極易碰到天花板技術(shù)停滯不前！
因此收集整理了一份《2024年Linux運(yùn)維全套學(xué)習(xí)資料》，初衷也很簡(jiǎn)單，就是希望能夠幫助到想自學(xué)提升又不知道該從何學(xué)起的朋友，同時(shí)減輕大家的負(fù)擔(dān)。
既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗(yàn)的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上Linux運(yùn)維知識(shí)點(diǎn)，真正體系化！
由于文件比較大，這里只是將部分目錄大綱截圖出來(lái)，每個(gè)節(jié)點(diǎn)里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實(shí)戰(zhàn)項(xiàng)目、講解視頻，并且后續(xù)會(huì)持續(xù)更新
如果你覺(jué)得這些內(nèi)容對(duì)你有幫助，可以添加VX：vip1024b （備注Linux運(yùn)維獲?。?/strong>
一個(gè)人可以走的很快，但一群人才能走的更遠(yuǎn)。如果你從事以下工作或?qū)σ韵赂信d趣，歡迎戳這里加入程序員的圈子，讓我們一起學(xué)習(xí)成長(zhǎng)！
AI人工智能、Android移動(dòng)開(kāi)發(fā)、AIGC大模型、C C#、Go語(yǔ)言、Java、Linux運(yùn)維、云計(jì)算、MySQL、PMP、網(wǎng)絡(luò)安全、Python爬蟲(chóng)、UE5、UI設(shè)計(jì)、Unity3D、Web前端開(kāi)發(fā)、產(chǎn)品經(jīng)理、車(chē)載開(kāi)發(fā)、大數(shù)據(jù)、鴻蒙、計(jì)算機(jī)網(wǎng)絡(luò)、嵌入式物聯(lián)網(wǎng)、軟件測(cè)試、數(shù)據(jù)結(jié)構(gòu)與算法、音視頻開(kāi)發(fā)、Flutter、IOS開(kāi)發(fā)、PHP開(kāi)發(fā)、.NET、安卓逆向、云計(jì)算文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-857358.html
據(jù)、鴻蒙、計(jì)算機(jī)網(wǎng)絡(luò)、嵌入式物聯(lián)網(wǎng)、軟件測(cè)試、數(shù)據(jù)結(jié)構(gòu)與算法、音視頻開(kāi)發(fā)、Flutter、IOS開(kāi)發(fā)、PHP開(kāi)發(fā)、.NET、安卓逆向、云計(jì)算**文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-857358.html
到了這里，關(guān)于google最新大語(yǔ)言模型gemma本地化部署_gemma對(duì)服務(wù)器要求的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
