一、ollama是什么?

在本地啟動(dòng)并運(yùn)行大型語(yǔ)言模型。運(yùn)行Llama 3，Mistral, Gemma, Code Llama和其他模型。自定義并創(chuàng)建您自己的。

綜合優(yōu)點(diǎn)：

• 快速下載+容器自動(dòng)運(yùn)行大模型，現(xiàn)在下載，馬上上手。
• 本地利用 cpu 運(yùn)行大模型，本地安全可靠。
• ollama 命令，管理大模型相對(duì)方便，也可以多個(gè)大模型中切換。
• 終端直接開始聊天。
• 社區(qū)提供了支持 web api 方式訪問(wèn) WebUI。

官方網(wǎng)站： Ollama

github ：? ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models. (github.com)

二、準(zhǔn)備和安裝工作

設(shè)備需求和輔助軟件：

• Ollama自帶docker ，為了方便部署軟件。
• 良好的網(wǎng)絡(luò)環(huán)境，大模型還是要先下載下來(lái)的。
• 配置要求：一般來(lái)說(shuō)參數(shù)越大，需要配置越好。
• 存儲(chǔ)空間：確保硬盤空間充足，并且學(xué)會(huì)設(shè)置環(huán)境變量來(lái)調(diào)整保存model的地址，別再下載到C盤了！

model地址和環(huán)境變量設(shè)置

win10輸入path或者環(huán)境變量

增加系統(tǒng)環(huán)境變量

變量名（不能變）：OLLAMA_MODELS

（盤符和地址自主選擇，建議先創(chuàng)建好文件夾）D:\Ollama

下載ollama

進(jìn)入 ollama 下載頁(yè)面，選擇自己的系統(tǒng)版本的下載并安裝即可。

檢驗(yàn)是否安裝成功

輸入 ollama 命令，正常的得出命令行輸出，表示已經(jīng)安裝成功，下面有 ollama 的常用命令：

 ollama

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

三、ollama 模型庫(kù)

詳見library (ollama.com)，用于搜索已收錄的模型庫(kù)。以下是一些流行的模型：

Llama 3的亮點(diǎn)和特性如下：

• 基于超過(guò)15T token訓(xùn)練，大小相當(dāng)于Llama 2數(shù)據(jù)集的7倍還多；
• 訓(xùn)練效率比Llama 2高3倍；
• 支持8K長(zhǎng)文本，改進(jìn)的tokenizer具有128K token的詞匯量，可實(shí)現(xiàn)更好的性能；
• 在大量重要基準(zhǔn)測(cè)試中均具有最先進(jìn)性能；
• 增強(qiáng)推理和代碼能力；
• 安全性有重大突破，帶有Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具，還能比Llama 2有更好“錯(cuò)誤拒絕表現(xiàn)”。

四、下載運(yùn)行模型

ollama run llama3:8b # 運(yùn)行l(wèi)lama3 8b大模型

直接使用 run 命令 + 模型名字就可以運(yùn)行模型。

如果之前沒(méi)有下載過(guò)，那么會(huì)自動(dòng)下載。（由于網(wǎng)絡(luò)環(huán)境的原因，一開始可能比較慢，但會(huì)隨著時(shí)間進(jìn)展有所優(yōu)化，如果模型比較大，要耐心等待一段時(shí)間）

下載完畢之后可以在終端中直接進(jìn)行對(duì)話了。

直接在終端中對(duì)話：用 llama3 模型寫一個(gè) nextjs組件或者 回答你的一些知識(shí)類問(wèn)題

根據(jù)實(shí)際測(cè)試，llama3? 70B在windows10環(huán)境下，基本占用32GB內(nèi)存，llama3 8B基本占用16GB內(nèi)存。

建議至少不低于48GB或64GB內(nèi)存，否則沒(méi)有足夠內(nèi)存支持運(yùn)行其他程序。

第三方API調(diào)用

API調(diào)用默認(rèn)端口11434

本地地址參考：127.0.0.1:11434

五、可視化UI界面可以試試?Open WebUI

LLMs用戶友好的WebUI（以前的Ollama WebUI）: open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)

docker 部署

如果您的計(jì)算機(jī)上有 Ollama，請(qǐng)使用以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果 Ollama 位于不同的服務(wù)器上，要連接到另一臺(tái)服務(wù)器上的 Ollama，請(qǐng)將?OLLAMA_BASE_URL?更改為服務(wù)器的 URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:3000

注意：端口3000常被其他的開發(fā)程序占用，可以根據(jù)自己的實(shí)際情況調(diào)整端口

進(jìn)入聊天界面

如果您想將本地 Docker 安裝更新到最新版本，可以使用?Watchtower?來(lái)完成：

在命令的最后部分，如果不同，請(qǐng)將?open-webui?替換為您的容器名稱。

docker run --rm --volume /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --run-once open-webui

以上，只是一個(gè)基本的流程，實(shí)際使用還有很多好的功能與用法。ollama 大部分代碼基于 go 開發(fā)，大家可以多多探索。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-857305.html

到了這里，關(guān)于使用 ollama 部署最新的Llama 3 70B本地模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！