現(xiàn)在開源大模型一個(gè)接一個(gè)的，而且各個(gè)都說自己的性能非常厲害，但是對于我們這些使用者，用起來就比較尷尬了。因?yàn)橐粋€(gè)模型一個(gè)調(diào)用的方式，先得下載模型，下完模型，寫加載代碼，麻煩得很。

對于程序的規(guī)范來說，只要東西一多，我們就需要一個(gè)集中管理的平臺(tái)，如管理python 的pip，管理js庫的npm等等，而這種平臺(tái)是大家爭著搶著想實(shí)現(xiàn)的，這就有了Ollama。

Ollama

Ollama 對于管理開源大模型是認(rèn)真的，使用起來非常的簡單，先看下如何使用：

github地址

linux 下的安裝：

curl -fsSL https://ollama.com/install.sh | sh

等進(jìn)度條跑完，如果不出意外的話，Ollama就已經(jīng)安裝成功了。

用命令試一試，比如我們想用下Dolphin Phi：

ollama run dolphin-phi

提示如下：

pulling manifest 
pulling 4eca7304a07a... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏ 1.6 GB                         
pulling 876a8d805b60... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  10 KB                         
pulling a47b02e00552... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  106 B                         
pulling 8b586b146d99... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏   40 B                         
pulling f02dd72bb242... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏   59 B                         
pulling c87a43ded80f... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  555 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>>

有沒有一種使用docker的感覺，Ollama 幫我們把大模型下了，還幫我們做了適配，在提示符下就可以使用了：

>>> hi
Hello! How may I assist you today? Do you have any questions or need help with anything specific? I'm here to provide information and support for any 
inquiries you might have.

速度相當(dāng)?shù)目?，但是這是控制臺(tái)上測試使用的，還是不方便，Ollama還提供了api的方式，Ollama 在安裝成功以后，就 已經(jīng)建立了11434端口：

curl http://localhost:11434/api/generate -d '{
  "model": "dolphin-phi",
  "prompt":"Why is the sky blue?"
}'

或者 對話模式：

curl http://localhost:11434/api/chat -d '{
  "model": "mistral",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

有了api的方式，那想象空間就更大了，讓他也想chatgpt 一樣，用網(wǎng)頁進(jìn)行訪問，還能選擇已經(jīng)安裝的模型。

但稍等一下，Ollama的默認(rèn)配置是只有本地才可以訪問，需要配置一下：

找到配置文件：/etc/systemd/system/ollama.servic

添加 Environment="OLLAMA_HOST=0.0.0.0:11434"

結(jié)果文件如下：

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重啟：

systemctl daemon-reload
systemctl restart ollama

這樣，在外網(wǎng)就能夠使用ip的方式進(jìn)行訪問。

Open WebUI

Open WebUI 適配了Ollama接口，提供了web的方式來訪問Ollama的API，用法也非常的簡單，用docker的安裝方式：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果不是和Ollama 不是安裝在同一臺(tái)下，需要參考github

安裝完成后，用瀏覽器 http://localhost:3000或者 http://ip:3000 打開Open WebUI。就可以看到Open WebUI的界面了。

體驗(yàn)了下Open WebUI，功能還是很完善的，如果安裝有問題，可以評(píng)論區(qū)見。文章來源地址http://www.zghlxwxcb.cn/news/detail-843537.html

到了這里，關(guān)于Ollama管理本地開源大模型，用Open WebUI訪問Ollama接口的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！