1、安裝ollama

第一步，首先安裝ollama，選擇對應系統的安裝包

ollama官網地址：https://ollama.com/

本問是lunix系統上安裝ollama：

curl -fsSL https://ollama.com/install.sh | sh

如果機子沒有GPU顯卡的話，ollama會提示只通過cpu模式運行。

測試ollama命令：

ollama --help

想要流暢運行，推薦配置:

• 4b的模型:8GB內存。

• 7b的模型:16GB內存。

• 13b模型: 32GB內存。

• 70b模型:64GB內存，32也能跑，太卡。

2、下載模型

ollama支持的LLM模型很多：
https://ollama.com/library

第二步，下載model，本文選擇下載阿里的通義千問模型：


這里選擇4b參數的模型：

ollama run qwen:4b

ollama會自動幫我們下載模型和啟動模型。
模型下載完成后，可以發(fā)送一條消息測試：

修改ollama環(huán)境變量：

#找到服務的單元文件：
#/etc/systemd/system/目錄下
sudo vi /etc/systemd/system/ollama.service
 
#添加環(huán)境變量：
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
#如果已經有
Environment="PATH=xxx:/root/bin" "OLLAMA_HOST=0.0.0.0:11434"
 
#為了使更改生效，您需要重新加載systemd的配置。使用以下命令：
sudo systemctl daemon-reload
 
 
#最后，重啟服務以應用更改：
sudo systemctl restart ollama
 

使用命令行操作不太方便，使用下面的lobe chat進行界面化操作。

3、安裝lobechat

Lobe Chat：現代化設計的開源 ChatGPT/LLMs 聊天應用與開發(fā)框架，支持語音合成、多模態(tài)、可擴展的（function call）插件系統，一鍵免費擁有你自己的 ChatGPT/Gemini/Claude/Ollama 應用。

lobe chat參考地址：https://github.com/lobehub/lobe-chat/blob/main/README.zh-CN.md

使用docker方式進行安裝：

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

#你在自己的私有設備上部署 LobeChat 服務。使用以下命令即可使用一鍵啟動 LobeChat 服務：

$ docker run -d -p 3210:3210 \
  -e OPENAI_API_KEY=sk-xxxx \
  -e ACCESS_CODE=lobe66 \
  --name lobe-chat \
  lobehub/lobe-chat

開通3210端口，進行訪問測試：

配置lobe chat：

首先將模型切換到我們下載好的qwen 4b模型：
點擊設置—選擇語言模型

ollama完全兼容openai的接口，在接口代理地址中輸入我們的ollama地址。

http://host.docker.internal:11434/v1

• 如果是docker的話，用 http://host.docker.internal:11434/v1
• 手動的話，就用 http://localhost:11434/v1 或者 http://127.0.0.1:11434/v1

如果是跑4b，7b等小模型，普通電腦就可以了，如果要跑32b比較大的，最好是有GPU，還要顯存比較大
硬盤沒啥要求，比如4b的模型，才2.3GB而已，30b的也就30GB左右，完全不用擔心磁盤.

4、卸載Ollama

如果您決定不再使用Ollama，可以通過以下步驟將其完全從系統中移除：

停止并禁用服務：

sudo systemctl stop ollama
sudo systemctl disable ollama

刪除服務文件和Ollama二進制文件：

sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

清理Ollama用戶和組：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

每一次的跌倒，都是對未來的一次深情擁抱。文章來源地址http://www.zghlxwxcb.cn/news/detail-859173.html

到了這里，關于免費打造個人專屬的高顏值本地大模型AI助手，無限量使用 Ollama+LobeChat開源工具，在本地運行AI大模型，安全的和AI對話。的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！