1.下載：

https://github.com/ollama/ollama/releases

2.配置環(huán)境變量

我的電腦-右鍵-屬性-系統(tǒng)-高級系統(tǒng)設(shè)置-環(huán)境變量-【系統(tǒng)環(huán)境變量】新建

變量名：OLLAMA_MODELS （固定變量名）
變量值：E:\Ollama\Lib （寫自己要存放的路徑）

先配置好這個變量，這個是ollama的存儲路徑。
不配置也可以，不配置的話就會放到默認(rèn)位置，建議還是修改下存儲路徑，方便后續(xù)使用。

3.安裝

直接install即可。
安裝完成后，cmd查詢下：ollama --version
如果查詢不到，重啟下電腦即可。
我這里是因?yàn)槲抑苯影裲llama給關(guān)了，所以出現(xiàn)了警告，不過也同樣可以看到ollama客戶端的版本。

ollama的其他命令可以通過ollama help來獲取

4.下載并運(yùn)行模型

• 谷歌最新開源gemma:

  • 最低條件:
    2B版本需要2G顯存
    7B版本需要4G顯存
    7B的其他版本需要更大

• 打開命令提示符窗口下載運(yùn)行模型：

  • 訪問：https://ollama.com/library選擇自己想要的模型，復(fù)制下載命令即可.

  • 這里選擇拉取gemma7b版本來試試：ollama run gemma:7b

  • 全量版模型拉取運(yùn)行命令
    ollama run gemma:2b-instruct-fp16
ollama run gemma:7b-instruct-fp16

• ollama命令：

  • 查看已有模型：ollama list

• 下載完成后即在運(yùn)行（只下載的話，就用ollama pull去拉取即可）
  

• 接下來可以直接在命令行窗口進(jìn)行問答
  

• 拉取的模型可以在存儲目錄blobs下看到
  

5.整合界面UI

• Ollama WebUI、open-webui等。
  需要在docker環(huán)境中運(yùn)行，windows本地docker已經(jīng)被我搞掉了，只有虛擬機(jī)里面才有docker環(huán)境。
  虛擬機(jī)占用內(nèi)存，破電腦性能一般般，不打算搞了。這個搞起來也還好，就是拉下鏡像運(yùn)行容器就行了。
• JAN AI：https://jan.ai/ 下載windows版本客戶端（開源的）
  1）下載安裝后修改下數(shù)據(jù)存儲路徑（隨便要不要改），修改完重啟即可。
  

2）修改ai模型源：
E:\Ollama\JANAI\engines\openai.json
（上一步中的數(shù)據(jù)存儲路徑下，找到engines\openai.json進(jìn)行修改）

{
  "full_url": "http://localhost:11434/v1/chat/completions"
}

3）添加模型配置：記得把里面的注釋去掉。
E:\Ollama\JANAI\models\底下創(chuàng)建一個文件夾mine-gemma-7b（名字隨便，我把models底下其他的文件夾都挪走備份了，方便管理而已）然后在底下創(chuàng)建個model.json文件

{
    "sources": [
        {
            "filename": "gemma:7b", # 模型名稱
            "url": "https://ollama.com/library/gemma:7b" # 模型url
        }
    ],
    "id": "gemma:7b", #模型ID
    "object": "model",
    "name": "mine-gemma:7b",  #顯示在jan中模型名稱，隨便寫不影響
    "version": "1.0",
    "description": "ollama本地gemma:7b", #隨便寫不影響
    "format": "api",
    "settings": {
    },
    "parameters": {
    },
    "metadata": {
        "author": "Meta",
        "tags": [
            "General",
            "Big Context Length"
        ]
    },
    "engine": "openai", # 需要配置
    "state":"ready" # 需要配置
}

上述配置弄完之后重啟下jan，然后再hub中就可以看到自己加的模型了，點(diǎn)擊use即可使用

斷網(wǎng)狀態(tài)下是可以使用的。
文章來源地址http://www.zghlxwxcb.cn/news/detail-857333.html

• chatbox : https://chatboxai.app/zh 下載windows客戶端
  直接安裝完按照下圖選中相應(yīng)模型就可以使用了。
  都是自動加載的，如果對界面沒啥要求的，推薦直接用chatbox就可以了，啥都不用整就可以用了。
  

到了這里，關(guān)于使用Ollama在本地運(yùn)行AI大模型gemma的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！