国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<mark id="rrcdt"></mark>

小白Windows下通過Ollama部署使用本地模型

2年前作者：WilliamBear分類：Toy博客閱讀(24)違法舉報

這篇具有很好參考價值的文章主要介紹了小白Windows下通過Ollama部署使用本地模型。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

安裝環(huán)境

運行環(huán)境為
windows
R9000P2021拯救者筆記本
AMD R7-5800H
32G 內(nèi)存
NVIDIA RTX 3070 Laptop GPU

安裝主程序

Ollama下載exe，直接下一步下一步?jīng)]有設(shè)置可以更改
windows默認(rèn)安裝路徑：
C:\Users\wbigo\AppData\Local\Programs\Ollama\
安裝后會自動將該路徑加入環(huán)境變量
雙擊圖標(biāo)運行后狀態(tài)欄會出現(xiàn)小圖標(biāo)，右鍵有退出、打開日志文件夾按鈕
小白Windows下通過Ollama部署使用本地模型

我直接打開cmd運行ollama list報錯、應(yīng)該是環(huán)境變量有問題
這時可以打開安裝路徑按住shift+鼠標(biāo)右鍵，點擊在此處打開Powershell窗口
小白Windows下通過Ollama部署使用本地模型

輸入ollama -v查看當(dāng)前版本，能輸出版本則安裝成功
小白Windows下通過Ollama部署使用本地模型

修改模型下載路徑

默認(rèn)模型下載路徑：
C:\Users\wbigo\.ollama\models
添加系統(tǒng)變量修改模型默認(rèn)下載路徑
變量名：OLLAMA_MODELS
小白Windows下通過Ollama部署使用本地模型

運行模型單行對話

拉取并運行l(wèi)lama2模型
ollama run llama2
直接輸入該命令會檢查目錄下是否有該模型，沒有會自動下載，下載好后自動運行該模型
其他模型見library (ollama.com)

小白Windows下通過Ollama部署使用本地模型

拉取完成后直接進(jìn)入單行交流模式

小白Windows下通過Ollama部署使用本地模型

第三方API調(diào)用

API調(diào)用默認(rèn)端口11434
小白Windows下通過Ollama部署使用本地模型

第三方應(yīng)用調(diào)用API
小白Windows下通過Ollama部署使用本地模型

翻譯效果
小白Windows下通過Ollama部署使用本地模型

解釋代碼效果及CPU、內(nèi)存、GPU占用
小白Windows下通過Ollama部署使用本地模型文章來源地址http://www.zghlxwxcb.cn/news/detail-839084.html

到了這里，關(guān)于小白Windows下通過Ollama部署使用本地模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進(jìn)行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費用

使用Ollama在本地運行AI大模型gemma
本次本人用到的軟件匯總：百度網(wǎng)盤下載 https://github.com/ollama/ollama/releases 我的電腦-右鍵-屬性-系統(tǒng)-高級系統(tǒng)設(shè)置-環(huán)境變量-【系統(tǒng)環(huán)境變量】新建變量名：OLLAMA_MODELS （固定變量名）變量值：E:OllamaLib （寫自己要存放的路徑）先配置好這個變量，這個是ollama的存儲路徑。
2024年04月25日
瀏覽(31)
【AI之路】使用Jan.ai在本地部署大模型開啟AI對話（含通過huggingface下載大模型，實現(xiàn)大模型自由）
2023年是AIGC元年。以后，每個人多少都會接觸到GPT帶來的變化。別人都在用，我們也不能落下。ChatGPT咱用不了，可以用國內(nèi)的各種大模型。另外，我們還可以把大模型放到本地電腦上運行，不信？咱往下看！使用Jan.ai在本地調(diào)用大模型進(jìn)行對話下面就讓我們的主角登場。
2024年02月02日
瀏覽(34)
免費打造個人專屬的高顏值本地大模型AI助手，無限量使用 Ollama+LobeChat開源工具，在本地運行AI大模型，安全的和AI對話。
第一步，首先安裝ollama，選擇對應(yīng)系統(tǒng)的安裝包 ollama官網(wǎng)地址：https://ollama.com/ 本問是lunix系統(tǒng)上安裝ollama：如果機子沒有GPU顯卡的話，ollama會提示只通過cpu模式運行。測試ollama命令：想要流暢運行，推薦配置: 4b的模型:8GB內(nèi)存。 7b的模型:16GB內(nèi)存。 13b模型: 32GB內(nèi)存。 70b模
2024年04月26日
瀏覽(42)
Ollama管理本地開源大模型，用Open WebUI訪問Ollama接口
現(xiàn)在開源大模型一個接一個的，而且各個都說自己的性能非常厲害，但是對于我們這些使用者，用起來就比較尷尬了。因為一個模型一個調(diào)用的方式，先得下載模型，下完模型，寫加載代碼，麻煩得很。對于程序的規(guī)范來說，只要東西一多，我們就需要一個集中管理的平臺，
2024年03月26日
瀏覽(23)
openWebUI+ollama&windows+不用docker+webLite本地安裝
總結(jié)一下安裝教程 10核CPU 16G內(nèi)存兩個web框架都可以，先說簡單的 ollama-webui-lite( https://github.com/ollama-webui/ollama-webui-lite ) 輕量級，只使用nodejs 先裝 https://ollama.com/download 新建文件夾 E:ProjolloamaModsSav ，cmd進(jìn)入該目錄 ollama run llama3，那么就會直接下載該模型到該目錄下，在blob
2024年04月27日
瀏覽(28)
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
生成的文件在 .buildbin ，我們要用的是 main.exe ， binmain.exe -h 查看使用幫助本項目基于Meta發(fā)布的可商用大模型Llama-2開發(fā)，是中文LLaMAAlpaca大模型的第二期項目，開源了中文LLaMA-2基座模型和Alpaca-2指令精調(diào)大模型。這些模型在原版Llama-2的基礎(chǔ)上擴充并優(yōu)化了中文詞表，使用
2024年04月25日
瀏覽(33)
如何試用 Ollama 運行本地模型 Mac M2
首先下載 Ollama 安裝完成之后，啟動 ollma 對應(yīng)的模型，這里用的是 qwen:7b 命令與模型直接交互我的機器配置是M2 Pro/ 32G，運行 7b 模型毫無壓力，而且推理時是用 GPU 進(jìn)行運算的，可能就是 Ollama 底層是用 llama C++ 實現(xiàn)的，底層做了性能優(yōu)化，對 Mac特別友好。純C/C++實現(xiàn)，沒有
2024年04月10日
瀏覽(26)
Mac 安裝Ollama和llama3，本地部署LobeChat和劉皇叔聊三國
網(wǎng)址：https://ollama.com/ 支持macOS、Linux和Windows多個平臺 1. 常用指令 2. 鏈接 Blog：https://ollama.com/blog Docs：https://github.com/ollama/ollama/tree/main/docs GitHub：https://github.com/ollama/ollama 模型倉庫：https://ollama.com/library 以Llama 3為例自動安裝latest的版本是8B 4-bit模型，信息如下：如果是70B模
2024年04月27日
瀏覽(19)
【ollama】（2）：在linux搭建環(huán)境，編譯ollama代碼，測試qwen大模型，本地運行速度飛快，本質(zhì)上是對llama.cpp 項目封裝
https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】（2）：在linux搭建環(huán)境，編譯ollama代碼，測試qwen大模型，本地運行速度飛快，本質(zhì)上是對llama.cpp 項目封裝要是失敗執(zhí)行，子模塊更新：需要編譯 llama.cpp 的代碼，然后經(jīng)過漫長的編譯，就而可以
2024年04月08日
瀏覽(28)
【AI】在docker中部署ollama體驗AI模型
1.2.1.安裝英偉達(dá)容器工具包（以Ubuntu22.04為例）其他系統(tǒng)請參考：英偉達(dá)官方文檔 1.2.2.docker使用GPU運行ollama ollama模型倉庫
2024年03月21日
瀏覽(30)

<label id="dgrln"><strong id="dgrln"></strong></label>