前言

本文主要介紹如何在Windows系統(tǒng)快速部署Ollama開(kāi)源大語(yǔ)言模型運(yùn)行工具，并安裝Open WebUI結(jié)合cpolar內(nèi)網(wǎng)穿透軟件，實(shí)現(xiàn)在公網(wǎng)環(huán)境也能訪(fǎng)問(wèn)你在本地內(nèi)網(wǎng)搭建的大語(yǔ)言模型運(yùn)行環(huán)境。

近些年來(lái)隨著ChatGPT的興起，大語(yǔ)言模型 LLM（Large Language Model）也成為了人工智能AI領(lǐng)域的熱門(mén)話(huà)題，很多大廠(chǎng)也都推出了自己的大語(yǔ)言模型，并或多或少的開(kāi)源了自己的大語(yǔ)言模型，今天就來(lái)分享一個(gè)最近很火，且對(duì)于小白來(lái)說(shuō)比較好上手本地部署的運(yùn)行本地LLM的工具Ollama。

在本地運(yùn)行大語(yǔ)言模型有諸多優(yōu)點(diǎn)：

比如可以保護(hù)隱私、不會(huì)產(chǎn)生費(fèi)用、可以無(wú)視網(wǎng)絡(luò)問(wèn)題、可以嘗鮮各種開(kāi)源模型等等。

Ollama支持當(dāng)前主要的開(kāi)源大模型， 比如llama2、千文qwen、mistral等，可以在Windows、Linux、MacOS系統(tǒng)上進(jìn)行部署。穩(wěn)定性和便利性都非常不錯(cuò)，下面就來(lái)分享一下它在Windows系統(tǒng)上的安裝與應(yīng)用。

1. 運(yùn)行Ollama

本文安裝環(huán)境為：Windows10專(zhuān)業(yè)版

下載： Ollama下載地址：https://ollama.com/download

在下載頁(yè)面點(diǎn)擊Windows，然后點(diǎn)擊下載按鈕。

安裝： 下載完成后，雙擊下載的安裝程序。

點(diǎn)擊Install進(jìn)行安裝。

安裝完成沒(méi)有提示，我們打開(kāi)一個(gè)終端，本文以Windows PowerShell為例，大家也可以使用其他的：

現(xiàn)在Ollama已經(jīng)安裝完了，我們需要在終端中輸入下方命令運(yùn)行一個(gè)大語(yǔ)言模型進(jìn)行測(cè)試，這里以對(duì)在中文方面表現(xiàn)相對(duì)好些的千問(wèn)為例，大家也可以使用其他的模型。

ollama run qwen

可以看到，系統(tǒng)正在下載qwen的模型（并保存在C盤(pán)，C:\Users<username>.ollama\models 如果想更改默認(rèn)路徑，可以通過(guò)設(shè)置OLLAMA_MODELS進(jìn)行修改，然后重啟終端，重啟ollama服務(wù)。）

setx OLLAMA_MODELS "D:\ollama_model"

模型下載完成后，我們就可以在終端中輸入問(wèn)題進(jìn)行使用了：

至此，在Windows本地部署ollama并運(yùn)行qwen大語(yǔ)言模型就已經(jīng)完成了。一鍵搞定，對(duì)新手體驗(yàn)大語(yǔ)言模型真的非常友好。

2. 安裝Open WebUI

不過(guò)，我們現(xiàn)在只能在終端中使用，操作界面可能不像ChatGPT那樣美觀(guān)，如果能使用web頁(yè)面進(jìn)行交互，使用體驗(yàn)更好，也能保留之前的聊天記錄，翻遍我們翻閱查詢(xún)。

針對(duì)這個(gè)情況，我們可以在Windows上部署Open WebUI這個(gè)項(xiàng)目來(lái)實(shí)現(xiàn)類(lèi)似chatgpt一樣的交互界面。

本教程以O(shè)pen WebUI這個(gè)項(xiàng)目為例，它以前的名字就叫 Formerly Ollama WebUI?？梢岳斫鉃橐婚_(kāi)始就是專(zhuān)門(mén)適配Ollama的WebUI，它的界面也對(duì)用慣了chatgpt的小伙伴來(lái)說(shuō)更相似一些。當(dāng)然，大家也可以選擇其他的WebUI，之后有機(jī)會(huì)也可以分享給大家。

如何在Windows系統(tǒng)安裝Open WebUI：

2.1 在Windows系統(tǒng)安裝Docker

首先，如果大家之前未安裝過(guò)Docker，需要執(zhí)行下面三個(gè)步驟進(jìn)行安裝：

第一步：?jiǎn)?dòng)Hyper-v

打開(kāi)控制面板，在程序與功能頁(yè)面選擇啟用或Windows功能

勾選Hyper-V、虛擬機(jī)平臺(tái)、Linux子系統(tǒng)并點(diǎn)擊確認(rèn)

然后，重啟計(jì)算機(jī)。

第二步：安裝WSL

打開(kāi) powershell，以管理員的身份啟動(dòng)命令窗口，輸入

wsl --update

安裝

wsl --install

然后再次重啟電腦。

第三步：訪(fǎng)問(wèn)Docker官網(wǎng)進(jìn)行下載

點(diǎn)擊下載鏈接：https://docs.docker.com/desktop/install/windows-install/

選擇Windows最新版本：

下載完成后，雙擊安裝程序進(jìn)行安裝，如果是第一次安裝，安裝后會(huì)提示重啟電腦，重啟后點(diǎn)擊桌面的Docker Desktop圖標(biāo)：選擇先不注冊(cè)直接登錄即可。

打開(kāi)Docker Desktop后，左下角顯示是綠色的running就代表我們成功了：

視頻安裝教程：

2.2 使用Docker部署Open WebUI

在Open WebUI的github頁(yè)面 https://github.com/open-webui/open-webui 可以看到，如果你的Ollama和Open WebUI在同一臺(tái)主機(jī)，那使用下面顯示的這一行命令就可以在本地快速進(jìn)行部署：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

現(xiàn)在我們打開(kāi)終端，比如powershell，然后輸入docker，回車(chē)

可以看到這個(gè)命令成功運(yùn)行，說(shuō)明docker安裝成功。

然后將上邊在docker中部署Open WebUI的命令復(fù)制后粘貼到終端中，回車(chē)。

然后等待安裝完畢即可：如下圖所示

安裝完成后，在Docker Desktop中可以看到Open WebUI的web界面地址為：https://localhost:3000

點(diǎn)擊后，會(huì)在瀏覽器打開(kāi)登錄界面：

點(diǎn)擊sign up注冊(cè)，賬號(hào)，郵箱，密碼記好，下次登錄時(shí)需要用到郵箱和密碼登錄：

然后點(diǎn)擊create account創(chuàng)建賬號(hào)即可：然后就能在瀏覽器中使用類(lèi)似chatgpt界面的Open WebUI了！

點(diǎn)擊右上角的設(shè)置，可以修改當(dāng)前界面的語(yǔ)言為簡(jiǎn)體中文：然后點(diǎn)擊保存即可。

點(diǎn)擊上方選擇一個(gè)模型旁邊的加號(hào)+可以增加大模型，點(diǎn)擊下拉按鈕可以選擇當(dāng)前使用哪一個(gè)已安裝的模型，接下來(lái)就可以愉快的跟ai聊天了！

3. 安裝內(nèi)網(wǎng)穿透工具

至此，我們已經(jīng)成功完成在本地Windows系統(tǒng)使用Docker部署Open WebUI與Ollama大模型工具進(jìn)行交互了！但如果想實(shí)現(xiàn)出門(mén)在外，也能隨時(shí)隨地使用Ollama Open WebUI，那就需要借助cpolar內(nèi)網(wǎng)穿透工具來(lái)實(shí)現(xiàn)公網(wǎng)訪(fǎng)問(wèn)了！接下來(lái)介紹一下如何安裝cpolar內(nèi)網(wǎng)穿透并實(shí)現(xiàn)公網(wǎng)訪(fǎng)問(wèn)！

下面是安裝cpolar步驟：

cpolar官網(wǎng)地址: https://www.cpolar.com

點(diǎn)擊進(jìn)入cpolar官網(wǎng)，點(diǎn)擊免費(fèi)使用注冊(cè)一個(gè)賬號(hào)，并下載最新版本的cpolar

登錄成功后，點(diǎn)擊下載cpolar到本地并安裝（一路默認(rèn)安裝即可）本教程選擇下載Windows版本。

cpolar安裝成功后，在瀏覽器上訪(fǎng)問(wèn)http://localhost:9200，使用cpolar賬號(hào)登錄,登錄后即可看到cpolar web 配置界面,結(jié)下來(lái)在web 管理界面配置即可。

接下來(lái)配置一下 Open WebUI 的公網(wǎng)地址，

登錄后，點(diǎn)擊左側(cè)儀表盤(pán)的隧道管理——?jiǎng)?chuàng)建隧道，

創(chuàng)建一個(gè) ollama1 的公網(wǎng)http地址隧道：

• 隧道名稱(chēng)：ollama1（可自定義命名，注意不要與已有的隧道名稱(chēng)重復(fù)）
• 協(xié)議：選擇http
• 本地地址：3000 (本地訪(fǎng)問(wèn)的地址)
• 域名類(lèi)型：免費(fèi)選擇隨機(jī)域名
• 地區(qū)：選擇China Top

隧道創(chuàng)建成功后，點(diǎn)擊左側(cè)的狀態(tài)——在線(xiàn)隧道列表,查看所生成的公網(wǎng)訪(fǎng)問(wèn)地址，有兩種訪(fǎng)問(wèn)方式,一種是http 和https：

使用上面的任意一個(gè)公網(wǎng)地址,在手機(jī)或任意設(shè)備的瀏覽器進(jìn)行登錄訪(fǎng)問(wèn),即可成功看到 Open WebUI 界面,這樣一個(gè)公網(wǎng)地址且可以遠(yuǎn)程訪(fǎng)問(wèn)就創(chuàng)建好了,使用了cpolar的公網(wǎng)域名,無(wú)需自己購(gòu)買(mǎi)云服務(wù)器,即可到公網(wǎng)訪(fǎng)問(wèn) Open WebUI 了！

小結(jié)

如果我們需要長(zhǎng)期異地遠(yuǎn)程訪(fǎng)問(wèn)Open WebUI，由于剛才創(chuàng)建的是隨機(jī)的地址，24小時(shí)會(huì)發(fā)生變化。另外它的網(wǎng)址是由隨機(jī)字符生成，不容易記憶。如果想把域名變成固定的二級(jí)子域名，并且不想每次都重新創(chuàng)建隧道來(lái)訪(fǎng)問(wèn)Open WebUI，我們可以選擇創(chuàng)建一個(gè)固定的公網(wǎng)地址來(lái)解決這個(gè)問(wèn)題。

4. 創(chuàng)建固定公網(wǎng)地址

我們接下來(lái)為其配置固定的HTTP端口地址，該地址不會(huì)變化，方便分享給別人長(zhǎng)期查看你部署的項(xiàng)目，而無(wú)需每天重復(fù)修改服務(wù)器地址。

配置固定http端口地址需要將cpolar升級(jí)到專(zhuān)業(yè)版套餐或以上。

登錄cpolar官網(wǎng)，點(diǎn)擊左側(cè)的預(yù)留，選擇保留二級(jí)子域名，設(shè)置一個(gè)二級(jí)子域名名稱(chēng)，點(diǎn)擊保留,保留成功后復(fù)制保留的二級(jí)子域名名稱(chēng)

保留成功后復(fù)制保留成功的二級(jí)子域名的名稱(chēng)：myollama，大家也可以設(shè)置自己喜歡的名稱(chēng)。

返回登錄Cpolar web UI管理界面，點(diǎn)擊左側(cè)儀表盤(pán)的隧道管理——隧道列表，找到所要配置的隧道：ollama1，點(diǎn)擊右側(cè)的編輯：

修改隧道信息，將保留成功的二級(jí)子域名配置到隧道中

• 域名類(lèi)型：選擇二級(jí)子域名
• Sub Domain：填寫(xiě)保留成功的二級(jí)子域名：myollama

點(diǎn)擊更新(注意,點(diǎn)擊一次更新即可,不需要重復(fù)提交)

更新完成后,打開(kāi)在線(xiàn)隧道列表,此時(shí)可以看到公網(wǎng)地址已經(jīng)發(fā)生變化,地址名稱(chēng)也變成了固定的二級(jí)子域名名稱(chēng)的域名：

最后,我們使用固定的公網(wǎng)https地址訪(fǎng)問(wèn),可以看到訪(fǎng)問(wèn)成功,這樣一個(gè)固定且永久不變的公網(wǎng)地址就設(shè)置好了，可以隨時(shí)隨地在公網(wǎng)環(huán)境異地訪(fǎng)問(wèn)本地部署的 Open WebUI 了！

以上就是如何在Windows系統(tǒng)本地安裝Ollama大模型工具并使用docker部署Open WebUI，結(jié)合cpolar內(nèi)網(wǎng)穿透工具實(shí)現(xiàn)公網(wǎng)訪(fǎng)問(wèn)本地LLM，并配置固定不變的二級(jí)子域名公網(wǎng)地址實(shí)現(xiàn)遠(yuǎn)程訪(fǎng)問(wèn)的全部流程，感謝您的觀(guān)看，有任何問(wèn)題歡迎留言交流。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-853383.html

到了這里，關(guān)于Windows本地部署Ollama+qwen本地大語(yǔ)言模型Web交互界面并實(shí)現(xiàn)公網(wǎng)訪(fǎng)問(wèn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！