1，視頻地址
https://www.bilibili.com/video/BV19F4m1F7Rn/
【ollama】（3）：在linux搭建環(huán)境中，安裝ollama工具，并且完成啟動(dòng)下載gemma:7b和qwen:1.8b運(yùn)行速度飛快，支持http接口和命令行
2，關(guān)于ollama項(xiàng)目
https://ollama.com/
項(xiàng)目使用golang+llama.cpp 項(xiàng)目進(jìn)行開(kāi)發(fā)的。
簡(jiǎn)化了模型的安裝，非常的方便。
3，安裝軟件啟動(dòng)
curl -fsSL https://ollama.com/install.sh | sh
然后因?yàn)槭莇ocker 虛擬環(huán)境，需要手動(dòng)啟動(dòng)服務(wù)： ollama serve
# ollama serve
time=2024-03-12T08:41:45.937+08:00 level=INFO source=images.go:710 msg="total blobs: 12"
time=2024-03-12T08:41:45.938+08:00 level=INFO source=images.go:717 msg="total unused blobs removed: 0"
time=2024-03-12T08:41:45.938+08:00 level=INFO source=routes.go:1021 msg="Listening on 127.0.0.1:11434 (version 0.1.28)"
time=2024-03-12T08:41:45.938+08:00 level=INFO source=payload_common.go:107 msg="Extracting dynamic libraries..."
time=2024-03-12T08:41:50.551+08:00 level=INFO source=payload_common.go:146 msg="Dynamic LLM libraries [rocm_v5 cpu rocm_v6 cpu_avx cuda_v11 cpu_avx2]"
time=2024-03-12T08:41:50.551+08:00 level=INFO source=gpu.go:94 msg="Detecting GPU type"
time=2024-03-12T08:41:50.551+08:00 level=INFO source=gpu.go:265 msg="Searching for GPU management library libnvidia-ml.so"
time=2024-03-12T08:41:50.554+08:00 level=INFO source=gpu.go:311 msg="Discovered GPU libraries: [/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.535.129.03 /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.535.98]"
time=2024-03-12T08:41:50.581+08:00 level=INFO source=gpu.go:99 msg="Nvidia GPU detected"
time=2024-03-12T08:41:50.581+08:00 level=INFO source=cpu_common.go:11 msg="CPU has AVX2"
time=2024-03-12T08:41:50.587+08:00 level=INFO source=gpu.go:146 msg="CUDA Compute Capability detected: 8.6"
然后啟動(dòng) gemma:7b
ollama run gemma:7b
即可
ollama run gemma:7b
>>> 北京景點(diǎn)
北京擁有眾多各樣的景點(diǎn)，每個(gè)景點(diǎn)都有其獨(dú)特的魅力。以下列舉了北京主要景點(diǎn)：
**歷史文化景點(diǎn):**
* **故宮博物院:** 世界上最大的古建筑群，包含皇帝的宮殿、殿宇和御用建筑等。
* **天安門(mén)廣場(chǎng):** 位于中央政府辦公區(qū)，歷史悠久的廣場(chǎng)，擁有世界上最高建筑——國(guó)家領(lǐng)導(dǎo)人辦公樓。
* **紫禁城:** 古代中國(guó)宮殿，為中國(guó)古代建筑的象征。
* **圓明園:** 元代皇家園林，包含眾多古典建筑和雕塑。
* **北海寺:** 宏偉的佛教寺廟，擁有世界上最高佛塔。
**現(xiàn)代城市景觀:**
* **天安門(mén)紀(jì)念堂:** 紀(jì)念中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)人毛澤東、朱列·劉備和馬克思的紀(jì)念堂。
* **東方大廈:** 高度現(xiàn)代化的建筑，擁有世界上最高的摩天線。
* **國(guó)家博物館:** 收藏中國(guó)古代藝術(shù)品和文物。
* **中國(guó)國(guó)家博物館:** 展示中國(guó)古代藝術(shù)品的收藏。
**其他景點(diǎn):**
* **國(guó)家森林公園:** 北京最大的公園，擁有美麗的自然風(fēng)景和現(xiàn)代建筑。
* **華北新城:** 北京新開(kāi)發(fā)的現(xiàn)代城市，擁有先進(jìn)的科技和現(xiàn)代建筑。
* **北水庫(kù):** 位于北京北部的湖泊，擁有美麗的景色和完善的交通系統(tǒng)。
**建議的參觀順序:**
根據(jù)您的興趣和時(shí)間，您可以根據(jù)以下順序參觀景點(diǎn)：
* 第一天：故宮博物院、天安門(mén)廣場(chǎng)、紫禁城、北海寺。
* 第二天：圓明園、國(guó)家博物館、中國(guó)國(guó)家博物館。
* 第三天：國(guó)家森林公園、華北新城、北水庫(kù)。
**注意事項(xiàng):**
* 北京的交通系統(tǒng)比較便利，可以選擇地鐵、公交或出租車(chē)。
* 在參觀景點(diǎn)時(shí)，建議提前購(gòu)買(mǎi)門(mén)票，以節(jié)省時(shí)間和金錢(qián)。
* 北京的夏天比較熱，建議在夏季穿輕便的衣服和使用防曬用品。
* 北京的冬天比較寒冷，建議在冬季穿保暖衣和使用保暖用品。
>>> Send a message (/? for help)
可以發(fā)現(xiàn) 支持中文效果也不錯(cuò)。
# nvidia-smi
Tue Mar 12 08:44:02 2024
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3080 On | 00000000:05:00.0 Off | N/A |
| 0% 26C P8 14W / 320W | 6865MiB / 20480MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
+---------------------------------------------------------------------------------------+
3，支持多個(gè)模型推理
有切換的時(shí)間，模型會(huì)重新載入到顯存。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-849973.html
4，還支持接口訪問(wèn)
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen:0.5b","stream":true,
"messages": [
{
"role": "user",
"content": "你好"
}
]
}'
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen:1.8b","stream":true,
"messages": [
{
"role": "user",
"content": "你好"
}
]
}'
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "gemma:7b","stream":true,
"messages": [
{
"role": "user",
"content": "北京景點(diǎn)"
}
]
}'
模型存放地址
- macOS:
~/.ollama/models - Linux:
/usr/share/ollama/.ollama/models - Windows:
C:\Users\<username>\.ollama\models
可以修改配置文件更改：文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-849973.html
OLLAMA_HOST The host:port to bind to (default "127.0.0.1:11434")
OLLAMA_ORIGINS A comma separated list of allowed origins.
OLLAMA_MODELS The path to the models directory (default is "~/.ollama/models")
到了這里，關(guān)于【ollama】（3）：在linux搭建環(huán)境中，安裝golang開(kāi)發(fā)的ollama工具，并且完成啟動(dòng)下載gemma:7b和qwen:1.8b運(yùn)行速度飛快，支持http接口和命令行模式的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
