Mac上可以本地運行大模型,作為Mac x86硬件,比較好的選擇是Ollama,但有一些準(zhǔn)備工作,需要明確一下,否則坑也會比較多。
1、下載地址:?官網(wǎng)
2、也可以通過安裝Docker Desktop(下載:?x86 Docker Desktop),再下載Docker官方的Ollama。
3、安裝Ollama并運行命令:ollama run gemma
4、安裝并運行Docker Desktop,再選擇Ollama容器后下載運行,這個容器有僅包含客戶端的版本,和直接在容器內(nèi)運行Ollama的版本,請大家自行選擇。
使用
1、在運行命令后,直接在命令行運行聊天。
2、或使用網(wǎng)頁: http://localhost:8505
不管理用哪種方式,都需要運行Docker來啟動后臺網(wǎng)站服務(wù)。?
3、關(guān)于是否啟用GPU加速,主要影響性能。文章來源:http://www.zghlxwxcb.cn/news/detail-859008.html
https://ollama.com/blog/ollama-is-now-available-as-an-official-docker-image文章來源地址http://www.zghlxwxcb.cn/news/detail-859008.html
到了這里,關(guān)于Mac x86 Ollama使用入門的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!