在 CSDN 的時候，我就一直想要有自己的 AI 工作環(huán)境。我們組只有一臺高配的辦公服務(wù)器，用于訓(xùn)練模型，分析數(shù)據(jù)。通常來說這臺機器都很忙。如果想要
做一些研究工作或試驗，資源就有點緊張了。而我自己的工作機，雖然是一臺買了只有四五年的高配 MacBook Pro，但是做 AI 已經(jīng)不太夠用。即使訓(xùn)練一個非常
樸素的文本分類器，也要花費太多時間。那幾年我偏好用傳統(tǒng)的算法而非 AI 工具解決問題，其實也有這個原因。并非我不能駕馭 AI 技術(shù)，只是因地制宜而已。
何況團隊里的年輕人們對 AI 相關(guān)工作做的非常好，我更關(guān)注那些更需要有人站出來解決的東西。
說起來還是要感謝 CSDN，我正是用離職時的補償，買了這臺滿配的 MacBook Pro 。128 內(nèi)存，
16 core cpu + 40 core gpu + 16 core npu 的 M3 MAX。足夠我運行常規(guī)的 AI 算法，一些規(guī)模不太大的 LLM 模型也完全可以運行。
對于 AI 系統(tǒng)，我的目標(biāo)是：
- 雖然現(xiàn)在互聯(lián)網(wǎng)上有越來越多的 AI 服務(wù)，免費的也不在少數(shù)，但是我仍然希望可以建立一套可以脫離外部服務(wù)的私人工具系統(tǒng)
- 這套 AI 系統(tǒng)首先應(yīng)該對我有實用價值，能夠完成一些常規(guī)的軟件應(yīng)用不容易做到的事情。比如一些智能化的文檔生成、翻譯和代碼生成工作
- 我可以通過調(diào)整和訓(xùn)練，使AI 系統(tǒng)更符合自己的需求，這里面包含了應(yīng)用軟件配置、開發(fā)，模型的調(diào)整甚至訓(xùn)練，總之，這套系統(tǒng)對我應(yīng)該是個白盒。
經(jīng)過一段時間的嘗試，我初步的達到了這些目的。
最初，我嘗試過直接用 torch 或 tensorflow 這樣的框架運行模型，后來很快發(fā)現(xiàn)即使這臺滿配的機器，運行 30B 的 LLM 也有些吃力，畢竟現(xiàn)在的 AI
產(chǎn)業(yè)已經(jīng)普遍使用價格高昂的超級顯卡。而我，只是一個希望一次投資可以盡可能多用的窮人。
很快，我開始嘗試用同好們推薦的 llama.cpp 和 ollama 來運行模型。盡管看起來這兩個工具有些重疊，它們都可以基于 cpp 構(gòu)建的運行時運行模型，
都提供了 server ，部署客戶端也很方便。但是經(jīng)過實踐，llama.cpp 有更好的泛用性，有些模型 ollama 不能識別，但是 llama.cpp 可以加載并處理
為 gguf 格式。而經(jīng)過 llama.cpp 處理后的模型，ollama 是可以加載的。另一方面，在我的機器上，llama.cpp 運行 70b 的模型，慢到無法使用，
而 ollama 可以。至少在 M3 硬件環(huán)境中，ollama 表現(xiàn)出了更好的性能。
再接下來，就是我在 oliva 項目中發(fā)布的詞法分析器工具，它可以把幾個我常用的編程語言，C、Java、
Python、Scala 等等處理為 alpaca lora 格式。用于微調(diào)模型，目前我正在嘗試基于 llamacode 的幾個小規(guī)模版本，訓(xùn)練出一個適合我自己的版本。
因為從我自己的體驗看，codellama 對c語言和 scala 的支持并不強，高版本的 java 應(yīng)該也還沒有引入，而這些是我需要的。甚至可以說我搭建這套
私有 AI 系統(tǒng)，一個重要的目標(biāo)就是輔助我寫一些 c 代碼。目前的實驗來看，llama factory
項目能夠完成這個工作。文章來源：http://www.zghlxwxcb.cn/news/detail-813178.html
我完全沒想到的是，整個工具鏈上，我最不滿意的居然是客戶端，是的，我試用了 ollama 官網(wǎng)上推薦的好幾個客戶端應(yīng)用，都不符合我的期待，有些有配
置問題，有些對中文支持的非常差，有些使用起來很繁瑣。于是我用 Python 寫了一個命令行工具
Blue Shell。用于日常工作。這個工具支持行編輯，能夠可靠的支持中文，可以支持 codellama 的
markdown 輸出，可以方便的連接指定的 ollama 。也許將來，我還會再開發(fā)一些 GUI 客戶端或者開發(fā)工具的插件。但是目前，這個工具體系已經(jīng)初步的
運行起來了。我已經(jīng)開始用 AI 為 Jaskell 項目生成單元測試代碼——嗯其實我也希望它能做一些更智能的編程工作，但是目前看，真正需要創(chuàng)造力的部分，
還是不能指望這些概率模型的。文章來源地址http://www.zghlxwxcb.cn/news/detail-813178.html
到了這里，關(guān)于個人版 AI 輔助系統(tǒng)的嘗試的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
