Coder + Tabby 碼農(nóng)專屬AI助手
引子
在數(shù)字化時(shí)代，人工智能（AI）正以驚人的速度滲透到各個(gè)行業(yè)中。而對(duì)于碼農(nóng)們來(lái)說(shuō)，AI已經(jīng)成為他們?nèi)粘９ぷ髦胁豢苫蛉钡闹帧Ｈ欢?，今天我要為大家介紹一款與眾不同的助手，結(jié)合 開源 vscode 網(wǎng)頁(yè)版code-server 和 開源 AI 助手 Tabby, 提供一個(gè)功能豐富、可定制的編程環(huán)境，幫助你更好地進(jìn)行編碼工作。
功能點(diǎn)
Coder
- 首先，VS Code 是一款由微軟開發(fā)的流行的集成開發(fā)環(huán)境（IDE），廣泛用于編寫和調(diào)試各種編程語(yǔ)言的應(yīng)用程序。而 code-server 是 VS Code 的一個(gè)開源項(xiàng)目，它提供了一個(gè)將 VS Code 編輯器以網(wǎng)頁(yè)形式運(yùn)行的方式。這意味著你可以通過(guò)瀏覽器訪問(wèn)它，無(wú)論你在哪個(gè)設(shè)備上，只要你有一個(gè)穩(wěn)定的互聯(lián)網(wǎng)連接。
- 通過(guò)將 code-server 部署到自己的服務(wù)器上，你可以享受到 VS Code 的全部功能，包括代碼編輯、調(diào)試、版本控制等。你可以自定義擴(kuò)展和配置，以滿足個(gè)人的編程需求。而且，由于是在服務(wù)器上運(yùn)行，你可以隨時(shí)保存和同步代碼，從而在不同的設(shè)備之間無(wú)縫切換。
Tabby
- 接下來(lái)是 AI 助手 Tabby。Tabby 是一個(gè)開源的 AI 助手，旨在提供對(duì)編程和開發(fā)過(guò)程的輔助功能。它可以與 code-server 集成，為你提供更高級(jí)的編程支持和建議。Tabby 可以通過(guò)分析代碼結(jié)構(gòu)、識(shí)別模式和上下文來(lái)提供智能建議、自動(dòng)完成和錯(cuò)誤檢查。它還可以為你提供文檔和參考資料的鏈接，幫助你更快地解決問(wèn)題和學(xué)習(xí)新的概念。
Coder+Tabby
- 將 code-server 和 Tabby 結(jié)合使用，你可以獲得一個(gè)強(qiáng)大而個(gè)性化的開發(fā)環(huán)境。你可以在自己的服務(wù)器上搭建一個(gè)完整的編程工作臺(tái)，不受設(shè)備限制，隨時(shí)隨地都能訪問(wèn)。通過(guò) Tabby 的智能支持，你可以更高效地編寫代碼，并從它的建議和提示中受益。
- 這款助手對(duì)于個(gè)人開發(fā)者、團(tuán)隊(duì)協(xié)作和遠(yuǎn)程工作都非常有用。它提供了強(qiáng)大的工具和智能輔助功能，可以大大提高開發(fā)效率和代碼質(zhì)量。而且，由于是開源項(xiàng)目，你可以根據(jù)自己的需求進(jìn)行定制和擴(kuò)展。
核心需求
為了獲得更靈活、成本效益更高的解決方案，我選擇將 code-server 和 Tabby 部署到自己的服務(wù)器上。以下是一些原因：
- 閑置的 Mac Mini 服務(wù)器：我有一個(gè)閑置的 Mac Mini 服務(wù)器，通過(guò)將 code-server 和 Tabby 部署在上面，我可以充分利用這個(gè)資源，將其轉(zhuǎn)變?yōu)橐粋€(gè)功能強(qiáng)大的編程環(huán)境。
- 缺少 Copilot 插件：由于 code-server 上沒(méi)有 Copilot 插件，這可能限制了我的代碼編寫過(guò)程中的便利性和效率。
- 收費(fèi)問(wèn)題：使用 GitHub Copilot、Cursor 和 ChatGPT Plus 都需要付費(fèi)，分別是每月 10 美元、16 美元和 20 美元。通過(guò)自己部署環(huán)境，我可以避免這些額外的費(fèi)用。
- 自己部署：通過(guò)自己部署 Tabby，我可以確保代碼不會(huì)上傳到別人的服務(wù)器上用于生成代碼提示，這提高了數(shù)據(jù)安全性和隱私保護(hù)。
-
持續(xù)提示：相比其他付費(fèi)方案 Tabby 具有閃電般的響應(yīng)速度和持續(xù)提示能力。
- 盡管它是基于GPT-2，并且準(zhǔn)確率可能較低，但它具有更快的提示速度，并且沒(méi)有接口調(diào)用頻率限制。你將生成時(shí)間定義為150毫秒，這意味著它可以以快速的速度持續(xù)不斷地提供提示。這種情況下，速度取代了質(zhì)量的考慮。
- 在某些情況下，快速的提示反饋可能比完全準(zhǔn)確的結(jié)果更重要。這特別適用于開發(fā)者希望快速獲取創(chuàng)意、進(jìn)行迭代或需要頻繁的參考和提示的場(chǎng)景。盡管準(zhǔn)確率較低，但通過(guò)持續(xù)的快速提示，Tabby提供了一種快速、流暢的開發(fā)體驗(yàn)。
- 這一點(diǎn)對(duì)于開發(fā)者來(lái)說(shuō)可能非常有價(jià)值，因?yàn)樗梢蕴峁┘磿r(shí)的反饋和靈感，而無(wú)需等待較長(zhǎng)的處理時(shí)間。這種權(quán)衡可以根據(jù)個(gè)人的偏好和需求來(lái)決定，對(duì)于那些追求速度和迭代的開發(fā)者來(lái)說(shuō)，Tabby的速度優(yōu)勢(shì)可能是一個(gè)吸引人的特點(diǎn)。
- 對(duì)模型微調(diào)提供一流的支持：雖然目前還沒(méi)有看到 Tabby 提供模型微調(diào)的 API，但可以期待它未來(lái)可能提供這方面的支持。這將使我能夠根據(jù)自己的需求對(duì)模型進(jìn)行個(gè)性化調(diào)整。
-
測(cè)試成功：我個(gè)人在 Tabby 官網(wǎng)對(duì) Java 語(yǔ)言進(jìn)行了測(cè)試，并讓它生成了一個(gè)充電費(fèi)接口的校驗(yàn)代碼。這次測(cè)試非常成功，證明了 Tabby 在提供準(zhǔn)確指導(dǎo)方面的可靠性。
通過(guò)將 code-server 和 Tabby 部署到自己的服務(wù)器上，我可以獲得一個(gè)功能豐富、個(gè)性化定制的編程環(huán)境。這不僅提高了編碼效率和質(zhì)量，還避免了額外的費(fèi)用和數(shù)據(jù)安全風(fēng)險(xiǎn)。這是一個(gè)理想的解決方案，適用于個(gè)人開發(fā)者和團(tuán)隊(duì)協(xié)作。
部署指北
溫馨提示，注意先別著急安裝，先看下文，看下文，下文，文?。?！
-
安裝brew：首先，你需要在你的Mac上安裝Homebrew（brew），它是一個(gè)流行的包管理器。你可以在Homebrew的官方網(wǎng)站（https://brew.sh）上找到安裝說(shuō)明。
-
安裝code-server：使用brew，你可以通過(guò)運(yùn)行以下命令來(lái)安裝code-server：
brew install code-server這將從Homebrew倉(cāng)庫(kù)中下載和安裝code-server。
-
安裝Docker：接下來(lái)，你需要安裝Docker，它是一個(gè)開源的容器化平臺(tái)。你可以訪問(wèn) Docker 的官方網(wǎng)站（https://www.docker.com）并按照他們的指南來(lái)安裝Docker。
-
配置和啟動(dòng)code-server：一旦安裝了code-server，你可以使用以下命令來(lái)啟動(dòng)它：
code-server # 或者使用 launchctl load xxx 忘記了來(lái)設(shè)置開機(jī)啟動(dòng)，MAC 設(shè)置為通電啟動(dòng)這將在默認(rèn)端口（通常是 127.0.0.1:8080）上啟動(dòng)code-server，并在瀏覽器中訪問(wèn)它。
-
安裝Java開發(fā)所需的插件：為了進(jìn)行Java開發(fā)，你需要在code-server上安裝適用于Java的插件。其中一個(gè)常用的插件是"Extension Pack for Java"，它是一個(gè)包含了多個(gè)Java開發(fā)相關(guān)插件的擴(kuò)展包。你可以在VS Code Marketplace（https://marketplace.visualstudio.com）中搜索并安裝該插件。安裝后，它將提供Java開發(fā)所需的工具和功能。
-
安裝Tabby插件：為了在code-server上使用Tabby，你需要安裝Tabby插件。Tabby插件將為你提供與Tabby的集成，使你可以在code-server中訪問(wèn)Tabby的功能。你可以在VS Code Marketplace中搜索"Tabby"插件，并按照安裝說(shuō)明進(jìn)行安裝。
-
你沒(méi)有M1/M2，使用 Docker 在自己的服務(wù)器上部署Tabby：為了使用Docker部署 Tabby，你需要從Tabby的官方源代碼中構(gòu)建Docker鏡像。你可以在Tabby的GitHub存儲(chǔ)庫(kù)（https://github.com/tabby-lang/tabby）中找到源代碼和構(gòu)建說(shuō)明。
- 如果你不是 MAC
docker run --name tabby -it -d --network=host -v /Users/apple/data:/data -v /Users/apple/data/hf_cache:/home/app/.cache/huggingface tabbyml/tabby serve --model TabbyML/SantaCoder-1B
- 如果你不是 MAC
-
你有M1/M2：Mac 人提供了編譯好的二進(jìn)制包，直接下載使用
-
現(xiàn)在，你已經(jīng) “成功” 地在Mac上安裝了brew、code-server和Docker，并部署了Tabby。你可以通過(guò)訪問(wèn)code-server的URL和指定的Tabby端口來(lái)訪問(wèn)這個(gè)完整的開發(fā)環(huán)境。
然而你的 Tabby 并不能正常工作
- 如果你有一臺(tái)閑置的 Mac Mini M2 Pro或者M(jìn)ac Mini M2 Ultra，那么恭喜你，你可以通過(guò)硬件升級(jí)來(lái)解決大部分問(wèn)題，無(wú)需再進(jìn)行額外的努力。
- 但如果你只有一臺(tái)較低配置的Mac Mini M2基礎(chǔ)版，那么我們是那些希望通過(guò)努力解決問(wèn)題的人，需要繼續(xù)折騰。
繼續(xù)折騰
我堅(jiān)信，我們應(yīng)該成為AI的駕馭者，而不是被替代，通過(guò)與 AI 技術(shù)的深度交互，我們應(yīng)該更好地駕馭它，將其作為我編程的有力助手。
雖然按照之前提到的步驟，你可能會(huì)遇到Tabby后端無(wú)法正常運(yùn)行的問(wèn)題。
- 我在https://huggingface.co/TabbyML 上發(fā)現(xiàn)了 Tabby 所使用的預(yù)訓(xùn)練的語(yǔ)言模型，該模型用于 Tabby 代碼輔助工具。這個(gè)發(fā)現(xiàn)對(duì)我來(lái)說(shuō)非常有價(jià)值，因?yàn)镠ugging Face提供了許多優(yōu)秀的預(yù)訓(xùn)練模型，可以用于各種AI任務(wù)。
- 關(guān)于Tabby的資料在網(wǎng)絡(luò)上非常有限，我在嘗試編譯Tabby時(shí)遇到了一些困難，因此博主決定嘗試使用Docker來(lái)部署 Tabby。這種方式可以簡(jiǎn)化部署過(guò)程并提供更好的可移植性。
- 在國(guó)內(nèi)的網(wǎng)絡(luò)環(huán)境下，容器中下載 Hugging Face 的模型失敗是一個(gè)常見(jiàn)的問(wèn)題。為了解決這個(gè)問(wèn)題，你可以嘗試使用代理服務(wù)器或者加速器來(lái)改善下載速度和穩(wěn)定性。此外，你還可以尋找國(guó)內(nèi)的鏡像源，或者嘗試使用Hugging Face提供的離線模型，將其下載到本地后通過(guò)修改 hosts 將目標(biāo)網(wǎng)址指向本地來(lái)使用。
- 關(guān)于 N 卡和 GPU 加速和依賴安裝，Tabby 的執(zhí)行需要 NVIDIA GPU，并且如果你需要使用 GPU 版本，需要額外安裝相應(yīng)的 NVIDIA CUDA Toolkit工具包。 請(qǐng)確保你的系統(tǒng)具備正確的硬件和驅(qū)動(dòng)條件，并按照相關(guān)的安裝指南進(jìn)行操作。此外，閱讀 Tabby 的文檔，了解GPU加速的要求和依賴項(xiàng)，并確保環(huán)境設(shè)置正確。
性能測(cè)試
最后是結(jié)論。由于博主沒(méi)有額外的Nvidia GPU電腦，我的電腦只有MX250 GPU，并且其中存有重要的學(xué)習(xí)資料，所以我選擇了租用GPU云服務(wù)器的方式進(jìn)行實(shí)際測(cè)試。
- 首先，我部署了Tabby的CPU版本，并使用了8核32GB內(nèi)存的云服務(wù)器。通過(guò)使用apache2的ab工具進(jìn)行測(cè)試，每個(gè)請(qǐng)求的響應(yīng)速度約為2.5秒。CPU的負(fù)載超過(guò)90%，內(nèi)存只使用了1.6GB，同時(shí)并發(fā)數(shù)為10時(shí)出現(xiàn)了卡死的現(xiàn)象。當(dāng)我嘗試使用code-server連接到Tabby服務(wù)時(shí)，幾乎無(wú)法正常工作，代碼提示頻繁掉線，偶爾可以成功一次。
- 然后，我切換到了6核64GB內(nèi)存的云服務(wù)器，平均請(qǐng)求完成時(shí)間為3秒，主要瓶頸在于CPU性能。
- 最后，我嘗試了GPU版本，使用了T4 GPU。根據(jù)網(wǎng)上的資料，Tesla T4顯卡相當(dāng)于GTX 1060顯卡（屬于入門級(jí)顯卡中的中等性能）。經(jīng)過(guò)測(cè)試，響應(yīng)時(shí)間為200毫秒，即使在10個(gè)并發(fā)請(qǐng)求下執(zhí)行了20個(gè)請(qǐng)求，每個(gè)請(qǐng)求仍然只需200毫秒。可以看到這是串行執(zhí)行的（200ms/請(qǐng)求已經(jīng)是處理上限）。其中一個(gè) CPU 的負(fù)載瞬間只達(dá)到了60%左右。當(dāng)我使用code-server連接到Tabby服務(wù)時(shí)，工作非常順暢，速度快，而且非常穩(wěn)定。
結(jié)論及部署建議
最后是結(jié)論：如果你想擁有一套內(nèi)網(wǎng)安全的與眾不同的 AI 編碼助手，即code-server + tabby，你需要一臺(tái)M2（官網(wǎng)表示M1/M2適用于個(gè)人使用），或者一臺(tái)性能相當(dāng)于GTX 1060左右的服務(wù)器（T4云服務(wù)器性能相當(dāng)于GTX 1650）。
對(duì)于顯卡方面的建議，個(gè)人可能對(duì)其了解不深。根據(jù)網(wǎng)上的資料，博主找到了一些價(jià)格在 5k 人民幣以下的迷你小主機(jī)：
- 如 RTX 2060 6G、RTX 3050 8G、GTX 1060、M2、GTX 1650 4G等。
- 根據(jù)博主的調(diào)查它們的 CUDA 核心數(shù)分別為
- 1920、一般2500 左右、1280、300 多、896
- M2 是一款集成在蘋果電腦中的芯片，它的結(jié)構(gòu)和CUDA核心數(shù)并不適用于直接比較。M2芯片有統(tǒng)一的內(nèi)置神經(jīng)網(wǎng)絡(luò)硬件加速器，但它沒(méi)有公開的 CUDA 核心數(shù)指標(biāo)
- 個(gè)人感覺(jué)除了GTX 1650外，其他顯卡應(yīng)該都能勝任工作。
- GTX 1650的性能較難確定，可能比 GTX 1060 稍低一些。
- 響應(yīng)時(shí)間大約為 0.5 秒（GTX 1060 為 0.25 秒，算 3 秒，然后 1650 性能低 25% 嘛，沒(méi)有實(shí)測(cè)過(guò)）。
- 這只是博主個(gè)人的建議，取決于大家的需求和觀點(diǎn)。
另外，博主個(gè)人喜歡玩 Blender，所以可能更傾向于 N 卡。M2 的優(yōu)勢(shì)在于低功耗，感覺(jué)也不錯(cuò)，更安靜省電。
綜上所述，選擇適合自己需求的顯卡或服務(wù)器是個(gè)人決策。不同的顯卡具有不同的性能特點(diǎn)和優(yōu)勢(shì)。建議大家根據(jù)自己的預(yù)算、需求和偏好做出選擇。請(qǐng)注意，技術(shù)和市場(chǎng)在不斷發(fā)展變化，所以在做出決策之前最好進(jìn)行進(jìn)一步的研究和咨詢。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-479742.html
感謝您的祝福！希望大家都能在使用 code-server 和 tabbyml-演示環(huán)境 的過(guò)程中玩得開心并獲得所需的幫助。如果有任何測(cè)試結(jié)果不如意或其他問(wèn)題，可以在評(píng)論區(qū)中尋求幫助，博主可能無(wú)法直接解決所有問(wèn)題。祝愿大家能夠充分利用這些工具，提高工作效率和編碼體驗(yàn)！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-479742.html
到了這里，關(guān)于design\games\ vsCoder 在線IDE+本地部署 AI 編碼助手Tabby 初探的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
