Tabby是一個自托管 AI 編碼助手。 GitHub Copilot 的開源/本地替代方案。
推薦：用 NSDT場景設計器 快速搭建3D場景。
1、主要特性
- 自包含，不需要 DBMS 或云服務
- 用于可視化、配置模型和 MLOps 的 Web UI。
- OpenAPI 接口，易于與現有基礎架構（例如 Cloud IDE）集成。
- 消費級 GPU 支持（具有各種優(yōu)化的 FP-16 權重加載）。
2、Tabby演示
3、Docker安裝Tabby
# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 data
docker run \
-it --rm \
-v ./data:/data \
-v ./data/hf_cache:/home/app/.cache/huggingface \
-p 5000:5000 \
-e MODEL_NAME=TabbyML/J-350M \
tabbyml/tabby
要使用 GPU 后端 (triton) 獲得更快的推理速度：
docker run \
--gpus all \
-it --rm \
-v ./data:/data \
-v ./data/hf_cache:/home/app/.cache/huggingface \
-p 5000:5000 \
-e MODEL_NAME=TabbyML/J-350M \
-e MODEL_BACKEND=triton \
tabbyml/tabby
注意：要使用 GPU，你需要安裝 NVIDIA Container Toolkit。 我們還建議使用帶有 CUDA 11.8 或更高版本的 NVIDIA 驅動程序。
然后，可以使用 /v1/completions 端點查詢服務器：
curl -X POST http://localhost:5000/v1/completions -H 'Content-Type: application/json' --data '{
"prompt": "def binarySearch(arr, left, right, x):\n mid = (left +"
}'
我們還在管理面板 localhost:5000/_admin 中提供了一個交互式練習環(huán)境：
文章來源：http://www.zghlxwxcb.cn/news/detail-603099.html
原文鏈接：Tabby：Copilot平替 — BimAnt文章來源地址http://www.zghlxwxcb.cn/news/detail-603099.html
到了這里，關于Tabby - 基于AI大模型的編程助手的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
