今天看到 螞蟻科技 Magic 開源的DB-GPT項(xiàng)目，覺得創(chuàng)意很好，集成了當(dāng)前LLM的主流技術(shù)，主要如下

• Langchain： 構(gòu)建在LLM之上的應(yīng)用開發(fā)框架
• HuggingFace: 模型標(biāo)準(zhǔn)，提供大模型管理功能
• Vicuna: 一個(gè)令GPT-4驚艷的開源聊天機(jī)器人，基于LLaMA模型和ShareGPT數(shù)據(jù)集訓(xùn)練的，能夠達(dá)到接近ChatGPT/Bard的質(zhì)量，而且明顯優(yōu)于其它基準(zhǔn)模型

本文針對(duì)DB-GPT詳細(xì)了解下的筆記

什么是DB-GPT

DB-GPT ： Revolutionizing Database Interactions with Private LLM Technology

DB-GPT是一個(gè)實(shí)驗(yàn)性的開源項(xiàng)目，它使用本地化的GPT大型模型與數(shù)據(jù)和環(huán)境進(jìn)行交互。使用此解決方案，沒有數(shù)據(jù)泄露的風(fēng)險(xiǎn)，數(shù)據(jù)是100%私密和安全的。

DB-GPT使用FastChat創(chuàng)建了一個(gè)龐大的模型操作系統(tǒng)，并提供了一個(gè)由Vicuna驅(qū)動(dòng)的大型語言模型。此外，還提供了私有領(lǐng)域知識(shí)庫問答功能、對(duì)其他插件的支持、支持Auto-GPT插件。

DB-GPT愿景是使圍繞數(shù)據(jù)庫和llm構(gòu)建應(yīng)用程序變得更容易、更方便。

GPT項(xiàng)目可以直接本地部署連接到私有數(shù)據(jù)庫, 進(jìn)行私有數(shù)據(jù)處理， 目前已支持SQL生成、SQL診斷、數(shù)據(jù)庫知識(shí)問答、數(shù)據(jù)處理等一系列的工作

關(guān)鍵特性

• SQL語言功能
  • SQL生成
  • SQL診斷
• 私人領(lǐng)域的問答和數(shù)據(jù)處理
  • 知識(shí)管理(目前支持多種文檔格式:txt, pdf, md, html, doc, ppt和url)
  • 數(shù)據(jù)庫知識(shí)問答
  • 知識(shí)嵌入（knowledge Embedding）
• 插件
  • 支持自定義插件執(zhí)行任務(wù)，并原生支持Auto-GPT插件，例如:
    • 自動(dòng)執(zhí)行SQL和檢索查詢結(jié)果
    • 自動(dòng)爬取和學(xué)習(xí)知識(shí)（crawling and learning of knowledge）
• 知識(shí)庫的統(tǒng)一矢量存儲(chǔ)/索引
  • 支持PDF、TXT、Markdown、CSV、DOC、PPT、webl等非結(jié)構(gòu)化數(shù)據(jù)
• 支持多個(gè)LLMs
  • 支持多種大型語言模型，目前支持Vicuna (7b,13b)， ChatGLM-6b (int4, int8)， guanaco(7b,13b,33b)， Gorilla(7b,13b)，??llama-2(7b, 13b, 70b)
  • TODO: baichuan(7b, 13b)

架構(gòu)圖

具備的能力如下

• 知識(shí)庫能力:支持私有領(lǐng)域知識(shí)庫問答能力
• 大規(guī)模模型管理能力:提供基于FastChat的大型模型操作環(huán)境。
• 統(tǒng)一的數(shù)據(jù)矢量存儲(chǔ)和索引:提供統(tǒng)一的方式來存儲(chǔ)和索引各種數(shù)據(jù)類型
• 連接模塊:用于連接不同模塊和數(shù)據(jù)源，實(shí)現(xiàn)數(shù)據(jù)流和交互
• 代理和插件:提供代理和插件機(jī)制，允許用戶自定義和增強(qiáng)系統(tǒng)的行為
• 提示生成和優(yōu)化:自動(dòng)生成高質(zhì)量的提示并進(jìn)行優(yōu)化，提高系統(tǒng)響應(yīng)效率
• 多平臺(tái)產(chǎn)品接口:支持web、移動(dòng)、桌面等多種客戶端產(chǎn)品。
  

子模塊：

• DB-GPT-Hub Text-to-SQL parsing with LLMs
• DB-GPT-Plugins DB-GPT Plugins, Can run autogpt plugin directly
• DB-GPT-Web ChatUI for DB-GPT

整個(gè)知識(shí)庫的處理過程，可參考如下：

使用到的開源項(xiàng)目

這個(gè)項(xiàng)目是站在巨人的肩膀上，沒有開源社區(qū)是無法工作的。

• FastChat for providing chat services
• vicuna-13b as the base model
• langchain tool chain
• Auto-GPT universal plugin template
• Hugging Face for big model management
• Chroma for vector storage
• Milvus for distributed vector storage
• ChatGLM as the base model
• llama_index for enhancing database-related knowledge using in-context learning based on existing knowledge bases.

部署硬件說明

DB-GPT在消費(fèi)級(jí)GPU即可完成部署， 具體部署的硬件說明如下:

Roadmap

參考

LLM實(shí)戰(zhàn)系列(1)—強(qiáng)強(qiáng)聯(lián)合Langchain-Vicuna應(yīng)用實(shí)戰(zhàn)
LLM實(shí)戰(zhàn)系列(2) —— DB-GPT阿里云部署指南文章來源地址http://www.zghlxwxcb.cn/news/detail-615374.html

到了這里，關(guān)于DB-GPT：強(qiáng)強(qiáng)聯(lián)合Langchain-Vicuna的應(yīng)用實(shí)戰(zhàn)開源項(xiàng)目，徹底改變與數(shù)據(jù)庫的交互方式的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！