跑通！跑通！全程跑通！
雄哥認(rèn)為未來(lái)agent的終局大概率是一個(gè)人，管理部門(mén)多個(gè)AI Agent同時(shí)工作，人力將解放！
想象一下，你翹個(gè)二郎腿，偌大的辦公室，只有你一個(gè)人，喊一句：“做個(gè)月度計(jì)劃”，他自動(dòng)分析上月數(shù)據(jù)，整合現(xiàn)有資源，做本月的規(guī)劃，人場(chǎng)地資金！做完跟你匯報(bào)，你只需說(shuō)“OK”，他自動(dòng)發(fā)給老板！
當(dāng)然！！老板也會(huì)接入專(zhuān)家Agent，幫他全權(quán)管理公司，甚至實(shí)現(xiàn)一個(gè)老板，請(qǐng)三五個(gè)員工，就能干完現(xiàn)在50人+的事情！
想想這多恐怖！！
上篇，我們用GPT4跑通了整個(gè)微軟Autogen項(xiàng)目，并且拉了幾個(gè)專(zhuān)家Agent一起做數(shù)學(xué)題、一起討論干活！
【徹底失眠！把代理Agent拉到一個(gè)群干活！跑完微軟Autogen實(shí)例后emo了！附官方論文原件】
今天我們實(shí)現(xiàn)本地LLM的Agent，接入微軟Autogen的項(xiàng)目，實(shí)現(xiàn)完全本地化部署和推理，直接加快微軟Autogen在國(guó)內(nèi)商業(yè)落地的速度！
我們知道OpenAI的接口是無(wú)法在國(guó)內(nèi)實(shí)現(xiàn)備案+商業(yè)化操作的！那本地llm實(shí)現(xiàn)Agent，是可以完全商業(yè)化運(yùn)作的！
【大模型合法化指南！附算法備案范本！項(xiàng)目商業(yè)落地必看！】
雖然本地部署需要大量計(jì)算資源，但本地的實(shí)現(xiàn)，直接打開(kāi)落地的大門(mén)！
今天我們就本地實(shí)現(xiàn)微軟的Autogen過(guò)程做分享：
①是通過(guò)什么方法實(shí)現(xiàn)的？用到什么工具；
②支持哪些模型？功能怎樣；
③跟著代碼跑一個(gè)實(shí)例！一邊跑一邊聊細(xì)節(jié)；
>第一部分：通過(guò)什么方法實(shí)現(xiàn)的？用到什么工具？
首先，你需要在知識(shí)星球下載到本地LLM+實(shí)跑教程的代碼原件！
一看便知，整個(gè)實(shí)現(xiàn)過(guò)程非常的簡(jiǎn)單！
公號(hào)獲得方法！
實(shí)現(xiàn)方法非常簡(jiǎn)單！
用FastChat部署啟動(dòng)本地LLM，然后通過(guò)對(duì)齊OpenAI的key，接入到autogen.oai.Completion庫(kù)中，然后你就可以跟著第一篇的教程，部署autogen了！
FastChat>>>啟動(dòng)本地LLM>>>對(duì)齊OpenAI KEY>>>接入Autogen
>第二部分：支持哪些模型？功能怎樣？
目前我們已經(jīng)測(cè)試過(guò)多個(gè)本地的開(kāi)源LLM部署，目前l(fā)lama2反饋的結(jié)果是最好的！閉源模型陣營(yíng)中，除了OpenAI，沒(méi)有測(cè)試過(guò)！
而且，支持微調(diào)后的本地LLM，真正實(shí)現(xiàn)專(zhuān)家Agent就干專(zhuān)長(zhǎng)的事！我們做了一個(gè)簡(jiǎn)單的統(tǒng)計(jì)表，如果你還測(cè)試過(guò)其他模型，歡迎交流！
統(tǒng)計(jì)情況如下(主觀)：
如果你在跑其他的試驗(yàn)，再次歡迎你加入討論；
>第三部分：跟著代碼跑一個(gè)實(shí)例，一邊跑一邊聊；
剛才我們也說(shuō)了，得益于微軟Autogen的框架，整個(gè)開(kāi)發(fā)過(guò)程，非常的簡(jiǎn)單！Autogen的部署過(guò)程，上節(jié)已經(jīng)講過(guò)了！今天主要講接入Autogen前的過(guò)程！
3.1?FastChat的部署
首先，你需要?jiǎng)?chuàng)建AI環(huán)境，具體創(chuàng)建過(guò)程我不說(shuō)了，雄哥已經(jīng)課程里有一張專(zhuān)門(mén)講環(huán)境搭建的！
第四天！0基礎(chǔ)微調(diào)大模型+知識(shí)庫(kù)，部署在微信！手把手安裝AI必備環(huán)境！4/45
克隆FastChat的倉(cāng)庫(kù)，并進(jìn)入目錄中
git clone https://github.com/lm-sys/FastChat.git
cd FastChat如果你本地沒(méi)有基座，需要你先下載
git clone https://huggingface.co/THUDM/chatglm2-6b安裝serve庫(kù)
python -m fastchat.serve.controller3.2?啟動(dòng)本地LLM
確保權(quán)重全部下載完成，如果你沒(méi)辦法用抱臉下載，你可以用國(guó)內(nèi)鏡像源或者在雄哥星球的鏈接下載
python -m fastchat.serve.model_worker --model-path chatglm2-6b3.3?啟動(dòng)接API
這里注意第一個(gè)坑！沒(méi)跑過(guò)的不知道！
這個(gè)“host localhost"，你要改本地的地址，例如：127.0.0.1
python -m fastchat.serve.openai_api_server --host localhost --port 8000他返回的key，是默認(rèn)對(duì)齊OpenAI KEY的，意思是我們本地的LLM的API，“偽裝成”O(jiān)penAI的key，讓他可以被接入到Autogen中！因?yàn)樾乔蛴信笥褑?wèn)到這個(gè)事，簡(jiǎn)單說(shuō)說(shuō)！
3.4?接入Autogen
這時(shí)我們打開(kāi)jupyter-notebook，具體打開(kāi)方法，環(huán)境篇也說(shuō)了！
這里，我們先加載oai.Completion，然后把你得到的api地址，填寫(xiě)到下面去！
記??！一定要加“v1”，否則是無(wú)法被接入的！其他別動(dòng)！
from autogen import oai
?
# create a text completion request
response = oai.Completion.create(
config_list=[
{
"model": "chatglm2-6b",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL", # just a placeholder
}
],
prompt="Hi",
)
print(response)
# create a chat completion request
response = oai.ChatCompletion.create(
config_list=[
{
"model": "chatglm2-6b",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL",
}
],
messages=[{"role": "user", "content": "Hi"}]
)
print(response)他是支持多個(gè)本地LLM啟動(dòng)的！前提是你本地有足夠的算力資源！
這里簡(jiǎn)單說(shuō)下實(shí)現(xiàn)方法！把上面的步驟，稍微改改：
python -m fastchat.serve.multi_model_worker \
--model-path lmsys/vicuna-7b-v1.3 \
--model-names vicuna-7b-v1.3 \
--model-path chatglm2-6b \
--model-names chatglm2-6b然后再啟動(dòng)接入！
from autogen import oai
?
# create a chat completion request
response = oai.ChatCompletion.create(
config_list=[
{
"model": "chatglm2-6b",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL",
},
{
"model": "vicuna-7b-v1.3",
"api_base": "http://localhost:8000/v1",
"api_type": "open_ai",
"api_key": "NULL",
}
],
messages=[{"role": "user", "content": "Hi"}]
)
print(response)之后你要做的事情，就是跟著第一篇的內(nèi)容，正常配置Autogen即可！
徹底失眠！把代理Agent拉到一個(gè)群干活！跑完微軟Autogen實(shí)例后emo了！附官方論文原件
>也許我們正在見(jiàn)證一個(gè)時(shí)代文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-741711.html
期待吧！文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-741711.html
到了這里，關(guān)于大突破！本地大模型接入微軟Autogen，多專(zhuān)家Agent共事成現(xiàn)實(shí)！支持llama2+chatglm，附代碼！的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
