導讀

在智源社區(qū)舉辦的「青源Workshop第27期：AI Agents 閉門研討會」上，來自英偉達的高級應用科學家王智琳、CAMEL一作李國豪、AutoAgents一作陳光耀，以及相關技術專家們共同參與交流討論，分享了最新的研究成果，共同探索了AI智能體的未來發(fā)展方向和應用前景。

所謂AI智能體（AI Agents），是一種能夠感知環(huán)境、進行決策和執(zhí)行動作的智能實體。它們擁有自主性和自適應性，可以依靠AI賦予的能力完成特定任務，并在此過程中不斷對自我進行完善和改進。今年以來，AI Agents概念持續(xù)高漲，其研究本質究竟是什么？為什么大模型之后，還需要有AI智能體？AI智能體未來可以輔助人類實現(xiàn)哪些任務？以下是本期Workshop精華觀點集錦。

AutoAgents——自動化智能體生成框架

/?陳光耀?/

北京大學博士

2023年于北京大學取得博士學位，主要研究方向為開放世界學習、多智能合作學習與模型壓縮，已在TPAMI、NeurIPS、ICCV等國際頂級期刊會議共發(fā)表論文十余篇，作為主要技術骨干參與編制多項人工智能模型表示與壓縮技術的國際國家標準。曾獲北京大學優(yōu)秀博士學位論文獎、IEEE標準突出貢獻獎和石青云院士優(yōu)秀論文獎等。他長期擔任TPAMI/IJCV/NeurlPS/ICLR/CVPR/ICCV/AAAI 等多個學術會議或期刊的 PCMember/Reviewer。

• 大語言模型帶來的挑戰(zhàn)

我們可以將大語言模型（LLM）視為一種感知器，它是自然語言和代碼之間的紐帶，具有對文本信息的感知能力，可以感知到代碼、函數(shù)的功能。從本質上說，LLM 具有理解非結構化文本并給出結構化輸出的能力。

我們還可以將 LLM 視做一種編程框架。在 ChatGPT 誕生初期，許多人調用其 API 開發(fā)一些插件。后來，一些從業(yè)者基于 LLM 開發(fā)自動化的智能體。如今，人們將 LLM 用作代碼解釋器，提升了與環(huán)境的交互效率。

• 函數(shù)調用

就函數(shù)調用而言，針對用戶需求，我們可以通過大語言模型選擇函數(shù)及其參數(shù)，將其提供給開發(fā)者執(zhí)行。得到反饋后，我們可以通過大語言模型將函數(shù)結果轉化為自然語言，從而與用戶進行交互。大語言模型相當于與環(huán)境交互的橋梁。

• 自動化智能體

在應用 LLM 之前，智能體也具備規(guī)劃、行動、記憶、應用工具等功能。在應用 LLM 之后，我們可以通過預定義的提示幫助智能體更好地工作，我們與智能體之間交互的方式產(chǎn)生了改變（從強化學習到大語言模型）。

• 代碼解釋器

代碼解釋器也可以被視為一種智能體，與其交互的語言是代碼。相較于自然語言，代碼的語義更加清晰，執(zhí)行效率更高，更加精確。但同時，代碼的權限更高，可能會帶來一些安全性問題。

• 智能體的發(fā)展歷史

早在 2002 年，人們就在科技教材中對智能體進行了簡單的定義：智能——能夠自動完成一些任務；智能體——能代替用戶獨立行動的計算機系統(tǒng)（完成規(guī)劃、行動等動作）。多智能體系統(tǒng)涉及到多個智能體間的交互、協(xié)作、協(xié)商。互聯(lián)網(wǎng)智能體能夠像人類一樣，自動從網(wǎng)上獲取信息，并整合、提煉出關鍵信息。

2009 年，研究者對智能體的定義進行了進一步細化。單個智能體需要與環(huán)境進行交互，針對環(huán)境中的輸入給出反饋，并通過不斷的交流獨立自主完成交互。智能體還需要具有預判能力，并以此引導其行為，做出響應。多智能體系統(tǒng)下的智能體具有社交能力，它們通過某種智能體通信「語言」交流。

早年間，基于規(guī)則的智能體效率較低；接著，基于強化學習的模型猶如一個「黑盒」，AlphaGo 等系統(tǒng)在圍棋、游戲領域擊敗了人類頂尖選手，得到了較大的發(fā)展；現(xiàn)有的基于大語言模型的智能體依賴于自然語言，可以提升交流效率。相較于強化學習的智能體，我們無需定義細致的獎勵函數(shù)，智能體可以直接通過自然語言與環(huán)境交互，它具備規(guī)劃、記憶、函數(shù)調用、代碼生成、結果集成、反思等能力。

基于 LLM 的智能體可以大致被分為 3 類：單智能體（例如，AutoGPT、BabyAGI），通過不斷調用工具與環(huán)境交互，得到輸出后進行反饋；多智能體（例如，CAMEL、AgentGen、MetaGPT），通過 prompt 為智能體提供角色提示，使其能各司其職，更好與環(huán)境交流。然而，人類需要手動定義每個智能體，具有很強的不確定性；智能體生成（例如，AgentVerse，SPP，AutoAgents），不再需要預定義智能體，系統(tǒng)可以自動生成智能體。

• AutoAgents：自動化智能體生成框架

在 AutoAgents 系統(tǒng)中，為提高生成智能體的質量，我們定義了多種智能體之間的討論，為每個任務確定需要的智能體。此外，在多智能體系統(tǒng)中，我們更加細致地考慮了智能體執(zhí)行單個任務的能力，定義了自我細化、合作細化的過程。

AutoAgents 包含兩個部分：（1）起草階段：智能體生成、計劃生成（2）執(zhí)行階段：單智能體執(zhí)行、多智能體合作執(zhí)行、通過記憶實現(xiàn)智能體之間的信息共享。

• 起草階段：智能體生成

我們首先定義單智能體具有的 4 種屬性：（1）提示。定義每個智能體扮演的角色，明確其執(zhí)行目標，添加角色必須遵守的限制和原則（2）描述。方便系統(tǒng)在運行時快速了解單智能體的功能（3）工具集。使智能體挑選出最適合當前任務的工具。（4）建議。規(guī)范化，使智能體更關注某些方面，提升效率。

• 起草階段：執(zhí)行計劃生成

執(zhí)行計劃生成指的是將任務分解成多步，讓智能體通過討論動態(tài)確定計劃，單個智能體或多個合作完成任務。我們需要明確每個智能體的輸入和輸出。

在多智能體討論階段，我們人工預定義了三種智能體：（1）規(guī)劃者。起草智能體列表和計劃（2）智能體觀察者。評估每個智能體的質量和適配性（3）計劃觀察者。根據(jù)智能體列表和任務內容驗證執(zhí)行計劃。

• 執(zhí)行階段：多智能體通信

多智能體系統(tǒng)相當于一個包含不同專家的團隊，執(zhí)行階段的垂直通信需要一個經(jīng)理管理該團隊。為此，我們設置了行動觀察者，它可以為不同智能體分配不同的任務；檢查每個智能體執(zhí)行的輸出；根據(jù)執(zhí)行狀態(tài)適配執(zhí)行計劃，根據(jù)執(zhí)行結果為智能體提供更好的建議。

• 執(zhí)行階段：自我細化&合作細化

針對單智能體場景，采用自我細化方法使智能體逐步執(zhí)行任務。針對多智能體場景，首先確定了智能體之間的合作關系，通過不同智能體之間的交流，整合它們的知識和能力，更好地完成交叉領域的任務。在智能體執(zhí)行任務時，需要生成提示，并不斷自我細化。為此，我們設計了「Meta Agent」機制，確定了單個智能體提示中動態(tài)變化的過程，提取了共性的部分。

在執(zhí)行階段，我們采用了三種記憶機制：（1）長時記憶。記錄每個智能體執(zhí)行的結果（2）短時記憶。記錄單個智能體自我細化的中間結果。（3）動態(tài)記憶。包含對單個智能體重要的信息，無需從長時記憶中獲取。

• 對未來智能體的展望

目前的多智能體系統(tǒng)研究更多嘗試對提示進行改變，對模型本身的調整較少。未來，我們能可以探究如何對模型進行微調，例如通過LoraHub 的方式，為每個模型添加一組小參數(shù)，提升模型在某些任務上的能力。

在數(shù)據(jù)收集方面，我們可以先從環(huán)境中收集任務相關的數(shù)據(jù)，利用它們對模型進行微調，并將其作為智能體執(zhí)行，進而在環(huán)境中進行交互和反饋。我們可以通過強化學習等方式不斷提升模型，讓模型自我成長。

Humanoid Agents——模擬類人生成式智能體的平臺

/?王智琳?/

英偉達科學家、Humanoid agents作者

NVIDIA NeMo NLP團隊的高級應用科學家。他致力于通過使LLM可控、安全和可訪問，使其對每個人都有用。他曾就讀于華盛頓大學研究生院，研究自然語言處理，研究對話系統(tǒng)和計算社會科學。他關注技術的最新發(fā)展，尤其是語言技術的交叉點，以及語言技術如何為改善人類生活做出貢獻。

• ?研究動機

本工作旨在構建能夠逼真模擬人類的智能體，其動機主要有兩點：（1）理解——人類的各種行為如何形成，影響人類的各種因素如何相互作用，基于對人類的理解預測人類行為（2）應用——將智能體作為研究人類行為的工具，進行各種心理學和社會學實驗，進行更加逼真的仿真模擬。

我們從兩個理論出發(fā)探索影響人類行為的各種因素：（1）丹尼爾·卡爾曼在《思考，快與慢》中提出的 system 1&system 2 的思維模式。人類情感、快速感知對應于 system 1，而深度思考則對應于 system 2，兩個系統(tǒng)存在競爭關系（2）馬斯洛需求層次理論。人類的需求分為五個層次：生理需求（Physiological needs）、安全需求（Safety needs）、愛和歸屬感（Love and belonging）、尊重（Esteem）和自我實現(xiàn)（Self-actualization）。人只有滿足了較為底層的需求，才能追求更高級的需求。我們構建的智能體不僅是能夠完成某些功能的「工具人」，更是對人類心理層面上更具體的模擬。

• 系統(tǒng)設計

我們首先建立了一個智能體。該智能體包含描述、個人特質、社會關系。初始化后，我們會為智能體制定一天的計劃。到了每個時間點，智能體做出行動，根據(jù)當時的心理狀態(tài)，決定是否改變計劃。每項行為也會反過來影響智能體的狀態(tài)，實現(xiàn)動態(tài)平衡。

我們推出了一個交互式的可視化分析界面。用戶可以看到智能體包含的成分、執(zhí)行行為后狀態(tài)的變化。

我們基于 Unity WebGL 游戲引擎構建了一個游戲界面，用戶可以直觀看到智能體的需求、行為、狀態(tài)變化。

• 實驗結果

我們設置了一組實驗，測試智能體是否會根據(jù)一些行為更新自己的基本狀態(tài)。如上圖中的 Fleiss Kappa 指數(shù)和 F1 得分所示，在吃飯、社交、休息等行為過后，可以很好地觀測到狀態(tài)的變化，而衡量一件事情是否有趣，做某事是否健康則很難，這是因為每個人對「有趣」、「健康」的定義差距較大。此外，該系統(tǒng)對人類情感的分析能力也較強。?

在第二個實驗中，我們探究了智能體是否會根據(jù)其關于基本需求的狀態(tài)調整自己的行為。實驗結果表明，當智能體健康狀態(tài)很差時，它會花費很多時間尋找醫(yī)療資源。同樣，當智能體感到饑餓、困乏時，都會相應對行為做出很大的調整。但是，當智能體感到無聊、寂寞時，改變自己行為的概率較小。上述實驗結果反過來印證了馬斯洛的需求理論。

在第三個實驗中，我們探究了智能體是否會根據(jù)當前的情緒狀態(tài)調整其行為。我們發(fā)現(xiàn)，當智能體生氣時，平均會做出 15 項行為調節(jié)自己的情緒；當智能體感到傷心或害怕時，平均會做出 10 項行為調節(jié)情緒。值得一提的是，當智能體已經(jīng)處于快樂的情緒下，智能體不會偏向于嘗試讓自己馬上感到快樂的事。此時，智能體也許更可能做一些能夠獲得長期收益的事。

在第四個實驗中，我們探究兩個智能體之間親近關系對其調整對話行為的影響。實驗結果表明，當智能體關系較為接近，或接近時，他們的對話最多。而當他們非常熟絡時，反而沒有這么多對話。在現(xiàn)實生活中，我們也可能不需要用過多的對話維系與親朋好友之間的關系。當智能體之間關系疏遠時，他們的對話基本都是正面積極的，希望給對方留下積極地印象。

在上述實驗中，我們從基本需求、情感、智能體關系這三個方面開展了研究。接下來，我們考慮探究智能體的類人思考，考慮人與人之間的同理心、不同的價值體系、文化背景。目前，該系統(tǒng)只支持 ChatGPT 3.5，我們會逐漸支持更多的大模型，并訓練自己的模型。目前的 LLM 大多旨在為人類提供幫助。此外，我們希望基于生成式人工智能在游戲界面中提供更加個性化的選項。

• 未來的研究方向

對于整個智能體研究領域來說，這是一個很寶貴的了解人類自身的機會。我們可以從第三視角，更好地模擬人類，也許可以做出相較于傳統(tǒng)心理學方法更好的工作，得到一些更好的發(fā)現(xiàn)結果。這種方式可以與傳統(tǒng)心理學方法互補，考慮更多的因素。我們還可以利用對類人智能體系統(tǒng)的理解，改善人與人之間的關系，實現(xiàn)人類社會的幸福。最后，我們還可以像「西部世界」中一樣，實現(xiàn)高度逼真的仿真模擬。

利用智能體構建 AI 社會

/?李國豪?/

阿卜杜拉國王科技大學（KAUST）計算機科學博士

人工智能研究員、開源貢獻者，致力于構建能夠感知、學習、交流、推理和行動的智能主體。他是開源項目CAMEL-AI.org和DeepGCNs.org的核心負責人，也是PyG.org的核心成員。他在阿卜杜拉國王科技大學獲得計算機科學博士學位，導師為Bernard Ghanem教授。在攻讀博士期間，他曾在英特爾ISL擔任研究實習生。他作為訪問研究員訪問了ETHz CVL，并曾在Kumo AI工作。主要研究方向包括自主代理、圖形機器學習、計算機視覺和嵌入式人工智能。他在ICCV、CVPR、ICML、NeurIPS、RSS、3DV和TPAMI等頂級會議和期刊上發(fā)表了相關論文。

• 1986：馬文·明斯基的智能體

人工智能先驅馬文·明斯基早在 38 年前就提出了智能體（Agent）一詞，介紹了智能體的交互、通信、特性、具身智能等概念。他在《心智社會》一書中指出，每個智能體本身只能做一些簡單的事情，但是如果智能體形成一個社會，就會產(chǎn)生真正的智能，這就是這本書的哲學思想。在本書中，明斯基有一句經(jīng)典的名言「The trick is that there is no trick」，并沒有單一、完美的準則，人類的智慧來自于人類社會的多樣性。受此書的啟發(fā)，我們有了做 CAMEL 項目的想法。?

最初的智能體主要是符號智能體，此書還提到了記憶的構成、推理鏈、智能體之間的交互、世界模型等概念，也介紹了人工智能與心理學、認知科學等學科的聯(lián)系。然而，馬文·明斯基的著作《perception》導致神經(jīng)網(wǎng)絡研究遭遇第一次寒冬，諸多由他提出的概念并不被神經(jīng)網(wǎng)絡研究者推崇。

在強化學習背景下，我們將智能體定義為學習器和決策制定器，它們在環(huán)境中執(zhí)行動作，并受到環(huán)境的獎勵，改變其狀態(tài)，我們可以不斷更新智能體的策略。此類智能體在圍棋、Atari 游戲等場景下被廣泛應用。然而，它們的泛化能力往往較弱。?

第一個將大語言模型作為智能體的工作是 WebGPT，作者試圖在 LLM 上添加一個搜索引擎，從而提升搜索的效果?；?LLM 的智能體有很強的泛化能力，它們具備一些關于世界的知識，能理解輸入，并給出高維空間中的輸出。ChatGPT 驚艷的效果讓智能體研究者們眼前一亮。在李國豪看來，模型能力的放縮法則已經(jīng)是過去式，智能體能力的涌現(xiàn)是未來。

實際上，CAMEL 是第一個基于 LLM 的對話式智能體。起初，作者團隊希望構建一個智能體引導 ChatGPT 完成任務：一個智能體給定高級指令，另一個機器人與 ChatGPT 進行多輪對話。這種對話式的智能體可以扮演不同的角色，完成不同的任務。為此，我們提出了「Inception Prompting」方法來引導對話智能體完成任務，智能體之間通過「指令跟隨」（Instrucion-following）的方式合作。這種合作方式可控性很強，也可以產(chǎn)生新的數(shù)據(jù)集。

• CAMEL 框架

在 CAMEL 框架下，用戶給出自己的意圖，有一個智能體會將這個意圖具體化為可執(zhí)行的方案。然后我們選擇兩個智能體完成機制的設計。例如，在股票交易場景下，一個智能體為 Python 編程者，另一個為股票交易員。任務制定者將交易任務指定為監(jiān)控社交平臺上關于某只股票的輿情，并以此為依據(jù)執(zhí)行交易操作。此時，AI 用戶代替人類進行規(guī)劃，AI 助手則幫助 AI 用戶執(zhí)行動作。?

類似地，我們模擬了 50 多種 AI 助手的角色、10 種任務，嘗試使用 20種編程語言完成 50 個領域的 50 種任務。

我們發(fā)現(xiàn)，在 70% 的情況下，人類評估和 GPT-4 評估的結果指明，使用 2 個智能體的效果比使用單個智能體效果更好，這與 CoT 的形式類似。

通過「Instruction following」方式，我們可以產(chǎn)生大量用于指令微調的數(shù)據(jù)。我們針對 LLaMa 等模型進行了微調。例如，加入關于數(shù)學的指令數(shù)據(jù)后，LLaMa 模型在數(shù)學問題上的性能有巨大提升。

在 CAMEL 項目中，我們提出了在完全自動化的系統(tǒng)中進行「Actor-Critic」。我們引入了一個批評智能體，設定一些標準，讓他選擇是否修改當前選擇，由此形成了一個類似樹的搜索方式。同時 CAMEL 項目也設計具身/工具智能體，這種智能體可以寫代碼、生成圖片。?

?Q&A

Q1：如何在為通用領域的語言模型賦予角色時，使其成為專業(yè)領域的專家？在賦予智能體角色時，其能力都來自同一個預訓練大模型。為其賦予不同角色，使其成為特殊領域的專家，與使用一個通才模型有何區(qū)別？

李國豪：顯式告知自然語言模型扮演某種角色會影響其輸出。我們可以加入一些知識、記憶，也可以為智能體賦予不同的工具，成為不同領域的專家。實際上，我們往往很難直接訓練出一個通才智能體。我們可以采用「分而治之」的思想，將問題分解為多個子問題，在降低問題復雜度的同時，讓任務并行完成，這比訓練一個通才模型更加容易。

我們通過不同的提示可以得到不同的結果。通過模型形成不同的專家，會比通才模型在某些領域得到的回答更好。實際應用場景和實驗場景下使用的模型也可以是完全不同的。?

陳光耀：我們可以將大語言模型視為一個通才，但是我們在多智能體系統(tǒng)中通過 Prompt 的方式更好地挖掘領域知識，提升回答的指令。使用不同的模型可能會降低模型的微調效率，還需要進一步探索。

Q2：目前大多數(shù)智能體框架都基于 ChatGPT 開發(fā)而來，如果我們更換后端模型，會不會影響框架的性能？Prompt 會不會失效？

王智琳 ：由于每種模型的訓練過程不太一樣，更換后端模型確實會對 Prompt 的效果產(chǎn)生有一定影響。短期來講，沒有特別好的解決辦法，我們可以針對特定任務進行單元測試，或者可以使用非常強的大語言模型（例如 GPT-4）測試更換模型后的效果。長遠來看，我們可以通過基于 Lora、RLHF 等方式訓練定制化的模型，對模型進行控制。?

Q3：多智能體框架包含規(guī)劃者和多個執(zhí)行者，規(guī)劃是否決定了基于 Prompt 的智能體的能力上限？如果規(guī)劃能力較弱，是否可以通過人機協(xié)作使任務執(zhí)行更加高效？

陳光耀：規(guī)劃確實是很重要的一環(huán)，但是單個智能體的執(zhí)行能力、工具的執(zhí)行效率也都很重要。人機合作是一種很好的機制，但是大多數(shù)多智能體系統(tǒng)都是一種工具。我們可以通過智能體輔助人，也可以讓人輔助智能體。

李國豪：規(guī)劃很重要，其它能力也同等重要。我們要考慮如何擴展智能體個數(shù)、實用工具的數(shù)量、記憶的維度等因素的組合。目前，我們還做不到完全自動化的系統(tǒng)，任務中一些模糊不清的部分還需要人類與機器合作。這種人機合作的方式也包含人被動、人主動兩種模型，會產(chǎn)生不同的系統(tǒng)設計。

Q4：大模型似乎不太會主動向人類提問，如何讓智能體主動向人類獲取知識？?

李國豪：可以通過 prompting 來解決該問題。我們可以在開始做任務之前，讓智能體詢問人類各種問題，直到他覺得答案已經(jīng)明確為止。?

Q5：除了設計模塊、進行 Prompt 工程之外，該領域還有哪些有價值的研究方向？

李國豪：有很多可以做的地方。首先，可以研究 Agent 的哪些能力應該融合到模型里。有沒有一種混合模型的設計？工具是不是可以作為神經(jīng)網(wǎng)絡的某一層？

Q6：目前似乎缺少一個評測智能體的 Benchmark，這方面的工作是否有意義？

李國豪：非常有意義。我們一開始在做 CAMEL 項目時，根本不知道怎么去評價它。現(xiàn)在，模型能力已經(jīng)遠遠超過我們能夠評估這些模型的方法。智能體的評測將會是未來非常重要的研究方向。

更多內容 盡在智源社區(qū)文章來源地址http://www.zghlxwxcb.cn/news/detail-805768.html