從大型語(yǔ)言模型走向人工通用智能AGI

返回論文和資料目錄

1.導(dǎo)讀

這篇博客主要基于《Sparks of Artificial General Intelligence: Early experiments with GPT-4》文中第9和第10節(jié)、以及我自己對(duì)當(dāng)前LLM和AGI的理解。給出大型語(yǔ)言模型走向AGI時(shí) 改進(jìn)的方向。

2.14個(gè)問(wèn)題及改進(jìn)方向（動(dòng)態(tài)持續(xù)更新）

1.縮減模型

模型約減的目標(biāo)是使用盡可能小的模型達(dá)到盡可能優(yōu)的性能。當(dāng)前大語(yǔ)言模型的模型規(guī)模是10B-500B。未來(lái)AGI必然是要普及的，所以縮減模型是一個(gè)重點(diǎn)研究方向。

導(dǎo)致的問(wèn)題：

1. 模型的訓(xùn)練成本和使用成本高，類(lèi)似ChatGPT等這些優(yōu)異性能的大模型每訓(xùn)練一次需要上千萬(wàn)美金，而在使用時(shí)，模型輸入輸出一次就需要經(jīng)過(guò)整個(gè)大模型，導(dǎo)致使用成本巨大。
2. 模型難以推廣到個(gè)人。與世界上第一臺(tái)電腦類(lèi)似，如果后續(xù)沒(méi)有個(gè)人電腦的普及，相信計(jì)算機(jī)至今都只存在大型科研或軍事用途上。模型大導(dǎo)致現(xiàn)在大模型的研究主要在工業(yè)界和少數(shù)頂級(jí)科研機(jī)構(gòu)上，這不僅導(dǎo)致研究工作開(kāi)展困難，還使得模型無(wú)法推廣到平民。這也間接導(dǎo)致了后面模型難以進(jìn)行個(gè)性化的發(fā)展。

改進(jìn)的具體方向：

1. 從具體模型方面入手，采用更優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)，優(yōu)化器，詞向量編碼。目前已經(jīng)有少量的工作在這方面取得了一定的成績(jī)，例如LLaMA。
2. 與工具結(jié)合。在一些特定的場(chǎng)景，大模型仍然難以擴(kuò)展，例如數(shù)學(xué)計(jì)算等。 一個(gè)大型語(yǔ)言模型再?gòu)?qiáng)也難以具備一個(gè)計(jì)算器的的數(shù)學(xué)運(yùn)算能力。因此，與其不斷努力為了保持性能而不降低模型規(guī)模，還不如研究如何將一些模型低耦合的能力分給其他工具實(shí)現(xiàn)，并如何將工具與大模型整合的技術(shù)。與工具結(jié)合這一方向詳細(xì)展開(kāi)可見(jiàn)第11點(diǎn)。

2.個(gè)性化

個(gè)性化是指模型為每個(gè)用戶提供個(gè)性化服務(wù)。未來(lái)AGI必然是要普及的，所以模型如何實(shí)現(xiàn)個(gè)性化是一個(gè)重點(diǎn)研究方向。

導(dǎo)致的問(wèn)題：

1. 在許多場(chǎng)景，模型需要為個(gè)人或組織提供個(gè)性化服務(wù)。例如，在教育場(chǎng)景中，我們期望模型能夠根據(jù)學(xué)生在學(xué)習(xí)方面的進(jìn)步去理解并適應(yīng)，給出學(xué)生不同階段的學(xué)習(xí)幫助。同時(shí)針對(duì)不同的學(xué)生，模型需要給出不同的教學(xué)方法。再例如，在日常聊天場(chǎng)景中，模型面向小孩和大人的模型輸出可能就不一樣。針對(duì)小孩，模型不應(yīng)該輸出不適合未成年人的內(nèi)容。同時(shí)，聊天中需要注意正確的引導(dǎo)孩子。

改進(jìn)的具體方向：

1. 元指令。這是《Sparks of Artificial General Intelligence: Early experiments with GPT-4》給出的一個(gè)方法。它的思路是每次通過(guò)指令輸入的方法，讓模型知道當(dāng)前的用戶是誰(shuí)，之前和他說(shuō)過(guò)什么，目前什么樣的輸出適合他。雖然這種方法局限性大且不夠有效，但確實(shí)是最簡(jiǎn)單的一種思路，目前很火的AutoGPT就是這么干的，確實(shí)能夠?qū)崿F(xiàn)一部分個(gè)性化能力。

3.長(zhǎng)期記憶

長(zhǎng)期記憶指大模型需要記住長(zhǎng)文本內(nèi)容，形成新的認(rèn)知，或類(lèi)似人類(lèi)具備情景記憶。這是大模型一個(gè)非常大的缺陷，也是實(shí)現(xiàn)AGI必然要解決的問(wèn)題。

導(dǎo)致的問(wèn)題：

1. 模型無(wú)法應(yīng)對(duì)需要長(zhǎng)期記憶的場(chǎng)景。例如當(dāng)使用大模型閱讀一本書(shū)，模型閱讀第2章內(nèi)容時(shí)可能第一章內(nèi)容就忘了，人物和事件根本記不住。在源代碼中，對(duì)類(lèi)和函數(shù)的引用可能離定義它們的地方很遠(yuǎn)。在定理證明中，證明需要利用先前定義的引理。雖然目前GPT-4一次輸入支持的最大token數(shù)已經(jīng)提升到25000，但想實(shí)現(xiàn)閱讀一本書(shū)，仍然非常困難。再例如，目前已經(jīng)有工作研究將機(jī)器人與ChatGPT結(jié)合，而此時(shí)機(jī)器人有個(gè)很大問(wèn)題是無(wú)法類(lèi)似人類(lèi)具備事件記憶，無(wú)法記住什么時(shí)候發(fā)生了什么事，遇見(jiàn)了什么人。

改進(jìn)的具體方向：

1. 結(jié)合數(shù)據(jù)庫(kù)或知識(shí)圖譜相關(guān)技術(shù)。目前AutoGPT就采用了這種方法，確實(shí)具備了一部分長(zhǎng)期記憶能力。
2. 構(gòu)建一個(gè)長(zhǎng)期記憶模型M并結(jié)合數(shù)據(jù)庫(kù)技術(shù)。類(lèi)似的想法目前清華有做類(lèi)似的工作ChatDB。

4.置信校準(zhǔn)

置信校準(zhǔn)指的是模型需要判斷事件的真假。當(dāng)前LLM經(jīng)常會(huì)輸出假事實(shí)，例如，你讓LLM寫(xiě)一首李白的詩(shī)，它的輸出雖然是詩(shī)，但卻是它自己瞎編的而不是李白的。你讓他給你一篇關(guān)于XX領(lǐng)域的參考文獻(xiàn)，它的輸出像模像樣，但真的去谷歌學(xué)術(shù)上找，發(fā)現(xiàn)是找不到對(duì)應(yīng)的文獻(xiàn)的。

導(dǎo)致的問(wèn)題：

1. LLM無(wú)法分別是非，它的認(rèn)知主要基于訓(xùn)練集，不會(huì)自己去思考和判斷什么是真什么是假。在實(shí)際使用的過(guò)程中，無(wú)法輸出保真答案。

改進(jìn)的具體方向：

無(wú)

5.持續(xù)學(xué)習(xí)

持續(xù)學(xué)習(xí)指的是模型需要根據(jù)周?chē)沫h(huán)境更新自身。模型訓(xùn)練好一次后，需要能夠持續(xù)不斷地學(xué)習(xí)。

導(dǎo)致的問(wèn)題：

1. 當(dāng)前模型無(wú)法更新。具體地，存在兩種情況。第一種，當(dāng)一個(gè)模型訓(xùn)練好后，假設(shè)我們的計(jì)算資源得到了更新，我們當(dāng)前需要一個(gè)更大的模型。此時(shí)，當(dāng)前LLM面臨的情況是在一個(gè)參數(shù)量更大的模型上完全重新訓(xùn)練；第二種，當(dāng)模型在使用時(shí)，我們目前比較好的方式是使用RLHF的方法進(jìn)行微調(diào)，使得模型能夠一定程度上得到更新，但這種方式不是實(shí)時(shí)的，而且更新效率低需要對(duì)整個(gè)模型進(jìn)行調(diào)節(jié)。

改進(jìn)的具體方向：

無(wú)

6.計(jì)劃和目標(biāo)

計(jì)劃和目標(biāo)指模型需要具備制定計(jì)劃和目標(biāo)的能力。

導(dǎo)致的問(wèn)題：

1. 當(dāng)模型需要處理的問(wèn)題復(fù)雜時(shí)，模型無(wú)法制定計(jì)劃和目標(biāo)對(duì)問(wèn)題進(jìn)行簡(jiǎn)化，進(jìn)而有效地解決問(wèn)題。例如，人完成去華山旅游這件事時(shí)，需要把這個(gè)目標(biāo)進(jìn)行分解，再依次完成。比如，首先需要檢查自己有多少錢(qián)，然后搜索去的交通工具，接著需要訂酒店，購(gòu)買(mǎi)上山物資，再接著規(guī)劃行動(dòng)路線，最后坐車(chē)回家。其中里面的每個(gè)環(huán)節(jié)可能又可分成多個(gè)步驟。比如，訂酒店要考慮價(jià)格和位置，考慮訂幾人房等。這么一個(gè)復(fù)雜目標(biāo)需要合適的計(jì)劃，并制定一系列的目標(biāo)實(shí)現(xiàn)。
2. 另外一方面，模型無(wú)法指定提升自己的目標(biāo)導(dǎo)致無(wú)法主動(dòng)學(xué)習(xí)，進(jìn)而使得模型性能無(wú)法離線提升。

改進(jìn)的具體方向：

1. 指令提示+短期記憶：目前AutoGPT就采取了類(lèi)似的方式實(shí)現(xiàn)，它將一個(gè)任務(wù)不斷通過(guò)prompt的方式進(jìn)行提示和拆解，最終指定多個(gè)子目標(biāo)，一步一步實(shí)現(xiàn)。這種方式能夠一定程度上實(shí)現(xiàn)模型的規(guī)劃和目標(biāo)能力。

7.數(shù)據(jù)集收集和生成

數(shù)據(jù)集收集和生成指模型需要配合合適的數(shù)據(jù)集收集和生成方法。

導(dǎo)致的問(wèn)題：

1. 模型性能不高。近期，LLaMA等大模型論文中已經(jīng)顯示，即使是規(guī)模小的大模型，擴(kuò)大數(shù)據(jù)集也能幫助進(jìn)一步提升性能。反過(guò)來(lái)講，通過(guò)合適的方式收集或生成數(shù)據(jù)，并進(jìn)一步用于訓(xùn)練模型可以有效地提升大模型的性能。

改進(jìn)的具體方向：

1. 針對(duì)數(shù)據(jù)集收集，可以重點(diǎn)研究模型自主上網(wǎng)收集數(shù)據(jù)能力。最終，讓模型可以在網(wǎng)絡(luò)上自主收集數(shù)據(jù)并用于訓(xùn)練提升性能。
2. 針對(duì)數(shù)據(jù)集生成，可以借助已有的LLM模型生成數(shù)據(jù)集，幫助提升性能，例如WizardLM模型或Wizardcode，下圖給出了一個(gè)Wizardcode利用LLM生成針對(duì)Code領(lǐng)域的數(shù)據(jù)的例子。另外，可以研究讓模型自動(dòng)生成數(shù)據(jù)，再用生成數(shù)據(jù)訓(xùn)練模型，不斷迭代增強(qiáng)性能。最近facebook在計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)表了一篇針對(duì)圖像分割的論文。其中提到一個(gè)名為數(shù)據(jù)引擎的數(shù)據(jù)生成方法，使得數(shù)據(jù)生成和模型訓(xùn)練變成一個(gè)閉環(huán)，達(dá)到了“分割萬(wàn)物”的驚艷結(jié)果。

8.情感能力

情感能力指模型需要提升情感能力來(lái)幫助提升表現(xiàn)。

導(dǎo)致的問(wèn)題：

1. 不僅影響平時(shí)的模型表現(xiàn)，還導(dǎo)致無(wú)法應(yīng)用于一些需要情感的場(chǎng)景。例如，在與人聊天的時(shí)候，如果對(duì)方是一個(gè)失戀的人。一個(gè)帶感情的回答，必然優(yōu)于平鋪直敘地講道理或安慰。未來(lái)的寵物機(jī)器人或是機(jī)器人管家的也是重點(diǎn)研究方向，而這些場(chǎng)景顯然需要LLM發(fā)展情感能力。

改進(jìn)的具體方向：

無(wú)

9.增強(qiáng)多模態(tài)

增強(qiáng)多模態(tài)指LLM模型同時(shí)考慮處理文本、圖像、音頻等。

導(dǎo)致的問(wèn)題：

1. 現(xiàn)有模型主要處理文本，少數(shù)可以同時(shí)處理圖像（GPT-4）。因此，缺乏了音頻數(shù)據(jù)的處理，例如，一個(gè)大模型無(wú)法判斷一首歌好不好聽(tīng)。

改進(jìn)的具體方向：

1. 針對(duì)不同的多模態(tài)訓(xùn)練不同的模型再進(jìn)行整合。

10.與現(xiàn)有軟件工具結(jié)合

微信、淘寶、美團(tuán)、QQ音樂(lè)、12306等。

11.與現(xiàn)有硬件工具結(jié)合

機(jī)器人手臂，仿生人皮膚，紅外線，NFC。

12.自我認(rèn)知和世界認(rèn)知

沒(méi)有自我認(rèn)知何談置信校準(zhǔn)。沒(méi)有世界認(rèn)知如何消除偏見(jiàn)。

導(dǎo)致的問(wèn)題：

1. 目前LLM與AGI最大的差距其實(shí)是仍然是自我認(rèn)知和世界認(rèn)知。

改進(jìn)的具體方向：

無(wú)

13.AGI的測(cè)試問(wèn)題

目前多見(jiàn)于利用考試的方式，例如律師職業(yè)資格考試、GRE等。

14.AGI的安全問(wèn)題和法律問(wèn)題

暫時(shí)略過(guò)，讀者可以看看《Planing for AGI and beyond》文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-498806.html

到了這里，關(guān)于從大型語(yǔ)言模型LLM走向人工通用智能AGI的改進(jìn)方向（public）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！