? ? ? ? 從2017年google?brain提出transformer模型，到2018年基于transformer模型open ai推出了gpt1模型以及google推出了bert模型，到2019-2021年open ai陸續(xù)推出gpt2和gpt3，再到2022-2023年推出chat-gpt和gpt4，大語(yǔ)言模型已經(jīng)發(fā)展成了一個(gè)具有3個(gè)大分支的參天大樹(shù)[LLM：大語(yǔ)言模型]。在這里主要寫(xiě)寫(xiě)關(guān)于gpt的那些事。

GPT發(fā)展路徑

GPT-1到GPT-3到ChatGPT

各GPT的技術(shù)路線：

各GPT的模型大?。?/p>

GPT-3.5 的進(jìn)化樹(shù)：

Note:?圖中的幾個(gè)概念：

1 Instruction tuning 有兩個(gè)版本，一個(gè)是 supervised tuning，另一個(gè)是 reinforcement learning from human feedback (RLHF).

2?supervised instruction tuning 使用自然語(yǔ)言作為任務(wù)描述，而supervised fine tuning 使用固定格式或標(biāo)簽作為任務(wù)描述。supervised instruction tuning 的數(shù)據(jù)集包含指令、輸入和輸出三個(gè)部分，而supervised fine tuning 的數(shù)據(jù)集只包含輸入和輸出兩個(gè)部分。?

GPT-1、GPT-2和GPT-3模型

參考[GPT-1、GPT-2和GPT-3模型詳解]

codex：code-davinci-002

[論文：Evaluating Large Language Models Trained on Code]

InstructGPT

參考[InstructionGPT]

[論文：Training language models to follow instructions with human feedback]

ChatGPT

ChatGPT的博客中講到ChatGPT和InstructGPT的訓(xùn)練方式相同，不同點(diǎn)僅僅是它們采集數(shù)據(jù)上有所不同，但是并沒(méi)有更多的資料來(lái)講數(shù)據(jù)采集上有哪些細(xì)節(jié)上的不同。

考慮到ChatGPT僅僅被用在對(duì)話領(lǐng)域，猜測(cè)ChatGPT在數(shù)據(jù)采集上有兩個(gè)不同：1. 提高了對(duì)話類(lèi)任務(wù)的占比；2. 將提示的方式轉(zhuǎn)換Q&A的方式。

關(guān)于多輪對(duì)話

微調(diào)模型如?standard_alpaca，或者alpaca-lora，這些都是單輪的對(duì)話。對(duì)于多輪對(duì)話的模型，我們?cè)撛趺慈ソM織數(shù)據(jù)呢？

1 ?進(jìn)行對(duì)話推理的時(shí)候，歷史信息的處理和訓(xùn)練的時(shí)候是類(lèi)似的，維護(hù)一個(gè)列表叫做history。操作起來(lái)的時(shí)候，就是將歷史信息分別按照User和Assistant的角色拼起來(lái)，再鑲嵌到模板里面，第一輪對(duì)話的時(shí)候，這個(gè)history是個(gè)空列表。[Chinese-Vicuna中的對(duì)話數(shù)據(jù)處理方式 - 知乎]

2?ChatGPT也可以使用記憶網(wǎng)絡(luò)（MemoryNetwork）等技術(shù)對(duì)對(duì)話歷史進(jìn)行編碼和表示，然后使用生成模型或分類(lèi)模型等方法進(jìn)行回復(fù)生成。

GPT-4

????????GPT-4（Generative Pre-trained Transformer 4）是 OpenAI 2023年發(fā)布的GPT 系列模型?[GPT-4 Technical Report]。它是一個(gè)大規(guī)模的多模態(tài)模型，可以接受圖像和文本輸入，產(chǎn)生文本輸出。輸出任務(wù)依舊是一個(gè)自回歸的單詞預(yù)測(cè)任務(wù)。

GPT-4的主要改進(jìn)和性能提升表現(xiàn)在以下幾個(gè)方面：

1 訓(xùn)練穩(wěn)定性和預(yù)測(cè)性能
GPT-4 的開(kāi)發(fā)經(jīng)歷了全面重建深度學(xué)習(xí)堆棧的過(guò)程，并與 Azure 共同設(shè)計(jì)了專(zhuān)門(mén)為其工作負(fù)載而優(yōu)化的超級(jí)計(jì)算機(jī)。通過(guò)將 GPT-3.5 視為系統(tǒng)的首次“試運(yùn)行”，OpenAI 發(fā)現(xiàn)并修復(fù)了一些錯(cuò)誤，改進(jìn)了理論基礎(chǔ)。這使得 GPT-4 的訓(xùn)練運(yùn)行非常穩(wěn)定，并成為他們首個(gè)能夠準(zhǔn)確預(yù)測(cè)訓(xùn)練性能的大型模型。OpenAI 還計(jì)劃持續(xù)專(zhuān)注于可靠的擴(kuò)展，以進(jìn)一步提高預(yù)測(cè)能力，為未來(lái)的應(yīng)用做好準(zhǔn)備。

2 模型性能
GPT-4 在許多專(zhuān)業(yè)和學(xué)術(shù)基準(zhǔn)測(cè)試中展現(xiàn)出了顯著的性能提升。舉例來(lái)說(shuō)，GPT-4 在模擬律師資格考試中的成績(jī)超過(guò)了90%的考生，而 GPT-3.5 僅在后10%范圍內(nèi)。這表明 GPT-4 在解決復(fù)雜問(wèn)題、創(chuàng)造性寫(xiě)作等方面具備更高的可靠性和靈活性。

3 多模態(tài)能力
一個(gè)關(guān)鍵的改進(jìn)是 GPT-4 的多模態(tài)能力，即接受圖像和文本輸入，能夠結(jié)合圖像和文本信息生成更豐富的輸出，具有在圖像理解、圖像分類(lèi)和問(wèn)題回答等方面的能力。

4 安全性和可控性
通過(guò)引入對(duì)齊方案和加入額外的安全獎(jiǎng)勵(lì)信號(hào)，提高了模型的安全性能。此外，OpenAI 還邀請(qǐng)了多位專(zhuān)家對(duì)模型進(jìn)行對(duì)抗測(cè)試，以發(fā)現(xiàn)并修復(fù)潛在的安全問(wèn)題，減少了生成有害內(nèi)容的風(fēng)險(xiǎn)。

5 模型架構(gòu)和訓(xùn)練方法
GPT-4 的架構(gòu)與之前的 GPT 模型相似，采用了 Transformer 的結(jié)構(gòu)。預(yù)訓(xùn)練階段使用了公開(kāi)可用的互聯(lián)網(wǎng)數(shù)據(jù)和第三方提供的數(shù)據(jù)，并且在微調(diào)階段應(yīng)用了RLHF來(lái)微調(diào)。

6 引入了可預(yù)測(cè)的拓展
GPT-4 引入了一個(gè)可預(yù)測(cè)擴(kuò)展的深度學(xué)習(xí)棧，該棧能夠在不同的規(guī)模下表現(xiàn)出可預(yù)測(cè)的行為。通過(guò)開(kāi)發(fā)基礎(chǔ)設(shè)施和優(yōu)化方法，團(tuán)隊(duì)能夠在小規(guī)模模型上進(jìn)行實(shí)驗(yàn)，并準(zhǔn)確地預(yù)測(cè)在大規(guī)模模型上的性能，提高了工作效率和模型性能。

官網(wǎng)說(shuō)明[GPT-4][GPT-4]

WebGPT

????????WebGPT 論文發(fā)表于2021年12月，讓 GPT 調(diào)用了搜索引擎。

[WebGPT: Improving the factual accuracy of language models through web browsing]

ChatGPT能力溯源

ChatGPT 是怎么變得這么強(qiáng)的？它強(qiáng)大的涌現(xiàn)能力（Emergent Ability）到底從何而來(lái)？

Note:?很多能力小模型沒(méi)有，只有當(dāng)模型大到一定的量級(jí)之后才會(huì)出現(xiàn)的能力稱(chēng)為Emergent Abilities。

OpenAI有一個(gè)獨(dú)特的先發(fā)優(yōu)勢(shì)，它在2020年就開(kāi)放了GPT-3的接口，因此收集了大量的真實(shí)用戶(hù)提問(wèn)?？梢灶A(yù)見(jiàn)，隨著ChatGPT的商業(yè)化，OpenAI會(huì)逐步形成自己的數(shù)據(jù)生態(tài)循環(huán)。

初代 GPT-3（davinci）

初代 GPT-3（在 OpenAI API 中被稱(chēng)為davinci） [GPT-3]。一方面，它合理地回應(yīng)了某些特定的查詢(xún)，并在許多數(shù)據(jù)集中達(dá)到了還不錯(cuò)的性能；另一方面，它在許多任務(wù)上的表現(xiàn)還不如 T5 這樣的小模型，它的能力與當(dāng)今的標(biāo)準(zhǔn)也形成了尖銳的對(duì)比。雖然初代的 GPT-3 可能表面上看起來(lái)很弱，但后來(lái)的實(shí)驗(yàn)證明，初代 GPT-3 有著非常強(qiáng)的潛力。這些潛力后來(lái)被代碼訓(xùn)練、指令微調(diào) (instruction tuning) 和基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí) (reinforcement learning with human feedback, RLHF) 解鎖，最終展示出極為強(qiáng)大的涌現(xiàn)能力。

初代GPT-3三個(gè)重要能力

• 語(yǔ)言生成：遵循提示詞（prompt），然后生成補(bǔ)全提示詞的句子 (completion)
  • 能力來(lái)自于語(yǔ)言建模的訓(xùn)練目標(biāo) (language modeling)。
• 世界知識(shí) (world knowledge)：包括事實(shí)性知識(shí) (factual knowledge) 和常識(shí) (commonsense)
  • 世界知識(shí)來(lái)自 3000 億單詞的訓(xùn)練語(yǔ)料庫(kù)。模型的 1750 億參數(shù)是為了存儲(chǔ)知識(shí)，Liang et al. (2022) 的文章進(jìn)一步證明了這一點(diǎn)。 他們的結(jié)論是，知識(shí)密集型任務(wù)的性能與模型大小息息相關(guān)。
• 上下文學(xué)習(xí) (in-context learning): 遵循給定任務(wù)的幾個(gè)類(lèi)似的示例，然后為新的測(cè)試用例生成解決方案。上下文學(xué)習(xí)才是 GPT-3的真正重點(diǎn)
  • 能力來(lái)源及為什么上下文學(xué)習(xí)可以泛化仍然難以溯源。直覺(jué)上，這種能力可能來(lái)自于同一個(gè)任務(wù)的數(shù)據(jù)點(diǎn)在訓(xùn)練時(shí)按順序排列在同一個(gè) batch 中。然而，很少有人研究為什么語(yǔ)言模型預(yù)訓(xùn)練會(huì)促使上下文學(xué)習(xí)，以及為什么上下文學(xué)習(xí)的行為與fine-tuning)如此不同。?

Codex：code-davinci-002

初始的 Codex 是根據(jù)（可能是內(nèi)部的，數(shù)據(jù)可能使用C4 的 2019-2021 版本）120 億參數(shù)的 GPT-3 變體進(jìn)行微調(diào)的，后來(lái)這個(gè) 120 億參數(shù)的模型演變成 OpenAI API 中的code-cushman-001。

在 2022 年 4 月至 7 月的，OpenAI 開(kāi)始對(duì)code-davinci-002模型進(jìn)行 Beta 測(cè)試，也稱(chēng)其為 Codex。Code-davinci-002 可能是第一個(gè)深度融合了代碼訓(xùn)練和指令微調(diào)的模型。

盡管 Codex 聽(tīng)著像是一個(gè)只管代碼的模型，但code-davinci-002可能是最強(qiáng)大的針對(duì)自然語(yǔ)言的GPT-3.5 變體（優(yōu)于 text-davinci-002和 -003）。

text-davinci-002

2022 年 5-6 月發(fā)布的text-davinci-002是一個(gè)基于code-davinci-002的有監(jiān)督指令微調(diào) (supervised instruction tuned) 模型，在以下數(shù)據(jù)上作了微調(diào)：（一）人工標(biāo)注的指令和期待的輸出；（二）由人工標(biāo)注者選擇的模型輸出。

在code-davinci-002上面進(jìn)行指令微調(diào)很可能降低了模型的上下文學(xué)習(xí)能力，但是增強(qiáng)了模型的零樣本能力。- 當(dāng)有上下文示例 (in-context example) 的時(shí)候， Code-davinci-002 更擅長(zhǎng)上下文學(xué)習(xí)；當(dāng)沒(méi)有上下文示例 / 零樣本的時(shí)候， text-davinci-002 在零樣本任務(wù)完成方面表現(xiàn)更好。從這個(gè)意義上說(shuō)，text-davinci-002 更符合人類(lèi)的期待（因?yàn)閷?duì)一個(gè)任務(wù)寫(xiě)上下文示例可能會(huì)比較麻煩）。- OpenAI 不太可能故意犧牲了上下文學(xué)習(xí)的能力換取零樣本能力 —— 上下文學(xué)習(xí)能力的降低更多是指令學(xué)習(xí)的一個(gè)副作用，OpenAI 管這叫對(duì)齊稅。

第一版GPT3.5 模型的能力

code-davinci-002和text-davinci-002，這兩兄弟是第一版的 GPT3.5 模型，一個(gè)用于代碼，另一個(gè)用于文本。它們表現(xiàn)出了四種與初代 GPT-3 不同的重要能力：

• 響應(yīng)人類(lèi)指令：以前GPT-3 的輸出主要是訓(xùn)練集中常見(jiàn)的句子?，F(xiàn)在的模型會(huì)針對(duì)指令 / 提示詞生成更合理的答案（而不是相關(guān)但無(wú)用的句子）。
  • 能夠響應(yīng)人類(lèi)指令的能力是指令微調(diào)的直接產(chǎn)物。
• 泛化到?jīng)]有見(jiàn)過(guò)的任務(wù)： 這種能力對(duì)于上線部署至關(guān)重要，因?yàn)橛脩?hù)總會(huì)提新的問(wèn)題，模型得答得出來(lái)才行。
  • 當(dāng)用于調(diào)整模型的指令數(shù)量超過(guò)一定的規(guī)模時(shí)，模型就可以自動(dòng)在從沒(méi)見(jiàn)過(guò)的新指令上也能生成有效的回答[T0、Flan 和 FlanPaLM 論文]。
• 代碼生成和代碼理解：這個(gè)能力很顯然，因?yàn)槟Ｐ陀么a訓(xùn)練過(guò)。
• 利用思維鏈 (chain-of-thought) 進(jìn)行復(fù)雜推理：思維鏈推理之所以重要，是因?yàn)樗季S鏈可能是解鎖涌現(xiàn)能力和超越縮放法則 (scaling laws) 的關(guān)鍵。[A Closer Look at Large Language Models Emergent Abilities]
  • 使用思維鏈進(jìn)行復(fù)雜推理的能力很可能是代碼訓(xùn)練的一個(gè)神奇的副產(chǎn)物，且代碼數(shù)據(jù)量足夠大（例如PaLM 有 5% 的代碼訓(xùn)練數(shù)據(jù)）。
    • - 初代 GPT-3 沒(méi)有接受過(guò)代碼訓(xùn)練，它不能做思維鏈（能力很弱甚至沒(méi)有），而code-davinci-002 和 text-davinci-002 是兩個(gè)擁有足夠強(qiáng)的思維鏈推理能力的模型。
    • - text-davinci-001 模型雖然經(jīng)過(guò)了指令微調(diào)，但思維鏈推理的能力非常弱，所以指令微調(diào)可能不是思維鏈存在的原因。區(qū)分代碼訓(xùn)練和指令微調(diào)效果的最好方法可能是比較 code-cushman-001、T5 和 FlanT5。
    • -?面向過(guò)程的編程 (procedure-oriented programming) 跟人類(lèi)逐步解決任務(wù)的過(guò)程很類(lèi)似，面向?qū)ο缶幊?(object-oriented programming) 跟人類(lèi)將復(fù)雜任務(wù)分解為多個(gè)簡(jiǎn)單任務(wù)的過(guò)程很類(lèi)似。
    • -?沒(méi)有非常確鑿的證據(jù)證明代碼就是思維鏈和復(fù)雜推理的原因。
  • 代碼訓(xùn)練另一個(gè)可能的副產(chǎn)品是長(zhǎng)距離依賴(lài)，正如Peter Liu所指出：“語(yǔ)言中的下個(gè)詞語(yǔ)預(yù)測(cè)通常是非常局部的，而代碼通常需要更長(zhǎng)的依賴(lài)關(guān)系來(lái)做一些事情，比如前后括號(hào)的匹配或引用遠(yuǎn)處的函數(shù)定義”。這里我想進(jìn)一步補(bǔ)充的是：由于面向?qū)ο缶幊讨械念?lèi)繼承，代碼也可能有助于模型建立編碼層次結(jié)構(gòu)的能力。

text-davinci-003

text-davinci-003和 ChatGPT，它們都在 2022 年 11 月發(fā)布，是使用的基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)的版本指令微調(diào) 模型的兩種不同變體。

text-davinci-003 恢復(fù)了（但仍然比code-davinci-002差）一些在text-davinci-002 中丟失的部分上下文學(xué)習(xí)能力（大概是因?yàn)樗谖⒄{(diào)的時(shí)候混入了語(yǔ)言建模） 并進(jìn)一步改進(jìn)了零樣本能力（得益于RLHF）。

ChatGPT

ChatGPT 似乎犧牲了幾乎所有的上下文學(xué)習(xí)的能力來(lái)?yè)Q取建模對(duì)話歷史的能力（即chatgpt不需要你給這個(gè)任務(wù){(diào)對(duì)話}示例，我只在乎當(dāng)前對(duì)話歷史說(shuō)過(guò)什么即可）。

關(guān)于指令微調(diào)

完成code-davinci-002時(shí)，所有的能力都已經(jīng)存在了。很可能后續(xù)的指令微調(diào)，無(wú)論是通過(guò)有監(jiān)督指令微調(diào)還是RLHF，都會(huì)做以下事情：

• 指令微調(diào)不會(huì)為模型注入新的能力 —— 作用是解鎖 / 激發(fā)這些能力。這主要是因?yàn)橹噶钗⒄{(diào)的數(shù)據(jù)量77K比預(yù)訓(xùn)練數(shù)據(jù)量少幾個(gè)數(shù)量級(jí)（基礎(chǔ)的能力是通過(guò)預(yù)訓(xùn)練注入的）。其他指令微調(diào)論文如 Chung et al. (2022) Flan-PaLM 的指令微調(diào)僅為預(yù)訓(xùn)練計(jì)算的 0.4%。
• 指令微調(diào)將 GPT-3.5 的分化到不同的技能樹(shù)。有些更擅長(zhǎng)上下文學(xué)習(xí)，如text-davinci-003，有些更擅長(zhǎng)對(duì)話，如ChatGPT。
• 指令微調(diào)通過(guò)犧牲性能換取與人類(lèi)的對(duì)齊（alignment）。 OpenAI 的作者在他們的指令微調(diào)論文中稱(chēng)其為 “對(duì)齊稅” (alignment tax)。許多論文都報(bào)道了code-davinci-002在基準(zhǔn)測(cè)試中實(shí)現(xiàn)了最佳性能（但模型不一定符合人類(lèi)期望），進(jìn)行指令微調(diào)后模型可以生成更加符合人類(lèi)期待的反饋（或者說(shuō)模型與人類(lèi)對(duì)齊），例如：零樣本問(wèn)答、生成安全和公正的對(duì)話回復(fù)、拒絕超出模型它知識(shí)范圍的問(wèn)題。

關(guān)于RLHF

通過(guò)對(duì)比text-davinci-002和text-davinci-003/ChatGPT，可知大多數(shù)新模型的行為都是 RLHF 的產(chǎn)物。

RLHF 的作用是觸發(fā) / 解鎖涌現(xiàn)能力：

• 翔實(shí)的回應(yīng)： text-davinci-003 的生成通常比 text-davinci-002長(zhǎng)。 ChatGPT 的回應(yīng)則更加冗長(zhǎng)，以至于用戶(hù)必須明確要求“用一句話回答我”，才能得到更加簡(jiǎn)潔的回答。這是 RLHF 的直接產(chǎn)物。
• 公正的回應(yīng)：ChatGPT 通常對(duì)涉及多個(gè)實(shí)體利益的事件（例如政治事件）給出非常平衡的回答。這也是RLHF的產(chǎn)物。
• 拒絕不當(dāng)問(wèn)題：這是內(nèi)容過(guò)濾器和由 RLHF 觸發(fā)的模型自身能力的結(jié)合，過(guò)濾器過(guò)濾掉一部分，然后模型再拒絕一部分。
• 拒絕其知識(shí)范圍之外的問(wèn)題：例如，拒絕在2021 年 6 月之后發(fā)生的新事件（因?yàn)樗鼪](méi)在這之后的數(shù)據(jù)上訓(xùn)練過(guò)）。這是 RLHF 最神奇的部分，因?yàn)樗鼓Ｐ湍軌螂[式地區(qū)分哪些問(wèn)題在其知識(shí)范圍內(nèi)，哪些問(wèn)題不在其知識(shí)范圍內(nèi)。

總結(jié)

• 語(yǔ)言生成能力 + 基礎(chǔ)世界知識(shí) + 上下文學(xué)習(xí)都是來(lái)自于預(yù)訓(xùn)練（davinci）
• 存儲(chǔ)大量知識(shí)的能力來(lái)自 1750 億的參數(shù)量。
• 遵循指令和泛化到新任務(wù)的能力來(lái)自于擴(kuò)大指令學(xué)習(xí)中指令的數(shù)量（Davinci-instruct-beta)
• 執(zhí)行復(fù)雜推理的能力很可能來(lái)自于代碼訓(xùn)練（code-davinci-002）
• 生成中立、客觀的能力、安全和翔實(shí)的答案來(lái)自與人類(lèi)的對(duì)齊。具體來(lái)說(shuō)：
  • 如果是監(jiān)督學(xué)習(xí)版，得到的模型是text-davinci-002
  • 如果是強(qiáng)化學(xué)習(xí)版 (RLHF) ，得到的模型是text-davinci-003
  • 無(wú)論是有監(jiān)督還是 RLHF ，模型在很多任務(wù)的性能都無(wú)法超過(guò) code-davinci-002 ，這種因?yàn)閷?duì)齊而造成性能衰退的現(xiàn)象叫做對(duì)齊稅。
• 對(duì)話能力也來(lái)自于 RLHF（ChatGPT），具體來(lái)說(shuō)它犧牲了上下文學(xué)習(xí)的能力，來(lái)?yè)Q取：
  • 建模對(duì)話歷史
  • 增加對(duì)話信息量
  • 拒絕模型知識(shí)范圍之外的問(wèn)題

[拆解追溯 GPT-3.5 各項(xiàng)能力的起源]

GPT-3.5 目前不能做什么

GPT-3.5不具備的某些重要屬性：

• 實(shí)時(shí)改寫(xiě)模型的信念：當(dāng)模型表達(dá)對(duì)某事的信念時(shí)，如果該信念是錯(cuò)誤的，我們可能很難糾正它：
  • 例子：ChatGPT 堅(jiān)持認(rèn)為 3599 是一個(gè)質(zhì)數(shù)，盡管它承認(rèn) 3599 = 59 * 61。
  • 然而，模型信念的強(qiáng)度似乎存在不同的層次。一個(gè)例子是即使我告訴它達(dá)斯·維達(dá)（星球大戰(zhàn)電影中的人物）贏得了2020年大選，模型依舊會(huì)認(rèn)為美國(guó)現(xiàn)任總統(tǒng)是拜登。但是如果我將選舉年份改為 2024 年，它就會(huì)認(rèn)為總統(tǒng)是達(dá)斯·維達(dá)是 2026 年的總統(tǒng)。
• 形式推理：GPT-3.5系列不能在數(shù)學(xué)或一階邏輯等形式嚴(yán)格的系統(tǒng)中進(jìn)行推理。

from:-柚子皮-

ref: [OpenAI的模型索引]文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-719457.html

到了這里，關(guān)于GPT的前世今生：從gpt1到chatgpt的能力提升的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！