引言

GPT（Generative Pre-Trained Transformer）系列是OpenAI開發(fā)的一系列以Transformer[2]為基礎(chǔ)的生成式預(yù)訓(xùn)練模型，這個系列目前包括文本預(yù)訓(xùn)練模型GPT-1[3]，GPT-2[4]，GPT-3[5]，InstructGPT[7]、ChatGPT[8]（這兩個工作可以看作GPT-3.5的延伸），圖像預(yù)訓(xùn)練iGPT[6]，GPT-4[1]。

生成式任務(wù)主流的五種算法

?圖1 不同生成模型概覽

生成任務(wù)的核心思想就是保證生成的樣本的分布要與訓(xùn)練數(shù)據(jù)的分布接近，這樣生成出來的數(shù)據(jù)和原有的數(shù)據(jù)就會十分相似，可以以假亂真的地步。當(dāng)今深度學(xué)習(xí)領(lǐng)域最主流的模型包括自回歸模型Autoregressive Model (AR)、生成對抗網(wǎng)絡(luò)Generative Adversarial Network (GAN)、標(biāo)準(zhǔn)化流模型Normalizing Flow (Flow)、自編碼器Auto-Encoder (AE)與變分自編碼器Variational Auto-Encoder (VAE)、去噪擴散模型Denoising Diffusion Probablistic Model (Diffusion)等等。如圖1所示 ，展示了不同模型的處理流程。為了避免出現(xiàn)大量的數(shù)學(xué)公式，這里只是形式化得說明不同生成框架的基本處理流程，如果大家對算法細節(jié)感興趣，還是建議去閱讀原始論文。

Generative Adversarial Network(GAN)

GAN由兩部分組成，一個是生成器，一個是判別器。訓(xùn)練的時候，從一個先驗分布中采樣一個 ，輸入到生成器中，得到一個樣本。然后再從真實的數(shù)據(jù)集中采樣出一些真實的樣本，跟生成器生成的樣本一起輸入到判別器，由判別器來判斷生成樣本的真實度，以此來指導(dǎo)生成器的訓(xùn)練。理想狀態(tài)下，生成器和判別器會達到一個均衡狀態(tài)，此時，采樣一個 ，輸入到生成器里就可以得到一個比較好的樣本。GAN從2014年發(fā)明以來，此類方法已經(jīng)成為計算機視覺領(lǐng)域生成任務(wù)的主力，支配了圖像生成、圖像編輯、視頻生成、視頻編輯乃至超分降噪增強等領(lǐng)域，近幾年Stylegan系列方法把GAN的效果推到了一個頂峰。不過GAN類的方法在NLP領(lǐng)域一直沒有大火，這有可能跟GAN不太擅長處理離散空間有關(guān)，也有可能跟判斷文本是真實的還是生成的這個任務(wù)更難有關(guān)（最近也有相關(guān)的工作去判斷一段文本是不是由ChatGPT生成的，效果也比較一般）。

Auto-Encoder(AE)

Auto-Encoder是由兩部分組成，一個是編碼器，一個是解碼器。Auto-Encoder也是利用自監(jiān)督的方式，編碼器負責(zé)將輸入編碼成一個latent code，然后解碼器負責(zé)將latent code恢復(fù)成輸入的原始狀態(tài)。如果是在輸入添加一個mask，在NLP領(lǐng)域就是大名鼎鼎的Bert，在CV領(lǐng)域就是MAE系列方法。2014年，Auto-Encoder的變體Variational Auto-Encoder被提出，其結(jié)構(gòu)上很像Autoencoder，但是思想上更像是變分貝葉斯和圖模型，不像是AE是把輸入映射到一個固定維度的向量上，VAE則是映射到一個分布上。VAE方法至今仍活躍在CV領(lǐng)域，如VQ-VAE等。

Normalizing Flow(Flow)

在機器學(xué)習(xí)的問題中，想直接去做概率密度估計是非常難的 ?？紤]到深度學(xué)習(xí)的訓(xùn)練過程中，需要做反向傳播，那么某些概率分布，比如后驗概率就需要變得非常簡單，這樣才能高效、容易得計算導(dǎo)數(shù)。這就是為什么即使真實世界是非常復(fù)雜的，高斯分布還能廣泛得應(yīng)用在含有隱變量的生成模型中。Normalizing Flow是一種更好的更強大的概率分布近似方法，其通過應(yīng)用一系列可逆的變換，將一個簡單的分布映射成一個復(fù)雜的分布（其實思想上跟diffusion model有點類似）。其中比較有代表性的是openai的Glow ，和超分領(lǐng)域的SRFlow 。

Autoregressive Model(AR)

Autoregressive model，中文稱為自回歸模型，一般來說是單向的，比如放在NLP里，就是從左到右依次預(yù)測單詞（當(dāng)然也可以從右往左），比較有代表性的就是GPT系列，放在CV里就是按照像素的遍歷順序，依次預(yù)測像素值，比較有代表性的就是PixelRNN、PixelCNN等。如果與Auto-Encoder的方法作對比，Auto-encoder的方法基本上可以看到完整的上下文，即使是基于masked的方式，如bert，也是能看到整個語言序列或者整張圖像的全局信息，而往往Autoregressive Model只能看到單向的信息，當(dāng)然可能這種方式更符合人類說話的習(xí)慣。從現(xiàn)在的發(fā)展情況看，可能基于Auto-encoder的方法如bert、MAE這種，更適合做理解，做預(yù)訓(xùn)練模型，然后遷移到下游的任務(wù)，而基于Autoregressive的方法如GPT系列可能更適合做生成。

Diffusion Model

Diffusion Model的概念啟發(fā)于non-equilibrium thermodynamics領(lǐng)域。包括兩個過程，第一個過程從一張圖像逐漸添加高斯噪聲，最終完全變成一個noise圖像，然后還有一個相反的過程，是從一張noise的圖像中恢復(fù)出原始的圖像。Diffusion Model里也有l(wèi)atent的概念，只不過是高維的，當(dāng)然后續(xù)也有通過降低latent的維度來優(yōu)化計算過程的，比如大名鼎鼎的stable diffusion。

從一個圖像分布中采樣一張圖片，forward的過程是逐步向這張圖片上加高斯噪聲，每一步是由varaince beta控制的。因為使用了重參數(shù)化技巧，所以可以在任意的時間T，采樣出這個表達的形式。這個過程可以類比朗之萬動力學(xué)，朗之萬隨機梯度下降就是在sgd里添加隨機的高斯噪聲，避免走入local minimal。Reverse的過程則是從一個隨機的高斯noise重建一張圖片，經(jīng)過一大波計算和簡化，最終的目標(biāo)變成了預(yù)測第T步的noise。此外，為了加速推理的過程，可以跳幾步采樣，比如DDIM。值得注意的是denoise用的模型是基于時間t的unet+cross attention機制，來靈活得處理不同的條件信息，比如class、語義圖等。

Diffusion Model在最近兩年已經(jīng)成為CV生成領(lǐng)域最熱門的方法。尤其是在多模態(tài)生成領(lǐng)域，如text-image生成上，基本上是獲得了統(tǒng)治性的地位，諸如stable diffusion、dalle2等方法都大量使用了diffusion model。在單一的圖像生成領(lǐng)域，Diffusion Model在生成的效果和多樣性上也已經(jīng)擊敗早年的一些GAN類方法。當(dāng)然如果在封閉的數(shù)據(jù)集上，最新的一些GAN 方法也還是能匹配diffusion model的效果。當(dāng)前的Diffusion Model依然面臨在推理時需要消耗海量計算資源的問題，這也限制了其落地的場景。

總結(jié)

圖2 生成任務(wù)算法分類

如圖2所示，不同的生成任務(wù)的算法，可以按照其不同的特性分為這幾類。注意，圖中所說的更好的生成質(zhì)量和更好的概率密度建模是考慮整體方法的平均能力，并不能代表特定任務(wù)的特定方法，比如現(xiàn)在有一些Diffusion Model就比一些GAN類方法的生成效果更好。此外，這些生成任務(wù)的算法并不是孤立的，互相排斥的，他們之前也完全可以相互結(jié)合，如VAE和Flow結(jié)合 ，Autoregressive和Flow結(jié)合 等等。

GPT發(fā)展史

GPT-1

長久以來，NLP領(lǐng)域的發(fā)展一直不如CV領(lǐng)域，主要原因是因為CV領(lǐng)域有百萬級別且標(biāo)注質(zhì)量還不錯的分類數(shù)據(jù)集ImageNet。CV領(lǐng)域以往都是在ImageNet上預(yù)訓(xùn)練一個分類模型，然后把backbone finetune到下游的數(shù)據(jù)上。相比而言，NLP領(lǐng)域一直都沒有質(zhì)量高的大型的有監(jiān)督數(shù)據(jù)。此外，就算是同樣一個樣本，一張圖片上的信息量是要遠大于一句話，綜合這些因素造成NLP領(lǐng)域發(fā)展相對緩慢。事實上，是從GPT-1開始，NLP領(lǐng)域才開始應(yīng)用大規(guī)模的無監(jiān)督數(shù)據(jù)做預(yù)訓(xùn)練，并遷移到下游的。當(dāng)然本身這種做法在機器學(xué)習(xí)領(lǐng)域并不罕見，同樣的做法至少可以追溯到2012年word2vec時期，只不過當(dāng)時模型的參數(shù)量和數(shù)據(jù)的規(guī)模都沒有現(xiàn)在這么大。

GPT-1跟更早的工作ELMo 在idea上基本是一致的，相當(dāng)是一個數(shù)據(jù)量和計算量更大的ELMo，主要的區(qū)別一個是GPT-1的網(wǎng)絡(luò)結(jié)構(gòu)是多層transformer decoder如圖3所示，而ELMo是雙向LSTM，所以在網(wǎng)絡(luò)結(jié)構(gòu)上是完全沒有創(chuàng)新的，第二個區(qū)別在于GPT-1在finetune遷移到下游任務(wù)的時候，不需要專門為了特定任務(wù)設(shè)計網(wǎng)絡(luò)結(jié)果，而是直接在原有的base模型后接一個簡單的線性層即可。

圖3 GPT-1的transformer decoder

前面提到，GPT-1的訓(xùn)練過程分為兩段，第一段是一個無監(jiān)督訓(xùn)練，給定一個序列 ， 是序列里第 個詞匯，給定一個滑動窗口 ，第個詞則是由前個詞預(yù)測而來，符合前文介紹的Autoregressive模式。GPT-1使用標(biāo)準(zhǔn)語言建模來最大化該序列的概率：

在第二個階段，GPT-1利用半監(jiān)督訓(xùn)練去遷移到下游任務(wù)。也就是在第一階段的無監(jiān)督訓(xùn)練的目標(biāo)上，疊加下游的目標(biāo)，比如如果是文本分類，就是在GPT-1的base model后面再接一個線性層，然后疊加的是一個普通的分類loss。那至于為什么在finetune階段還需要把無監(jiān)督的loss加上，論文給的解釋是有兩個好處，一個是能加快訓(xùn)練收斂的速度，一個是能提高監(jiān)督模型的泛化能力。

順便再八卦一句，GPT-1的一作就是第一次把GAN方法在圖像生成上做出make sense結(jié)果的大名鼎鼎的DCGAN的作者，我現(xiàn)在依稀還記得，就是在2015年底，DCGAN橫空出世，大家都被論文披露的效果驚艷到了，然后徹底引爆了學(xué)術(shù)界對GAN的興趣，才有了從2016年開始乃至現(xiàn)在整個GAN領(lǐng)域的蓬勃發(fā)展。這個大佬同樣是里程碑式的text-image多模態(tài)模型CLIP的一作，甚至連openai提出的強化學(xué)習(xí)算法PPO里，都有這個大佬的參與。這個大佬的工作橫跨CV、NLP、強化學(xué)習(xí)，而且出品的都是頂級的工作，實在是令人驚嘆。希望能在未來的GPT-4（據(jù)說會是一個多模態(tài)模型）中，看到這個大佬在這三個領(lǐng)域的頂級表現(xiàn)。

GPT-2

在GPT-1和GPT-2這兩個工作之間，谷歌發(fā)布了Bert，更大的參數(shù)量、更大的數(shù)據(jù)量把GPT-1擊敗了。兩者主要的區(qū)別在于Bert用的是Transformer的編碼器，GPT-1用的是Transformer的解碼器，預(yù)訓(xùn)練的過程中，Bert利用的是MAE，GPT-1是Autoregressive。然而，在這個情況下，GPT-2并沒有變更技術(shù)路線，還是繼續(xù)用解碼器，用Autoregressive這種方式，然后把參數(shù)量提升到15億（Bert最大也就3.4億參數(shù)量），是前作GPT-1的10倍多，數(shù)據(jù)量也上升至百萬量級。其實可以看到，從Bert、GPT-2開始，基本宣告了大公司NLP領(lǐng)域軍備競賽，后面NLP領(lǐng)域就開始涌現(xiàn)出一個又一個大力出奇跡的模型。

不過GPT-2這篇文章貢獻點不只是在更大的參數(shù)量和更大的數(shù)據(jù)規(guī)模上，還關(guān)注了zero-shot learning。先前在NLP領(lǐng)域里，大家處理下游的任務(wù)，都是需要在新的任務(wù)上finetune的，而GPT-2是想不通過finetune，預(yù)訓(xùn)練的模型直接應(yīng)用在下游任務(wù)上。解決這個問題的辦法，是給下游的任務(wù)設(shè)計一個提示的方法 ，這個其實也算是prompt learning早期的應(yīng)用之一。比如說，對一個下游的語言翻譯任務(wù)來說，可以把輸入的序列做成這樣的形式?(translate to french, english text, french text)，這個三元組分別就代表了任務(wù)、輸入和輸出。如果要做閱讀理解，輸入序列可以長成這樣：(answer the question, document, question, answer)。然后通過模型自身強大的學(xué)習(xí)能力，去理解要去作這個下游任務(wù)。

GPT-3

GPT-2發(fā)布之后，就在社交媒體上引發(fā)了不小的熱議，一方面，GPT-2確實能生成一些似是而非的文章、假新聞，讓人分不清是不是這些內(nèi)容是不是由AI撰寫的，另一方面，在大部分的使用場景下，GPT-2還是會經(jīng)常胡說八道（這個特點一直延續(xù)到了ChatGPT）。拋開zero-shot的任務(wù)，GPT-2在常規(guī)的NLP任務(wù)上相比于先前的方法并沒有優(yōu)勢。可能zero-shot本身還是有點太極端了，所以GPT-3采用few-shot（每個任務(wù)10-100個有標(biāo)簽的樣本）的方式，想在常規(guī)任務(wù)上達到一個好的效果。由于GPT-3將模型的參數(shù)量提升到了1750億，batch size來到了320萬（有錢真好?。?，所以GPT-3的作者們在遷移到下游任務(wù)的時候依然不想去finetune整個網(wǎng)絡(luò)，不想重新訓(xùn)練。

圖4 GPT-3的fewshot learning的方法

如圖4所示，GPT-3在作zero-shot任務(wù)的時候，是先告知一個具體的任務(wù)，然后再給一個prompt，在作one-shot任務(wù)的時候，其實就是把已知的帶標(biāo)簽的樣本，放在輸入序列里，一起輸入模型，所以fewshot任務(wù)其實也就是把有限的這幾個有標(biāo)簽的數(shù)據(jù)全部放在輸入序列中。這樣一來，GPT-3可以不經(jīng)過任何的finetune訓(xùn)練就可以吸收這些fewshot樣本的知識，并且在推理的時候運用到。

GPT-3的效果相比于GPT-2來說提升太多了，所以其一經(jīng)發(fā)布就在社交媒體上引起軒然大波。又因為GPT-3不需要重新訓(xùn)練就可以遷移到下游任務(wù)上，所以才可以讓這么多用戶憑借自己的創(chuàng)意玩起來，寫新聞、搞翻譯、寫代碼都不在話下，GPT-3官網(wǎng)上已知的應(yīng)用都已經(jīng)有好幾百了。然而還是以前的老問題，GPT-3因為訓(xùn)練數(shù)據(jù)的問題，在性別、種族、宗教上都存在一些偏見，而且也沿襲了GPT系列的老傳統(tǒng)，總是喜歡胡說八道，只不過相比于前幾代，分辨GPT-3是不是在胡說八道的成本要大的多。

InstructGPT/ChatGPT

InstructGPT和ChatGPT是GPT-3和GPT-4之間的過渡模型，據(jù)Openai的披露，這兩個工作的不同一個是在采集數(shù)據(jù)的方式上，ChatGPT因為任務(wù)不同，所以需要收集多輪的對話數(shù)據(jù)。另一個區(qū)別是InstructGPT是在GPT3上微調(diào)，ChatGPT是在GPT3.5上微調(diào)，除此之外技術(shù)原理基本上是一致的。由于ChatGPT并沒有公開的論文，所以要搞懂ChatGPT，我們必須要先讀懂InstructGPT。

我們回顧一下GPT系列的訓(xùn)練目標(biāo)，是給定前面的一些單詞系列，預(yù)測下一個單詞。而用戶在實際的使用過程中，是想要通過人類的指示，得到安全、可信、有幫助的答案。從這個地方可以看到，GPT-系列的訓(xùn)練目標(biāo)，跟用戶的意圖是不匹配的。所以InstructGPT就是為了解決訓(xùn)練目標(biāo)和用戶意圖之間的alignment的問題。InstructGPT解決這個alignment的技術(shù)就是RLHF（reinforcement learning from human feadback）。

如圖5所示，InstructGPT的訓(xùn)練過程分為以下三個階段：

第一階段：訓(xùn)練監(jiān)督模型

讓人類標(biāo)注人員寫一些問題，比如“向一個小孩子解釋什么是月亮”，這種問題有些是標(biāo)注人員自己想的，有些是從已有的數(shù)據(jù)集里抽取的，也有一些是來自以往GPT3收到的問題請求。這些問題就構(gòu)成了prompt。然后再由人類標(biāo)注人員，給這些問題寫答案，這就構(gòu)建了一個有監(jiān)督的數(shù)據(jù)集。GPT-3使用這些有監(jiān)督的數(shù)據(jù)去finetune，獲得SFT模型, Supervised Fine-Tuning。此時的SFT模型在遵循指令/對話方面已經(jīng)優(yōu)于 GPT-3，但不一定符合人類偏好。

居中圖5 InstructGPT的訓(xùn)練流程

第二階段：訓(xùn)練獎勵模型（Reward Mode，RM）

reinforcement learning from human feadback，顧名思義，是用人類的反饋指導(dǎo)強化學(xué)習(xí)訓(xùn)練。然而，在強化學(xué)習(xí)里，非常重要的概念叫reward，強化學(xué)習(xí)的目標(biāo)就是為了達成最大的reward。這個reward本身是非常難定義的，把人類引入進來，在模型作生成的時候，人類對模型的輸出 做一個評價，可以當(dāng)作reward指導(dǎo)強化學(xué)習(xí)訓(xùn)練。但是事實上，不可能在模型訓(xùn)練的時候找一個人，專門盯著模型，模型輸出一個 就作一個評價，這種方式時間上效率實在是太低了。所以首先需要從人類的反饋中，先學(xué)習(xí)一個reward網(wǎng)絡(luò)。

具體的做法是在數(shù)據(jù)集中隨機抽取問題，然后對每一個問題都生成 個答案，在原文里 ，然后由人類對這9個答案進行排序。在得到9個答案的排序名次之后，抽取里面任意兩個答案用pair-wise ranking loss進行訓(xùn)練，這里的做法跟metric learning、檢索、計算美學(xué)里的完全一樣，基本的思路就是讓同一個問題下，排序靠前的回答得分更高，排序較低的回答得分更低。

值得注意的是，這個過程中只是用了3.3萬個人工標(biāo)注的數(shù)據(jù)，這個成本是相當(dāng)?shù)偷?，所以這個思路完全可以借鑒到大家自己的任務(wù)中去。

第三階段：采用PPO（Proximal Policy Optimization）結(jié)合無監(jiān)督的目標(biāo)進行優(yōu)化

如公式（3）所示，第一行是PPO的目標(biāo)，第二行是通用的語言模型目標(biāo)（根據(jù)前 個的詞預(yù)測當(dāng)前的詞）。PPO的目標(biāo)也由兩部組成，左邊那部分就是第二階段提到的reward model，目的是讓網(wǎng)絡(luò)輸出的回答的評分越高越好，右邊那部分是度量KL散度，讓優(yōu)化后的模型的輸出跟優(yōu)化前模型的數(shù)據(jù)盡可能接近，避免結(jié)果跑偏。

至此，已經(jīng)梳理完畢InstructGPT的核心技術(shù)，但是跟InstructGPT不同的是，ChatGPT有很強大的上下文語義的理解能力，可以進行質(zhì)量很高的多輪對話，這項能力背后的技術(shù)沒有在Openai的官方信息中得到體現(xiàn)，有人猜測這個技術(shù)可能跟谷歌的Chain of Thought有關(guān)。

參考文獻

[1]?https://www.searchenginejournal.com/openai-gpt-4/476759/.

[2] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

[3] Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[J]. 2018.

[4] Radford A, Wu J, Child R, et al. Language models are unsupervised multitask learners[J]. OpenAI blog, 2019, 1(8): 9.

[5] Brown T, Mann B, Ryder N, et al. Language models are few-shot learners[J]. Advances in neural information processing systems, 2020, 33: 1877-1901.

[6] Chen M, Radford A, Child R, et al. Generative pretraining from pixels[C]//International conference on machine learning. PMLR, 2020: 1691-1703.

[7] Ouyang L, Wu J, Jiang X, et al. Training language models to follow instructions with human feedback[J]. arXiv preprint arXiv:2203.02155, 2022.

[8]?https://openai.com/blog/chatgpt/.

[9] Wei J, Bosma M, Zhao V Y, et al. Finetuned language models are zero-shot learners[J]. arXiv preprint arXiv:2109.01652, 2021.

[10] Christiano P F, Leike J, Brown T, et al. Deep reinforcement learning from human preferences[J]. Advances in neural information processing systems, 2017, 30.文章來源地址http://www.zghlxwxcb.cn/news/detail-431009.html

到了這里，關(guān)于ChatGPT生成式算法及發(fā)展歷程的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！