在本章的前面，我們提到了類 GPT 模型、GPT-3 和 ChatGPT 等術(shù)語。現(xiàn)在讓我們仔細(xì)看看一般的 GPT 架構(gòu)。首先，GPT 代表生成式預(yù)訓(xùn)練轉(zhuǎn)換器，最初是在以下論文中引入的：
通過生成式預(yù)訓(xùn)練提高語言理解 （2018） 作者：Radford 等人，來自 OpenAI，http://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT-3 是該模型的放大版本，具有更多參數(shù)并在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練。最初的 ChatGPT 模型是通過使用 OpenAI 的 InstructGPT 論文中的方法在大型指令數(shù)據(jù)集上微調(diào) GPT-3 而創(chuàng)建的，我們將在第 8 章“使用人類反饋進(jìn)行微調(diào)以遵循指令”中更詳細(xì)地介紹。正如我們在前面的圖 1.6 中看到的，這些模型是稱職的文本完成模型，可以執(zhí)行其他任務(wù)，例如拼寫更正、分類或語言翻譯。這實(shí)際上非常了不起，因?yàn)?GPT 模型是在相對簡單的下一個單詞預(yù)測任務(wù)上預(yù)訓(xùn)練的，如圖 1.7 所示。
圖 1.7 在 GPT 模型的下一個單詞預(yù)訓(xùn)練任務(wù)中，系統(tǒng)通過查看前面的單詞來學(xué)習(xí)預(yù)測句子中即將到來的單詞。這種方法有助于模型理解單詞和短語在語言中通常如何組合在一起，從而形成可應(yīng)用于各種其他任務(wù)的基礎(chǔ)。
文章來源：http://www.zghlxwxcb.cn/news/detail-813844.html
下一個單詞預(yù)測任務(wù)是自我監(jiān)督學(xué)習(xí)的一種形式，是自我標(biāo)記的一種形式。這意味著我們不需要顯式收集訓(xùn)練數(shù)據(jù)的標(biāo)簽，但可以利用文章來源地址http://www.zghlxwxcb.cn/news/detail-813844.html
到了這里，關(guān)于05. 深入理解 GPT 架構(gòu)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
