一、內(nèi)容簡(jiǎn)介

Transformer正在顛覆AI領(lǐng)域。市面上有這么平臺(tái)和Transformer模型。本書將引導(dǎo)你使用Hugging Face從頭開始預(yù)訓(xùn)練一個(gè)RoBERTa模型，包括構(gòu)建數(shù)據(jù)集、定義數(shù)據(jù)整理器以及訓(xùn)練模型等。將引領(lǐng)你進(jìn)入Transformer的世界，將講述不同模型和平臺(tái)的優(yōu)勢(shì)，指出如何消除模型的缺點(diǎn)和問(wèn)題。

《基于GPT-3、ChatGPT、GPT-4等Transformer架構(gòu)的自然語(yǔ)言處理》分步展示如何微調(diào)GPT-3等預(yù)訓(xùn)練模型。研究機(jī)器翻譯、語(yǔ)音轉(zhuǎn)文本、文本轉(zhuǎn)語(yǔ)音、問(wèn)答等NLP任務(wù)，并介紹解決NLP難題的技術(shù)，甚至幫助你應(yīng)對(duì)假新聞焦慮(詳見第13章)。

從書中可了解到，諸如OpenAI的高級(jí)平臺(tái)將Transformer擴(kuò)展到語(yǔ)言領(lǐng)域、計(jì)算機(jī)視覺領(lǐng)域，并允許使用DALL-E 2、ChatGPT和GPT-4生成代碼。通過(guò)本書，你將了解到Transformer的工作原理以及如何實(shí)施Transformer來(lái)決NLP問(wèn)題。主要內(nèi)容總結(jié)如下：

• 了解用于解決復(fù)雜語(yǔ)言問(wèn)題的新技術(shù)

• 將GPT-3與T5、GPT-2和基于BERT的Transformer的結(jié)果進(jìn)行對(duì)比

• 使用TensorFlow、PyTorch和GPT-3執(zhí)行情感分析、文本摘要、非正式語(yǔ)言分析、機(jī)器翻譯等任務(wù)

• 了解ViT和CLIP如何標(biāo)注圖像(包括模糊化)，并使用DALL-E從文本生成圖像

• 學(xué)習(xí)ChatGPT和GPT-4的高級(jí)提示工程機(jī)制

二、前言

2.1 Transformer 模型標(biāo)志著AI 新時(shí)代的開始

Transformer 是自然語(yǔ)言理解(Natural Language Understanding，NLU)的游戲規(guī)則改變者，NLU 是自然語(yǔ)言處理(Natural Language Processing，NLP)的一個(gè)子集。NLU已成為全球數(shù)字經(jīng)濟(jì)中AI 的支柱之一。

Transformer 模型標(biāo)志著AI 新時(shí)代的開始。語(yǔ)言基礎(chǔ)已成為語(yǔ)言建模、聊天機(jī)器人、個(gè)人助理、問(wèn)答、文本摘要、語(yǔ)音轉(zhuǎn)文本、情緒分析、機(jī)器翻譯等的支柱。社交網(wǎng)絡(luò)正在取代實(shí)體接觸，電子商務(wù)正在取代實(shí)體購(gòu)物，數(shù)字報(bào)紙、流媒體正在取代實(shí)體劇院，遠(yuǎn)程文檔咨詢正在取代實(shí)體訪問(wèn)，遠(yuǎn)程工作正在取代現(xiàn)場(chǎng)辦公，我們正在見證數(shù)百個(gè)領(lǐng)域的類似趨勢(shì)。如果沒(méi)有理解AI 語(yǔ)言，社會(huì)上使用網(wǎng)絡(luò)瀏覽器、流媒體服務(wù)和任何涉及語(yǔ)言的數(shù)字活動(dòng)都將非常困難。我們的社會(huì)從物理信息到海量數(shù)字信息的范式轉(zhuǎn)變迫使AI 進(jìn)入一個(gè)新時(shí)代。AI 已經(jīng)發(fā)展到數(shù)十億級(jí)參數(shù)模型，以應(yīng)對(duì)萬(wàn)億級(jí)單詞數(shù)據(jù)集的挑戰(zhàn)。

2.2 Transformer 架構(gòu)具有革命性和顛覆性

Transformer 架構(gòu)具有革命性和顛覆性，它打破了過(guò)往RNN 和CNN 的主導(dǎo)地位。BERT 和GPT 模型放棄了循環(huán)網(wǎng)絡(luò)層，使用自注意力機(jī)制取而代之。Transformer 模型優(yōu)于RNN 和CNN。這是AI 歷史上劃時(shí)代的重大變化。Transformer 編碼器和解碼器包含單獨(dú)訓(xùn)練的注意力頭(attention head)，并能使用GPU、TPU 等尖端硬件進(jìn)行并行化。注意力頭可以使用GPU 運(yùn)行，從而為十億級(jí)參數(shù)模型和即將出現(xiàn)的萬(wàn)億級(jí)參數(shù)模型打開大門。OpenAI 在一臺(tái)具有10 000個(gè)GPU和285 000 個(gè)CPU 內(nèi)核的超級(jí)計(jì)算機(jī)上訓(xùn)練出具有1750 億個(gè)參數(shù)的GPT-3 Transformer 模型。隨著數(shù)據(jù)量的不斷增長(zhǎng)，訓(xùn)練AI 模型需要的規(guī)模也越來(lái)越大。Transformer 模型為參數(shù)驅(qū)動(dòng)的AI 開啟了新時(shí)代。我們需要大量參數(shù)進(jìn)行學(xué)習(xí)，才能學(xué)習(xí)到由數(shù)以億計(jì)的單詞組合的數(shù)據(jù)集。

2.3 Google BERT 和OpenAI GPT-3 等Transformer 模型將AI 提升到另一個(gè)層次

• Transformer 可以執(zhí)行數(shù)百項(xiàng)它們沒(méi)有接受過(guò)訓(xùn)練的NLP 任務(wù)。

• Transformer 還可通過(guò)將圖像視為單詞序列來(lái)學(xué)習(xí)圖像分類和重構(gòu)圖像。本書將介紹尖端的計(jì)算機(jī)視覺Transformer，如Vision Transformer(ViT)、CLIP 和DALL-E。

• 基礎(chǔ)模型是指經(jīng)過(guò)充分訓(xùn)練的、不需要微調(diào)即可執(zhí)行數(shù)百項(xiàng)任務(wù)的Transformer模型。這種規(guī)模的基礎(chǔ)模型是我們?cè)谶@個(gè)海量信息時(shí)代所需的工具。

想想每天需要多少人來(lái)控制社交網(wǎng)絡(luò)上發(fā)布的數(shù)十億條消息的內(nèi)容，以便在提取所包含的信息之前確定是否合法和合乎道德。想想每天在網(wǎng)絡(luò)上發(fā)布的數(shù)百萬(wàn)頁(yè)文字需要多少人來(lái)翻譯?；蛘呦胂笠幌?，如果要人工對(duì)每分鐘多達(dá)數(shù)百萬(wàn)條消息進(jìn)行控制需要多少人力資源！想想將每天在網(wǎng)絡(luò)上發(fā)布的所有大量流媒體轉(zhuǎn)換為文字需要多少人力資源。想想為不斷出現(xiàn)的數(shù)十億幅在線圖像生成AI 圖像字幕需要多少人力資源。

2.4 本書將帶給你的“芝士”

本書將帶領(lǐng)你開發(fā)代碼和設(shè)計(jì)提示(這是一項(xiàng)控制Transformer 模型行為的新的“編程”技能)。每一章都會(huì)使用Python、PyTorch 和TensorFlow 從頭開始講授語(yǔ)言理解的關(guān)鍵方面。你將學(xué)習(xí)原始Transformer、Google BERT、OpenAI GPT-3、T5 和其他幾個(gè)模型的架構(gòu)。最后一章將在前面16 章所學(xué)知識(shí)的基礎(chǔ)上，展示ChatGPT 和GPT-4 的增強(qiáng)能力。你將學(xué)會(huì)如何微調(diào)Transformer，如何從頭開始訓(xùn)練模型，如何使用強(qiáng)大的API。Facebook、Google、Microsoft 和其他大型科技公司提供了大量數(shù)據(jù)集供我們探索。你會(huì)密切關(guān)注市場(chǎng)上對(duì)語(yǔ)言理解的需求，例如媒體、社交媒體和研究論文等領(lǐng)域。在數(shù)百項(xiàng)AI 任務(wù)中，我們需要總結(jié)大量的研究數(shù)據(jù)，為各個(gè)領(lǐng)域翻譯文件，并出于倫理和法律原因掃描所有社交媒體帖子。整本書將使用Python、PyTorch 和TensorFlow 進(jìn)行實(shí)戰(zhàn)。你將首先學(xué)習(xí)AI 語(yǔ)言理解神經(jīng)網(wǎng)絡(luò)模型的要素，然后學(xué)習(xí)如何探索和實(shí)現(xiàn)Transformer。本書旨在為讀者提供在這個(gè)顛覆性的AI 時(shí)代中，有效開發(fā)語(yǔ)言理解關(guān)鍵方面所需的Python 深度學(xué)習(xí)知識(shí)和工具，呈現(xiàn)成為工業(yè) 4.0 AI 專家所需要的新技能。

2.5 本書面向的讀者

• 熟悉Python 編程的深度學(xué)習(xí)和NLP 從業(yè)者。

• 數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家，他們希望了解AI 語(yǔ)言理解，從而完成越來(lái)越多的語(yǔ)言驅(qū)動(dòng)的功能。

三、本書內(nèi)容簡(jiǎn)介

3.1 第一章

“Transformer 模型介紹”從較高層次解釋什么是Transformer 模型。我們將研究Transformer 生態(tài)系統(tǒng)和基礎(chǔ)模型的特性。該章重點(diǎn)介紹許多可用的平臺(tái)以及工業(yè)4.0 AI 專家的發(fā)展歷程。

3.2 第二章

“Transformer 模型架構(gòu)入門”通過(guò)回顧NLP 的背景，講述了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)深度學(xué)習(xí)架構(gòu)是如何演變?yōu)門ransformer 架構(gòu)的。我們將通過(guò)Google Research 和Google Brain 的作者們獨(dú)創(chuàng)的“注意力機(jī)制就是一切(Attention Is All You Need)”的方法來(lái)分析Transformer 的架構(gòu)。將描述Transformer 的理論，并通過(guò)Python 實(shí)踐來(lái)講解多頭注意力子層是如何工作的。通過(guò)本章的學(xué)習(xí)，你將理解Transformer 的原始架構(gòu)，從而為后續(xù)章節(jié)探索Transformer多種變體和用法打下良好基礎(chǔ)。

3.3 第三章

微調(diào)BERT 模型”基于原始Transformer 的架構(gòu)進(jìn)行擴(kuò)展。BERT(Bidirectional Encoder Representations from Transformers)向你展示了一種理解NLP 世界的新方式。與通過(guò)分析過(guò)去序列來(lái)預(yù)測(cè)未來(lái)序列不同，BERT 關(guān)注整個(gè)序列！首先介紹BERT 架構(gòu)的關(guān)鍵創(chuàng)新，然后通過(guò)在Google Colab 筆記本中逐步執(zhí)行每個(gè)步驟來(lái)微調(diào)一個(gè)BERT模型。與人類一樣，BERT 可以學(xué)習(xí)任務(wù)并執(zhí)行其他新任務(wù)，而不需要從頭學(xué)習(xí)。

3.4 第四章

從頭開始預(yù)訓(xùn)練RoBERTa 模型”使用Hugging Face PyTorch 模塊從頭構(gòu)建一個(gè)RoBERTa Transformer 模型。這個(gè)Transformer 模型既類似于BERT，又類似于DistilBERT。首先，我們將使用自定義數(shù)據(jù)集從頭訓(xùn)練一個(gè)詞元分析器。然后將使用訓(xùn)練好的Transformer 運(yùn)行下游的掩碼語(yǔ)言建模任務(wù)。

3.5 第五章

“使用Transformer 處理下游NLP 任務(wù)”揭示了Transformer 模型在下游NLP 任務(wù)中的神奇之處。我們可以微調(diào)預(yù)訓(xùn)練Transformer 模型以執(zhí)行一系列NLP 任務(wù)，如BoolQ、CB、MultiRC、RTE、WiC 等在GLUE 和SuperGLUE 排行榜上占據(jù)主導(dǎo)地位的NLP 任務(wù)。將介紹Transformer 的評(píng)估過(guò)程、任務(wù)、數(shù)據(jù)集和評(píng)估指標(biāo)。然后將使用Hugging Face 的Transformer 流水線處理一些下游任務(wù)。

3.6 第六章

機(jī)器翻譯”講述什么是機(jī)器翻譯，并討論如何從依賴人類翻譯的基準(zhǔn)轉(zhuǎn)向使用機(jī)器翻譯的方法，從而幫助讀者理解如何構(gòu)建機(jī)器翻譯系統(tǒng)并進(jìn)行進(jìn)一步的研究和開發(fā)。然后，我們將預(yù)處理來(lái)自歐洲議會(huì)的WMT 法英數(shù)據(jù)集。機(jī)器翻譯需要精確的評(píng)估方法，這一章將講述BLEU 評(píng)分方法。最后，我們將使用Trax 實(shí)現(xiàn)一個(gè)Transformer 機(jī)器翻譯模型。

3.7 第七章

“GPT-3”探索了OpenAI GPT-2 和GPT-3 Transformer 的許多方面。首先研究OpenAI GPT 模型的架構(gòu)，解釋GPT-3 引擎。然后將運(yùn)行一個(gè)GPT-2 345M 參數(shù)模型，并與之交互生成文本。接著將講述GPT-3 playground 的實(shí)際應(yīng)用，使用GPT-3模型運(yùn)行NLP 任務(wù)，并將結(jié)果與GPT-2 進(jìn)行比較。

3.8 第八章

“文本摘要(以法律和財(cái)務(wù)文檔為例)”介紹T5 Transformer 模型的概念和架構(gòu)。我們將使用Hugging Face 初始化一個(gè)T5 模型進(jìn)行文本摘要。將使用T5 模型匯總各種文本，然后探索應(yīng)用于Transformer 的遷移學(xué)習(xí)方法的優(yōu)點(diǎn)和局限性。最后，將使用GPT-3 將一些公司法律文本匯總為小學(xué)二年級(jí)學(xué)生都能看懂的文本。

3.9 第九章

“數(shù)據(jù)集預(yù)處理和詞元分析器”分析詞元分析器的局限性，并介紹一些改進(jìn)數(shù)據(jù)編碼過(guò)程質(zhì)量的方法。首先構(gòu)建一個(gè)Python 程序，調(diào)查為什么一些單詞會(huì)被Word2Vector 詞元分析器省略或誤解，講述預(yù)訓(xùn)練詞元分析器的局限性。然后我們改進(jìn)了第8 章T5 模型生成的摘要，以展示詞元化過(guò)程方法仍然有很大的改進(jìn)空間。最后，將測(cè)試GPT-3 語(yǔ)言理解能力的極限。

3.10 第十章

“基于BERT 的語(yǔ)義角色標(biāo)注”探索Transformer 如何學(xué)習(xí)理解文本內(nèi)容。語(yǔ)義角色標(biāo)注(SRL)對(duì)人類來(lái)說(shuō)是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。Transformer 能夠產(chǎn)生令人驚訝的結(jié)果。我們將使用Google Colab 筆記本實(shí)現(xiàn)由Allen AI 研究所設(shè)計(jì)的基于BERT的Transformer 模型。還將使用該研究所的在線資源來(lái)可視化SRL 的輸出。最后將講述SRL 的局限性和適用范圍。

3.11 第十一章

“使用Transformer 進(jìn)行問(wèn)答”展示Transformer 如何學(xué)習(xí)推理。Transformer能夠理解文本、故事，并進(jìn)行推理。我們將看到如何通過(guò)添加NER 和SRL 來(lái)增強(qiáng)問(wèn)答過(guò)程。我們將介紹如何設(shè)計(jì)并實(shí)現(xiàn)一個(gè)問(wèn)題生成器；它可以用于訓(xùn)練Transformer模型，也可以單獨(dú)使用來(lái)生成問(wèn)題。

3.12 第十二章

“情緒分析”展示了Transformer 如何改進(jìn)情緒分析。我們將使用斯坦福情緒樹庫(kù)對(duì)復(fù)雜句子進(jìn)行分析，然后挑戰(zhàn)幾個(gè)Transformer 模型，看看是否能夠理解序列的結(jié)構(gòu)及其邏輯形式。我們將看到如何使用Transformer 進(jìn)行預(yù)測(cè)，并根據(jù)情緒分析的輸出觸發(fā)不同的行為。該章最后還列舉一些使用GPT-3 的案例。

3.13 第十三章

“使用Transformer 分析假新聞”深入講述假新聞這個(gè)熱門話題，以及Transformer 如何幫助我們理解每天在網(wǎng)絡(luò)上看到的在線內(nèi)容的不同觀點(diǎn)。每天有數(shù)十億條消息、帖子和文章通過(guò)社交媒體、網(wǎng)站和各種實(shí)時(shí)通信方式發(fā)布在網(wǎng)絡(luò)上。我們將利用前幾章介紹的技術(shù)來(lái)分析關(guān)于氣候變化和槍支管控的辯論。我們將討論在合理懷疑的基礎(chǔ)上如何確定什么可以被視為假新聞，以及什么新聞仍然是主觀的道德和倫理問(wèn)題。

3.14 第十四章

“可解釋AI”通過(guò)可視化Transformer 模型的活動(dòng)來(lái)揭開Transformer 模型的面紗。我們將使用BertViz 來(lái)可視化注意力頭，并使用語(yǔ)言可解釋性工具(LIT)進(jìn)行主成分分析(PCA)。最后將使用LIME 通過(guò)字典學(xué)習(xí)來(lái)可視化Transformer。

3.15 第十五章

“從NLP 到計(jì)算機(jī)視覺”深入研究高級(jí)模型Reformer 和DeBERTa，并使用Hugging Face 運(yùn)行示例。Transformer 可將圖像視作單詞序列進(jìn)行處理。該章還將研究各種視覺Transformer 模型，如ViT、CLIP 和DALL-E；我們將使用計(jì)算機(jī)視覺任務(wù)測(cè)試它們，包括圖像生成。

3.16 第十六章

“AI 助理”講述了當(dāng)工業(yè)4.0(I4.0)達(dá)到成熟階段時(shí)，我們將主要與AI助理(Copilot)一起工作。AI 助理主要基于提示工程，所以該章首先列舉幾個(gè)非正式/正式英語(yǔ)提示工程的示例，使用GitHub Copilot 來(lái)輔助生成代碼。然后講述視覺Transformer 如何幫助NLP Transformer 可視化周圍的世界。最后將創(chuàng)建一個(gè)基于Transformer 的推薦系統(tǒng)，可將它應(yīng)用于數(shù)字人和元宇宙中！

3.17 第十七章

“ChatGPT 和GPT-4”在前幾章的基礎(chǔ)上，探索了OpenAI 最先進(jìn)的Transformer 模型ChatGPT 和GPT-4。將使用ChatGPT 建立對(duì)話式AI，并學(xué)習(xí)如何使用可解釋AI 解釋Transformer 的輸出。將探索GPT-4，并使用提示編寫一個(gè)k-means聚類程序。還將介紹一個(gè)高級(jí)用例。最后將使用DALL-E 2 來(lái)創(chuàng)建和生成圖像的變體。

四、粉絲福利

沒(méi)中獎(jiǎng)的小伙伴，如果對(duì)此書感興趣可以點(diǎn)擊下方的鏈接自行購(gòu)買！基于GPT-3、ChatGPT、GPT-4等Transformer架構(gòu)的自然語(yǔ)言處理。

今天的分享到這里就結(jié)束啦！如果覺得文章還不錯(cuò)的話，可以三連支持一下，春人的主頁(yè)還有很多有趣的文章，歡迎小伙伴們前去點(diǎn)評(píng)，您的支持就是春人前進(jìn)的動(dòng)力！

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-788809.html

到了這里，關(guān)于【書籍分享 ? 第一期】基于GPT-3、ChatGPT、GPT-4等Transformer架構(gòu)的自然語(yǔ)言處理的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！