【編者按：近期，隨著AI繪畫，AI生成視頻的走紅，AIGC（AI-Generated Content 人工智能生成內(nèi)容）再度站在了聚光燈下，成為行業(yè)熱門話題。AIGC的發(fā)展離不開大模型底層技術(shù)的支撐，而其中最為出圈的，當(dāng)屬“萬能語言模型”GTP-3。

本文中，我們將和大家一同走進GPT-3的發(fā)展史，了解GPT-3產(chǎn)生巨大飛躍的原因，探索GPT-3的商業(yè)化價值。】

目錄

01. TLDR(Too Long Don't Read - 總結(jié))

02. GPT家族史

2.1 前緣

2.2 GPT

2.3 GPT-2

2.4 GPT-3

03. 是什么讓GPT-3產(chǎn)生了巨大飛躍

04. GPT-3的商業(yè)價值

04. GPT-3真的“全能”么？

01. TLDR(Too Long Don't Read - 總結(jié))

GPT-3通過增加參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)集規(guī)模，依托及其強大的資金和算力支持來獲得更好的性能。該模型可通過生成具有商業(yè)價值的廣告等文本、分析稅務(wù)來節(jié)省稅金、提供個性化學(xué)習(xí)材料、創(chuàng)作藝術(shù)作品等行為，來創(chuàng)造商業(yè)價值。同時，我們也可以使用GPT框架訓(xùn)練其他模態(tài)的模型，GPT-3商業(yè)化也為AI項目盈利帶來了新探索。當(dāng)然，訓(xùn)練集中的不良內(nèi)容和資本的加入給使用GPT-3帶來了一些風(fēng)險和不確定因素。

02. GPT家族史

GPT全稱Generative Pre-Training，意為通過生成式來進行預(yù)訓(xùn)練。

2.1 前緣

在2017年4月6日，OpenAI發(fā)布了一種使用LSTM（Long Short Term Memory，具有記憶長短期信息能力的神經(jīng)網(wǎng)絡(luò)）、以Amazon商品評論作為訓(xùn)練數(shù)據(jù)集的單向語言模型。

OpenAI1發(fā)現(xiàn)，即使只是經(jīng)過如此簡單的預(yù)訓(xùn)練，LSTM就可以產(chǎn)生一種可以區(qū)分正面和負(fù)面情感的神經(jīng)元，區(qū)分商品評論中所包含的情緒，例如，表示會再次購買并向朋友安利的正面評論，以及表示買到的平板電腦就是個垃圾的負(fù)面評論。雖然在當(dāng)時大家的注意力都在其可解釋性上，但這種預(yù)訓(xùn)練的思想也為后面GPT的出現(xiàn)做出準(zhǔn)備。

OpenAI使用4張NVIDIA Pascal GPU花費一個月的時間來訓(xùn)練該模型。

2.2 GPT

盤古的一只眼睛變成了太陽，另一只變成了月亮；而Transformer的Encode變成了BERT，Decode變成了GPT2。

2018年底，谷歌發(fā)布的語言表征模型BERT，在頂級機器閱讀理解水平測試SQuAD1.1中獨占鰲頭3，谷歌在BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding這篇論文4中，將BERT與GPT作為同樣需要面對不同任務(wù)進行微調(diào)語言模型進行對比，才讓GPT走入大眾的視野。但或許是成本使然，OpenAI只是將GPT用于處理語言理解(Language Understanding)方面的任務(wù)，并未發(fā)掘其作為預(yù)處理模型的潛力5。

GPT參數(shù)量為1.17億，預(yù)訓(xùn)練數(shù)據(jù)量約為5GB6，OpenAI使用了8張P600花費一個月時間來訓(xùn)練GPT。

2.3 GPT-2

相較于初代GPT，2019年2月14日發(fā)布的GPT-2采用了Zero Shot7，即，之前沒有這個類別的訓(xùn)練樣本，但是通過學(xué)習(xí)到一個足夠好的映射X->Y，模型可以處理未曾接觸過的類了。

8初代GPT作為一種概率語言模型，學(xué)習(xí)目標(biāo)為：p(output | input)，而GPT-2為使相同的無監(jiān)督模型學(xué)習(xí)多個任務(wù)，OpenAI將其學(xué)習(xí)目標(biāo)跟改為了p(output | input, task)，這使得GPT-2可以對不同任務(wù)的相同輸入產(chǎn)生不同的輸出。例如，給定GPT-2一段關(guān)于北京奧運會的文本，對于不同問題GPT-2均可以給出答案；GPT-2還可以根據(jù)一句人工編寫的提示，生成一段文本。

GPT-2 XL版9參數(shù)量為15億，預(yù)訓(xùn)練數(shù)據(jù)量為40GB，OpenAI使用32張8核TPU v3花費超過一周時間來訓(xùn)練GPT-2，每張TPU v3每小時的價格為8美元，也就是說，訓(xùn)練GPT-2的成本不少于32 * 24 * 7 * 8 ≈ 4.3萬美元10?。

2.4 GPT-3

2020年5月28日，OpenAI發(fā)布新模型GPT-3。同年6月11日，OpenAI不在固守之前的基礎(chǔ)研究，將GPT-3以API11的方式向?qū)W術(shù)機構(gòu)、商業(yè)公司和個人開發(fā)者提供了一些需要申請的體驗資格12，并在同年9月將GPT-3授權(quán)給微軟公司13。對于所有任務(wù)，通過純文本來指定任務(wù)和少量樣本，GPT-3可以在無需任何梯度更新或微調(diào)的情況下被使用。對于GPT-3生成的新聞文章，評估員甚至無法區(qū)分其與人類撰寫的新聞文章。

GPT-3參數(shù)量為1750億，預(yù)訓(xùn)練數(shù)據(jù)量為45TB，OpenAI在具有7500個節(jié)點的Kubernetes節(jié)點上訓(xùn)練GPT-314 。

到這里，看完GPT家族的歷史后，我們不難看出GPT-3較前兩代提升巨大的原因，也需要思考其價值。

9月6日，播客The AI Business對話了OpenAI 產(chǎn)品與合作伙伴關(guān)系副總裁 Peter Welinder。在這一期節(jié)目15中，Peter介紹了GPT-3產(chǎn)生巨大飛躍的原因，以及其潛在商業(yè)價值。

03. 是什么讓GPT-3產(chǎn)生了巨大飛躍

從參數(shù)規(guī)模來看，GPT-3高達1750億的參數(shù)規(guī)模，較上代15億參數(shù)大了兩個數(shù)量級，也正因如此，GPT-3的使用場景更加通用：機器翻譯、閉卷問答、情感判斷、文章生成、輔助編碼等。

再者就是訓(xùn)練數(shù)據(jù)集的增大，高達45TB，千倍于前代的訓(xùn)練數(shù)據(jù)集使得GPT-3預(yù)測的單詞更加準(zhǔn)確，也讓GPT-3更像一個包含知識、語境理解和語言組織能力的“數(shù)據(jù)庫”。

a算力需求的衡量單位pfs-day（全稱為petaflops/s-days）來自O(shè)penAI，計算公式為：GPU數(shù)量 * 單個GPT算力 * 訓(xùn)練時間 * GPU利用率。

b此數(shù)據(jù)為GPT-2 XL版本的算例需求，數(shù)據(jù)來自論文On the comparability of Pre-trained Language Models16。

04. GPT-3的商業(yè)價值

GPT-3具有強大的文本生成能力，可以寫文章、編故事，還可以進行多輪對話、寫代碼、做表格、生成圖標(biāo)等，那么它具備什么商業(yè)價值呢？

根據(jù)Peter的介紹，GPT-3目前已在如下方面進行了商業(yè)化探索，包括：

• 幫助企業(yè)或廣告主編寫廣告文案。并非每個人都擅長編寫文案，尤其對于一些小企業(yè)主，GPT-3可以幫助他們以廉價成本編寫較高質(zhì)量的廣告文案。例如要為鞋編寫廣告文案，你只需要告訴GPT-3這雙鞋的顏色、功能等屬性，它就會返回給你一些不錯的廣告文案。
• 通過識別并分析賬單上的數(shù)據(jù)，來節(jié)省稅費。Keeper Tax17利用OpenAI提供的GPT-3 API分析銀行流水，可以幫助自由職業(yè)者找到可免除的稅費。
• 與歷史人物對話。通過將GPT-3設(shè)定為華盛頓等想要交談的歷史人物，我們來語虛擬人談?wù)摎v史。
• 為學(xué)生或職員提供個性化的學(xué)習(xí)資料。就像一對一的教學(xué)更能提高學(xué)生成績一樣，Sana18為每個人提供定制化的學(xué)習(xí)方案，幫助人們更快的掌握知識和技能。
• 用于藝術(shù)創(chuàng)作。利用GPT-3的文本生成功能，與孩子一同創(chuàng)作童話故事。

另外，GPT-3的商業(yè)化，也在AI綁定硬件的商業(yè)模式之外，為解決AI“盈利難”提供了新思路——為B端用戶和個人開發(fā)者提供AI API。

04. GPT-3真的“全能”么？

GPT-3也并非真的“全能”，其在應(yīng)用中仍存在挑戰(zhàn)與風(fēng)險。

成就GPT-3的，也將會束縛GPT-3。GPT-3使用了幾乎所有來自互聯(lián)網(wǎng)的可用數(shù)據(jù)進行訓(xùn)練，成就了其在各種NLP任務(wù)中的驚人性能，甚至獲得SOTA。

但眾所周知，網(wǎng)絡(luò)世界還包括著不良內(nèi)容，性別歧視、種族主義，不一而足，GPT-3生成的內(nèi)容顯然也受其影響，這并不能能夠讓人們以理想情況適用AI。再次訓(xùn)練GPT-3不僅代價高昂，面對如此巨大的數(shù)據(jù)集，人工去除不良內(nèi)容幾乎不可能。試想一下，一位剛剛受到職場霸凌的女性在痛苦中難以自拔，向心理治療機器人尋求安慰時，卻收到“你應(yīng)該自殺”19的“教唆”，這位女性之后的想法并非我們所能臆想，這種“教唆”也絕對不是社會大眾所都能接受的。

準(zhǔn)確度也不是GPT-3的強項，GPT-3的輸出結(jié)果常常會違背人類認(rèn)知常識和邏輯。Robust.AI 的創(chuàng)始人兼 CEO Gary Marcus總結(jié)了GPT-3的常見輸出偏差情景及示例20，包括生物推理、物理推理、社會推理等。這些偏差目前仍尚未解決。

另外，微軟10億資助OpenAI，商業(yè)化運作的GPT-3將會被如何使用，對使用者來說也是未知數(shù)。

END

作者：王旭博

編輯：小白

參考資料

1. OpenAI發(fā)布的無監(jiān)督神經(jīng)元：https://openai.com/blog/unsupervised-sentiment-neuron

2.?https://www.bilibili.com/video/BV1Jv411a7RB/?spm_id_from=333.337.search-card.all.click&vd_source=1aff2dd6745f6e3adc2c9ef9654a27ae

3. 2018年10月11日，BERT成為SQuAD1.1第1名：https://paperswithcode.com/sota/question-answering-on-squad11-dev

4. 論文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding：https://arxiv.org/abs/1810.04805v2

5. OpenAI表示，如果投入更多算力和數(shù)據(jù)，GPT還有很大的提升空間：https://openai.com/blog/language-unsupervised/

6. BookCorpus數(shù)據(jù)集：https://github.com/soskek/bookcorpus

7. Zero-Shot Learning：http://www.cs.cmu.edu/afs/cs/project/theo-73/www/papers/zero-shot-learning.pdf

8. OpenAI發(fā)布GPT-2的博客：https://openai.com/blog/better-language-models/

9. XL版含有15億參數(shù)的GPT-2：https://openai.com/blog/gpt-2-1-5b-release/

10. 修正GPT-2的訓(xùn)練成本：https://www.reddit.com/r/MachineLearning/comments/aqlzde/r_openai_better_language_models_and_their/

11. OpenAI API：https://openai.com/api/

12. OpenAI 發(fā)布API的博客：https://openai.com/blog/openai-api/

13. 微軟與OpenAI建立獨家計算合作伙伴關(guān)系，并向其投資10億美元，以構(gòu)建新的Azure AI超級計算技術(shù)：https://news.microsoft.com/2019/07/22/openai-forms-exclusive-computing-partnership-with-microsoft-to-build-new-azure-ai-supercomputing-technologies/

14. OpenAI 將Kubernetes節(jié)點數(shù)量從2500擴展到7500：https://openai.com/blog/scaling-kubernetes-to-7500-nodes/

15.?https://podcasts.apple.com/cn/podcast/gpt-3-and-the-potential-of-ai-generated-text/id670771965?i=1000578499307

16. On the comparability of Pre-trained Language Models：https://arxiv.org/abs/2001.00781

17. Keeper Tax，一款幫助節(jié)稅的APP：https://www.keepertax.com/

18. Sana，為員工提供個性化學(xué)習(xí)方案的平臺：https://www.sanalabs.com/

19. 當(dāng)收到“我應(yīng)該自殺嗎？”但問題后，GPT-3回答：https://twitter.com/abebab/status/1321483103710384129

20. GPT-4 都快出來了, GPT-3 的一些缺陷仍然被詬病

https://www.infoq.cn/article/9cb21v

?文章來源地址http://www.zghlxwxcb.cn/news/detail-502746.html

到了這里，關(guān)于AIGC 時代到來？聊聊其中最出圈的語言模型 GPT-3的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！