更多文章歡迎關(guān)注公眾號: stackoveriow

2023年是真正意義上的AI之年，因?yàn)镃hatGPT

2007年，iPhone開啟了智能手機(jī)時代，2023年，我們迎來了人工智能時代，我們正處于歷史的大轉(zhuǎn)折點(diǎn)上，這也許是啟蒙運(yùn)動級別的思想和社會轉(zhuǎn)折，工業(yè)革命級別的生產(chǎn)和生活轉(zhuǎn)折。繼22年12月份從GPT-3到CHAT-GPT之后，stackoverflow 第2次來談?wù)凜hatGPT，準(zhǔn)確地說，是近來學(xué)習(xí)ChatGPT的心得體會

OpenAI的賬號是去年12月份申請的，距今已經(jīng)快5個月了，18刀確實(shí)沒有消耗完，然而請求不可用了，因?yàn)橘~號資金過期。由于國內(nèi)網(wǎng)絡(luò)和代理的緣故，登陸總是 “Oops”和 “You are being rate limited”。升級Plus賬戶，即便用了支持外幣的卡，也有 “Your card has been declined” 的問題，索性直接白嫖了大學(xué)同學(xué)的賬號，這里對同學(xué)表示忠心的感謝，希望他在日不落帝國的博士之路一帆風(fēng)順

一些名詞解釋

ChatGPT相關(guān)的有哪些專有名詞需要了解呢？下面是我個人的總結(jié)：

GPT：

Generative Pre-trained Transformer 中文翻譯為：生成式預(yù)訓(xùn)練變換器，其基于transformer架構(gòu)的、經(jīng)過預(yù)訓(xùn)練的、生成性的模型。其發(fā)展歷史，參考從GPT-3到CHAT-GPT

AGI：

通用人工智能（artificial general intelligence），看到AGI翻譯成了通用人工智能，直譯AGI應(yīng)該是人工通用智能，我還特意問了一個ChatGPT這個問題?？梢哉J(rèn)為是領(lǐng)域內(nèi)專有名詞

現(xiàn)在正在訓(xùn)練的是GPT-5，它被認(rèn)為肯定可以通過圖靈測試，達(dá)到通用人工智能的水準(zhǔn)。AGI的一個特點(diǎn)是貴！據(jù)Morgan Stanley分析，正在訓(xùn)練之中的GPT-5，用了25000塊NVIDIA最新的GPU，這種GPU每塊價值一萬刀

LLM：

大語言模型（Large Language Model），大語言模型是指一類基于深度學(xué)習(xí)技術(shù)的自然語言處理模型，它可以自動學(xué)習(xí)語言的規(guī)則和結(jié)構(gòu)，從而生成文本、回答問題等任務(wù)，GPT-3是最出名的大語言模型

多模態(tài)：

第一次了解這個概念的時候，還在念書，是快手的一位技術(shù)大佬介紹他們的推薦引擎是支持多模態(tài)的，這里可以認(rèn)為文本是一種模態(tài)，音頻是一種模態(tài)，視頻是一種模態(tài)。ChatGPT-3是你只能給它輸入文字，多模態(tài)是你可以給它輸入圖片、聲音和視頻，它的原理大概是先把一切媒體都轉(zhuǎn)化成語言，再用語言模型處理

涌現(xiàn)：

英文emerge ，當(dāng)一個系統(tǒng)的復(fù)雜到一定程度時，就會發(fā)生超越系統(tǒng)元素簡單疊加的，自組織的現(xiàn)象，一個螞蟻很笨，可是蟻群非常的聰明，市場中的每個人都是自由獨(dú)立的，可是整個市場好像有某種順序，神經(jīng)元是簡單的，但是大腦卻產(chǎn)出了意識…語言模型在參數(shù)量級突破了一定閾值（千億）后，開悟了（就像王陽明龍場驛站開悟了那樣），涌現(xiàn)出很多能力，工程師們及業(yè)界大佬們也沒有弄明白模型涌現(xiàn)出這些能力的內(nèi)部機(jī)制

思維鏈：

模型涌現(xiàn)新能力的關(guān)鍵機(jī)制，叫做思維鏈（Chain-of-Thought），思維鏈就是當(dāng)模型聽到一個東西之后，它會噼里啪啦地自說自話，把它知道的有關(guān)這個東西的各種事情一個個說出來（每個詞都有對應(yīng)概率，可認(rèn)為是模型思考的過程），然后根據(jù)思維鏈結(jié)果產(chǎn)出最終結(jié)果（有點(diǎn)二階導(dǎo)數(shù)的味道了）。只要我們預(yù)設(shè)好每次模型先思考，在回答問題，她就能運(yùn)用思維鏈，也就有了思考能力

CNN

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）：是一種深度學(xué)習(xí)算法，CNN可以通過卷積和池化操作，從圖像中有效地提取出特征，然后通過全連接層進(jìn)行分類或回歸等任務(wù)，主要用于圖像和視頻處理

RNN

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)，是一種能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。其結(jié)構(gòu)類似于多個神經(jīng)網(wǎng)絡(luò)單元，按照時間序列連接起來的模型。每個時間步，當(dāng)前輸入和上一時刻的輸出會一起輸入給網(wǎng)絡(luò)，生成當(dāng)前時刻的輸出

傳統(tǒng)的RNN存在“梯度消失”和“梯度爆炸”等問題，導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練和優(yōu)化，可以通過長短時記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（GRU）來解決

GNN

生成性神經(jīng)網(wǎng)絡(luò)（Generative Neural Networks）的特點(diǎn)在于生成二字，生成新的數(shù)據(jù)樣本，如圖像、文本、音頻。生成性神經(jīng)網(wǎng)絡(luò)不僅可以對已有數(shù)據(jù)進(jìn)行分類和預(yù)測，還可以生成新的數(shù)據(jù)，類似于人類的創(chuàng)造力。應(yīng)用在如圖像生成、文本生成、音頻生成等領(lǐng)域

生成性神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法是用兩個具有互補(bǔ)學(xué)習(xí)目標(biāo)的網(wǎng)絡(luò)相互對抗：一個叫生成器，負(fù)責(zé)生成內(nèi)容，一個叫判別器，負(fù)責(zé)判斷內(nèi)容的質(zhì)量，二者隨著訓(xùn)練互相提高

Transformer架構(gòu)：

Transformer是一種基于自注意力機(jī)制（self-attention mechanism）的神經(jīng)網(wǎng)絡(luò)架構(gòu)，主要用于自然語言處理任務(wù)，例如機(jī)器翻譯、文本分類、語音識別

Transformer的創(chuàng)新之處在于它不依賴于傳統(tǒng)的CNN和RNN，而是通過自注意力機(jī)制對輸入序列進(jìn)行編碼和解碼，并通過多頭自注意力機(jī)制來處理序列。深入了解可以讀讀What Is ChatGPT Doing … and Why Does It Work?

自注意力機(jī)制

在自注意力機(jī)制（Self-Attention Mechanism）中，每個元素都可以通過計(jì)算與其他元素的相似度(如點(diǎn)積)，得到一個權(quán)重向量，該向量用于表示該元素在序列中的重要程度。通過引入自注意力機(jī)制，Transformer可以更好地捕捉序列中的長距離依賴關(guān)系，并在機(jī)器翻譯、文本分類、語音識別等任務(wù)中取得更好的效果

平行語料庫：

平行語料庫（Parallel Corpus）是指一種包含兩個或多個語言相對應(yīng)的句子或文本的數(shù)據(jù)集，這些句子或文本在語義上相似或相關(guān)，用于支持跨語言的自然語言處理任務(wù)。比如，在一份英漢平行語料庫中，一句英文句子可能對應(yīng)著一句漢語翻譯

和ChatGPT相關(guān)的牛人，也是需要我們了解的，這里僅介紹2位

排行榜第一位：OpenAI的CEO山姆·阿爾特曼（Sam Altman），沒別的，就單單OpenAI CEO的這個title

排行榜第二位：wolfram網(wǎng)站的創(chuàng)始人：stephen wolfram，網(wǎng)傳他是世上目前活著的最聰明的人TOP3，而且不知道剩下的2個人是誰，目前LLVM無法精確處理一些數(shù)據(jù)計(jì)算問題，但是可以通過 Tool Manipulation的方式 引入 wolfram 來解決

stephenwolfram 寫的文章 what-is-chatgpt-doing-and-why-does-it-work 是深入了解ChatGPT的必讀文章

一些問答

無論是ChatGPT還是近期各大公司發(fā)布的AI，都是基于大型語言模型的（至少他們是這么號稱的），那么語言模型的發(fā)展過程是怎么樣的呢？

在 A Survey of Large Language Models 這篇paper中，將LM(Language Model) 語言模型的發(fā)展劃分了以下四個階段

1?? Statistical language models (SLM)，主要基于馬爾科夫假設(shè)（預(yù)測當(dāng)前文本的只參考前x個文本，類似條件概率）

2?? Neural language models (NLM)，基于神經(jīng)網(wǎng)絡(luò)的語言模型，如CNN，RNN

3?? Pre-trained language models (PLM)，基于并行化，自注意力機(jī)制的 Transformer架構(gòu)的語言模型，特點(diǎn)是 “pre-training”，”Fine-tuning“

4?? Large language models (LLM) ，在PLM的的基礎(chǔ)上發(fā)展而來，特點(diǎn)就是 大，特別大

AGI 通用人工智能 的出現(xiàn)會立即改造經(jīng)濟(jì)活動么？

一般不會立即改造經(jīng)濟(jì)活動，比如蒸汽機(jī)和電力，都是逐漸的改造社會的經(jīng)濟(jì)活動的。愛迪生1879年發(fā)明了電燈，但是過了20年，美國才有3%的家庭用上了電，1910年新工廠還是優(yōu)先采用蒸汽動力

以前的工廠用蒸汽動力都是一根蒸汽軸連接所有機(jī)器，蒸汽一開所有機(jī)器都開。改用電力之后，工廠發(fā)現(xiàn)如果每臺機(jī)器都有獨(dú)立的電源，那就完全可以用到哪臺開哪臺，這豈不是更省錢嗎？這并不容易，因?yàn)檫@意味著你必須對機(jī)器進(jìn)行改造，什么機(jī)床、鉆頭、金屬切割器、壓力機(jī)，都得根據(jù)獨(dú)立電源重新設(shè)計(jì)。這是需要時間的，所以電力并沒有立即改造經(jīng)濟(jì)活動

未來，AI作為社會新的通用基礎(chǔ)設(shè)施，改造經(jīng)濟(jì)活動也是需要時間的

什么是少樣本學(xué)習(xí)？

所謂少樣本學(xué)習(xí)（Few-Shot Learning），就是你給大語言模型一兩個例子，它就能學(xué)會你的意思并且可以提供相似的輸出。少樣本學(xué)習(xí)是語言模型大了之后，涌現(xiàn)出來的能力，模型越大（參數(shù)越多）少樣本學(xué)習(xí)能力越強(qiáng)

進(jìn)行少樣本學(xué)習(xí)會改變語言模型的參數(shù)么？

少樣本學(xué)習(xí)不是對模型訓(xùn)練的一部分。我們接觸到的模型都是已經(jīng)訓(xùn)練完畢的，參數(shù)已經(jīng)固定了。少樣本學(xué)習(xí)是這個模型的一個能力，是一種模仿，并不會改變模型本身。當(dāng)對話結(jié)束以后，模型就會忘記你出的例題

如果你的每次對話都能改變ChatGPT的參數(shù)，那這個模型豈不是太脆弱了（假設(shè)你每次喂得都是數(shù)據(jù)垃圾）

AI 的大規(guī)模應(yīng)用是讓普通人與精英的差距拉大了還是縮小了？

在很多方面是縮小了。最起碼，如今任何人都能很方便的找到很多專業(yè)問題的答案，ChatGPT把很多以前的所謂精英都變成了偽精英。一個混了個博士學(xué)位實(shí)則毫無本領(lǐng)的人，根本打不過一個頭腦靈活并且掌握了AI的人

普通人可以用ChatGPT干嘛？

首先我就是普通人，在ChatGPT中，我建立了4個Chat，分別是

1?? A-開發(fā)助手 : 主要用來處理平時的開發(fā)相關(guān)的問題，使用GPT輔助/分擔(dān)部分工作內(nèi)容，A是我的同事

2?? B-翻譯助手 ：這個主要是用來中英互譯的，聊天內(nèi)容可以回溯，昨天查詢的單詞，今天可以復(fù)習(xí)，是一個很好的英語學(xué)習(xí)助手，B是我的同學(xué)

3?? C-不明白助手 ：如果我有什么疑問，我都會向這個助手提問，他幾乎都是知無不言，言無不盡，C是我的老師

這種問答，對話的學(xué)習(xí)方式應(yīng)該是最原始的學(xué)習(xí)方式，在書籍沒有那么流行，沒有教程的年代（孔子和蘇格拉底那個年代），不就是這種學(xué)習(xí)方式么？

4?? D-Chat-Ideas-Bot-4 ：用來閑聊，和好想法的記錄及輔助創(chuàng)造，ABC3個助手都是基于GPT-3.5的，Plus版本response非?？?，D助手是GPT-4的，反應(yīng)遲鈍，所以特定場景才亮這把劍

ABCD只是對日常的使用場景進(jìn)行了一個簡單的分類，聊天問答，其實(shí)是ChatGPT 的最淺層能力，比這更重要的是：如何引導(dǎo)AI更好的回答的自己的問題，也就是修煉自己提示工程的能力，深入使用ChatGPT的小伙伴一定發(fā)現(xiàn)了，同一個問題，不同的問法的會產(chǎn)生不同的效果，多數(shù)時候僅僅一句「請仔細(xì)思考」，或者「請一步一步來」，都會得到一個更準(zhǔn)確的回復(fù)

一般而言，提示公式 = 任務(wù)（要求模型生成什么內(nèi)容） + 角色（模型扮演什么角色） + 指令（生成文本時，模型應(yīng)該遵循什么），有時候的還可以添加種子詞等，有興趣可以讀讀 Art-Asking-ChatGPT-High-Quality-Answer 這本教程

有的人甚至對GPT的回復(fù)做逆向工程，在人肉識別到一個好的回復(fù)之后，讓他自己分析為什么產(chǎn)出這樣的回復(fù)。使用GPT的整個過程就好像尋寶之旅，提示工程就是那本寶藏地圖

GPT的命門（Bug）是什么？

1?? 模型在自己不知道的時候，會一本正經(jīng)的胡說八道，這一點(diǎn)倒是很像人類中的那么一小撮，對應(yīng)的提升的方向叫做：信息校準(zhǔn)

2?? 目前支撐的token數(shù)有限（可以理解為輸入/出的最大字?jǐn)?shù)有限制），目前沒有明顯的辦法來向模型教授新的事實(shí)

3?? 模型缺乏自我更新或適應(yīng)變化環(huán)境的能力。一旦訓(xùn)練好，就是固定的。可以進(jìn)行微調(diào)，但是會導(dǎo)致性能下降或過度擬合

讓GPT處理新知識的辦法有哪些？

讓GPT處理新知識有兩個辦法

一個辦法是在模型的基礎(chǔ)上再多喂一些料，繼續(xù)訓(xùn)練，這個叫做fine tune（微調(diào)），比較費(fèi)時費(fèi)力，這個會改變原本模型的參數(shù)

另一個辦法是讓模型臨時“學(xué)習(xí)”新的知識，這就是Bing Chat和現(xiàn)在網(wǎng)上很多調(diào)用API讀書的小工具所做的。這本質(zhì)上不是訓(xùn)練，而是小樣本學(xué)習(xí)，是對模型的應(yīng)用，這個方法的缺點(diǎn)是能輸入的信息總量有限

和ChatGPT交互，喂給他的數(shù)據(jù)，他下一次重新對話會有這個記憶嗎？

他只記得一次對話中你給他輸入的大約前4000(V-3.5)個字

如何處理公司私有數(shù)據(jù)涉密問題？

可以引進(jìn) OpenAI 的訓(xùn)練好的模型（或者其他的大語言模型），在公司內(nèi)部 fine tune，而不把公司數(shù)據(jù)給 OpenAI。事實(shí)上，這就是現(xiàn)在的標(biāo)準(zhǔn)做法

一點(diǎn)感慨

因?yàn)槲沂侨fsir的鐵粉，他在2020年就解讀過GPT-3這個玩意，所以很早就知道這個東西。去年年底，萬sir又解讀了ChatGPT，我抱著試試的心態(tài)通過各種渠道第一時間就拿到了OpenAI的公測賬號，彼時我的心態(tài)還停留在ChatGPT是個牛x的玩具，自我感覺對于搜索引擎的資深用戶來說，用搜索引擎找到的答案是難道會不如ChatGPT？淺淺的感覺這波AI浪潮，和之前的元宇宙一樣，泡沫大大的有

近來，對ChatGPT相關(guān)的領(lǐng)域知識展開了地毯式的學(xué)習(xí)和了解，對之前那個沒有深入了解就著急忙慌地結(jié)論的我表示：嗤之以鼻！泡沫是有，但是比元宇宙，web3靠譜多了

我還記得那晚，在閱讀 Stephen Wolfram 寫的文章 what-is-chatgpt-doing-and-why-does-it-work（知乎有譯文）的時候，真的有被，”臥槽，臥槽，臥槽“ 到，對于AI領(lǐng)域來說，這是從基于規(guī)則的AI 到 基于統(tǒng)計(jì)分析AI的跨越之后的，又一次巨大的跨越。注：目前只是窺見了冰山一角

對于AI：Stay humble and embrace change ，或者用 Steve Jobs的話說，Stay Hungry. Stay Foolish

文章首發(fā)在公眾號 ： stackoverflow ， 歡迎關(guān)注

最后：祝春安

學(xué)習(xí)材料來源

[1] 得到萬維鋼《精英日課-5》，https://www.dedao.cn/course/article?id=a8QZdRM1OmLxVvGo37JG69rgYPjqWp&source=search
[2] 必讀文章What is chatgpt doing and why does it work : https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
[3] 熱心網(wǎng)友總結(jié)的學(xué)習(xí)線路圖: https://gofurther.feishu.cn/docx/Enofdl25BotoVrxth8ec4rNBn5c
[4] 綜述 A Survey of Large Language Models : https://arxiv.org/abs/2303.18223，
[5] 論文解讀-技術(shù)GitHub 16.7k Star https://github.com/mli/paper-reading文章來源地址http://www.zghlxwxcb.cn/news/detail-416915.html

到了這里，關(guān)于ChatGPT入門必知必會的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！