0. 導(dǎo)讀

由于 GPT 模型的相關(guān)內(nèi)容非常豐富，所以我計(jì)劃對它進(jìn)行更加深入的學(xué)習(xí)和研究，并把它應(yīng)用到自己的工作、生活和學(xué)習(xí)中，用來提高工作效能，改善生活質(zhì)量，提升學(xué)習(xí)效果。

按照第一性原理，在開始實(shí)戰(zhàn)演練之前，我認(rèn)為有必要先了解一下 GPT 模型背后的原理，這樣才能避免盲目地崇拜它，也能避免無知地輕視它，而以更加理性的態(tài)度來應(yīng)用它。

之前看到過一篇介紹 ChatGPT 原理的文章：ChatGPT 在做什么… 以及它為何發(fā)揮作用？全文超過 3 萬字，包含 100 多張圖片，并于 2023 年 3 月 9 日出版成書。

去查了一下原文的作者，發(fā)現(xiàn)是一個非常厲害的牛人，他就是數(shù)學(xué)軟件 Mathematica 的創(chuàng)始人——史蒂芬·沃爾夫勒姆（Stephen Wolfram），他還是著名的復(fù)雜科學(xué)家，研究神經(jīng)網(wǎng)絡(luò)超過 40 年，并且發(fā)明了 Wolfram 語言。

下面結(jié)合沃爾夫勒姆的文章、谷歌團(tuán)隊(duì)的論文、ChatGPT 的回答、以及萬維鋼的 AI 前沿課等內(nèi)容，拋開一些技術(shù)的細(xì)節(jié)，結(jié)合自己的理解，盡量用比較通俗的語言，來解讀 GPT 模型背后的原理。

1. 為什么 GPT 模型能生成有意義的文本？

GPT 模型本質(zhì)上是基于大量的語言數(shù)據(jù)，對文本進(jìn)行「合理的延續(xù)」，它的核心是「大語言模型」（LLM）。

簡單來說，GPT 模型的原理有點(diǎn)類似于玩「單詞接龍」的游戲。

比如，把CSDN「寫濕」的文章作為「學(xué)習(xí)材料」，用來訓(xùn)練 GPT 模型，當(dāng)給它輸入「我」字時，它可能會接著生成一個「是」字；緊接著，它會把「我」和「是」組合成「我是」，按照單詞出現(xiàn)的概率，接著可能會生成下一個「寫」字，再把「我是」和「寫」組合成「我是寫」，不斷重復(fù)這個過程，就能生成一段有意義的文本，例如「我是寫濕」。

我們把上面這個過程稱為「自回歸生成」，它屬于一種無監(jiān)督的自然語言處理（NLP）模型。有點(diǎn)類似于智能輸入法，它可以根據(jù)用戶的輸入，在已輸入詞語的基礎(chǔ)上，自動預(yù)測接下來可能需要輸入的詞語，以幫助用戶提升打字的速度。

但是，如果 GPT 模型總是挑選概率最高的詞，通常就會得到非常「普通」的回答（有時甚至是千篇一律的答案）。

然而，當(dāng) GPT 模型隨機(jī)挑選概率相對較低的詞時，就有可能得到「更有趣」的回答（有時甚至?xí)屓烁杏X很有創(chuàng)意）。

所以，GPT 模型的回答并不是每次都一樣，這讓人感覺它更加智能。

但事實(shí)上，它目前并沒有自主的意識，早期版本的 GPT 模型，甚至就如同「鸚鵡學(xué)舌」，甚至不理解自己到底說了什么。

GPT 模型的底層原理，其實(shí)是在谷歌團(tuán)隊(duì)提出的 Transformer 模型的基礎(chǔ)上，建立一個龐大的神經(jīng)網(wǎng)絡(luò)，其突出特點(diǎn)是大數(shù)據(jù)、大模型和大計(jì)算。

其實(shí)說白了，就是「大力出奇跡，暴力計(jì)算」。

在經(jīng)過大量數(shù)據(jù)的預(yù)訓(xùn)練和大量的計(jì)算之后，GPT 模型表現(xiàn)出了驚艷的語言理解和生成能力，可以有選擇性地記住前文的重點(diǎn)，形成思維鏈推理能力。

因此，GPT 模型能夠「理解」人類的意圖，進(jìn)行多輪有效的溝通，實(shí)現(xiàn)智能問答交流，還能模仿知名作家的寫作風(fēng)格，甚至能夠完成詩歌的創(chuàng)作，做到內(nèi)容完整、重點(diǎn)清晰、有概括、有邏輯、有條理。

2. 為什么 GPT 模型不會做簡單的數(shù)學(xué)題？

盡管 GPT 模型有很強(qiáng)的語言能力，但它對數(shù)學(xué)問題卻還不大擅長。

比如，我隨便輸入一些數(shù)字，讓 ChatGPT 做一道簡單的算術(shù)題：

結(jié)果 ChatGPT 一本正經(jīng)地給出一個錯誤的答案：$2832402360$，但中間有幾位是錯誤的，正確答案應(yīng)該是 $2833090260$。

為什么 GPT 有強(qiáng)大的推理能力，卻連這么簡單的計(jì)算題都算錯了呢？

其根本原因在于，GPT 是一個大語言模型，它的思維很像是人類的大腦，而人類的大腦是不太擅長計(jì)算這種數(shù)學(xué)題的，假如讓你來計(jì)算，估計(jì)也要用筆算，或借助計(jì)算器等工具。

所以，GPT 其實(shí)更像是人類的大腦，而不是像一般的計(jì)算機(jī)程序。

據(jù)估計(jì)，人類的大腦大約有 1000 億個神經(jīng)元，而 GPT-4 的模型參數(shù)遠(yuǎn)超 1000 億個，正是因?yàn)閿?shù)量龐大，才產(chǎn)生了「涌現(xiàn)」的效果，也就是當(dāng)數(shù)量大到一定程度，會突然出現(xiàn)一些原本并不具備的能力。就像螞蟻的數(shù)量足夠多之后，突然具備了某種組織能力。

3. 為什么有人擔(dān)心 GPT 模型可能會危害人類？

雖然 GPT 模型目前還不善于解決一些數(shù)學(xué)問題，但其實(shí)只要給它增加適當(dāng)?shù)牟寮?/font>，當(dāng)遇到它不擅長的領(lǐng)域時，就運(yùn)用多元思維模型，調(diào)用其他模型來解決。