目錄

硬件

GPU

什么是 GPU？

GPU 是如何工作的？

GPU 和 CPU 的區(qū)別

GPU 廠商

海外頭部 GPU 廠商：

國(guó)內(nèi) GPU 廠商：

nvidia 的產(chǎn)品矩陣

AI

什么是人工智能 (Artificial Intelligence-AI)？

人工智能細(xì)分領(lǐng)域

機(jī)器學(xué)習(xí)（Machine Learning）：研究如何通過算法和模型讓計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)和提取規(guī)律，以完成特定任務(wù)。

深度學(xué)習(xí)（Deep Learning）：是機(jī)器學(xué)習(xí)的一種，使用多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)特征和模式，以實(shí)現(xiàn)對(duì)復(fù)雜任務(wù)的自動(dòng)化處理。

自然語言處理（Natural Language Processing, NLP）：研究如何讓計(jì)算機(jī)理解、分析、處理人類語言的方法和技術(shù)。

計(jì)算機(jī)視覺（Computer Vision）：研究如何讓計(jì)算機(jī)“看懂”圖像和視頻，并從中提取有用的信息和特征。

機(jī)器人學(xué)（Robotics）：研究如何設(shè)計(jì)、構(gòu)建和控制機(jī)器人，讓它們能夠完成特定任務(wù)。

強(qiáng)化學(xué)習(xí)（Reinforcement Learning）：是一種機(jī)器學(xué)習(xí)的方法，通過與環(huán)境的交互和反饋來學(xué)習(xí)最優(yōu)行動(dòng)策略。

知識(shí)圖譜（Knowledge Graph）：是一種將知識(shí)以圖譜的形式進(jìn)行組織、表示和推理的方法，用于實(shí)現(xiàn)智能搜索、推薦等應(yīng)用。

語音識(shí)別（Speech Recognition）：研究如何讓計(jì)算機(jī)識(shí)別和理解人類語音，以實(shí)現(xiàn)語音輸入、語音控制等功能。

NLP

Transformer 是什么？

Transformer 模型的實(shí)現(xiàn)

還有沒有其他模型 ？

GPT 模型

ChatGPT

與現(xiàn)存的其他同類產(chǎn)品相比，ChatGPT 的獨(dú)特優(yōu)勢(shì)在于：

GPT-3.5

ChatGPT 的優(yōu)勢(shì)在于：

GPT-4

AIGC 模型

人工智能突破摩爾定律

未來

參考

福利：文末有chat-gpt純分享，無魔法，無限制

硬件

“沒有硬件支持，你破解個(gè)屁”

GPU

什么是 GPU？

GPU 是 Graphics Processing Unit 的縮寫，中文翻譯為圖形處理器。GPU 最初是為了提高電腦處理圖形的速度而設(shè)計(jì)的，主要負(fù)責(zé)圖像的計(jì)算和處理。GPU 通過并行計(jì)算的方式，可以同時(shí)執(zhí)行多個(gè)任務(wù)，大大提高了圖形和數(shù)據(jù)處理的速度和效率。

近年來，由于其并行計(jì)算的特性，GPU 也被應(yīng)用于一些需要大量計(jì)算的領(lǐng)域，如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)挖掘、科學(xué)計(jì)算等。在這些領(lǐng)域中，GPU 可以加速訓(xùn)練模型、處理海量數(shù)據(jù)等計(jì)算密集型任務(wù)，顯著提高了計(jì)算效率和速度。因此，GPU 已成為現(xiàn)代計(jì)算機(jī)的重要組成部分，被廣泛應(yīng)用于各種領(lǐng)域。

GPU 是如何工作的？

GPU 的工作原理和 CPU 類似，都是通過執(zhí)行指令來完成計(jì)算任務(wù)的。不同的是，CPU 是通過串行執(zhí)行指令的方式來完成計(jì)算任務(wù)的，而 GPU 是通過并行執(zhí)行指令的方式來完成計(jì)算任務(wù)的。GPU 的并行計(jì)算方式可以同時(shí)執(zhí)行多個(gè)任務(wù)，大大提高了計(jì)算效率和速度。

可以參考這個(gè)視頻來了解 GPU 的工作原理：https://www.bilibili.com/video/BV1VW411i7ah/?spm_id_from=333.337.search-card.all.click&vd_source=6fb7f58b736bb5913c33073b42979450

GPU 和 CPU 的區(qū)別

GPU 和 CPU 的區(qū)別主要體現(xiàn)在以下幾個(gè)方面：

1. 架構(gòu)設(shè)計(jì)不同：CPU 的設(shè)計(jì)注重單線程處理能力，通常有少量的計(jì)算核心和更多的高速緩存。GPU 則是面向并行處理的設(shè)計(jì)，通常擁有大量的計(jì)算核心，但緩存較小。

2. 計(jì)算方式不同：CPU 在處理任務(wù)時(shí)，主要通過執(zhí)行指令流的方式進(jìn)行計(jì)算。而 GPU 則是通過執(zhí)行大量的線程，同時(shí)進(jìn)行并行計(jì)算，以提高計(jì)算效率。GPU 的并行計(jì)算能力可以同時(shí)處理許多相似的任務(wù)，適用于大規(guī)模的計(jì)算密集型任務(wù)，例如圖像處理、機(jī)器學(xué)習(xí)等。

3. 用途不同：CPU 主要用于通用計(jì)算任務(wù)，例如文件處理、操作系統(tǒng)運(yùn)行、編程等。GPU 則主要用于圖形處理、游戲、計(jì)算密集型任務(wù)，例如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等。

總結(jié)來說，GPU 和 CPU 都有各自的優(yōu)勢(shì)和適用場(chǎng)景，它們通常是相互協(xié)作的。例如，在機(jī)器學(xué)習(xí)中，CPU 通常用于數(shù)據(jù)的預(yù)處理和模型的訓(xùn)練過程，而 GPU 則用于模型的計(jì)算推理過程。

我們常說的顯卡就是 GPU 嗎？

是的，我們通常所說的顯卡（Graphics Card）就是安裝了 GPU 的設(shè)備。顯卡除了包含 GPU 之外，還包括顯存、散熱器、顯卡 BIOS 等部件。顯卡通過將 CPU 傳輸?shù)臄?shù)據(jù)轉(zhuǎn)換為圖像信號(hào)，控制顯示器輸出圖像。

在一些需要大量圖像處理或計(jì)算的應(yīng)用場(chǎng)景中，GPU 可以比 CPU 更高效地完成任務(wù)。因此，現(xiàn)代的顯卡也廣泛應(yīng)用于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域的加速計(jì)算，甚至被用于科學(xué)計(jì)算、天文學(xué)、地質(zhì)學(xué)、氣象學(xué)等領(lǐng)域。

關(guān)于顯卡，你可能聽說過“集成顯卡”、“獨(dú)立顯卡”，其實(shí)，顯卡的集成和獨(dú)立通常是指顯存的不同管理方式，它們有以下區(qū)別：

1. 集成顯卡：集成顯卡通常是指將顯存集成在主板芯片組或處理器內(nèi)部的顯卡。這種顯卡通常性能較差，適用于一些簡(jiǎn)單的應(yīng)用場(chǎng)景，例如日常辦公、網(wǎng)頁瀏覽等。

2. 獨(dú)立顯卡：獨(dú)立顯卡通常是指顯存獨(dú)立于主板芯片組或處理器，有自己的顯存和顯存控制器。這種顯卡性能更加強(qiáng)大，適用于游戲、圖形處理、科學(xué)計(jì)算等需要大量顯存和計(jì)算性能的應(yīng)用場(chǎng)景。

3. 共享顯存：共享顯存通常是指顯存與系統(tǒng)內(nèi)存共享使用，也就是一部分系統(tǒng)內(nèi)存被劃分為顯存使用。這種方式適用于一些輕度圖形處理的應(yīng)用場(chǎng)景，例如電影播放、網(wǎng)頁瀏覽等。

總的來說，集成顯卡通常性能較差，適用于簡(jiǎn)單應(yīng)用場(chǎng)景，獨(dú)立顯卡性能更加強(qiáng)大，適用于需要大量顯存和計(jì)算性能的應(yīng)用場(chǎng)景，而共享顯存則是一種折中的方案，適用于一些輕度圖形處理的應(yīng)用場(chǎng)景。

GPU 廠商

海外頭部 GPU 廠商：

1. Nvidia：Nvidia 是目前全球最大的 GPU 制造商之一，Nvidia 主要生產(chǎn)針對(duì)游戲玩家、數(shù)據(jù)中心和專業(yè)用戶等不同領(lǐng)域的 GPU 產(chǎn)品。

2. AMD：全球知名的 GPU 制造商之一。AMD 主要生產(chǎn)用于個(gè)人電腦、工作站和服務(wù)器等不同領(lǐng)域的 GPU 產(chǎn)品。

3. Intel：目前也開始進(jìn)軍 GPU 市場(chǎng)。Intel 主要生產(chǎn)用于個(gè)人電腦、工作站和服務(wù)器等不同領(lǐng)域的 GPU 產(chǎn)品。

國(guó)內(nèi) GPU 廠商：

海光信息、寒武紀(jì)、龍芯中科、景嘉微等。

芯片“卡脖子” 說的就是 GPU 嗎？

是，但不全是。

"芯片卡脖子"是指全球半導(dǎo)體短缺現(xiàn)象，也稱為"芯片荒"或"半導(dǎo)體荒"，指的是 2020 年以來由新冠疫情和其他因素導(dǎo)致的全球半導(dǎo)體供應(yīng)不足的局面。這種供應(yīng)短缺已經(jīng)影響了多個(gè)行業(yè)，包括汽車、電子產(chǎn)品、通信設(shè)備等。中國(guó)作為世界上最大的半導(dǎo)體市場(chǎng)之一，也受到了這種供應(yīng)短缺的影響。

我國(guó)在半導(dǎo)體領(lǐng)域的自主研發(fā)和制造水平相對(duì)較低，依賴進(jìn)口芯片來支撐其經(jīng)濟(jì)和工業(yè)發(fā)展。受全球芯片短缺影響，我國(guó)的一些關(guān)鍵行業(yè)，特別是汽車、電子和通信行業(yè)，出現(xiàn)了供應(yīng)短缺和價(jià)格上漲等問題，對(duì)其經(jīng)濟(jì)造成了一定的影響。為了應(yīng)對(duì)這種情況，政府加強(qiáng)了對(duì)半導(dǎo)體行業(yè)的支持，鼓勵(lì)本土企業(yè)增加芯片研發(fā)和生產(chǎn)能力，以減輕對(duì)進(jìn)口芯片的依賴。

具體與 GPU 相關(guān)的：2022 年 8 月 31 日，為符合美國(guó)政府要求，Nvidia 和 AMD 的高端 GPU 將在中國(guó)暫停銷售，包括 Nvidia 的 A100、H100 以及 AMD 的 MI100 和 MI200 芯片

英偉達(dá)在 SEC 文件上官方確認(rèn)此事，稱是 8 月 26 日收到美國(guó)政府的通知。

“

SEC 文件是由上市公司、上市公司內(nèi)部人士、券商提交給美國(guó)證券交易委員會(huì)（SEC) 的財(cái)務(wù)報(bào)表或者其他正式文件。

”

nvidia （英偉達(dá)）

根據(jù) 2021 年第四季度的市場(chǎng)研究報(bào)告，英偉達(dá)在全球離散顯卡市場(chǎng)占有率為 51.2％，位列第一，超過了其競(jìng)爭(zhēng)對(duì)手 AMD 的市場(chǎng)份額。而在全球 GPU 市場(chǎng)（包括離散顯卡和集成顯卡）中，英偉達(dá)的市場(chǎng)占有率為 18.8％，位列第二，僅次于 Intel 的市場(chǎng)份額。

nvidia 的產(chǎn)品矩陣

1. GeForce 系列：主要面向消費(fèi)者市場(chǎng)，包括桌面顯卡和筆記本電腦顯卡等，以高性能游戲和多媒體應(yīng)用為主要應(yīng)用場(chǎng)景。

2. Quadro 系列：主要面向?qū)I(yè)工作站市場(chǎng)，包括電影和電視制作、建筑設(shè)計(jì)、科學(xué)計(jì)算、醫(yī)療影像等領(lǐng)域，具有高性能、高穩(wěn)定性和優(yōu)秀的圖形渲染能力。

3. Tesla 系列：主要面向高性能計(jì)算市場(chǎng)，包括科學(xué)計(jì)算、深度學(xué)習(xí)、人工智能等領(lǐng)域，具有極高的計(jì)算性能和數(shù)據(jù)吞吐量，支持多 GPU 集群計(jì)算。

4. Tegra 系列：主要面向移動(dòng)和嵌入式市場(chǎng)，包括智能手機(jī)、平板電腦、汽車、無人機(jī)等領(lǐng)域，具有高性能、低功耗、小尺寸等特點(diǎn)。

5. Jetson 系列：主要面向人工智能應(yīng)用市場(chǎng)，包括機(jī)器人、自動(dòng)駕駛、智能視頻分析等領(lǐng)域，具有高性能、低功耗、小尺寸等特點(diǎn)。

可能你對(duì)上面這些產(chǎn)品系列、型號(hào)和名詞不太了解，沒有什么概念，那這樣，咱們先建立個(gè)價(jià)格概念。我們以當(dāng)下在人工智能領(lǐng)域廣泛應(yīng)用的 GPU A100 為例，看一下它的價(jià)格：

就是因?yàn)檫@個(gè)價(jià)格，所以 A100 也被稱為“英偉達(dá)大金磚”.

為什么要單獨(dú)說英偉達(dá)呢？因?yàn)樗懔κ?人工智能的“力量源泉”，GPU 是算力的“主要供應(yīng)商”。而英偉達(dá)是全球最大的 GPU 制造商，并且它的 GPU 算力是最強(qiáng)的，比如 A100 GPU 算力是 10.5 petaFLOPS，而 AMD 的 MI100 GPU 算力是 7.5 petaFLOPS。

不明白什么意思？Peta 是計(jì)量單位之一，它代表的是 10 的 15 次方。因此，1 petaFLOPS（PFLOPS）表示每秒可以完成 10 的 15 次浮點(diǎn)運(yùn)算。所以，A100 GPU 算力為 10.5 petaFLOPS，意味著它可以每秒完成 10.5 萬億次浮點(diǎn)運(yùn)算。

AI

什么是人工智能 (Artificial Intelligence-AI)？

人工智能是指一種計(jì)算機(jī)技術(shù)，它使得計(jì)算機(jī)系統(tǒng)可以通過學(xué)習(xí)、推理、自適應(yīng)和自我修正等方法，模擬人類的智能行為，以實(shí)現(xiàn)類似于人類的智能水平的一系列任務(wù)。這些任務(wù)包括語音識(shí)別、自然語言處理、圖像識(shí)別、機(jī)器翻譯、自動(dòng)駕駛、智能推薦和游戲等。人工智能的核心是機(jī)器學(xué)習(xí)，它是通過使用大量數(shù)據(jù)和算法訓(xùn)練計(jì)算機(jī)系統(tǒng)，使其能夠識(shí)別模式、做出預(yù)測(cè)和決策。人工智能還涉及到其他領(lǐng)域，如自然語言處理、計(jì)算機(jī)視覺、機(jī)器人技術(shù)、知識(shí)表示和推理等。人工智能被廣泛應(yīng)用于各種領(lǐng)域，如醫(yī)療、金融、交通、制造業(yè)、媒體和游戲等，為這些領(lǐng)域帶來了更高的效率和創(chuàng)新。

人工智能細(xì)分領(lǐng)域

人工智能領(lǐng)域有很多分支領(lǐng)域，以下列舉一些比較常見的：

1. 機(jī)器學(xué)習(xí)（Machine Learning）：研究如何通過算法和模型讓計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)和提取規(guī)律，以完成特定任務(wù)。

2. 深度學(xué)習(xí)（Deep Learning）：是機(jī)器學(xué)習(xí)的一種，使用多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)特征和模式，以實(shí)現(xiàn)對(duì)復(fù)雜任務(wù)的自動(dòng)化處理。

3. 自然語言處理（Natural Language Processing, NLP）：研究如何讓計(jì)算機(jī)理解、分析、處理人類語言的方法和技術(shù)。

4. 計(jì)算機(jī)視覺（Computer Vision）：研究如何讓計(jì)算機(jī)“看懂”圖像和視頻，并從中提取有用的信息和特征。

5. 機(jī)器人學(xué)（Robotics）：研究如何設(shè)計(jì)、構(gòu)建和控制機(jī)器人，讓它們能夠完成特定任務(wù)。

6. 強(qiáng)化學(xué)習(xí)（Reinforcement Learning）：是一種機(jī)器學(xué)習(xí)的方法，通過與環(huán)境的交互和反饋來學(xué)習(xí)最優(yōu)行動(dòng)策略。

7. 知識(shí)圖譜（Knowledge Graph）：是一種將知識(shí)以圖譜的形式進(jìn)行組織、表示和推理的方法，用于實(shí)現(xiàn)智能搜索、推薦等應(yīng)用。

8. 語音識(shí)別（Speech Recognition）：研究如何讓計(jì)算機(jī)識(shí)別和理解人類語音，以實(shí)現(xiàn)語音輸入、語音控制等功能。

當(dāng)然以上這些分支領(lǐng)域互相也有交叉和相互影響，比如深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理和語音識(shí)別等領(lǐng)域都有應(yīng)用；計(jì)算機(jī)視覺和自然語言處理也經(jīng)常結(jié)合在一起，比如在圖像字幕生成和圖像問答等任務(wù)中。此外，人工智能還與其他領(lǐng)域如控制工程、優(yōu)化學(xué)、認(rèn)知科學(xué)等存在交叉。

NLP

我們具體地來看一下自然語言處理（NLP）這個(gè)分支領(lǐng)域，它是人工智能的一個(gè)重要分支，也是人工智能技術(shù)在實(shí)際應(yīng)用中最為廣泛的應(yīng)用之一。

NLP（Natural Language Processing，自然語言處理）旨在讓計(jì)算機(jī)能夠理解、解析、生成和操作人類語言。

NLP 技術(shù)可以用于文本分類、情感分析、機(jī)器翻譯、問答系統(tǒng)、語音識(shí)別、自動(dòng)摘要、信息抽取等多個(gè)方面。實(shí)現(xiàn) NLP 技術(shù)通常需要使用一些基礎(chǔ)的機(jī)器學(xué)習(xí)算法，例如文本預(yù)處理、詞嵌入（word embedding）、分詞、詞性標(biāo)注、命名實(shí)體識(shí)別等等。這些算法可以從大量的語料庫(kù)中學(xué)習(xí)到語言的結(jié)構(gòu)和規(guī)律，并通過統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)模型進(jìn)行自然語言的處理和應(yīng)用。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，NLP 領(lǐng)域也出現(xiàn)了一些基于深度學(xué)習(xí)的新模型，例如 Transformer 模型和 BERT 模型等。這些模型通過使用大規(guī)模語料庫(kù)進(jìn)行預(yù)訓(xùn)練，可以在多個(gè) NLP 任務(wù)中取得優(yōu)秀的表現(xiàn)。同時(shí)，也涌現(xiàn)了一些新的應(yīng)用領(lǐng)域，例如對(duì)話系統(tǒng)、智能客服、智能寫作、智能問答等。

Transformer 是什么？

上文我們提到人工智能的分支領(lǐng)域之間會(huì)有交叉，Transformer 算是深度學(xué)習(xí)和 NLP 的交叉領(lǐng)域。

Transformer 模型是深度學(xué)習(xí)中的一種神經(jīng)網(wǎng)絡(luò)模型，該模型是由 Google 開源的。

Transformer 模型最初是在 2017 年發(fā)表的論文"Attention Is All You Need"中提出的，隨后被加入到 TensorFlow 等深度學(xué)習(xí)框架中，方便了廣大開發(fā)者使用和擴(kuò)展。目前，Transformer 模型已經(jīng)成為自然語言處理領(lǐng)域中最流行的模型之一。

“

TensorFlow 是一種用于實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的開源深度學(xué)習(xí)框架。因此，可以使用 TensorFlow 實(shí)現(xiàn) Transformer 模型。實(shí)際上，TensorFlow 團(tuán)隊(duì)已經(jīng)提供了一個(gè)名為“Tensor2Tensor”的庫(kù)，其中包含了 Transformer 模型的實(shí)現(xiàn)。此外，許多研究人員和工程師也使用 TensorFlow 實(shí)現(xiàn)自己的 Transformer 模型，并將其用于各種 NLP 任務(wù)中。

”

Transformer 特別擅長(zhǎng)處理序列數(shù)據(jù)，其中包括了 NLP 領(lǐng)域的自然語言文本數(shù)據(jù)。在 NLP 領(lǐng)域中，Transformer 模型被廣泛應(yīng)用于各種任務(wù)，例如機(jī)器翻譯、文本摘要、文本分類、問答系統(tǒng)、語言模型等等。相比于傳統(tǒng)的基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的模型，Transformer 模型通過使用注意力機(jī)制（self-attention）和多頭注意力機(jī)制（multi-head attention）來建模序列中的長(zhǎng)程依賴性和關(guān)系，有效地緩解了 RNN 模型中梯度消失和梯度爆炸的問題，從而在 NLP 任務(wù)上取得了很好的表現(xiàn)。因此，可以說 Transformer 是 NLP 領(lǐng)域中的一種重要的深度學(xué)習(xí)模型，也是現(xiàn)代 NLP 技術(shù)的重要組成部分。

Transformer 模型的實(shí)現(xiàn)

Transformer 模型只是一個(gè)抽象的概念和算法框架，具體的實(shí)現(xiàn)還需要考慮許多細(xì)節(jié)和技巧。在實(shí)際應(yīng)用中，需要根據(jù)具體的任務(wù)和數(shù)據(jù)集進(jìn)行模型的設(shè)計(jì)、參數(shù)調(diào)整和訓(xùn)練等過程。此外，還需要使用特定的軟件框架（如 TensorFlow、PyTorch 等）進(jìn)行實(shí)現(xiàn)和優(yōu)化，以提高模型的效率和準(zhǔn)確性。

實(shí)現(xiàn) Transformer 模型可以使用深度學(xué)習(xí)框架，如 TensorFlow、PyTorch 等。一般來說，實(shí)現(xiàn) Transformer 模型的步驟如下：

1. 數(shù)據(jù)準(zhǔn)備：準(zhǔn)備訓(xùn)練和測(cè)試數(shù)據(jù)，包括語料數(shù)據(jù)和標(biāo)簽數(shù)據(jù)等。模型架構(gòu)設(shè)計(jì)：確定模型的結(jié)構(gòu)，包括 Transformer 的編碼器和解碼器部分，以及注意力機(jī)制等。

2. 模型訓(xùn)練：使用訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，并對(duì)模型進(jìn)行調(diào)優(yōu)，以達(dá)到較好的預(yù)測(cè)效果。

3. 模型評(píng)估：使用測(cè)試數(shù)據(jù)對(duì)模型進(jìn)行評(píng)估，包括損失函數(shù)的計(jì)算、精度、召回率、F1 值等。

4. 模型部署：將訓(xùn)練好的模型部署到生產(chǎn)環(huán)境中，進(jìn)行實(shí)際的應(yīng)用。

業(yè)界流行的實(shí)現(xiàn)方式是使用深度學(xué)習(xí)框架，如 TensorFlow 或 PyTorch，在現(xiàn)有的 Transformer 模型代碼基礎(chǔ)上進(jìn)行二次開發(fā)，以滿足自己的需求。同時(shí)，也有一些第三方的 Transformer 庫(kù)，如 Hugging Face 的 Transformers 庫(kù)，可供直接使用，方便快捷。

還有沒有其他模型 ？

類似于 Transformer 的模型有許多，其中一些主要的模型包括：

1. BERT（Bidirectional Encoder Representations from Transformers）：BERT 是由 Google 在 2018 年推出的預(yù)訓(xùn)練語言模型，采用了 Transformer 模型的編碼器部分，并使用雙向的 Transformer 模型來對(duì)輸入的文本進(jìn)行建模。

2. GPT（Generative Pre-trained Transformer）：GPT 是由 OpenAI 在 2018 年推出的預(yù)訓(xùn)練語言模型，采用了 Transformer 模型的解碼器部分，主要用于生成文本。

3. XLNet：XLNet 是由 CMU、Google 和 Carnegie Mellon University 的研究人員在 2019 年提出的一種預(yù)訓(xùn)練語言模型，它使用了自回歸 Transformer 模型和自回歸 Transformer 模型的結(jié)合，具有更好的生成性能和語言理解能力。

4. T5（Text-to-Text Transfer Transformer）：T5 是由 Google 在 2019 年推出的一種基于 Transformer 的通用文本轉(zhuǎn)換模型，可以處理各種 NLP 任務(wù)，如文本分類、問答、文本摘要等。

5. RoBERTa（Robustly Optimized BERT Pretraining Approach）：RoBERTa 是 Facebook 在 2019 年推出的預(yù)訓(xùn)練語言模型，它通過對(duì) BERT 訓(xùn)練過程進(jìn)行優(yōu)化，提高了在多種 NLP 任務(wù)上的性能表現(xiàn)。

這些模型都基于 Transformer 架構(gòu)，并通過不同的優(yōu)化和改進(jìn)來提高性能和應(yīng)用范圍。下面一張圖是模型的家族樹：

GPT 模型

2018 年 OpenAI 公司基于 Transformer 結(jié)構(gòu)推出 GPT-1 （Generative Pre-training Transformers, 創(chuàng)造型預(yù)訓(xùn)練變換模型），參數(shù)量為 1.17 億個(gè)，GPT-1 超越 Transformer 成為業(yè)內(nèi)第一。2019 年至 2020 年，OpenAI 陸續(xù)發(fā)布 GPT-2、GPT-3，其參數(shù)量分別達(dá) 到 15 億、1750 億，其中，GPT-3 訓(xùn)練過程中直接以人類自然語言作為指令，顯著提升了 LLM 在多種語言場(chǎng)景中的性能。

ChatGPT

ChatGPT 是美國(guó) OpenAI 公司研發(fā)的對(duì)話 AI 模型，是由人工智能技術(shù)支持的自然語言處理（NLP，Natural Language Processing）工具，于 2022 年 11 月 30 日正式發(fā)布。它能夠?qū)W習(xí)、理解人類語言，并結(jié)合對(duì)話上下文，與人類聊天互動(dòng)，也可撰寫稿件、翻譯文字、編程、編寫視頻腳本等。截至 2023 年 1 月底，ChatGPT 月活用戶已高達(dá) 1 億，成為史上活躍用戶規(guī)模增長(zhǎng)最快的應(yīng)用

與現(xiàn)存的其他同類產(chǎn)品相比，ChatGPT 的獨(dú)特優(yōu)勢(shì)在于：

1. 基于 GPT-3.5 架構(gòu)，運(yùn)用海量語料庫(kù)訓(xùn)練模型，包括真實(shí)生活中的對(duì)話，使 ChatGPT 能做到接近與人類聊天

2. 應(yīng)用新技術(shù) RLHF （Reinforcement Learning with Human Feedback，基于人類反饋的強(qiáng)化學(xué)習(xí)），從而能更準(zhǔn)確地理解并遵循人類的思維、價(jià)值觀與需求

3. 可在同一階段內(nèi)完成模型訓(xùn)練

4. 具有強(qiáng)大算力、自我學(xué)習(xí)能力和適應(yīng)性，且預(yù)訓(xùn)練通用性較高

5. 可進(jìn)行連續(xù)多輪對(duì)話，提升用戶體驗(yàn)

6. 更具獨(dú)立批判性思維，能質(zhì)疑用戶問題的合理性，也能承認(rèn)自身知識(shí)的局限性，聽取用戶意見并改進(jìn)答案。

GPT-3.5

ChatGPT 使用的 GPT-3.5 模型是在 GPT-3 的基礎(chǔ)上加入 Reinforcement Learning from Human Feedback（RLHF，人類反饋強(qiáng)化學(xué)習(xí)）技術(shù)和近段策略優(yōu)化算法，其目的是從真實(shí)性、無害性和有用性三個(gè)方面優(yōu)化輸出結(jié)果，降低預(yù)訓(xùn)練模型生成種族歧視、性別歧視等有害內(nèi)容的風(fēng)險(xiǎn)。

ChatGPT 訓(xùn)練的過程主要有三個(gè)階段。

1. 第一步是訓(xùn)練監(jiān)督策略，人類標(biāo)注員對(duì)隨機(jī)抽取的提示提供預(yù)期結(jié)果，用監(jiān)督學(xué)習(xí)的形式微調(diào) GPT-3.5，生成 Supervised Fine-Tuning（SFT）模型，使 GPT-3.5 初步理解指令，這一步與先前的 GPT-3 模型訓(xùn)練方式相同，類似于老師為學(xué)生提供標(biāo)答的過程。

2. 第二步是獎(jiǎng)勵(lì)模型，在 SFT 模型中隨機(jī)抽取提示并生成數(shù)個(gè)結(jié)果，由人類標(biāo)注員對(duì)結(jié)果的匹配程度進(jìn)行排序，再將問題與結(jié)果配對(duì)成數(shù)據(jù)對(duì)輸入獎(jiǎng)勵(lì)模型進(jìn)行打分訓(xùn)練，這個(gè)步驟類似于學(xué)生模擬標(biāo)答寫出自己的答案，老師再對(duì)每個(gè)答案進(jìn)行評(píng)分。

3. 第三步是 Proximal Policy Optimization（PPO，近段策略優(yōu)化），也是 ChatGPT 最突出的升級(jí)。模型通過第二步的打分機(jī)制，對(duì) SFT 模型內(nèi)數(shù)據(jù)進(jìn)行訓(xùn)練，自動(dòng)優(yōu)化迭代，提高 ChatGPT 輸出結(jié)果的質(zhì)量，即是學(xué)生根據(jù)老師反饋的評(píng)分，對(duì)自己的作答進(jìn)行修改，使答案更接近高分標(biāo)準(zhǔn)。

ChatGPT 的優(yōu)勢(shì)在于：

1. 使用 1750 萬億參數(shù)的 GPT-3 為底層模型進(jìn)行預(yù)訓(xùn)練，為全球最大的語言模型之一

2. 算力上得到微軟支持，使用上萬片 NVIDIA A100 GPU 進(jìn)行訓(xùn)練，模型的運(yùn)行速度得到保障（從這里就看出硬件的重要性了，A100 “卡脖子”確實(shí)很難受，不過之前各廠都囤貨了，短期應(yīng)該能滿足現(xiàn)狀，而且作為 A00 的平替 A800 即將出貨，訓(xùn)練效率快速提升，應(yīng)該也能滿足需求。)

3. 算法上使用獎(jiǎng)勵(lì)模型和近端優(yōu)化策略進(jìn)行迭代優(yōu)化， 將輸出結(jié)果與人類預(yù)期答案對(duì)齊，減少有害性、歧視性答案，使 ChatGPT 更擬人化，讓用戶感覺溝通的過程更流暢。

GPT-4

據(jù)德國(guó)媒體 Heise 消息，當(dāng)?shù)貢r(shí)間 3 月 9 日一場(chǎng)人工智能相關(guān)活動(dòng)上，四名微軟德國(guó)員工在現(xiàn)場(chǎng)介紹了包括 GPT 系列在內(nèi)的大語言模型（LLM），在活動(dòng)中，微軟德國(guó)首席技術(shù)官 Andreas Braun 表示 GPT-4 即將發(fā)布。

GPT-4 已經(jīng)發(fā)展到基本上「適用于所有語言」：你可以用德語提問，然后用意大利語得到答案。借助多模態(tài)，微軟和 OpenAI 將使「模型變得全面」。將提供完全不同的可能性，比如視頻。

AIGC 模型

在人工智能內(nèi)容生成領(lǐng)域，除了 OpenAI, 還有其他玩家，來看一下目前頭部玩家的情況：

人工智能突破摩爾定律

“

摩爾定律是由英特爾公司創(chuàng)始人之一戈登·摩爾于 1965 年提出的一項(xiàng)預(yù)測(cè)。這項(xiàng)預(yù)測(cè)認(rèn)為，在集成電路上可容納的晶體管數(shù)量每隔 18 至 24 個(gè)月會(huì)翻一番，而成本不變或者成本減少。

簡(jiǎn)單來說，摩爾定律預(yù)測(cè)了隨著時(shí)間的推移，計(jì)算機(jī)芯片上能集成的晶體管數(shù)量將以指數(shù)級(jí)別增長(zhǎng)，而成本將持續(xù)降低。這意味著計(jì)算機(jī)性能將在同樣的芯片面積上不斷提高，同時(shí)計(jì)算機(jī)的成本也會(huì)不斷降低。

摩爾定律在過去幾十年的計(jì)算機(jī)工業(yè)中發(fā)揮了重要的作用，它是計(jì)算機(jī)發(fā)展的重要標(biāo)志之一，但近年來隨著摩爾定律趨于極限，一些人開始懷疑其可持續(xù)性。

”

摩爾定律的定義歸納起來，主要有以下三種版本：

1. 集成電路上可容納的晶體管數(shù)目，約每隔 18 個(gè)月便增加一倍。

2. 微處理器的性能每隔 18 個(gè)月提高一倍，或價(jià)格下降一半。

3. 相同價(jià)格所買的電腦，性能每隔 18 個(gè)月增加一倍。

隨著模型的迭代，對(duì)算力的需求也越來越大了：

目前看人工智能對(duì)算力的需求已經(jīng)突破了摩爾定律

未來

目前我已在編程、郵件書寫、知識(shí)學(xué)習(xí)等多個(gè)場(chǎng)景開始使用 chatGPT,未來有計(jì)劃開發(fā) chatGPT的應(yīng)用程序，讓更多人能夠體驗(yàn)到 chatGPT 的魅力。

未來已來，缺少的不是技術(shù)，而是想象力！

充電君會(huì)在第一時(shí)間給你帶來最新、最全面的解讀，別忘了三聯(lián)一波哦。 ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?關(guān)注公眾號(hào)：資源充電吧
回復(fù):Chat GPT
充電君發(fā)你：免費(fèi)暢享使用中文版哦
點(diǎn)擊小卡片關(guān)注下，回復(fù)：IT

想要的資料全都有?
?文章來源地址http://www.zghlxwxcb.cn/news/detail-622902.html

到了這里，關(guān)于從 GPU 到 ChatGPT，一文帶你理清GPU/CPU/AI/NLP/GPT之間的千絲萬縷【建議收藏】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！