??????OpenAI聊天機器人ChatGPT——「全域全知全能」人類全宇宙大爆炸?。??????
一、什么是ChatGPT?????
ChatGPT是生成型預(yù)訓(xùn)練變換模型（Chat Generative Pre-trained Transformer）的縮寫，是一種語言模型。而OpenAI所提出的這一系列的模型，可以執(zhí)行非常復(fù)雜的任務(wù)，如回復(fù)問題、生成文章和程序代碼，或者翻譯文章內(nèi)容等。而GPT中的Transformer是指由Google Brain所推出的解碼器（decoder），是用來處理輸入的自然語言以處理翻譯、摘要等。ChatGPT是OpenAI開發(fā)的一種創(chuàng)新AI模型，利用強大的GPT-3系列，并通過人類反饋與強化學(xué)習(xí)相一致。ChatGPT是一個聊天機器人，它為對話帶來了一個新的互動和參與水平，對問題提供了深刻和發(fā)人深省的回答。
但ChatGPT不僅僅是個聊天機器人，而是上知天文下知地理、可以針對使用者問題給予相應(yīng)的長篇回復(fù)；問答解惑、寫程式和debug，甚至撰寫論文、劇本小說詩歌等等，都難不倒它，只是有時還是會出現(xiàn)令人啼笑皆非的答案，但都還編得有模有樣、令人驚艷。
ChatGPT自2022年11月30日開放公眾使用以來，已經(jīng)吸引超過100萬人使用，社群媒體也涌現(xiàn)了大量用戶的測試截圖，主題廣泛，個個都在測試人工智慧的極限。
總之，ChatGPT是一個非常強大和多功能的人工智能模型，能夠提供有洞察力和吸引人的對話，并以多種不同的方式推進人工智能研究領(lǐng)域。OpenAI創(chuàng)建ChatGPT的努力無疑是一個令人印象深刻的壯舉，為AI的未來提供了不可思議的潛力。
二、ChatGPT的作者是誰？????
ChatGPT由馬斯克（Elon Musk）參與創(chuàng)立的獨立研究機構(gòu)OpenAI基金會所研發(fā)，初衷是為了確保AI最終不會消滅人類。
三、ChatGPT是如何訓(xùn)練的?????
????ChatGPT的訓(xùn)練過程分為以下三個階段????
??第一階段：
冷啟動階段的監(jiān)督策略模型?？縂PT 3.5本身，盡管它很強，但是它很難理解人類不同類型指令中蘊含的不同意圖，也很難判斷生成內(nèi)容是否是高質(zhì)量的結(jié)果。為了讓GPT 3.5初步具備理解指令中蘊含的意圖，首先會從測試用戶提交的prompt(就是指令或問題)中隨機抽取一批，靠專業(yè)的標注人員，給出指定prompt的高質(zhì)量答案，然后用這些人工標注好的<prompt,answer>數(shù)據(jù)來Fine-tune GPT 3.5模型。經(jīng)過這個過程，我們可以認為GPT 3.5初步具備了理解人類prompt中所包含意圖，并根據(jù)這個意圖給出相對高質(zhì)量回答的能力，但是很明顯，僅僅這樣做是不夠的。
??第二階段：
?訓(xùn)練回報模型（Reward Model,RM）。這個階段的主要目的是通過人工標注訓(xùn)練數(shù)據(jù)，來訓(xùn)練回報模型。具體而言，隨機抽樣一批用戶提交的prompt(大部分和第一階段的相同)，使用第一階段Fine-tune好的冷啟動模型，對于每個prompt，由冷啟動模型生成K個不同的回答，于是模型產(chǎn)生出了<prompt,answer1>,<prompt,answer2>….<prompt,answerK>數(shù)據(jù)。之后，標注人員對K個結(jié)果按照很多標準（上面提到的相關(guān)性、富含信息性、有害信息等諸多標準）綜合考慮進行排序，給出K個結(jié)果的排名順序，這就是此階段人工標注的數(shù)據(jù)。
接下來，我們準備利用這個排序結(jié)果數(shù)據(jù)來訓(xùn)練回報模型，采取的訓(xùn)練模式其實就是平常經(jīng)常用到的pair-wise learning to rank。對于K個排序結(jié)果，兩兩組合，形成
個訓(xùn)練數(shù)據(jù)對，ChatGPT采取pair-wise loss來訓(xùn)練Reward Model。RM模型接受一個輸入<prompt,answer>，給出評價回答質(zhì)量高低的回報分數(shù)Score。對于一對訓(xùn)練數(shù)據(jù)<answer1,answer2>，我們假設(shè)人工排序中answer1排在answer2前面，那么Loss函數(shù)則鼓勵RM模型對<prompt,answer1>的打分要比<prompt,answer2>的打分要高。
歸納下：在這個階段里，首先由冷啟動后的監(jiān)督策略模型為每個prompt產(chǎn)生K個結(jié)果，人工根據(jù)結(jié)果質(zhì)量由高到低排序，以此作為訓(xùn)練數(shù)據(jù)，通過pair-wise learning to rank模式來訓(xùn)練回報模型。對于學(xué)好的RM模型來說，輸入<prompt,answer>，輸出結(jié)果的質(zhì)量得分，得分越高說明產(chǎn)生的回答質(zhì)量越高。
??第三階段：
采用強化學(xué)習(xí)來增強預(yù)訓(xùn)練模型的能力。本階段無需人工標注數(shù)據(jù)，而是利用上一階段學(xué)好的RM模型，靠RM打分結(jié)果來更新預(yù)訓(xùn)練模型參數(shù)。具體而言，首先，從用戶提交的prompt里隨機采樣一批新的命令（指的是和第一第二階段不同的新的prompt，這個其實是很重要的，對于提升LLM模型理解instruct指令的泛化能力很有幫助），且由冷啟動模型來初始化PPO模型的參數(shù)。然后，對于隨機抽取的prompt，使用PPO模型生成回答answer， 并用上一階段訓(xùn)練好的RM模型給出answer質(zhì)量評估的回報分數(shù)score，這個回報分數(shù)就是RM賦予給整個回答（由單詞序列構(gòu)成）的整體reward。有了單詞序列的最終回報，就可以把每個單詞看作一個時間步，把reward由后往前依次傳遞，由此產(chǎn)生的策略梯度可以更新PPO模型參數(shù)。這是標準的強化學(xué)習(xí)過程，目的是訓(xùn)練LLM產(chǎn)生高reward的答案，也即是產(chǎn)生符合RM標準的高質(zhì)量回答。
如果我們不斷重復(fù)第二和第三階段，很明顯，每一輪迭代都使得LLM模型能力越來越強。因為第二階段通過人工標注數(shù)據(jù)來增強RM模型的能力，而第三階段，經(jīng)過增強的RM模型對新prompt產(chǎn)生的回答打分會更準，并利用強化學(xué)習(xí)來鼓勵LLM模型學(xué)習(xí)新的高質(zhì)量內(nèi)容，這起到了類似利用偽標簽擴充高質(zhì)量訓(xùn)練數(shù)據(jù)的作用，于是LLM模型進一步得到增強。顯然，第二階段和第三階段有相互促進的作用，這是為何不斷迭代會有持續(xù)增強效果的原因。
盡管如此，我覺得第三階段采用強化學(xué)習(xí)策略，未必是ChatGPT模型效果特別好的主要原因。假設(shè)第三階段不采用強化學(xué)習(xí)，換成如下方法：類似第二階段的做法，對于一個新的prompt，冷啟動模型可以產(chǎn)生k個回答，由RM模型分別打分，我們選擇得分最高的回答，構(gòu)成新的訓(xùn)練數(shù)據(jù)<prompt,answer>,去fine-tune LLM模型。假設(shè)換成這種模式，我相信起到的作用可能跟強化學(xué)習(xí)比，雖然沒那么精巧，但是效果也未必一定就差很多。第三階段無論采取哪種技術(shù)模式，本質(zhì)上很可能都是利用第二階段學(xué)會的RM，起到了擴充LLM模型高質(zhì)量訓(xùn)練數(shù)據(jù)的作用。
以上是ChatGPT的訓(xùn)練流程。
四、ChatGPT的演變歷程????
1. GPT-1
就是第一代GPT模型，于2018年6月誕生時，就已經(jīng)是個強大的語言理解模型。從判斷兩個句子間的語意與關(guān)系、文本資料分類、問答與常識推理都難不倒，只是并非好的對話式AI模型，訓(xùn)練參數(shù)也遠低于后續(xù)模型。
2. GPT-2
2019年2月OpenAI又推出了由GPT-1演變而來的GPT-2，但主要改變只有使用了更多參數(shù)與數(shù)據(jù)集，參數(shù)量達15億（GPT-1僅有1.17億），而學(xué)習(xí)目標改成了「無特定任務(wù)訓(xùn)練」。這證明了，大幅增加的參數(shù)和資料可以讓GPT-2比起GPT-1更上一層樓，雖然有些任務(wù)的表現(xiàn)不比隨機的好，但在生成短文和編故事等方面都有了一定的突破。
3. GPT-3／GPT-3.5
2020年GPT-3也受簡單粗暴地用錢堆出了更多的運算資源，延續(xù)過去GPT類的單向語言模型的訓(xùn)練方式，只是將模型增大到1750億參數(shù)。GPT-3在自然語言處理領(lǐng)域已經(jīng)取得了重大的突破，成為了當(dāng)時最大、最強大的自然語言生成模型，從機器翻譯到文章總結(jié)輸出，都有著非常出色的表現(xiàn)。
只是，2020年因為疫情嚴峻所致，人們對于人工智慧領(lǐng)域的突破并沒有足夠的關(guān)注。而且，比起ChatGPT，GPT-3并沒有辦法進行自然的對話，只能處理單向的任務(wù)，因此也只有少數(shù)開發(fā)者有興趣。
直到2022年11月底，OpenAI才發(fā)布了「GPT-3.5」的更新，主打?qū)υ捘Ｊ?，甚至可以承認錯誤、且拒絕不恰當(dāng)?shù)恼埱螬ぉみ@就是支持ChatGPT背后的模型，其更接近人類對話與思考方式的特點也吸引了全球的目光。
4. GPT-4
距上次GPT-3.5的更新不久，2023年3月14日，OpenAI又拋出GPT-4，此次除了正確度高出40%、以整理和搜尋網(wǎng)絡(luò)上的資訊為主，還可以支援視覺輸入、圖像辨識，并懂得「看圖說故事」！不過GPT-4沒有再砸下重金、狂堆訓(xùn)練參數(shù)，而是把研發(fā)的重點將放在提升利用現(xiàn)有數(shù)據(jù)的能力上。文章來源：http://www.zghlxwxcb.cn/news/detail-412687.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-412687.html
??????【算法創(chuàng)新&算法訓(xùn)練&論文投稿】相關(guān)鏈接??????
?【YOLO創(chuàng)新算法嘗新系列】?
???美團出品 | YOLOv6 v3.0 is Coming（超越Y(jié)OLOv7、v8）
???官方正品 | Ultralytics YOLOv8算法來啦（尖端SOTA模型）
???改進YOLOv5/YOLOv7——魔改YOLOv5/YOLOv7提升檢測精度（漲點必備）
——————————————??【重磅干貨來襲】??——————————————
??一、主干網(wǎng)絡(luò)改進（持續(xù)更新中）????
1.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合ConvNeXt結(jié)構(gòu)（純卷積|超越Swin）
2.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合MobileOne結(jié)構(gòu)（高性能骨干|僅需1ms）
3.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合Swin Transformer V2（漲點神器）
4.目標檢測算法——YOLOv5/YOLOv7改進結(jié)合BotNet（Transformer）
5.目標檢測算法——YOLOv5/YOLOv7改進之GSConv+Slim Neck（優(yōu)化成本）
6.目標檢測算法——YOLOv5/YOLOv7改進結(jié)合新神經(jīng)網(wǎng)絡(luò)算子Involution（CVPR 2021）
7.目標檢測算法——YOLOv7改進|增加小目標檢測層
8.目標檢測算法——YOLOv5改進|增加小目標檢測層
9.目標檢測算法——YOLOv5/v7改進之結(jié)合最強視覺識別模塊CotNet（Transformer）
10.目標檢測算法——YOLOv5/v7/v8改進結(jié)合即插即用的動態(tài)卷積ODConv（小目標漲點神器）
?? 持續(xù)更新中……
??二、輕量化網(wǎng)絡(luò)（持續(xù)更新中）????
1.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合?RepVGG（速度飆升）
2.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合?PP-LCNet（輕量級CPU網(wǎng)絡(luò)）
3.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合輕量化網(wǎng)絡(luò)MobileNetV3（降參提速）
4.目標檢測算法——YOLOv5/YOLOv7改進|結(jié)合輕量型網(wǎng)絡(luò)ShuffleNetV2
5.目標檢測算法——YOLOv5/YOLOv7改進結(jié)合輕量型Ghost模塊
?? 持續(xù)更新中……
??三、注意力機制（持續(xù)更新中）????
1.目標檢測算法——YOLOv5改進之結(jié)合CBAM注意力機制
2.目標檢測算法——YOLOv7改進之結(jié)合CBAM注意力機制
3.目標檢測算法——YOLOv5/YOLOv7之結(jié)合CA注意力機制
4.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合ECA注意力機制
5.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合NAMAttention（提升漲點）
6.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合GAMAttention
7.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合無參注意力SimAM（漲點神器）
8.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合Criss-Cross Attention
9.?目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合?SOCA（單幅圖像超分辨率）
?? 持續(xù)更新中……
??四、檢測頭部改進（持續(xù)更新中）????
1.魔改YOLOv5/YOLOv7高階版——改進之結(jié)合解耦頭Decoupled_Detect
2.目標檢測算法——YOLOv5/YOLOv7改進結(jié)合漲點Trick之ASFF（自適應(yīng)空間特征融合）
?? 持續(xù)更新中……
??五、空間金字塔池化（持續(xù)更新中）????
1.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合?ASPP（空洞空間卷積池化金字塔）
2.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合特征提取網(wǎng)絡(luò)RFBNet（漲點明顯）
?? 持續(xù)更新中……
??六、損失函數(shù)及NMS改進（持續(xù)更新中）????
1.目標檢測算法——YOLOv5/YOLOv7改進|將IOU Loss替換為EIOU Loss
2.目標檢測算法——助力漲點 | YOLOv5改進結(jié)合Alpha-IoU
3.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合SIoU
4.目標檢測算法——YOLOv5將NMS替換為DIoU-NMS
5.目標檢測算法——YOLOv5/v7/v8改進結(jié)合漲點Trick之Wise-IoU（超越CIOU/SIOU）
?? 持續(xù)更新中……
??七、其他創(chuàng)新改進項目（持續(xù)更新中）????
1.手把手教你搭建屬于自己的PyQt5-YOLOv5目標檢測平臺（保姆級教程）
2.YOLO算法改進之結(jié)合GradCAM可視化熱力圖（附詳細教程）
3.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合SPD-Conv（低分辨率圖像和小目標漲點明顯）
4.目標檢測算法——YOLOv5/YOLOv7改進之更換FReLU激活函數(shù)
5.目標檢測算法——YOLOv5/YOLOv7改進之結(jié)合BiFPN
?? 持續(xù)更新中……
??八、算法訓(xùn)練相關(guān)項目（持續(xù)更新中）????
1.目標檢測算法——YOLOv7訓(xùn)練自己的數(shù)據(jù)集（保姆級教程）
2.人工智能前沿——玩轉(zhuǎn)OpenAI語音機器人ChatGPT（中文版）
3.深度學(xué)習(xí)之語義分割算法（入門學(xué)習(xí)）
4.知識經(jīng)驗分享——YOLOv5-6.0訓(xùn)練出錯及解決方法（RuntimeError）
5.目標檢測算法——將xml格式轉(zhuǎn)換為YOLOv5格式txt
6.目標檢測算法——YOLOv5/YOLOv7如何改變bbox檢測框的粗細大小
7.人工智能前沿——6款A(yù)I繪畫生成工具
8.YOLOv5結(jié)合人體姿態(tài)估計
9.超越Y(jié)OLOv5，0.7M超輕量，又好又快（PP-YOLOE&PP-PicoDet）
10.目標檢測算法——收藏|小目標檢測的定義（一）
11.目標檢測算法——收藏|小目標檢測難點分析（二）
12.目標檢測算法——收藏|小目標檢測解決方案（三）
13.人工智能前沿——「全域全知全能」新宇宙ChatGPT
14.人工智能前沿——「小海帶」超全視覺注意力機制資源分享（附下載鏈接）
?? 持續(xù)更新中……
??九、數(shù)據(jù)資源相關(guān)項目（持續(xù)更新中）????
1.目標檢測算法——小目標檢測相關(guān)數(shù)據(jù)集（附下載鏈接）
2.目標檢測算法——3D公共數(shù)據(jù)集匯總（附下載鏈接）
3.目標檢測算法——3D公共數(shù)據(jù)集匯總 2（附下載鏈接）
4.目標檢測算法——行人檢測&人群計數(shù)數(shù)據(jù)集匯總(附下載鏈接)
5.目標檢測算法——遙感影像數(shù)據(jù)集資源匯總（附下載鏈接）
6.目標檢測算法——自動駕駛開源數(shù)據(jù)集匯總（附下載鏈接）
7.目標檢測算法——自動駕駛開源數(shù)據(jù)集匯總 2（附下載鏈接）
8.目標檢測算法——圖像分類開源數(shù)據(jù)集匯總（附下載鏈接）
9.目標檢測算法——醫(yī)學(xué)圖像開源數(shù)據(jù)集匯總（附下載鏈接）
10.目標檢測算法——工業(yè)缺陷數(shù)據(jù)集匯總1（附下載鏈接）
11.目標檢測算法——工業(yè)缺陷數(shù)據(jù)集匯總2（附下載鏈接）
12.目標檢測算法——垃圾分類數(shù)據(jù)集匯總（附下載鏈接）
13.目標檢測算法——人臉識別數(shù)據(jù)集匯總（附下載鏈接）
14.目標檢測算法——安全帽識別數(shù)據(jù)集（附下載鏈接）
15.目標檢測算法——人體姿態(tài)估計數(shù)據(jù)集匯總（附下載鏈接）
16.目標檢測算法——人體姿態(tài)估計數(shù)據(jù)集匯總 2（附下載鏈接）
17.目標檢測算法——車輛牌照識別數(shù)據(jù)集匯總（附下載鏈接）
18.目標檢測算法——車輛牌照識別數(shù)據(jù)集匯總 2（附下載鏈接）
19.收藏 | 機器學(xué)習(xí)公共數(shù)據(jù)集集錦（附下載鏈接）
20.目標檢測算法——圖像分割數(shù)據(jù)集匯總（附下載鏈接）
21.目標檢測算法——圖像分割數(shù)據(jù)集匯總 2（附下載鏈接）
22.收藏 | 自然語言處理（NLP）數(shù)據(jù)集匯總（附下載鏈接）
23.自然語言處理（NLP）數(shù)據(jù)集匯總 2（附下載鏈接）
24.自然語言處理（NLP）數(shù)據(jù)集匯總 3（附下載鏈接）
25.自然語言處理（NLP）數(shù)據(jù)集匯總 4（附下載鏈接）
26.目標檢測算法——關(guān)鍵點檢測數(shù)據(jù)集匯總（附下載鏈接）
27.目標檢測算法——圖像去霧開源數(shù)據(jù)集匯總（速速收藏）
28.目標檢測算法——圖像去噪開源數(shù)據(jù)集匯總（速速收藏）
29.目標檢測算法——農(nóng)業(yè)作物開源數(shù)據(jù)集匯總（收藏）
?? 持續(xù)更新中……
??十、論文投稿相關(guān)項目（持續(xù)更新中）????
1.論文投稿指南——收藏|SCI論文投稿注意事項（提高命中率）
2.論文投稿指南——收藏|SCI論文怎么投？（Accepted）
3.論文投稿指南——收藏|SCI寫作投稿發(fā)表全流程
4.論文投稿指南——收藏|如何選擇SCI期刊（含選刊必備神器）
5.論文投稿指南——SCI選刊
6.論文投稿指南——SCI投稿各階段郵件模板
7.人工智能前沿——深度學(xué)習(xí)熱門領(lǐng)域（確定選題及研究方向）
8.人工智能前沿——2022年最流行的十大AI技術(shù)
9.人工智能前沿——未來AI技術(shù)的五大應(yīng)用領(lǐng)域
10.人工智能前沿——無人自動駕駛技術(shù)
11.人工智能前沿——AI技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用
12.人工智能前沿——隨需應(yīng)變的未來大腦
13.目標檢測算法——深度學(xué)習(xí)知識簡要普及
14.目標檢測算法——10種深度學(xué)習(xí)框架介紹
15.目標檢測算法——為什么我選擇PyTorch？
16.知識經(jīng)驗分享——超全激活函數(shù)解析（數(shù)學(xué)原理+優(yōu)缺點）
17.知識經(jīng)驗分享——卷積神經(jīng)網(wǎng)絡(luò)（CNN）
18.海帶軟件分享——Office 2021全家桶安裝教程（附報錯解決方法）
19.海帶軟件分享——日常辦公學(xué)習(xí)軟件分享（收藏）
20.論文投稿指南——計算機視覺 (Computer Vision) 頂會歸納
21.論文投稿指南——中文核心期刊
22.論文投稿指南——計算機領(lǐng)域核心期刊
23.論文投稿指南——中文核心期刊推薦（計算機技術(shù)）
24.論文投稿指南——中文核心期刊推薦（計算機技術(shù)2）
25.論文投稿指南——中文核心期刊推薦（計算機技術(shù)3）
26.
到了這里，關(guān)于人工智能前沿——「全域全知全能」人類新宇宙ChatGPT的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
