2022年11月30日一定是一個(gè)載入人類AI發(fā)展史的一天，這一天第一個(gè)版本的Chat GPT（全稱：Chat Generative Pre-trained Transforme）發(fā)布了。毫不夸張地說(shuō)，chatGPT的發(fā)布和用戶體驗(yàn)，將整個(gè)AI話題推上了一個(gè)前作未有的高度（包括最早的深藍(lán)，AlphaGo，Boston Dynamics 等產(chǎn)品）。這是利用大語(yǔ)言模型（LLM：Large Language Model）完成人類和計(jì)算機(jī)的類人的模糊交流。包括比爾-蓋茨，老黃等眾多科技大佬為之點(diǎn)贊，整個(gè)科技界都為之狂歡，甚至都逼的Google大佬親自上陣調(diào)教自家Bert來(lái)應(yīng)對(duì)ChatGPT的挑戰(zhàn)
ChatGPT 颶風(fēng)
從ChatGPT發(fā)布到第一個(gè)一億用戶，只用了短短兩個(gè)月，這個(gè)絕對(duì)是前無(wú)古人，后鮮有來(lái)者的數(shù)據(jù)。
互聯(lián)網(wǎng)指數(shù)級(jí)的增長(zhǎng)在這里得到了充分的體現(xiàn)，只要產(chǎn)品過(guò)影，火星人馬丁叔叔都可能會(huì)成為你的忠粉
就在本月，連續(xù)三個(gè)有關(guān)AI的產(chǎn)品發(fā)布依次降臨：
- 2023年3月15日 OpenAI 發(fā)布ChatGPT4
- 2023年3月16日 微軟發(fā)布基于ChatGPT4引擎的Office 365 Copilot
- 2023年3月16日? 百度才發(fā)布“文心一言”
前兩個(gè)發(fā)布應(yīng)該都是安排好的，微軟是OpenAI的大股東，在ChatGPT3.5發(fā)布的時(shí)候就有過(guò)傳言，微軟正在全面整合ChatGPT到微軟的產(chǎn)品中，第一個(gè)整合ChatGPT的微軟產(chǎn)品就是新必應(yīng)（New Bing，2023年2月7號(hào)發(fā)布），在過(guò)去的一個(gè)來(lái)月，Google的搜索量應(yīng)聲下降了2%！所以整合ChatGPT4的office Copilot就顯得水到渠成了。有興趣的小伙伴可以看一下Office 365 Copilot的發(fā)布會(huì)，相當(dāng)震撼。office的體驗(yàn)簡(jiǎn)直絲滑到?jīng)]有摩擦力了，半分鐘word，10秒PPT，估計(jì)以后小朋友都可以直接玩轉(zhuǎn)office了。此外，OpenAI的所有硬件都是運(yùn)行在微軟的Azure云服務(wù)器矩陣上的，OpenAI只生成創(chuàng)新，并不買服務(wù)器。但是大家要知道，最早的OpenAI可是選擇Google的云服務(wù)器的。以上種種，可以看到微軟這個(gè)48歲的老江湖，依然走在真?zhèn)€科技的最前沿，依然意氣風(fēng)發(fā)。
第三個(gè)發(fā)布的百度的文心一言，這里確實(shí)要點(diǎn)贊一下！對(duì)于世界AI的崛起，中國(guó)絕對(duì)不能默不作聲。雖然當(dāng)前的文心一言還有很多不足的地方（有up主做過(guò)一些測(cè)試，有興趣的小伙伴可以關(guān)注一下），但是這不是主要問(wèn)題，先站出來(lái)迎戰(zhàn)，才有可能形成挑戰(zhàn)！
ChatGPT4的提升
ChatGPT4 相較于前版本GPT3.5有了更為強(qiáng)大的提升：
可以讀取文字和圖片混合模式的輸入：可以讀圖生成網(wǎng)站的前端JS代碼，或者理解一幅圖的內(nèi)容
提問(wèn)：請(qǐng)問(wèn)圖片中有什么不尋常的地方
回答：這個(gè)圖片有點(diǎn)奇怪，一個(gè)男的固定在一輛正在行駛中的出租車的車頂，并且在一個(gè)熨燙板上熨衣服。
通用考試中，更高的考試成績(jī)
比如，在統(tǒng)一律師考試（ Uniform Bar Exam ）中，GPT-4 可以超過(guò) 90% 的人類考生，而老版本只能超過(guò) 10% 的人類考生，相當(dāng)于一個(gè)是考第一名，一個(gè)是考倒數(shù)第一名。
在 GRE 數(shù)學(xué)考試中 GPT-4 可以考 163 分（ 170 分滿 ）超過(guò) 80% 的考生，老版本只能超過(guò) 25% 的考生。
在 GRE 語(yǔ)文（ 閱讀與填空 ）考試中 GPT-4 可以考 169 分（ 170 分滿 ）超過(guò) 99% 的考生，而老版本只能超過(guò) 63% 的考生。
單從這兩門的分?jǐn)?shù)來(lái)看，GPT-4 到了可以申請(qǐng)哈佛、麻省理工、斯坦福大學(xué)的水平。
更大的訓(xùn)練模型
汽車已經(jīng)發(fā)動(dòng)起來(lái)了，速度提升只是時(shí)間問(wèn)題，下圖展示了ChatGPT4和ChatGPT3訓(xùn)練參數(shù)數(shù)量的區(qū)別
ChatGPT的原理
這么厲害的東東，他是怎么工作的呢？這里一起來(lái)看看它的工作原理
首先ChatGPT是一個(gè)單字生成迭代器。利用每一個(gè)輸入的文字（注意是字不是詞也不是句子），產(chǎn)生下一個(gè)字，中間產(chǎn)生的的過(guò)程也會(huì)有迭代?？梢钥吹紾PT的迭代是單向的，Google都Bert是雙向的，這個(gè)其實(shí)會(huì)比較復(fù)雜，也會(huì)有算力的代價(jià)。筆者理解，人類的思維應(yīng)該是更偏向于ChatGPT的單向迭代，當(dāng)然如果Bert可以成功，那就會(huì)說(shuō)出超語(yǔ)言（super-word）。
如果需要模型生成單字，就要訓(xùn)練他，就像對(duì)小朋友訓(xùn)練類似，不斷地訓(xùn)練，小朋友可以表述的字和句子就會(huì)越來(lái)越豐富。這個(gè)還是沿用了傳統(tǒng)的教育，引導(dǎo)，獎(jiǎng)懲的機(jī)制。計(jì)算機(jī)的算法模型也是可以契合這種訓(xùn)練方式的，這個(gè)在上世紀(jì)80年代的AI訓(xùn)練中就有提及，這一點(diǎn)一直都沒(méi)有發(fā)生變化，模型訓(xùn)練的簡(jiǎn)單步驟
- 第一階段：訓(xùn)練監(jiān)督策略模型：對(duì)模型提供問(wèn)題和正確答案的模板，供AI學(xué)習(xí)
- 第二階段：訓(xùn)練獎(jiǎng)勵(lì)模型：讓AI嘗試回答人類問(wèn)題，人類對(duì)問(wèn)題的答案進(jìn)行打分，給出AI指引，這一過(guò)程類似于教練或老師輔導(dǎo)。引導(dǎo)AI在未來(lái)回答得分較高的答案
- 第三階段：使用離線模式強(qiáng)化訓(xùn)練：利用PPO（Proximal Policy Optimization）生成回答，并用第二階段獎(jiǎng)勵(lì)模型進(jìn)行打分，再次對(duì)AI進(jìn)行打分迭代，從而強(qiáng)化PPO的模型參數(shù)和精準(zhǔn)度
不斷重復(fù)第二和第三階段，通過(guò)迭代，這樣會(huì)訓(xùn)練出更高質(zhì)量的ChatGPT模型。
ChatGPT算力和成本
硬件預(yù)覽
ChatGPT 可以實(shí)現(xiàn)和人類對(duì)話的前提是有一個(gè)及其龐大的硬件運(yùn)算體系，據(jù)估算，ChatGPT的總算力消耗約為3640PF-days (即假如每秒計(jì)算一千萬(wàn)億次，需要計(jì)算3640天)。微軟使用了一萬(wàn)片NV的A100 超高性能GPU芯片，單顆顯卡售價(jià)唱過(guò)5萬(wàn)人民幣，如果是基于A100的小型服務(wù)器，售價(jià)更是高達(dá)100萬(wàn)人民幣！微軟單在Azure的·A100的運(yùn)算架構(gòu)，就給OpenAI投入了上億美元的云端設(shè)備。微軟已經(jīng)在評(píng)估NV最新的H100，算力提升明顯，NV給出的評(píng)估是相較于A100，H100的算力會(huì)提高10倍，相信不久的未來(lái)ChatGPT的輸出就出自H100的運(yùn)算結(jié)果。當(dāng)然，H100的售價(jià)更是超過(guò)了驚人的20萬(wàn)人民幣（3+萬(wàn)US$，圖示為日元報(bào)價(jià)）.
據(jù)估算，OpenAI需要的初始硬件成本高達(dá)：10億美金，約合65億人民幣
運(yùn)算和運(yùn)營(yíng)成本
GPT-3訓(xùn)練成本約為140萬(wàn)美元；對(duì)于一些更大的LLM模型，訓(xùn)練成本約達(dá)到1120萬(wàn)美元。單日應(yīng)對(duì)13M訪客的電費(fèi)就超過(guò)4.7萬(wàn)美金，基于數(shù)據(jù)的增長(zhǎng)，每三到四個(gè)月就需要運(yùn)算一次。一年下來(lái)，投入在訓(xùn)練和日常運(yùn)營(yíng)的成本就高達(dá)：2260萬(wàn)美金, 折合人民幣約1.5億。這個(gè)對(duì)于一般公司確實(shí)是一個(gè)不小的開支文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-435811.html
參考資料
架構(gòu)師技術(shù)聯(lián)盟 ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái)
國(guó)盛計(jì)算機(jī) ChatGPT需要多少算力
Hassan Mujtaba *** NVIDIA H100 80 GB PCIe Accelerator With Hopper GPU Is Priced Over $30,000 US In Japan***
OpenAI *** GPT-4 Technical Report ***文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-435811.html
到了這里，關(guān)于芯片工程師的ChatGPT初體驗(yàn)（上）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
