寫在前面
OpenAI 在 2022 年 11 月推出了人工智能聊天應(yīng)用—ChatGPT。它具有廣泛的應(yīng)用場景,在多項專業(yè)和學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出的智力水平,不僅接近甚至有時超越了人類的平均水平。這使得 ChatGPT 在推出之初就受到廣大用戶的歡迎,被科技界譽為人工智能領(lǐng)域的新里程碑。
人們在為生成式人工智能所帶來的多模態(tài)內(nèi)容創(chuàng)作效率的提升而歡呼時,常常低估ChatGPT的推理能力。這種能力使ChatGPT不僅能作為新一代人機交互的核心,還能作為智能代理來構(gòu)建自動化和半自動化的工作流程,甚至使它能與工業(yè)控制或機器人領(lǐng)域相結(jié)合,引發(fā)深刻的社會變革。
許多人低估了這種變革的影響力。以當(dāng)前研發(fā)和商業(yè)應(yīng)用的迭代速度來看,預(yù)計在未來三至五年內(nèi),這種變革將逐漸滲透到人類生活和生產(chǎn)的各個方面,極大地提升現(xiàn)有的生產(chǎn)力。若要追溯上一個被稱為“巨大技術(shù)變革”的時代,很多人都會毫不猶豫地說是互聯(lián)網(wǎng)開創(chuàng)期。這次變革也將重塑內(nèi)容生產(chǎn)相關(guān)的商業(yè)模式,改變現(xiàn)有的工作方式,甚至推動生產(chǎn)方式的變革。當(dāng)然,這還需要依賴下一代大語言模型在內(nèi)容輸出的可控性方面的突破。
內(nèi)容簡介
這是一本深入闡述ChatGPT等大模型的工作原理、運行機制、架構(gòu)設(shè)計和底層技術(shù),以及預(yù)訓(xùn)練、遷移、微調(diào)和中間件編程的著作。它將幫助我們從理論角度全面理解大模型,從實踐角度更好地應(yīng)用大模型,是作者成功訓(xùn)練并部署大模型的過程復(fù)盤和經(jīng)驗總結(jié)。
第1章介紹了ChatGPT等大模型的發(fā)展歷程、技術(shù)演化和技術(shù)棧等基礎(chǔ)知識;第2~5章 深入講解了Transformer的架構(gòu)原理,并從GPT-1的生成式預(yù)訓(xùn)練到GPT-3的稀疏注意力機制詳細(xì)描述了GPT系列的架構(gòu)演進(jìn);第6~8章 從底層技術(shù)實現(xiàn)的角度講解了大模型的訓(xùn)練策略、數(shù)據(jù)處理方法,以及如何利用策略優(yōu)化和人類反饋來進(jìn)一步提升模型的表現(xiàn);第9~10章 首先詳細(xì)講解了大模型在垂直領(lǐng)域的低算力遷移方法,并給出了醫(yī)療和司法領(lǐng)域的遷移案例,然后講解了大模型的中間件編程;第11章 對GPT的未來發(fā)展趨勢進(jìn)行預(yù)測,探討數(shù)據(jù)資源、自回歸模型的局限性,以及大模型時代具身智能的可行路線。
適合讀者:
人工智能領(lǐng)域的產(chǎn)品經(jīng)理。對于希望在自家產(chǎn)品中引入AI功能的產(chǎn)品經(jīng)理來說,了解ChatGPT等大語言模型的基本原理和運行機制是至關(guān)重要的。從本書中,他們可以學(xué)習(xí)大語言模型的設(shè)計思想、構(gòu)造方式,以及如何將這些模型整合到產(chǎn)品中去。他們也可以借此更好地理解產(chǎn)品的性能瓶頸,從而進(jìn)行更為精確的產(chǎn)品規(guī)劃。
人工智能相關(guān)專業(yè)的研究人員。AI研究者可以將本書作為一本深入了解大語言模型的教科書。無論是Transformer模型的細(xì)節(jié),還是GPT模型訓(xùn)練和優(yōu)化的技巧,書中都進(jìn)行了詳細(xì)的介紹。更重要的是,書中還探討了一些最前沿的研究領(lǐng)域,比如人類反饋強化學(xué)習(xí)、指令自舉標(biāo)注算法等。
大規(guī)模數(shù)據(jù)處理和分析的工程師。對于面臨如何高效處理大規(guī)模數(shù)據(jù)、如何構(gòu)建分布式訓(xùn)練架構(gòu)等問題的工程師來說,本書可以提供許多寶貴的建議和思路。例如,第6章對數(shù)據(jù)處理和分布式訓(xùn)練模式進(jìn)行了深入的討論。
AI技術(shù)的愛好者和使用者。如果你是一個AI技術(shù)的愛好者,或者是一個善于運用技術(shù)改善生活的人,本書同樣適合你。書中對大語言模型的介紹通俗易懂,可以讓你對這個強大的技術(shù)有個全面的了解。此外,書中還提供了許多實用的使用技巧和案例,可以將它們直接應(yīng)用到你的生活或工作中去。
作者簡介
程戈
博士生導(dǎo)師,湘潭大學(xué)計算機學(xué)院·網(wǎng)絡(luò)空間安全學(xué)院教授,湘潭大學(xué)技術(shù)轉(zhuǎn)移中心副主任,湘潭市京東智能城市與大數(shù)據(jù)研究院副院長,智慧司法與數(shù)字治理湖南省重點實驗室副主任,CCF計算法學(xué)會執(zhí)委。
大模型領(lǐng)域技術(shù)專家和布道者,作為兩項科技部國家重點研發(fā)子課題的負(fù)責(zé)人,與成都數(shù)之聯(lián)等多家企業(yè)合作推動人工智能在司法領(lǐng)域的落地,帶領(lǐng)團隊開發(fā)了JusticeGPT司法大模型,不同于其他的以提升司法領(lǐng)域知識問答能力為核心的司法大模型,該大模型致力于提升司法文獻(xiàn)檢索增強生成以及司法文檔的多跳信息聚合能力,并通過特定的多任務(wù)表征與控制指令生成框架重構(gòu)司法信息化系統(tǒng)的業(yè)務(wù)中臺,實現(xiàn)司法業(yè)務(wù)編排以及工作流自動化。
連續(xù)創(chuàng)業(yè)者,先后創(chuàng)立湘潭安道致勝信息科技有限公司等多家企業(yè),曾經(jīng)作為共同創(chuàng)始人加盟美國WiFi Free llc. ,開發(fā)了WiFi Free、WiFi Analyzer?等項目,其中WiFi Free在2014到2015年是Google Play市場相關(guān)WiFi分享類應(yīng)用下載的前三名。作為技術(shù)顧問,先后服務(wù)于北京捷通華聲等多家企業(yè),提供知識表示學(xué)習(xí)的技術(shù)解決方案,為某知名私募開發(fā)了基于深度學(xué)習(xí)的股票趨勢預(yù)測系統(tǒng),成為該私募公司的主要量化工具。
專家推薦
作者結(jié)合科研和實踐經(jīng)驗,用樸實無華的語言,扎實、嚴(yán)謹(jǐn)?shù)仄饰隽薈hatGPT的技術(shù)原理和大模型的關(guān)鍵技術(shù)。全書內(nèi)容豐富翔實,圖文并茂,任何想要真正理解ChatGPT的讀者,都會從本書中獲益匪淺,深刻領(lǐng)會這項里程碑式的技術(shù)成果。
—— 陳峰 北京滴普科技有限公司合伙人&《ClickHouse性能之巔》作者
創(chuàng)業(yè)不易,比較幸運的是,我在北大做研究時,和團隊一起成功地開發(fā)了ChatLaw——國內(nèi)首個在法律領(lǐng)域應(yīng)用的大模型。本書的作者和團隊也成功訓(xùn)練出法律行業(yè)的大模型,這本書分享了他們的成功經(jīng)驗。如果你對類似ChatGPT大模型的訓(xùn)練感興趣,那么本書將是你不容錯過的力作。
—— 崔家熙 ChatLaw
本書不僅能讓你站在巨人的肩膀上俯瞰大語言模型的全貌,還帶領(lǐng)你深入洞察其背后的原理與架構(gòu)設(shè)計。不僅是一本理論與實踐并重的參考書,更是一部引領(lǐng)人工智能領(lǐng)域創(chuàng)新發(fā)展的啟示錄。它將為你揭示大語言模型如何改變我們的生活,并展示如何在這一領(lǐng)域挖掘無限可能。
—— 黃劍 Google工程師/抖音“劍哥聊技術(shù)”博主(僅代表個人觀點,與任何公司無關(guān))
本書系統(tǒng)地剖析了支撐ChatGPT的關(guān)鍵技術(shù),包括Transformer模型、注意力機制、生成式預(yù)訓(xùn)練等理論基礎(chǔ),以及模型優(yōu)化、低算力部署、人機交互等關(guān)鍵問題。全書內(nèi)容豐富翔實,圖文并茂,任何想要真正理解ChatGPT的讀者都能從中獲益。作者結(jié)合科研和實踐經(jīng)驗,用平實的語言娓娓道來,讓這個高深的主題變得觸手可及。
—— 劉聰 南京云問科技首席算法架構(gòu)師/知乎博主:@劉聰NLP/《ChatGPT原理與實踐》作者
這是一本細(xì)致入微地剖析ChatGPT內(nèi)在技術(shù)原理的佳作。內(nèi)容嚴(yán)謹(jǐn),結(jié)構(gòu)清晰,層層深入地剖析了大語言模型背后的關(guān)鍵技術(shù),如Transformer、注意力機制、生成式預(yù)訓(xùn)練等。這是一本質(zhì)量上乘的技術(shù)專著,它不僅系統(tǒng)全面,而且深入淺出,將ChatGPT這一復(fù)雜系統(tǒng)娓娓道來,讓讀者獲益匪淺。
—— 劉樹春 阿里巴巴高級算法專家
對于任何渴望深入了解大語言模型的人來說,本書是一本無價之寶。它是進(jìn)入大語言模型訓(xùn)練和微調(diào)世界的敲門磚,同時也是您在人工智能領(lǐng)域取得成就的助推器。通過本書,您將掌握大語言模型的工作原理、技術(shù)挑戰(zhàn)與發(fā)展趨勢,從而為自己在人工智能時代的角色定位提供有力支持。
—— 占冰強 AIGCLINK發(fā)起人/行行AI合伙人
直播預(yù)約
3月7日周四19:00,大模型領(lǐng)域技術(shù)專家,湖南國家應(yīng)用數(shù)學(xué)中心副主任,湘潭市京東智能城市與大數(shù)據(jù)研究院副院長,湘潭大學(xué)計算機學(xué)院.網(wǎng)絡(luò)空間學(xué)院教授 程戈老師與您分享“世界模型改變世界:從GPT到Sora”,點擊預(yù)約觀看!文章來源:http://www.zghlxwxcb.cn/news/detail-839353.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-839353.html
到了這里,關(guān)于一本書講透ChatGPT——理論與實踐的完美結(jié)合,大模型技術(shù)工程師的必備指南的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!