寫在前面

OpenAI 在 2022 年 11 月推出了人工智能聊天應(yīng)用—ChatGPT。它具有廣泛的應(yīng)用場景，在多項專業(yè)和學(xué)術(shù)基準(zhǔn)測試中表現(xiàn)出的智力水平，不僅接近甚至有時超越了人類的平均水平。這使得 ChatGPT 在推出之初就受到廣大用戶的歡迎，被科技界譽為人工智能領(lǐng)域的新里程碑。

人們在為生成式人工智能所帶來的多模態(tài)內(nèi)容創(chuàng)作效率的提升而歡呼時，常常低估ChatGPT的推理能力。這種能力使ChatGPT不僅能作為新一代人機交互的核心，還能作為智能代理來構(gòu)建自動化和半自動化的工作流程，甚至使它能與工業(yè)控制或機器人領(lǐng)域相結(jié)合，引發(fā)深刻的社會變革。

許多人低估了這種變革的影響力。以當(dāng)前研發(fā)和商業(yè)應(yīng)用的迭代速度來看，預(yù)計在未來三至五年內(nèi)，這種變革將逐漸滲透到人類生活和生產(chǎn)的各個方面，極大地提升現(xiàn)有的生產(chǎn)力。若要追溯上一個被稱為“巨大技術(shù)變革”的時代，很多人都會毫不猶豫地說是互聯(lián)網(wǎng)開創(chuàng)期。這次變革也將重塑內(nèi)容生產(chǎn)相關(guān)的商業(yè)模式，改變現(xiàn)有的工作方式，甚至推動生產(chǎn)方式的變革。當(dāng)然，這還需要依賴下一代大語言模型在內(nèi)容輸出的可控性方面的突破。

內(nèi)容簡介

這是一本深入闡述ChatGPT等大模型的工作原理、運行機制、架構(gòu)設(shè)計和底層技術(shù)，以及預(yù)訓(xùn)練、遷移、微調(diào)和中間件編程的著作。它將幫助我們從理論角度全面理解大模型，從實踐角度更好地應(yīng)用大模型，是作者成功訓(xùn)練并部署大模型的過程復(fù)盤和經(jīng)驗總結(jié)。

第1章介紹了ChatGPT等大模型的發(fā)展歷程、技術(shù)演化和技術(shù)棧等基礎(chǔ)知識；第2~5章 深入講解了Transformer的架構(gòu)原理，并從GPT-1的生成式預(yù)訓(xùn)練到GPT-3的稀疏注意力機制詳細(xì)描述了GPT系列的架構(gòu)演進(jìn)；第6~8章 從底層技術(shù)實現(xiàn)的角度講解了大模型的訓(xùn)練策略、數(shù)據(jù)處理方法，以及如何利用策略優(yōu)化和人類反饋來進(jìn)一步提升模型的表現(xiàn)；第9~10章 首先詳細(xì)講解了大模型在垂直領(lǐng)域的低算力遷移方法，并給出了醫(yī)療和司法領(lǐng)域的遷移案例，然后講解了大模型的中間件編程；第11章 對GPT的未來發(fā)展趨勢進(jìn)行預(yù)測，探討數(shù)據(jù)資源、自回歸模型的局限性，以及大模型時代具身智能的可行路線。

適合讀者：

人工智能領(lǐng)域的產(chǎn)品經(jīng)理。對于希望在自家產(chǎn)品中引入AI功能的產(chǎn)品經(jīng)理來說，了解ChatGPT等大語言模型的基本原理和運行機制是至關(guān)重要的。從本書中，他們可以學(xué)習(xí)大語言模型的設(shè)計思想、構(gòu)造方式，以及如何將這些模型整合到產(chǎn)品中去。他們也可以借此更好地理解產(chǎn)品的性能瓶頸，從而進(jìn)行更為精確的產(chǎn)品規(guī)劃。

人工智能相關(guān)專業(yè)的研究人員。AI研究者可以將本書作為一本深入了解大語言模型的教科書。無論是Transformer模型的細(xì)節(jié)，還是GPT模型訓(xùn)練和優(yōu)化的技巧，書中都進(jìn)行了詳細(xì)的介紹。更重要的是，書中還探討了一些最前沿的研究領(lǐng)域，比如人類反饋強化學(xué)習(xí)、指令自舉標(biāo)注算法等。

大規(guī)模數(shù)據(jù)處理和分析的工程師。對于面臨如何高效處理大規(guī)模數(shù)據(jù)、如何構(gòu)建分布式訓(xùn)練架構(gòu)等問題的工程師來說，本書可以提供許多寶貴的建議和思路。例如，第6章對數(shù)據(jù)處理和分布式訓(xùn)練模式進(jìn)行了深入的討論。

AI技術(shù)的愛好者和使用者。如果你是一個AI技術(shù)的愛好者，或者是一個善于運用技術(shù)改善生活的人，本書同樣適合你。書中對大語言模型的介紹通俗易懂，可以讓你對這個強大的技術(shù)有個全面的了解。此外，書中還提供了許多實用的使用技巧和案例，可以將它們直接應(yīng)用到你的生活或工作中去。

作者簡介

程戈
博士生導(dǎo)師，湘潭大學(xué)計算機學(xué)院·網(wǎng)絡(luò)空間安全學(xué)院教授，湘潭大學(xué)技術(shù)轉(zhuǎn)移中心副主任，湘潭市京東智能城市與大數(shù)據(jù)研究院副院長，智慧司法與數(shù)字治理湖南省重點實驗室副主任，CCF計算法學(xué)會執(zhí)委。
大模型領(lǐng)域技術(shù)專家和布道者，作為兩項科技部國家重點研發(fā)子課題的負(fù)責(zé)人，與成都數(shù)之聯(lián)等多家企業(yè)合作推動人工智能在司法領(lǐng)域的落地，帶領(lǐng)團隊開發(fā)了JusticeGPT司法大模型，不同于其他的以提升司法領(lǐng)域知識問答能力為核心的司法大模型，該大模型致力于提升司法文獻(xiàn)檢索增強生成以及司法文檔的多跳信息聚合能力，并通過特定的多任務(wù)表征與控制指令生成框架重構(gòu)司法信息化系統(tǒng)的業(yè)務(wù)中臺，實現(xiàn)司法業(yè)務(wù)編排以及工作流自動化。
連續(xù)創(chuàng)業(yè)者，先后創(chuàng)立湘潭安道致勝信息科技有限公司等多家企業(yè)，曾經(jīng)作為共同創(chuàng)始人加盟美國WiFi Free llc. ，開發(fā)了WiFi Free、WiFi Analyzer?等項目，其中WiFi Free在2014到2015年是Google Play市場相關(guān)WiFi分享類應(yīng)用下載的前三名。作為技術(shù)顧問，先后服務(wù)于北京捷通華聲等多家企業(yè)，提供知識表示學(xué)習(xí)的技術(shù)解決方案，為某知名私募開發(fā)了基于深度學(xué)習(xí)的股票趨勢預(yù)測系統(tǒng)，成為該私募公司的主要量化工具。

專家推薦

作者結(jié)合科研和實踐經(jīng)驗，用樸實無華的語言，扎實、嚴(yán)謹(jǐn)?shù)仄饰隽薈hatGPT的技術(shù)原理和大模型的關(guān)鍵技術(shù)。全書內(nèi)容豐富翔實，圖文并茂，任何想要真正理解ChatGPT的讀者，都會從本書中獲益匪淺，深刻領(lǐng)會這項里程碑式的技術(shù)成果。
—— 陳峰　北京滴普科技有限公司合伙人&《ClickHouse性能之巔》作者

創(chuàng)業(yè)不易，比較幸運的是，我在北大做研究時，和團隊一起成功地開發(fā)了ChatLaw——國內(nèi)首個在法律領(lǐng)域應(yīng)用的大模型。本書的作者和團隊也成功訓(xùn)練出法律行業(yè)的大模型，這本書分享了他們的成功經(jīng)驗。如果你對類似ChatGPT大模型的訓(xùn)練感興趣，那么本書將是你不容錯過的力作。
—— 崔家熙　ChatLaw

本書不僅能讓你站在巨人的肩膀上俯瞰大語言模型的全貌，還帶領(lǐng)你深入洞察其背后的原理與架構(gòu)設(shè)計。不僅是一本理論與實踐并重的參考書，更是一部引領(lǐng)人工智能領(lǐng)域創(chuàng)新發(fā)展的啟示錄。它將為你揭示大語言模型如何改變我們的生活，并展示如何在這一領(lǐng)域挖掘無限可能。
—— 黃劍　Google工程師/抖音“劍哥聊技術(shù)”博主（僅代表個人觀點，與任何公司無關(guān)）

本書系統(tǒng)地剖析了支撐ChatGPT的關(guān)鍵技術(shù)，包括Transformer模型、注意力機制、生成式預(yù)訓(xùn)練等理論基礎(chǔ)，以及模型優(yōu)化、低算力部署、人機交互等關(guān)鍵問題。全書內(nèi)容豐富翔實，圖文并茂，任何想要真正理解ChatGPT的讀者都能從中獲益。作者結(jié)合科研和實踐經(jīng)驗，用平實的語言娓娓道來，讓這個高深的主題變得觸手可及。
—— 劉聰　南京云問科技首席算法架構(gòu)師/知乎博主：@劉聰NLP/《ChatGPT原理與實踐》作者

這是一本細(xì)致入微地剖析ChatGPT內(nèi)在技術(shù)原理的佳作。內(nèi)容嚴(yán)謹(jǐn)，結(jié)構(gòu)清晰，層層深入地剖析了大語言模型背后的關(guān)鍵技術(shù)，如Transformer、注意力機制、生成式預(yù)訓(xùn)練等。這是一本質(zhì)量上乘的技術(shù)專著，它不僅系統(tǒng)全面，而且深入淺出，將ChatGPT這一復(fù)雜系統(tǒng)娓娓道來，讓讀者獲益匪淺。
—— 劉樹春 阿里巴巴高級算法專家
對于任何渴望深入了解大語言模型的人來說，本書是一本無價之寶。它是進(jìn)入大語言模型訓(xùn)練和微調(diào)世界的敲門磚，同時也是您在人工智能領(lǐng)域取得成就的助推器。通過本書，您將掌握大語言模型的工作原理、技術(shù)挑戰(zhàn)與發(fā)展趨勢，從而為自己在人工智能時代的角色定位提供有力支持。
—— 占冰強　AIGCLINK發(fā)起人/行行AI合伙人

直播預(yù)約

3月7日周四19：00，大模型領(lǐng)域技術(shù)專家，湖南國家應(yīng)用數(shù)學(xué)中心副主任，湘潭市京東智能城市與大數(shù)據(jù)研究院副院長，湘潭大學(xué)計算機學(xué)院.網(wǎng)絡(luò)空間學(xué)院教授 程戈老師與您分享“世界模型改變世界：從GPT到Sora”，點擊預(yù)約觀看！

文章來源地址http://www.zghlxwxcb.cn/news/detail-839353.html

到了這里，關(guān)于一本書講透ChatGPT——理論與實踐的完美結(jié)合，大模型技術(shù)工程師的必備指南的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！