送書系列：

送書第一期：考研必備書單
送書第二期：CTF那些事兒
送書第三期：數(shù)據(jù)要素安全流通
送書第四期：MLOps工程實踐：工具、技術(shù)與企業(yè)級應(yīng)用
送書第五期：Python數(shù)據(jù)挖掘：入門進階與實用案例分析
送書第六期：ChatGPT 驅(qū)動軟件開發(fā)：AI 在軟件研發(fā)全流程中的革新與實踐
送書第七期： 數(shù)據(jù)相關(guān)書單自選

主頁傳送門：?? 傳送

正文開始之前先來一個小插曲：
?? 前些天發(fā)現(xiàn)了一個巨牛的人工智能學(xué)習網(wǎng)站，內(nèi)容通俗易懂，文章風趣幽默，對于學(xué)習人工智能很有幫助，忍不住在這里分享給大家。點擊人工智能即可跳轉(zhuǎn)學(xué)習 ，希望可以給仍在迷茫于如何學(xué)習人工智能的你一點小小的幫助。

什么是人工智能對齊

??人工智能對齊（AI Alignment）指讓人工智能的行為符合人的意圖和價值觀。

??人工智能系統(tǒng)可能會出現(xiàn)“不對齊”（misalign）的問題。以ChatGPT這樣的問答系統(tǒng)為例，ChatGPT的回答可能會含有危害祖國統(tǒng)一、侮辱先烈、丑化中華民族、教唆暴力、出口成“臟”等違法或不符合社會主義核心價值觀的言論，也可能會出現(xiàn)阿諛奉承、威逼利誘、信口雌黃等干預(yù)用戶達到預(yù)定目標的情況。消除人工智能系統(tǒng)不對齊的過程就稱為人工智能對齊。

??圖 ChatGPT的不對齊行為

為什么要研究人工智能對齊

??根據(jù)人工智能對齊的定義，所有的人工智能問題（包括AI倫理、AI治理、可解釋性AI，甚至是最基本的回歸和分類問題）都可以算是人工智能對齊問題。那么為什么學(xué)術(shù)界還要發(fā)明“人工智能對齊”這個新概念？研究“人工智能對齊”這個新概念有什么價值呢？

??事實上，人工智能對齊這一概念和ChatGPT這樣的通用大模型的誕生密不可分。對于通用大模型而言，一個模型可以同時完成多種任務(wù)，而且不同的任務(wù)有著不同的期望：有的任務(wù)希望能夠更有想象力，有的任務(wù)希望能夠更尊重事實；有的任務(wù)希望能夠理性客觀，有的任務(wù)希望能有細膩豐富的情感。任務(wù)的多樣性導(dǎo)致了需要對大模型進行全方面的對齊，而不僅僅是就某些方面進行對齊。傳統(tǒng)的研究往往針對某個方面進行對齊，對于ChatGPT這樣的通用模型會導(dǎo)致“按下葫蘆浮起瓢”，無法面面俱到。

??隨著機器學(xué)習模型規(guī)模的不斷變大以及神經(jīng)網(wǎng)絡(luò)的大量應(yīng)用，人類已經(jīng)無法完全理解和解釋人工智能的某些行為。例如，用于圍棋AlphaGo下的某些棋迄今也不能被人類所完全理解。在未來，有可能會出現(xiàn)全方面碾壓人類的人工智能（比如《流浪地球》里的MOSS）。傳統(tǒng)的對齊方法顯然不能滿足對這樣的人工智能的對齊需求。

人工智能對齊的常見方法

??人工智能對齊離不開人的接入。人對人工智能系統(tǒng)進行評估和反饋，可以確認人工智能中不對齊的情況，并指導(dǎo)其進行改進。

??人工智能對齊的方法包括模仿學(xué)習和人類反饋強化學(xué)習。ChatGPT就采用了這些對齊方法。

??????????????ChatGPT訓(xùn)練步驟

?????????（圖片來源：https://openai.com/blog/chatgpt）

??上圖是ChatGPT的訓(xùn)練步驟圖。步驟一利用收集到的數(shù)據(jù)進行監(jiān)督學(xué)習，這一部分就是在用模仿學(xué)習進行人工智能對齊。不過，ChatGPT的訓(xùn)練團隊認為，僅僅用模仿學(xué)習并不能完全達到要求。

??模仿學(xué)習不能完全滿足對齊需求的原因可能如下：模仿學(xué)習使用的數(shù)據(jù)集能覆蓋到的數(shù)據(jù)范圍是有限的，不可能包括所有的情況。用這樣數(shù)據(jù)集訓(xùn)練出來的人工智能難免有些邊腳情形的表現(xiàn)不對齊。另外，雖然訓(xùn)練后能夠讓訓(xùn)練目標基本上達到最優(yōu)，但是在訓(xùn)練目標最優(yōu)情況下還是會出現(xiàn)在某些樣本點上表現(xiàn)不好的情況。而這些樣本點也許還挺重要，這些不好的樣本點可能會涉及到重大的法律或是輿論風險。

??為此，ChatGPT的訓(xùn)練過程進一步地使用了人類反饋強化學(xué)習。步驟圖中的第二步和第三步就用到了人類反饋強化學(xué)習。

??第二步通過人類的反饋構(gòu)建獎勵模型。在這一步中，提供反饋的人可以就其認為需要重點關(guān)注的問題進行著重考察，來確保在哪些重要的問題上獎勵模型是正確的。并且在后續(xù)的測試中如果發(fā)現(xiàn)了之前沒有預(yù)料到的新問題，還可以通過提供更多反饋樣本來為獎勵模型打上補丁。這樣，通過人工干預(yù)、不斷迭代反饋，獎勵模型就趨于完善。這樣，就讓獎勵模型的人類的期望對齊。

??在利用反饋進行獎勵模型對齊的訓(xùn)練過程中，對于每個樣本，先由語言模型輸出幾個備選的回答，然后再由人類對這些回答進行排序。這樣的做法與直接讓用戶提供參考答案相比，更能夠激發(fā)語言模型本身的創(chuàng)造力，也能使得反饋更快更省錢。

??第三步利用獎勵模型進行強化學(xué)習。步驟中提到的PPO算法就是一種強化學(xué)習算法。通過使用強化學(xué)習算法，使得系統(tǒng)的行為和獎勵模型對齊。

??基于反饋的強化學(xué)習在ChatGPT等大模型上的成功應(yīng)用使得該算法稱為最受關(guān)注的大模型對齊算法。目前絕大多數(shù)的大模型都采用了這個技術(shù)進行對齊。

延伸閱讀

????????????《強化學(xué)習：原理與Python實戰(zhàn)》

??????????????????肖智清 著

????????????解密ChatGPT關(guān)鍵技術(shù)PPO和RLHF

• 理論完備:涵蓋強化學(xué)習主干理論和常見算法，帶你參透ChatGPT技術(shù)要點；

• 實戰(zhàn)性強:每章都有編程案例，深度強化學(xué)習算法提供TenorFlow和PyTorch對照實現(xiàn)；

• 配套豐富:逐章提供知識點總結(jié)，章后習題形式豐富多樣。還有Gym源碼解讀、開發(fā)環(huán)境搭建指南、習題答案等在線資源助力自學(xué)。

寫在末尾：

根據(jù)博客閱讀量本次活動一共贈書若干本，評論區(qū)抽取若干位小伙伴送出，中獎了會私信通知
參與方式：關(guān)注博主、點贊、收藏 + 評論
（任意評論不折疊即可，切記要點贊+收藏，否則抽獎無效，每個人最多評論三次）文章來源地址http://www.zghlxwxcb.cn/news/detail-752599.html

  如果喜歡的話，歡迎 ??關(guān)注 ??點贊 ??評論 ??收藏  ??一起討論
  你的支持就是我??創(chuàng)作的動力！					  ??????

到了這里，關(guān)于一分鐘秒懂人工智能對齊 ( 文末送書 )的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！