1.什么是人工智能對齊

人工智能對齊（AI Alignment）指讓人工智能的行為符合人的意圖和價值觀。

人工智能系統(tǒng)可能會出現(xiàn)“不對齊”（misalign）的問題。以ChatGPT這樣的問答系統(tǒng)為例，ChatGPT的回答可能會含有危害祖國統(tǒng)一、侮辱先烈、丑化中華民族、教唆暴力、出口成“臟”等違法或不符合社會主義核心價值觀的言論，也可能會出現(xiàn)阿諛奉承、威逼利誘、信口雌黃等干預用戶達到預定目標的情況。消除人工智能系統(tǒng)不對齊的過程就稱為人工智能對齊。

圖 ChatGPT的不對齊行為

2.為什么要研究人工智能對齊

根據(jù)人工智能對齊的定義，所有的人工智能問題（包括AI倫理、AI治理、可解釋性AI，甚至是最基本的回歸和分類問題）都可以算是人工智能對齊問題。那么為什么學術(shù)界還要發(fā)明“人工智能對齊”這個新概念？研究“人工智能對齊”這個新概念有什么價值呢？

事實上，人工智能對齊這一概念和ChatGPT這樣的通用大模型的誕生密不可分。對于通用大模型而言，一個模型可以同時完成多種任務(wù)，而且不同的任務(wù)有著不同的期望：有的任務(wù)希望能夠更有想象力，有的任務(wù)希望能夠更尊重事實；有的任務(wù)希望能夠理性客觀，有的任務(wù)希望能有細膩豐富的情感。任務(wù)的多樣性導致了需要對大模型進行全方面的對齊，而不僅僅是就某些方面進行對齊。傳統(tǒng)的研究往往針對某個方面進行對齊，對于ChatGPT這樣的通用模型會導致“按下葫蘆浮起瓢”，無法面面俱到。

隨著機器學習模型規(guī)模的不斷變大以及神經(jīng)網(wǎng)絡(luò)的大量應(yīng)用，人類已經(jīng)無法完全理解和解釋人工智能的某些行為。例如，用于圍棋AlphaGo下的某些棋迄今也不能被人類所完全理解。在未來，有可能會出現(xiàn)全方面碾壓人類的人工智能（比如《流浪地球》里的MOSS）。傳統(tǒng)的對齊方法顯然不能滿足對這樣的人工智能的對齊需求。

3.人工智能對齊的常見方法

人工智能對齊離不開人的接入。人對人工智能系統(tǒng)進行評估和反饋，可以確認人工智能中不對齊的情況，并指導其進行改進。

人工智能對齊的方法包括模仿學習和人類反饋強化學習。ChatGPT就采用了這些對齊方法。

ChatGPT訓練步驟

（圖片來源：https://openai.com/blog/chatgpt）

上圖是ChatGPT的訓練步驟圖。步驟一利用收集到的數(shù)據(jù)進行監(jiān)督學習，這一部分就是在用模仿學習進行人工智能對齊。不過，ChatGPT的訓練團隊認為，僅僅用模仿學習并不能完全達到要求。

模仿學習不能完全滿足對齊需求的原因可能如下：模仿學習使用的數(shù)據(jù)集能覆蓋到的數(shù)據(jù)范圍是有限的，不可能包括所有的情況。用這樣數(shù)據(jù)集訓練出來的人工智能難免有些邊腳情形的表現(xiàn)不對齊。另外，雖然訓練后能夠讓訓練目標基本上達到最優(yōu)，但是在訓練目標最優(yōu)情況下還是會出現(xiàn)在某些樣本點上表現(xiàn)不好的情況。而這些樣本點也許還挺重要，這些不好的樣本點可能會涉及到重大的法律或是輿論風險。

為此，ChatGPT的訓練過程進一步地使用了人類反饋強化學習。步驟圖中的第二步和第三步就用到了人類反饋強化學習。

第二步通過人類的反饋構(gòu)建獎勵模型。在這一步中，提供反饋的人可以就其認為需要重點關(guān)注的問題進行著重考察，來確保在哪些重要的問題上獎勵模型是正確的。并且在后續(xù)的測試中如果發(fā)現(xiàn)了之前沒有預料到的新問題，還可以通過提供更多反饋樣本來為獎勵模型打上補丁。這樣，通過人工干預、不斷迭代反饋，獎勵模型就趨于完善。這樣，就讓獎勵模型的人類的期望對齊。

在利用反饋進行獎勵模型對齊的訓練過程中，對于每個樣本，先由語言模型輸出幾個備選的回答，然后再由人類對這些回答進行排序。這樣的做法與直接讓用戶提供參考答案相比，更能夠激發(fā)語言模型本身的創(chuàng)造力，也能使得反饋更快更省錢。

第三步利用獎勵模型進行強化學習。步驟中提到的PPO算法就是一種強化學習算法。通過使用強化學習算法，使得系統(tǒng)的行為和獎勵模型對齊。

基于反饋的強化學習在ChatGPT等大模型上的成功應(yīng)用使得該算法稱為最受關(guān)注的大模型對齊算法。目前絕大多數(shù)的大模型都采用了這個技術(shù)進行對齊。

延伸閱讀

《強化學習：原理與Python實戰(zhàn)》

肖智清 著

解密ChatGPT關(guān)鍵技術(shù)PPO和RLHF

理論完備:涵蓋強化學習主干理論和常見算法，帶你參透ChatGPT技術(shù)要點；

實戰(zhàn)性強:每章都有編程案例，深度強化學習算法提供TenorFlow和PyTorch對照實現(xiàn)；

配套豐富:逐章提供知識點總結(jié)，章后習題形式豐富多樣。還有Gym源碼解讀、開發(fā)環(huán)境搭建指南、習題答案等在線資源助力自學。

• ??本次送書1~3本【取決于閱讀量，閱讀量越多，送的越多】??
• ??活動時間：截止到2023-11月18號
• ??參與方式：關(guān)注博主+三連（點贊、收藏、評論）

私信我進送書互三群有更多福利哦可以在文章末尾或主頁添加微信文章來源地址http://www.zghlxwxcb.cn/news/detail-754553.html

到了這里，關(guān)于強化學習：原理與Python實戰(zhàn)||一分鐘秒懂人工智能對齊的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！