1.什么是人工智能對齊

人工智能對齊（AI Alignment）指讓人工智能的行為符合人的意圖和價值觀。

人工智能系統(tǒng)可能會出現(xiàn)“不對齊”（misalign）的問題。以ChatGPT這樣的問答系統(tǒng)為例，ChatGPT的回答可能會含有危害祖國統(tǒng)一、侮辱先烈、丑化中華民族、教唆暴力、出口成“臟”等違法或不符合社會主義核心價值觀的言論，也可能會出現(xiàn)阿諛奉承、威逼利誘、信口雌黃等干預(yù)用戶達到預(yù)定目標(biāo)的情況。消除人工智能系統(tǒng)不對齊的過程就稱為人工智能對齊。

圖 ChatGPT的不對齊行為

2.為什么要研究人工智能對齊

根據(jù)人工智能對齊的定義，所有的人工智能問題（包括AI倫理、AI治理、可解釋性AI，甚至是最基本的回歸和分類問題）都可以算是人工智能對齊問題。那么為什么學(xué)術(shù)界還要發(fā)明“人工智能對齊”這個新概念？研究“人工智能對齊”這個新概念有什么價值呢？

事實上，人工智能對齊這一概念和ChatGPT這樣的通用大模型的誕生密不可分。對于通用大模型而言，一個模型可以同時完成多種任務(wù)，而且不同的任務(wù)有著不同的期望：有的任務(wù)希望能夠更有想象力，有的任務(wù)希望能夠更尊重事實；有的任務(wù)希望能夠理性客觀，有的任務(wù)希望能有細(xì)膩豐富的情感。任務(wù)的多樣性導(dǎo)致了需要對大模型進行全方面的對齊，而不僅僅是就某些方面進行對齊。傳統(tǒng)的研究往往針對某個方面進行對齊，對于ChatGPT這樣的通用模型會導(dǎo)致“按下葫蘆浮起瓢”，無法面面俱到。

隨著機器學(xué)習(xí)模型規(guī)模的不斷變大以及神經(jīng)網(wǎng)絡(luò)的大量應(yīng)用，人類已經(jīng)無法完全理解和解釋人工智能的某些行為。例如，用于圍棋AlphaGo下的某些棋迄今也不能被人類所完全理解。在未來，有可能會出現(xiàn)全方面碾壓人類的人工智能（比如《流浪地球》里的MOSS）。傳統(tǒng)的對齊方法顯然不能滿足對這樣的人工智能的對齊需求。

3.人工智能對齊的常見方法

人工智能對齊離不開人的接入。人對人工智能系統(tǒng)進行評估和反饋，可以確認(rèn)人工智能中不對齊的情況，并指導(dǎo)其進行改進。
人工智能對齊的方法包括模仿學(xué)習(xí)和人類反饋強化學(xué)習(xí)。ChatGPT就采用了這些對齊方法。

ChatGPT訓(xùn)練步驟 圖片來源
上圖是ChatGPT的訓(xùn)練步驟圖
步驟一利用收集到的數(shù)據(jù)進行監(jiān)督學(xué)習(xí)，這一部分就是在用模仿學(xué)習(xí)進行人工智能對齊。不過，ChatGPT的訓(xùn)練團隊認(rèn)為，僅僅用模仿學(xué)習(xí)并不能完全達到要求。

模仿學(xué)習(xí)不能完全滿足對齊需求的原因可能如下：模仿學(xué)習(xí)使用的數(shù)據(jù)集能覆蓋到的數(shù)據(jù)范圍是有限的，不可能包括所有的情況。用這樣數(shù)據(jù)集訓(xùn)練出來的人工智能難免有些邊腳情形的表現(xiàn)不對齊。另外，雖然訓(xùn)練后能夠讓訓(xùn)練目標(biāo)基本上達到最優(yōu)，但是在訓(xùn)練目標(biāo)最優(yōu)情況下還是會出現(xiàn)在某些樣本點上表現(xiàn)不好的情況。而這些樣本點也許還挺重要，這些不好的樣本點可能會涉及到重大的法律或是輿論風(fēng)險。

為此，ChatGPT的訓(xùn)練過程進一步地使用了人類反饋強化學(xué)習(xí)。步驟圖中的第二步和第三步就用到了人類反饋強化學(xué)習(xí)。

第二步通過人類的反饋構(gòu)建獎勵模型。

在這一步中，提供反饋的人可以就其認(rèn)為需要重點關(guān)注的問題進行著重考察，來確保在哪些重要的問題上獎勵模型是正確的。并且在后續(xù)的測試中如果發(fā)現(xiàn)了之前沒有預(yù)料到的新問題，還可以通過提供更多反饋樣本來為獎勵模型打上補丁。這樣，通過人工干預(yù)、不斷迭代反饋，獎勵模型就趨于完善。這樣，就讓獎勵模型的人類的期望對齊。

在利用反饋進行獎勵模型對齊的訓(xùn)練過程中，對于每個樣本，先由語言模型輸出幾個備選的回答，然后再由人類對這些回答進行排序。這樣的做法與直接讓用戶提供參考答案相比，更能夠激發(fā)語言模型本身的創(chuàng)造力，也能使得反饋更快更省錢。

第三步利用獎勵模型進行強化學(xué)習(xí)。

步驟中提到的PPO算法就是一種強化學(xué)習(xí)算法。通過使用強化學(xué)習(xí)算法，使得系統(tǒng)的行為和獎勵模型對齊。
基于反饋的強化學(xué)習(xí)在ChatGPT等大模型上的成功應(yīng)用使得該算法稱為最受關(guān)注的大模型對齊算法。目前絕大多數(shù)的大模型都采用了這個技術(shù)進行對齊。

延伸閱讀

《強化學(xué)習(xí)：原理與Python實戰(zhàn)》

肖智清 著

解密ChatGPT關(guān)鍵技術(shù)PPO和RLHF文章來源地址http://www.zghlxwxcb.cn/news/detail-752230.html

• 理論完備:涵蓋強化學(xué)習(xí)主干理論和常見算法，帶你參透ChatGPT技術(shù)要點；
• 實戰(zhàn)性強:每章都有編程案例，深度強化學(xué)習(xí)算法提供TenorFlow和PyTorch對照實現(xiàn)；
• 配套豐富:逐章提供知識點總結(jié)，章后習(xí)題形式豐富多樣。還有Gym源碼解讀、開發(fā)環(huán)境搭建指南、習(xí)題答案等在線資源助力自學(xué)。

到了這里，關(guān)于一分鐘秒懂人工智能對齊的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！