語(yǔ)言模型(LM)在NLP領(lǐng)域的發(fā)展速度非常快，特別是在大型語(yǔ)言模型(LLM)方面：當(dāng)語(yǔ)言模型具有大量參數(shù)或權(quán)重/系數(shù)時(shí)，它們被稱(chēng)為“大型”。這些“大型”語(yǔ)言模型擁有處理和理解大量自然語(yǔ)言數(shù)據(jù)的能力。

LLM被用于一系列自然語(yǔ)言任務(wù)，如文本摘要、情感分析、主題分類(lèi)、語(yǔ)言翻譯、自動(dòng)完成等。擴(kuò)展LM的一些廣泛的好處包括提高性能、泛化和效率，雖然這些模型執(zhí)行的大多數(shù)任務(wù)都受益于擴(kuò)展，但像算術(shù)、常識(shí)和符號(hào)推理這樣的任務(wù)在擴(kuò)展模型時(shí)沒(méi)有看到性能的提高。

這就引出了“思維鏈提示”的方法，通過(guò)生成一系列中間推理步驟或思維鏈來(lái)提高法LLM 的復(fù)雜推理能力。這種方法基于兩個(gè)想法：1、考慮到LM可以被訓(xùn)練來(lái)生成自然語(yǔ)言的中間步驟，增加自然語(yǔ)言的基本原理可能是一個(gè)額外的好處；2、當(dāng)通過(guò)上下文少樣本方法提示時(shí)，LLM在問(wèn)答任務(wù)中取得了顯著的成功。但在實(shí)踐中，為訓(xùn)練訓(xùn)創(chuàng)造大量的理由是費(fèi)時(shí)費(fèi)力的。所以將這兩種思想結(jié)合起來(lái)，就產(chǎn)生了一個(gè)模型，只要有幾個(gè)由<input, chain-of-though, output>三元組組成的提示，模型的性能會(huì)得到改善。

思維鏈提示

思維鏈?zhǔn)墙鉀Q推理任務(wù)時(shí)人類(lèi)思維過(guò)程遵循的一系列典型步驟。它可以幫助我們將一個(gè)問(wèn)題分解成一系列的子問(wèn)題，然后逐個(gè)解決這些子問(wèn)題，從而得出最終的答案。在大型語(yǔ)言模型中，思維鏈可以用來(lái)引出推理。思路鏈方法帶來(lái)以下好處：

• 由于問(wèn)題可以分為多個(gè)步驟，因此可以將額外的計(jì)算分配給復(fù)雜的問(wèn)題
• 推理路徑提供了一個(gè)調(diào)試模型可能出錯(cuò)的窗口
• 任何一般的 LLM 都可以通過(guò)提供思維鏈提示來(lái)為復(fù)雜的推理任務(wù)做準(zhǔn)備

數(shù)學(xué)推理

上圖顯示了 LLMs 在數(shù)學(xué)單詞問(wèn)題上使用思維鏈提示的表現(xiàn)結(jié)果。y 軸是結(jié)果表現(xiàn)，x 軸上是模型大小的比例。

• 只有在足夠大的模型中才能看到思維鏈提示為 LLM 帶來(lái)的好處。因此大型模型是必要的，但還不夠
• 對(duì)于更復(fù)雜的推理問(wèn)題，性能的提高更大。鑒于 GSM8K 與 MAWPS 中問(wèn)題的復(fù)雜性降低，GSM8K 中的性能增益對(duì)于大型模型幾乎翻了一番
• 大型 GPT 和 PaLM 模型中的思維鏈提示的性能與之前的 SOTA 方法相當(dāng)，其中包括在標(biāo)記的訓(xùn)練數(shù)據(jù)集上微調(diào)模型
• 除了上述幾點(diǎn)外，對(duì) PaLM 62B 錯(cuò)誤的分析表明，當(dāng)模型縮放到 540B 時(shí)，很大一部分的缺失和語(yǔ)義理解都得到了修復(fù)，這進(jìn)一步強(qiáng)化了通過(guò)思維鏈提示提高LLM推理能力需要大模型的觀點(diǎn)

消融實(shí)驗(yàn)

性能改進(jìn)將根據(jù)三種不同的思維鏈提示進(jìn)行評(píng)估

僅限方程:系統(tǒng)提示模型僅在響應(yīng)數(shù)學(xué)應(yīng)用題時(shí)輸出方程式。這些模型在 GSM8K 上的這個(gè)提示上表現(xiàn)不佳，這表明在沒(méi)有給出思維鏈中的步驟的情況下，這些問(wèn)題的語(yǔ)義對(duì)于模型來(lái)說(shuō)太具有挑戰(zhàn)性，無(wú)法為它們輸出方程。

僅進(jìn)行變量計(jì)算:這種變化背后的思想是模型在復(fù)雜問(wèn)題的計(jì)算上花費(fèi)(令牌)更多。在分離提示時(shí)，提示的中間步驟是有用的。

回答后的思維鏈:這種變化測(cè)試思維鏈?zhǔn)欠裰皇亲屇Ｐ驮L問(wèn)預(yù)訓(xùn)練知識(shí)。給出答案后產(chǎn)生思維鏈的提示，其表現(xiàn)與基線相同，這表明在思維鏈的中間步驟中可用的推理比激活知識(shí)更必要。

穩(wěn)健性研究

評(píng)估從GSM8K訓(xùn)練集到LaMDA 137B的不同注釋和示例給出的思維鏈提示的穩(wěn)健性時(shí)，所有這些思維鏈提示的變體都大大優(yōu)于標(biāo)準(zhǔn)提示。

除算術(shù)推理外，還對(duì)模型進(jìn)行了常識(shí)性和符號(hào)推理評(píng)價(jià)

常識(shí)推理

雖然PaLM模型在CSQA上的性能提升很小，但它在StrategyQA上的表現(xiàn)超過(guò)了之前的SOTA，對(duì)于運(yùn)動(dòng)理解上也超過(guò)了一個(gè)獨(dú)立的人類(lèi)運(yùn)動(dòng)愛(ài)好者。

符號(hào)推理

下圖顯示了PaLM模型在域內(nèi)(示例和測(cè)試中的步驟數(shù)相同)和域外/OOD(測(cè)試中的步驟多于示例)上的評(píng)估結(jié)果。盡管對(duì)于域內(nèi)測(cè)試，已經(jīng)在思維鏈中提供了完美的解決方案結(jié)構(gòu)，但小型模型表現(xiàn)不佳。

總結(jié)

雖然思維鏈提示假設(shè)建立在人類(lèi)推理過(guò)程的基礎(chǔ)上，但神經(jīng)網(wǎng)絡(luò)是否“推理”的問(wèn)題仍然沒(méi)有答案。在調(diào)優(yōu)的情況下，手動(dòng)提供示例的成本可能非常高，因?yàn)榇诉^(guò)程將需要更多的示例。雖然使用示例的模型遵循“正確”推理路徑的可能性很高，但不能保證這一點(diǎn)。為了實(shí)現(xiàn)思維鏈推理能力，模型必須“大”，這一先決條件使得它在實(shí)際應(yīng)用中的使用代價(jià)高昂。

這篇論文的研究表明，思維鏈提示提高了模型在算術(shù)、常識(shí)和符號(hào)推理任務(wù)上的性能，但擴(kuò)大模型可以執(zhí)行的任務(wù)范圍和降低這些模型改進(jìn)推理的尺度閾值是潛在的廣泛研究領(lǐng)域。

論文地址：https://avoid.overfit.cn/post/f281ad2e54614d029c8061cc693376ed

介紹這篇論文的另外一個(gè)原因是可以使用思維鏈提高ChatGPT的結(jié)果，因?yàn)樗季S鏈?zhǔn)且环N逐步分解問(wèn)題、逐步推理的思考方法，可以引導(dǎo)模型生成更準(zhǔn)確、更有邏輯性的答案。

1. 對(duì)問(wèn)題進(jìn)行分解：將一個(gè)大問(wèn)題分解成多個(gè)小問(wèn)題，逐個(gè)解決。這樣可以使模型更好地理解問(wèn)題的結(jié)構(gòu)，提高問(wèn)題的細(xì)節(jié)處理能力。
2. 比較和對(duì)比：將多個(gè)對(duì)象進(jìn)行比較和對(duì)比，找出它們之間的共同點(diǎn)和不同點(diǎn)。這樣可以使模型更好地理解對(duì)象之間的關(guān)系，提高其分類(lèi)和判斷能力。
3. 推理和預(yù)測(cè)：根據(jù)已知的信息，推斷可能的結(jié)果。這樣可以使模型更好地處理復(fù)雜的問(wèn)題，提高其推理和預(yù)測(cè)能力。
4. 歸納和演繹：從具體情況中推導(dǎo)出一般規(guī)律，或者從一般規(guī)律中推導(dǎo)出具體情況。這樣可以使模型更好地理解問(wèn)題的本質(zhì)和規(guī)律，提高其概括和推廣能力。
5. 假設(shè)實(shí)驗(yàn)：通過(guò)模擬實(shí)驗(yàn)來(lái)推斷事物的本質(zhì)或規(guī)律。這樣可以使模型更好地理解事物的屬性和行為，提高其推斷和預(yù)測(cè)能力。

通過(guò)使用思維鏈的方法，可以幫助ChatGPT更好地理解問(wèn)題，提高其推理、預(yù)測(cè)、分類(lèi)和判斷能力。在輸入問(wèn)題時(shí)，可以嘗試將問(wèn)題分解成多個(gè)子問(wèn)題，然后逐個(gè)解決；在生成回答時(shí)，可以嘗試進(jìn)行比較和對(duì)比、推理和預(yù)測(cè)、歸納和演繹等操作，從而生成更準(zhǔn)確、更有邏輯性的答案。所以無(wú)論你看不看這篇論文，它的思路對(duì)我們來(lái)說(shuō)是非常重要的。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-448179.html

到了這里，關(guān)于使用思維鏈（Chain-of-thoughts）提示在大型語(yǔ)言模型中引出推理的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！