前言

一、思維鏈介紹

思維鏈：一種簡(jiǎn)單的提示方法，通過(guò)一系列的中間推理步驟，可以大大提高大語(yǔ)言模型執(zhí)行復(fù)雜推理的能力。下圖為使用標(biāo)準(zhǔn)提示詞和使用思維鏈提示詞的輸出的區(qū)別：

與傳統(tǒng)Prompt的區(qū)別： 傳統(tǒng)Prompt的流程是直接從輸入到輸出的映射，而Cot則是輸入——思維鏈——輸出。

一個(gè)完整的包含Cot的Prompt往往由指令、邏輯依據(jù)、示例三部分組成。一般來(lái)說(shuō)，指令用于描述問(wèn)題并且告知大模型的輸出格式；邏輯依據(jù)指的是Cot的推理過(guò)程（一般包含問(wèn)題的解決方案、中間推理步驟以及外部知識(shí)）；示例指的是以少樣本的方式為大模型提供輸入輸出對(duì)的基本格式，每一個(gè)示例都包含：?jiǎn)栴}、推理過(guò)程與答案。以下為更詳細(xì)的介紹。

下圖為COT實(shí)例：《輸入——思維鏈——輸出》

1-1、指令

指令 (Instruction)

• 作用：明確告知模型需要解決的問(wèn)題或執(zhí)行的任務(wù)，以及期望的輸出格式。
• 重要性：指令幫助模型理解任務(wù)的具體需求，確保輸出的相關(guān)性和準(zhǔn)確性。

示例：

問(wèn)題：解釋什么是光合作用？
指令：簡(jiǎn)要描述光合作用的過(guò)程，并列出它的主要作用。

1-2、邏輯依據(jù)

邏輯依據(jù) (Rationale)

• 作用：包括解決問(wèn)題的中間步驟、相關(guān)知識(shí)的引入或理由的闡述。
• 重要性：邏輯依據(jù)幫助模型展現(xiàn)推理過(guò)程，使答案更具解釋性和可靠性。

示例：

問(wèn)題：解釋什么是光合作用？
邏輯依據(jù)：光合作用是植物、藻類和某些細(xì)菌使用陽(yáng)光將二氧化碳和水轉(zhuǎn)化為氧氣和葡萄糖的過(guò)程。這是一個(gè)復(fù)雜的多步驟過(guò)程，涉及到光反應(yīng)和暗反應(yīng)等階段，主要作用是產(chǎn)生氧氣和為生物提供能量。

1-3、示例

示例 (Exemplars)
作用：提供具體的問(wèn)題、推理過(guò)程和答案實(shí)例，作為模型處理類似問(wèn)題的參考。
重要性：示例可以幫助模型學(xué)習(xí)如何格式化其回答，理解問(wèn)題的深層含義，以及如何引入適當(dāng)?shù)耐评韥?lái)支持其結(jié)論。

示例：

問(wèn)題：解釋什么是蒸餾？
推理過(guò)程：蒸餾是一種分離混合物的技術(shù)，常用于分離液體或提純物質(zhì)。在這個(gè)過(guò)程中，混合物加熱至沸點(diǎn)，使最易揮發(fā)的組分蒸發(fā)，然后通過(guò)冷凝再將其分離出來(lái)。
答案：蒸餾是利用物質(zhì)之間沸點(diǎn)的差異來(lái)分離它們的過(guò)程。

二、Cot一般分類

以是否包含示例為區(qū)分，可以將Cot分為Zero-Shot-CoT 與 Few-Shot-CoT。如下圖所示：

2-1、Zero-Shot-CoT

Zero-Shot-CoT (零樣本CoT)

• 定義：在這種模式下，沒(méi)有提供具體的示例來(lái)引導(dǎo)模型的行為。指令通常包括“Let’s think step by step”這樣的語(yǔ)句來(lái)激勵(lì)模型展開(kāi)逐步推理。（進(jìn)階：Let’s first understand the problem and devise a plan to solve the problem. Then, let’s carry out the plan and solve the problem step by step）
• 應(yīng)用：Zero-Shot-CoT適用于那些模型已經(jīng)有足夠知識(shí)理解和解答的情況，不需要通過(guò)額外的示例來(lái)學(xué)習(xí)如何回答。
• 優(yōu)點(diǎn)：能夠快速部署，無(wú)需額外準(zhǔn)備示例，節(jié)省時(shí)間。
• 局限：可能不如Few-Shot-CoT準(zhǔn)確，特別是在處理非常復(fù)雜或?qū)I(yè)性強(qiáng)的問(wèn)題時(shí)。

案例如下所示：

2-2、Few-Shot-CoT

Few-Shot-CoT (少樣本CoT)

• 定義：在指令中添加具體的示例（案例），這些示例顯示了問(wèn)題、推理過(guò)程和答案。這樣做可以讓模型模仿這些示例來(lái)提高解決問(wèn)題的能力。
• 應(yīng)用：Few-Shot-CoT適用于需要模型理解特定格式或復(fù)雜問(wèn)題的場(chǎng)景，特別是在模型原本不太可能準(zhǔn)確回答的領(lǐng)域。
• 優(yōu)點(diǎn)：通過(guò)提供具體示例，模型可以學(xué)習(xí)特定的回答風(fēng)格和推理方法，通常能夠產(chǎn)生更準(zhǔn)確和相關(guān)的輸出。
• 局限：需要花費(fèi)更多的時(shí)間來(lái)準(zhǔn)備有效的示例，且依賴于這些示例的質(zhì)量。

案例如下所示：

三、Cot的好處&缺陷&適用

3-1、Cot的好處

Cot的具體優(yōu)點(diǎn)如下：

• 增強(qiáng)大模型的推理能力： 通過(guò)將復(fù)雜問(wèn)題分為多個(gè)子問(wèn)題，顯著提高了模型的推理能力。
• 增強(qiáng)了大模型的可解釋性： 相比于沒(méi)有使用思維鏈，Cot可以向我們展示過(guò)程，讓我們可以知道大模型的執(zhí)行流程到底是怎樣的，增加了可解釋性。
• 增強(qiáng)了大模型的可控性： 通過(guò)讓大模型一步一步輸出步驟，我們通過(guò)這些步驟的呈現(xiàn)可以對(duì)大模型問(wèn)題求解的過(guò)程施加更大的影響，避免大模型成為無(wú)法控制的“完全黑盒”；

3-2、Cot的缺陷

Cot的缺陷如下：

• 模型的規(guī)模太小會(huì)導(dǎo)致Cot失效
• 只有對(duì)復(fù)雜任務(wù)才是有用的。
• 示例不正確會(huì)帶偏大模型。

如下圖所示（使用Cot的PaLM 540B模型在GSM8K基準(zhǔn)上表現(xiàn)出極高的性能）：

3-3、Cot的適用

Cot的適用場(chǎng)景如下：

• 需要使用大模型，規(guī)模太小的不適用（20B以下）
• 復(fù)雜任務(wù)場(chǎng)景，如編程
• 增加模型參數(shù)無(wú)法使模型性能得到提升。
• 模型的訓(xùn)練數(shù)據(jù)針對(duì)于任務(wù)問(wèn)題有較強(qiáng)的關(guān)聯(lián)性。

四、變體

4-1、自我驗(yàn)證（self-consistency checking）

自我驗(yàn)證（self-consistency checking）是Chain of Thought (CoT) 推理中的一個(gè)重要概念。這種方法不僅在推理過(guò)程中尋找問(wèn)題的答案，而且還要檢查和驗(yàn)證這些推理過(guò)程的邏輯一致性和正確性。自我驗(yàn)證的目的是提高答案的可靠性和準(zhǔn)確性，確保模型在解答復(fù)雜問(wèn)題時(shí)能夠自我糾正潛在的錯(cuò)誤或不一致之處。

如何實(shí)施自我驗(yàn)證
在CoT框架中，自我驗(yàn)證通常涉及以下幾個(gè)步驟：

• 推理生成：首先，生成一個(gè)詳細(xì)的推理過(guò)程，這通常包括對(duì)問(wèn)題的分析、相關(guān)信息的整合以及逐步推導(dǎo)出答案的邏輯鏈。
• 驗(yàn)證步驟：在得到初步答案之后，模型會(huì)重新審視整個(gè)推理過(guò)程，檢查是否存在邏輯斷裂、信息錯(cuò)誤或不一致的地方。
• 調(diào)整和改進(jìn)：基于自我驗(yàn)證的結(jié)果，模型可能需要調(diào)整其推理鏈。這可以涉及修正錯(cuò)誤的事實(shí)信息、重新評(píng)估邏輯關(guān)系或添加缺失的邏輯步驟。
• 最終輸出：完成自我驗(yàn)證和必要的調(diào)整后，模型輸出最終的、經(jīng)過(guò)驗(yàn)證的答案。

應(yīng)用場(chǎng)景

• 自我驗(yàn)證特別適用于需要高度準(zhǔn)確性的應(yīng)用場(chǎng)景，如醫(yī)學(xué)診斷、法律推理、科技問(wèn)題解答等領(lǐng)域。在這些領(lǐng)域，錯(cuò)誤的信息或推理可能導(dǎo)致嚴(yán)重的后果。通過(guò)自我驗(yàn)證，模型能夠提供更加可靠和精確的答案。

self-consistency checking 案例如下圖所示：

參考文章：
Chain-of-Thought Prompting Elicits Reasoning
in Large Language Models論文地址.
一文讀懂：大模型思維鏈 CoT（Chain of Thought）

總結(jié)

那女孩對(duì)我說(shuō)，說(shuō)我保護(hù)她的夢(mèng)??文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-855813.html

到了這里，關(guān)于《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》【大模型思維鏈】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！