文 | 智商掉了一地

你有沒有想過，讓一臺(tái)計(jì)算機(jī)診斷和修復(fù)自己生成的錯(cuò)誤代碼？一篇最新的研究論文介紹了一種名為 Self-Debugging 的技術(shù)，通過在生成的代碼中添加自解釋的信息，讓計(jì)算機(jī)像一個(gè)可以自己修復(fù)代碼的程序員一樣調(diào)試自己的 BUG。

隨著大型語言模型（LLMs）在代碼生成領(lǐng)域的不斷發(fā)展，取得了令人矚目的性能。然而在面對(duì)復(fù)雜的編程任務(wù)時(shí)，一次性生成正確的解決方案變得越來越具有挑戰(zhàn)性。為了解決這一問題，先前的研究提出了一些代碼修復(fù)方法來改善代碼生成性能。而在本篇論文中，作者提出了一種名為?Self-Debugging?的方法，通過少量示范來教大型語言模型調(diào)試它所生成的代碼。

該研究表明，Self-Debugging 方法可以教大型語言模型進(jìn)行橡皮鴨調(diào)試，即在沒有任何關(guān)于代碼正確性或錯(cuò)誤信息的反饋的情況下，通過自然語言解釋生成的代碼來識(shí)別其錯(cuò)誤，這種方法對(duì)于提升代碼生成性能具有潛在的巨大價(jià)值。

為了驗(yàn)證 Self-Debugging 方法的有效性，作者在多個(gè)代碼生成基準(zhǔn)測(cè)試上進(jìn)行了實(shí)驗(yàn)，包括文本到 SQL 生成、C++ 到 Python 翻譯和文本到 Python 生成。該方法不僅在提升預(yù)測(cè)準(zhǔn)確性方面表現(xiàn)出色，同時(shí)還在樣本效率上獲得了顯著的改進(jìn)，通過利用反饋信息和重用失敗的預(yù)測(cè)，能在樣本效率上具有優(yōu)勢(shì)，并且在與生成超過 10 倍候選代碼的基線模型相比時(shí)，能夠取得匹敵甚至超越的表現(xiàn)。

綜上所述，這篇文章提出的 Self-Debugging 方法為解決復(fù)雜編程任務(wù)中代碼生成困難的問題提供了一種新穎且有效的解決方案。這一研究將為解決復(fù)雜編程任務(wù)中代碼生成的難題帶來了新的可能性，對(duì)推動(dòng)大型語言模型在代碼生成領(lǐng)域的應(yīng)用和發(fā)展提供了有力支持。

論文題目:?
Teaching Large Language Models to Self-Debug

論文鏈接:?
https://arxiv.org/abs/2304.05128

---

背景探索

近期的大型語言模型在生成代碼方面有了顯著的改進(jìn)，但生成正確的代碼仍然具有挑戰(zhàn)性。研究表明從模型中采樣多個(gè)程序時(shí)，選擇最佳候選程序的準(zhǔn)確性更高。即使對(duì)于人類程序員來說，第一次編寫的代碼并不總是正確的，他們通常會(huì)檢查代碼并根據(jù)執(zhí)行結(jié)果更改來解決實(shí)現(xiàn)錯(cuò)誤。因此，該研究提出了一種名為 Self-Debugging 的方法，通過執(zhí)行生成的代碼并基于代碼和執(zhí)行結(jié)果生成反饋信息，來引導(dǎo)模型進(jìn)行調(diào)試。

不同于需要額外模型訓(xùn)練的方法，Self-Debugging 通過代碼解釋來指導(dǎo)模型識(shí)別實(shí)現(xiàn)錯(cuò)誤，類似于人類程序員通過逐行向橡皮鴨解釋代碼行來提高調(diào)試效率的方法。圖 1 展示了 Self-Debugging 的完整過程。

在每一步調(diào)試中，模型首先生成新的代碼，然后執(zhí)行該代碼并解釋，代碼解釋和執(zhí)行結(jié)果構(gòu)成了反饋信息，然后將反饋信息發(fā)送回模型以執(zhí)行更多的調(diào)試步驟。當(dāng)單元測(cè)試不可用時(shí)，反饋可以完全基于代碼解釋。

生成代碼的 Prompt 技術(shù)

Few-shot prompting

Few-shot prompting 是一種通過幾個(gè)輸入-輸出演示來指導(dǎo)語言模型完成任務(wù)的方法。以文本到 SQL 生成為例，few-shot 提示在感興趣的問題前面加上（question, SQL）對(duì)的列表，這樣當(dāng)模型被要求預(yù)測(cè)給定提示后的后續(xù) token 時(shí)，它會(huì)按照提示的格式生成 SQL 查詢語句。圖 2 展示了一個(gè)示例的提示。此外，這種方法還可以在提示中添加指令來提供高級(jí)任務(wù)描述。

基于執(zhí)行的代碼選擇

先前的研究表明，對(duì)于大型語言模型，在解碼過程中生成多個(gè)預(yù)測(cè)結(jié)果可以顯著提高性能，特別是在代碼生成任務(wù)中，可以利用代碼執(zhí)行結(jié)果來選擇最終的預(yù)測(cè)結(jié)果。有以下兩種方法：

• 使用執(zhí)行結(jié)果的多數(shù)投票來選擇最終的預(yù)測(cè)結(jié)果；

• 設(shè)計(jì)重新排序方案來提高性能。

在本研究中，當(dāng)存在多個(gè)預(yù)測(cè)結(jié)果時(shí)，遵循第一種方法，選擇在執(zhí)行時(shí)沒有遇到錯(cuò)誤的預(yù)測(cè)中具有最頻繁執(zhí)行結(jié)果的代碼，并對(duì)其應(yīng)用 Self-Debugging。一些代碼生成任務(wù)伴隨著單元測(cè)試，以指定程序的執(zhí)行行為。在問題描述中給出單元測(cè)試時(shí)，執(zhí)行基于多數(shù)投票的選擇之前，會(huì)先過濾掉未通過單元測(cè)試的程序。

Self-Debugging 框架

圖 1 展示了 Self-Debugging 迭代調(diào)試框架，使用未經(jīng)微調(diào)的預(yù)訓(xùn)練大型語言模型。在給定問題描述后，模型首先預(yù)測(cè)候選程序，然后推斷程序的正確性，并生成反饋信息以進(jìn)行后續(xù)的調(diào)試步驟。當(dāng)反饋信息表明預(yù)測(cè)結(jié)果是正確的，或者達(dá)到了允許的最大調(diào)試輪數(shù)時(shí)，調(diào)試過程終止。

現(xiàn)有的研究表明，語言模型可以通過訓(xùn)練來理解人類對(duì)代碼的反饋，并根據(jù)指令進(jìn)行修正。然而，目前尚不清楚語言模型是否能夠在沒有人類輔助的情況下自行進(jìn)行調(diào)試。在接下來的討論中，將探討如何利用代碼執(zhí)行和 few-shot 提示來生成不同類型的自動(dòng)獲取和生成的反饋信息。

通過簡(jiǎn)單反饋進(jìn)行 Self-Debugging

最簡(jiǎn)單的自動(dòng)反饋形式是一句話，僅指示代碼的正確性，沒有更詳細(xì)的信息。例如，在文本到 SQL 生成任務(wù)中， few-shot 提示會(huì)依據(jù)正確或錯(cuò)誤結(jié)果為所有 SQL 查詢提供反饋信息：

• “上面的SQL預(yù)測(cè)是正確的！”

• “上面的 SQL 預(yù)測(cè)是錯(cuò)誤的，請(qǐng)修正 SQL?！?/p>

使用單元測(cè)試進(jìn)行 Self-Debugging（UT）

對(duì)于包含單元測(cè)試的代碼生成任務(wù)，除了通過代碼執(zhí)行來檢查代碼的正確性外，還可以在反饋信息中呈現(xiàn)單元測(cè)試的執(zhí)行結(jié)果，從而為調(diào)試提供更豐富的信息。圖 5 的示例包含了代碼翻譯任務(wù)的單元測(cè)試反饋信息。通過檢查運(yùn)行時(shí)錯(cuò)誤消息和未通過的單元測(cè)試的執(zhí)行結(jié)果，可以幫助人類程序員更有效地進(jìn)行調(diào)試。實(shí)驗(yàn)結(jié)果表明，利用單元測(cè)試可以顯著提高調(diào)試性能。

通過代碼解釋進(jìn)行 Self-Debugging（Expl.）

盡管大型語言模型在生成批評(píng)性反饋方面取得了一些進(jìn)展，以避免生成有害的輸出并在自然語言和推理任務(wù)中提高性能，但先前的研究尚未在代碼生成任務(wù)中驗(yàn)證了反饋的有效性。然而，研究表明大型語言模型可以生成描述問題解決方案的文本和代碼?；谶@一啟示，提出了一種新方法，即通過解釋生成的代碼來教模型進(jìn)行自我調(diào)試，而不是教它預(yù)測(cè)錯(cuò)誤消息。這種調(diào)試過程類似于程序員通過向橡皮鴨逐行解釋代碼來進(jìn)行調(diào)試。研究驗(yàn)證了即使在沒有單元測(cè)試的情況下，大型語言模型也可以從這種調(diào)試方法中獲益。

應(yīng)用

文本到 SQL 生成

在文本到 SQL 生成任務(wù)中，使用 Self-Debugging 方法旨在評(píng)估大型語言模型的性能，如圖 3 所示。由于缺乏單元測(cè)試，模型更難推斷預(yù)測(cè)的 SQL 查詢的正確性。

調(diào)試過程包括三個(gè)步驟：

1. 首先，模型通過提示對(duì)問題進(jìn)行總結(jié)，并推斷問題所需的返回類型，即對(duì)應(yīng) SQL 查詢表的列數(shù)。

2. 其次，模型執(zhí)行 SQL 查詢并將返回的表格添加到輸入中，以進(jìn)行代碼解釋。生成的 SQL 解釋包括對(duì)每個(gè)子句的詳細(xì)描述、包含在返回表格中的列數(shù)以及完整 SQL 查詢的高層含義。如果返回表格超過兩行，只有前兩行包含在提示中。

3. 最后，模型將推斷的 SQL 解釋和問題描述進(jìn)行比較，并預(yù)測(cè)當(dāng)前 SQL 查詢的正確性。Self-Debugging 過程在第三步中認(rèn)為 SQL 查詢是正確的，或者達(dá)到最大的調(diào)試輪數(shù)時(shí)終止。

這種方法使得模型能夠通過對(duì)生成的 SQL 查詢進(jìn)行解釋和比較，從而自我調(diào)試并預(yù)測(cè) SQL 查詢的正確性?？梢杂型岣吣Ｐ驮谖谋镜?SQL 生成任務(wù)中的性能，并彌補(bǔ)缺乏單元測(cè)試的限制。

代碼翻譯

在實(shí)驗(yàn)中，TransCoder 數(shù)據(jù)集包含了不同編程語言中的平行函數(shù)以及單元測(cè)試的測(cè)試集。根據(jù)先前研究的方法，將 Self-Debugging 應(yīng)用于將 C++ 代碼翻譯成 Python 代碼的任務(wù)，并且使用了相同的測(cè)試集，包含 560 個(gè)問題和每個(gè)問題 10 個(gè)單元測(cè)試，問題描述包括了 C++ 代碼和所有單元測(cè)試，如圖 4 所示。

由于單元測(cè)試的可用性，研究人員只在預(yù)測(cè)的 Python 代碼未通過所有單元測(cè)試時(shí)才應(yīng)用 Self-Debugging 技術(shù)，這樣模型就不需要預(yù)測(cè)反饋信息。如圖 5 所示，他們迭代地應(yīng)用 Self-Debugging 技術(shù)，直到預(yù)測(cè)的代碼通過了所有單元測(cè)試，或模型達(dá)到了預(yù)設(shè)的最大調(diào)試輪數(shù)。

文本到 Python 生成

在問題描述中包含了部分單元測(cè)試，MBPP 數(shù)據(jù)集包含了 500 個(gè) Python 問題的文本描述，每個(gè)問題都包含3個(gè)單元測(cè)試。作者在提示中包含問題描述中的第一個(gè)單元測(cè)試，并將剩余的2個(gè)單元測(cè)試保留以進(jìn)行完整的評(píng)估。與代碼翻譯類似，可以在反饋信息中利用單元測(cè)試的執(zhí)行結(jié)果，但主要的區(qū)別在于，即使預(yù)測(cè)的 Python 代碼通過了給定的單元測(cè)試，模型仍然需要推斷代碼的正確性。

實(shí)驗(yàn)

這里對(duì)實(shí)驗(yàn)部分將不再贅述，作者在所有 Self-Debugging 的實(shí)驗(yàn)中，使用貪婪解碼來生成代碼解釋、反饋信息和新的程序，并將最大調(diào)試輪數(shù)設(shè)置為 10。實(shí)驗(yàn)證明，成功的調(diào)試過程通常在 3 輪內(nèi)結(jié)束。

在表格 1、2 和 3 中，作者展示了 Self-Debugging 與現(xiàn)有方法的比較結(jié)果：

• 由于沒有可用的單元測(cè)試，僅有簡(jiǎn)單的反饋并不能改善性能，因?yàn)槟Ｐ蜔o法僅通過少量的示例區(qū)分正確和錯(cuò)誤的 SQL 查詢，并且不能對(duì)初始預(yù)測(cè)的 SQL 查詢進(jìn)行有意義的修改。

• 簡(jiǎn)單的反饋利用了執(zhí)行結(jié)果來推斷代碼的正確性，即使執(zhí)行信息沒有在反饋信息中呈現(xiàn)給模型。因此簡(jiǎn)單的反饋仍然改進(jìn)了模型的預(yù)測(cè)性能。

• 對(duì)于所有任務(wù)，模型從更豐富的反饋信號(hào)中受益。尤其是代碼解釋使得模型可以在沒有單元測(cè)試的情況下進(jìn)行 Self-Debugging。

在消融實(shí)驗(yàn)中，作者主要指出以下幾點(diǎn)：

文本到 SQL 生成

• 通常情況下，一個(gè)調(diào)試輪次已經(jīng)足夠。這些結(jié)果強(qiáng)調(diào)了利用大型語言模型解釋代碼進(jìn)行調(diào)試的優(yōu)勢(shì)。

• 在圖 6b 中進(jìn)一步展示了不同難度級(jí)別問題上的準(zhǔn)確性細(xì)分情況，其中每個(gè)問題的難度在數(shù)據(jù)集中根據(jù)目標(biāo) SQL 查詢的復(fù)雜性進(jìn)行了注釋。在不同難度級(jí)別的問題上，Self-Debugging 對(duì)于較難的問題改進(jìn)更加顯著。

• 解決難題的能力：特別是在額外困難問題上，Self-Debugging 將準(zhǔn)確性提高了 9%。圖 7 展示了一個(gè)額外困難問題中，Self-Debugging 修復(fù)了預(yù)測(cè)的 SQL 查詢的例子。

代碼翻譯

• 圖 8a 展示了不同調(diào)試輪次上的準(zhǔn)確性，圖 8b 展示了不同初始樣本數(shù)量上的準(zhǔn)確性。

• 將單元測(cè)試執(zhí)行和代碼解釋結(jié)合起來可以提高調(diào)試性能，在圖 9 和圖 10 中展示了這些例子。

• 如圖 8b 所示，單獨(dú)利用代碼解釋而不進(jìn)行 Self-Debugging 也可以在不同數(shù)量的樣本上提供一致的性能提升。

文本到 Python 生成

• 發(fā)現(xiàn)在初始預(yù)測(cè)代碼與正確解之間差距較大時(shí)，代碼解釋的作用較小，此時(shí)模型更傾向于生成新的程序而不是依賴于初始預(yù)測(cè)中的代碼片段。在圖 11 中展示了一個(gè)例子，其中 Self-Debugging 后的預(yù)測(cè)代碼與初始代碼差異很大。

小結(jié)

本文介紹了 Self-Debugging 技術(shù)，它使得大型語言模型能夠自行調(diào)試所生成的代碼，該方法使模型能夠進(jìn)行橡皮鴨子調(diào)試，從而使模型能夠在沒有人類指導(dǎo)的情況下識(shí)別和修復(fù)錯(cuò)誤。在多個(gè)代碼生成領(lǐng)域，它實(shí)現(xiàn)了最先進(jìn)的性能，并且顯著提高了樣本效率。

在文本到 SQL 生成任務(wù)中，由于該任務(wù)沒有指定單元測(cè)試，利用代碼解釋進(jìn)行 Self-Debugging 以及在最困難的問題上可以始終有好效果。對(duì)于代碼翻譯和文本到 Python 生成任務(wù)，在有單元測(cè)試可用的情況下，Self-Debugging 準(zhǔn)確性提高了多達(dá) 12%。

本工作強(qiáng)調(diào)了通過教大型語言模型迭代來自己調(diào)試預(yù)測(cè)的方法，從而改進(jìn)其編碼性能的潛力，而非要求模型從零開始生成正確的代碼。Self-Debugging 指導(dǎo)模型理解代碼、識(shí)別錯(cuò)誤，并根據(jù)錯(cuò)誤信息修復(fù)錯(cuò)誤。

未來的研究方向可以包括進(jìn)一步提高模型在調(diào)試過程中的能力。例如：

• 探索讓模型更好地描述代碼的高級(jí)語義含義和實(shí)現(xiàn)細(xì)節(jié)，從而提高其代碼解釋能力。

• 考慮在模型的反饋中包含更多的調(diào)試信息（例如潛在錯(cuò)誤的描述），以提供更加豐富的指導(dǎo)。

相信這些改進(jìn)將進(jìn)一步推動(dòng)大型語言模型在編碼任務(wù)中的性能提升，并在實(shí)際應(yīng)用中發(fā)揮更大的潛力。若是有朝一日，用大模型的問答工具準(zhǔn)確地輔助我們寫代碼，少了焦頭爛額 Debug 的內(nèi)耗時(shí)刻，豈不美哉？

賣萌屋作者：智商掉了一地

北理工計(jì)算機(jī)碩士在讀，近期沉迷于跟 ChatGPT 嘮嗑，對(duì)一切新穎的 NLP 應(yīng)用充滿好奇，正在努力成為興趣廣泛的斜杠青年～

作品推薦

1. 我是粉紅豬佩奇，我要把粉色吹風(fēng)機(jī)寫進(jìn) IJCAI 論文！

2. AI取代人類，可以自動(dòng)生成prompt了

3. ICLR 2023 最高分論文被錘抄襲？？

4. AI講話總愛“結(jié)巴”？這篇NeurIPS論文找到了病因，結(jié)巴率已接近人類！

5. 如何提升大規(guī)模Transformer的訓(xùn)練效果？Primer給出答案

6. Yoshua Bengio：我的一生

后臺(tái)回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP、CV、搜推廣與求職討論群文章來源地址http://www.zghlxwxcb.cn/news/detail-418338.html