本文是LLM系列文章,針對《Decomposed Prompting: A MODULAR APPROACH FOR SOLVING COMPLEX TASKS》的翻譯。
摘要
小樣本提示是一種使用大型語言模型(LLM)來解決各種任務(wù)的強大方法。然而,隨著任務(wù)復(fù)雜性的增加,或者當任務(wù)本身的各個推理步驟很難學習時,尤其是當嵌入到更復(fù)雜的任務(wù)中時,這種方法會很困難。為了解決這一問題,我們提出了分解提示,這是一種通過將復(fù)雜任務(wù)分解(通過提示)為更簡單的子任務(wù)來解決復(fù)雜任務(wù)的新方法,這些子任務(wù)可以委托給專用于這些子任務(wù)的基于提示的LLM的共享庫。這種模塊化結(jié)構(gòu)允許每個提示都針對其特定的子任務(wù)進行優(yōu)化,必要時進行進一步分解,甚至可以根據(jù)需要輕松地用更有效的提示、經(jīng)過訓練的模型或符號函數(shù)替換。
我們表明,分解提示的靈活性和模塊性使其在使用GPT-3的小樣本提示方面優(yōu)于先前的工作。在符號推理任務(wù)中,我們可以將LLM難以解決的子任務(wù)進一步分解為更簡單的可解子任務(wù)。當復(fù)雜性來自輸入長度時,我們可以遞歸地將任務(wù)分解為相同的任務(wù),但輸入較小。我們還評估了我們在文本多步驟推理任務(wù)上的方法:在長上下文多跳QA上,我們可以通過單獨的子任務(wù)提示更有效地教授子任務(wù);在開放域多跳QA上,我們可以很容易地將符號信息檢索模塊納入我們的分解框架中,從而提高這兩項任務(wù)的性能。文章來源:http://www.zghlxwxcb.cn/news/detail-686099.html
1 引言
2 相關(guān)工作
3 分解提示
4 案例
5 結(jié)論
我們提出了一種新的方法,分解提示,通過將復(fù)雜任務(wù)分解為一個由更簡單的子任務(wù)構(gòu)建的提示程序,使用小樣本提示來解決復(fù)雜任務(wù)。從軟件庫中汲取靈感,我們的分解器和共享子任務(wù)以模塊化的方式設(shè)計:它們使用自己的少量提示,允許獨立優(yōu)化每個提示,必要時進一步分解子任務(wù),甚至用符號系統(tǒng)無縫替換它。我們表明,分解提示在四種不同的任務(wù)和泛化設(shè)置上優(yōu)于先前的工作,使其成為解決復(fù)雜任務(wù)的有效的小樣本范例。文章來源地址http://www.zghlxwxcb.cn/news/detail-686099.html
到了這里,關(guān)于Decomposed Prompting: A MODULAR APPROACH FOR SOLVING COMPLEX TASKS的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!