国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

<mark id="iwst4"><track id="iwst4"><kbd id="iwst4"></kbd></track></mark>

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

2年前作者：UnknownBody分類：Toy博客閱讀(20)違法舉報

這篇具有很好參考價值的文章主要介紹了Tree of Thoughts: Deliberate Problem Solving with Large Language Models。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點擊"舉報違法"按鈕提交疑問。

本文是LLM系列的文章，針對《Tree of Thoughts: Deliberate Problem Solving
with Large Language Models》的翻譯。

摘要

語言模型越來越多地被部署用于解決各種任務(wù)中的一般問題，但在推理過程中仍然局限于token級別的從左到右的決策過程。這意味著他們可能無法完成需要探索、戰(zhàn)略前瞻或初始決策發(fā)揮關(guān)鍵作用的任務(wù)。為了克服這些挑戰(zhàn)，我們引入了一種新的語言模型推理框架“思維樹”（ToT），它概括了流行的“思維鏈”方法來提示語言模型，并能夠探索連貫的文本單元（“思維”），作為解決問題的中間步驟。ToT允許LMs通過考慮多個不同的推理路徑和自我評估選擇來進(jìn)行深思熟慮的決策，以決定下一步行動，并在必要時前瞻或回溯以做出全局選擇。我們的實驗表明，ToT顯著提高了語言模型在三項需要非瑣碎計劃或搜索的新任務(wù)上的解決問題能力：24小時游戲、創(chuàng)意寫作和迷你交叉詞。例如，在《24小時游戲》中，具有思維鏈提示的GPT-4只解決了4%的任務(wù)，而我們的方法的成功率為74%。帶有所有提示的代碼庫：https://github.com/ysymyth/tree-of-thought-llm.

1 引言

2 背景

3 思維樹：用LM進(jìn)行深思熟慮的問題解決

4 實驗

5 相關(guān)工作

6 討論

限制和未來方向。對于GPT-4已經(jīng)擅長的許多現(xiàn)有任務(wù)來說，像ToT這樣的深思熟慮的搜索可能不是必要的，作為最初的一步，這項工作只探索了三個相對簡單的任務(wù)，這些任務(wù)挑戰(zhàn)了GPT-4，并呼吁將更好的搜索和規(guī)劃能力與LMs結(jié)合起來。然而，隨著我們開始為更多現(xiàn)實世界的決策應(yīng)用（如編碼、數(shù)據(jù)分析、機(jī)器人等）部署LM，可能會出現(xiàn)更復(fù)雜的任務(wù)，并為研究這些研究問題提供新的機(jī)會。此外，像ToT這樣的搜索方法需要比采樣方法更多的資源（例如GPT-4 API成本）來提高任務(wù)性能，但ToT的模塊化靈活性允許用戶定制這種性能成本權(quán)衡，正在進(jìn)行的開源努力在不久的將來應(yīng)該很容易降低這種成本。最后，這項工作的重點是使用現(xiàn)成的LM，使用ToT風(fēng)格的高級反事實決策對LM進(jìn)行微調(diào)（例如，考慮下一段的潛在選擇，而不是預(yù)測下一個token）可能會為提高LM的解決問題能力提供機(jī)會。
更廣泛的影響。ToT是一個使LMs能夠更自主、更智能地做出決策和解決問題的框架。雖然目前的任務(wù)僅限于推理和搜索問題，但未來涉及與外部環(huán)境或人類互動的應(yīng)用可能會帶來潛在的危險，例如促進(jìn)LMs的有害使用。另一方面，ToT還提高了模型決策的可解釋性和人類對齊的機(jī)會，因為生成的表示是可讀的、高級語言推理，而不是隱式的、低級的token值。
結(jié)論。LMs的關(guān)聯(lián)“系統(tǒng)1”可以通過基于搜索問題解決方案的可能路徑樹的“系統(tǒng)2”進(jìn)行有益的擴(kuò)展。思維樹框架提供了一種將關(guān)于解決問題的經(jīng)典見解轉(zhuǎn)化為當(dāng)代LMs可操作方法的方法。同時，LM解決了這些經(jīng)典方法的弱點，提供了一種解決不容易形式化的復(fù)雜問題的方法，例如創(chuàng)造性寫作。我們認(rèn)為，LMs與人工智能經(jīng)典方法的交叉是未來工作的一個令人興奮的方向。文章來源地址http://www.zghlxwxcb.cn/news/detail-668348.html

到了這里，關(guān)于Tree of Thoughts: Deliberate Problem Solving with Large Language Models的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實不符，請點擊違法舉報進(jìn)行投訴反饋，一經(jīng)查實，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

A Survey of Large Language Models
本文是LLM系列的第一篇文章，針對《A Survey of Large Language Models》的翻譯。自從20世紀(jì)50年代提出圖靈測試以來，人類一直在探索通過機(jī)器掌握語言智能。語言本質(zhì)上是一個由語法規(guī)則控制的復(fù)雜的人類表達(dá)系統(tǒng)。開發(fā)能夠理解和掌握語言的人工智能算法是一個重大挑戰(zhàn)。在過
2024年02月09日
瀏覽(63)
Aligning Large Language Models with Human: A Survey
本文也是LLM相關(guān)的綜述文章，針對《Aligning Large Language Models with Human: A Survey》的翻譯。在大量文本語料庫上訓(xùn)練的大型語言模型（LLM）已成為一系列自然語言處理（NLP）任務(wù)的領(lǐng)先解決方案。盡管這些模型具有顯著的性能，但它們?nèi)菀资艿侥承┫拗?，如誤解人類指令、生成潛
2024年02月14日
瀏覽(23)
論文閱讀 A Survey of Large Language Models 3
為了檢驗LLM的有效性和優(yōu)越性，大量的任務(wù)和基準(zhǔn)被用來進(jìn)行實證評估和分析。我們首先介紹了LLM語言生成和理解的三種基本評估任務(wù)，然后介紹了LLM具有更復(fù)雜設(shè)置或目標(biāo)的幾個高級任務(wù)，最后討論了現(xiàn)有的基準(zhǔn)和實證分析。在這一部分中，我們主要關(guān)注LLM的三種評估任務(wù)
2024年02月13日
瀏覽(24)
A Survey on Evaluation of Large Language Models
這是LLM相關(guān)的系列文章，針對《A Survey on Evaluation of Large Language Models》的翻譯。大型語言模型（LLM）由于其在各種應(yīng)用中前所未有的性能，在學(xué)術(shù)界和工業(yè)界都越來越受歡迎。隨著LLM在研究和日常使用中繼續(xù)發(fā)揮重要作用，其評估變得越來越重要，不僅在任務(wù)層面，而且在社
2024年02月13日
瀏覽(21)
Enabling Large Language Models to Generate Text with Citations
本文是LLM系列的文章，針對《Enabling Large Language Models to Generate Text with Citations》的翻譯。大型語言模型（LLM）已成為一種廣泛使用的信息搜索工具，但其生成的輸出容易產(chǎn)生幻覺。在這項工作中，我們的目標(biāo)是使LLM能夠生成帶有引用的文本，提高其事實的正確性和可驗證性。
2024年02月12日
瀏覽(33)
大模型 LLM 綜述, A Survey of Large Language Models
一般認(rèn)為NLP領(lǐng)域的大模型=10 Billion參數(shù)(也有人認(rèn)為是6B、7B, 工業(yè)界用, 開始展現(xiàn)涌現(xiàn)能力); 經(jīng)典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等; 大模型時間線, 圖來自A Survey of Large Language Models，下同。 2.1 涌現(xiàn) 涌現(xiàn), emerge(abilities), 即一般指在大模型中出現(xiàn)
2024年02月08日
瀏覽(38)
YaRN: Efficient Context Window Extension of Large Language Models
本文是LLM系列文章，針對《YaRN: Efficient Context Window Extension of Large Language Models》的翻譯。旋轉(zhuǎn)位置嵌入（RoPE）已被證明可以在基于Transformer的語言模型中有效地編碼位置信息。然而，這些模型無法推廣到它們所訓(xùn)練的序列長度。我們提出了YaRN（另一種RoPE擴(kuò)展方法），這是一
2024年02月09日
瀏覽(21)
【論文精讀】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
當(dāng)下大模型時代最火的低資源微調(diào)大模型方法之一，方法簡單易懂，道理清晰明了，對未來的工作有很強(qiáng)的啟發(fā)性。如果想要深入了解LoRA的底層原理，建議仔細(xì)看一看這篇文章，如果只是應(yīng)用，那么簡單了解就好了~ 大模型預(yù)訓(xùn)練后的全量微調(diào)往往由于算力缺口而不可行，因
2024年02月10日
瀏覽(37)
LLM：LoRA: Low-Rank Adaptation of Large Language Models
隨著模型規(guī)模的不斷擴(kuò)大，微調(diào)模型的所有參數(shù)（所謂full fine-tuning）的可行性變得越來越低。以GPT-3的175B參數(shù)為例，每增加一個新領(lǐng)域就需要完整微調(diào)一個新模型，代價和成本很高。為解決微調(diào)大規(guī)模語言模型到不同領(lǐng)域和任務(wù)的挑戰(zhàn)，已有多種方案，比如部分微調(diào)、使用
2024年02月07日
瀏覽(20)
大型語言模型綜述，非常詳細(xì)，格局打開！A Survey of Large Language Models
返回論文和資料目錄論文地址項目地址講得通俗易懂，且格局拉滿！基本覆蓋了自ChatGPT以來的AI比較火的事件，還多次提到強(qiáng)人工智能AGI（人工通用智能）。對近幾年的大型語言模型（ Large Language Models）進(jìn)行了詳細(xì)介紹。非常建議感興趣大模型和強(qiáng)人工智能的讀者閱讀?。?/p>
2024年02月08日
瀏覽(32)