https://platform.openai.com/docs/guides/gpt-best-practices/gpt-best-practices

本指南分享了從 GPT 獲得更好結(jié)果的策略和戰(zhàn)術(shù)。有時可以結(jié)合使用此處描述的方法以獲得更大的效果。我們鼓勵進行實驗以找到最適合您的方法。

此處演示的一些示例目前僅適用于我們功能最強大的模型gpt-4.如果您還沒有訪問權(quán)限，gpt-4請考慮加入候補名單。一般來說，如果您發(fā)現(xiàn) GPT 模型在某項任務(wù)中失敗并且有更強大的模型可用，通常值得再次嘗試使用更強大的模型。

https://platform.openai.com/docs/guides/gpt-best-practices/six-strategies-for-getting-better-results

https://platform.openai.com/docs/guides/gpt-best-practices/write-clear-instructions

GPT 無法讀懂您的想法。如果輸出太長，要求簡短的答復(fù)。如果輸出太簡單，請要求專家級的寫作。如果您不喜歡這種格式，請展示您希望看到的格式。GPT 對您想要什么的猜測越少，您獲得它的可能性就越大。

策略：

• 在您的查詢中包含詳細信息以獲得更相關(guān)的答案
• 要求模特采用角色
• 使用定界符清楚地指示輸入的不同部分
• 指定完成任務(wù)所需的步驟
• 提供例子
• 指定所需的輸出長度

https://platform.openai.com/docs/guides/gpt-best-practices/provide-reference-text

GPT 可以自信地編造假答案，尤其是當(dāng)被問及深奧的話題或引用和 URL 時。就像一張筆記可以幫助學(xué)生在考試中取得更好的成績一樣，為 GPT 提供參考文本可以幫助以更少的捏造來回答。

策略：

• 指示模型使用參考文本回答
• 指示模型使用參考文本中的引用來回答

https://platform.openai.com/docs/guides/gpt-best-practices/split-complex-tasks-into-simpler-subtasks

正如在軟件工程中將復(fù)雜系統(tǒng)分解為一組模塊化組件是一種很好的做法一樣，提交給 GPT 的任務(wù)也是如此。復(fù)雜的任務(wù)往往比簡單的任務(wù)有更高的錯誤率。此外，復(fù)雜的任務(wù)通常可以重新定義為更簡單任務(wù)的工作流，其中早期任務(wù)的輸出用于構(gòu)建后續(xù)任務(wù)的輸入。

策略：

• 使用意圖分類來識別與用戶查詢最相關(guān)的指令
• 對于需要很長對話的對話應(yīng)用，總結(jié)或過濾之前的對話
• 分段總結(jié)長文檔并遞歸構(gòu)建完整摘要

https://platform.openai.com/docs/guides/gpt-best-practices/give-gpts-time-to-think

如果要求將 17 乘以 28，您可能不會立即知道，但隨著時間的推移仍然可以計算出來。同樣，GPT 在試圖立即回答而不是花時間找出答案時會犯更多的推理錯誤。在回答之前詢問一系列推理可以幫助 GPT 更可靠地推理出正確答案。

策略：

• 在匆忙下結(jié)論之前指示模型制定出自己的解決方案
• 使用內(nèi)心獨白或一系列查詢來隱藏模型的推理過程
• 詢問模型是否遺漏了之前傳遞的任何內(nèi)容

https://platform.openai.com/docs/guides/gpt-best-practices/use-external-tools

通過為 GPT 提供其他工具的輸出來彌補它們的弱點。例如，文本檢索系統(tǒng)可以將相關(guān)文檔告知 GPT。代碼執(zhí)行引擎可以幫助 GPT 進行數(shù)學(xué)運算和運行代碼。如果一項任務(wù)可以通過工具而不是 GPT 更可靠或更有效地完成，請卸載它以充分利用兩者。

策略：

• 使用基于嵌入的搜索來實現(xiàn)高效的知識檢索
• 使用代碼執(zhí)行來執(zhí)行更準(zhǔn)確的計算或調(diào)用外部 API

https://platform.openai.com/docs/guides/gpt-best-practices/test-changes-systematically

如果可以衡量，提高績效會更容易。在某些情況下，對提示的修改會在一些孤立的示例上獲得更好的性能，但會導(dǎo)致在更具代表性的示例集上的整體性能變差。因此，要確保更改對性能產(chǎn)生積極影響，可能有必要定義一個綜合測試套件（也稱為“評估”）。

戰(zhàn)術(shù)：

• 參考黃金標(biāo)準(zhǔn)答案評估模型輸出

https://platform.openai.com/docs/guides/gpt-best-practices/tactics

上面列出的每個策略都可以用特定的策略來實例化。這些策略旨在為嘗試的事情提供想法。它們絕不是全面的，您可以隨意嘗試此處未展示的創(chuàng)意。

https://platform.openai.com/docs/guides/gpt-best-practices/strategy-write-clear-instructions

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-include-details-in-your-query-to-get-more-relevant-answers

為了獲得高度相關(guān)的響應(yīng)，請確保請求提供任何重要的細節(jié)或上下文。否則，您將把它留給模型來猜測您的意思。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-ask-the-model-to-adopt-a-persona

系統(tǒng)消息可用于指定模型在其回復(fù)中使用的角色。

系統(tǒng)

當(dāng)我請求幫助寫東西時，你會回復(fù)一份文檔，每個段落至少包含一個笑話或俏皮的評論。

用戶

給我的鋼螺栓供應(yīng)商寫一封感謝信，感謝他在短時間內(nèi)準(zhǔn)時交貨。這使我們能夠交付重要訂單。

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-use-delimiters-to-clearly-indicate-distinct-parts-of-the-input

三重引號、XML 標(biāo)記、章節(jié)標(biāo)題等分隔符可以幫助區(qū)分要區(qū)別對待的文本部分。

用戶

用俳句總結(jié)由三重引號分隔的文本。"""在此插入文本"""

在操場上打開

系統(tǒng)

您將獲得一對關(guān)于同一主題的文章（用 XML 標(biāo)記分隔）。先總結(jié)一下每篇文章的論點。然后指出他們中的哪一個提出了更好的論點并解釋原因。

用戶

<article>在這里插入第一篇文章</article> <article>在這里插入第二篇文章</article>

在操場上打開

系統(tǒng)

您將獲得論文摘要和建議的標(biāo)題。論文標(biāo)題應(yīng)該讓讀者對論文的主題有一個很好的了解，但也應(yīng)該引人注目。如果標(biāo)題不符合這些標(biāo)準(zhǔn)，建議 5 個備選方案。

用戶

摘要：此處插入摘要標(biāo)題：此處插入標(biāo)題

在操場上打開

對于諸如此類的簡單任務(wù)，使用定界符可能不會對輸出質(zhì)量產(chǎn)生影響。然而，任務(wù)越復(fù)雜，消除任務(wù)細節(jié)的歧義就越重要。不要讓 GPT 工作以準(zhǔn)確理解您對它們的要求。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-specify-the-steps-required-to-complete-a-task

有些任務(wù)最好指定為一系列步驟。明確地寫出步驟可以使模型更容易遵循它們。

系統(tǒng)

使用以下分步說明響應(yīng)用戶輸入。第 1 步 - 用戶將用三重引號為您提供文本。在一個句子中總結(jié)這段文字，并加上一個前綴“Summary:”。第 2 步 - 將第 1 步中的摘要翻譯成西班牙語，并加上前綴“Translation:”。

用戶

"""在此插入文本"""

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-provide-examples

提供適用于所有示例的一般說明通常比通過示例演示任務(wù)的所有排列更有效，但在某些情況下提供示例可能更容易。例如，如果您打算讓模型復(fù)制一種難以明確描述的特定樣式來響應(yīng)用戶查詢。這被稱為“少量”提示。

系統(tǒng)

以一致的風(fēng)格回答。

用戶

教我耐心。

助手

開辟最深山谷的河流從溫和的泉水流出；最偉大的交響樂源于一個音符；最復(fù)雜的掛毯始于一根單獨的線。

用戶

教我認識海洋。

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-specify-the-desired-length-of-the-output

您可以要求模型生成具有給定目標(biāo)長度的輸出。目標(biāo)輸出長度可以根據(jù)單詞、句子、段落、要點等的計數(shù)來指定。但是請注意，指示模型生成特定數(shù)量的單詞并不能實現(xiàn)高精度。該模型可以更可靠地生成具有特定數(shù)量的段落或要點的輸出。

用戶

用大約 50 個單詞總結(jié)由三重引號分隔的文本。"""在此插入文本"""

在操場上打開

用戶

在 2 個段落中總結(jié)由三重引號分隔的文本。"""在此插入文本"""

在操場上打開

用戶

在 3 個要點中總結(jié)由三重引號分隔的文本。"""在此插入文本"""

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/strategy-provide-reference-text

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-instruct-the-model-to-answer-using-a-reference-text

如果我們可以為模型提供與當(dāng)前查詢相關(guān)的可信信息，那么我們可以指示模型使用提供的信息來編寫其答案。

系統(tǒng)

使用由三重引號分隔的提供的文章來回答問題。如果在文章中找不到答案，寫“我找不到答案”。

用戶

<插入文章，每篇文章用三重引號分隔> 問題：<在此處插入問題>

在操場上打開

鑒于 GPT 的上下文窗口有限，為了應(yīng)用這種策略，我們需要一些方法來動態(tài)查找與所問問題相關(guān)的信息。嵌入可用于實現(xiàn)高效的知識檢索。有關(guān)如何實現(xiàn)這一點的更多詳細信息，請參閱策略“使用基于嵌入的搜索來實現(xiàn)高效的知識檢索” 。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-instruct-the-model-to-answer-with-citations-from-a-reference-text

如果輸入已補充相關(guān)知識，則可以直接要求模型通過引用所提供文檔中的段落來為其答案添加引文。請注意，輸出中的引用可以通過提供的文檔中的字符串匹配以編程方式進行驗證。

系統(tǒng)

您將獲得一份由三重引號和一個問題分隔的文件。您的任務(wù)是僅使用提供的文件回答問題，并引用用于回答問題的文件中的段落。如果文檔不包含回答此問題所需的信息，則只需寫上：“信息不足”。如果提供了問題的答案，則必須用引文進行注釋。使用以下格式引用相關(guān)段落 ({"citation": …})。

用戶

"""<在此處插入文檔>""" 問題：<在此處插入問題>

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/strategy-split-complex-tasks-into-simpler-subtasks

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-use-intent-classification-to-identify-the-most-relevant-instructions-for-a-user-query

對于需要大量獨立指令集來處理不同情況的任務(wù)，首先對查詢類型進行分類并使用該分類來確定需要哪些指令可能是有益的。這可以通過定義與處理給定類別中的任務(wù)相關(guān)的固定類別和硬編碼指令來實現(xiàn)。這個過程也可以遞歸地應(yīng)用于將任務(wù)分解為一系列階段。這種方法的優(yōu)點是每個查詢將僅包含執(zhí)行任務(wù)下一階段所需的指令，與使用單個查詢執(zhí)行整個任務(wù)相比，這可以降低錯誤率。這也可以降低成本，因為更大的提示運行成本更高（參見定價信息）。

例如，假設(shè)對于客戶服務(wù)應(yīng)用程序，可以將查詢分類如下：

系統(tǒng)

您將收到客戶服務(wù)查詢。將每個查詢分為主要類別和次要類別。以 json 格式提供帶有鍵的輸出：primary 和 secondary。主要類別：計費、技術(shù)支持、賬戶管理或一般查詢。計費次要類別： - 取消訂閱或升級 - 添加付款方式 - 收費說明 - 對收費提出異議 技術(shù)支持次要類別： - 故障排除 - 設(shè)備兼容性 - 軟件更新 賬戶管理次要類別： - 密碼重置 - 更新個人信息 - 關(guān)閉帳戶 -帳戶安全 一般查詢二級類別： - 產(chǎn)品信息 - 定價 - 反饋 - 與人交談

用戶

我需要讓我的互聯(lián)網(wǎng)重新工作。

在操場上打開

基于客戶查詢的分類，可以向 GPT 模型提供一組更具體的指令來處理后續(xù)步驟。例如，假設(shè)客戶需要“故障排除”方面的幫助。

系統(tǒng)

您將收到需要在技術(shù)支持環(huán)境中進行故障排除的客戶服務(wù)查詢。通過以下方式幫助用戶： - 要求他們檢查所有進出路由器的電纜是否已連接。請注意，電纜隨時間松動是很常見的。- 如果所有電纜都已連接但問題仍然存在，請詢問他們使用的是哪種路由器型號 - 現(xiàn)在您將建議他們?nèi)绾沃匦聠铀麄兊脑O(shè)備： -- 如果型號是 MTD-327J，建議他們按下紅色按鈕并按住它 5 秒鐘，然后等待 5 分鐘，然后再測試連接。-- 如果型號是 MTD-327S，建議他們拔下并重新插入，然后等待 5 分鐘，然后再測試連接。- 如果客戶的問題在重啟設(shè)備并等待 5 分鐘后仍然存在，請通過輸出 {"IT support requested"} 將他們連接到 IT 支持。

用戶

我需要讓我的互聯(lián)網(wǎng)重新工作。

在操場上打開

請注意，已指示模型發(fā)出特殊字符串以指示對話狀態(tài)何時發(fā)生變化。這使我們能夠?qū)⑽覀兊南到y(tǒng)變成一個狀態(tài)機，其中狀態(tài)決定注入哪些指令。通過跟蹤狀態(tài)，哪些指令與該狀態(tài)相關(guān)，以及可選地允許從該狀態(tài)進行哪些狀態(tài)轉(zhuǎn)換，我們可以為用戶體驗設(shè)置護欄，而這很難通過結(jié)構(gòu)化程度較低的方法實現(xiàn)。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-for-dialogue-applications-that-require-very-long-conversations-summarize-or-filter-previous-dialogue

由于 GPT 具有固定的上下文長度，因此整個對話都包含在上下文窗口中的用戶和助手之間的對話不能無限期地繼續(xù)。

這個問題有多種解決方法，其中之一是總結(jié)對話中的先前回合。一旦輸入的大小達到預(yù)定的閾值長度，這可能會觸發(fā)一個查詢，該查詢總結(jié)了部分對話，并且先前對話的摘要可以作為系統(tǒng)消息的一部分包含在內(nèi)?；蛘撸梢栽谡麄€對話過程中在后臺異步總結(jié)先前的對話。

另一種解決方案是動態(tài)選擇與當(dāng)前查詢最相關(guān)的對話的先前部分。請參閱策略“使用基于嵌入的搜索來實現(xiàn)高效的知識檢索”。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-summarize-long-documents-piecewise-and-construct-a-full-summary-recursively

由于 GPT 具有固定的上下文長度，因此它們不能用于總結(jié)長度超過上下文長度減去單個查詢中生成的摘要長度的文本。

要總結(jié)一個非常長的文檔，例如一本書，我們可以使用一系列查詢來總結(jié)文檔的每個部分。節(jié)摘要可以被連接和總結(jié)生成摘要的摘要。這個過程可以遞歸地進行，直到總結(jié)了整個文檔。如果有必要使用有關(guān)前面部分的信息來理解后面的部分，那么另一個有用的技巧是在書中任何給定點之前包括文本的連續(xù)摘要，同時總結(jié)該點的內(nèi)容。OpenAI在之前的研究中使用 GPT-3 的變體研究了這種用于總結(jié)書籍的程序的有效性。

https://platform.openai.com/docs/guides/gpt-best-practices/strategy-give-gpts-time-to-think

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-instruct-the-model-to-work-out-its-own-solution-before-rushing-to-a-conclusion

有時，當(dāng)我們明確指示模型在得出結(jié)論之前根據(jù)第一原則進行推理時，我們會得到更好的結(jié)果。例如，假設(shè)我們想要一個模型來評估學(xué)生對數(shù)學(xué)問題的解決方案。解決這個問題的最明顯方法是簡單地詢問模型學(xué)生的解決方案是否正確。

系統(tǒng)

判斷學(xué)生的答案是否正確。

用戶

問題陳述：我正在建造一個太陽能裝置，我需要幫助來計算財務(wù)。- 土地成本 100 美元/平方英尺 - 我可以以 250 美元/平方英尺的價格購買太陽能電池板 - 我協(xié)商了一份維護合同，每年將花費我 10 萬美元，外加 10 美元/平方英尺 的總成本是多少第一年的運營作為平方英尺數(shù)的函數(shù)。學(xué)生的解答：令 x 為以平方英尺為單位的安裝尺寸。1.土地成本：100x 2.太陽能電池板成本：250x 3.維護成本：100,000 + 100x 總成本：100x + 250x + 100,000 + 100x = 450x + 100,000

助手

這位同學(xué)的答案是正確的。

在操場上打開

但是這位同學(xué)的解法其實是不正確的！我們可以通過提示模型首先生成自己的解決方案來讓模型成功注意到這一點。

系統(tǒng)

首先想出你自己解決問題的方法。然后將您的解決方案與學(xué)生的解決方案進行比較，并評估學(xué)生的解決方案是否正確。在您自己完成問題之前，不要判斷學(xué)生的解決方案是否正確。

用戶

問題陳述：我正在建造一個太陽能裝置，我需要幫助來計算財務(wù)。- 土地成本 100 美元/平方英尺 - 我可以以 250 美元/平方英尺的價格購買太陽能電池板 - 我協(xié)商了一份維護合同，每年將花費我 10 萬美元，外加 10 美元/平方英尺 的總成本是多少第一年的運營作為平方英尺數(shù)的函數(shù)。學(xué)生的解答：令 x 為以平方英尺為單位的安裝尺寸。1.土地成本：100x 2.太陽能電池板成本：250x 3.維護成本：100,000 + 100x 總成本：100x + 250x + 100,000 + 100x = 450x + 100,000

助手

設(shè) x 是以平方英尺為單位的安裝尺寸。1.土地成本：100x 2.太陽能電池板成本：250x 3.維護成本：100,000 + 10x 總成本：100x + 250x + 100,000 + 10x = 360x + 100,000 學(xué)生的答案是錯誤的。他們在維護成本計算中犯了一個錯誤，使用 100x 而不是 10x。第一年運營的正確總成本是 360x + 100,000。

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-use-inner-monologue-or-a-sequence-of-queries-to-hide-the-model-s-reasoning-process

前面的策略表明，模型在回答特定問題之前詳細推理問題有時很重要。對于某些應(yīng)用程序，模型用于得出最終答案的推理過程不適合與用戶共享。例如，在輔導(dǎo)應(yīng)用程序中，我們可能希望鼓勵學(xué)生自己找出答案，但模型對學(xué)生答案的推理過程可能會向?qū)W生揭示答案。

內(nèi)心獨白是一種可以用來緩解這種情況的策略。內(nèi)心獨白的想法是指示模型將本應(yīng)對用戶隱藏的輸出部分放入結(jié)構(gòu)化格式中，以便于解析它們。然后在將輸出呈現(xiàn)給用戶之前，對輸出進行解析并僅使部分輸出可見。

系統(tǒng)

按照以下步驟回答用戶查詢。第 1 步 - 首先找出您自己的問題解決方案。不要依賴學(xué)生的解決方案，因為它可能不正確。用三引號 (""") 將此步驟的所有作業(yè)括起來。第 2 步 - 將您的解決方案與學(xué)生的解決方案進行比較，并評估學(xué)生的解決方案是否正確。將此步驟的所有作業(yè)用三引號 ("") 括起來”）。第 3 步 - 如果學(xué)生犯了錯誤，請確定您可以在不給出答案的情況下給學(xué)生什么提示。將此步驟的所有工作用三重引號 (""") 括起來。第 4 步 - 如果學(xué)生犯了錯誤，請向?qū)W生提供上一步的提示（在三重引號之外）。而不是寫“第 4 步 - ...”寫“提示：”。

用戶

問題陳述：<插入問題陳述> 學(xué)生解決方案：<插入學(xué)生解決方案>

在操場上打開

或者，這可以通過一系列查詢來實現(xiàn)，其中除最后一個之外的所有查詢都對最終用戶隱藏其輸出。

首先，我們可以讓模型自己解決問題。由于此初始查詢不需要學(xué)生的解決方案，因此可以省略。這提供了額外的優(yōu)勢，即模型的解決方案不會因?qū)W生嘗試的解決方案而產(chǎn)生偏差。

用戶

<插入問題陳述>

在操場上打開

接下來，我們可以讓模型使用所有可用信息來評估學(xué)生解決方案的正確性。

系統(tǒng)

將您的解決方案與學(xué)生的解決方案進行比較，并評估學(xué)生的解決方案是否正確。

用戶

問題陳述："""<插入問題陳述>""" 您的解決方案："""<插入模型生成的解決方案>""" 學(xué)生的解決方案："""<插入學(xué)生的解決方案>"""

在操場上打開

最后，我們可以讓模型使用自己的分析來構(gòu)建一個樂于助人的導(dǎo)師角色的回復(fù)。

系統(tǒng)

你是數(shù)學(xué)老師。如果學(xué)生犯了錯誤，請以不透露答案的方式向?qū)W生提供提示。如果學(xué)生沒有犯錯，只需給他們一個鼓勵的評論。

用戶

問題陳述："""<插入問題陳述>""" 您的解決方案："""<插入模型生成的解決方案>""" 學(xué)生的解決方案："""<插入學(xué)生的解決方案>""" 分析："""<插入模型從上一步生成的分析 >"""

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-ask-the-model-if-it-missed-anything-on-previous-passes

假設(shè)我們正在使用一個模型來列出與特定問題相關(guān)的來源的摘錄。在列出每個摘錄后，模型需要確定是否應(yīng)該開始編寫另一個摘錄或是否應(yīng)該停止。如果源文檔很大，模型通常會過早停止并且無法列出所有相關(guān)摘錄。在這種情況下，通?？梢酝ㄟ^使用后續(xù)查詢提示模型來查找它在先前傳遞中遺漏的任何摘錄來獲得更好的性能。

系統(tǒng)

您將獲得一份由三重引號分隔的文件。你的任務(wù)是選擇與以下問題相關(guān)的摘錄：“人工智能歷史上發(fā)生了哪些重大的范式轉(zhuǎn)變。” 確保摘錄包含解釋它們所需的所有相關(guān)上下文——換句話說，不要提取缺少重要上下文的小片段。以 JSON 格式提供輸出，如下所示：[{"excerpt": "..."}, ... {"excerpt": "..."}]

用戶

"""<在此處插入文檔>"""

助手

[{“摘錄”：“模型在這里寫了一個摘錄”}，... {“摘錄”：“模型在這里寫了另一個摘錄”}]

用戶

有更多相關(guān)的摘錄嗎？注意不要重復(fù)摘錄。還要確保摘錄包含解釋它們所需的所有相關(guān)上下文——換句話說，不要提取缺少重要上下文的小片段。

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/strategy-use-external-tools

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-use-embeddings-based-search-to-implement-efficient-knowledge-retrieval

如果作為輸入的一部分提供，模型可以利用外部信息源。這可以幫助模型生成更明智和最新的響應(yīng)。例如，如果用戶詢問有關(guān)特定電影的問題，將有關(guān)電影的高質(zhì)量信息（例如演員、導(dǎo)演等）添加到模型的輸入中可能會很有用。嵌入可用于實現(xiàn)高效的知識檢索，以便在運行時將相關(guān)信息動態(tài)添加到模型輸入中。

文本嵌入是一個向量，可以衡量文本字符串之間的相關(guān)性。相似或相關(guān)的字符串將比不相關(guān)的字符串靠得更近。這一事實以及快速向量搜索算法的存在意味著嵌入可用于實現(xiàn)高效的知識檢索。特別是，一個文本語料庫可以被分割成塊，每個塊都可以被嵌入和存儲。然后可以嵌入給定的查詢并執(zhí)行向量搜索以從語料庫中找到與查詢最相關(guān)（即在嵌入空間中最接近）的嵌入文本塊。

可以在OpenAI Cookbook中找到示例實現(xiàn)。有關(guān)如何使用知識檢索來最小化模型編造錯誤事實的可能性的示例，請參閱策略“指示模型使用檢索到的知識來回答查詢”。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-use-code-execution-to-perform-more-accurate-calculations-or-call-external-apis

不能依賴 GPT 自行準(zhǔn)確地執(zhí)行算術(shù)或長計算。在需要的情況下，可以指示模型編寫和運行代碼，而不是進行自己的計算。特別是，可以指示模型將要運行的代碼放入指定的格式中，例如三重 backtics。生成輸出后，可以提取并運行代碼。最后，如果有必要，可以將代碼執(zhí)行引擎（即 Python 解釋器）的輸出作為輸入提供給下一個查詢的模型。

系統(tǒng)

您可以通過用三個反引號將其括起來來編寫和執(zhí)行 Python 代碼，例如，```code goes here```。使用它來執(zhí)行計算。

用戶

找出以下多項式的所有實值根：3*x**5 - 5*x**4 - 3*x**3 - 7*x - 10。

在操場上打開

代碼執(zhí)行的另一個好用例是調(diào)用外部 API。如果指導(dǎo)模型正確使用 API，則它可以編寫使用它的代碼。通過向模型提供說明如何使用 API 的文檔和/或代碼示例，可以指導(dǎo)模型如何使用 API。

系統(tǒng)

您可以通過用三重反引號括起來來編寫和執(zhí)行 Python 代碼。另請注意，您可以訪問以下模塊以幫助用戶向他們的朋友發(fā)送消息：```python import message message.write(to="John", message="嘿，下班后想見面嗎？")`` `

在操場上打開

警告：執(zhí)行模型生成的代碼本身并不安全，任何試圖執(zhí)行此操作的應(yīng)用程序都應(yīng)采取預(yù)防措施。特別是，需要一個沙盒代碼執(zhí)行環(huán)境來限制不受信任的代碼可能造成的危害。

https://platform.openai.com/docs/guides/gpt-best-practices/strategy-test-changes-systematically

有時很難判斷更改（例如，新指令或新設(shè)計）是否會使您的系統(tǒng)變得更好或更糟。查看幾個示例可能會暗示哪個更好，但是樣本量較小時，很難區(qū)分真正的改進還是隨機的運氣。也許這種變化有助于某些輸入的性能，但會損害其他輸入的性能。

評估程序（或“evals”）對于優(yōu)化系統(tǒng)設(shè)計很有用。好的評價是：

• 代表現(xiàn)實世界的使用（或至少是多樣化的）
• 包含許多測試用例以獲得更大的統(tǒng)計能力（有關(guān)指南，請參見下表）
• 易于自動化或重復(fù)

輸出的評估可以由計算機、人類或混合來完成。計算機可以使用客觀標(biāo)準(zhǔn)（例如，具有單一正確答案的問題）以及一些主觀或模糊標(biāo)準(zhǔn)來自動評估，其中模型輸出由其他模型查詢評估。OpenAI Evals是一個開源軟件框架，提供用于創(chuàng)建自動評估的工具。

當(dāng)存在一系列可能被認為質(zhì)量相同的輸出時（例如，對于答案很長的問題），基于模型的評估可能很有用。使用基于模型的評估可以實際評估的內(nèi)容與需要人工評估的內(nèi)容之間的界限是模糊的，并且隨著模型變得更強大而不斷變化。我們鼓勵通過實驗來弄清楚基于模型的評估對您的用例的適用程度。

https://platform.openai.com/docs/guides/gpt-best-practices/tactic-evaluate-model-outputs-with-reference-to-gold-standard-answers

假設(shè)已知問題的正確答案應(yīng)該參考一組特定的已知事實。然后我們可以使用模型查詢來計算答案中包含了多少所需事實。

例如，使用以下系統(tǒng)消息：

系統(tǒng)

您將獲得由三重引號分隔的文本，這些文本應(yīng)該是問題的答案。檢查以下信息是否直接包含在答案中： - Neil Armstrong 是第一個在月球上行走的人。- 尼爾·阿姆斯特朗首次踏上月球的日期是 1969 年 7 月 21 日。對于這些要點中的每一個，請執(zhí)行以下步驟： 1 - 重申要點。2 - 引用最接近這一點的答案。3 - 考慮閱讀引文但不了解主題的人是否可以直接推斷出這一點。在下定決心之前解釋為什么或為什么不。4 - 如果對 3 的回答是“是”，則寫“是”，否則寫“否”。最后，提供有多少個“是”答案的計數(shù)。將此計數(shù)提供為 {"count": <insert count here>}。

這是一個滿足兩點的示例輸入：

系統(tǒng)

<在上面插入系統(tǒng)消息>

用戶

"""尼爾阿姆斯特朗因成為第一個踏上月球的人類而聞名。這一歷史性事件發(fā)生在 1969 年 7 月 21 日，阿波羅 11 號任務(wù)期間。"""

在操場上打開

這是一個示例輸入，其中只有一個點得到滿足：

系統(tǒng)

<在上面插入系統(tǒng)消息>

用戶

"""尼爾·阿姆斯特朗走下登月艙，創(chuàng)造了歷史，成為第一個踏上月球的人。"""

在操場上打開

這是一個不滿足的示例輸入：

系統(tǒng)

<在上面插入系統(tǒng)消息>

用戶

"""在 69 年的夏天，阿波羅 11 號的宏偉航行，像傳說中的手一樣大膽。阿姆斯特朗邁出了一步，歷史展開了，"一小步，"他說，為了一個新世界。"""

在操場上打開

這種基于模型的評估有很多可能的變體?？紤]以下變體，它跟蹤候選答案和黃金標(biāo)準(zhǔn)答案之間的重疊類型，并跟蹤候選答案是否與黃金標(biāo)準(zhǔn)答案的任何部分相矛盾。

系統(tǒng)

使用以下步驟響應(yīng)用戶輸入。在繼續(xù)之前完全重述每個步驟。即“第 1 步：原因……”。第 1 步：逐步推理提交的答案中的信息與專家答案相比是否是：不相交、相等、子集、超集或重疊（即一些交集但不是子集/超集）。第 2 步：逐步推理提交的答案是否與專家答案的任何方面相矛盾。第 3 步：輸出結(jié)構(gòu)如下的 JSON 對象：{"type_of_overlap": "disjoint" or "equal" or "subset" or "superset" or "overlapping", "contradiction": true or false}

這是一個帶有不合標(biāo)準(zhǔn)答案的示例輸入，但與專家答案并不矛盾：

系統(tǒng)

<在上面插入系統(tǒng)消息>

用戶

問題：“”“尼爾·阿姆斯特朗最著名的事件是什么？它發(fā)生在什么日期？假定 UTC 時間。”””提交的答案：“”“他不是在月球上行走嗎？”“”專家回答: """尼爾·阿姆斯特朗最著名的是他是第一個在月球上行走的人。這一歷史性事件發(fā)生在 1969 年 7 月 21 日。"""

在操場上打開

這是一個示例輸入，其答案直接與專家答案相矛盾：

系統(tǒng)

<在上面插入系統(tǒng)消息>

用戶

問題：“”“尼爾·阿姆斯特朗最著名的事件是什么？它發(fā)生在什么日期？假定 UTC 時間。”””提交的答案：“”“1969 年 7 月 21 日，尼爾·阿姆斯特朗成為第二個走上這條路的人登月，繼巴茲奧爾德林之后。""" 專家回答："""尼爾阿姆斯特朗最著名的是他是第一個登上月球的人。這一歷史性事件發(fā)生在 1969 年 7 月 21 日。"""

在操場上打開

這是一個帶有正確答案的示例輸入，它還提供了比必要的更多的細節(jié)：

系統(tǒng)

<在上面插入系統(tǒng)消息>

用戶

問題：“”“尼爾阿姆斯特朗最著名的事件是什么？它發(fā)生在什么日期？假定 UTC 時間?！薄啊碧峤坏拇鸢福骸啊薄霸?1969 年 7 月 21 日大約 02:56 UTC，尼爾阿姆斯特朗成為第一個人類踏上月球表面，標(biāo)志著人類歷史上的巨大成就。""" 專家解答："""尼爾·阿姆斯特朗最著名的是他是第一個在月球上行走的人。這一歷史性事件發(fā)生在 7 月 21 日， 1969."""

在操場上打開

https://platform.openai.com/docs/guides/gpt-best-practices/other-resources

如需更多靈感，請訪問OpenAI Cookbook，其中包含示例代碼以及指向第三方資源的鏈接，例如：文章來源地址http://www.zghlxwxcb.cn/news/detail-491254.html

• 提示庫和工具
• 提示指南
• 視頻課程
• 關(guān)于改進推理的高級提示的論文

到了這里，關(guān)于GPT最佳實踐-翻譯官網(wǎng)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！