在session上下文中，捕獲用戶的搜索意圖，是一件較為復(fù)雜和困難的事情。
一起看一下人大的這篇論文?Large Language Models Know Your Contextual Search Intent: A Prompting Framework for Conversational Search
?
會(huì)話中的搜索意圖和query改寫
人大的論文中提出了一個(gè)簡(jiǎn)單而有效的提示框架，稱為L(zhǎng)LM4CS，以利用LLM作為搜索意圖解釋器來(lái)促進(jìn)會(huì)話搜索。具體來(lái)說(shuō)，我們首先提示LLM在多個(gè)視角下生成較短的查詢重寫和較長(zhǎng)的假設(shè)響應(yīng)，然后將這些生成的內(nèi)容聚合成一個(gè)集成的表示，以穩(wěn)健地表示用戶的真實(shí)搜索意圖。在我們的框架下，我們提出三種具體的提示方法和聚合方法，并進(jìn)行廣泛的評(píng)估三個(gè)廣泛使用的會(huì)話搜索基準(zhǔn)，包括CAsT-19（道爾頓等人，2020），CAsT-20（道爾頓等人，2021），和CAsT-21（道爾頓等人，2022）)，全面調(diào)查llm對(duì)話搜索的有效性。
論文核心內(nèi)容
論文中嗎，主要解決的是從上下文的會(huì)話信息中，提取信息，已補(bǔ)充和改寫最新的query。解決上下文的關(guān)聯(lián)問題。
論文中提到了三種重寫的方式，如下圖所示。
- 第一種REW是直接把歷史的qa和當(dāng)前query一起送給模型，然后讓模型給出重寫后的query。
- 第二種RTR是把歷史的qa和當(dāng)前query一起送給模型，然后讓模型給出重寫后的query。并給出一個(gè)回答。把回答的內(nèi)容和和重寫后的query一起構(gòu)造成新的query。這里論文中雖然沒有提到，但是在谷歌和微軟的相關(guān)論文中，由于生成的答案通常比重寫后的query要長(zhǎng)，索引要把重寫后的query重復(fù)拼接5次，然后再拼接上回答的內(nèi)容，最后構(gòu)成最終的query。
- 第三種RAR是把歷史的qa和當(dāng)前query一起送給模型，然后讓模型給出重寫后的query。并給出一個(gè)回答。這里可以生成多個(gè)問題和多個(gè)回答。也就是可以把復(fù)雜的問題進(jìn)行拆解。
?
額外地生成假設(shè)的響應(yīng)和正確地聚合多個(gè)生成的結(jié)果對(duì)于提高搜索性能是至關(guān)重要的！
?
論文中提及的query重寫方法如何使用？
最簡(jiǎn)單的方法是，將會(huì)話中的每一個(gè)qa對(duì)都當(dāng)做內(nèi)容，和當(dāng)前的query一起送給LLM。并給LLM一個(gè)提示，讓LLM根據(jù)這些內(nèi)容去重寫query。
Prompt指令如下，讓LLM知道是從上下文中，獲取信息。
For an information-seeking dialog, please help reformulate the question into rewrite that
can fully express the user‘s information needs without the need of context, but also
generate an informative response to answer the question.給LLM幾個(gè)重寫的示例
示例中包含了query，和重寫的原因，以及重寫后的query，最后是LLM針對(duì)query的一個(gè)簡(jiǎn)短的回答。
I will give you several example multi-turn dialogs, where each turn contains a question, a
response, and a rewrite. The rewrite part begins with a sentence explaining the reason for
the rewrite.
Example #1:
Question: What should I consider when buying a phone?
Rewrite: This is the first turn. So the question should be rewritten as: What should I
consider when buying a phone?
Response: The design of the phone and the overall …
Question: Cool. Which one would you recommend?
Rewrite: Based on Turn 1, you are inquiring about what should be considered when
buying a phone. So the question should be rewritten as: Cool. Which smartphone would
you recommend for me?
Response: Just because a phone has everything…
…
Example #2:?輸入如下：
Your Task (only questions and responses are given):
Context:
Question: What was the basis of the Watergate scandal?
Response: ...
Question: …
Response: …
…
Current Question: So what happened to Nixon?
Rewrite: So what happened to Nixon after the events of the Watergate scandal?
(Now, you should give me the rewrite and an informative response of the **Current
Question** based on the **Context**. The output format should always be: Rewrite:
$Reason. So the question should be rewritten as: $Rewrite\nResponse: $Response. Go
ahead!)模型輸入如下
Rewrite: Based on all previous turns, Nixon was badly involved in the Watergate scandal.
So the question should be rewritten as: So what happened to Nixon after the events of the
Watergate scandal?
Response: With the mounting evidence and loss…會(huì)話數(shù)據(jù)
思維鏈
意圖聚合
?
效果如何
首先，RAR和RTR提示方法的性能明顯優(yōu)于REW提示，這表明生成的假設(shè)響應(yīng)可以有效地補(bǔ)充較短的查詢重寫，從而提高檢索性能。然而，即使是與現(xiàn)有基線相比，即使是簡(jiǎn)單的REW提示也可以實(shí)現(xiàn)相當(dāng)有競(jìng)爭(zhēng)力的性能，特別是在更具挑戰(zhàn)性的CAsT-20和CAsT-21數(shù)據(jù)集上，它顯示了顯著的優(yōu)勢(shì)（例如，CAsT-20上0.380vs.0.350，CAsT-21上0.465vs.0.385）。這些積極的結(jié)果進(jìn)一步突出了利用LLM進(jìn)行對(duì)話搜索的顯著優(yōu)勢(shì)。
其次，在聚合方法方面，Mean和SC始終優(yōu)于MaxProb。這些結(jié)果表明，僅僅依賴于語(yǔ)言模型的頂級(jí)預(yù)測(cè)可能不能提供足夠的可靠性。相反，利用多個(gè)結(jié)果的集體強(qiáng)度被證明是一個(gè)更好的選擇。此外，我們觀察到，平均聚合方法，它將所有生成的內(nèi)容融合到最終的搜索意圖向量中（公式11），并不始終優(yōu)于SC（例如，在CAsT-20上），它實(shí)際上只融合了一個(gè)重寫和一個(gè)響應(yīng)。
?
再看一下思維鏈CoT對(duì)結(jié)果的影響
可以明顯看到，不管是在哪種意圖聚合方式下，啟用思維鏈，幾乎總是有正向的效果。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-827545.html
?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-827545.html
到了這里，關(guān)于Query Rewrite —— 基于大模型的query擴(kuò)展改寫，綜合考慮上下文信息（人大論文）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
