? ? ? ?LLM幻覺緩減技術分為兩大主流，梯度方法和非梯度方法。梯度方法是指對基本LLM進行微調(diào)；而非梯度方法主要是在推理時使用Prompt工程技術。LLM幻覺緩減技術，如下圖所示：
LLM幻覺緩減技術值得注意的是：
- 檢索增強生成（RAG）
- 知識檢索（https://arxiv.org/abs/2307.03987）
- CoNLI（https://arxiv.org/abs/2310.03951）
- CoVe（https://cobusgreyling.medium.com/chain-of-verification-reduces-hallucination-in-llms-20af5ea67672）
? ? ? 與專注于有限任務的傳統(tǒng)人工智能系統(tǒng)不同，LLM在訓練過程中使用了大量的在線文本數(shù)據(jù)。當大模型語言生成功能應用在要求嚴格的應用程序時，LLM幻覺就變得非常令人擔憂，例如：
-
總結(jié)醫(yī)療記錄；
-
客戶支持對話;
-
財務分析報告，并提供錯誤的法律建議。
一、幻覺緩解分類法
? ? ? ?這項研究對LLM幻覺緩解技術進行了總結(jié)，分類為：梯度方法和非梯度方法。
梯度方法包括復雜和不透明的解碼策略、知識圖譜、微調(diào)策略等。
非梯度方法包括RAG、自我優(yōu)化和Prompt微調(diào)。
值得注意的是，RAG方法分為四個部分；
- 生成之前；
- 生成期間；
- 生成后；
- 端到端
Prompt工程緩解幻覺的原理在于定義：
- 特殊上下文&；
- 預期輸出
二、最佳預防幻覺
預防幻覺的最佳方法不是單一的方法，需要綜合多種方法。
緩減幻覺需要考慮以下因素：
-
在多大程度上依賴標簽數(shù)據(jù)？
-
引入無監(jiān)督或弱監(jiān)督學習技術以提高可擴展性和靈活性的可能性是什么？
-
考慮梯度和非梯度方法，以產(chǎn)生連貫和上下文相關的信息。
-
收集到的緩解幻覺的工作揭示了一系列不同的策略，每種策略都有助于解決LLM中幻覺的細微差別。
-
通過反饋和推理的自我完善會產(chǎn)生有影響力的策略。
-
結(jié)構(gòu)化比較推理引入了一種結(jié)構(gòu)化的文本偏好預測方法，增強了連貫性，減少了幻覺。
-
監(jiān)督微調(diào)可以通過知識注入和師生方法進行探索。
-
特定領域的知識被注入到較弱的LLM和使用反事實數(shù)據(jù)集來提高真實性的方法中。文章來源：http://www.zghlxwxcb.cn/news/detail-799637.html
參考文獻：
[1]?https://cobusgreyling.medium.com/large-language-model-hallucination-mitigation-techniques-a75b6f873318文章來源地址http://www.zghlxwxcb.cn/news/detail-799637.html
到了這里，關于LLM之幻覺（二）：大語言模型LLM幻覺緩減技術綜述的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！
