FrugalGPT: 如何使用大型語(yǔ)言模型，同時(shí)降低成本并提高性能
作者：Lingjiao Chen, Matei Zaharia, James Zou
引言
本文介紹了一種新穎的方法，旨在解決使用大型語(yǔ)言模型（LLM）時(shí)面臨的成本和性能挑戰(zhàn)。隨著GPT-4和ChatGPT等LLM的日益流行，我們需要找到降低這些模型推理成本的策略。作者強(qiáng)調(diào)了LLM API的異構(gòu)定價(jià)結(jié)構(gòu)以及使用最大的LLM所帶來(lái)的巨大財(cái)務(wù)、環(huán)境和能源影響。
問(wèn)題陳述
使用LLM進(jìn)行高吞吐量應(yīng)用可能非常昂貴。例如，ChatGPT的運(yùn)營(yíng)成本估計(jì)每天超過(guò)70萬(wàn)美元，而使用GPT-4支持客戶服務(wù)可能會(huì)給小型企業(yè)帶來(lái)每月2.1萬(wàn)美元的費(fèi)用。此外，使用最大的LLM還會(huì)帶來(lái)可觀的環(huán)境和能源影響。因此，我們需要一種方法來(lái)降低LLM的推理成本，同時(shí)保持良好的性能。
FrugalGPT的解決方案
為了解決這個(gè)問(wèn)題，作者提出了FrugalGPT，這是一種簡(jiǎn)單而靈活的LLM級(jí)聯(lián)方法。FrugalGPT通過(guò)學(xué)習(xí)在不同查詢中使用不同LLM組合的方式，以降低成本并提高準(zhǔn)確性。
具體而言，F(xiàn)rugalGPT包括三種策略：提示適應(yīng)、LLM近似和LLM級(jí)聯(lián)。
提示適應(yīng)
提示適應(yīng)是一種通過(guò)識(shí)別有效的提示來(lái)節(jié)省成本的方法。通過(guò)精心設(shè)計(jì)的提示，可以減少LLM的推理成本。例如，使用較短的提示可以降低成本，而不會(huì)顯著影響性能。
LLM近似
LLM近似旨在創(chuàng)建更簡(jiǎn)單、更便宜的LLM，以在特定任務(wù)上與強(qiáng)大但昂貴的LLM相匹配。通過(guò)降低模型的復(fù)雜性和規(guī)模，可以降低成本，同時(shí)保持合理的性能。
LLM級(jí)聯(lián)
LLM級(jí)聯(lián)是一種自適應(yīng)選擇不同LLM API的方法，以適應(yīng)不同查詢。通過(guò)根據(jù)查詢的特性選擇合適的LLM組合，可以降低成本并提高準(zhǔn)確性。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-510887.html
實(shí)驗(yàn)結(jié)果
作者通過(guò)實(shí)驗(yàn)證明了FrugalGPT的有效性。實(shí)驗(yàn)結(jié)果顯示，F(xiàn)rugalGPT可以在與最佳單個(gè)LLM相當(dāng)?shù)男阅芟拢档透哌_(dá)98%的推理成本。此外，F(xiàn)rugalGPT還可以在相同成本下提高4%的準(zhǔn)確性。這些結(jié)果表明，F(xiàn)rugalGPT是一種可行的方法，可以在降低成本的同時(shí)提高性能。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-510887.html
到了這里，關(guān)于【斯坦?！縁rugalGPT: 如何使用大型語(yǔ)言模型，同時(shí)降低成本并提高性能的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
