2月17日，OpenAI在社交平臺宣布，取消了GPT-4 Turbo的所有每日限制，并將速率限制提升1倍。現(xiàn)在，每分鐘可處理高達150萬TPM的數(shù)據(jù)。

OpenAI這一周的連續(xù)王炸組合拳，從ChatGPT增加 “記憶存儲”，到視頻模型Sora再到GPT-4 Turbo全面取消每日限制，打的谷歌、Meta有點暈頭轉(zhuǎn)向搶盡風頭。

對于用戶來說，只希望巨頭之間撕的更兇一些，這樣咱們看到的、得到的、用到的也就更多。

2023年初，OpenAI的估值只有200多億美元，年底暴漲至800億美元，很多人認為這也太虛高了?？戳饲疤焱瞥龅腟ora后，多數(shù)人沉默了感覺OpenAI的估值太保守了。

為什么OpenAI要進行速率限制

OpenAI表示，速率限制是其API對開發(fā)者或產(chǎn)品用戶，在指定時間段內(nèi)訪問OpenAI服務器的次數(shù)增加的一種服務限制。這樣做主要有以下幾個原因。

1）有助于防止 API 被濫用或誤用。例如，黑客可能會向 API 提出大量請求，致使服務器超載或宕機。通過設置速率限制，可以防止此類事情發(fā)生。

2）速率限制有助于確保，每個人都能公平地訪問 API。如果一個人或一個組織頻繁提出過多的服務請求，可能會導致其他所有人都無法使用 API。

通過限制單個用戶的請求數(shù)量，OpenAI 可以確保大多數(shù)人都有機會使用 API，而不會出現(xiàn)速度變慢的情況。

3）速率限制可有效幫助 OpenAI 管理其基礎設施的總負載。如果對 API 的請求急劇增加，可能會給服務器造成負擔，出現(xiàn)服務中斷等嚴重問題。

去年，OpenAI剛發(fā)布自定義GPT時，就發(fā)生過一次類似事情。

OpenAI的速率限制，有哪些種類

目前，OpenAI一共使用了5種速率限制：RPM（每分鐘請求數(shù)）、RPD（每天請求數(shù)）、TPM（每分鐘tokens數(shù)量）、TPD（每天tokens數(shù)量）和IPM（每分鐘圖像數(shù)量）。

任何一種請求都可能觸發(fā)速率限制，例如，用戶向 ChatCompletions 端點發(fā)送 20 個請求，其中只有 100 個tokens，這樣就會觸發(fā)速率限制（假如 RPM 限制是 20）；即使你在這20 個請求中沒有發(fā)送 150k 的tokens。

簡單來說，這五種限制，你只要滿足一種就會觸發(fā)。

需要注意的是，速率限制是對組織級別實施的，對個體用戶沒啥影響。速率限制因所使用的模式而異，組織每月在 API 上的總支出也有"使用限制"。

如何查看自己的限制等級

用戶可以在賬戶設置的 "限制 "功能，查看組織的速率和使用限制。

隨著你對 OpenAI 的API 的使用以及組織在AP上的費用支出的增加，會自動升級你的使用級別。目前，一共有5個等級。

如何避免速率限制

OpenAI的Cookbook發(fā)布了一個攻略，幫助大家避免出現(xiàn)速率限制的錯誤，以及一個用于在批處理 API 請求時，保持速率限制的示例Python 腳本。

地址：https://cookbook.openai.com/examples/how_to_handle_rate_limits

OpenAI表示，最簡單的避免速率限制方法，就是使用“指數(shù)退避重試”。

主要通過動態(tài)調(diào)整重試等待時間，這種機制可有效減少服務器的負載，提高請求成功的可能性，并對系統(tǒng)資源進行高效管理。

代碼展示

指數(shù)退避重試能在連續(xù)的失敗嘗試之間引入逐漸增加的延遲，以減少對服務器或網(wǎng)絡資源的壓力，增加后續(xù)嘗試成功的可能性。

但使用指數(shù)退避重試時，也需要注意幾個事項：1）重試次數(shù)和最大延遲時間的限制，以防止無休止的重試；2）合理設置最小延遲和倍數(shù)，以適應具體應用場景的需求；

3）記錄和監(jiān)控重試事件，以便于故障排查和性能優(yōu)化；4）考慮請求的冪等性，確保重試不會引起數(shù)據(jù)錯誤或不一致。?

本文素材來源OpenAI社交平臺賬號，如有侵權請聯(lián)系刪除文章來源地址http://www.zghlxwxcb.cn/news/detail-834728.html

到了這里，關于OpenAI取消GPT-4 Turbo，所有每日限制！的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！