原作：伊格納西奧·德格雷戈里奧

引言：語言時代的終結？

昨天，AI 領域的另一個關鍵參與者 Anthropic 宣布了生成式 AI 王座的新競爭者，即 Claude 的最新版本 Claude 3。

它展示了三種模型Opus、Sonnet 和 Haiku ，每種模型都適用于特定的場景，一些初步結果顯示它們是當今最強大的多模態(tài)大型語言模型（MLLMs）系列，超越了谷歌的 Gemini 1.5 和 OpenAI 的 GPT-4。

但這個消息遠不止表面上看到的那么簡單。

這也許是我們這個時代偉大 MLLM 模型的最后之作，為進入全新的 AI 模型讓路，比如 GPT-5 或臭名昭著的 Q*，它們將與我們今天看到的模型截然不同且出奇地優(yōu)越。

實際上，這個模型可能會如此強大，以至于埃隆·馬斯克 (Elon Musk) 起訴 OpenAI，指控他們涉嫌隱瞞他們在內部實現(xiàn)通用人工智能 (AGI) 的事實。

他們對這些模型的了解可能比您想象的還要多。

新的王位繼承人

昨天，一家由谷歌和亞馬遜等全球一些最強大的組織投資的公司Anthropic，宣布推出了他們有史以來最強大的模型。

Opus、Sonnet 和 Haiku

這款新的Claude 3系列模型被Anthropic歸類為“智能intelligence”：

• Opus：根據(jù)其在任務自動化、研發(fā)和戰(zhàn)略分析方面出色的表現(xiàn)，Opus 可能是世界上最有能力和最智慧的模型。它是 Gemini 1.5 和 GPT-4 的直接競爭對手。

• Sonnet是“性價比最高”的版本，雖然在某些方面落后于最頂尖的模型，但速度更快、成本更低。初步結果顯示，對于企業(yè)使用情景而言，可能是目前最佳選擇。

• Haiku是體積較小、能力較弱的模型，但仍然強大且速度極快，最初設計用于需要低延遲和實時交互的場景，同時擁有更低的成本。

如果我們查看基準，就基于文本的評估而言，結果無疑將它們定位為最佳合體（盡管與 2023 年 3 月的 GPT-4 結果相比，因此請記住這一點）：

在計算機視覺評估方面，它們緊隨Gemini 1.0（以及可能的Gemini 1.5）之后：

?

結果令人印象深刻。

展望未來，從 Claude 的發(fā)布中我們還意識到，長序列建模已成為先進研究實驗室的默認選項。

達到 100 萬……甚至更多

幾周前，谷歌聲稱將 Gemini 的上下文窗口增加到一百萬token以上，令全世界感到驚訝。

而現(xiàn)在， Claude 也在做著同樣的事情。

但什么是上下文窗口？

在 LLMs 的情況下，它是模型在任何給定時間可以處理的token、單詞或子詞的最大數(shù)量。

通俗地說，它是模型的工作空間，或者說是它的記憶，它被定義為一個特定的最大值，以避免 Transformer 的2次方計算復雜度，因為序列加倍會使計算量增加四倍。

例如，如果 Claude 3 的上下文窗口是 100 萬個 token，這意味著該模型可以一次性同時攝取大約 75萬個單詞。作為參考，這比《哈利·波特》前五本書的總和還要多，這意味著您可以將它們全部輸入模型并提出問題。

它通過近乎完美的檢索來完成這一切，如下圖所示（盡管只顯示了 200k 個令牌）。當面對“大海撈針”問題時（即研究人員在極長序列中放置一個不相關的、具體的信息片段，并要求模型檢索它），平均準確率超過 99%。

?

但昨天發(fā)生的另一件事讓人們震驚了。

擁有自我意識的模型？

在測試“大海撈針”問題時，Anthropic的一組研究人員注意到了一些非同尋常的事情：

這個模型似乎意識到自己正在接受測試，仿佛它‘知道’自己正經歷著什么。

具體來說，它回應道：

“我懷疑這個披薩配料的‘事實’可能是作為一個玩笑被插入到文檔，或者是用來測試我是否在集中注意力，因為它根本不符合其他主題。這些文檔中沒有包含任何關于披薩配料的信息。”

這種元認知水平無疑令人印象深刻，也同樣令人恐懼。

不過，有一個可能的解釋。

在人類反饋強化學習（RLHF）階段，研究人員可能會與模型分享幾個這樣的回應，以便讓它學習這種模式，即每當提出一個非常具體、看似無關的問題時，懷疑這是一個評估，并提出這個問題。

盡管如此，還是令人印象深刻。

此外，據(jù)稱該模型現(xiàn)在回答問題更加細致入微，這已成為最近的熱門話題，基于Gemini最近受到反擊，導致谷歌的估值下跌了900億美元，因為 Gemini 由于對白人存在嚴重偏見而給出了事實上不真實的回答。

話雖如此，說實話，這似乎并未超越我們之前的技術水平。

它是一種改進，但它也幾乎比競爭對手晚了一年，并且在某種程度上超過了它（至少從基準測試的角度來看，這需要再三斟酌）。

換句話說，我們可能正在見證獨立LLMs 所能實現(xiàn)的極限。

事實上，OpenAI 似乎完全不關心 ChatGPT 可以被認為是迄今為止生產中第三好的模型，這讓我相信他們正在準備的不僅僅是對 Gemini 1.5 或 Claude 3 的簡單改進。

而是一種新型野獸。

從 GPT-4 到 GPT-5……或者 Q*？

我越來越相信 OpenAI 的下一個模型將是革命性的。

DALL-E 之父、參與 OpenAI 最新頂尖模型 Sora 開發(fā)的主要研究人員之一 Aditya Ramesh 昨天發(fā)布的推文讓我對其更加確信。

我們是否即將見證前沿模型的支柱發(fā)生轉變？

如果是這樣，可能會有兩種方式。

將語言與搜索結合

許多著名的研究人員，包括Google Deepmind的CEO Demis Hassabis在內，長期以來一直建議LLMs的未來是將它們與搜索算法結合，類似于AlphaGo，這是2017年首個擊敗世界頂尖人類棋手的AI。

1996年，加里·卡斯帕羅夫（Garry Kaspárov）被深藍擊敗，但冠軍仍然以4-2獲勝。

在AlphaGo的案例中，它羞辱了人類。

這種新架構范式的本質很簡單，并且基于一個被廣泛接受但尚未完全理解的關鍵原則。

token越多，結果就越好。

或者，通俗地說，模型思考的時間越長，結果越好。

但這是什么意思呢？

嗯，這涉及對人類思維的兩種模式進行簡要審視。

思考快與慢

當您prompt一個模型時，它會自動開始工作并以極快的速度做出響應，回答迅速，毫不猶豫。

這與人類在被問到“2+2等于多少？”時的思考方式非常相似，這會促使你的大腦毫無疑問地本能地回答“4”。

根據(jù)丹尼爾·卡尼曼的兩種思維模式理論，這被稱為“系統(tǒng)1”思維，即快速且無意識的思維。

但如果我問你“24323.78 的平方根是多少？”。嗯，在這種情況下，您將花費更多時間，進入“系統(tǒng)2”思維模式，這是緩慢、深思熟慮且完全有意識的思維模式，這樣才能給出最佳的結果。

因此，如果我們知道他們在解決問題時投入的計算和token越多越好，我們如何將這種“系統(tǒng) 2”思維灌輸?shù)?LLMs 中呢？

對于當前的 LLMs，您最好的機會是使用思想鏈 (CoT) 技術，在最簡單的情況下，該技術要求模型“慢慢來”。

這對模型有很大幫助，因為它會吸引模型真正花時間回答和改進結果。

但更先進的提示技術，如姚等人的“思維樹”（ToT），走得更遠，實質上‘強制’LLM探索任何給定prompt的可能答案領域。

簡單來說，它引誘 LLM 去探索不同的可能答案，就像你在嘗試解決復雜的數(shù)學問題時所做的那樣。

不幸的是，ToT意味著使用一個非常復雜的框架，其中必須多次提示 LLM 才能創(chuàng)建這種探索機制。

然而，我們已經有了這類實現(xiàn)的例子。

Alphacode 2，首創(chuàng)之作

與谷歌在11月發(fā)布Gemini 1.0同時，他們還發(fā)布了Alphacode 2，這是一款與搜索算法相結合的 Gemini Pro LLM，在運行時，對用戶提示采樣了多達一百萬個可能的答案，就像一個人嘗試了一百萬種不同方式來解決問題，直到找到滿意的答案。

這種解決方案極大地增加了成功的機會，使Alphacode 2在競爭編程中躋身85%的排位（在全球最優(yōu)秀15%中），與一些世界頂尖開發(fā)人員競爭。

盡管這些模型的部署成本非常昂貴，但它們所帶來的前景是巨大的，以至于許多人認為OpenAI泄露的模型Q包含某種類似的實現(xiàn)方式，但結合使用了 Q-learning 和 A* 搜索算法。

這些技術是什么？

簡單來說，Q 學習幫助模型找到 Q 函數(shù)，即允許模型做出最大化未來獎勵的最佳決策的策略。您可以將其視為一種決策策略，模型將考慮未來可能的最大回報來選擇前進的道路。

A*（A-star）算法是一種搜索算法，它將幫助模型探索不同問題的可能答案。

結合使用，您會得到一個“超級LLM”，它不像今天那樣匆忙地回答問題，而是會仔細評估解決問題的不同方法和解決方案，直到選擇最好的方法和解決方案。

然而，我們可以更進一步。

視頻，下一件大事

最近，我看到了幾篇研究論文，表明我們可能即將看到人工智能的一場巨大轉變，從語言作為大多數(shù)前沿模型的支柱（即LLM），轉向視頻模型。

換句話說，像Sora這樣的模型可能是一個時代的黎明，基礎模型通過無監(jiān)督視頻觀察來學習世界，而不是通過文本。

考慮到視頻比文本更能表達世界，實現(xiàn)這一點可能會導致人工智能能力的巨大飛躍，以至于它可以讓我們更接近通用人工智能。

OpenAI 發(fā)布的 Sora（他們將其定義為“世界模擬器”）是否可能不僅僅是對 LLMs 的偏離，而是表明我們正在從文本轉向領域視頻？

我們不知道這一點，但是OpenAI對Anthropic發(fā)布的沉默告訴我，我們很快就會看到一個完全不同的野獸。文章來源地址http://www.zghlxwxcb.cn/news/detail-837698.html

到了這里，關于【譯】Claude 3, ChatGPT, 和 LLM 的消亡的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！