原作：反向科學(xué)

引言：我們中的一些人確切地知道原因：深度學(xué)習(xí)無法概括

/機器翻譯/

?文章來源地址http://www.zghlxwxcb.cn/news/detail-840447.html

摘要

當(dāng)AGI研究者抱怨深度學(xué)習(xí)的不足時，AI專家不應(yīng)感到被冒犯。沒有人真的想要擺脫深度學(xué)習(xí)。雖然 AGI 的出現(xiàn)確實會使深度學(xué)習(xí)在某些領(lǐng)域變得過時，但我們相信，即使在 AGI 解決之后，它也可能繼續(xù)對許多自動化任務(wù)有用。但是，為了在解決AGI的過程中取得進(jìn)展，研究人員必須指出深度學(xué)習(xí)不僅無法解決AGI，而且毫無用處。我們中的一些人確切地知道它為何無用。

注：AGI = 通用人工智能。

沒有泛化能力，就沒有AGI

深度學(xué)習(xí)最大的問題在于其固有的無法有效泛化能力。沒如果不進(jìn)行泛化，邊緣情況將成為一個無法克服的問題，自動駕駛汽車行業(yè)在押注深度學(xué)習(xí)上浪費了超過 1000 億美元后才發(fā)現(xiàn)這一問題。

深度神經(jīng)網(wǎng)絡(luò)無法感知這輛自行車，除非之前經(jīng)過訓(xùn)練可以識別它。

泛化是智能系統(tǒng)感知任何對象或模式而不識別它的能力。例如，亞馬遜印第安人即使以前從未見過自行車，也能立即感知到一輛自行車。他可以立即看到它的 3D 形狀、大小、邊框、顏色、它的各個部分、它相對于其他物體的位置，無論它是對稱的、不透明的、透明的還是部分遮擋的等等。他可以感知所有這些東西，因為他的大腦有概括能力。此外，他對自行車的感知自動地不受視野變化的影響。邊緣保持鋒利，如果自行車被移動到另一個位置或掉落在地上，他仍然意識到在變換后他仍然在觀察同一個物體。變換過程中感知的不變性和連續(xù)性都是概括能力的固有組成部分。因此，概括而言，智能系統(tǒng)必須能夠立即重新利用其現(xiàn)有的認(rèn)知構(gòu)建塊來感知全新的對象或模式，而無需學(xué)習(xí)它們，也就是說，無需專門為它們創(chuàng)建新的構(gòu)建塊。

對于深度學(xué)習(xí)，如果沒有識別，即沒有事先學(xué)習(xí)要感知的對象的表示，感知就不可能實現(xiàn)。如果解決 AGI 是目標(biāo)的話，這是一個致命的缺陷。有人可能會指出，即使上面例子中的亞馬遜印第安人能夠感知自行車，他也不知道自行車的用途。這在一定程度上是正確的，但即使在使用數(shù)百萬張不同類型自行車的圖像進(jìn)行訓(xùn)練后，深度神經(jīng)網(wǎng)絡(luò)也無法做到這一點。分類是不理解的，甚至是不接近的。

休伯特·德雷福斯、馬丁·海德格爾和概括

泛化是智能的必要條件，因為它使我們能夠立即感知無限多種物體、場景和模式。存儲所有內(nèi)容的表示（深度學(xué)習(xí)方法）是不切實際的、成本高昂的，而且總而言之是愚蠢的。與 DL 的永久表征不同，在具有廣義感知的系統(tǒng)（例如大腦）中，一旦感知達(dá)到其目的（大約 10-20 毫秒），幾乎所有感知都會被遺忘并被新的感知所取代。如有必要，只有少數(shù)高級感知痕跡可以永久保留。小細(xì)節(jié)被遺忘和丟失。但這并不是對智能的新理解。

休伯特·德雷福斯 (1929–2017)

已故存在主義哲學(xué)家、鐵桿人工智能評論家休伯特·德雷福斯 (Hubert Dreyfus) 喜歡說“世界是它自己的模型”，“世界最好的模型就是世界本身”。這是他解釋為所有事物創(chuàng)建存儲表示是一個錯誤的方式。德雷福斯的論點基于他最喜歡的德國哲學(xué)家馬丁·海德格爾的著作，海德格爾堅持認(rèn)為世界上的存在或存在（In-der-Welt-sein）總是受環(huán)境限制的。也就是說，智能系統(tǒng)必須能夠即時、持續(xù)地感知世界的變化。因此，世界是系統(tǒng)的一個組成部分，并且始終存在。德雷福斯使用英語術(shù)語“presence-at-hand”（來自德語“Vorhandensein”）來指代這一情報原則。

我們認(rèn)為，海德格爾關(guān)于情境約束智能的概念，即每時每刻不斷感知世界的智能，正是廣義感知的含義。設(shè)計一個以世界為自己模型的智能系統(tǒng)，才是解決AGI的正確途徑。當(dāng)然，大腦的記憶中存儲著關(guān)于世界如何運作的高級“模型”，但該模型并不等同于我們持續(xù)感知的模型。否則，我們將有能力在沒有眼睛、耳朵和其他感覺器官的情況下發(fā)揮作用。

擴展是一個轉(zhuǎn)移注意力的話題

深度學(xué)習(xí)無法泛化是自動駕駛汽車行業(yè)未能生產(chǎn)出全自動駕駛汽車的主要原因。他們只能怪自己，因為當(dāng) DL 流行時，許多思想家已經(jīng)寫過有關(guān) DL 的問題的文章。人工智能社區(qū)中的一些人堅持認(rèn)為，深度學(xué)習(xí)無法泛化的問題可以通過擴展來規(guī)避，但這顯然不是事實。規(guī)模化正是自動駕駛汽車領(lǐng)域研究人員一直在做的事情。這是行不通的。由于極端情況的數(shù)量是無限的，因此積累足夠數(shù)據(jù)所需的成本和多年的時間變得站不住腳。

深度神經(jīng)網(wǎng)絡(luò)的脆弱性與上世紀(jì)基于規(guī)則的專家系統(tǒng)沒有什么不同。如果這些系統(tǒng)中的任何一個遇到?jīng)]有現(xiàn)有規(guī)則或表示的新情況（甚至是先前學(xué)到的情況的輕微變化），則系統(tǒng)將發(fā)生災(zāi)難性的失敗。對抗模式仍然是深度學(xué)習(xí)的一個大問題。深度神經(jīng)網(wǎng)絡(luò)應(yīng)該被視為類固醇專家系統(tǒng)。解決維數(shù)災(zāi)難的唯一方法就是泛化。

蜜蜂的大腦太小，無法存儲數(shù)百萬個表征。

大型語言模型 (LLMs) 方面的一些專家提出了這樣的概念：如果有足夠的數(shù)據(jù)，LLM 可能會開始泛化。我們不太確定他們期望如何從積累大量數(shù)據(jù)中產(chǎn)生概括，但這顯然是一個謬論。泛化能力與縮放無關(guān)。它是一種與生俱來的或內(nèi)置的能力。即使是小昆蟲也會概括。他們必須這樣做，因為他們的小大腦不可能存儲他們一生中可能遇到的所有物體和模式的數(shù)百萬個學(xué)習(xí)表征。換句話說，當(dāng)擴展成本太高或不可行時，泛化正是所需要的。

破解 AGI 不需要大型計算機和雄厚的財力

人工智能界幾乎每個人都認(rèn)為，解決通用人工智能問題的唯一方法是使用耗資數(shù)百萬美元的龐大計算資源。在他們看來，AGI只能由大公司或政府研究機構(gòu)來開發(fā)。相比之下，我們相信在一臺成本不到 1000 美元的普通臺式電腦上破解 AGI 是可能的。感知泛化不需要數(shù)十億個神經(jīng)元。正如我們在之前的文章中所說，一只低等的蜜蜂只有不到 100 萬個神經(jīng)元，但它可以在高度復(fù)雜的 3D 環(huán)境中導(dǎo)航和生存。蜜蜂能做到這一點，因為它可以概括。模擬蜜蜂微小大腦的泛化能力就相當(dāng)于解決通用人工智能問題。僅破解普遍認(rèn)知就將是一項巨大的成就。相比之下，擴展和添加運動控制、目標(biāo)導(dǎo)向行為和語言學(xué)習(xí)能力將是輕而易舉的事。沒有理由不能在具有數(shù)千個神經(jīng)元的小規(guī)模上實現(xiàn)和證明泛化。

我們未來的大多數(shù)智能機器人將不需要人類水平的智能。

根據(jù)我們對昆蟲行為的觀察，我們估計用不到 5000 萬個神經(jīng)元就可以實現(xiàn)完全自動駕駛。一個可以學(xué)習(xí)打掃房間、洗衣服、準(zhǔn)備飯菜和照料花園的家政機器人可能只需要不到 1 億個神經(jīng)元就可以完成。換句話說，我們未來的智能機器大多數(shù)都不需要人類水平的智能。

是的，擴展到完全人類水平或更高的智能將是昂貴的，但這將是一個已知解決方案的工程問題。這不是解決 AGI 問題的必要條件。此外，我們有充分的理由相信，達(dá)到人類水平的智力只需要人腦中約 860 億個神經(jīng)元中的一小部分。不到 10 億可能足以完成幾乎所有任務(wù)。其原因是，大腦中的神經(jīng)元數(shù)量（無論是否人工）是其傳感器和效應(yīng)器數(shù)量的函數(shù)。與人類和動物相比，我們未來的機器人將擁有很少的傳感器和效應(yīng)器。

這是否意味著 AGI 可以被一個在家工作的孤獨特立獨行者破解？答案是肯定的。

時間和對稱性是智能一切的基礎(chǔ)

深度學(xué)習(xí)研究界的許多杰出人物，甚至一些深度學(xué)習(xí)的外部批評者，都提出，前進(jìn)的方向是修改深度學(xué)習(xí)，使其具有概括和因果推理的能力。心理學(xué)家加里·馬庫斯（Gary Marcus）和他的同事等人認(rèn)為，實現(xiàn)這一目標(biāo)的方法是將深度學(xué)習(xí)與符號人工智能結(jié)合起來的混合智能，這是 20 世紀(jì)失敗的人工智能模型。我們毫無疑問地認(rèn)為這種做法會失敗。

泛化不能是事后的想法或?qū)ΜF(xiàn)有模型的附加。它必須是基礎(chǔ)層面情報的重要組成部分。通用智能系統(tǒng)的每個組件在設(shè)計時都必須考慮到通用性，在我們看來，這包括傳感器和效應(yīng)器。例如，人類視網(wǎng)膜并不是一個簡單的照相傳感器。它由許多小的中心環(huán)繞感受野組成，旨在檢測各種角度的小邊緣。我們假設(shè)這些邊緣檢測器是廣義視覺感知的基本構(gòu)建塊。同樣，我們假設(shè)廣義聽覺感知應(yīng)該用類似的頻率邊緣檢測器來構(gòu)建。

中心-環(huán)繞感受野。資料來源：哈維穆德學(xué)院。

我們建議廣義智能基于信號定時和對稱性。包括傳感器在內(nèi)的生物神經(jīng)元發(fā)出尖峰信號并非偶然。尖峰是一種短暫的時間標(biāo)記，表明事件剛剛發(fā)生。赫布學(xué)習(xí)（STDP）基于脈沖計時，是大腦中使用的聯(lián)想學(xué)習(xí)的主要方法。生物傳感器成對出現(xiàn)也并非偶然。視網(wǎng)膜中的細(xì)胞檢測正邊緣（從暗到亮）和負(fù)邊緣（從亮到暗）。這種陰陽對稱性可以在所有感覺皮層的布線中觀察到，并且在運動皮層中也很明顯。運動控制依賴于互補的神經(jīng)元信號（興奮性和抑制性尖峰），這些信號要么啟動運動激活，要么停止運動激活。

幸運的是，我們并不是唯一一個尋求可概括的通用感知機制的人。許多計算神經(jīng)科學(xué)領(lǐng)域的研究人員一直在研究一個被一些人稱為系統(tǒng)泛化的概念，即靈活的認(rèn)知地圖能夠立即修改自身以應(yīng)對環(huán)境中任何新的可能性的能力。我們認(rèn)為這才是 AGI 的正確做法。這是分配給人工智能研究的大部分資金應(yīng)該花在的地方。

?結(jié)論

在本文中，我們認(rèn)為深度學(xué)習(xí)與真正的智能無關(guān)，因為它本質(zhì)上無法泛化。我們認(rèn)為，現(xiàn)有學(xué)習(xí)模型的擴展或附加都不會導(dǎo)致通用人工智能。我們假設(shè)大多數(shù)智能系統(tǒng)不需要在人類水平上運行，而通用人工智能的基礎(chǔ)是信號定時和陰陽對稱性。我們計劃（在不久的將來）基于我們的想法發(fā)布一個抗噪聲（低于 5 dB SNR）的語音識別演示應(yīng)用程序。感謝您的閱讀。

?

到了這里，關(guān)于【譯】深度學(xué)習(xí)不僅無法解決通用人工智能（AGI），而且毫無用處的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！