在2018年及其以后，深層神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)在更大的人工智能（AI）領(lǐng)域會如何發(fā)展？我們?nèi)绾文荛_發(fā)出越來越復(fù)雜的機(jī)器以在日常生活中幫助人類？這些都是普渡大學(xué)機(jī)器學(xué)習(xí)硬件教授尤金尼奧·庫魯爾塞羅（EugenioCulurciello）關(guān)注的問題。請注意，本文的重點(diǎn)并非有關(guān)AI的預(yù)測，而是對該領(lǐng)域發(fā)展軌跡、趨勢以及技術(shù)需求的詳細(xì)分析，以幫助創(chuàng)造更有用的AI。當(dāng)然，并非所有的機(jī)器學(xué)習(xí)都是針對AI的，還有些其他容易實(shí)現(xiàn)的目標(biāo)，下面我們就仔細(xì)審視下。

AI領(lǐng)域的目標(biāo)是通過機(jī)器上實(shí)現(xiàn)人類和超人的能力，以便讓它們在日常生活中幫助我們。自動駕駛車輛、智能家居、智能助理以及安全攝像頭將是植入AI技術(shù)的首批目標(biāo)，家庭烹飪和清潔機(jī)器人、無人偵察機(jī)和機(jī)器人則是第二批目標(biāo)。其他目標(biāo)還有移動設(shè)備上的助理，全職陪伴助理（可以聽到和看到我們的生活經(jīng)歷）。而AI領(lǐng)域的終極目標(biāo)是打造完全自主的合成實(shí)體，它可以在日常工作中以相當(dāng)于人類或超越人類的水平行事。

軟件

在這里，軟件被定義為通過優(yōu)化算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)構(gòu)架以解決特定的任務(wù)。今天，神經(jīng)網(wǎng)絡(luò)是用來學(xué)習(xí)解決問題的實(shí)際工具，其中涉及通過大數(shù)據(jù)集進(jìn)行分類學(xué)習(xí)。但這并不是全部AI，它要求在現(xiàn)實(shí)世界中，在沒有監(jiān)督的情況下學(xué)習(xí)，也要吸取以前從未見過的經(jīng)驗(yàn)，常常需要把以前學(xué)到的知識結(jié)合起來以解決當(dāng)前的挑戰(zhàn)。

如何讓目前的神經(jīng)網(wǎng)絡(luò)演變成AI?

神經(jīng)網(wǎng)絡(luò)架構(gòu)：幾年前，當(dāng)神經(jīng)網(wǎng)絡(luò)架構(gòu)發(fā)展起來的時候，我們經(jīng)常認(rèn)為從數(shù)據(jù)中自動學(xué)習(xí)算法的參數(shù)擁有巨大優(yōu)勢，而且這比手工編寫的算法功能更強(qiáng)大。但我們忘了提到一個小細(xì)節(jié)，那就是作為“訓(xùn)練解決特定任務(wù)基礎(chǔ)”的神經(jīng)網(wǎng)絡(luò)架構(gòu)并未從數(shù)據(jù)中學(xué)習(xí)。事實(shí)上，它仍然是開發(fā)人員手工設(shè)計(jì)的。有鑒于此，目前它成為AI領(lǐng)域的主要限制之一。

然而，神經(jīng)網(wǎng)絡(luò)架構(gòu)是學(xué)習(xí)算法的基本核心。即使我們的學(xué)習(xí)算法能夠掌握新的技能，如果神經(jīng)網(wǎng)絡(luò)不正確，它們也無法得出正確結(jié)果。從數(shù)據(jù)中學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)存在的問題是，目前在一個大數(shù)據(jù)集上進(jìn)行多架構(gòu)實(shí)驗(yàn)花費(fèi)的時間太長。我們必須嘗試從頭開始訓(xùn)練多個架構(gòu)，并看看哪一個最有效。這就是我們今天使用的、非常耗時的試錯過程！我們應(yīng)該克服這一限制，并在這個非常重要的問題上多加思考。

無監(jiān)督學(xué)習(xí)：我們不能總是干預(yù)神經(jīng)網(wǎng)絡(luò)，引導(dǎo)它們的每一次體驗(yàn)。我們不能在每個實(shí)例中都糾正它們，并提供它們的性能反饋。我們的生活也要持續(xù)下去！但這正是我們今天利用受監(jiān)督神經(jīng)網(wǎng)絡(luò)所做的：我們?yōu)槊總€實(shí)例提供幫助，使它們能夠正確執(zhí)行。相反，人類只需從少數(shù)幾個例子中學(xué)習(xí)，并且能夠以連續(xù)的方式自我校正和學(xué)習(xí)更復(fù)雜的數(shù)據(jù)。

預(yù)測神經(jīng)網(wǎng)絡(luò)：目前神經(jīng)網(wǎng)絡(luò)的一個主要局限是它們沒有人類大腦最重要的特征之一，即預(yù)測能力。關(guān)于人腦如何工作的一個主要理論是它能不斷地預(yù)測，即擁有預(yù)測代碼。如果你仔細(xì)想想，就會發(fā)現(xiàn)我們每天都在使用它。你提起一個自認(rèn)為很輕的物體，但結(jié)果它卻很重。這會讓你感到驚訝，因?yàn)楫?dāng)你接近它的時候，你已經(jīng)預(yù)測它將如何影響你和你的身體，或者你的整體環(huán)境。

預(yù)測不僅能讓我們了解世界，還能知道我們什么時候不了解它，什么時候該學(xué)習(xí)。事實(shí)上，我們保存那些我們不知道并讓我們感到吃驚的事情的信息，以便下次不會再犯同樣的錯誤！認(rèn)知能力絕對與我們大腦中的注意力機(jī)制有明顯的聯(lián)系：我們天生就有能力放棄99.9%的感官輸入，只專注于對我們生存至關(guān)重要的數(shù)據(jù)，包括哪里存在威脅，哪里是我們逃避它的地方?；蛘?，在現(xiàn)代世界里，當(dāng)我們匆忙出門時，我的手機(jī)落在哪里。？構(gòu)建預(yù)測神經(jīng)網(wǎng)絡(luò)是我們與現(xiàn)實(shí)世界互動的核心，并能在復(fù)雜的環(huán)境中發(fā)揮作用。因此，這是任何強(qiáng)化學(xué)習(xí)的核心網(wǎng)絡(luò)。

解決神經(jīng)網(wǎng)絡(luò)的局限性

當(dāng)前神經(jīng)網(wǎng)絡(luò)的局限性：無法預(yù)測，無法解釋理由，以及暫時的不穩(wěn)定性，因此我們需要一種新的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)膠囊（NeuralNetworkCapsules）就是解決當(dāng)前神經(jīng)網(wǎng)絡(luò)局限性的一種方法，但我們認(rèn)為它必須有些額外的特點(diǎn)：

1）視頻幀操作：這很簡單，因?yàn)槲覀冃枰龅木褪亲屇z囊路由查看最近時間的多個數(shù)據(jù)點(diǎn)。這相當(dāng)于在最近的重要數(shù)據(jù)點(diǎn)上建立起關(guān)聯(lián)內(nèi)存。請注意，這些不是最近幀的最新表達(dá)，而是它們最新的不同表達(dá)。可以通過僅保存與預(yù)定義值不同的表達(dá)來獲得不同內(nèi)容的不同表達(dá)。這個重要的細(xì)節(jié)只允許保存最近歷史上的相關(guān)信息，而不是一系列無用的相關(guān)數(shù)據(jù)點(diǎn)。

2）預(yù)測神經(jīng)網(wǎng)絡(luò)能力：這已經(jīng)是動態(tài)路由的一部分，它迫使各層預(yù)測下一層表達(dá)。這是一種非常強(qiáng)大的自我學(xué)習(xí)技巧，在我們看來，它勝過了我們在社區(qū)中發(fā)展的所有其他非監(jiān)督表現(xiàn)學(xué)習(xí)。膠囊現(xiàn)在需要能夠預(yù)測長期的時空關(guān)系，但目前還沒有實(shí)現(xiàn)。

持續(xù)學(xué)習(xí)：這是很重要的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)需要不斷地學(xué)習(xí)新的數(shù)據(jù)點(diǎn)來維持生存。目前的神經(jīng)網(wǎng)絡(luò)不能學(xué)習(xí)新的數(shù)據(jù)，而每次都需要從頭開始重新訓(xùn)練。神經(jīng)網(wǎng)絡(luò)需要能夠自我評估接受重新訓(xùn)練的必要性，以及它們確實(shí)知道某些事情的事實(shí)。這也需要在現(xiàn)實(shí)生活和強(qiáng)化學(xué)習(xí)任務(wù)中表現(xiàn)出來，我們想讓機(jī)器在不忘記舊任務(wù)的情況下完成新任務(wù)。

轉(zhuǎn)移學(xué)習(xí)：或者稱我們?nèi)绾巫屵@些算法通過觀看視頻自學(xué)，就像我們學(xué)習(xí)如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對于加強(qiáng)學(xué)習(xí)也很重要?，F(xiàn)在你可以通過舉例子的方式來訓(xùn)練你的機(jī)器去做你想讓它做的事情，就像我們?nèi)祟愐粯印?/p>

強(qiáng)化學(xué)習(xí)：這是深神經(jīng)網(wǎng)絡(luò)研究的“圣杯”，即教機(jī)器如何在真實(shí)的世界環(huán)境中學(xué)習(xí)！這需要自學(xué)、持續(xù)學(xué)習(xí)、預(yù)測能力，還有很多我們不知道的東西。在強(qiáng)化學(xué)習(xí)領(lǐng)域有很多東西需要了解，但對作者們來說，這只觸及到問題的表面。

強(qiáng)化學(xué)習(xí)通常被稱為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓(xùn)練。但是，我們?nèi)绾尾拍艿玫揭粋€“通用”大腦輕松地解決所有的問題呢？這是個“先有雞還是先有蛋”的問題！今天，要想一個個地解決強(qiáng)化學(xué)習(xí)的問題，我們需要使用標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)：一個深度的神經(jīng)網(wǎng)絡(luò)，它接收大量的數(shù)據(jù)輸入，如視頻或音頻，并將其壓縮成表示；一個序列學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，如RNN，以便了解任務(wù)。

這兩個部分都是問題的明顯解決方案，目前顯然是錯誤的，但這是每個人都在使用的，因?yàn)樗鼈兪钱?dāng)前可用的構(gòu)建塊。這樣的結(jié)果并不令人印象深刻：我們可以從頭開始學(xué)習(xí)玩視頻游戲，并且掌握像國際象棋和圍棋這樣完全可觀察的游戲，但無需多言，與在復(fù)雜的世界中解決問題相比，這些都是微不足道的。想象下，AI可以比人類更好地玩轉(zhuǎn)《HorizonZeroDawn》，對此我拭目以待！

但這恰是我們想要看到的，即能像我們?nèi)祟愡@樣運(yùn)作的機(jī)器。我們對強(qiáng)化學(xué)習(xí)的建議是，使用可以連續(xù)操作的預(yù)測神經(jīng)網(wǎng)絡(luò)和聯(lián)想存儲器來存儲最近的經(jīng)驗(yàn)。

不要更多的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）：因?yàn)樗鼈冊诓⑿谢矫姹憩F(xiàn)特別糟糕，甚至在特殊的定制機(jī)器上也很慢，因?yàn)樗鼈兊膬?nèi)存帶寬使用率很高，內(nèi)存帶寬存在限制?；谧⒁饬Φ纳窠?jīng)網(wǎng)絡(luò)更高效，可更快速地進(jìn)行訓(xùn)練和部署，并且在訓(xùn)練和部署方面的可伸縮性更少。在神經(jīng)網(wǎng)絡(luò)中，注意力有可能使許多架構(gòu)發(fā)生真正的改變，但它并沒有得到應(yīng)有的認(rèn)可。聯(lián)想記憶和注意力的結(jié)合是下一波神經(jīng)網(wǎng)絡(luò)發(fā)展的核心。我們認(rèn)識到，基于注意力的神經(jīng)網(wǎng)絡(luò)將逐漸取代基于RNN的語音識別，并在強(qiáng)化學(xué)習(xí)構(gòu)架和通用人工智能中找到它們的方法。

分類神經(jīng)網(wǎng)絡(luò)中信息的定位：實(shí)際上這是一個已經(jīng)解決的問題，將被嵌入到未來的神經(jīng)網(wǎng)絡(luò)架構(gòu)中。

硬件

深度學(xué)習(xí)硬件才是進(jìn)步的核心?，F(xiàn)在讓我們忘記2008-2012年深度學(xué)習(xí)的快速擴(kuò)展，近年的進(jìn)步主要取決于硬件：在社交媒體的幫助下，每部手機(jī)上的廉價圖像傳感器都可以收集巨大的數(shù)據(jù)集，但其只處于次級重要程度。GPU允許加速深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。在過去2年里，機(jī)器學(xué)習(xí)硬件蓬勃發(fā)展，尤其是針對深度神經(jīng)網(wǎng)絡(luò)的硬件。

有幾家公司正在這個領(lǐng)域努力，包括英偉達(dá)、英特爾、Nervana、Movidius、Bitmain、Cambricon、Cerebras、DeePhi、谷歌、Graphcore、Groq、華為、ARM以及WaveComputing等，他們都在開發(fā)定制的高性能微型芯片，能夠訓(xùn)練和運(yùn)行深層神經(jīng)網(wǎng)絡(luò)。關(guān)鍵是提供最低功耗和最高的可測量性能，同時計(jì)算最近有用的神經(jīng)網(wǎng)絡(luò)操作，而不是每秒鐘的原始理論操作。但是在這個領(lǐng)域很少有人了解硬件是如何真正改變機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和AI的，很少有人知道微型芯片的重要性以及如何開發(fā)它們。

訓(xùn)練或推理：許多公司都在制造能提供神經(jīng)網(wǎng)絡(luò)訓(xùn)練的微型芯片。這是為了獲得英偉達(dá)市場的一部分，它是迄今為止事實(shí)上的培訓(xùn)硬件。但這種訓(xùn)練只占深層神經(jīng)網(wǎng)絡(luò)應(yīng)用的很小部分。對于每個訓(xùn)練步驟，實(shí)際應(yīng)用程序中都有上百萬個部署。例如，你現(xiàn)在可以在云端使用的一個目標(biāo)檢測神經(jīng)網(wǎng)絡(luò)，它曾經(jīng)被訓(xùn)練過一次，并且在很多圖像上都是可以使用的。但是一旦經(jīng)過訓(xùn)練，它就可以被數(shù)以百萬計(jì)的計(jì)算機(jī)用于數(shù)十億的數(shù)據(jù)。

我們在這里想說的是，訓(xùn)練硬件的重要性和你所使用的次數(shù)相比是微不足道的，而制作用于訓(xùn)練的芯片組需要額外的硬件和額外的技巧。這將導(dǎo)致相同性能卻消耗更高的功率，因此不是當(dāng)前部署的最佳狀態(tài)。訓(xùn)練硬件是很重要的，而對推理硬件進(jìn)行修改卻很簡單，但它并不像許多人認(rèn)為的那樣重要。

應(yīng)用程序：能夠更快、更低功率地提供培訓(xùn)的硬件在這個領(lǐng)域非常重要，因?yàn)樗鼘⒃试S更快地創(chuàng)建和測試新的模型和應(yīng)用程序。但真正重要的一步是應(yīng)用所需的硬件，主要是推理硬件。今天有許多應(yīng)用之所以無法使用，主要是因?yàn)橛布皇擒浖?。例如，我們的手機(jī)可以是基于語音的助手，目前是次優(yōu)的，因?yàn)樗鼈儾荒芤恢边\(yùn)行。就連我們的家庭助理也離不開電源，除非我們在周圍安裝更多麥克風(fēng)或設(shè)備，否則就不能跟著我們。但也許最大的應(yīng)用是將手機(jī)屏幕從我們的生活中移除，并將其嵌入到我們的視覺系統(tǒng)中。如果沒有超級高效的硬件，所有這些和更多的應(yīng)用將是不可能的。

贏家和輸家：在硬件方面，贏家將是那些能夠以最低功耗發(fā)揮更高性能、并能將設(shè)備迅速投入市場的公司。想象用手機(jī)代替SoC，這種情況每年都會發(fā)生。現(xiàn)在想象下將神經(jīng)網(wǎng)絡(luò)加速器嵌入到內(nèi)存中。這可能會更快地征服市場，并快速滲透，這就是我們所說的贏家。

應(yīng)用程序

我們在上面的“目標(biāo)”部分簡要地討論了應(yīng)用程序，但是我們需要詳細(xì)討論一下。AI和神經(jīng)網(wǎng)絡(luò)將如何進(jìn)入我們的日常生活？這是我們的名單：

分類圖像和視頻：已經(jīng)存在于許多云服務(wù)中。下一步就是在智能攝像頭領(lǐng)域做同樣的事情，今天在這里也有許多供應(yīng)商。神經(jīng)網(wǎng)絡(luò)硬件將允許移除云并在本地處理越來越多的數(shù)據(jù)，保護(hù)隱私和節(jié)省網(wǎng)絡(luò)帶寬將成為贏家。

語音助理：它們正在成為我們生活中的一部分，可以在我們的智能設(shè)備中播放音樂和控制基本設(shè)備。但是對話是一種基本的人類活動，我們常常認(rèn)為它是理所當(dāng)然的。你可以對話的小型設(shè)備是一場正在發(fā)生的革命。語音助理正變得越來越好，可以更好地服務(wù)于我們。但它們?nèi)匀慌c電網(wǎng)相連，我們想要的真正助理應(yīng)該能隨時伴在我們身側(cè)。手

機(jī)怎么樣？硬件在這里再次勝出，因?yàn)樗鼘⑹股鲜銎谕蔀榭赡?。Alexa、Cortana以及Siri可以始終陪伴著你。手機(jī)很快就會成為你的智能家居設(shè)備，這又是智能手機(jī)的又一次勝利。但我們也希望它在我們的車?yán)铮殡S我們在城市中移動。我們需要本地處理語音，減少云端支持。更多的隱私和更少的帶寬成本。硬件有望在1-2年內(nèi)提供給我們。

真正的智能助理：語音助理已經(jīng)很棒，但我們真正想要的是能看到我們所看到東西的助理。當(dāng)我們四處走動時，它能分析我們的環(huán)境。而神經(jīng)網(wǎng)絡(luò)硬件將會再次滿足你的愿望，因?yàn)榉治鲆曨l是非常昂貴的，而且目前在理論上限制了當(dāng)前的硅硬件。換句話說，要做的事情比做語音助理要難得多。但這并不是不可能的，像AiPoly這樣的許多智能初創(chuàng)公司已經(jīng)擁有了類似軟件，但是缺少強(qiáng)大的硬件來運(yùn)行它。還要注意的是，用可穿戴的玻璃設(shè)備代替手機(jī)屏幕真的會讓我們的助手成為我們的一部分！

烹飪機(jī)器人：下一個最大的設(shè)備將是烹飪和清潔機(jī)器人。在這里，我們可能很快就有硬件，但我們顯然缺乏軟件。我們需要轉(zhuǎn)移學(xué)習(xí)、持續(xù)學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。一切都像魔法那樣，因?yàn)槟阒溃好總€食譜都是不同的，每種烹飪成分看起來都不一樣。我們不能硬編碼所有這些選項(xiàng)。我們真的需要一個可以學(xué)習(xí)和推廣的合成實(shí)體來做這個。我們離它還很遠(yuǎn)，但并非遙不可及。以目前的速度前進(jìn)，可能只需要幾年就能實(shí)現(xiàn)。正如我在過去幾年所做的那樣，我感肯定這些都能實(shí)現(xiàn)。