邁向下一代視網(wǎng)膜神經(jīng)假體
——基于脈沖的視覺計算方法

余肇飛，劉健*，賈杉杉，張祎晨，鄭雅菁，田永鴻，黃鐵軍

1. 引言

精準醫(yī)學這一概念，多年以來一直都在繼續(xù)發(fā)展完善。這一術語通常是指，為患者量身定制醫(yī)療服務。近年來，人工智能技術所取得的進步，包括硬件、軟件和算法，可以讓醫(yī)療設備或醫(yī)療服務與患者之間的溝通更為順暢，以此進行的設計和調(diào)整，使得針對每個患者的醫(yī)療過程變得越來越精準。

神經(jīng)假體是一種精準的醫(yī)療設備，它提供了傳統(tǒng)藥理學治療之外的另一種治療手段。神經(jīng)假體通常與大腦神經(jīng)活動，特別是與神經(jīng)元脈沖發(fā)生直接相互作用[1–9]。它由一系列裝置組成，可以替代身體或大腦的一部分，如受損的運動區(qū)域、感覺區(qū)域或認知區(qū)域。大腦作為中心樞紐，可以控制和交換運動、感覺和認知行為所需的信息，因此，為了提升神經(jīng)假體的性能，我們需要更好地分析神經(jīng)假體所使用的神經(jīng)元信號。除了開發(fā)神經(jīng)假體硬件外，發(fā)展更好的算法也是提高神經(jīng)假體性能的核心[6,10,11]。

人們對運動神經(jīng)假體的研究已有很長的歷史，最新的技術已經(jīng)能夠很好地記錄并使用大腦皮層神經(jīng)元的脈沖信號來控制神經(jīng)假體[6]。人工耳蝸是最廣泛使用的感覺神經(jīng)假體，盡管在很多方面仍存在許多問題[11,12]，例如，如何提高其在嘈雜環(huán)境中的性能，如何提高其對下游聽覺皮層神經(jīng)元活動的影響，但是它們在解決聽力受損方面，已經(jīng)表現(xiàn)得相當出色。在算法研究方面，針對人工耳蝸，也已經(jīng)開展了很多算法模型[11]。與此相比，盡管有若干種視網(wǎng)膜神經(jīng)假體已用于臨床[13,14]，但是它們在恢復視力方面的表現(xiàn)則差強人意，關于視網(wǎng)膜神經(jīng)假體的算法研究也要少得多。

視網(wǎng)膜由感光細胞、雙極細胞和神經(jīng)節(jié)細胞3層激發(fā)神經(jīng)元組成，它們的活動受到周圍抑制性水平細胞與無長突細胞調(diào)制。感光細胞接收輸入的光信號，這些信號將自然環(huán)境的視覺信息編碼，并將它們轉(zhuǎn)化為由水平細胞調(diào)制的電活動。接著，電活動被送到雙極細胞和無長突細胞進行進一步處理。最后，所有的視覺信號都到達視網(wǎng)膜的輸出端神經(jīng)節(jié)細胞。它們作為視網(wǎng)膜唯一的輸出神經(jīng)元，會產(chǎn)生一系列的動作電位或脈沖，這些脈沖通過視神經(jīng)傳送到下游腦區(qū)。因此，論到根本，無論在空間上還是在時間上，所有我們所處環(huán)境的視覺信息，都被編碼為神經(jīng)節(jié)細胞脈沖信號的時空模式。

很多種眼病都屬于感光細胞的神經(jīng)退化性疾病，然而視網(wǎng)膜的輸出細胞——神經(jīng)節(jié)細胞仍然是健康細胞。治療這類疾病的一種方法是開發(fā)一款先進的視網(wǎng)膜假體，用一系列電極直接刺激神經(jīng)節(jié)細胞。人們對視網(wǎng)膜神經(jīng)假體的研究歷史相對較長[15]。然而，研究者付出的大量努力都集中在視網(wǎng)膜神經(jīng)假體的硬件材料設計方面[13–18]。近年來，有研究者認為采用更好的神經(jīng)編碼算法可以提升視網(wǎng)膜神經(jīng)假體的性能[10]。該研究表明，通過增加一個編碼器，將輸入圖像轉(zhuǎn)換為視網(wǎng)膜神經(jīng)節(jié)細胞使用的脈沖編碼，然后用這些脈沖編碼來驅(qū)動硬件傳感器，如電極、光遺傳學刺激器或視覺恢復相關的其他組件，可以顯著提升視覺場景的重建。

因此，我們需要使用更好的計算模型來提升視網(wǎng)膜神經(jīng)假體的性能。與其他刺激信號相對簡單的神經(jīng)假體相比，視網(wǎng)膜神經(jīng)假體在空間和時間上，需要處理具有高階相關性的動態(tài)視覺場景。目前而言，導致視網(wǎng)膜神經(jīng)假體性能低下的主要原因之一，是沒有明確理解神經(jīng)節(jié)細胞如何對豐富的視覺場景進行編碼。在此方面，我們已有的大部分知識，都是獲取自簡單的人造刺激實驗，如白噪聲圖像、條形圖和光柵。我們目前仍然不清楚，視網(wǎng)膜如何使用其神經(jīng)元和神經(jīng)網(wǎng)絡的內(nèi)部結(jié)構處理復雜的自然圖像。近年來，人工智能得了顯著進展，有了更為先進的分析技術來處理復雜視覺場景，包括自然圖像和視頻。因此，現(xiàn)在我們有能力開發(fā)新的功能型人工智能模型，利用它們分析視網(wǎng)膜神經(jīng)節(jié)細胞的脈沖信號，來研究脈沖信號如何對自然場景進行編碼和解碼。

在本文中，我們回顧了這一領域近期取得的一些進展。視覺編碼的研究可以大致分為兩個流派。第一個更為傳統(tǒng)的流派是基于特征的建模方法，在這種方法中，模型的視覺特征或濾波器盡量與視網(wǎng)膜的生物物理特性，如感受野，保持一致。第二個相對新穎的流派是基于采樣的建模方法，在這種方法中，視覺場景的統(tǒng)計數(shù)據(jù)，如像素，是用概率模型來表示的。需要注意的是，這兩種方法并不是完全獨立的；事實上，隨著最近硬件和算法技術的進步，它們之間的聯(lián)系越來越緊密。在本文中，我們將回顧這兩種途徑，考察其利用神經(jīng)脈沖分析視覺場景的核心思想。我們認為，對于促進下一代視網(wǎng)膜神經(jīng)假體的發(fā)展，計算建模將起著至關重要的作用。

本文結(jié)構如下：第2節(jié)介紹了視網(wǎng)膜的生物結(jié)構，側(cè)重于其內(nèi)部神經(jīng)元環(huán)路。我們認為，相比于視網(wǎng)膜單個細胞的動力學，視網(wǎng)膜環(huán)路可以進行更為豐富的計算。在第3節(jié)中，我們認為，視網(wǎng)膜并非一個簡單神經(jīng)網(wǎng)絡，其結(jié)構高度復雜，可以與腦皮層的某些方面相媲美。視網(wǎng)膜具有類似于腦皮層的網(wǎng)絡模塊，用這些模塊分別進行特定計算，提取特定的視覺特征。我們概述了3種模塊，分別為前饋、循環(huán)和贏家通吃（winner-take-all,WTA）的網(wǎng)絡結(jié)構。對于每一種，我們探討了相關證據(jù)和最新研究結(jié)果。

第4節(jié)討論了基于特征的建模方法，并對基于視網(wǎng)膜特征提取視覺場景的編碼和解碼模型進行了綜述。對于編碼，我們首先總結(jié)了生物物理模型，這些模型可以直接分析和擬合神經(jīng)元脈沖信號，從而確定某些神經(jīng)元的特性，如神經(jīng)元的感受野。然后，我們回顧了一些基于人工神經(jīng)網(wǎng)絡（artificial neural network, ANN）的編碼模型，它們使用最先進的機器學習方法來處理復雜的自然場景。然而，對于解碼，則有必要依賴于統(tǒng)計和機器學習模型，目的是用神經(jīng)脈沖重建視覺場景。我們回顧了解碼器模型，重點是討論如何使用它們更好地提升視網(wǎng)膜神經(jīng)假體處理靜態(tài)圖像及動態(tài)視頻的性能。

第5節(jié)討論了基于抽樣的建模方法。我們概述了視網(wǎng)膜環(huán)路的某些網(wǎng)絡結(jié)構特性，以及利用這些環(huán)路來構建概率圖模型（probabilistic graph model, PGM）和脈沖神經(jīng)元網(wǎng)絡（spiking neuronal network, SNN）模型，從而形成不同的功能模型，來模擬相關視網(wǎng)膜進行的視覺計算。我們首先介紹了脈沖神經(jīng)計算的基礎，并從采樣的角度討論了神經(jīng)脈沖和SNN的建?？蚣?。然后，我們認為，視網(wǎng)膜計算的研究需要超越神經(jīng)元和神經(jīng)網(wǎng)絡動力學的經(jīng)典描述，將概率推理考慮在內(nèi)。我們回顧了關于用SNN實現(xiàn)概率推理的最新研究結(jié)果。盡管這些方法傳統(tǒng)上用于視覺皮層的研究，但是我們將展示如何使用它們進行視網(wǎng)膜計算建模。最后一節(jié)討論了未來可能的研究方向，并總結(jié)了全文。

2. 視網(wǎng)膜神經(jīng)環(huán)路的視覺計算

圖1展示了視網(wǎng)膜神經(jīng)環(huán)路的典型結(jié)構。粗略地講，視網(wǎng)膜是一個由幾種神經(jīng)元組成的三層網(wǎng)絡。感光細胞根據(jù)視覺場景的信息流，將具有一系列強度（從昏暗到明亮）和顏色（從紅色、綠色到藍色）的光轉(zhuǎn)化為電信號，然后由抑制性水平細胞進行調(diào)節(jié)。接下來，這些信號被傳遞到興奮性雙極細胞進行復雜計算。雙極細胞的輸出電位傳統(tǒng)上被視為分級電位；然而，最近的實驗證據(jù)表明雙極細胞可以產(chǎn)生快速動作電位及脈沖事件[19]。然后抑制性無長突細胞以不同的方式調(diào)節(jié)這些輸出，以產(chǎn)生更加有效、具體和多樣化的計算[20]。在視網(wǎng)膜的最終階段，信號傳遞到神經(jīng)節(jié)細胞進行最終處理。最后，神經(jīng)節(jié)細胞將它們的脈沖發(fā)送到丘腦和皮層，進行更高層次的認知功能計算。

視網(wǎng)膜中，每一種神經(jīng)元的形態(tài)都非常豐富；例如，有研究認為，小鼠視網(wǎng)膜中大約有14種雙極細胞[21,22]、40種無長突細胞[23]和30種神經(jīng)節(jié)細胞[24]。除了神經(jīng)元細胞之外，神經(jīng)元之間的連接也是神經(jīng)元環(huán)路的獨特之處。視網(wǎng)膜神經(jīng)元之間的連接通常是由各種類型的化學突觸形成的。然而，在不同類型的細胞之間，以及同一類型的細胞之間，都有大量的電突觸連接或縫隙連接[25–28]。這些縫隙連接的功能仍是研究熱點[25]，這里，我們認為，縫隙連接具有創(chuàng)建循環(huán)連接的功能性作用，并且能夠增強視網(wǎng)膜的視覺計算能力。這一概念將在后面的章節(jié)中討論。

在視網(wǎng)膜研究領域，大多數(shù)研究都基于傳統(tǒng)的觀點，認為視網(wǎng)膜的神經(jīng)元具有靜態(tài)感受野（receptive field, RF），其作為時空濾波器可以提取視覺場景中的局部特征。然而我們知道，視網(wǎng)膜在信息處理的過程中有若干層次的復雜性，即從感光細胞到雙極細胞再到神經(jīng)節(jié)細胞。此外，抑制性水平細胞和無長突細胞的調(diào)節(jié)功能尚不清楚[20,29]。唯一一個理解相對透徹的例子，可能是視網(wǎng)膜的如何進行方向選擇性計算[30–33]。

圖1. 視網(wǎng)膜神經(jīng)環(huán)路圖示。視覺場景在第一層由感光細胞轉(zhuǎn)換，其中視桿細胞編碼弱光，視錐細胞編碼顏色。在被水平細胞調(diào)制后，信號被發(fā)送到第二層雙極細胞。輸出結(jié)果被發(fā)送到第三層進行進一步處理，該層由無長突細胞和神經(jīng)節(jié)細胞組成。視網(wǎng)膜的最終信號來自神經(jīng)節(jié)細胞的脈沖，這些脈沖被傳遞到腦皮層。除了細胞之間的化學突觸外，不同類型和相同類型的細胞（如神經(jīng)節(jié)-神經(jīng)節(jié)細胞）之間還存在大量的縫隙連接。

視網(wǎng)膜神經(jīng)節(jié)細胞是視網(wǎng)膜的唯一輸出，然而，它們的活動與視網(wǎng)膜的其他部分也是緊密耦合且高度相關。這些相互作用不僅使視網(wǎng)膜環(huán)路結(jié)構復雜，而且使視覺處理的計算更加多樣化。因此，視網(wǎng)膜應該比科學家所認為的“更聰明”[34]。這些觀察使得我們重新思考視網(wǎng)膜的功能和結(jié)構特性。鑒于視網(wǎng)膜中神經(jīng)元和神經(jīng)環(huán)路的復雜性，我們認為，應該以一種新的方式來理解視網(wǎng)膜所進行的視覺計算。傳統(tǒng)觀點認為視網(wǎng)膜就像前饋網(wǎng)絡一樣傳遞信息，但是我們則認識，與腦皮層一樣，視網(wǎng)膜可以形成側(cè)抑制和循環(huán)連接（如縫隙連接），因此視網(wǎng)膜就像視覺皮層處理視覺那樣[35–37]，可以利用各種神經(jīng)網(wǎng)絡模塊，提取視覺場景的不同特征，形成特定的計算。

要注意的是，與視覺皮層相比，視網(wǎng)膜在視覺信息處理中的計算和功能，近些年來才有了較為詳細的理解。如今，視網(wǎng)膜神經(jīng)元和神經(jīng)環(huán)路對視覺信息的計算，正在從不同層次上得到深入；更多細節(jié)請參見最近關于視網(wǎng)膜神經(jīng)科學進展的綜述[20,21,25–29,34]。

3. 視網(wǎng)膜的計算框架

從生物學的角度來看，視網(wǎng)膜環(huán)路的不同神經(jīng)科學實驗眾多繁雜，要統(tǒng)一這些實驗結(jié)論似乎很困難[38]。然而，我們認為，有必要組合多種神經(jīng)網(wǎng)絡結(jié)構模塊，對視網(wǎng)膜環(huán)路進行計算建模。這樣一個尚在萌芽的計算框架，可以更好地利用近年來出現(xiàn)的機器學習技術，從而有助于我們理解視覺計算[39]。如圖1所示，視網(wǎng)膜神經(jīng)環(huán)路的全局看來似乎相當復雜。然而，在提取了網(wǎng)絡結(jié)構的某些特征后，簡單的網(wǎng)絡模塊就呈現(xiàn)了出來。在這里，如圖2所示，我們僅關注3種類型的網(wǎng)絡結(jié)構模塊，即前饋網(wǎng)絡、循環(huán)網(wǎng)絡和WTA網(wǎng)絡，并假設這些模塊在視網(wǎng)膜的視覺計算中起著不同的作用。然而，視網(wǎng)膜不僅僅是這3種網(wǎng)絡模塊的混合體。相反，它是一個由多種類型網(wǎng)絡模塊組成的超環(huán)路[38]。目前人們還不清楚如何更有效地讓這些不同的網(wǎng)絡模塊共同工作來進行視覺計算，但是這種超環(huán)路為潛在的視網(wǎng)膜計算統(tǒng)一框架提供了生物學基礎。隨著實驗和計算技術的發(fā)展，可以從這個超環(huán)路中提取更多的計算特征。

3.1. 前饋網(wǎng)絡

如圖2（a）、（b）所示，前饋網(wǎng)絡是視網(wǎng)膜中視覺信息流方向的經(jīng)典視圖。光的前饋信息流通過3種主要的細胞通過視網(wǎng)膜：感光細胞、雙極細胞和神經(jīng)節(jié)細胞。為了簡單起見，這里不考慮其他兩種起調(diào)節(jié)作用的抑制性細胞。這種觀點的生物學基礎可以在視網(wǎng)膜中央凹中看到，在中央凹中，興奮性細胞起主要作用，幾乎沒有抑制作用[40]。中央凹中有直接連接過程，從感光體到雙極細胞，再作為輸出到神經(jīng)節(jié)細胞。

近年來，人工神經(jīng)網(wǎng)絡的發(fā)展證明了前饋網(wǎng)絡的優(yōu)勢。特別是人們在CNN的框架中取得了突破[39]。如圖 2（c）所示，一個簡單的3層CNN就像在視網(wǎng)膜中一樣，其中卷積濾波器起著視網(wǎng)膜細胞感受野的作用。視覺輸入的層級處理是通過視網(wǎng)膜中每個神經(jīng)元的感受野來計算的。上一層的計算結(jié)果池化傳遞到下一層的神經(jīng)元。最近的研究強調(diào)了CNN結(jié)構和視網(wǎng)膜神經(jīng)環(huán)路之間的相似性[41,42]，這將在后面部分進行討論。

3.2. 循環(huán)網(wǎng)絡

循環(huán)網(wǎng)絡的動力學[43–45]，以及豐富的突觸動力學和可塑性[46,47]，對于理解大腦功能非常重要。在這里，我們認為循環(huán)連接對于視網(wǎng)膜也很重要。如圖2（a）所示，視網(wǎng)膜中的循環(huán)連接主要由大量的縫隙連接產(chǎn)生。與化學突觸不同，縫隙連接是雙向或?qū)ΨQ的。對于視網(wǎng)膜所有類型的細胞，同一類型細胞之間和不同類型細胞之間，都有縫隙連接使相鄰細胞之間形成短連接。然而，這些縫隙連接的功能仍待討論[25]。

從計算的角度來看，由縫隙連接形成的循環(huán)連接，如圖2（b）、（c）所示，可以使視網(wǎng)膜環(huán)路類似于無向MRF的PGM。通過將圖論與概率論相結(jié)合，PGM為多元統(tǒng)計建模提供了強大的理論框架[48]。PGM已廣泛用于計算機視覺和計算神經(jīng)科學研究。與MRF相比，還有另一種PGM，稱為貝葉斯網(wǎng)絡，其中節(jié)點之間的連接具有方向性。圖2（c）所示是一種貝葉斯網(wǎng)絡，被稱為HMM。近年來，人們做出了很多努力構建SNN來實現(xiàn)這些PGM計算。這些研究利用機器模型PGM來理解大腦中觀察到的神經(jīng)活動，從而啟發(fā)了視網(wǎng)膜的視覺計算模型的建立。

3.3. WTA 網(wǎng)絡

最后，我們認為視網(wǎng)膜環(huán)路有WTA模塊的網(wǎng)絡結(jié)構。在腦皮層中，WTA環(huán)路是一種強大的網(wǎng)絡計算模塊，可實現(xiàn)歸一化[49]、視覺注意力[50]、分類[51]等計算功能[52]。

圖2. 不同的計算網(wǎng)絡模塊圖示。（a）視網(wǎng)膜環(huán)路可以提取不同的網(wǎng)絡模塊，如前饋網(wǎng)絡、循環(huán)網(wǎng)絡和WTA網(wǎng)絡。（b）用于建模的不同類型神經(jīng)網(wǎng)絡的抽象模型。刺激首先由輸入神經(jīng)元的活動表示，然后傳入興奮性和（或）抑制性神經(jīng)元網(wǎng)絡對其進行計算。不同顏色表示相同的模塊。（c）用于抽象計算的典型ANN，如卷積神經(jīng)網(wǎng)絡（convolutional neural network, CNN）、馬爾可夫隨機場（Markov random field, MRF）和隱馬爾可夫模型（hidden Markov model, HMM）。需要注意，人工神經(jīng)網(wǎng)絡可以使用一種或混合的計算網(wǎng)絡模塊，如（b）圖所示。在MRF中，xi是由WTA環(huán)路表示的單個變量。在HMM中，xi是由WTA環(huán)路中輸入神經(jīng)元表示的觀察變量，yi是WTA環(huán)路中興奮神經(jīng)元表示的隱變量。

兩種抑制性神經(jīng)元位于視網(wǎng)膜的前兩層。水平細胞調(diào)控感光細胞，將光信號傳遞給雙極細胞，而無長突細胞則調(diào)節(jié)雙極細胞末端和神經(jīng)節(jié)細胞樹突之間的信號。這兩種類型的細胞都有一類寬視野多軸突的特定亞型，它們的結(jié)構特性會將動作電位的信號大范圍散布（大于1 mm）[38]。從計算的角度來看，視網(wǎng)膜的這種超環(huán)路特征起著與WTA網(wǎng)絡模塊相似的作用。最近的研究表明，可以通過WTA環(huán)路的網(wǎng)絡模塊來實現(xiàn)MRF算法，這表明WTA可能是視覺計算中概率推理的最小計算單位[53]。

3.4.網(wǎng)絡模塊構成的多類型計算

以上我們簡要回顧了視網(wǎng)膜環(huán)路，指出了3個基本的神經(jīng)網(wǎng)絡模塊，從而利用這些模塊充當視網(wǎng)膜進行復雜計算的基本單元。然而，皮層微環(huán)路的研究提出了更多類型的網(wǎng)絡模塊[37]，這些模塊也可以作為視網(wǎng)膜超環(huán)路的一部分參與視網(wǎng)膜計算[38]。將視網(wǎng)膜視為超環(huán)路，可以讓很多皮層視覺處理的方法用到視網(wǎng)膜計算的研究中，從而跳出傳統(tǒng)視網(wǎng)膜的研究思路，實現(xiàn)更為豐富的動態(tài)特性計算[34]。特別需要指出的是，研究者已經(jīng)發(fā)現(xiàn)某些視覺功能是由視網(wǎng)膜中某些類型的網(wǎng)絡模塊實現(xiàn)的，詳情參見文獻[34]。

人工神經(jīng)網(wǎng)絡領域的最新進展形成了計算視覺領域的許多突破。例如，深層CNN可以模擬從視網(wǎng)膜到皮質(zhì)下顳部的視覺計算過程[54]。這些基于特征的模型利用感受野的優(yōu)勢來捕獲視覺特征。但是，CNN模型在視覺計算方面有一些缺點。例如，CNN架構在很大程度上缺乏設計原理，這個缺點可以通過利用包括視網(wǎng)膜在內(nèi)的大腦生物神經(jīng)網(wǎng)絡設計知識來完善[55]。

另一方面，有研究者認為，為了理解視覺計算，需要一個層級貝葉斯推理框架[56]。使用這種基于采樣的建模方法時，不同類型的網(wǎng)絡模塊可以實現(xiàn)特定的計算功能[57]，從而使得視覺的統(tǒng)計計算可以通過各種類型的概率模型來實現(xiàn)。貝葉斯模型中的這些計算技術已經(jīng)用于視覺皮層和視網(wǎng)膜的視覺處理[56]。

但是，這兩種方法不是完全分離的。實際上，它們之間存在密切的聯(lián)系[55]。我們將在以下各節(jié)中，使用視網(wǎng)膜作為模型系統(tǒng)來解釋這些方法：第4節(jié)將討論基于特征的方法，第5節(jié)將討論基于采樣的方法。

4. 視網(wǎng)膜的編碼和解碼模型

神經(jīng)如何編碼信息是系統(tǒng)神經(jīng)科學的核心問題之一[58–60]。特別是針對視覺編碼，首先有必要理解視覺場景如何被表征為神經(jīng)脈沖活動，然后也需要理解如何解碼神經(jīng)元脈沖活動以還原給定的視覺信息。視網(wǎng)膜是研究這些問題的一個有效系統(tǒng)。

4.1. 生物物理編碼模型

為了理解視網(wǎng)膜的編碼原理，研究者已經(jīng)根據(jù)視網(wǎng)膜中神經(jīng)元和神經(jīng)元環(huán)路的生物物理特性發(fā)展了幾種模型，參見最近的綜述[61]。在這里，我們簡要回顧一下這些方法。

研究視網(wǎng)膜神經(jīng)元計算的起點是找到神經(jīng)元的RF。實驗中獲得神經(jīng)元RF的經(jīng)典方法，是固定某個細胞的位置，然后改變刺激光斑的大小，從而獲得一個中央激發(fā)而周圍抑制的高斯濾波器作為RF結(jié)構。后來，研究者使用多電極陣列，發(fā)展了一種更為系統(tǒng)的實驗方法來記錄一個包含了很多視網(wǎng)膜神經(jīng)節(jié)細胞的群體。通過此方法，我們可以使用各種類型的圖像來操縱光刺激，這些刺激包括簡單的條形、斑點、光柵、白噪聲以及可控的復雜圖像和視頻。這個方法的優(yōu)勢是可以同時記錄很多細胞，得到單個神經(jīng)元精度的脈沖序列。當利用白噪聲作為刺激時，使用一種簡單的被稱為脈沖觸發(fā)平均（spike-triggered average, STA）[62]的反向相關方法，可獲取神經(jīng)節(jié)細胞的RF。STA擴展到協(xié)方差分析，被稱為脈沖觸發(fā)協(xié)方差分析，是分析視網(wǎng)膜神經(jīng)元二階動力學的有力工具之一[63,64]。

基于神經(jīng)元的感受野，利用線性-非線性（linear–nonlinear, LN）模型可以簡單而有效地模擬光信息的層級處理過程。LN模型分為兩個階段[65,66]。第一階段是線性時空濾波器，代表細胞的敏感區(qū)域，即感受野。第二階段是非線性變換，將線性濾波器的輸出轉(zhuǎn)換為脈沖發(fā)放頻率。LN模型的這兩個屬性，都可以很容易地從白噪聲刺激所激發(fā)的脈沖信號中計算出來[64]。當處理的是復雜的刺激信號而不是白噪聲時，利用足夠的數(shù)據(jù)，可以使用其他方法（如極大似然估計[65]和最大信息[67]）計算LN模型的組成。

迄今為止，為了完善LN模型的構建，使LN模型計算功能更強大，研究者已經(jīng)開發(fā)出幾種改進模型。這些模型包括：LN泊松模型[63]（在非線性變換之后，使用泊松過程來生成脈沖序列）和廣義線性模型[68]（其中包括了幾個其他模型組件，如用于刻畫脈沖適應動力學的歷史濾波器和用于刻畫相近神經(jīng)元影響的耦合濾波器）。最近，研究者開始側(cè)重發(fā)展具有子單元成分的模型來模擬上游神經(jīng)元的非線性特征。例如，非線性輸入模型[69]，其中包括一些子單元非線性濾波器，并假設神經(jīng)元的輸入是相關的；脈沖觸發(fā)協(xié)方差模型[64,70,71]，利用特征向量分析法對脈沖觸發(fā)的刺激系綜進行協(xié)方差分析，以獲得一系列RF的子單元濾波器；兩層LN網(wǎng)絡模型[72]，通過兩層LN模型實現(xiàn)層級過程；以及脈沖觸發(fā)的非負矩陣分解（spike-triggered non-negative matrix factorization, STNMF）模型[73]，該方法松弛了脈沖觸發(fā)協(xié)方差中使用的正交性約束，從而獲得一組非正交的子單元濾波器，這些子單元在實驗中被驗證為視網(wǎng)膜中的雙極性細胞。進一步研究表明，STNMF可以獲取上游雙極細胞的各種生物物理特性，包括空間RF、時間濾波器、非線性和從雙極細胞到神經(jīng)節(jié)細胞的突觸連接特性。另外，該方法也可以將雙極細胞產(chǎn)生的脈沖信號子集，從神經(jīng)節(jié)細胞的整個脈沖信號中分離開來[74]。

4.2. 基于ANN 的編碼模型

近年來，研究者在ANN的使用方面（如深層CNN和PGM）已經(jīng)取得了突破，可以完成許多與視覺信息相關的實際任務[39]。例如，對于收集好的且用特定標簽標記好的大量視覺圖像，ANN在對象識別和分類方面的性能要優(yōu)于人類水平[39]。各種用于可視化CNN學習的圖像特征技術已經(jīng)被開發(fā)出來。但是，CNN對于處理復雜自然圖像端到端的獲取方式，讓人們很難用這種方法來解釋底層的網(wǎng)絡結(jié)構組成[75,76]。

受神經(jīng)科學實驗觀察的啟發(fā)[55,77]，典型的深層CNN具有多層的分層結(jié)構[78]。在這些層中，有些具有一組卷積濾波器，每個卷積濾波器都用作特征檢測器，來提取圖像的重要特征[79,80]。因此，經(jīng)過大量圖像訓練后，這些卷積濾鏡可以起到與視網(wǎng)膜和其他視覺系統(tǒng)中的神經(jīng)元相同的功能作用，從而對自然圖像的復雜統(tǒng)計特性進行編碼[59]。這些濾波器的形狀稀疏且局部化，類似于視覺神經(jīng)元的RF。

因此，研究者認為，可以使用類似的基于ANN的方法來研究神經(jīng)科學中神經(jīng)元編碼的核心問題[54,81]。特別是，對于視覺編碼來說，人們普遍認為，大腦的腹側(cè)視覺途徑是從視網(wǎng)膜開始，然后穿過外側(cè)膝狀核和分層的視覺皮層最終到達皮質(zhì)下顳部。該視覺途徑被認為是識別視覺對象“是什么”的路徑。研究者發(fā)現(xiàn)，用CNN對猴子下顳葉皮層神經(jīng)元的實驗數(shù)據(jù)進行建模時，可以很好地預測神經(jīng)元的響應[54,82–84]。因此，可以認為，大腦中視覺處理的生物學結(jié)構與CNN中使用的網(wǎng)絡結(jié)構具有一定關系。然而，從視網(wǎng)膜到顳下皮層的通路很復雜，因此解釋這種關系并不簡單[54]。一種可能的更簡單的方法，是使用CNN對大腦的早期視覺系統(tǒng)（尤其是視網(wǎng)膜）建模，如上所述，大腦的早期視覺系統(tǒng)的神經(jīng)元環(huán)路相對簡單。

實際上，一些研究已經(jīng)使用CNN及其變體來模擬早期視覺系統(tǒng)，如視網(wǎng)膜[41,42,85–87]、視覺皮層區(qū)域V1 [88–92]和V2 [93]。這些研究大多數(shù)是基于這樣的假設，即可以通過使用前饋或循環(huán)神經(jīng)網(wǎng)絡（或兩者）來實現(xiàn)預測神經(jīng)元反應。與傳統(tǒng)的LN模型[71]相比，這些新方法增加了系統(tǒng)識別的復雜度。其中一些研究還詳細檢查網(wǎng)絡組成部分，試圖確定這些CNN組成部分[41,42,92]是否和怎樣類似于神經(jīng)元網(wǎng)絡的生物學結(jié)構。

圖3 [41,74,85]展示了用于視網(wǎng)膜CNN建模方法的典型設置。為了了解視網(wǎng)膜環(huán)路感受野的精細結(jié)構，重要的是要了解CNN所獲取的濾波器。與使用群體視網(wǎng)膜神經(jīng)節(jié)細胞的研究相反[42,92,94]，該模型可以將復雜的視網(wǎng)膜環(huán)路簡化為簡單的網(wǎng)絡模型，如圖3（a）所示。這使得在視網(wǎng)膜單細胞層面上完善網(wǎng)絡結(jié)構的模型更為容易。實際上，研究已經(jīng)發(fā)現(xiàn)CNN可以學習調(diào)整其內(nèi)部結(jié)構成分以匹配視網(wǎng)膜的生物神經(jīng)元[42,85]，如圖3（d）所示。

鑒于視網(wǎng)膜具有相對清晰和簡單的環(huán)路，并且眼睛（幾乎）沒有來自腦皮層的反饋連接，因此可以合理地將該系統(tǒng)建模為前饋神經(jīng)網(wǎng)絡，這類似于CNN的原理。可以肯定的是，抑制性神經(jīng)元（如水平細胞和無長突細胞）在視網(wǎng)膜功能中發(fā)揮作用。從這個意義上講，更為理想的神經(jīng)網(wǎng)絡模型需要包含側(cè)抑制和（或）循環(huán)單元 [86,94]。

圖3. 使用CNN方法通過簡化的生物物理模型對視覺場景進行編碼。（a）將視網(wǎng)膜環(huán)路簡化為生物物理模型：前饋（頂部）網(wǎng)絡表示為視網(wǎng)膜環(huán)路的一部分，它接收進入的視覺場景并從神經(jīng)節(jié)細胞發(fā)出脈沖；（中部）一個具有單個神經(jīng)節(jié)細胞和5個雙極細胞的小網(wǎng)絡；（底部）代表5個雙極細胞子單元的生物物理模型，每個子單元都有一個線性濾波器作為RF，并且具有一個非線性。5個子單元的輸出通過另一個非線性進行合并和校正?？梢詫ψ罱K輸出進行采樣得到脈沖序列。（b）訓練CNN模型，其圖像作為輸入，脈沖作為輸出。這里有兩個卷積層和一個密集層。（c）訓練后，CNN模型顯示出與神經(jīng)節(jié)細胞生物物理模型相同的感受野。（d）訓練后的卷積濾波器類似于（a）部分中雙極細胞的RF。（a）轉(zhuǎn)載自文獻[74]，（b）～（d）摘自文獻[41,85]。

4.3. 從視網(wǎng)膜脈沖解碼視覺場景

對于視網(wǎng)膜神經(jīng)假體，理想的編碼器模型能夠針對給定的視覺場景向電極提供精確的刺激。為了實現(xiàn)這一點，有必要找到一種理想的解碼器模型，從而可以根據(jù)神經(jīng)元響應讀出并重建視覺場景的刺激。

多年來一直有通過算法重建視覺場景的研究。相關的神經(jīng)信號包括人腦功能磁共振成像（functional magnetic resonance imaging, fMRI）信號[95–98]、視網(wǎng)膜[99–102]和外側(cè)膝狀核[103]的神經(jīng)元脈沖，以及V1中的神經(jīng)元鈣成像數(shù)據(jù)[104]。然而，對于自然場景，無論是靜態(tài)自然圖像還是動態(tài)視頻，當前方法的解碼性能都相當?shù)?。從fMRI數(shù)據(jù)中重建視頻的示例可以參見文獻[97]。

對于視網(wǎng)膜神經(jīng)假體，人們希望通過使用神經(jīng)節(jié)細胞的脈沖響應來解碼視覺場景。最新的研究顯示，利用模擬的視網(wǎng)膜神經(jīng)節(jié)細胞，并且當細胞數(shù)量足夠多時，可以對視覺場景進行解碼[100]。但是，當時尚不清楚是否有可能使用實驗數(shù)據(jù)來實現(xiàn)這一目標。這種解碼方法可以被稱為脈沖圖像解碼器，它演示了從神經(jīng)元脈沖到視覺場景的端到端訓練過程。

我們近期使用深度學習神經(jīng)網(wǎng)絡模型開發(fā)了這種解碼器。相比之前的研究，我們的解碼器利用同時記錄的視網(wǎng)膜神經(jīng)節(jié)細胞群體的脈沖序列，可以重建真實的視覺場景（包括靜態(tài)圖像和動態(tài)視頻），并且具有更好的圖像分辨率[105]。

脈沖圖像解碼器的工作流程如圖4所示[105,106]。實驗者使用多電極陣列可以同時記錄大量的視網(wǎng)膜神經(jīng)節(jié)細胞，并提取其脈沖。接下來，使用脈沖圖像轉(zhuǎn)換器將每個神經(jīng)節(jié)細胞的脈沖映射到像素量級的圖像。之后，用深度學習神經(jīng)網(wǎng)絡，這里是自動編碼器，將基于脈沖的圖像轉(zhuǎn)換為原始刺激圖像。本質(zhì)上，這種方法包含兩個階段：脈沖到圖像轉(zhuǎn)換和圖像到圖像自動編碼。先前的大多數(shù)研究都集中在第一階段，其通過統(tǒng)計模型和（或）基于ANN的模型以線性或非線性方式來優(yōu)化傳統(tǒng)解碼器[95–103]。最近的研究將CNN自動編碼器單獨訓練以提高圖像質(zhì)量[100]。然而我們發(fā)現(xiàn)，通過端到端的訓練過程，包括脈沖到圖像轉(zhuǎn)換和圖像到圖像自動編碼兩個階段，可以取得更好的效果。當然這里并不排除其他可能性，使用其他類型的深度學習神經(jīng)網(wǎng)絡，來對這兩個階段中使用的網(wǎng)絡詳細架構進行優(yōu)化，也可能達到更高的性能。

5. 使用SNN 和PGM 對視網(wǎng)膜建模

SNN被視為第三代ANN模型。就像大腦一樣，它們使用神經(jīng)元脈沖進行計算[107]。除了神經(jīng)元和突觸狀態(tài)外，SNN中還考慮了脈沖時間的重要性。研究表明，在相同神經(jīng)元數(shù)量的情況下，SNN比其他ANN在計算方面更強大[107]。近年來，SNN在許多領域都得到了廣泛的研究[108–110]。特別是最近的研究表明，SNN可以與多層的深層架構結(jié)合使用，以獲得與ANN相似或更好的性能[111–115]。SNN的脈沖特征對于下一代神經(jīng)形態(tài)計算機芯片尤為重要[116,117]。

圖4. 從神經(jīng)元脈沖解碼視覺場景。（頂部）解碼視覺場景的工作流程。在這里，一個蠑螈游泳的視頻被呈現(xiàn)給蠑螈的視網(wǎng)膜，以激發(fā)神經(jīng)節(jié)細胞的一系列脈沖。這些脈沖序列被用于訓練脈沖圖像解碼器，以重建相同的刺激視頻。神經(jīng)節(jié)細胞的RF被映射到圖像上。每個彩色圓圈是感受野的輪廓。（底部）脈沖圖像解碼器是具有兩個階段的端到端解碼器：脈沖到圖像轉(zhuǎn)換，用于將大量的脈沖映射到像素量級的初始圖像；以及圖像到圖像自動編碼，可將每個像素映射到所需圖像中的目標像素。請注意，這里的脈沖圖像解碼器沒有獨特的架構，人們可以采用其他最新模型對其優(yōu)化。初始圖像的確定形狀取決于用于訓練的損失函數(shù)。解碼過程的詳細信息參見文獻[105]。此圖中顯示的數(shù)據(jù)可在線獲取[106]。

單個神經(jīng)元的計算能力是有限的。但是，當連接大量神經(jīng)元形成網(wǎng)絡時，可以極大地擴展連接神經(jīng)元的計算能力。利用圖論語言[118]，SNN可以表示為圖G=(V,E)，其中，V代表神經(jīng)元集合，E∪V×V代表突觸集合。鑒于圖和神經(jīng)網(wǎng)絡之間的這種等價性，近年來人們深入研究了PGM方法。經(jīng)典的ANN和SNN模型，就像Hodgkin-Huxley模型所揭示的那樣[119]，都利用確定性動力學系統(tǒng)進行建模。然而，與這種觀點不同，大腦中使用的計算原理也可以利用PGM描述。

越來越多的神經(jīng)科學證據(jù)表明，人類和猴子（以及其他動物）也可以表示概率，實現(xiàn)概率計算[120–122]；因此，概率大腦的觀點越來越被認可[123]。研究者認為，可以在神經(jīng)環(huán)路層面上，利用由脈沖神經(jīng)元組成的網(wǎng)絡來實現(xiàn)概率推理[123]。越來越多的研究興趣著重于結(jié)合SNN和概率計算，以便人們既了解腦計算的原理，又能利用這些腦啟發(fā)的原理解決實際問題。

在PGM框架中研究的概率推理，傳統(tǒng)上是概率論和圖論的組合模型。PGM的核心思想是利用圖來表示一組變量之間的聯(lián)合分布，其中每個節(jié)點對應一個變量，每個邊對應兩個變量之間的概率交互。利用圖結(jié)構的優(yōu)勢，可以將高維空間上的復雜分布，分解為低維局部勢函數(shù)的乘積。PGM可以分為有向圖形模型（如貝葉斯網(wǎng)絡）和無向圖形模型（如MRF）。貝葉斯網(wǎng)絡可以表示變量之間的因果關系，因此通常被用于建模認知和感知過程，而MRF可以通過局部勢函數(shù)的乘積來表示聯(lián)合分布。

通過SNN實現(xiàn)PGM，是為了解釋神經(jīng)元脈沖如何實現(xiàn)概率推理。SNN的推理包括兩個主要問題，分別是概率編碼和概率推理：①如何利用單細胞或細胞群體的神經(jīng)活動（如膜電位和脈沖）編碼概率分布？②如何利用脈沖神經(jīng)元網(wǎng)絡動力學逼近概率推理？

概率編碼是概率推理的前提。根據(jù)概率的表達方式，概率編碼可分為3種基本類型：①編碼每個狀態(tài)下每個變量，如概率編碼[124]、對數(shù)概率編碼[125,126]和對數(shù)-似然比編碼[127,128]；②編碼分布的參數(shù)，如利用神經(jīng)元的動態(tài)變化特性進行概率群體編碼[129–131]（即對恒定刺激作出響應的神經(jīng)活動具有較大的變異性，這表明活動神經(jīng)元群體可以自動編碼分布）；③編碼一個分布的采樣過程來描述神經(jīng)活動[132,133]，如許多實驗顯示的那樣[134–137]。

根據(jù)這些編碼原理，可以采用不同的方法對神經(jīng)網(wǎng)絡構建推理過程：①利用神經(jīng)動力學方程與某些PGM在時間過程中推理方程的相似性，來進行推理[125,126,128,138–140]，該方法主要適用于小規(guī)模SNN；②利用神經(jīng)變分近似進行推理，這適合直接描述大規(guī)模SNN的動力學[53,56,141–148]；③利用概率群體編碼和一些符合神經(jīng)元特性的操作來進行推理，包括求和、乘法、線性組合和歸一化[149–153]；④利用神經(jīng)元在時域上的特性來采樣推理，其中，噪聲（如實驗觀察中發(fā)現(xiàn)的隨機神經(jīng)響應[154,155]）是神經(jīng)采樣和推理的關鍵[156–160]。同樣，可以通過使用大量神經(jīng)元同時從分布中進行采樣[153,161–163]，因為已經(jīng)發(fā)現(xiàn)大腦某些區(qū)域的神經(jīng)元群體狀態(tài)遵循特定的分布[164,165]。

上面的研究大多以抽象的方式，來模擬包括視覺皮層在內(nèi)的皮層神經(jīng)計算。我們認為，可以將這些計算技術用于研究視網(wǎng)膜計算。圖5 [53,166,167]顯示了用于視網(wǎng)膜的一些示例，其中通過縫隙連接[圖5（a）]的感光細胞網(wǎng)絡，與MRF模型[圖5（b）]在網(wǎng)絡層面上具有相似性，可以由包含WTA微電路模塊的脈沖神經(jīng)元網(wǎng)絡實現(xiàn)MRF [圖5（b）]。如圖2所示，大量的縫隙連接讓視網(wǎng)膜神經(jīng)元之間形成循環(huán)連接。最近的一項研究表明，如圖5（c）所示，帶有縫隙連接的棒狀感光細胞網(wǎng)絡可以對圖像去噪，而附加CNN可以進一步增強圖像的質(zhì)量。與其他傳統(tǒng)的CNN相比，這種包含感光細胞的CNN可以實現(xiàn)更好的降噪性能[166]。同樣，PGM已用于降噪圖像[168]。研究表明可以由SNN進行PGM各種類型的計算[53,163,169–172]，因此，如圖5（d）所示，當使用SNN進行去噪時，可以實現(xiàn)類似的性能[167]。

PGM在視覺編碼方面得到了廣泛的研究和應用，但主要用于對皮層神經(jīng)進行建模[56]。在此，本文討論的這些結(jié)果表明，人們可以構建一個系統(tǒng)框架中來研究視網(wǎng)膜中的視覺計算，這個框架包括經(jīng)典的PGM、特殊的包含縫隙連接的視網(wǎng)膜環(huán)路結(jié)構，以及最近利用SNN在實現(xiàn)PGM算法方面的努力。對于深入此框架的未來工作，需要從視網(wǎng)膜豐富的網(wǎng)絡結(jié)構中獲得更多啟發(fā)，其中包括循環(huán)神經(jīng)網(wǎng)絡、WTA網(wǎng)膜和前饋神經(jīng)網(wǎng)絡，以及皮質(zhì)微環(huán)路中其他普遍存在的模塊[37]。

6. 討論

圖5. 用視網(wǎng)膜感光細胞、PGM和脈沖神經(jīng)網(wǎng)絡實現(xiàn)降噪計算。（a）縫隙連接形成的桿狀感光細胞網(wǎng)絡。（b）由WTA子單元形成的脈沖神經(jīng)元網(wǎng)絡，以及相應的MRF表示圖。MRF的每個變量都由一個WTA網(wǎng)絡模塊表示。（c）可以通過感光細胞網(wǎng)絡對有噪圖像進行消噪，然后通過CNN對其進行增強。（d）有噪圖像可以通過循環(huán)脈沖神經(jīng)元網(wǎng)絡實現(xiàn)的MRF進行噪點處理而無需增強。（a）和（c）引自文獻[166]，（b）引自文獻[53]，（d）引自文獻[167]。在（b）和（d）所示的MRF模型中，xi是由WTA表示的變量。

在精準醫(yī)學的框架內(nèi)，神經(jīng)假體是很有前途的醫(yī)療設備。由于它們直接與每個患者的大腦進行交互，因此發(fā)展神經(jīng)假體，除了更好的硬件設計之外，還需要更好的神經(jīng)元信號計算算法。提高視網(wǎng)膜神經(jīng)假體的計算能力，主要困難在于需要解決復雜的時空視覺場景。對于其他神經(jīng)假體，傳入的信號在低維空間，例如，手臂或腿在三維空間中的運動軌跡，或者在一維頻率空間中的聽覺信號。然而視覺場景非常復雜，并且以時空方式包含信息。近年來，計算機視覺的發(fā)展使得對這些復雜自然場景的分析取得了突破，人工智能也因此達到前所未有的高度。

鑒于神經(jīng)科學領域取得的實驗進展，同時記錄大量的神經(jīng)元現(xiàn)在成為可能。特別是在視網(wǎng)膜上，當視網(wǎng)膜施加控制良好的視覺場景刺激時，如圖像和視頻，數(shù)以百計的視網(wǎng)膜神經(jīng)節(jié)細胞產(chǎn)生的脈沖位序列可以被記錄下來[173]。最新的技術可以同時記錄數(shù)千個神經(jīng)元[174–176]。該技術通過使用足夠的脈沖來實現(xiàn)高分辨率，開辟了研究視覺場景的編碼和解碼方法。

植入電極是目前最常見的視網(wǎng)膜神經(jīng)假體方法，并已在臨床中使用。但是，在這種視網(wǎng)膜假體中嵌入的計算模型非常有限[10,13,177]。將編碼器嵌入視網(wǎng)膜假體中，可以處理傳入的視覺場景，從而更好地激發(fā)神經(jīng)節(jié)細胞[10,13]。使用解碼模型的好處，是可以驗證下游目標神經(jīng)元產(chǎn)生的脈沖模式。理想情況下，電刺激應該能夠獲得與假體中的視網(wǎng)膜神經(jīng)活動的期望模式接近的結(jié)果。比較脈沖模式之間相似性，無論是一般神經(jīng)編碼研究[178,179]，還是針對視網(wǎng)膜假體[180]，傳統(tǒng)方法著重于如何計算兩個脈沖序列之間的距離。另一種方法是在神經(jīng)假體中使用解碼模型獲得更好的性能[10,100,181]。其他神經(jīng)假體可以使用閉環(huán)設備解碼神經(jīng)信號以控制刺激，因此，視網(wǎng)膜假體傳遞的信號應該能夠重建原始刺激，即投射到視網(wǎng)膜上的動態(tài)視覺場景，從而有可能使用解碼模型，從視網(wǎng)膜神經(jīng)節(jié)細胞產(chǎn)生的脈沖模式中重建這種視覺場景[10,100]。更好的且可調(diào)節(jié)的神經(jīng)假體，應該使用解碼模型直接測量脈沖模式的精度，控制由視網(wǎng)膜神經(jīng)假體產(chǎn)生的電刺激模式。

在本文中，我們僅重點討論了嵌入式電極的視網(wǎng)膜神經(jīng)假體的計算模型問題。當然，作為工程系統(tǒng)的視網(wǎng)膜神經(jīng)假體，仍然存在許多并存的難題，例如，對高級材料的需求、電源設計、通信效率以及其他相關的硬件問題；這些問題已在許多很好的綜述中都有涉及[13,15,16,18]。應當注意的是，還存在其他不同類型的視覺植入設備，包括光遺傳學和化學光控開關的視網(wǎng)膜刺激植入設備，以及在視網(wǎng)膜以外的大腦其他視覺部位的植入設備。本文提出的計算問題也與這些視覺假體有關。除人工視覺植入設備外，另一研究方向是通過對干細胞的生物操作，如誘導性多能干細胞，對視網(wǎng)膜進行修復[182–184]。對于這些情況，更為相關的是了解生物神經(jīng)元和神經(jīng)環(huán)路的編碼視覺場景的計算機制。人們可能需要付出更多的努力，才能將視網(wǎng)膜中發(fā)現(xiàn)的生物學原理納入潛在解碼模型中[34]。

鑒于實驗神經(jīng)科學和假體工程技術的這些進步，現(xiàn)在是時候通過使用視網(wǎng)膜脈沖數(shù)據(jù)和基于ANN的模型來提高我們對視覺計算的理解，從而獲得更好的計算算法來提高視網(wǎng)膜神經(jīng)假體的性能。在本文中，我們回顧了用于視覺計算的新型人工智能模型方面取得的一些最新進展?；谔卣鞯慕７椒?，如深層CNN，在分析復雜的視覺場景方面取得了顯著進展。對于某些特定的視覺任務，這些模型可以勝過人類[39]。然而，對于訓練好的模型，不同任務之間的轉(zhuǎn)換效率、泛化能力以及適應或轉(zhuǎn)移學習的水平，仍遠低于人類的表現(xiàn)水平[55]。利用神經(jīng)元脈沖進行采樣建模已成為一種新方法[57]，它可以更好地利用大腦神經(jīng)系統(tǒng)中的多種特性，如單個神經(jīng)元和突觸水平的噪聲[52,157,160]。采樣模型具有利用像素表示視覺場景的優(yōu)點，可以方便地用于各種類型的視覺計算[168]，但是，采樣模型中使用的學習算法的效率仍然遠遠低于大腦神經(jīng)系統(tǒng)的靈活性[185]。因此，將這兩種方法結(jié)合，同時利用特征和采樣的優(yōu)點，進行視覺計算。為此，需要將視網(wǎng)膜視為一個混合神經(jīng)網(wǎng)絡，在這個神經(jīng)網(wǎng)絡中，視覺計算可以由不同的功能網(wǎng)絡模塊來完成。需要做更多的進一步工作，來將各種網(wǎng)絡模塊組合成一個混合網(wǎng)絡，然后利用這個混合網(wǎng)絡提取、處理和計算不同的視覺信息。這樣的混合合作或超網(wǎng)絡只是最近才被開始研究；特別是WTA網(wǎng)絡可以作為一個更復雜的超環(huán)路網(wǎng)絡模型中的功能模塊，用于各種類型的計算[52,53,110,186]。我們認為，該研究方向上將會有更多的研究值得開展。

本文所描述的建?？蚣?，并不局限于視網(wǎng)膜上的應用；它也可以應用于大腦中的其他視覺系統(tǒng)，以及其他人工視覺系統(tǒng)。這些算法的主要特點是利用了神經(jīng)元脈沖。人工智能計算的最新進展之一，是設計下一代神經(jīng)形態(tài)芯片和設備，這其中的數(shù)據(jù)格式是脈沖或事件[187–191]。因此，這些算法也可以應用于帶有脈沖或事件信號的神經(jīng)形態(tài)視覺相機。這些視網(wǎng)膜計算模型可用于模擬一系列脈沖，以便對任何給定的視覺場景進行編碼和解碼，包括靜態(tài)自然圖像、動態(tài)視頻，甚至是由基于圖像幀的標準相機捕獲的實時視頻[105]。將神經(jīng)形態(tài)硬件與事件/脈沖計算算法相結(jié)合，這種思路并不僅僅局限于視網(wǎng)膜神經(jīng)假體，也可以為下一代計算視覺開發(fā)出一種更好的人工視覺系統(tǒng)，因此，我們認為，人工智能、計算機視覺、神經(jīng)形態(tài)計算、神經(jīng)科學、生物工程和醫(yī)學之間的相互交叉，可以增進對大腦的理解，促進開發(fā)下一代視網(wǎng)膜神經(jīng)假體等這類人工視覺系統(tǒng)。這里討論的人工眼的視覺計算算法，包括編碼和解碼視覺場景的模型，對于這種多科學交叉的系統(tǒng)方法將尤其重要。

致謝

本工作得到了中國國家基礎研究計劃（2015CB351806）、 國 家 自 然 科 學 基 金（61806011、61825101、61425025和U1611461）、 國 家 博 士 后創(chuàng)新計劃（BX20180005）、中國博士后科學基金（2018M630036）、北京市科學技術委員會國際人才交流計劃（Z181100001018026）、之江實驗室（2019KC0AB03和2019KC0AD02）和英國皇家學會牛頓高級研究學者基金（NAF-R1-191082）的支持。

Compliance with ethics guidelines

Zhaofei Yu, Jian K. Liu, Shanshan Jia, Yichen Zhang,Yajing Zheng, Yonghong Tian, and Tiejun Huang declare that they have no conflict of interest or financial conflicts to disclose.