基于鴿視頂蓋神經(jīng)元動作電位的圖像重建

王治忠，龐 晨

（鄭州大學(xué)電氣工程學(xué)院，鄭州450001）

（*通信作者電子郵箱wzz1982@zzu.edu.cn）

0 引言

神經(jīng)元編碼和解碼問題是計算神經(jīng)科學(xué)中極其重要的科學(xué)問題之一。有關(guān)大腦神經(jīng)元的編碼機(jī)制已有廣泛的研究，但對解碼機(jī)制的研究相對較少［1］，神經(jīng)元信息解碼是編碼的反向過程，解碼問題研究如何通過神經(jīng)元響應(yīng)表征視覺刺激。在復(fù)雜的神經(jīng)系統(tǒng)中，高頻的動作電位（Spike）序列攜帶著豐富的信息［2］，通過神經(jīng)元動作電位序列重構(gòu)視覺輸入信息對理解腦視覺信息處理機(jī)制具有重要意義。

鴿子具有優(yōu)秀的視覺感知能力，對鳥類視覺系統(tǒng)的研究為理解視覺處理機(jī)制提供了豐富的數(shù)據(jù)［3］。視頂蓋（Optic Tectum，OT）是視網(wǎng)膜神經(jīng)節(jié)細(xì)胞（Retinal Ganglion Cells，RGC）軸突的主要投射區(qū)，是處理視覺信息的關(guān)鍵神經(jīng)核團(tuán)［4-6］。視頂蓋接收來自視網(wǎng)膜的視覺輸入，并將這些信息進(jìn)行編碼、整合等處理［7］。

傳統(tǒng)的編碼機(jī)制通常研究神經(jīng)元的調(diào)制特性，通過神經(jīng)元響應(yīng)解碼視覺輸入也是一種重要的手段［8］。機(jī)器學(xué)習(xí)算法作為視覺刺激下神經(jīng)元信息處理的有效工具，已被有效地應(yīng)用于神經(jīng)元數(shù)據(jù)的分析［9-10］?，F(xiàn)有的解碼算法包括Fisher 線性判別算法［11］、支持向量機(jī)和多層感知器［12］、決策樹［13］、樸素貝葉斯和K-近鄰算法［14］、最大似然估計的方法［15］、廣義線性模型［16］和神經(jīng)網(wǎng)絡(luò)［17］等。現(xiàn)有視覺刺激的解碼包括對刺激目標(biāo)的識別和分類［11，17］，對亮度或光照強(qiáng)度的解碼［12，18］以及對光柵朝向信息的解碼［15-16］。文獻(xiàn)［11］和文獻(xiàn)［17］利用Spike 發(fā)放率對圖像視覺刺激進(jìn)行了區(qū)分。文獻(xiàn)［12］提出了一種利用Spike 發(fā)放序列解碼光強(qiáng)度的方法，結(jié)果表明Spike發(fā)放頻率與解碼準(zhǔn)確率密切相關(guān)。文獻(xiàn)［15］利用Spike 發(fā)放個數(shù)解碼光柵朝向信息，結(jié)果表明大部分神經(jīng)元對光柵朝向具有選擇性。文獻(xiàn)［18］利用Spike 發(fā)放率對亮度刺激信息進(jìn)行重建，重建亮度刺激與實際亮度刺激的互相關(guān)系數(shù)達(dá)到0.84±0.07。以上的文獻(xiàn)研究結(jié)果表明利用神經(jīng)元信息解碼模型可以實現(xiàn)對簡單刺激的解碼，但運用解碼模型對較為復(fù)雜的圖像進(jìn)行解碼的研究工作較少，另外對于鳥類視覺信息解碼的研究工作也相對較少。

本文利用鴿OT區(qū)神經(jīng)元Spike發(fā)放率特征對刺激圖像進(jìn)行重建。文中以圖像作為視覺刺激，采用16 通道微電極陣列記錄鴿OT區(qū)神經(jīng)元產(chǎn)生的Spike響應(yīng)信號，提取Spike發(fā)放率特征，并分別構(gòu)建了線性逆濾波器和卷積神經(jīng)網(wǎng)絡(luò)重建模型，對視覺輸入進(jìn)行重建。為獲取較好的重建效果，需要對通道數(shù)量（num）、時間窗口（bin）、數(shù)據(jù)時間長度（T）、延遲時間（delay）等參數(shù)進(jìn)行調(diào)整，使用刺激圖像和重建圖像的歸一化互相關(guān)系數(shù)評估重建效果。

1 材料及手術(shù)

1.1 動物

實驗對象為從養(yǎng)殖中心購買的健康信鴿。購買后在動物房按規(guī)定時間飼養(yǎng)兩周，飼養(yǎng)環(huán)境的光照、黑暗各12 h交替進(jìn)行，動物房溫度維持在23±2℃。

1.2 手術(shù)

手術(shù)前選取體重在300～400 g的鴿子進(jìn)行稱重，然后向鴿子腹腔按照3 ml/kg 的劑量注射濃度為1.5%的戊巴比妥鈉。待鴿子完全麻醉后，剪去頭部左側(cè)羽毛，使用酒精消毒后將其固定于立體定位儀（型號ST-5ND-B，成都儀器廠），按照鴿結(jié)構(gòu)功能圖譜確定左側(cè)腦區(qū)視頂蓋位置，在顯微鏡下使用顱鉆對鴿子顱骨進(jìn)行開孔，并用鑷子去除硬腦膜。

神經(jīng)元響應(yīng)信號采用4×4排列方式的16通道鉑銥合金材質(zhì)電極記錄，電極尖端直徑15 μm，每行電極間距400 μm，電極阻抗為20～50 kΩ。取出電極并將其固定于電極桿上，利用微型操縱儀（Mc1000e，Siskiyou，SanDiego，CA，USA）在顯微鏡下將微電極陣列（Clunbury Scientific，Bloomfield Hills，MI，USA）緩慢植入腦區(qū)，植入深度為500～1 200 μm。在實驗過程中定時使用生理鹽水濕潤鴿右眼，并觀察鴿右眼眼球是否移動。

1.3 刺激模式

視覺刺激采用Matlab 中的Psychtoolbox 工具箱生成，刺激在CRT顯示屏上進(jìn)行播放。CRT顯示屏位于鴿子右眼正前方40 cm處。實驗主要包括兩種視覺刺激模式，一種是棋盤格刺激模式，其目的是測得鴿OT 區(qū)神經(jīng)元感受野的位置。如圖1（a）所示，棋盤格刺激模式為:設(shè)置尺寸為15×15的灰色背景，在此背景下以20 Hz的刷新率隨機(jī)出現(xiàn)尺寸為1×1的黑色方塊，刺激重復(fù)15 次，求取Spike 發(fā)放個數(shù)平均值以減少實驗中隨機(jī)誤差對結(jié)果的影響。另一種為自然圖像刺激，如圖1（b），刺激圖像從右向左，以每幀2 個像素點移動直到圖像右端消失，接著刺激圖像向上移動2 個像素點，再從右向左以相同方式移動，直到整個圖像以每4 個像素點（2×2 的相鄰像素塊）經(jīng)過每個神經(jīng)元感受野（黑色圓表示感受野位置）的中心，每個刺激幀之后加入灰屏。實驗中每一種圖像刺激模式循環(huán)播放5次，從中選取前4次循環(huán)刺激和神經(jīng)元響應(yīng)數(shù)據(jù)用于訓(xùn)練模型，第5 次獲取的神經(jīng)元響應(yīng)數(shù)據(jù)用于圖像重建。以杯子為例，實驗刺激總幀數(shù)為25 000，其中實際刺激12 500 幀，灰屏12 500 幀，訓(xùn)練所用實際刺激為10 000 幀，測試所用實際刺激為2 500 幀。圖像刺激以30 Hz 進(jìn)行播放，每一幀圖像刺激的時間為33.33 ms。

圖1 實驗刺激方式Fig. 1 Experimental visual stimulation modes

1.4 信號采集

神經(jīng)元響應(yīng)信號由Cerebus 多通道微電極陣列信號采集系統(tǒng)（美國Blackrock 公司）記錄。將采集到的信號采用二階巴特沃斯帶通濾波器（0.25～5 kHz）進(jìn)行濾波，將動作電位信號與局部場電位信號分離，之后通過設(shè)置閾值的方法將動作電位信號和噪聲分離。

2 重建方法

本文利用Spike 發(fā)放率特征和兩種重建模型重建刺激圖像，圖像重建的流程如圖2所示。

圖2 圖像重建流程示意圖Fig. 2 Schematic diagram of image reconstruction process

2.1 Spike信號的發(fā)放率特征提取

對每幀刺激后神經(jīng)元有效響應(yīng)時間內(nèi)的Spike 信號進(jìn)行加窗處理，然后統(tǒng)計每個時間窗內(nèi)的Spike 發(fā)放個數(shù)，得到Spike 信號的發(fā)放率特征。結(jié)合Spike 信號的發(fā)放率特征，構(gòu)造神經(jīng)元響應(yīng)矩陣R為:

2.2 多元線性逆濾波器重建模型的構(gòu)建

本文實驗中每一種圖像刺激模式循環(huán)播放5次，選取前4次循環(huán)訓(xùn)練多元線性逆濾波器，第5 次循環(huán)得到的神經(jīng)元Spike 發(fā)放率特征用于圖像重建。構(gòu)建的線性逆濾波器表示為:

由線性逆濾波器和測試數(shù)據(jù)可以得到重建刺激矩陣為:

其中實際刺激矩陣S表示為:

si，j表示第i幀刺激時，第j個像素點的灰度值。

重建刺激矩陣U表示為:

ui，j表示第i幀刺激時，第j個像素點的重建灰度值。

2.3 卷積神經(jīng)網(wǎng)絡(luò)重建模型的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為深度學(xué)習(xí)中應(yīng)用較為廣泛的網(wǎng)絡(luò)結(jié)構(gòu)，具有多層非線性變換結(jié)構(gòu)和強(qiáng)大的特征感知能力。卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層以及輸出層等組成［19］。使用卷積神經(jīng)網(wǎng)絡(luò)作為重建模型，輸入層用于接收Spike 發(fā)放率數(shù)據(jù)，卷積層的作用是從輸入的Spike 發(fā)放率數(shù)據(jù)中提取重要特征。由于不同圖像刺激時，神經(jīng)元有效響應(yīng)時間內(nèi)的Spike發(fā)放個數(shù)是不相同的，所以同一圖像刺激下多通道Spike發(fā)放率的局部特征是高度相關(guān)的，這意味著卷積層可以檢測到重要的特征。使用批量歸一化層的有利于提高CNN 重建模型的訓(xùn)練收斂速度和防止過擬合，提高重建模型的泛化能力。下采樣操作選用最大池化方法，用以提取最明顯的特征，以減小重建模型的計算量并有效地保留了結(jié)構(gòu)信息，緩解過擬合的問題?；貧w層將全連接層的輸出進(jìn)行非線性映射為重建圖像的灰度值。

由于Spike發(fā)放率數(shù)據(jù)表現(xiàn)為響應(yīng)矩陣R的形式，所以使用一維卷積層和一維下采樣層對高維的Spike 發(fā)放率數(shù)據(jù)進(jìn)行卷積和池化操作。利用前4 次循環(huán)刺激獲取的Spike 發(fā)放率數(shù)據(jù)作為訓(xùn)練集，第5 次循環(huán)刺激獲取的Spike 發(fā)放率數(shù)據(jù)作為測試集。由于實驗中得到的Spike 發(fā)放率數(shù)據(jù)表示為c×m×n的形式，其中c為通道個數(shù)，m為時間窗口個數(shù)，n為圖像刺激的總幀數(shù)，卷積神經(jīng)網(wǎng)絡(luò)重建模型輸入層的數(shù)據(jù)為（c×m）×1的形式，所以文中使用一維卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對刺激圖像的重建，卷積神經(jīng)網(wǎng)絡(luò)重建模型的結(jié)構(gòu)層設(shè)計如表1所示。

輸入層為多個通道的Spike 發(fā)放率數(shù)據(jù)，設(shè)定T=0.25 s，bin=2 ms，每個通道的時間窗口數(shù)量為126，本文卷積神經(jīng)網(wǎng)絡(luò)重建模型卷積核的步長均為1，池化方式選擇最大池化，其取樣核的步長均為2。以輸入單通道的Spike 發(fā)放率數(shù)據(jù)為例，輸入層的維數(shù)為126×1，經(jīng)過第一個卷積層后產(chǎn)生32 個122×1（122=126-5+1，1=1-1+1）的特征圖；經(jīng)過第一個下采樣層后產(chǎn)生32 個61×1（61=（122-2）/2+1，1=1/1）的特征圖；經(jīng)過第二個卷積層后產(chǎn)生64個57×1的特征圖；經(jīng)過第二個下采樣層后產(chǎn)生64 個29×1 的特征圖；經(jīng)過第三個卷積層后產(chǎn)生64個25×1 的特征圖，經(jīng)過第二個下采樣層后產(chǎn)生64 個13×1 的特征圖；經(jīng)過第四個卷積層后產(chǎn)生64個9×1的特征圖；最后通過全連接層和回歸層輸出重建圖像的灰度值。

表1 卷積神經(jīng)網(wǎng)絡(luò)重建模型的結(jié)構(gòu)Tab. 1 Structure of convolutional neural network reconstruction model

2.4 重建結(jié)果的評估方法

研究中需要對實際刺激序列S和重建刺激序列U進(jìn)行有效的評估，文中選用歸一化互相關(guān)系數(shù)評估圖像重建的質(zhì)量，它是對實際刺激和重建刺激的相似度度量，并以此來量化不同參數(shù)對重建結(jié)果的影響。評估所用公式為:

其 中:ρS，U為 歸 一 化 互 相 關(guān) 系 數(shù)，其 取 值 范 圍 為[ - 1，1]。ρS，U= 0 時，表示實際刺激和重建刺激完全不相關(guān)；ρS，U＞0時，表示實際刺激和重建刺激的變化趨勢相同；ρS，U＜0 表示實際刺激和重建刺激變化趨勢相反。系數(shù)的值越大則表示重建圖像的質(zhì)量越好。

3 結(jié)果與分析

本文采用16 通道微電極陣列采集4 只鴿子OT 區(qū)神經(jīng)元Spike信號數(shù)據(jù)，提取Spike信號發(fā)放率特征，使用兩種重建模型實現(xiàn)刺激圖像的重建。數(shù)據(jù)分析在Matlab2014a上完成。

3.1 參數(shù)選擇

通道數(shù)量（num）、時間窗口（bin）、數(shù)據(jù)時間長度（T）以及延遲時間（delay）等參數(shù)的選擇對重建結(jié)果有著重要的影響。本文以線性逆濾波器為例選擇不同的參數(shù)用以分析三幅圖像的重建結(jié)果。首先探究單個通道的重建結(jié)果，設(shè)定時間窗口bin=2 ms，數(shù)據(jù)時間長度T=0.25 s，延遲時間delay=10 ms。使用單個通道對刺激圖像進(jìn)行重建，單個通道的重建互相關(guān)系數(shù)如圖3（a）所示，重建互相關(guān)系數(shù)表明各個通道所包含的刺激信息量不同。將單個通道的重建互相關(guān)系數(shù)進(jìn)行降序排列，然后從重建互相關(guān)系數(shù)最優(yōu)的通道開始依次增加通道來探究不同通道數(shù)量的重建結(jié)果。隨著通道數(shù)量逐個增加，其重建互相關(guān)系數(shù)變化如圖3（b）所示，當(dāng)重建互相關(guān)系數(shù)達(dá)到最優(yōu)，通道個數(shù)繼續(xù)增加時，重建的互相關(guān)系數(shù)趨于飽和，這表明之后的通道所提供的重建信息存在冗余，此時選擇最優(yōu)通道數(shù)量，最優(yōu)通道數(shù)量分別為10、2、8。在選定最優(yōu)通道數(shù)量的基礎(chǔ)上探究不同時間窗口的重建結(jié)果，重建互相關(guān)系數(shù)的變化趨勢如圖3（c）所示，重建的互相關(guān)系數(shù)隨著時間窗口的增加呈現(xiàn)總體下降的趨勢，選擇重建互相關(guān)系數(shù)最大時的時間窗口的作為最優(yōu)參數(shù)，最優(yōu)時間窗口分別為2 ms、4 ms、3 ms。隨后在上述參數(shù)基礎(chǔ)上改變數(shù)據(jù)時間長度，如圖3（d）所示，重建的互相關(guān)系數(shù)隨著數(shù)據(jù)時間長度的增加趨于飽和，選取互相關(guān)系數(shù)最大時的數(shù)據(jù)時間長度作為重建的最優(yōu)參數(shù)，最優(yōu)數(shù)據(jù)時間長度分別為0.36 s、0.25 s、0.53 s。在確定了上述最優(yōu)參數(shù)的基礎(chǔ)上，得到重建互相關(guān)系數(shù)與延遲時間的變化趨勢如圖3（e）所示，重建的互相關(guān)系數(shù)隨著延遲時間的增加呈現(xiàn)總體下降的趨勢，同樣選取重建互相關(guān)系數(shù)最大時的延遲時間作為最優(yōu)參數(shù)，最優(yōu)延遲時間分別為0 ms、10 ms、10 ms。

圖3 重建參數(shù)的優(yōu)化Fig.3 Optimization of reconstruction parameters

由圖3（a）和（b）中不同通道數(shù)量的重建互相關(guān)系數(shù)表明神經(jīng)元在編碼圖像刺激信息時是神經(jīng)元集群協(xié)同作用的結(jié)果；另外圖3（c）中的時間窗口在小于4 ms 重建互相關(guān)系數(shù)較高，隨著時間窗口的增加，重建互相關(guān)系數(shù)下降。圖3（d）中的數(shù)據(jù)時間長度在大于0.25 s 時重建互相關(guān)系數(shù)趨于飽和，這可能表明鴿OT 區(qū)神經(jīng)元對圖像信息的整合時間大于0.25 s。圖3（e）中的延遲時間在10 ms 內(nèi)重建互相關(guān)系數(shù)較高，這表明在刺激開始后的10 ms 內(nèi)，神經(jīng)元響應(yīng)中就已經(jīng)包含圖像的有效刺激信息。

3.2 重建結(jié)果

本文選用線性逆濾波器和卷積神經(jīng)網(wǎng)絡(luò)重建模型實現(xiàn)圖像刺激的重建，重建結(jié)果如圖4 所示，實際刺激如圖4（a）所示，利用線性逆濾波器重建模型得到的重建圖像如圖4（b）所示，利用卷積神經(jīng)網(wǎng)絡(luò)重建模型得到的重建圖像如圖4（c）所示。實際刺激圖像與重建圖像使用不同方法重建的互相關(guān)系數(shù)如圖5 所示，使用線性逆濾波器重建模型得到的重建圖像與實際刺激圖像的互相關(guān)系數(shù)為0.910 7±0.021 9，使用卷積神經(jīng)網(wǎng)絡(luò)重建模型得到的重建圖像與實際刺激圖像的互相關(guān)系數(shù)為0.927 1±0.017 6。重建結(jié)果表明在相同的優(yōu)化參數(shù)下，利用Spike 信號的發(fā)放率特征可以實現(xiàn)刺激圖像的重建，同時也表明了Spike 發(fā)放率特征包含了圖像刺激的有效信息。

圖4 實際刺激圖像與重建刺激圖像Fig 4 Real stimulus images and reconstructed stimulus images

圖5 兩種模型重建結(jié)果的互相關(guān)系數(shù)Fig. 5 Cross-correlation coefficients of reconstructed results of two models

4 結(jié)語

關(guān)于腦視覺信息解碼機(jī)制的研究，大多數(shù)方法只關(guān)注腦活動模式分類或視覺刺激識別［20］，對于重建較為復(fù)雜的自然圖像刺激是本文的研究重點。本文以Spike 發(fā)放率為重建模型輸入特征，在相同參數(shù)的情況下使用線性逆濾波器和卷積神經(jīng)網(wǎng)絡(luò)重建模型對刺激圖像進(jìn)行重建，實驗結(jié)果表明本文中的線性逆濾波器和非線性的卷積神經(jīng)網(wǎng)絡(luò)重建模型均能利用Spike 發(fā)放率特征實現(xiàn)刺激圖像的重建。與卷積神經(jīng)網(wǎng)絡(luò)重建模型相比較，線性逆濾波器具有訓(xùn)練速度快的特點，但抗干擾能力較差。卷積神經(jīng)網(wǎng)絡(luò)具有抗干擾能力強(qiáng)的特點，但在處理大量高維數(shù)據(jù)時，時間復(fù)雜度上升導(dǎo)致訓(xùn)練周期變長。本文利用Spike發(fā)放率特征重建視覺輸入信息，對于結(jié)合低頻的局部場電位信號（Local Field Potential，LFP）［21］和利用神經(jīng)元時間編碼的信息進(jìn)行視覺輸入的重建將是接下來的研究方向。