基于脈沖神經(jīng)網(wǎng)絡(luò)與移動(dòng)GPU計(jì)算的圖像分類(lèi)算法研究與實(shí)現(xiàn)*

徐頻捷，王誨喆，李 策，唐 丹，趙 地

(1.中國(guó)科學(xué)院計(jì)算技術(shù)研究所,北京 100190;2.中國(guó)科學(xué)院大學(xué),北京 100049; 3.中國(guó)礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院,北京 100083)

1 引言

神經(jīng)科學(xué)希望能從生理學(xué)角度解釋生物的神智活動(dòng)，但是神經(jīng)系統(tǒng)的生理學(xué)機(jī)制過(guò)于復(fù)雜，僅人腦就有超過(guò)一千億的神經(jīng)元，每個(gè)神經(jīng)元又和上萬(wàn)個(gè)神經(jīng)元構(gòu)建聯(lián)系，哪怕科技發(fā)展到今天該領(lǐng)域也沒(méi)有取得突破性的進(jìn)展。隨著計(jì)算機(jī)科學(xué)的發(fā)展，人類(lèi)所掌控的算力越來(lái)越強(qiáng)，在摩爾定律的加持下，利用計(jì)算機(jī)模擬人腦成為了可能，類(lèi)腦計(jì)算應(yīng)運(yùn)而生。而以圖像分類(lèi)為代表的機(jī)器視覺(jué)作為類(lèi)腦計(jì)算的重要任務(wù)之一，逐漸引起計(jì)算機(jī)科學(xué)家的重視。

Maass博士[1]稱(chēng)脈沖神經(jīng)網(wǎng)絡(luò)為第3代神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)不同，脈沖神經(jīng)網(wǎng)絡(luò)由精確的脈沖點(diǎn)火序列驅(qū)動(dòng)，使用更具有生物可解釋性的神經(jīng)元模型和突觸可塑性算法。漏極點(diǎn)火模型LIF(Leaky Integrate and Fire model)是由Lapicque[2]提出的，這種神經(jīng)元模型最簡(jiǎn)單，但不夠精確。隨著生物學(xué)的發(fā)展，Hodgkin等[3]提出了霍奇金赫胥黎HH(Hodgkin Huxley)模型，HH模型高度仿生，精確地仿真了人腦神經(jīng)元活動(dòng)時(shí)的理化特性，但在模型仿真時(shí)需要求解大量的微分方程，需要付出較大的計(jì)算代價(jià)。為了找到一種既有更高的生物可解釋性，又只需要較低算力代價(jià)的模型，Izhikevich[4]提出了Izhikevich模型，該模型介于LIF模型和HH模型之間，在算力代價(jià)大大降低的前提下，保證了較高的生物可信度。

脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法分為基于梯度下降、基于Widrow-Hoff規(guī)則、基于感知機(jī)規(guī)則3大類(lèi)。其中基于梯度下降的方法以Bohte等[5]的基于梯度下降的脈沖反向傳播SpikeProp(Spike Back Propagation)算法為代表；Mckennoch等[6]提出了帶動(dòng)量的反向傳播算法作為改進(jìn)；為了加快訓(xùn)練速度，Silva等[7]提出了快速梯度下降算法。在基于Widrow-Hoff規(guī)則的學(xué)習(xí)方法中，脈沖時(shí)序依賴(lài)可塑性STDP(Spike Timing Dependent-Plasticity)[8]算法最為常用；Ponulak等[9]的遠(yuǎn)程監(jiān)督學(xué)習(xí)ReSuMe(Remote Supervised Method)方法通過(guò)計(jì)算期望輸出和實(shí)際輸出的差值體現(xiàn)神經(jīng)元的突觸可塑性；Chronotron[10]中的I-learning機(jī)制，通過(guò)神經(jīng)元之間的帶權(quán)值電流調(diào)整突觸權(quán)值。而基于感知機(jī)規(guī)則的學(xué)習(xí)方法較為少見(jiàn)，以Xu等[11]提出的基于感知機(jī)規(guī)則的脈沖序列學(xué)習(xí)方法PBSNLR(Perceptron Based Spiking Neuron Learning Rule)為主。

雖然在傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)上有關(guān)于低功耗算法的嘗試[12]，但是過(guò)擬合、缺少生物可解釋性等問(wèn)題仍然存在。為了克服人工神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)，大量基于脈沖神經(jīng)的視覺(jué)模擬算法被提出。Beyeler等[13]通過(guò)脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了生物視網(wǎng)膜的視覺(jué)選擇機(jī)制，并實(shí)現(xiàn)了視頻數(shù)據(jù)的特征提?。慌随肹14]提出了單層脈沖神經(jīng)網(wǎng)絡(luò)圖像分類(lèi)算法，并提出了一種改進(jìn)的突觸時(shí)序依賴(lài)可塑性算法；Diehl等[15]提出了一種基于液態(tài)機(jī)的圖像分類(lèi)算法，該算法模擬了人腦視覺(jué)神經(jīng)元的連接方式，并通過(guò)自適應(yīng)的脈沖點(diǎn)火閾值方法提高網(wǎng)絡(luò)性能。

2 脈沖卷積神經(jīng)網(wǎng)絡(luò)

2.1 脈沖神經(jīng)網(wǎng)絡(luò)的生物學(xué)原理

2個(gè)神經(jīng)元之間通過(guò)一種叫突觸的結(jié)構(gòu)連接。突觸間隙既保證了細(xì)胞之間不會(huì)走得太近，又保證了細(xì)胞之間的正常通信。當(dāng)來(lái)自突觸前神經(jīng)元的動(dòng)作電位達(dá)到軸突末端的時(shí)候，動(dòng)作電位并不會(huì)直接引起突觸后膜電勢(shì)的變化，而是通過(guò)傳遞一種叫做神經(jīng)遞質(zhì)的化學(xué)物質(zhì)改變突觸內(nèi)外膜電勢(shì)，形成電勢(shì)差。隨著動(dòng)作電位的到達(dá)，突觸小泡釋放神經(jīng)遞質(zhì)，神經(jīng)遞質(zhì)穿過(guò)突觸間隙到達(dá)突觸后膜，并被突觸后膜上的受體接收。隨著受體和神經(jīng)遞質(zhì)結(jié)合，引起通道蛋白打開(kāi)，神經(jīng)元和外界發(fā)生鈉離子和鉀離子交換，并引起突觸后膜的電勢(shì)發(fā)生變化。當(dāng)突觸后膜電勢(shì)累加達(dá)到某1個(gè)閾值時(shí)，神經(jīng)元激活并發(fā)出1個(gè)脈沖，隨后突觸后神經(jīng)元會(huì)進(jìn)入一段時(shí)間的不應(yīng)期。脈沖會(huì)引起1個(gè)新的動(dòng)作電位的產(chǎn)生，并通過(guò)軸突傳導(dǎo)，引起下1次突觸小泡的釋放。

2.2 脈沖神經(jīng)元模型

綜合考慮算力和生物可解釋性的需求，為了將脈沖神經(jīng)網(wǎng)絡(luò)部署在Jetson TK1開(kāi)發(fā)板上，本文選用LIF神經(jīng)元模型。

LIF神經(jīng)元可以由如圖1所示的電路圖模擬。當(dāng)電流流入細(xì)胞體(RC電路)時(shí)，突觸后膜電勢(shì)為ε(t),電流部分被電阻R消耗，部分給電容器C充電，如式(1)所示。

(1)

Figure 1 LIF neural model圖1 LIF神經(jīng)元模型

令時(shí)間常數(shù)τm=RC，就可以將式(1)變形為更常見(jiàn)的形式：

(2)

(3)

2.3 突觸可塑性算法

為了實(shí)現(xiàn)低功耗網(wǎng)絡(luò)，回避有監(jiān)督學(xué)習(xí)必須的大量數(shù)據(jù)標(biāo)注和復(fù)雜的學(xué)習(xí)方法，本文選用基于無(wú)監(jiān)督的STDP算法。STDP是Hebbian學(xué)習(xí)[16]的一種重要形式，在該算法中突觸前神經(jīng)元和突觸后神經(jīng)元脈沖時(shí)間的精確計(jì)時(shí)將影響突觸權(quán)重的變化[6]。SDTP遵循以下規(guī)則：如果突觸前神經(jīng)元的脈沖比突觸后神經(jīng)元的脈沖先到達(dá)，那么將產(chǎn)生長(zhǎng)時(shí)間的興奮刺激LTP(Long-Term Potentiation)，同時(shí)2個(gè)神經(jīng)元之間的突觸權(quán)值將增大；如果突觸前神經(jīng)元的脈沖比突觸后神經(jīng)元的脈沖后到達(dá)，那么將產(chǎn)生長(zhǎng)時(shí)間的抑制LTD(Long-Term Depression)，同時(shí)2個(gè)神經(jīng)元之間的突觸權(quán)值將減小。突觸權(quán)值的更新策略由式(4)描述：

(4)

其中,tpost為突觸后神經(jīng)元的脈沖產(chǎn)生時(shí)間，tpre為突觸前神經(jīng)元的脈沖產(chǎn)生時(shí)間；A+是可塑性增強(qiáng)學(xué)習(xí)率，A-是可塑性減弱學(xué)習(xí)率；τ+和τ-是時(shí)間衰減指數(shù)。

3 CUDA改進(jìn)的脈沖神經(jīng)網(wǎng)絡(luò)

3.1 脈沖卷積

脈沖卷積操作對(duì)象是表示點(diǎn)火時(shí)間序列的脈沖信號(hào)。1個(gè)典型的脈沖卷積運(yùn)算可以由式(5)描述：

(5)

(6)

3.2 脈沖池化

對(duì)于脈沖池化，可以由式(7)描述：

(7)

其中各個(gè)參數(shù)的含義與脈沖卷積中的一樣，值得注意的是，wij是突觸前神經(jīng)元j和突觸后神經(jīng)元i之間的突觸權(quán)重，這里的權(quán)重來(lái)自于池化模板，且權(quán)值根據(jù)模板的類(lèi)型(最大、平均、隨機(jī))是固定的，不需要通過(guò)學(xué)習(xí)算法更新。

3.3 脈沖卷積神經(jīng)網(wǎng)絡(luò)

Figure 2 Structure of spiking convolutional neural network圖2 脈沖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

在生物學(xué)研究中發(fā)現(xiàn)，人的視覺(jué)系統(tǒng)通過(guò)簡(jiǎn)單視覺(jué)細(xì)胞(S cell)和復(fù)雜視覺(jué)細(xì)胞(C cell)來(lái)提取視覺(jué)特征。簡(jiǎn)單視覺(jué)細(xì)胞主要用于提取特征信息，能夠最大限度地響應(yīng)來(lái)自感受野的視覺(jué)邊緣信息；而復(fù)雜細(xì)胞有更大的接受域，使網(wǎng)絡(luò)獲得了抗變形的能力，使得視覺(jué)系統(tǒng)對(duì)于某些確定位置的刺激具有局部不變性。通過(guò)復(fù)雜視覺(jué)細(xì)胞和簡(jiǎn)單視覺(jué)細(xì)胞的層疊組合，既能夠控制網(wǎng)絡(luò)連接的規(guī)模，又能約束特征子模式的響應(yīng)級(jí)別。為了構(gòu)建1個(gè)有效的視覺(jué)分類(lèi)系統(tǒng)，本文用脈沖池化層模擬人視覺(jué)系統(tǒng)的復(fù)雜視覺(jué)細(xì)胞，用脈沖卷積層模擬簡(jiǎn)單視覺(jué)細(xì)胞，通過(guò)堆疊類(lèi)似于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的池化卷積模塊，構(gòu)建深度脈沖卷積神經(jīng)網(wǎng)絡(luò)模型。如圖2所示是1個(gè)典型的脈沖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，圖2中模塊從左往右依次為脈沖高斯差分神經(jīng)元組(DOG)、脈沖卷積神經(jīng)元組1(Conv1)、脈沖池化神經(jīng)元組1(Pool1)、脈沖卷積神經(jīng)元組2(Conv2)、全局最大池化(GP)，最后通過(guò)支持向量機(jī)(SVM)完成分類(lèi)。

Figure 3 Flow chart of CUDA improved spiking convolution algorithm圖3 CUDA改進(jìn)的脈沖卷積算法流程圖

3.4 CUDA改進(jìn)的脈沖卷積

為了充分利用Jetson TK1開(kāi)發(fā)板支持CUDA編程的優(yōu)勢(shì)，本文提出并實(shí)現(xiàn)了CUDA改進(jìn)的脈沖卷積神經(jīng)網(wǎng)絡(luò)，算法流程圖如圖3所示，該實(shí)現(xiàn)分為CPU和GPU 2個(gè)部分。

CPU代碼部分主要完成時(shí)間步的遍歷。輸入神經(jīng)元組的維度是H×W×C×T，分別表示輸入神經(jīng)元組的長(zhǎng)、寬、通道數(shù)和時(shí)間步。在CPU代碼部分，如圖3的C1(簡(jiǎn)稱(chēng)C1，下同)所示，代碼將讀取來(lái)自神經(jīng)網(wǎng)絡(luò)上1層的輸出。在C2中，實(shí)現(xiàn)對(duì)時(shí)間步的循環(huán)遍歷，當(dāng)輸出達(dá)到時(shí)間步尾時(shí)脈沖卷積結(jié)束(C3)，否則對(duì)該時(shí)間步的特征進(jìn)行卷積。在C4完成線(xiàn)程和線(xiàn)程塊的分配。在C5處交互CPU與GPU之間的數(shù)據(jù)，CPU內(nèi)存和GPU顯存的存儲(chǔ)形式差別很大，需要額外定義GPU上的顯存變量，再將CPU上的內(nèi)存變量轉(zhuǎn)化成GPU顯存變量。

GPU代碼部分主要完成突觸后膜電勢(shì)加權(quán)求和以及脈沖序列的生成，該部分由多個(gè)GPU線(xiàn)程并行完成，因此只需要關(guān)注單個(gè)線(xiàn)程中的操作。在G1中定位當(dāng)前線(xiàn)程的位置，即定位當(dāng)前線(xiàn)程對(duì)應(yīng)的突觸后神經(jīng)元。在G2完成C4處分配的冗余線(xiàn)程的越界檢查，越界線(xiàn)程沒(méi)有對(duì)應(yīng)的突觸后神經(jīng)元，因此不應(yīng)參加卷積計(jì)算。在G3處，每個(gè)突觸后神經(jīng)元唯一對(duì)應(yīng)1個(gè)感受野，感受野的大小和卷積核尺寸相同，對(duì)感受野上的脈沖做加權(quán)求和形成突觸后膜電勢(shì)增量，并累加到突觸后膜電勢(shì)上。在G4中，由于突觸后膜電勢(shì)在時(shí)間步上的累加效應(yīng)，當(dāng)突出后膜電勢(shì)累加并超過(guò)閾值時(shí)就會(huì)在當(dāng)前時(shí)間步產(chǎn)生1個(gè)脈沖，同時(shí)突觸后膜電勢(shì)回到靜息電位(G5)，如果未達(dá)到閾值，則電勢(shì)會(huì)被保留到下1個(gè)時(shí)間步。當(dāng)GPU上的卷積操作結(jié)束時(shí)，將更新后的脈沖序列和突觸后膜電勢(shì)送回CPU內(nèi)存。

4 實(shí)驗(yàn)結(jié)果及分析

本文選用Jetson TK1作為開(kāi)發(fā)環(huán)境，這是一款被廣泛使用的高性能嵌入式開(kāi)發(fā)板，基于NVIDIA的Tegra?K1 SoC架構(gòu)。雖然是1個(gè)小型嵌入式設(shè)備，但擁有基于ARM架構(gòu)的Cortex-A15 CPU，4核主頻2.3 GHz；以及NVIDIA的Kepler GK20a架構(gòu)GPU，擁有192個(gè)CUDA核心，每秒浮點(diǎn)運(yùn)算次數(shù)高達(dá)326 GFLOPS。由于Jetson TK1低功耗、高性能的特點(diǎn)，現(xiàn)在正被廣泛應(yīng)用于智能家居[18]、監(jiān)控安防[19]、車(chē)載設(shè)備[20]等眾多領(lǐng)域。

輸入網(wǎng)絡(luò)的手寫(xiě)數(shù)字圖像維度是28×28×1，網(wǎng)絡(luò)整體分為基本神經(jīng)元組和特殊神經(jīng)元組，其中基本神經(jīng)元組為前4組，特殊神經(jīng)元組為后2組，各神經(jīng)元組具體參數(shù)如表1所示。在整個(gè)網(wǎng)絡(luò)中，只有2個(gè)脈沖卷積神經(jīng)元組是需要通過(guò)學(xué)習(xí)更新權(quán)重的。特征的提取和分類(lèi)是完全分開(kāi)的，使用脈沖時(shí)序依賴(lài)可塑性算法更新參數(shù)，本文對(duì)第1個(gè)卷積層和第2個(gè)卷積層各做50 000次權(quán)重更新。

Table 1 Parameters of each neuron group表1 各神經(jīng)元組參數(shù)

脈沖神經(jīng)網(wǎng)絡(luò)通過(guò)精確的脈沖點(diǎn)火序列驅(qū)動(dòng)，可以可視化各層輸出的脈沖序列。以輸入手寫(xiě)數(shù)字“6”為例，可以得到如圖4所示的脈沖點(diǎn)火序列，這些圖將三維神經(jīng)元組的長(zhǎng)、寬、通道3個(gè)維度合并平攤成1個(gè)維度作為y軸，將脈沖點(diǎn)火時(shí)間作為x軸。

Figure 4 Spatiotemporal relationship of spiking sequences produced by neural group圖4 各神經(jīng)元組產(chǎn)生脈沖的時(shí)空關(guān)系圖

首先，本文將分析CUDA改進(jìn)的脈沖卷積神經(jīng)網(wǎng)絡(luò)在Jetson TK1開(kāi)發(fā)板上的表現(xiàn)，將分類(lèi)準(zhǔn)確率、網(wǎng)絡(luò)單次運(yùn)行耗時(shí)和圖像分類(lèi)幀率作為評(píng)價(jià)指標(biāo)。網(wǎng)絡(luò)單次運(yùn)行耗時(shí)把網(wǎng)絡(luò)的運(yùn)行分為配置狀態(tài)、初始化狀態(tài)以及運(yùn)行狀態(tài)3個(gè)部分；而圖像處理幀率分析實(shí)驗(yàn)則是建立在網(wǎng)絡(luò)已經(jīng)完成初始化基礎(chǔ)上，只關(guān)注在運(yùn)行狀態(tài)1 s能夠處理多少幅圖像(FPS)。本文使用MNIST數(shù)據(jù)集，該數(shù)據(jù)集包含60 000幅大小為28×28的手寫(xiě)數(shù)字灰度圖像，取其中50 000幅作為訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)，取其中10 000幅作為測(cè)試集測(cè)試算法性能。

首先分析網(wǎng)絡(luò)單次運(yùn)行耗時(shí)，Jetson TK1開(kāi)發(fā)板在CPU狀態(tài)、GPU狀態(tài)以及PC機(jī)上CPU狀態(tài)下進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖5所示。網(wǎng)絡(luò)配置狀態(tài)(Config State)主要讀取網(wǎng)絡(luò)結(jié)構(gòu)和各種超參數(shù)，這個(gè)狀態(tài)用時(shí)是最少的，在各平臺(tái)上該步驟用時(shí)都保持在0.01 s之內(nèi)；其次是初始化狀態(tài)(Setup State)，初始化狀態(tài)主要構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，申請(qǐng)CPU內(nèi)存以及GPU顯存；最后是運(yùn)行狀態(tài)(Run State)，運(yùn)行狀態(tài)將完成脈沖神經(jīng)網(wǎng)絡(luò)的仿真?？梢钥闯?，在Jetson TK1上，GPU模式下CUDA改進(jìn)的脈沖神經(jīng)網(wǎng)絡(luò)相比于CPU模式提升較大，GPU模式下的運(yùn)行時(shí)間為3.87 s，而CPU模式下用時(shí)9.53 s。

Figure 5 Time consuming comparison of spiking neural network of different states on different plaforms圖5 脈沖神經(jīng)網(wǎng)絡(luò)在不同平臺(tái)上各階段耗時(shí)比較

接下來(lái)做幀率分析，同樣選取來(lái)自MNIST數(shù)據(jù)集中的圖像，由于幀率分析時(shí)需要1次性處理多幅圖像，這將反復(fù)執(zhí)行運(yùn)行狀態(tài)的代碼，而配置和初始化狀態(tài)只需執(zhí)行1次。為了節(jié)省開(kāi)發(fā)板資源，本文將網(wǎng)絡(luò)的訓(xùn)練階段放到PC機(jī)上執(zhí)行，然后將訓(xùn)練的權(quán)重保存在開(kāi)發(fā)板上，這樣開(kāi)發(fā)板上的脈沖卷積神經(jīng)網(wǎng)絡(luò)只需要專(zhuān)注于圖像分類(lèi)的前向傳播工作，而可以忽略費(fèi)時(shí)費(fèi)力的網(wǎng)絡(luò)訓(xùn)練工作。

從表2可以看出，將網(wǎng)絡(luò)改變成CUDA版本并部署在Jetson TK1開(kāi)發(fā)板上時(shí)檢測(cè)準(zhǔn)確率達(dá)到了98%，檢測(cè)幀率達(dá)到了0.34，相比于基于CPU的原始算法，CUDA改進(jìn)的脈沖神經(jīng)網(wǎng)絡(luò)在保證準(zhǔn)確率不變的情況下幀率增加3倍。與基于單層脈沖神經(jīng)網(wǎng)絡(luò)[14]的算法比較，本文算法由于增加了網(wǎng)絡(luò)的層數(shù)，使用了CUDA改進(jìn)，在準(zhǔn)確率和幀率上均有所提升。

5 結(jié)束語(yǔ)

本文提出了一種脈沖卷積神經(jīng)網(wǎng)絡(luò)，先使用脈沖高斯差分層提取輸入脈沖的時(shí)空特征，再通過(guò)堆疊脈沖卷積層和脈沖池化層提取脈沖序列的高層特征，使用基于無(wú)監(jiān)督學(xué)習(xí)的脈沖時(shí)序依賴(lài)可塑性算法訓(xùn)練網(wǎng)絡(luò)權(quán)重，最后由支持向量機(jī)分類(lèi)特征。實(shí)驗(yàn)表明，該方法在MNIST數(shù)據(jù)集上有較好的分類(lèi)準(zhǔn)確率。

Table 2 Performance comparison among our algorithm and other algorithms on MNIST data set in Jetson TK1 environment 表2 在Jetson TK1環(huán)境中本文算法與其他算法在MNIST數(shù)據(jù)集上的性能比較

在所提的脈沖卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，本文提出了一種CUDA改進(jìn)的脈沖卷積神經(jīng)網(wǎng)絡(luò)模型，并將該模型成功部署在了Jetson TK1開(kāi)發(fā)板上，實(shí)現(xiàn)了在移動(dòng)GPU上的基于脈沖神經(jīng)網(wǎng)絡(luò)的圖像處理以及圖像分類(lèi)算法，并與傳統(tǒng)單層脈沖神經(jīng)網(wǎng)絡(luò)的性能進(jìn)行了對(duì)比?？傮w來(lái)說(shuō)，本文提出的基于脈沖神經(jīng)網(wǎng)絡(luò)與移動(dòng)GPU計(jì)算的圖像分類(lèi)算法有較強(qiáng)的生物可解釋性、較高的魯棒性和較快的運(yùn)算速度。