面向動態(tài)事件流的神經網絡轉換方法

張宇豪，袁孟雯，陸宇婧，燕銳，唐華錦，4

（1.四川大學 計算機學院，成都 610065；2.之江實驗室 智能計算硬件研究中心，杭州 311100；3.浙江工業(yè)大學 計算機科學與技術學院，杭州 310023；4.浙江大學 計算機科學與技術學院，杭州 310027）

0 引言

近年來，事件相機作為一種生物啟發(fā)的視覺傳感器引起研究者廣泛關注，其借鑒生物視網膜結構和功能機理，采用硅視網膜技術研制，具有高時域分辨率、高動態(tài)范圍和低功耗等優(yōu)勢［1］。相較于傳統(tǒng)相機，事件相機可以實時高效地捕捉場景變化，被用于多種計算機視覺任務，文獻［2-5］中列舉了一些常見的事件相機。由于傳統(tǒng)方法較難適配事件相機輸出的離散事件流數(shù)據(jù)格式，有效識別動態(tài)事件流模式成為計算機視覺領域的重要研究方向。

深度神經網絡尤其卷積神經網絡（Convolutional Neural Network，CNN）在圖像識別等領域取得重大突破，被廣泛應用于處理計算機視覺任務［6］。CNN 通常被用于處理基于幀的靜態(tài)自然圖像，雖然可以將事件流重構為圖像幀［7］后再使用CNN 進行高效訓練和識別，但在真實場景中通常需要對目標作出實時響應，事件流的重構處理會極大增加推理延遲。另一方面，CNN 采用大規(guī)模浮點乘累加運算，網絡運行依賴大量算力，通常被部署于CPU 或GPU 等功耗較高的通用處理器，難以在現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）等專用硬件設備上高效實現(xiàn)。近年來，受大腦啟發(fā)的脈沖神經網絡（Spiking Neural Network，SNN）由于其更具生物合理性逐漸引起人們的興趣［8］。相較于CNN，SNN 采用稀疏的脈沖序列進行通信，具有功耗低、計算量少等優(yōu)勢，已經在許多神經形態(tài)硬件上高效部署［9-13］。此外，SNN 采用事件驅動的計算范式，即脈沖神經元僅在輸入脈沖到達時才更新內部狀態(tài)，無脈沖或事件輸入時神經元處于靜息狀態(tài)，更適于處理動態(tài)離散事件流數(shù)據(jù)。

在先前的研究工作中，部分研究人員基于視覺皮層［14］模型，提出使用事件驅動的Gabor 濾波器以及時間維度的最大池化方法以提取事件流特征，并訓練單層SNN 分類器識別目標［15-17］；另一部分研究人員則采用時間表面的特征提取方法提取事件流特征［18-19］。但是，這些方法需要人工提取特征后再輸入神經網絡進行識別，并非端到端的計算模式，難以在專用硬件設備上有效部署。近年來，研究者基于代替梯度和時間反傳方法直接訓練深度SNN 以識別目標［20-22］。雖然獲得了效果可接受的模型，但是在現(xiàn)有的通用處理器上直接訓練深度SNN 用時較長、消耗資源較多，難以進行大規(guī)模高效訓練。

為解決上述方法中深度SNN 在通用處理器上直接訓練低效等問題，結合CNN 訓練高效與SNN 低功耗、低延遲的優(yōu)勢，研究人員提出神經網絡轉換方法［23-24］。但是，他們識別的均為基于幀的靜態(tài)自然圖像，并未提出針對動態(tài)事件流模式的有效方案。文獻［25］提出了可應用于事件流數(shù)據(jù)的轉換方案，但與其他神經網絡轉換方法相同，轉換后的網絡中高精度權重等參數(shù)會占用大量的存儲空間，難以被高效部署于資源有限的專用硬件設備。

本文提出一種面向動態(tài)事件流的神經網絡轉換方法并構建脈沖卷積神經網絡（Spiking CNN，SCNN）。首先，將事件流數(shù)據(jù)重構以作為CNN 的輸入，并使用量化激活函數(shù)和基于反向傳播算法［26］的對稱定點量化算法訓練CNN；其次，在轉換過程中采用脈沖計數(shù)等價原理以更好地適應數(shù)據(jù)的稀疏性；最后，將訓練好的網絡參數(shù)映射到SCNN 中。實驗結果表明，所提出的SCNN 可以準確識別事件相機輸出的事件流模式，降低網絡轉換的準確率損失。此外，網絡參數(shù)均為定點數(shù)，易于在硬件上高效實現(xiàn)。

1 神經網絡轉換方法

1.1 人工神經元模型

人工神經元通過乘累加運算并使用非線性激活函數(shù)計算輸出激活。如圖1（a）所示，網絡前饋過程計算如下：

其中：al為神經網絡第l層神經元的輸出激活向量；Wl-1為第l-1 層神經元與第l層神經元的突觸連接權重矩陣；bl為第l層神經元的偏置向量。f(·)為非線性激活函數(shù)，最常使用的是線性整流函數(shù)（Rectified Linear Unit，ReLU）：

如上所述，傳統(tǒng)深度神經網絡通常用于處理靜態(tài)自然圖像，網絡輸入輸出激活均為實數(shù)值，并且運行依賴大量算力，難以被高效部署于資源有限的專用硬件設備。

1.2 脈沖神經元模型

脈沖神經元具有豐富的動力學特性，通常使用微分方程對神經元動力學進行建模，常見的脈沖神經元模型有霍奇金-赫胥黎（Hodgkin-Huxley，HH）模型［27］、Izhikevich 模型［28］以及泄露聚集-發(fā)放（Leaky Integrate-and-Fire，LIF）模型［29］等。如圖1（b）所示，相較于人工神經元，脈沖神經元的計算范式更適于處理動態(tài)離散事件流數(shù)據(jù)。為了計算高效且滿足神經網絡轉換原理，脈沖神經元采用聚集-發(fā)放即IF 神經元模型：

其中：v為脈沖神經元膜電位；wi為第i個突觸前脈沖神經元與該神經元的連接權重；n為突觸前神經元數(shù)量；si(t)為t時刻突觸前神經元的輸入脈沖，取值為0 或1。

當突觸后神經元膜電位累積達到閾值?時，神經元發(fā)放脈沖且膜電位復位，如圖2 所示。在實際操作中，通常將微分方程轉化為離散迭代形式以進行網絡前饋計算：

其中：dt為SNN 運行的時間步或時間分辨率（默認為1 ms）。

1.3 神經網絡轉換原理

神經網絡轉換方法的主要思想是脈沖神經元的脈沖發(fā)放頻率與人工神經元的激活值等價，通常使用頻率編碼方式將輸入激活編碼為脈沖序列，即脈沖序列的頻率值作為網絡有效信息。單個脈沖神經元的脈沖發(fā)放頻率可定義為：

其中：r為脈沖神經元的頻率值；c為脈沖隨時間的累積值即脈沖計數(shù)；T為脈沖發(fā)放時間窗；rmax為最大發(fā)放頻率。

結合式（4）及神經元脈沖發(fā)放機制可得IF 神經元的輸入脈沖計數(shù)與輸出脈沖計數(shù)的關系為：

由式（1）和式（7）可知，當脈沖發(fā)放時間窗較大時，通過設置人工神經元偏置項為0 及脈沖神經元發(fā)放閾值為1，可以實現(xiàn)人工神經元激活值與脈沖神經元發(fā)放頻率值近似等價（本文后續(xù)公式及方法均采用上述參數(shù)設置）。

2 面向事件流的網絡轉換方法

傳統(tǒng)神經網絡轉換方法使用靜態(tài)自然圖像作為輸入，因此需要對像素值采用頻率編碼的方式轉化為脈沖序列，但這種重編碼方案并不適用于具有時空特性的動態(tài)離散事件流數(shù)據(jù)。此外，由人工神經網絡與脈沖神經網絡的計算差異性可知，網絡轉換會存在準確率損失，并且網絡通常采用大規(guī)模浮點參數(shù)，占用大量的存儲空間和資源，難以在資源有限的神經形態(tài)硬件等專用硬件設備上高效部署。

為解決上述問題，本文提出一種面向動態(tài)事件流的神經網絡轉換方法并構建SCNN，轉換流程如圖3 所示。向量a、c和s的含義如前所述，其中CNN 傳輸?shù)氖羌せ钕蛄縜，SCNN傳輸?shù)氖敲}沖向量s。

2.1 事件流重構

事件流數(shù)據(jù)的每個事件可以采用地址事件表示（Address-Event Representation，AER）格式表征［30］。AER 具體形式為（x，y，t，p）的四元組，其中x、y表示事件的像素位置坐標；t為事件產生的時間戳；p為事件所屬極性，根據(jù)場景亮度變化分為由亮到暗（-1）和由暗到亮（+1）兩種極性，如圖4（a）所示。為匹配CNN 的輸入數(shù)據(jù)格式，本文使用計算簡便且高效的重構方案將動態(tài)事件流數(shù)據(jù)重構為靜態(tài)圖像幀數(shù)據(jù)。

首先，將事件的四維數(shù)據(jù)（x，y，t，p）轉化為傳統(tǒng)圖像的三維張量，事件的像素位置對應傳統(tǒng)圖像的空間位置，事件所屬極性對應傳統(tǒng)圖像的顏色通道。其次，根據(jù)事件流的稀疏程度確定轉換后SCNN 的時間分辨率，根據(jù)時間分辨率可以將數(shù)據(jù)切分為多個三維張量圖像，如圖4（b）所示。最后，將對應像素位置的脈沖事件數(shù)據(jù)隨時間累積為靜態(tài)圖像幀數(shù)據(jù)，如圖4（c）所示。

2.2 量化激活函數(shù)

如1.3 節(jié)所述，通過設置神經元的參數(shù)可以實現(xiàn)兩類神經元輸出近似等價。但是，無論采用哪種等價原理（計數(shù)等價al?cl或頻率等價al?rl），均會產生與成正比的損失。雖然當時間窗很大時采用頻率等價造成的損失幾乎為零，但計算量和運行時延會大幅增加。此外，隨著網絡層數(shù)的增多，兩種等價原理的轉換損失均呈指數(shù)型增長以致不可忽略。實驗結果（見3.2.1 節(jié)）表明，對于稀疏的事件流數(shù)據(jù)，計數(shù)輸入比頻率輸入的網絡識別準確率更高，因此本文采用計數(shù)等價原理。

為了降低網絡轉換損失，本文采用Sorbaro等［25］提出的方案，該方案可以減小連續(xù)激活值被轉換為有限數(shù)量脈沖時導致的激活誤差。引入量化激活函數(shù)QReLU 代替?zhèn)鹘y(tǒng)ReLU 激活函數(shù)：

將式（8）代入式（1）可得網絡前饋計算為（假設輸出為正值且偏置項為0）：

其中：為激活向量取整后的小數(shù)向量。研究表明，由于QReLU 函數(shù)輸出值均為整數(shù)，采用頻率等價會導致網絡訓練失效，再次驗證計數(shù)等價原理的有效性。結合式（6）可得網絡轉換損失為（假設輸入完全等價無損且采用1.3 節(jié)參數(shù)設置）：

與均為小數(shù)部分，因此存在即εl≈0，表明人工神經元的激活值幾乎可與脈沖神經元的脈沖計數(shù)完全等價。相較于傳統(tǒng)網絡轉換方法，使用該激活函數(shù)可進一步降低網絡轉換損失且網絡加深后轉換損失可忽略不計。此外，Sorbaro等［25］表明使用該激活函數(shù)的網絡可以在訓練期間意識到離散化誤差并自動調整參數(shù)以解釋該誤差，因此原始網絡由于取整函數(shù)導致的準確率損失可忽略不計。

2.3 參數(shù)量化

網絡參數(shù)必須為定點數(shù)才能在專用硬件設備上高效部署，為此研究人員提出二值權重量化算法Binary-Connect［31］。研究表明噪聲權重即離散化權重提供了一種正則化形式，并且與深度學習的優(yōu)化算法兼容，因此可以在確保識別準確率的同時使用二值化權重降低參數(shù)存儲量，減少硬件資源。谷歌團隊進一步提出非對稱量化感知訓練方法，以解決小模型訓練后直接量化方法的準確率損失較大的問題［32］。在此基礎上，本文改進了一種參數(shù)對稱定點量化方法。

借鑒Binary-Connect 的權重二值化操作（即利用權重符號所構成的二值化權重進行網絡前饋和反傳計算），本文采用對稱定點化權重進行有效訓練：

其中：W為原始高精度浮點權重矩陣；Wq為量化后的定點權重矩陣；round(·)為四舍五入取整函數(shù)；α為量化尺度。若采用8 bit 定點量化，則α取127。注意，訓練后的權重精度變?yōu)?，網絡推理時可直接使用定點數(shù)（即乘以α）替換。網絡訓練過程中其他操作與Binary-Connect 相同，偽代碼如算法1所示。

算法1 對稱定點量化算法。

輸入 輸入激活向量a0，各層初始浮點權重矩陣W，網絡層數(shù)L，訓練學習率η。

輸出 訓練完成的量化權重矩陣Wq。

3 實驗與結果分析

3.1 實驗設計

3.1.1 數(shù)據(jù)集

本文在3 個公開的事件相機數(shù)據(jù)集上對所提算法進行實驗驗證，分別為基于異步時間圖像傳感器（Asynchronous Time-based Image Sensor，ATIS）［3］采集的N-MNIST 數(shù)據(jù)集［33］和動態(tài)視覺傳感器（Dynamic Vision Sensor，DVS）［2］采集的POKER-DVS 數(shù)據(jù)集［34］及MNIST-DVS 數(shù)據(jù)集［34］。

3.1.2 網絡架構

不同數(shù)據(jù)集使用的網絡架構如圖5 所示。圖5 中32C3表示含有32 個3×3 卷積核的卷積層；128F 表示含有128 個輸出神經元的全連接層，其余同理。由于N-MNIST 數(shù)據(jù)集和POKER-DVS 數(shù)據(jù)集尺寸較小，網絡可采用較為簡單的架構。對于MNIST-DVS 數(shù)據(jù)集，其數(shù)據(jù)尺寸為128×128，使用的網絡架構相對復雜；同時，該數(shù)據(jù)集通過預處理已消除極性，輸入通道數(shù)為1。

3.1.3 實驗平臺

實驗采用的計算機CPU 為Intel Core i9-10900X，頻率為3.70 GHz；GPU 為NVIDIA GV102，顯存為11 GB。軟件仿真環(huán)境采用Ubuntu 18.04.5 的操作系統(tǒng)，編程語言為Python 3.8.8，深度學習開發(fā)框架為PyTorch 1.8.0，GPU 加速工具為CUDA 10.1。

3.1.4 參數(shù)設置

本文使用多分類任務常用的交叉熵損失以及Adam 優(yōu)化算法訓練CNN，學習率初始化為0.001 且隨迭代次數(shù)衰減。實驗設定SCNN 最后一層脈沖神經元無閾值限制，即依據(jù)輸出脈沖神經元的膜電位判斷樣本數(shù)據(jù)所屬類別（即膜電位最高的神經元所屬類別）。

如2.1 節(jié)所述，依據(jù)事件流的稀疏程度確定時間分辨率。POKER-DVS 數(shù)據(jù)集的數(shù)據(jù)較為密集，因此設定該數(shù)據(jù)集的時間分辨率為0.1 ms，其余數(shù)據(jù)集為1 ms。

3.1.5 評估指標

實驗采用的主要評估指標是平均準確率Acc（accuracy），即分類正確的樣本數(shù)占樣本總數(shù)的比例，具體計算公式如下：

其中：Ncorrect為分類正確的樣本數(shù)量，Ntotal為樣本總數(shù)。此外，實驗還采用余弦相似度評估特征圖展平后的特征向量之間的差異性，具體計算公式為：

其中：x和y為兩個特征向量，x·y為向量內積運算，‖ ‖· 為向量的模長。由于特征值均為正值，因此余弦相似度的取值范圍是［0，1］。余弦相似度值為1 表明兩個向量方向完全相同，0 表明兩個向量完全獨立，值越大表明向量之間的相似性越高，差異越小。

3.2 實驗結果

3.2.1 時間窗與等價原理選取

首先采用不同時間窗及數(shù)據(jù)輸入格式（即不同等價原理）訓練CNN，識別結果見圖6。由于事件流數(shù)據(jù)的稀疏性，與脈沖計數(shù)輸入相比，頻率輸入的激活值較小，CNN 識別準確率較低，表明計數(shù)等價原理更適用于稀疏事件流數(shù)據(jù)。

另一方面，不同時間窗的實驗結果顯示，時間窗取值較小時，網絡識別準確率較低；隨著時間窗的增大，識別準確率逐漸提高，這表明網絡需要積累一定事件信息才能區(qū)分不同模式。值得注意的是，N-MNIST 數(shù)據(jù)集上網絡識別準確率隨著時間窗的增大先提高后降低，可能是由于噪聲事件的過量積累導致不同類別樣本之間的差異減小，識別準確率有所下降。綜上所述，為了計算高效且確保網絡的識別準確率，不同數(shù)據(jù)集選用不同的時間窗以進行后續(xù)實驗（N-MNIST 數(shù)據(jù)集的時間窗為50，POKER-DVS 數(shù)據(jù)集和MNIST-DVS 數(shù)據(jù)集為90）。

3.2.2 激活函數(shù)評估

為了驗證QReLU 激活函數(shù)對識別準確率的影響，本文分別使用帶有不同激活函數(shù)的網絡進行實驗，實驗結果如表1 所示，每類實驗分別運行10 次后取平均值。實驗結果顯示，雖然采用ReLU 函數(shù)的網絡可以訓練出準確率較高的CNN，但轉換后的SCNN 準確率較低，轉換損失較大。然而，采用QReLU 函數(shù)的網絡在CNN 識別準確率相當?shù)那闆r下，可以得到識別效果較好的SCNN，準確率分別提高了0.29、8.52 和3.95 個百分點，轉換損失分別降低了21.77%、100.00%和92.48%。此外，由于N-MNIST 數(shù)據(jù)集的樣本錄制過程較為穩(wěn)定，轉換損失降低效果并不明顯，而POKERDVS 與MNIST-DVS 數(shù)據(jù)集的轉換損失降低效果較為明顯（由于POKER-DVS 數(shù)據(jù)集的樣本數(shù)量較少，識別結果較不穩(wěn)定，相較于CNN 的識別準確率，SCNN 的識別準確率反而提高）。

表1 采用不同激活函數(shù)的網絡識別準確率 單位：%Tab.1 Network recognition accuracies with different activation functions unit：%

實驗還對比了采用不同激活函數(shù)的網絡提取的卷積特征圖之間的差異，選用原始卷積特征圖（最后一層卷積輸出）與相應脈沖卷積特征圖的平均余弦相似度作為評估指標，如表2 所示。實驗結果表明，對于POKER-DVS 與MNIST-DVS數(shù)據(jù)集，網絡采用QReLU 函數(shù)時特征圖之間的平均余弦相似度較大，說明該函數(shù)可以縮小脈沖卷積特征圖與原始卷積特征圖之間的差異。對于N-MNIST 數(shù)據(jù)集，采用QReLU 函數(shù)網絡的特征圖余弦相似度比采用ReLU 函數(shù)的網絡低，可能是由于該數(shù)據(jù)集錄制結果較為穩(wěn)定，特征圖之間的差異較小。

表2 采用不同激活函數(shù)的網絡特征圖的平均余弦相似度Tab.2 Average cosine similarities of network feature maps with different activation functions

3.2.3 參數(shù)量化評估

本文比較了傳統(tǒng)高精度SCNN 與所提出的量化SCNN 的參數(shù)存儲量，如表3 所示。所有脈沖神經元的發(fā)放閾值為統(tǒng)一值，增加的存儲量可以忽略不計。因此，定點量化（8 bit）網絡相較于傳統(tǒng)高精度（32 bit）網絡可以有效節(jié)省約75%的存儲空間，更適用于資源受限的專用硬件設備。

表3 高精度SCNN與量化SCNN的參數(shù)存儲量對比Tab.3 Parameter storage comparison of high-precision SCNN and quantized SCNN

同時，實驗比較了訓練中量化與訓練后量化的識別準確率，如表4 所示（對比實驗所用網絡采用QReLU 激活函數(shù)）。結果表明，與訓練后對參數(shù)直接進行量化的方法相比，本文的訓練中定點量化方法可以提升一定的識別準確率并降低轉換損失，并且網絡訓練過程中的權重參數(shù)具有定點化精度，有助于在硬件上實現(xiàn)訓練過程。

表4 不同量化方法的識別準確率對比 單位：%Tab.4 Recognition accuracy comparison of different quantization methods unit：%

3.2.4 轉換方法對比

對比現(xiàn)有神經網絡轉換方法與本文提出的網絡轉換方法（無量化和量化）的識別準確率，如表5 所示。結果表明，本文提出的轉換方法生成的SCNN 與基于權重歸一化技術的轉換方法［24］生成的SCNN 識別準確率相當，并且轉換損失在N-MNIST 和MNIST-DVS 數(shù)據(jù)集上分別降低了6.79%和46.29%。另一方面，本文選用的計數(shù)等價原理可以將CNN權重直接映射到SCNN，無需額外的權重歸一化操作，轉換流程更加簡便高效。此外，本文的量化SCNN 的前饋和反傳計算均采用定點參數(shù)，易于在專用硬件設備上高效實現(xiàn)。

表5 不同轉換方法的識別準確率對比 單位：%Tab.5 Recognition accuracy comparison of different conversion methods unit：%

4 結語

本文提出一種面向動態(tài)事件流的神經網絡轉換方法并構建相應的SCNN。該方法可以結合CNN 與SNN 的優(yōu)勢，適配動態(tài)離散事件流數(shù)據(jù)格式并有效量化網絡參數(shù)，解決深度SNN 在通用處理器上訓練低效且難以在專用硬件設備上高效部署等問題。實驗結果表明，所提出的轉換方法生成的SCNN 可以有效識別事件流模式并降低網絡轉換損失。同時，定點參數(shù)可以節(jié)省大量的存儲空間，有助于深度SNN 在神經形態(tài)硬件等專用硬件設備上高效實現(xiàn)。

未來主要計劃在以下幾個方面對該工作進行改進和完善：

1）網絡可擴展性：選用更深層且更復雜的網絡結構（包括偏置項及最大池化層等），并在更困難的事件流識別任務上進行實驗驗證。

2）網絡硬件部署：考慮后續(xù)的硬件適配及優(yōu)化工作，將網絡部署于FPGA 或神經形態(tài)硬件等專用硬件設備。