基于FPGA并行加速的脈沖神經(jīng)網(wǎng)絡在線學習硬件結(jié)構(gòu)的設計與實現(xiàn)

劉怡俊 曹宇 葉武劍? 林子琦

基于FPGA并行加速的脈沖神經(jīng)網(wǎng)絡在線學習硬件結(jié)構(gòu)的設計與實現(xiàn)

劉怡俊1曹宇2葉武劍1?林子琦2

（1. 廣東工業(yè)大學 集成電路學院，廣東 廣州 510006；2. 廣東工業(yè)大學 信息工程學院，廣東 廣州 510006）

當前，基于數(shù)字電路的脈沖神經(jīng)網(wǎng)絡硬件設計，在學習功能方面的突觸并行性不高，導致硬件整體延時較大，在一定程度上限制了脈沖神經(jīng)網(wǎng)絡模型在線學習的速度。針對上述問題，文中提出了一種基于FPGA并行加速的高效脈沖神經(jīng)網(wǎng)絡在線學習硬件結(jié)構(gòu)，通過神經(jīng)元和突觸的雙并行設計對模型的訓練與推理過程進行加速。首先，設計具有并行脈沖傳遞功能和并行脈沖時間依賴可塑性學習功能的突觸結(jié)構(gòu)；然后，搭建輸入編碼層和贏家通吃結(jié)構(gòu)的學習層，并優(yōu)化贏家通吃網(wǎng)絡的側(cè)向抑制的實現(xiàn)，形成規(guī)模為784～400的脈沖神經(jīng)網(wǎng)絡模型。實驗結(jié)果表明：在MNIST數(shù)據(jù)集上，使用該硬件結(jié)構(gòu)的脈沖神經(jīng)網(wǎng)絡模型訓練一幅圖像需要的時間為1.61 ms、能耗約為3.18 mJ，推理一幅圖像需要的時間為1.19 ms、能耗約為2.37 mJ，識別MNIST測試集樣本的準確率可達87.51%；在文中設計的硬件框架下，突觸并行結(jié)構(gòu)能使訓練速度提升38%以上，硬件能耗降低約24.1%，有助于促進邊緣智能計算設備及技術(shù)的發(fā)展。

神經(jīng)網(wǎng)絡；學習算法；加速；并行結(jié)構(gòu)

脈沖神經(jīng)網(wǎng)絡（SNN）作為第三代人工神經(jīng)網(wǎng)絡，能通過神經(jīng)元產(chǎn)生脈沖來傳遞信息，具有稀疏性和事件驅(qū)動特性。因此，相比于傳統(tǒng)的人工神經(jīng)網(wǎng)絡（ANN），SNN的工作方式更加接近生物神經(jīng)網(wǎng)絡的感知和處理模式，僅需要較少的計算資源和網(wǎng)絡層數(shù)據(jù)通信，使得能耗需求大大降低。

近年來，基于CPU和GPU的Brain/Brain 2［1］、CARLsim 4［2］等軟件的出現(xiàn)，使得SNN的模擬仿真得以實現(xiàn)，但它們存在并行度低、能耗高以及不適應脈沖稀疏性等問題。硬件加速SNN的優(yōu)勢在于適應事件驅(qū)動、并行性高，可以加快處理速度，使用硬件數(shù)字電路構(gòu)建的SNN在處理速度上往往是軟件SNN的數(shù)百倍以上。因此，越來越多的研究人員投入到神經(jīng)形態(tài)硬件設計領(lǐng)域的研究工作中［3］，基于專用集成電路（ASIC）和現(xiàn)場可編程門陣列（FPGA）等硬件結(jié)構(gòu)的神經(jīng)形態(tài)平臺相繼被提出。相較于ASIC，F(xiàn)PGA設計具有可編程、成本低、設計周期短的特點，又能兼顧快速性和低功耗特性。因此，大多神經(jīng)形態(tài)平臺采用FPGA進行設計，并對基于神經(jīng)元模型［4-5］、可塑性突觸模型［6-8］、推理計算結(jié)構(gòu)［9-10］以及低功耗設計［11］的FPGA設計進行了較好的優(yōu)化。

在線學習能實現(xiàn)SNN模型的在線訓練與權(quán)值的實時更新，因而也逐漸被整合到神經(jīng)形態(tài)硬件平臺中。相關(guān)硬件電路的實現(xiàn)可減少網(wǎng)絡延遲，最小化功率［8］，所以在線學習模塊也成為智能物聯(lián)網(wǎng)邊緣設備［12］的必備模塊之一。SNN訓練方法包括反向傳播有監(jiān)督學習（STBP）、脈沖時間依賴塑性（STDP）無監(jiān)督學習、ANN-SNN權(quán)值遷移等。STDP學習規(guī)則是一種受生物學原理啟發(fā)的神經(jīng)網(wǎng)絡學習方法，文獻［13］中的SNN模型與理論是STDP規(guī)則無監(jiān)督訓練SNN的經(jīng)典應用之一，該方法是通過構(gòu)建贏家通吃（WTA）結(jié)構(gòu)的SNN完成圖像學習和識別的任務。基于WAT結(jié)構(gòu)的SNN模型［13］如圖1所示，輸入編碼層全連接到興奮層的每一個神經(jīng)元，兩層之間的連接權(quán)值使用STDP規(guī)則進行訓練，興奮層每個神經(jīng)元向后連接一個抑制神經(jīng)元，通過這個神經(jīng)元來抑制興奮層的其他神經(jīng)元，形成競爭關(guān)系。這種情況下優(yōu)先被激活的一個或幾個神經(jīng)元，將會在后面的競爭中具有優(yōu)勢，從而持續(xù)響應。

圖1　SNN模型

STDP學習算法僅涉及突觸前、后神經(jīng)元的局部脈沖時間差，非常適合硬件實現(xiàn)［14］。近些年逐漸出現(xiàn)了許多使用STDP規(guī)則進行SNN在線訓練的硬件數(shù)字電路設計工作，它們都是通過圖1所示的網(wǎng)絡來驗證硬件的在線學習功能。Wang等［11］實現(xiàn)的SNN在線學習加速器，采用近似乘法器來降低功耗，但相同任務量下其訓練時間與推理時間較長，未能真正達到降低能耗的效果。Li等［3］提出了一種具有自適應的時鐘/事件驅(qū)動計算方案，實現(xiàn)了快速節(jié)能的SNN在線學習處理器，每幅MNIST數(shù)據(jù)集圖像的平均推理用時為3.15 ms，能耗為5.04 mJ；訓練用時為16.30 ms，能耗為26.32 mJ。Wu等［8］提出了基于快速收斂CORDIC算法的STDP規(guī)則，并實現(xiàn)了在線學習SNN的硬件設計，處理每幅圖像用時為6.10 ms。Guo等［15］比較了歐拉方法和3階Runge-Kutta（RK3）方法實現(xiàn)數(shù)字化神經(jīng)元的不同，RK3方法雖然需要比較多的硬件資源，但訓練速度相比于歐拉方法有較為明顯的提升。為了實現(xiàn)高效的SNN在線學習硬件，文獻［3，8，14-15］進行了SNN數(shù)字電路實現(xiàn)方法、事件驅(qū)動方法等方面的研究。然而，在突觸的脈沖傳遞功能和學習算法的并行方面，以往工作尚缺乏比較好的設計或方案。突觸是SNN的重要結(jié)構(gòu)之一，以往對脈沖傳遞和學習等突觸功能的設計通常是串行輸入、并行輸出，對SNN的處理速度尤其是對訓練過程的處理速度依舊有比較大的限制。

針對這些問題，文中提出了一種可擴展的高效SNN在線學習硬件結(jié)構(gòu)。首先，文中結(jié)合突觸功能和SNN事件驅(qū)動特性設計出一種高度并行的突觸結(jié)構(gòu)，根據(jù)前、后膜脈沖產(chǎn)生的并行情況設計突觸處理和計算的并行，并設計了相適應的并行STDP算法硬件結(jié)構(gòu)，以加快SNN的推理和在線學習速度；然后，提出了一種既符合脈沖稀疏性，又有利于并行處理的脈沖數(shù)據(jù)形式，統(tǒng)一突觸前后的脈沖表示方法，使硬件結(jié)構(gòu)具有擴展?jié)摿?；最后，為了?jié)約硬件資源，文中提出了一種WTA結(jié)構(gòu)的側(cè)向抑制實現(xiàn)方法，以簡化WTA結(jié)構(gòu)，進而有利于在硬件上的部署與實現(xiàn)。

1　硬件結(jié)構(gòu)與并行設計

為了實現(xiàn)SNN的快速學習與推理，文中設計了一個基于FPGA的神經(jīng)形態(tài)硬件加速平臺，其內(nèi)部邏輯結(jié)構(gòu)如圖2所示。在FPGA中，使用泊松編碼的方法構(gòu)造并行的輸入編碼層，產(chǎn)生的脈沖傳送到并行突觸結(jié)構(gòu)的權(quán)重存儲塊矩陣；將并行的各路權(quán)重求和，送入并行神經(jīng)元計算結(jié)構(gòu)；神經(jīng)元更新完成后神經(jīng)元計算結(jié)構(gòu)將產(chǎn)生的脈沖送入并行突觸結(jié)構(gòu)的STDP計算矩陣，與此同時輸入編碼層產(chǎn)生的脈沖也會送入STDP計算矩陣，依據(jù)這些從突觸前后膜送來的脈沖實現(xiàn)突觸的可塑性，完成SNN學習；控制器控制以上過程有序進行，并且通過串行數(shù)據(jù)接口完成請求圖像輸入和SNN運行信息回傳的功能；外部存儲接口用于獲取、保存神經(jīng)元參數(shù)以及突觸權(quán)重；前端服務程序是一個控制臺程序，配合硬件完成SNN的學習與推理過程，完成硬件SNN的調(diào)試。

圖2　基于FPFA的神經(jīng)形態(tài)硬件平臺邏輯框圖

1.1　神經(jīng)元硬件形態(tài)

1.1.1神經(jīng)元并行計算模塊

使用FPGA實現(xiàn)SNN脈沖神經(jīng)元的方案是通過一個計算核心去更新一個神經(jīng)元狀態(tài)參數(shù)存儲塊，即將一個物理神經(jīng)元復用到多個邏輯神經(jīng)元，再將多個復用結(jié)構(gòu)并行，如圖3所示。

圖3　神經(jīng)元計算核心并行結(jié)構(gòu)

文中實現(xiàn)的神經(jīng)元動力學模型是泄漏-積分-發(fā)放（LIF）模型。LIF模型是一種兼顧生物神經(jīng)元特性和計算復雜度的模型，文中采用歐拉方法對LIF神經(jīng)元模型進行離散化處理，設計LIF計算單元。在計算單元完成膜電位計算后，將膜電位與神經(jīng)元閾值進行比較，判斷是否發(fā)出脈沖。在圖3中，輸入神經(jīng)元群體的e表示神經(jīng)元計算核心接收的來自突觸的權(quán)重累加和，i表示神經(jīng)元接收到的抑制作用。文中在實現(xiàn)WTA結(jié)構(gòu)的SNN時，對WTA網(wǎng)絡的側(cè)向抑制功能進行了簡化，見圖3中的側(cè)向抑制模塊。

文中將圖3所示的結(jié)構(gòu)作為學習層神經(jīng)元，輸出脈沖數(shù)據(jù)由脈沖標志（Spike flag）和脈沖序號（Spike id）兩部分組成，脈沖標志的位數(shù)與神經(jīng)元計算單元的并行數(shù)相同。工作時，一層內(nèi)的多個計算核心同步更新存儲塊內(nèi)的神經(jīng)元狀態(tài)，當計算核心檢測到有脈沖輸出時，與計算核心相對應的標志位設置為1，其余無脈沖的標志位設置為0，同時輸出該神經(jīng)元在片內(nèi)塊隨機存取存儲（BRAM）塊中的存儲序號作為脈沖id。這樣，不但可以滿足脈沖的稀疏性，還能夠適應硬件結(jié)構(gòu)的并行性。

1.1.2輸入編碼

輸入層的主要功能是將輸入到脈沖神經(jīng)網(wǎng)絡的信息編碼成脈沖，文中采用泊松編碼方法。對輸入數(shù)據(jù)進行編碼，需要隨機數(shù)生成器，文中使用線性反饋移位寄存器（LFSR）單元產(chǎn)生隨機數(shù)，將輸入的像素數(shù)據(jù)作為脈沖泊松編碼的頻率。參考神經(jīng)元計算核心的并行結(jié)構(gòu)，文中將輸入編碼層設計成并行結(jié)構(gòu)，輸出如圖3中所示的脈沖數(shù)據(jù)。

1.2　并行突觸結(jié)構(gòu)

設計具有在線學習功能的硬件SNN結(jié)構(gòu)，突觸設計需要包含權(quán)重累加和STDP權(quán)重修改兩個功能。結(jié)合圖3中的脈沖表示方法，文中將邏輯框圖2中的并行突觸計算結(jié)構(gòu)設計成圖4所示的電路結(jié)構(gòu)。

圖4　并行STDP突觸結(jié)構(gòu)

1.2.1突觸并行設計

這種設計符合事件驅(qū)動的特點，提高了運行速度。相比于傳統(tǒng)的依據(jù)突觸后膜神經(jīng)元計算單元的并行數(shù)量分塊存儲權(quán)重，文中的設計提高了并行程度，并且適應了并行神經(jīng)元核心生成的自然脈沖表現(xiàn)形式，不需要對脈沖形式進行解析，同時設計出相適應的STDP算法并行結(jié)構(gòu)，大大加快了硬件學習時的處理速度。

1.2.2突觸功能設計

圖5所示為文中設計的權(quán)重累加結(jié)構(gòu)，在權(quán)重BRAM中，w表示前膜神經(jīng)元傳遞到后膜神經(jīng)元的權(quán)重值。假設突觸前膜神經(jīng)元有個，突觸后膜神經(jīng)元有個，將前膜相同的權(quán)重存放在連續(xù)的一片存儲空間中，形成圖5中的存儲形式。當前膜神經(jīng)元的脈沖輸入到突觸時，讀取出權(quán)重w0～w（-1）與累加緩存中對應位置的數(shù)值相加，再將結(jié)果保存到累加緩存中，直到每一個周期神經(jīng)元更新完成后，將累加緩存中的累加結(jié)果輸出并將其清0，完成前、后膜神經(jīng)元間的脈沖傳遞。

圖5　突觸權(quán)重累加結(jié)構(gòu)

文中使用數(shù)字電路完成了基于三相脈沖的STDP［16］規(guī)則的設計，用于訓練SNN，STDP模塊的結(jié)構(gòu)如圖6所示。每個突觸都需要兩個指數(shù)衰減的軌跡變量（、）來衡量前、后膜神經(jīng)元的放電時間差。

圖6　STDP模塊的結(jié)構(gòu)

文中設計了軌跡變量更新模塊，即圖4和圖6中的變量更新和變量更新，每當前膜脈沖到達時，突觸前軌跡變量被設置為1，無脈沖到達時按照指數(shù)規(guī)則衰減。同理，突觸后軌跡變量在突觸后膜神經(jīng)元被激活時被設置為1，否則按照指數(shù)規(guī)則衰減。文中使用歐拉方法實現(xiàn)STDP規(guī)則，即軌跡變量的差分計算公式為

硬件運行時，SNN依據(jù)突觸前、后膜脈沖情況進行突觸訓練，軌跡變量以及權(quán)重的變化過程如圖7所示?？梢钥闯觯竽っ}沖作用時，需要依據(jù)上一次前、后膜神經(jīng)元放電的時間，脈沖形成后-前-后或者前-后-后的形式，稱為基于三相脈沖的STDP學習規(guī)則。

圖7　STDP規(guī)則學習過程

1.3　改進的WTA網(wǎng)絡側(cè)向抑制

文中使用WTA結(jié)構(gòu)的SNN作為學習層，其結(jié)構(gòu)如圖8（a）所示。在WTA網(wǎng)絡中，每個抑制性神經(jīng)元必然會跟隨輸入的興奮性神經(jīng)元響應，且對每一個興奮性神經(jīng)元產(chǎn)生的抑制作用是相同的，抑制神經(jīng)元的功能僅僅是向同層傳遞一個抑制作用。為了簡化結(jié)構(gòu)、降低能耗，文獻［8］使用抑制性突觸代替抑制性神經(jīng)元，形成圖8（b）所示的結(jié)構(gòu)。為更大程度地減少計算時間和硬件資源的消耗，文中提出了一種針對WTA結(jié)構(gòu)的側(cè)向抑制的實現(xiàn)方法，即不是構(gòu)造抑制性神經(jīng)元和突觸連接結(jié)構(gòu)，而是利用一般性規(guī)律設計側(cè)向抑制，達到去掉抑制層神經(jīng)元實體，保留抑制作用的目的。

圖8　脈沖神經(jīng)網(wǎng)絡結(jié)構(gòu)

在每個抑制性神經(jīng)元具有相同突觸延時的情況下，抑制層的功能可以抽象為：在某一個時間窗口，統(tǒng)計興奮層的脈沖數(shù)目，然后往回作用到興奮層，產(chǎn)生脈沖的神經(jīng)元接收到的抑制作用強度將比未產(chǎn)生脈沖的神經(jīng)元少一個單位，如興奮層在某一時刻產(chǎn)生的脈沖數(shù)目為2，那么當這兩個脈沖作用到興奮層時，產(chǎn)生脈沖的兩個神經(jīng)元將接收到1個單位抑制作用，而其余神經(jīng)元將收到2個單位的抑制作用，文中將興奮層→抑制層→興奮層的脈沖傳輸過程的延時設為1個時間單位，即文中所描述SNN的一個工作周期。

1.4　高效的時序流程

為了使文中設計的各個部分協(xié)調(diào)運行，從而高效地實現(xiàn)SNN的功能，文中提出了時間線上不同任務過程并發(fā)的設計原則：若處理過程中兩個任務不需要訪問一個存儲塊，則它們的功能就可以同時運行，而無需相互等待。例如，編碼層生成脈沖與神經(jīng)元狀態(tài)更新這兩個任務，在神經(jīng)元和輸入編碼產(chǎn)生脈沖時，可以依據(jù)前膜送來的脈沖進行權(quán)重累加，而無需等待所有神經(jīng)元更新后再進行權(quán)重累加。

文中設計了如圖9所示的時間線并行執(zhí)行過程。SNN每個周期的工作任務有：脈沖產(chǎn)生（包括輸入編碼、神經(jīng)元狀態(tài)更新）、權(quán)重累加、突觸輸出以及STDP計算。權(quán)重累加是根據(jù)突觸前神經(jīng)元的激活情況累加權(quán)重值，權(quán)重輸出是突觸將每個周期脈沖的權(quán)重累加結(jié)果輸出給突觸后膜神經(jīng)元。STDP計算就是根據(jù)輸入的脈沖進行學習的過程。

圖9　并行處理進程

2　測試與結(jié)果分析

為了分析文中所提出的硬件結(jié)構(gòu)的性能，筆者在Xilinx的Kintex-7系列XC7K325T設備上實現(xiàn)784×400的WTA網(wǎng)絡，突觸規(guī)模為784×400，采用16位定點數(shù)的形式存儲在片內(nèi)BRAM，系統(tǒng)時鐘為200 MHz。然后，使用MNIST訓練集對SNN模型進行在線訓練，通過訓練后學習層神經(jīng)元的輸入權(quán)重、識別MNIST測試集的準確率等分析文中的SNN在線學習硬件的性能，以驗證文中設計方案的可行性。文中統(tǒng)計了SNN硬件結(jié)構(gòu)學習6萬幅圖像樣本花費的時間、輸入層產(chǎn)生的脈沖總量，并且計算出處理每幅圖像花費的平均時間、輸入脈沖的平均處理速度，結(jié)合Vivado軟件綜合、實現(xiàn)后提供的片上總功耗，計算出處理每幅圖像的硬件能耗。分析突觸處理輸入脈沖的并行程度的改變對這些性能指標的影響，反映出文中的并行設計對硬件在線學習的加速效果。

2.1　在線訓練效果

在實驗中，每幅圖像樣本送入后，SNN將運行500 ms，其中前350 ms內(nèi)，編碼層根據(jù)圖像像素進行編碼生成脈沖，經(jīng)突觸傳向后層神經(jīng)元；后150 ms內(nèi)，將編碼層的輸入頻率變?yōu)?，不加外部干預，讓整個SNN模型自然恢復。將樣本圖像0～255的灰度值轉(zhuǎn)換為編碼層0～63.75 Hz的脈沖發(fā)放率，若激活的興奮性神經(jīng)元總數(shù)少于5，則將輸入層的發(fā)放率相應增加0～30 Hz，重新運行一次SNN。通過收集運行過程中的數(shù)據(jù)，可以得到圖10所示的SNN硬件運行情況。

如圖10所示，輸入標簽為2的MNIST樣本圖像，可以得到SNN的編碼層、學習層的脈沖情況。學習層僅有固定的一個或幾個神經(jīng)元在重復激活，說明文中設計的側(cè)向抑制功能正常。

完成硬件設計后，整個實驗包括訓練、神經(jīng)元賦值、測試3個過程［13］。在訓練過程中，將MNIST訓練集所有圖像依次傳入硬件SNN中，使硬件學習輸入的特征。神經(jīng)元賦值過程是：在訓練完成后，再次輸入1萬幅MNIST訓練集圖像，通過圖2中的前端服務，統(tǒng)計學習層神經(jīng)元對不同標簽的響應的脈沖數(shù)，脈沖數(shù)最大的標簽即為對應神經(jīng)元識別的類。經(jīng)過賦值過程后，每個神經(jīng)元都會識別一類輸入，在測試時，輸入MNIST測試集數(shù)據(jù)，在前端服務統(tǒng)計每一類的神經(jīng)元脈沖總數(shù)，脈沖數(shù)最多的類即為模型對輸入的預測結(jié)果。

圖10　SNN硬件運行情況

訓練前、后學習層神經(jīng)元的輸入權(quán)重如圖11所示。學習層的每個神經(jīng)元與輸入編碼層都是全連接，因此每個神經(jīng)元都有784（28×28）個輸入權(quán)值，文中按照所連接的編碼層神經(jīng)元順序?qū)?quán)重值排列成28×28的矩陣，并轉(zhuǎn)換成灰度圖像，最后將不同神經(jīng)元的輸入權(quán)重圖排布成圖11所示的形式。在圖11中亮度越高的點表示傳遞給學習層神經(jīng)元的權(quán)重越高，連接度越強。訓練前，初始權(quán)重是隨機生成的，因此圖中沒有表現(xiàn)出任何規(guī)律；訓練后，每個神經(jīng)元的輸入權(quán)重會出現(xiàn)數(shù)字特征，這說明每個神經(jīng)元都習得了輸入圖像的一些特征。在進行任務識別時，各個神經(jīng)元會對具有相應特征的輸入圖像產(chǎn)生響應，從而實現(xiàn)對手寫數(shù)字的識別。

圖11　學習層神經(jīng)元輸入權(quán)重

訓練后，SNN模型識別MNIST測試集數(shù)據(jù)的準確率可達87.51%，略高于相同規(guī)模下文獻［13］中的87.0%。

以上結(jié)果證明，文中實現(xiàn)的SNN硬件結(jié)構(gòu)整體運行情況協(xié)調(diào)有序，可完成SNN在線學習任務，設計的側(cè)向抑制功能和并行突觸結(jié)構(gòu)對輸入脈沖進行并行處理的方法并不會影響SNN的學習效果。

2.2　硬件性能測試結(jié)果分析

在SNN功能測試的基礎之上，對文中的SNN硬件結(jié)構(gòu)的加速特性進行分析。文獻［10，15］研究發(fā)現(xiàn)，改變神經(jīng)元計算核心的并行數(shù)量可以使SNN硬件的處理速度受到影響。文中主要分析突觸的并行設計處理對SNN硬件的處理速度、能耗等性能的影響。結(jié)合圖2，文中將突觸對前膜神經(jīng)元輸入的處理并行路數(shù)稱為突觸前膜并行數(shù)；突觸對后膜神經(jīng)元返回脈沖的處理路數(shù)稱為突觸后膜并行數(shù)，也等于神經(jīng)元計算核心并行數(shù)量。這個并行結(jié)構(gòu)是文中設計的核心要點，對SNN的脈沖處理具有加速的效果。

文中實現(xiàn)的WTA網(wǎng)絡結(jié)構(gòu)，學習層神經(jīng)元的脈沖發(fā)放率比較低，因此改變突觸后膜并行數(shù)不能直接反映文中設計的加速效果。因而，文中固定后膜并行數(shù)量為8，改變前膜并行數(shù)量開展實驗，其中并行情況2×8表示突觸前膜并行數(shù)量為2，突觸后膜并行數(shù)量為8。

2.2.1資源利用率分析

使用Xilinx Vivado軟件綜合和實現(xiàn)后，統(tǒng)計了不同并行程度時SNN硬件中邏輯資源（查找表LUT、寄存器LUTRAM、觸發(fā)器FF等）、BRAM等資源消耗情況，結(jié)果如表1所示。設計時，采用生成語句塊來擴展突觸結(jié)構(gòu)的并行，獲得的資源消耗隨著前膜并行數(shù)量的增加整體上呈現(xiàn)線性增加趨勢。

從表1可知，除了BRAM的需求較高外，其他硬件資源的消耗總體上均保持在比較低的水平，而BRAM的資源消耗主要是用于權(quán)重存儲。在增加并行程度的情況下，受限于XC7K325T設備的片上BRAM數(shù)量，本研究只能實現(xiàn)313 600（784×400）個16位定點權(quán)重值的突觸結(jié)構(gòu)，因而后續(xù)的實驗數(shù)據(jù)均是在訓練網(wǎng)絡規(guī)模為784×400的WTA網(wǎng)絡下獲得的。

表1　SNN硬件的資源使用

Table 1　Resource usage of SNN hardware

并行情況使用數(shù)量使用率/%片上總功耗/W LUTLUTRAMFFBRAMLUTLUTRAMFFBRAM 1×821 33591526 323266.010.471.436.4659.781.322 2×826 43694631 685282.012.971.487.7763.371.636 4×836 5361 01840 690314.017.931.599.9870.561.986 8×856 8421 27962 547379.527.892.0015.3585.282.906

2.2.2平臺加速性能分析

使用MNIST數(shù)據(jù)集訓練SNN時，SNN硬件的處理速度及能耗如表2所示。訓練用時是輸入訓練集圖像后訓練SNN所用時間總和，沒有包含串口的傳入圖像和脈沖等數(shù)據(jù)的回傳時間。輸入脈沖數(shù)量是編碼層對所有訓練集數(shù)據(jù)產(chǎn)生的脈沖總數(shù)。脈沖事件處理速度等于輸入脈沖數(shù)量除以訓練用時。單幅圖像處理時間等于訓練用時除以樣本圖像數(shù)。處理能耗是片上總功耗乘以圖像處理時間。這些數(shù)據(jù)可以反映出SNN訓練架構(gòu)的性能。

從表2可以看出，對于在線學習任務，突觸前膜并行數(shù)量從1變?yōu)?時，硬件結(jié)構(gòu)處理脈沖事件的速度有明顯的提升，每幅圖像的處理時間可減少38%左右，處理能耗降低約24.1%。這說明文中的并行設計相比于傳統(tǒng)的突觸輸入串行處理，硬件處理脈沖事件的速度有一個質(zhì)的飛躍，也反映了文中設計的意義所在。隨著突觸前并行程度繼續(xù)提高，硬件處理速度有所提升，但能耗也在增加。因此，需要考慮硬件處理速度與能耗之間的折衷問題。在本次MNIST訓練實驗中，最低能耗出現(xiàn)在突觸前膜輸入并行數(shù)為2時，但并行數(shù)為4時單幅圖像處理時間有所減少，且能耗的增加程度比較小，這在實際應用中是值得考慮的。總體上來說，在學習MNIST數(shù)據(jù)集時，文中提出的SNN并行訓練結(jié)構(gòu)每秒鐘處理的脈沖數(shù)量級約為106，每幅圖像樣本在硬件結(jié)構(gòu)中的訓練用時在2 ms以內(nèi)。

2.3　與現(xiàn)有硬件結(jié)構(gòu)性能的比較分析

文中通過簡化抑制層的實現(xiàn)、增加脈沖傳遞和學習過程的并行處理等方面的設計，提高了SNN硬件的學習處理速度。在此基礎上，將文中硬件的整體性能與文獻［3，11，15］中的硬件結(jié)構(gòu)性能進行比較，結(jié)果如表3所示?？梢钥闯?，文中設計的硬件結(jié)構(gòu)在處理速度和能耗方面有著比較明顯的優(yōu)勢。文獻［11］搭建的平臺較為特殊，其編碼層產(chǎn)生脈沖是在計算機端進行的，通過串口將脈沖傳入到學習層，存在較大的傳輸延時，處理速度方面文中僅作為參考，但其在近似乘法器簡化計算降低功耗方面的工作依然非常有參考意義。文獻［3］設計的結(jié)構(gòu)模塊化思想較清晰，直觀來看比較具有通用性，但作為數(shù)字電路設計其思路有些復雜。與文獻［3］結(jié)構(gòu)相比，文中設計的SNN硬件結(jié)構(gòu)更為簡單、高效，脈沖傳遞和并行處理的效率更高，在處理速度與能耗方面均有較為明顯的優(yōu)勢：訓練（在線學習）過程處理速度（單幅圖像處理時間）是文獻［3］結(jié)構(gòu)的10倍左右，但能耗僅是0.12倍；推理過程的處理速度為文獻［3］結(jié)構(gòu)的2.65倍，能耗也僅是0.47倍。與文獻［15］相比，文中的設計增加了前膜脈沖輸入的并行處理結(jié)構(gòu)和并行的STDP處理結(jié)構(gòu)，因此能耗上相對略高，訓練與推理過程每幅圖像的能耗均為文獻［15］的1.3倍左右，但處理速度卻均是20倍以上。文中側(cè)向抑制的實現(xiàn)方式?jīng)]有抑制神經(jīng)元更新方面的工作，也給文中設計的提速帶來一定的優(yōu)勢。

表2　學習MNIST數(shù)據(jù)集的加速情況

Table 2　Acceleration of learning MNIST datasets

任務并行情況樣本數(shù)/104訓練用時/s輸入脈沖數(shù)量脈沖事件處理速度單幅圖像處理時間/ms單幅圖像處理能耗/mJ準確率/% 在線學習1×86179.623152 777 357850 544.52.9943.95886.80 2×86110.189150 372 0471 364 673.81.8363.00487.41 4×8696.291150 255 9761 560 436.31.6053.18186.92 8×8690.802146 492 9961 613 323.41.5134.39887.51 推理1×8119.59626 248 9571 339 505.81.9602.59186.80 2×8112.91420 794 1151 610 199.31.2912.11387.41 4×8111.94125 913 6462 170 140.31.1942.36786.92 8×8111.71425 262 7902 156 632.21.1713.40487.51

表3　4種硬件的性能比較（學習MNIST數(shù)據(jù)集）

Table 3　Performance comparison among four hardwares （learning MNIST dataset）

硬件結(jié)構(gòu)系統(tǒng)時鐘/MHz數(shù)據(jù)格式學習算法FPGA設備神經(jīng)元模型神經(jīng)元總數(shù)突觸數(shù)量單幅圖像處理時間/ms單幅圖像處理能耗/mJ準確率/% 在線學習推理在線學習推理 文獻［11］1208位固定STDPVirtex 6LIF1 591638 20816 800.008 400.001 330.001 120.0089.10 文獻［3］10016位浮點STDPVirtex 7LIF98488 40016.303.1526.325.0485.28 文獻［15］1008位固定STDPVirtex 7LIF1 184313 60034.0028.002.431.7389.70 文中設計20016位固定STDPKintex 7LIF1 184313 6001.611.193.182.3787.51

因使用FPGA芯片資源限制了文中SNN的規(guī)模，故文中設計的硬件結(jié)構(gòu)識別測試樣本的準確率略低，但能達到目前主流水平［13］。依據(jù)表2及文獻［13］中軟件實現(xiàn)的理論分析結(jié)果，在資源相同的情況下，可以預測文中設計的硬件結(jié)構(gòu)在同樣規(guī)模的網(wǎng)絡下，將能獲得相近于其他SNN硬件學習平臺的識別效果，同時在處理速度方面也能保持優(yōu)勢。

3　結(jié)論

文中設計了一種快速高能效的SNN在線學習的數(shù)字電路并行方案，提出了一種高度并行的突觸結(jié)構(gòu)，突觸前、后神經(jīng)元脈沖采用相同的表示形式，使結(jié)構(gòu)具有可擴展性；為省略WAT網(wǎng)絡的抑制層，提出了一種實現(xiàn)側(cè)向抑制的簡化方案，節(jié)約了硬件資源開銷，并達到了與抑制層神經(jīng)元相同的效果。實驗結(jié)果表明，文中提出的突觸并行結(jié)構(gòu)對每幅圖像的處理時間可減少38%左右，使用文中提出的結(jié)構(gòu)搭建規(guī)模為784×400的WTA網(wǎng)絡實驗平臺，訓練一幅MNIST圖像樣本的時間約為1.61 ms，需要能耗約3.18 mJ。文中設計的硬件SNN處理速度相比于傳統(tǒng)的軟件框架有百倍甚至千倍量級的提升，相比于同等條件下的硬件實現(xiàn)，處理速度和功耗也有明顯的優(yōu)勢。

受限于芯片資源，文中未進行更大規(guī)模神經(jīng)網(wǎng)絡結(jié)構(gòu)的測試與研究，這將是今后進行改進的方向，做出多芯片擴展方面的設計或者權(quán)重片外存儲的在線學習硬件神經(jīng)形態(tài)加速器，以更加靈活地實現(xiàn)更大規(guī)模和更深度的SNN。

［1］ STIMBERG M，BRETTE R，GOODMAN D F M．Brian 2，an intuitive and efficient neural simulator［J］．Elife，2019，8：e47314/1-10.

［2］ CHOU T S，KASHYAP H J，XING J，et al．CARLsim 4：an open source library for large scale，biologically detailed spiking neural network simulation using heterogeneous clusters［C］∥ Proceedings of 2018 International Joint Conference on Neural Networks．Rio de Janeiro：IEEE，2018：1158-1165.

［3］ LI S，ZHANG Z，MAO R，et al．A fast and energy-efficient SNN processor with adaptive clock/event-driven computation scheme and online learning［J］．IEEE Transactions on Circuits and Systems I：Regular Papers，2021，68（4）：1543-1552.

［4］ SOLEIMANI H，AHMADI A，BAVANDPOUR M．Biologically inspired spiking neurons：piecewise linear models and digital implementation［J］．IEEE Transactions on Circuits and Systems I：Regular Papers，2012，59（12）：2991-3004.

［5］ HEIDARPUR M，AHMADI A，AHMADI M，et al．CORDIC-SNN：on-FPGA STDP learning with Izhikevich neurons［J］．IEEE Transactions on Circuits and Systems I：Regular Papers，2019，66（7）：2651-2661.

［6］ JOKAR E，SOLEIMANI H．Digital multiplierless realization of a calcium-based plasticity model［J］．IEEE Transactions on Circuits and Systems Ⅱ：Express Briefs，2017，64（7）：832-836.

［7］ QUINTANA F M，PEREZ-PE?A F，GALINDO P L．Bio-plausible digital implementation of a reward modulated STDP synapse［J］．Neural Computing and Applications，2022，34：15649-15660.

［8］ WU J，ZHAN Y，PENG Z，et al．Efficient design of spiking neural network with STDP learning based on fast CORDIC［J］．IEEE Transactions on Circuits and Systems I：Regular Papers，2021，68（6）：2522-2534.

［9］ WAN L，LUO Y，SONG S，et al．Efficient neuron architecture for FPGA-based spiking neural networks［C］∥ Proceedings of 2016 the 27th Irish Signals and Systems Conference．Londonderry：IEEE，2016：1-6.

［10］ LIU Y，CHEN Y，YE W，et al．FPGA-NHAP：a general FPGA-based neuromorphic hardware acceleration platform with high speed and low power［J］．IEEE Transactions on Circuits and Systems I：Regular Papers，2022，69（6）：2553-2566.

［11］ WANG Q，LI Y，SHAO B，et al．Energy efficient parallel neuromorphic architectures with approximate arithmetic on FPGA ［J］．Neurocomputing，2017，221：146-158.

［12］ HE Z，SHI C，WANG T，et al．A low-cost FPGA implementation of spiking extreme learning machine with on-chip reward-modulated STDP learning［J］．IEEE Transactions on Circuits and Systems Ⅱ：Express Briefs，2022，69（3）：1657-1661.

［13］ DIEHL P U，COOK M．Unsupervised learning of digit recognition using spike-timing-dependent plasticity［J］．Frontiers in Computational Neuroscience，2015，9：99/1-9.

［14］ VIGNERON A，MARTINET J．A critical survey of STDP in spiking neural networks for pattern recognition［C］∥ Proceedings of 2020 International Joint Conference on Neural Networks．Glasgow：IEEE，2020：1-9.

［15］ GUO W，YANTIR H E，F(xiàn)OUDA M E，et al．Toward the optimal design and FPGA implementation of spiking neural networks［J］．IEEE Transactions on Neural Networks and Learning Systems，2021，33（8）：3988-4002.

［16］ MORRISON A，AERTSEN A，DIESMANN M．Spike-timing-dependent plasticity in balanced random networks［J］．Neural Computation，2007，19（6）：1437-1467.

Design and Implementation of Hardware Structure for Online Learning of Spiking Neural Networks Based on FPGA Parallel Acceleration

1212

（1. School of Integrated Circuits，Guangdong University of Technology，Guangzhou 510006，Guangdong，China；2. School of Information Engineering，Guangdong University of Technology，Guangzhou 510006，Guangdong，China）

Currently, the hardware design of spiking neural networks based on digital circuits has a low synaptic parallel nature in terms of learning function, leading to a large overall hardware delay, which limits the speed of online learning of spiking neural network models to some extent. To address the above problems, this paper proposed an efficient spiking neural network online learning hardware architecture based on FPGA parallel acceleration, which accelerates the training and inference process of the model through the dual parallel design of neurons and synapses. Firstly, a synaptic structure with parallel spike delivery function and parallel spike time-dependent plasticity learning function was designed; then, the learning layers of input encoding layer and winner-take-all structure were built, and the implementation of lateral inhibition of the winner-take-all network was optimized, forming an impulsive neural network model with a scale of 784～400. The experiments show, the hardware has a training speed of 1.61 ms/image and an energy consumption of about 3.18 mJ/image for the SNN model and an inference speed of 1.19 ms/image and an energy consumption of about 2.37 mJ/image on the MNIST dataset, with an accuracy rate of 87.51%. Based on the hardware framework designed in this paper, the synaptic parallel structure can improve the training speed by more than 38%, and reduce the hardware energy consumption by about 24.1%, which can help to promote the development of edge intelligent computing devices and technologies.

neural network；learning algorithm；acceleration；parallel architecture

Supported by the Key-Area R&D Program of Guangdong Province （2018B030338001，2018B010115002）

10.12141/j.issn.1000-565X.220623

2022?09?27

廣東省重點領(lǐng)域研發(fā)計劃項目（2018B030338001，2018B010115002）；廣州市基礎研究計劃基礎與應用基礎研究項目（202201010595）；廣東省教育廳創(chuàng)新人才項目；廣東工業(yè)大學“青年百人計劃”項目（220413548）

劉怡?。?977-），男，博士，教授，博士生導師，主要從事集成電路設計、類腦計算機、深度學習研究。E-mail：yjliu@gdut.edu.cn

葉武劍（1987-），男，博士，講師，主要從事類腦計算機、深度學習應用研究。E-mail：yewjian@gdut.edu.cn

TP389.1

1000-565X（2023）05-0104-10