基于硬件加速的輕量級網(wǎng)絡心音分類器

杜煜章，潘家華，宗 容，粟 煒，王威廉

1.云南大學 信息學院，昆明 650504

2.云南省阜外心血管病醫(yī)院，昆明 650102

心臟雜音是識別先天性心臟?。–ongenital Heart Disease，CHD）最常見的體征，通過心臟聽診可以準確快速地進行新生兒先天性心臟病臨床篩查[1]。然而，依靠醫(yī)生人工進行先心病臨床篩查難度大、成本高，因此，有研究者提出基于深度學習的先心病機器輔助診斷系統(tǒng)，輔助醫(yī)生進行聽診，提高篩查效率，提升準確率[2]。

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）是一種重要的深度學習模型，廣泛應用于計算機視覺、自然語言處理等領域。因其善于從海量數(shù)據(jù)中挖掘抽象的特征，且擁有高度的泛化性與出色的識別能力，近年來CNN也被運用于心音的分類研究中[3-4]。為滿足傳統(tǒng)卷積神經(jīng)網(wǎng)絡在運算量、存儲空間方面的需求，目前CNN主要被部署在CPU或GPU上。但因CNN計算過程具有多種并行特征，可利用FPGA對CNN并行計算過程進行硬件加速[5-7]。

為充分利用FPGA的并行計算特性，許多研究團隊在CNN的FPGA硬件加速與實現(xiàn)方面做了大量的研究[8-10]。Han等人提出“深度量化”，通過剪枝、權值共享、權值量化、哈夫曼編碼等方法的共同協(xié)作，在不影響準確度的前提下，將卷積神經(jīng)網(wǎng)絡的存儲需求減少35～49倍[11]。Zhao等人提出一種流設計思想，對不同的卷積層采用不同的量化精度與算法，在FPGA上實現(xiàn)了一種高性能的多精度多算法網(wǎng)絡[12]。谷歌提出一種適用于嵌入式設備的輕量級神經(jīng)網(wǎng)絡MobileNet，該設計使用深度可分離卷積構建輕型深度神經(jīng)網(wǎng)絡，在準確度相近的情況下，相較于GoogleNet與VGG16參數(shù)與計算量減少了近90%[13]。

本文使用高層次綜合（High Level Synthesis，HLS）設計并實現(xiàn)了一種適用于FPGA硬件平臺的心音分類器，并對其進行硬件加速優(yōu)化。采用滑動窗、參數(shù)重排序等優(yōu)化方案實現(xiàn)卷積層多像素、多通道并行運算，加快了心音分類器在FPGA上的運行速率。通過16位定點量化縮小模型參數(shù)，減少心音分類器參數(shù)在FPGA上的內(nèi)存消耗。采用AXI-Stream數(shù)據(jù)流進行數(shù)據(jù)傳輸，提升數(shù)據(jù)傳輸速率。對硬件加速優(yōu)化后的心音分類器網(wǎng)絡，以實驗室心音數(shù)據(jù)庫心音特征圖為識別對象進行實驗，驗證心音分類器網(wǎng)絡分類準確率與加速效果。

1 輕量級神經(jīng)網(wǎng)絡MobileNet

1.1 深度可分離卷積

MobileNet模型的核心思想是深度可分離卷積。深度可分離卷積將傳統(tǒng)卷積過程分為了深度卷積和逐點卷積兩步，如圖1（b）所示。深度卷積對不同的輸入通道使用不同的卷積核分別進行卷積，逐點卷積通過一個1×1的卷積核來結合深度卷積各個通道的輸出產(chǎn)生新的特征。深度可分離卷積將傳統(tǒng)卷積的濾波以及生成新特征這兩個過程分離，這個分離過程可顯著減少計算次數(shù)和模型大小。

圖1 傳統(tǒng)卷積過程與深度可分離卷積過程Fig.1 Traditional convolution process and depth separable convolution process

對于傳統(tǒng)卷積過程，假設輸入通道數(shù)目為M，輸入特征圖的寬和高均為GI，卷積核的寬和高均為FH，輸出通道數(shù)目為N，該傳統(tǒng)卷積層的計算次數(shù)CT為：

深度可分離卷積將傳統(tǒng)卷積分為深度卷積與逐點卷積。深度卷積的計算次數(shù)CD為：

整個深度可分離卷積層的計算次數(shù)C為：

深度可分離卷積與傳統(tǒng)卷積的計算次數(shù)之比P為：

當深度卷積使用的卷積核寬和高FH=3，輸出通道數(shù)目N=128時，在對精度造成的影響很小的情況下，深度可分離卷積的計算次數(shù)相較于傳統(tǒng)卷積減少了8.41倍。并且隨著輸出通道數(shù)目的增加，卷積核寬和高的增加，計算次數(shù)減少得將會更加明顯。

MobileNet模型利用深度可分離卷積，通過減少網(wǎng)絡的計算次數(shù)，加速了網(wǎng)絡在嵌入式設備上的運行速度，降低了網(wǎng)絡運行的能耗。同時深度可分離卷積還減少了網(wǎng)絡的參數(shù)數(shù)目，壓縮了模型部署在嵌入式設備上所消耗的內(nèi)存空間，降低了對于嵌入式設備硬件資源的消耗。

1.2 BN層與ReLU6層

傳統(tǒng)卷積層結構在卷積運算結束后，加入批量歸一化層（Batch Normalization，BN）與ReLU激活函數(shù)層對卷積運算結果進行處理。深度可分離卷積在深度卷積層與逐點卷積層后，均接入了BN層與ReLU6層，相較于傳統(tǒng)卷積層結構加入的BN層與ReLU6層更多，其模型結構如圖2所示。向模型中加入更多的ReLU6層，增加了模型的非線性變化，增強了模型的泛化能力。ReLU6相較于傳統(tǒng)卷積層結構中的ReLU激活函數(shù)，限制了激活函數(shù)的最大輸出值為6，這樣使得該激活函數(shù)在低精度的fix16/int8的嵌入式硬件設施上性能良好，模型的魯棒性更強。BN層的存在控制了梯度爆炸與梯度消失，并提高了神經(jīng)網(wǎng)絡的訓練與收斂速度。

圖2 傳統(tǒng)卷積與深度可分離卷積結構Fig.2 Traditional convolution and depth separable convolution structure

1.3 心音分類器模型

本文構建的心音分類器網(wǎng)絡模型運用Mobilenet輕量級網(wǎng)絡中的深度可分離思想，將三層傳統(tǒng)卷積神經(jīng)網(wǎng)絡，改進六層為深度可分離卷積網(wǎng)絡，使其模型參數(shù)更少，更適合于課題組所構建的先心病心音數(shù)據(jù)庫數(shù)據(jù)，同時也使其能更加便捷地部署于FPGA硬件平臺。

2 心音分類器模型的硬件加速

2.1 卷積運算單元硬件加速

卷積層在整個網(wǎng)絡的各個層中，占據(jù)了超過90%的運算次數(shù)，消耗了大量運算時間。因此卷積運算單元的并行加速設計是整個硬件加速設計部分的核心。卷積運算過程具有多種并行特征，可以使用不同的并行優(yōu)化方法。本文中使用兩種并行優(yōu)化方法來對卷積運算單元進行硬件加速，一種是同通道上的并行加速，另一種是不同通道上的并行加速。

心音分類器模型中共包含兩種卷積運算：深度卷積運算與逐點卷積運算。針對深度卷積與逐點卷積的不同運算特性，深度卷積采用同通道上的并行加速，逐點卷積采用不同通道上的并行加速。

2.1.1 同通道并行加速

對一張32×16的輸入圖片的一個通道，用一個3×3的卷積核進行卷積運算。不進行任何優(yōu)化，每次運算都需要取、算、存三個時鐘周期，運算整張輸入圖片，共需要32×16×9×3個時鐘周期。

（1）對運算過程進行Pipeline（流水線）約束

Pipeline（流水線）約束，在第一個數(shù)據(jù)進行運算同時，對第二個數(shù)據(jù)進行讀取。在第二個數(shù)據(jù)進行運算同時，并行執(zhí)行第一個數(shù)據(jù)運算結果的寫入與第三個數(shù)據(jù)讀取。對整張輸入圖片進行卷積運算，僅需要32×16×9+2個時鐘周期。相較于不對算法進行任何優(yōu)化，運行時間減少大約3倍。

（2）3×3卷積核的9次乘法并行計算

傳統(tǒng)的卷積運算單元中，執(zhí)行3×3卷積乘法運算需要9個時鐘周期。本文在高層次綜合中對卷積窗口進行循環(huán)展開（UNROLL），實現(xiàn)卷積核9次乘法運算并行計算，其并行思想如圖3所示。高層次綜合中的循環(huán)展開將例化額外的硬件，消耗9個DSP（Digital Signal Processing）并行計算，通過犧牲硬件資源與面積，提升卷積運算速度。

圖3 同通道多像素并行運算Fig.3 Parallel computing with multiple pixels in the same channel

循環(huán)展開實現(xiàn)了卷積核9次乘法并行運算，但內(nèi)存帶寬需求增高。傳統(tǒng)卷積運算單元每個時鐘周期進行1次內(nèi)存存取操作。循環(huán)展開后，9次乘法并行計算，對內(nèi)存帶寬的要求增加至每個時鐘周期9次內(nèi)存存取操作。在高層次綜合中，外部內(nèi)存存在多個端口，通過高層次綜合生成的模塊只能連接到其中一個端口上，且每個時鐘周期只能進行一次數(shù)據(jù)傳輸。因此，本文將內(nèi)存帶寬需求從外部內(nèi)存端口轉移至高層次綜合編譯器生成的本地內(nèi)存。

高層次綜合生成的本地內(nèi)存類似于CPU的高速緩存，在高層次綜合中被稱為行緩存。

緩存整張輸入圖片將消耗大量的硬件資源，并且對于卷積操作，并非所有的數(shù)據(jù)都將在短期內(nèi)被重復調(diào)用，行緩存僅用于存儲正常執(zhí)行卷積操作所需要的最小數(shù)量的像素值。對于3×3的卷積乘法窗口操作，行緩存必須存儲2個完整的圖像行以及第3行的前3個像素，才能計算得到第一個輸出像素值，因此需要三行行緩存，每行行緩存可緩存輸入圖片列數(shù)個像素值。

通過使用FPGA中的BRAM硬件資源實現(xiàn)行緩存。分別將圖片的三行像素值存儲在三塊BRAM中，每塊BRAM在每個時鐘周期內(nèi)都可存取1個像素。因此，可用于算法計算的內(nèi)存帶寬將從原先每個時鐘周期1個像素提高3倍，達到每個時鐘周期3個像素。

行緩存中的數(shù)據(jù)移動如圖4所示。輸入圖片數(shù)據(jù)以數(shù)據(jù)流的形式輸入，數(shù)據(jù)從第三行緩存的第一個位置開始，依次填滿第三行緩存。當?shù)谌芯彺嫣畛錆M時，第三行緩存第一個位置的數(shù)據(jù)存儲至第二行緩存的第一個位置。當行緩存存滿2個完整圖像行與第三行前3個像素時，進行第一次計算。

圖4 行緩存中的數(shù)據(jù)移動Fig.4 Data movement in line buffer

行緩存可實現(xiàn)每個時鐘周期存取3個像素。為滿足每個時鐘周期存取計算9個像素，使用FPGA中的FF硬件資源實現(xiàn)滑動窗（圖4中方框部分）?；瑒哟懊總€寄存器均可供所有其他寄存器獨立訪問或同時訪問。對整張輸入圖片進行卷積運算，當流水線充滿時，需要的時鐘周期為32×16。與CPU串行運算相比，運行的時鐘周期數(shù)目減少大約9倍。

2.1.2 不同通道上并行加速

卷積運算在不同通道上也存在并行特性，可運用不同的卷積窗口對不同通道并行運算，如圖5所示。一張RGB三通道圖像，三通道并行運算消耗的運算時間將比單通道依次運算減少三倍。但不同通道上的并行運算同樣是以犧牲硬件資源為代價，用面積換取運算速度的提升。綜合考慮網(wǎng)絡每層的輸入通道數(shù)目與輸出通道數(shù)目均為四的整數(shù)倍，且DMA數(shù)據(jù)位寬為64 bit，經(jīng)定點量化后的數(shù)據(jù)為16 bit定點數(shù)，DMA一次能傳輸四個數(shù)據(jù)，因此選取四通道并行運算，對模型進行硬件加速。

圖5 多通道并行運算Fig.5 Multi-channel parallel computing

2.2 像素重排序

卷積運算的特征圖，需要先計算完成所有輸入通道，然后將每個輸入通道上的運算結果進行累加。以一張RGB的三通道圖像為例，圖像大小為32×16，在內(nèi)存中的存儲方式如圖6（a）所示。在讀取輸入圖片時，首先32×16個“R”通道的像素點被傳輸，然后依次傳輸32×16個“G”通道像素點與32×16個“B”通道像素點。通過這種方式存儲與傳輸數(shù)據(jù)，對于每一個輸出通道，需等待最后一個輸入通道運算完成才可以得到卷積結果。將耗費大量的緩存來存儲運算的中間結果。

圖6 參數(shù)重排序Fig.6 Parameter reordering

因此將輸入圖像像素在內(nèi)存中的存儲進行重新排序。如圖6（b）所示，讀取輸入圖片時，首先傳輸輸入圖片“R”“G”“B”三通道的第一個像素點，然后依次傳輸三通道的第二個像素點以及第三個像素點，直至整張輸入圖片傳輸完成。通過這種方式傳輸圖片，因首先進行了不同輸入通道上的像素循環(huán)，故可直接進行疊加得到輸出結果，不需要消耗緩存來存儲運算的中間結果。

2.3 定點量化

使用Keras和TensorFlow訓練得到的網(wǎng)絡模型，數(shù)據(jù)精度為float32/float64。FPGA中并無專用的浮點運算單元，進行浮點運算需要消耗較多的DSP資源與LUT資源。由文獻[14]和實際實驗可知，HLS中的浮點32位乘法需要三個DSP資源，浮點32位加法需要兩個DSP資源。定點16位乘法需要一個DSP資源，而定點16位加法僅消耗LUT資源實現(xiàn)。對比可知，對權重數(shù)據(jù)與輸入圖像數(shù)據(jù)進行定點量化，可以減少硬件資源消耗。將32位數(shù)據(jù)替換為16位數(shù)據(jù)，占用的內(nèi)存減少一半，模型大小縮小，運算速度加快。

3 FPGA硬件實現(xiàn)

3.1 心音分類器計算架構

MobileNet模型包含傳統(tǒng)卷積層、深度卷積層、逐點卷積層、最大池化層、全連接層與Softmax層等六種類型的層。通過Mobilenet模型改進的心音分類器模型刪除了部分層。假設將每一層封裝成獨立的IP，在FPGA上利用單獨的硬件資源進行運算，由于對每一層進行了定制，可最大程度地提高運算效率以及吞吐量，但將消耗大量的FPGA硬件資源，使一些模型較大、層數(shù)較深的神經(jīng)網(wǎng)絡無法部署在FPGA上。

另一種設計方法將每一層的硬件設計分布在不同比特文件中，當每一層的計算結束后，通過比特文件重新配置FPGA，這種方法保證了每一層硬件設計性能最優(yōu)，且不會因為層數(shù)較深導致硬件資源消耗過多。但每一次通過比特流重新配置FPGA都需要消耗數(shù)百毫秒的時間，盡管每層的延時都是最佳的，但整體性能將會受到明顯影響[15]。

由于FPGA上實現(xiàn)的僅為心音分類器模型的前向傳播算法。與CNN相似，心音分類器模型的前向傳播算法不同層之間的運算過程相互獨立，所以本文將深度卷積層、逐點卷積層與最大池化層封裝成可實現(xiàn)復用的IP，通過復用這些IP核實現(xiàn)完整的深層次神經(jīng)網(wǎng)絡。

3.2 心音分類器模型FPGA硬件實現(xiàn)

將心音分類器模型中的深度卷積層，逐點卷積層與最大池化層通過FPGA實現(xiàn)，并對其進行硬件加速。具體硬件系統(tǒng)設計如圖7所示。

圖7 心音分類器FPGA硬件系統(tǒng)設計Fig.7 FPGA hardware system design of heart sound classifier

DMA0將AXI4數(shù)據(jù)轉換為AXI-Stream數(shù)據(jù)。AXI-Stream數(shù)據(jù)相較于AXI4數(shù)據(jù)減少了地址線，可降低延時。DMA0分兩次向高層次綜合生成的深度卷積IP傳輸數(shù)據(jù)，第一次傳輸深度卷積權重數(shù)據(jù)，第二次傳輸圖像數(shù)據(jù)，運算結果由深度卷積IP傳輸至逐點卷積IP。然后由DMA1向逐點卷積IP傳輸逐點卷積權重數(shù)據(jù)，運算結果由逐點卷積IP傳輸至Xilinx官方定義的Switch IP。心音分類器模型僅在最后一次逐點卷積運算結束后接入最大池化層，可通過Switch IP進行選擇，當并未進行至最后一次逐點卷積，將逐點卷積運算結果直接經(jīng)過Switch IP傳輸至DMA1，由DMA1傳送回DDR。本文采用雙DMA分別傳輸深度卷積權重值與逐點卷積權重值，并將DMA的數(shù)據(jù)位寬設定為64位，適應于卷積四通道并行運算。

全連接層通過Zynq的ARM核進行軟件實現(xiàn)。Softmax層則由比較器進行替代。Softmax層的作用是將最終的運算結果映射為[0，1]之間的實數(shù)，并且運算結果之和恰好為1。本文使用心音分類器進行二分類，分類結果為陰性與陽性。通過傳統(tǒng)Softmax層運算將進行大量指數(shù)運算，增加運行時間。本文使用比較器替換傳統(tǒng)Softmax層，僅需從運算結果找出較大的值，便可得到分類結果，取代了復雜的指數(shù)運算，加快了運行速度。

4 實驗結果及分析

4.1 實驗環(huán)境

本文實驗采用Xilinx公司的ZYNQ-7000系列xc7z020clg400-2芯片作為硬件平臺，該芯片中包含兩大部分：PS（Processing System）部分，集成兩個ARM cortexa9處理器。PL（Programmable Logic）部分，即FPGA部分。其中FPGA部分BRAM_18K、DSP48E、FF、LUT資源分別為280、220、106 400及53 200。CPU軟件訓練平臺采用Intel?Core?i7-9750H，主頻為2.6 GHz。訓練所用的軟件為TensorFlow2.1.0及Keras2.3.1。

本文使用實驗室先天性心臟病心音數(shù)據(jù)庫數(shù)據(jù)構建數(shù)據(jù)集，該數(shù)據(jù)庫研究經(jīng)云南大學醫(yī)學院倫理委員會審查通過。數(shù)據(jù)集特征譜圖由先天性心臟病心音數(shù)據(jù)庫心音信號通過心音分割后，使用子帶包絡方法進行特征提取獲得。所有異常心音信號均由超聲心動圖確診。數(shù)據(jù)集訓練集由5 370例心音信號構成，其中正常心音信號2 345例，異常心音信號3 025例，經(jīng)心音分割與特征提取獲得特征譜圖96 729張（陰性42 210張，陽性54 519張），測試集由324例心音信號構成，其中正常心音信號160例，異常心音信號164例，經(jīng)心音分割與特征提取獲得特征譜圖5 837張（陰性2 878張，陽性2 959張），每張?zhí)卣髯V圖的維數(shù)均為32×16。

本文在軟件平臺CPU上實現(xiàn)與FPGA相同的神經(jīng)網(wǎng)絡，通過Keras進行訓練，將訓練后得到的權重參數(shù)，通過16位定點量化下載至FPGA中。FPGA硬件平臺中不進行訓練，只進行前向分類過程。

4.2 心音分類器性能與資源消耗評估

4.2.1 資源消耗評估

本文采用多通道、多像素并行性，定點量化等加速方法，設計并實現(xiàn)了與文獻[16]網(wǎng)絡模型相同的傳統(tǒng)卷積網(wǎng)絡。然后將該傳統(tǒng)卷積網(wǎng)絡改進為深度可分離卷積網(wǎng)絡。其FPGA硬件資源消耗情況如表1所示。

表1 FPGA硬件資源消耗對比Table 1 FPGA hardware resource consumption comparison

硬件加速以消耗大量的硬件資源為代價，用資源換取速度。由表1可知，經(jīng)過硬件加速的傳統(tǒng)卷積網(wǎng)絡相較于文獻[16]網(wǎng)絡消耗了更多硬件資源，將傳統(tǒng)卷積網(wǎng)絡改進為深度可分離卷積網(wǎng)絡，減少了運算次數(shù)與參數(shù)數(shù)目，可在增加運算速率同時，降低硬件資源消耗。深度可分離卷積的BRAM_18K、DSP48E、FF等模塊的消耗相較于文獻[16]都有明顯降低。

BRAM_18K資源主要用于實現(xiàn)存儲量大的緩存。本文卷積運算單元硬件加速部分為保證高并行度運算，進行大量緩存操作，輸入行緩存，輸出行緩存，權重緩存，因此消耗BRAM_18K資源相對較多。

4.2.2 性能評估

本文使用深度可分離卷積思想構建心音分類器。比較了三層傳統(tǒng)卷積神經(jīng)網(wǎng)絡，以及由三層傳統(tǒng)卷積網(wǎng)絡改進來的六層深度可分離網(wǎng)絡對數(shù)據(jù)集中測試集心音特征譜圖進行分類的準確率，如表2所示，證明了深度可分離卷積在對分類準確率影響較小的前提下，縮小了模型的大小，減少了模型參數(shù)。

表2 不同神經(jīng)網(wǎng)絡心音分類準確率Table 2 Heart sound classification accuracy of different neural networks

表3是不同網(wǎng)絡在不同運算平臺下針對心音進行分類的前向過程運行速度對比。參考文獻[16]網(wǎng)絡在FPGA上處理一張圖片需耗時19.41 ms，使用本文的加速方法對參考文獻[16]網(wǎng)絡進行硬件加速，處理一張圖片需耗時7.12 ms，相較于文獻[16]中的方法，運行速度提升近3倍。本文的心音分類器模型在CPU平臺上處理一張圖片需耗時15.95 ms，在FPGA上進行硬件加速后，處理一張圖片需耗時1.138 ms，相較于CPU平臺上相同網(wǎng)絡，運行速度提升近14倍。

表3 不同平臺不同網(wǎng)絡運行速度對比Table 3 Comparison of different network computing speeds on different platforms

本文通過Xilinx官方提供的Vivado設計工具中的Implementation design估算FPGA運行功耗。傳統(tǒng)卷積網(wǎng)絡功耗為2.507 W，本文心音分類器功耗為1.819 W，本文心音分類器相較于傳統(tǒng)卷積網(wǎng)絡在FPGA平臺上的運行功耗更低。

5 結束語

本文設計了一種基于輕量級神經(jīng)網(wǎng)絡的心音分類器，針對心音信號進行分類，在FPGA上完成了網(wǎng)絡的前向傳播過程。并根據(jù)卷積運算不同并行特征對其進行多像素多通道并行加速。實驗結果表明，該方案在盡可能減少硬件資源消耗的基礎上，加快了心音分類器的運行速率。未來進一步的改進主要有兩個方面：（1）在FPGA硬件平臺上實現(xiàn)心音信號預處理部分；（2）提高逐點卷積并行度。