基于FPGA的高效可伸縮的MobileNet加速器實(shí)現(xiàn)*

蕭嘉樂，梁東寶，陳弟虎，粟 濤

(中山大學(xué)電子與信息工程學(xué)院,廣東 廣州 510275)

1 引言

近些年來，深度卷積神經(jīng)網(wǎng)絡(luò)DCNN(Deep Convolutional Neural Network)模型在分類和識(shí)別任務(wù)上具有遠(yuǎn)超傳統(tǒng)算法的正確率，被廣泛應(yīng)用于機(jī)器視覺領(lǐng)域。而FPGA由于可定制的并行邏輯和相對(duì)較高的能耗效率，在加速DCNN任務(wù)方面具有一定優(yōu)勢(shì)。在大多數(shù)基于FPGA的DCNN實(shí)現(xiàn)中，有2個(gè)主要研究方向：一是實(shí)現(xiàn)的FPGA盡可能地去適配不同網(wǎng)絡(luò)架構(gòu)。文獻(xiàn)[1]嘗試通過參數(shù)化設(shè)計(jì)來為所有可能的網(wǎng)絡(luò)實(shí)現(xiàn)一個(gè)通用的計(jì)算結(jié)構(gòu)。二是針對(duì)某一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行深度優(yōu)化，文獻(xiàn)[2,3]探索了適用于具有殘差模塊網(wǎng)絡(luò)的新的映射策略，例如ResNet和Xception。

本文針對(duì)的是嵌入式領(lǐng)域的硬件加速器應(yīng)用，MobileNet網(wǎng)絡(luò)以其低計(jì)算量和參數(shù)量被廣泛用于嵌入式領(lǐng)域，但MobileNet網(wǎng)絡(luò)的計(jì)算特點(diǎn)使其對(duì)現(xiàn)有的加速器(文獻(xiàn)[4,5])利用率不高，具體表現(xiàn)在比較難達(dá)到硬件所具有的理論峰值性能，而嵌入式領(lǐng)域硬件資源往往有限，這個(gè)問題急需解決。還有一點(diǎn)，嵌入式領(lǐng)域的硬件資源差異較大，針對(duì)MobileNet網(wǎng)絡(luò)的加速器還需要具備一定的可伸縮性，即針對(duì)不同的資源限制，都能獲得較高的利用率。

本文的主要貢獻(xiàn)有：

(1)設(shè)計(jì)了一個(gè)具有一定可伸縮性的MobileNet硬件加速器結(jié)構(gòu)，對(duì)于0～4 000的乘法器開銷都能保持70%以上的計(jì)算效率。

(2)在加速器結(jié)構(gòu)上實(shí)現(xiàn)了基于MobileNet的Hourglass網(wǎng)絡(luò)，最終的計(jì)算效率高于其他MobileNet網(wǎng)絡(luò)加速器的。

本文的組織如下所示,首先介紹了深度可分離卷積和MobileNet網(wǎng)絡(luò)的背景知識(shí)；接著描述加速器結(jié)構(gòu)，主要包括計(jì)算陣列和片上緩存器；再接著探索了該加速器架構(gòu)的設(shè)計(jì)空間；然后給出了加速器性能的實(shí)驗(yàn)分析與對(duì)比；最后是總結(jié)。

2 背景介紹

2.1 深度可分離卷積

深度可分離卷積首先是在文獻(xiàn)[6]中提出的。在這種卷積中，標(biāo)準(zhǔn)的卷積操作被拆分為2個(gè)步驟：逐層卷積和逐點(diǎn)卷積。逐層卷積首先在不同通道的輸入特征圖上分別提取特征，然后進(jìn)行逐點(diǎn)卷積，以1×1卷積的方式組合不同通道中的結(jié)果。標(biāo)準(zhǔn)卷積、逐層卷積和逐點(diǎn)卷積之間的差異如圖1所示。其卷積輸入的特征值的行數(shù)為H、列數(shù)為W、輸入通道數(shù)為IC,經(jīng)過卷積窗口為K×K的卷積后，輸出通道為OC。

Figure 1 Comparison of three kinds of convolution圖1 3種卷積方式的對(duì)比圖

文獻(xiàn)[7]證明，深度可分離卷積具有較少的權(quán)值和卷積運(yùn)算，同時(shí)可獲得與標(biāo)準(zhǔn)DCNN網(wǎng)絡(luò)相當(dāng)?shù)木??？紤]到一般使用的標(biāo)準(zhǔn)卷積核為3×3，那么深度可分離卷積的權(quán)值量和計(jì)算開銷均會(huì)是標(biāo)準(zhǔn)卷積的1/9～1/8。

2.2 MobileNet網(wǎng)絡(luò)

本文主要研究MobileNetV2網(wǎng)絡(luò)，該網(wǎng)絡(luò)以其低權(quán)值存儲(chǔ)和計(jì)算開銷同時(shí)還能保持高識(shí)別準(zhǔn)確度被應(yīng)用于嵌入式領(lǐng)域。其計(jì)算過程可抽象為表1所示的步驟。其中，CONV為標(biāo)準(zhǔn)卷積，IRB(Inverted Residual Bottleneck)為倒殘差瓶頸；模塊avgpool為平均池化操作,t為縮放系數(shù),c為輸出通道數(shù),n為重復(fù)次數(shù),s為步進(jìn)。

Table 1 The structure of MobileNetV2

MobileNetV2網(wǎng)絡(luò)的主要組成部分是倒殘差瓶頸模塊，其是由深度可分離卷積衍生而來的，具體操作過程如圖2所示。

Figure 2 Procedure of two kinds of inverted residual bottlenecks圖2 2種倒殘差瓶頸模塊操作過程圖

以通道數(shù)c為32，縮放系數(shù)t為4為例，對(duì)于s=1的模塊，需要進(jìn)行1次擴(kuò)張層計(jì)算(逐點(diǎn)卷積)，再通過1次特征提取計(jì)算(逐層卷積)和1次壓縮層計(jì)算(逐點(diǎn)卷積)。這個(gè)過程中特征值通道會(huì)先擴(kuò)張至32×4再壓縮至32，最后將原始輸入旁路與計(jì)算結(jié)果相加得到一個(gè)倒殘差瓶頸模塊的計(jì)算結(jié)果。而s=2的模塊只是少了旁路相加這一部分。

3 高效可伸縮MobileNet加速器硬件設(shè)計(jì)

3.1 整體結(jié)構(gòu)

圖3顯示了高效可伸縮MobileNet加速器的結(jié)構(gòu)，在加速器中，控制模塊通過AXILite總線從嵌入式處理器接收控制指令，并將其轉(zhuǎn)換為加速器中其他模塊的內(nèi)部控制信號(hào)。并行計(jì)算陣列負(fù)責(zé)堆疊式沙漏網(wǎng)絡(luò)的所有計(jì)算。緩存器模塊負(fù)責(zé)外部存儲(chǔ)器和片上緩存器之間輸入特征值和權(quán)值以及輸出結(jié)果的傳遞。數(shù)據(jù)聚集-發(fā)散模塊作為特征值、權(quán)值緩存與外部存儲(chǔ)之間的橋梁，充當(dāng)著類似直接內(nèi)存訪問的工作。

Figure 3 Block diagram of the accelerator system圖3 硬件加速器結(jié)構(gòu)圖

3.2 數(shù)據(jù)排布方式

特征值數(shù)據(jù)具有3個(gè)維度，分別是行、列和通道?？紤]一個(gè)維度為x×x×x的特征值塊，傳統(tǒng)的行優(yōu)先數(shù)據(jù)排列(這意味著數(shù)據(jù)首先沿行方向排列，然后依次沿列和通道方向排列，如圖4a所示，其中序號(hào)表示其在特征值緩存中的排布順序)適用于通道分離的逐層卷積，而在MobileNet網(wǎng)絡(luò)中，逐點(diǎn)卷積在整個(gè)計(jì)算中占據(jù)了很大一部分。逐點(diǎn)卷積對(duì)來自不同通道的特征圖進(jìn)行卷積，并一次生成一幅特征圖。此時(shí)若仍使用行優(yōu)先數(shù)據(jù)排列則會(huì)由于輸入不連續(xù)，給逐點(diǎn)卷積帶來數(shù)據(jù)獲取上的困難，降低計(jì)算效率。為了解決這些問題，本文使用通道優(yōu)先的排布方式(這意味著數(shù)據(jù)首先沿通道方向排列，然后依次沿行和列方向排列，如圖4b所示)。在本文設(shè)計(jì)的硬件加速器中片上緩存器和片外存儲(chǔ)所儲(chǔ)存的權(quán)值、特征值數(shù)據(jù)均以通道有限的排布方式存在，而行優(yōu)先的數(shù)據(jù)排列只會(huì)存在于并行計(jì)算陣列的計(jì)算過程中，這會(huì)在第3.3節(jié)中詳細(xì)介紹。

Figure 4 Two kinds of data arrangement圖4 2種數(shù)據(jù)排布方式示意圖

3.3 并行計(jì)算陣列

針對(duì)MobileNet網(wǎng)絡(luò)基本結(jié)構(gòu)為1次逐點(diǎn)卷積、1次逐層卷積和再一次逐層卷積的特點(diǎn)，本文使用的計(jì)算陣列結(jié)構(gòu)如圖5所示，其中CVA(ConVolution model A)計(jì)算陣列適用于第1層的逐點(diǎn)卷積；CVB(ConVolution model B)計(jì)算陣列適用于第2層的逐層卷積；CVC(ConVolution model C)計(jì)算陣列適用于第3層的逐點(diǎn)卷積。

Figure 5 Structure of the convolution-layer parallel computing array圖5 卷積層級(jí)并行計(jì)算陣列結(jié)構(gòu)圖

(1)CVA計(jì)算陣列。

該模塊用于加速計(jì)算倒殘差瓶頸模塊中的膨脹層。如圖5所示，該計(jì)算陣列的并行計(jì)算有3個(gè)維度：同時(shí)滿足Ccalca個(gè)計(jì)算通道的并行計(jì)算；每個(gè)計(jì)算通道內(nèi)滿足La行特征值的并行計(jì)算；而每個(gè)計(jì)算行中滿足Nmulta個(gè)輸入通道的同時(shí)計(jì)算(這是由于逐點(diǎn)卷積計(jì)算過程中是優(yōu)先進(jìn)行通道間的卷積的)。所以，CVA的最小堆疊單元為并行的Nmulta個(gè)乘法器與1個(gè)Nmulta輸入1輸出的加法樹。還需要注意的是，該計(jì)算陣列的輸入數(shù)據(jù)格式是通道優(yōu)先的數(shù)據(jù)排布，而輸出格式是行優(yōu)先的數(shù)據(jù)排布，以保證后續(xù)逐層卷積的數(shù)據(jù)讀入的連續(xù)性。

(2)CVB計(jì)算陣列。

該模塊用于計(jì)算倒殘差瓶頸模塊中的逐層卷積模塊(通道分離的3×3卷積)。與CVA計(jì)算陣列類似，CVB計(jì)算陣列也可以分為計(jì)算通道Ccalcb、計(jì)算行數(shù)Lb和并行乘法數(shù)Nmultb3個(gè)維度。不同的是，在該模塊中，最小堆疊單元被固定為并行的3個(gè)乘法器與3輸入1輸出的加法樹，這是由于每個(gè)時(shí)鐘周期CVB模塊都能從CVA模塊的輸出獲取3行1列的特征值，因此CVB模塊若要完成1次3×3卷積則需要3個(gè)周期。此外，最小單元還需要添加行緩存模塊，這是由于3×3卷積計(jì)算帶來的行相關(guān)性，需要將本行計(jì)算需要的1或2行特征值緩存以用于下一行計(jì)算。而在數(shù)據(jù)排布方面，CVB模塊輸入的數(shù)據(jù)是按照行優(yōu)先的方式排布，而輸出的數(shù)據(jù)是按照通道優(yōu)先的方式排布。

(3)CVC計(jì)算陣列。

該模塊用于加速倒殘差瓶頸模塊中的最后一層逐點(diǎn)卷積，整體結(jié)構(gòu)上與CVA模塊相似，其區(qū)別是該層的數(shù)據(jù)輸入是按照通道優(yōu)先的方式排布，輸出也是按照通道優(yōu)先的方式排布。

(4)ADD累加陣列。

ADD累加陣列用于處理倒殘差瓶頸模塊中的支路殘差求和部分。該陣列只有2個(gè)并行維度：并行計(jì)算通道數(shù)Ccalc和并行計(jì)算的行數(shù)LADD。ADD陣列的最小單元是1個(gè)二輸入的加法器。該陣列的計(jì)算不改變數(shù)據(jù)排布方式，均為通道優(yōu)先的排布方式。

3.4 其他計(jì)算操作的處理

(1)標(biāo)準(zhǔn)卷積。

如圖1所示，標(biāo)準(zhǔn)卷積的操作實(shí)際上可拆分為1次逐層卷積和1次逐點(diǎn)卷積，其中需要考慮這2層卷積的權(quán)值。逐層卷積可直接沿用標(biāo)準(zhǔn)卷積中的權(quán)值，而對(duì)于逐點(diǎn)卷積權(quán)值，則需要生成對(duì)應(yīng)的0-1矩陣來代表不同計(jì)算通道之間的累加。標(biāo)準(zhǔn)卷積的過程則可以映射到以上計(jì)算陣列中的CVB和CVC模塊。

(2)ReLU激活操作。

ReLU操作使用的是f(x)=max(0,x)函數(shù)，在網(wǎng)絡(luò)中是可選的，該過程僅在計(jì)算單元輸出階段將負(fù)數(shù)結(jié)果替換為零。

3.5 緩存器設(shè)計(jì)

(1)乒乓權(quán)值緩存器。

權(quán)值緩存器使用乒乓緩存機(jī)制處理，即將權(quán)值緩存器分為等大的2個(gè)部分：權(quán)值緩存器0和權(quán)值緩存器1，如圖6所示。當(dāng)其中一個(gè)從外部存儲(chǔ)讀取權(quán)值時(shí)，另一個(gè)緩存器可作為計(jì)算陣列的輸入，以此將從片外讀取權(quán)值的時(shí)間隱藏在計(jì)算時(shí)間內(nèi)，提高計(jì)算效率。

(2)分時(shí)復(fù)用的特征值緩存器。

特征值緩存器同樣被分割為2個(gè)大小相同的可分時(shí)復(fù)用的緩存器。每個(gè)緩存器均可作為計(jì)算陣列的輸入、輸出緩存。例如，在計(jì)算第n個(gè)倒殘差瓶頸模塊的任務(wù)時(shí)，緩存器0作為計(jì)算陣列的特征值輸入緩存，緩存器1則作為輸出緩存；而在計(jì)算第n+1個(gè)倒殘差瓶頸模塊的任務(wù)時(shí)，則相反。這樣在完成一幅圖像處理時(shí)可減少特征值緩存器與外部存儲(chǔ)的數(shù)據(jù)交換，節(jié)約帶寬。

Figure 6 Structures of the weight and feature buffers圖6 權(quán)值和特征值緩存器示意圖

3.6 數(shù)據(jù)的分塊策略

數(shù)據(jù)的分塊處理是指將一層卷積分割為若干層卷積進(jìn)行計(jì)算，因?yàn)槠暇彺嫫鞔笮∈枪潭ǖ?，為適應(yīng)不同分辨率的特征圖像，數(shù)據(jù)需要分塊處理。如圖1所示，逐層卷積前后特征值通道不變，而逐點(diǎn)卷積由于涉及到通道之間的累加，所以卷積前后通道數(shù)會(huì)改變，因此數(shù)據(jù)的分割會(huì)發(fā)生在逐點(diǎn)卷積的輸出部分，即CVA與CVC計(jì)算陣列的輸出部分。若用Cfst_o表示倒殘差瓶頸模塊中第1層逐點(diǎn)卷積的輸出通道數(shù)，Ctrd_o表示第3層逐點(diǎn)卷積的輸出通道數(shù)，則可以得到分塊的次數(shù)DA和DC：

(1)

(2)

其中ceil表示向上取整函數(shù)。

得到分塊的次數(shù)后，可以將一幅圖像的加速處理操作抽象成如圖7所示的循環(huán)操作。其中需要考慮DA與DC循環(huán)的計(jì)算次序問題。圖7列出的2種計(jì)算次序分別是DA循環(huán)優(yōu)先和DC循環(huán)優(yōu)先，其中Layer_MAX表示MobileNet網(wǎng)絡(luò)的最大計(jì)算層數(shù)：Hlayer和Wlayer分別表示第layer層的特征值的行數(shù)和列數(shù)，則可以看出采取DC循環(huán)優(yōu)先的方式可以減少CVA與CVB陣列中的重復(fù)計(jì)算。

Figure 7 Two computing orders

3.7 設(shè)計(jì)空間搜索

為了驗(yàn)證本文設(shè)計(jì)的硬件加速器在不同硬件資源約束下的可伸縮性，定義了一個(gè)表征參數(shù)計(jì)算效率：

(3)

由于不同卷積神經(jīng)網(wǎng)絡(luò)加速器的實(shí)現(xiàn)會(huì)因資源占用以及使用的工藝不同導(dǎo)致工作頻率有差異，而計(jì)算效率這一參數(shù)可以拋開這2個(gè)差異，對(duì)加速器結(jié)構(gòu)的效率做出一個(gè)正確的評(píng)價(jià)。通過修改3.3節(jié)中提到的并行度參數(shù)(并行度直接反映出所用乘法器的數(shù)量)，可以得到如圖8所示的乘法器數(shù)量與計(jì)算效率之間的關(guān)系圖。可以看出，當(dāng)乘法器資源從0～4 000變化時(shí)，本文設(shè)計(jì)的計(jì)算架構(gòu)可以保持70%以上的計(jì)算效率，在這個(gè)范圍內(nèi)具有一定的可伸縮性。同時(shí)還可以發(fā)現(xiàn)，隨著硬件資源的增加其計(jì)算效率的最高值在下降，這是由于隨著并行度的增大而網(wǎng)絡(luò)的尺寸不變，那么在進(jìn)行小尺寸計(jì)算時(shí)(并行尺寸大于特征圖尺寸時(shí))則會(huì)出現(xiàn)部分資源閑置，從而使計(jì)算效率下降。

Figure 8 Relationship between multiplier occupation and calculation efficiency of hardware accelerator圖8 硬件加速器的乘法器占用與計(jì)算效率的關(guān)系

4 實(shí)驗(yàn)結(jié)果與分析

采用XILINX Zynq-7000 ZC706開發(fā)板作為實(shí)驗(yàn)平臺(tái)，實(shí)現(xiàn)了上述加速器。該開發(fā)板擁有218 600個(gè)LUT、545個(gè)Block RAM和900個(gè)DSP。下面將討論實(shí)現(xiàn)結(jié)果和性能比較。

本文采用的數(shù)據(jù)精度為16位定點(diǎn)，根據(jù)以上討論，并行計(jì)算陣列參數(shù)如表2所示，其中x在不同的模塊中分別可表示為a、b、c和add,而所占用的資源如表3所示，其中特征值緩存器的大小為12 Mb，而權(quán)值緩存器的大小為3.25 Mb。在該硬件加速器上完成了基于MobileNetV2的Hourglass網(wǎng)絡(luò)處理，該網(wǎng)絡(luò)被廣泛應(yīng)用于人體姿態(tài)識(shí)別。硬件加速器可工作在150 MHz的工作頻率下，且實(shí)現(xiàn)了6.11 ms處理一幅圖像的工作效率，而該網(wǎng)絡(luò)的計(jì)算量約為0.953 Gop，通過計(jì)算得到本文設(shè)計(jì)的硬件加速器的性能約為156 Gop/s，計(jì)算效率約為61%。計(jì)算效率略低于3.7節(jié)設(shè)計(jì)空間探索中所得到的70%，這是由于隨著網(wǎng)絡(luò)的層數(shù)加深，卷積的尺寸變小，通道數(shù)增加，數(shù)據(jù)分割后的單次計(jì)算時(shí)間小于單次計(jì)算所需要的權(quán)值的傳輸時(shí)間，因此即使使用乒乓緩存機(jī)制也無法隱藏傳輸時(shí)間，對(duì)計(jì)算效率造成了一定的影響。

表4給出了本文設(shè)計(jì)的硬件加速器與其他MobileNet加速器實(shí)現(xiàn)的對(duì)比結(jié)果，可以看出本文設(shè)計(jì)的硬件加速器在計(jì)算效率上優(yōu)于其他實(shí)現(xiàn)的。

Table 2 Parameters of parallel computing array

Table 3 Resource utilization

Table 4 Comparison of experimental results

5 結(jié)束語

本文提出了一個(gè)適用于MobileNet神經(jīng)網(wǎng)絡(luò)的硬件加速器結(jié)構(gòu)，其具有一定的可伸縮性，在不同的硬件資源開銷下能保持70%以上的計(jì)算效率，并用Hourglass-MobileNet網(wǎng)絡(luò)給予了驗(yàn)證。但是，該結(jié)構(gòu)仍存在著一些問題，例如在卷積尺寸較小時(shí)無法隱藏權(quán)值讀取時(shí)間，這是以后的工作中需要解決的問題。