基于特征圖分塊偏移的二值化卷積神經(jīng)網(wǎng)絡(luò)*

張邦源，沈 韜，曾 凱

（昆明理工大學(xué)，云南 昆明 650500）

0 引言

隨著深度學(xué)習(xí)[1]的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在計算機視覺、自然語言處理、語音識別等領(lǐng)域都取得了顯著進展，并且CNN 已被證明在圖像分類[2-6]、目標檢測[7-10]和語義分割[11-13]等領(lǐng)域是可靠的，因此在實踐中得到了廣泛的應(yīng)用。

為了追求更高的精度，近年來，CNN 模型的計算規(guī)模變得更加龐大，網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜、不規(guī)則且參數(shù)量巨大，對運算平臺的存儲容量和計算能力也提出了較高的要求，這就限制了CNN 等算法在功耗和性能受限的嵌入式平臺上的發(fā)展。

因此，很多研究人員開始提出各種模型壓縮算法和技術(shù)，即容忍一定的精度下降，來降低CNN的運算強度和模型參數(shù)量。其中，量化模型由于在硬件上移植會非常方便，因此神經(jīng)網(wǎng)絡(luò)模型的量化是一項有效的解決方案。神經(jīng)網(wǎng)絡(luò)二值化能夠最大限度地降低模型的存儲占用和模型的計算量，將神經(jīng)網(wǎng)絡(luò)中原本32 位浮點數(shù)參數(shù)量化至1 位定點數(shù)，降低了模型部署的存儲資源消耗，同時極大加速了神經(jīng)網(wǎng)絡(luò)的推斷過程。二值化神經(jīng)網(wǎng)絡(luò)（Binarized Neural Network，BNN）由于可以實現(xiàn)極高的壓縮比和加速效果，所以它是推動以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能模型，在資源受限和功耗受限的移動端設(shè)備和嵌入式設(shè)備上落地應(yīng)用的一種非常有潛力的技術(shù)。

二值化神經(jīng)網(wǎng)絡(luò)最初源于Courbariaux 的BinaryNet[14]，在近幾年的發(fā)展中，各種二值化的優(yōu)化方法被不斷提出，如XNOR-Net[15]、BNN+[16]、BinaryDenseNet[17]、Bi-Real Net[18]、MeliusNet[19]、IRNet[20]、ReActNet[21]等。

二值化神經(jīng)網(wǎng)絡(luò)的提出是為了解決現(xiàn)階段神經(jīng)網(wǎng)絡(luò)存在的浮點運算冗余、運算速度低、對硬件設(shè)備內(nèi)存占用過高的問題。研究者期望無須借助片外存儲設(shè)備，通過二值化處理就可以將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用在資源受限的硬件設(shè)備上，從而提高網(wǎng)絡(luò)模型計算的實時性。事實上，早在20 世紀50 年代，研究者提出的人工神經(jīng)網(wǎng)絡(luò)模型就是一種二值神經(jīng)網(wǎng)絡(luò)，但是二值神經(jīng)網(wǎng)絡(luò)一直受困于缺乏有效的反向傳播算法。相比之下，全精度神經(jīng)網(wǎng)絡(luò)因為有精確的梯度下降算法，可以很好地完成深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，從而取代二值化神經(jīng)網(wǎng)絡(luò)成為神經(jīng)網(wǎng)絡(luò)研究中的主流。

直到2015 年，Courbariaux 等人[22]提出的BinaryConnect，第一次把全精度網(wǎng)絡(luò)中的權(quán)重進行1 bit 量化，這為二值化卷積神經(jīng)網(wǎng)絡(luò)的誕生打下了基礎(chǔ)。Courbariaux 等人[14]在另一篇文章中進一步介紹了BNN，在BinaryConnect 中只將權(quán)重量化到了1 bit，而BNN 進一步將激活值也變成1 bit，既減少了內(nèi)存消耗，也將許多乘加操作簡化成了按位操作XNOR-Count。以上二值化方法具有節(jié)省計算資源的優(yōu)點，因為它們以非常簡單的方式量化網(wǎng)絡(luò)。但是，由于不考慮二值化在前向和反向過程中的影響，這些方法不可避免地會在很多任務(wù)中造成精度損失。

近年來，研究人員從不同方向入手，對二值化卷積神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，使其得到了較大發(fā)展?？紤]到權(quán)重二值量化的誤差，Rastegari 等人[15]提出了XNOR-Net，引入尺度因子縮小二值化的權(quán)重與全精度權(quán)重的誤差，并將網(wǎng)絡(luò)中第一層和最后一層保留為全精度權(quán)重，同時改變網(wǎng)絡(luò)中的卷積層和批歸一化（Batch Normalization，BN）層的順序，在alexnet 上將權(quán)重量化到1 bit 時，能夠達到跟浮點權(quán)重一樣的性能。BinaryDenseNet、Bi-Real Net和MeliusNet 的3 篇論文[17-19]在網(wǎng)絡(luò)結(jié)構(gòu)中加入shortcut 和concat 操作，增強模型的質(zhì)量和容量，從而提升性能。Qin 等人[20]提出的IR-Net 用一個自適應(yīng)誤差衰減估計器（Error Decay Estimator，EDE）來減少訓(xùn)練中的梯度誤差，并用其他可微的函數(shù)來代替Sign函數(shù)，并且在訓(xùn)練過程中不斷地逼近真正的Sign，使得整個訓(xùn)練過程中梯度傳遞得更加平滑。

雖然二值化卷積神經(jīng)網(wǎng)絡(luò)近年來得到巨大發(fā)展，但是其中依舊存在一些問題沒有得到太多的關(guān)注，例如：

（1）二值化卷積神經(jīng)網(wǎng)絡(luò)中特征圖的負值信息是否同樣重要？在降采樣層使用最大池化（MaxPooling）操作進行降采樣時，只保留了池化塊中的最大值，而這個值一般是大于0 的，這樣就導(dǎo)致降采樣層特征圖負值信息的丟失。

（2）二值化網(wǎng)絡(luò)中，全精度特征圖在進行二值化操作時，對于分布不均的特征圖，在數(shù)值較小的區(qū)域會全被二值化為-1，數(shù)值較大的區(qū)域則被二值化為+1，如此二值化后的特征圖在局部將無法保留細節(jié)特征。

鑒于國內(nèi)外研究中存在的問題，本文有針對性地做出了研究，主要貢獻有以下3 點：

（1）提出了一種新的池化方法——最小池化（MinPooling），即在池化操作時，保留每個池化塊中最小的值，并結(jié)合最大池化和最小池化設(shè)計出一種新的降采樣層，有效保留了特征圖中的正負值信息。

（2）提出特征圖分塊偏移二值化，通過改變?nèi)忍卣鲌D的分布，使二值化卷積神經(jīng)網(wǎng)絡(luò)得到保留了細節(jié)信息的二值化特征圖，提高了二值化網(wǎng)絡(luò)的特征提取能力。

（3）為了驗證二值化卷積神經(jīng)網(wǎng)絡(luò)中負值信息與正值信息擁有同樣的重要性，本文進行了大量實驗。實驗表明，在降采樣層使用最大和最小池化比僅使用最大池化或者僅使用最小池化效果更好。實驗還驗證了特征圖分塊偏移二值化對網(wǎng)絡(luò)性能的提升。在CIFAR100 數(shù)據(jù)集上，本文提出的方法比目前所有的二值化網(wǎng)絡(luò)提升了3.08%的準確率，與全精度網(wǎng)絡(luò)的準確率差距僅有1.37%。通過消融實驗證明，相對于基準模型，使用最大最小池化提升了2.47%的準確率，使用特征圖分塊偏移二值化提升了0.98%的準確率，兩者同時使用提升了3.72%的準確率。

1 二值化卷積神經(jīng)網(wǎng)絡(luò)

在全精度卷積神經(jīng)網(wǎng)絡(luò)中，卷積核權(quán)重和中間層的激活值都是32 位浮點型的。二值化卷積神經(jīng)網(wǎng)絡(luò)在全精度網(wǎng)絡(luò)的全精度卷積核的權(quán)重和激活值二值化為{+1,-1}。

在卷積神經(jīng)網(wǎng)絡(luò)的前向推理過程中，卷積運算包含了大量的浮點運算，包括浮點乘法和浮點加法。大量的浮點運算造成了卷積神經(jīng)網(wǎng)絡(luò)在前向推理過程中效率低下的問題，并且32 位浮點數(shù)權(quán)重需要占用較大的存儲空間。卷積神經(jīng)網(wǎng)絡(luò)的二值化方法有以下優(yōu)勢：

（1）能夠有效減少存儲消耗。相比全精度網(wǎng)絡(luò)的32 位浮點數(shù)權(quán)重，量化到{+1,-1}的二值化卷積神經(jīng)網(wǎng)絡(luò)在實際部署模型時，每個權(quán)重僅占用1 bit，可以達到32 倍的存儲空間壓縮。

（2）降低卷積計算復(fù)雜度。當權(quán)重和激活值量化為{+1,-1}時，網(wǎng)絡(luò)中卷積層的大量浮點乘法操作可以使用位運算代替，從而能夠大幅度提高計算速度，降低計算能耗，并且利于現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）等硬件的部署。

1.1 二值化函數(shù)

網(wǎng)絡(luò)二值化的目標是通過二值化函數(shù)權(quán)值和激活值量化為{+1,-1}。二值化方法主要有確定型（Deterministic）和隨機型（Stochastic）兩種。其中確定型方法采用符號函數(shù)作為二值化函數(shù)，即大于等于0 時為+1，小于0 時則為-1，可以表示為：

式中：x為網(wǎng)絡(luò)模型中全精度的特征值（或權(quán)重）；xb為二值化后的特征值（或權(quán)重）；Sign是符號函數(shù)。

另一種方法是隨機型，即以一定的概率進行二值化。隨機型方法利用概率生成函數(shù)σ生成輸入數(shù)據(jù)x取值的概率圖，然后根據(jù)概率圖決定x的量化輸出，其中概率生成函數(shù)σ使用“hard sigmoid”函數(shù)，則其計算方式為：

式中：x為網(wǎng)絡(luò)模型中全精度的特征值（或權(quán)重）；min 表示取最小函數(shù)；max 表示取最大函數(shù)；clip為截取函數(shù)；σ為得到的概率生成函數(shù)。

隨機式二值化方法的二值化函數(shù)為：

式中：x為網(wǎng)絡(luò)模型中全精度的特征值（或權(quán)重）；xb為二值化后的特征值（或權(quán)重）；σ為得到的概率生成函數(shù)；p為全精度值量化為+1 的概率。

隨機二值化比符號函數(shù)更具吸引力，但需要額外的計算，而且硬件難以實現(xiàn)，因為它需要硬件產(chǎn)生隨機比特。相比隨機式方法，確定式方法更利于硬件部署，所以本文采用確定式方法作為二值化激活方法。

1.2 二值化卷積

二值化卷積是二值化卷積神經(jīng)網(wǎng)絡(luò)的重要組成單元之一，對于一個全精度的卷積神經(jīng)網(wǎng)絡(luò)，假設(shè)其某一層的輸入特征圖為I，該卷積層的權(quán)重為W，二值化后得到的特征圖為Ib，權(quán)重為Wb。為了近似全精度的權(quán)重，減少量化誤差，XNOR-Net 提出全精度的縮放因子α，并使用二值的權(quán)重以及一個縮放因子代替全精度的權(quán)重，即W ≈αWb，則二值化的卷積為：

式中：Z為二值化卷積的輸出特征圖；?表示卷積運算；⊕表示沒有乘法的卷積計算。

縮放因子α的計算公式為：

縮放因子的引入使二值化卷積神經(jīng)網(wǎng)絡(luò)能更接近全精度的卷積神經(jīng)網(wǎng)絡(luò)，但這樣做增加了網(wǎng)絡(luò)中的浮點運算。

1.3 二值化網(wǎng)絡(luò)的訓(xùn)練

與訓(xùn)練全精度神經(jīng)網(wǎng)絡(luò)模型類似，在訓(xùn)練二值化卷積神經(jīng)網(wǎng)絡(luò)時，仍然可以直接采用基于梯度下降的反向傳播（Back Propagation，BP）算法來更新參數(shù)。然而，二值化函數(shù)（如Sign函數(shù)）通常是不可微的，函數(shù)的部分導(dǎo)數(shù)值會消失，如Sign函數(shù)導(dǎo)數(shù)值幾乎都為0。因此，常用的基于梯度下降的BP算法不能直接用于二進制權(quán)值的更新。

Hinton 等人[23]提出一種名為直接估計器（Straight-Through Estimator，STE）的技術(shù)，用于解決符號函數(shù)二值化訓(xùn)練深度網(wǎng)絡(luò)時出現(xiàn)的梯度消失問題。STE 的定義如下：

通過STE，可以使用與全精度神經(jīng)網(wǎng)絡(luò)相同的梯度下降法，直接訓(xùn)練二值神經(jīng)網(wǎng)絡(luò)。但由于Sign的實際梯度與STE 之間存在明顯的梯度不匹配，極易導(dǎo)致反向傳播誤差積累的問題，致使網(wǎng)絡(luò)訓(xùn)練偏離正常的極值點，使得二值網(wǎng)絡(luò)優(yōu)化不足，從而嚴重降低性能。對于近似Sign函數(shù)梯度的方波梯度，除了[-1,+1]范圍之內(nèi)的參數(shù)梯度不匹配外，還存在[-1,+1]范圍之外的參數(shù)將不被更新的問題。精心設(shè)計的二值化近似函數(shù)可以緩解反向傳播中的梯度失配問題。Bi-RealNet 提供了一個自定義的近似Sign函數(shù)ApproxSign，來替換Sign函數(shù)，進行反向傳播中的梯度計算。該梯度以三角波形式近似Sign函數(shù)的梯度，擁有與沖激函數(shù)更高的相似度，因而更貼近于Sign函數(shù)梯度的計算。

2 二值化卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化

本文主要研究二值化卷積神經(jīng)網(wǎng)絡(luò)在降采樣層保留負值特征信息的重要性和在特征圖二值化激活時特征圖局部信息丟失的問題。針對第一個問題，本文提出了新的池化方法——最大最小池化（Max-MinPooling）；針對第二個問題，提出了基于特征圖分塊偏移的二值化方法。

2.1 多分支的二值化卷積神經(jīng)網(wǎng)絡(luò)

多分支與單路二值化卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示。

圖1 多分支與單路二值化卷積神經(jīng)網(wǎng)絡(luò)

從圖1 可以看出，在多分支的二值化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，shortcut 結(jié)構(gòu)在兩個基本塊之間傳遞了浮點特征信息，增加了網(wǎng)絡(luò)的信息流，但這樣的結(jié)構(gòu)中，網(wǎng)絡(luò)需要額外的空間來存儲全精度的特征值。然而，在單路的結(jié)構(gòu)中，網(wǎng)絡(luò)在卷積求出浮點特征值后，可以立即進行二值化，不需要再對浮點特征值進行存儲，減少了硬件的存儲開銷，并且在單路的二值化卷積神經(jīng)網(wǎng)絡(luò)中，可以在模型訓(xùn)練結(jié)束后，將BN 層以及二值激活層進行合并，從而有效簡化模型，提高運算效率，具體合并方法在3.4節(jié)中詳細介紹。

2.2 最大最小池化

在卷積神經(jīng)網(wǎng)絡(luò)的下采樣層，圖像分辨率會直接降低4 倍，這個過程中的信息損失是不可逆的，而在二值化卷積神經(jīng)網(wǎng)絡(luò)中，會存在更加嚴重的信息丟失。目前的二值化卷積神經(jīng)網(wǎng)絡(luò)有以下兩種常用的下采樣操作：

（1）最大池化作為下采樣層。最大池化只取覆蓋區(qū)域中的最大值，其他的值都丟棄。最大池化操作在不增加額外卷積運算和參數(shù)的前提下減小輸入大小，使得神經(jīng)網(wǎng)絡(luò)能夠?qū)Ｗ⒂谧钪匾脑?。在全精度的網(wǎng)絡(luò)中，通常認為最重要的元素是最大的數(shù)，但在一個特征圖中，往往會出現(xiàn)在一個池化塊里最大數(shù)并非絕對值最大的情況。不同于全精度網(wǎng)絡(luò)，二值化卷積神經(jīng)網(wǎng)絡(luò)中負值的特征值也是至關(guān)重要的，而最大池化卻忽略了負值特征信息。

（2）使用步長為2 的卷積層來進行下采樣。這種方法可以保留更多的信息。在目前的二值化卷積神經(jīng)網(wǎng)絡(luò)中，通常使用全精度的卷積來計算，避免造成較大的精度損失，但這樣又帶來了大量的全精度卷積運算和額外的存儲空間消耗。

在二值化卷積神經(jīng)網(wǎng)絡(luò)中，特征圖中的正負值是帶有等量的信息的，所以不能只關(guān)注正值特征信息，而最大池化在每個池化塊中只保留了最大值，池化后的結(jié)果大部分為正，主要保留了特征圖中的正值信息，這樣會導(dǎo)致大量的負值信息丟失?；诖?，本文提出了一種新的池化方法——最小池化，如圖2 所示，即在池化操作時，保留每個池化塊中最小的值?；诖?，結(jié)合最大池化和最小池化設(shè)計出一種新的降采樣層——最大最小池化（Max-MinPooling），有效保留了特征圖中的正負值信息。

圖2 最大池化及最小池化

如圖3 所示，在降采樣層分別使用最大池化和最小池化，并將兩種池化后的結(jié)果拼接在一起，作為降采樣層的輸出。

圖3 基于最大最小池化方法的降采樣層

2.3 特征圖分塊偏移二值化

卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)在特性是學(xué)習(xí)從輸入圖像到輸出的映射。一個性能良好的二值化卷積神經(jīng)網(wǎng)絡(luò)應(yīng)該擁有與全精度網(wǎng)絡(luò)接近的學(xué)習(xí)能力。然而，離散的量化值限制了二值化卷積神經(jīng)網(wǎng)絡(luò)像全精度網(wǎng)絡(luò)一樣學(xué)習(xí)豐富的分布表示。為了解決這一問題，XNOR-Net 引入了縮放因子，將權(quán)重的分布近似于全精度網(wǎng)絡(luò)；IR-Net 提出Libra-PB 將權(quán)重量化值的量化誤差和二值參數(shù)的信息熵同時作為優(yōu)化目標。

不同于關(guān)注對權(quán)重的優(yōu)化，本文的研究關(guān)注對二值化特征圖分布的優(yōu)化。在全精度特征圖中添加一個微小的偏移，會導(dǎo)致絕對值較小的部分特征值符號發(fā)生改變，這會極大地影響二值化后特征圖的+1,-1 分布，進而影響網(wǎng)絡(luò)最終性能。但在訓(xùn)練一個網(wǎng)絡(luò)之前是無法提前找到合適的偏移量并設(shè)置在網(wǎng)絡(luò)中的，所以在二值化前的全精度特征值中引入了可學(xué)習(xí)的偏移，以增強二值卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)二值特征圖分布的能力，減少特征圖二值化過程中的信息丟失。加入偏移后的二值函數(shù)可以表示為：

式中：x為網(wǎng)絡(luò)模型中全精度的特征值（或權(quán)重）；Sign為符號函數(shù)；b為特征圖的偏移量。

在全精度網(wǎng)絡(luò)中，因為權(quán)重和激活是連續(xù)的實值，對特征圖的微小偏移量只會使特征圖平移，并不會改變特征圖的整體分布。然而，對于二值化網(wǎng)絡(luò)來說，因為二值化網(wǎng)絡(luò)的激活值只能是{-1,+1}，在符號函數(shù)上加入一個小的偏移，可能會輸出完全不同的二值化特征圖，這將直接影響二值化特征圖的信息量，對最終的準確性產(chǎn)生重大影響。

為了更直觀地說明，繪制了實值輸入特征圖及二值化特征圖，如圖4。

圖4 偏移量對二值特征圖的影響

從圖4 可以看出，未偏移的二值特征圖中眼睛和嘴巴附近有嚴重的細節(jié)信息丟失，加偏移的二值特征圖能有效地改善未偏移的二值特征圖中的信息丟失問題，但卻完全丟失了左手的信息。因此，對全精度特征值進行的偏移雖然在一定程度上改善了二值化激活中信息丟失的問題，但局部的細節(jié)信息丟失卻是無法避免的?；诖藛栴}，如圖4（a），如果將特征圖分塊，在每一塊中使用不同的分布偏移，這樣在顏色較淺（特征值較大）的區(qū)域加上正偏移量，在顏色較深（特征值較?。┑膮^(qū)域加上負偏移量，就能保證二值化時不會出現(xiàn)局部特征值全為+1 或-1 的情況，有效保留了特征圖局部細節(jié)信息，從而得到保留了更多細節(jié)信息的二值化特征圖。如圖5，分塊二值化的二值特征圖更好地保留了特征圖信息。

圖5 基于特征圖分塊偏移的二值化特征圖

圖6 展示了一個更明顯的例子，可以看出，未偏移的二值特征圖中的臉部信息基本完全丟失；加偏移的二值特征圖中鼻子附近有所改善，但信息丟失依舊嚴重；特征圖分塊偏移的二值特征圖中保留了人臉上的細節(jié)信息。因此，對于特征值分布不均的全精度特征圖，使用分塊偏移的二值化方法效果更好。

圖6 使用不同方法得到的二值化特征圖對比

2.4 BN 層與二值化激活層的融合

對于BN 層，需要先計算一個minibatch 中元素的均值方差，然后對于x需要減去均值μ除以標準差，最后利用縮放因子γ和偏移β進行仿射變換，即可得到最終的BN 輸出，具體過程如下：

式中：xi為BN 前的特征值；x^i為特征值進行標準差標準化后的值。

BN 層與二值化激活層的融合為：

式中：yi為BN 后的輸出特征值；t為BN 層與二值化激活層融合后，二值量化的新閾值。

二值化卷積的輸出特征值xi為[-9,+9]區(qū)間內(nèi)的整數(shù)，可以將t向上取整，則有：

式中：Ceil()為向上取整函數(shù)。BN 層和二值化激活層融合后可表示為：

其中，Sign(γ)和tI均可在模型訓(xùn)練好后求出，這樣就簡化了網(wǎng)絡(luò)的前向傳播過程，即只需將二值化卷積計算出的特征值和提前計算好的二值化閾值進行比較，即可得到二值化的特征值。

3 實驗結(jié)果及分析

為了驗證本文提出的方法的有效性，使用Vggsmall 作為基準模型，對其進行二值化。Vggsmall是VGG 在小數(shù)據(jù)集上的衍生模型，包含了6 個卷積層和1 個全連接層，采取3 次下采樣。相比VGG 系列模型，Vggsmall具有更淺的網(wǎng)絡(luò)層和更少的參數(shù)量，在小數(shù)據(jù)集中擁有更高的參數(shù)效率。將Vggsmall 中除第一層卷積層和全連接層外全部進行二值化，得到本節(jié)實驗采用的二值化網(wǎng)絡(luò)模型，如圖7 所示，并在4 個常用的小型數(shù)據(jù)集MNIST[24]、SVHN[25]、CIFAR-10、CIFAR-100[26]上訓(xùn)練和測試該模型。為了更客觀地評價所提方法的有效性，將使用上述方法得到的實驗結(jié)果與經(jīng)典的二值化模型進行比較，評價指標是準確率（Accuracy），計算方法是預(yù)測正確的樣本數(shù)除以總樣本數(shù)。

圖7 二值化VGG-Small 結(jié)構(gòu)

3.1 MNIST 和SVHN 數(shù)據(jù)集上的實驗結(jié)果

在MNIST 和SVHN 數(shù)據(jù)集上進行實驗的結(jié)果如表1 所示，在MNIST 數(shù)據(jù)集上，本文模型達到了98.63%的準確率，與其他二值化模型相比，本文模型基本能夠保持同樣的精度，而且在模型大小上本文模型小于其他模型。

表1 MNIST 數(shù)據(jù)集與SVHN 數(shù)據(jù)集的實驗結(jié)果

3.2 CIFAR-10 和CIFAR-100 數(shù)據(jù)集上的實驗結(jié)果

在CIFAR-10 和CIFAR-100 數(shù)據(jù)集上的實驗結(jié)果如表2 所示。在CIFAR-10 數(shù)據(jù)集上，本文模型取得了91.27%的準確率，與全精度的網(wǎng)絡(luò)僅相差0.63%；在CIFAR-100 數(shù)據(jù)集上，本文模型取得了71.86%的準確率，與全精度的網(wǎng)絡(luò)僅相差0.37%。與其他二值化模型相比，本文模型取得了更好的效果，超越了BNN、XNOR 這種同樣沒有額外分支的二值化模型。此外，ReActNet、IR-Net、Bi-RealNet-18 這類模型在CIFAR 數(shù)據(jù)集上存在過擬合現(xiàn)象，本文模型因為沒有了額外分支，在這種小型數(shù)據(jù)集上有效避免了過擬合。因此，本文模型不僅在模型大小上有一定的優(yōu)勢，而且在精度上也得到了提升。在CIFAR-100 數(shù)據(jù)集上實驗得到的損失曲線和準確率曲線如圖8 和圖9 所示。

表2 CIFAR-10 數(shù)據(jù)集與CIFAR-100 數(shù)據(jù)集的實驗結(jié)果

3.3 CIFAR-100 數(shù)據(jù)集實驗結(jié)果

為了驗證本文提出的最大最小池化和特征圖分塊偏移二值化在模型中的提升效果，本文在CIFAR-100 數(shù)據(jù)集上進行了大量的對比實驗。

3.3.1 不同特征圖分塊大小的實驗結(jié)果

上文提出對全精度特征圖分塊后進行不同程度的偏移再二值化，能夠在二值化特征圖中有效保留局部細節(jié)信息，提升二值化卷積神經(jīng)網(wǎng)絡(luò)的性能。而特征圖分塊方式與大小影響了二值化的性能，因此對不同的分塊方式進行了對比實驗。

（1）實驗1。無論特征圖大小，統(tǒng)一按照一定的塊尺寸對特征圖分塊，按照2×2，4×4，8×8，16×16 4種不同尺寸分塊得到的實驗結(jié)果如表3 所示。從實驗結(jié)果可以看出，使用該分塊方式時，將特征圖按照8×8 尺寸分塊得到的效果最優(yōu)。

（2）實驗2。根據(jù)特征圖大小，將尺寸較大的特征圖分成較大的塊，將尺寸較小的特征圖分成較小的塊，即按照一定的比例將特征圖分塊，實驗結(jié)果如表4 所示。從實驗結(jié)果可以看出，使用該分塊方式時，特征圖按照(H/2)×(W/2)（H和W分別代表特征圖的高度和寬度）分塊得到的效果最優(yōu)。根據(jù)以上實驗結(jié)果，第2 種分塊方式優(yōu)于第1 種分塊方式。

表4 特征圖按不同比例分塊得到的準確度對比

3.3.2 不同池化方式的實驗結(jié)果

VGG-small 網(wǎng)絡(luò)在每一次降采樣操作之后的卷積層進行通道數(shù)擴張，Max-MinPooling 在降采樣層進行了通道數(shù)擴張。為了排除降采樣層擴張通道數(shù)這一操作的影響，本文使用不同降采樣方法做對比實驗，實驗結(jié)果如表5 所示。從實驗結(jié)果可以看出，降采樣層擴張通道數(shù)能夠給網(wǎng)絡(luò)帶來一定的增益，使用最大最小池化方法明顯優(yōu)于僅使用最大池化或者最小池化。

表5 不同降采樣方法下模型準確率對比

3.3.3 消融實驗

為了驗證所提方法的有效性，對兩種方法進行了消融實驗，實驗結(jié)果如表6 所示。由表6 可知，本文提出的兩種方法都為二值化卷積神經(jīng)網(wǎng)絡(luò)帶來了增益。

表6 消融實驗設(shè)置及對應(yīng)準確率對比

4 結(jié)語

本文提出了一種基于特征圖分塊偏移激活的二值化卷積神經(jīng)網(wǎng)絡(luò)，解決了二值化卷積神經(jīng)網(wǎng)絡(luò)中信息丟失的問題。本文所提出的最大最小池化方法，充分考慮了二值化卷積神經(jīng)網(wǎng)絡(luò)中正負值信息的重要性，有效減少了二值化卷積神經(jīng)網(wǎng)絡(luò)中降采樣層的信息損失。此外，本文提出的特征圖分塊偏移的二值化方法，關(guān)注了特征圖的細節(jié)信息，保留了特征圖二值化激活過程中的局部細節(jié)信息，有效增強了二值化網(wǎng)絡(luò)學(xué)習(xí)特征圖分布的能力。在公開數(shù)據(jù)集CIFAR-100 上的實驗表明，本文提出的方法提高了二值化卷積神經(jīng)網(wǎng)絡(luò)模型的性能。

考慮到二值化網(wǎng)絡(luò)提出的最初目的，就是在性能受限的嵌入式平臺上實現(xiàn)深度學(xué)習(xí)算法的部署，未來的工作將針對FPGA 特性進行網(wǎng)絡(luò)模型優(yōu)化，將模型移植到FPGA 開發(fā)板上。