一種基于Boosting的差分互補卷積網(wǎng)絡

李 超，柳 偉

（1.深圳信息職業(yè)技術學院 廣東省智能視覺工程技術研究中心，廣東 深圳518172；2.深圳大學 電子與信息工程學院，廣東 深圳 518060）

1 概述

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）作為深度學習方法的重要分支，由于其在圖像特征提取上的優(yōu)勢，越來越多的學者將基于CNN的圖像特征提取方法引入計算機視覺的下游任務中。CNN通過局部感知和參數(shù)共享，不僅有效地利用了圖像局部關聯(lián)性降低計算量，而且便于構建深層的網(wǎng)絡結(jié)構，通過對大量樣本的無監(jiān)督學習，自動提取更具鑒別性和魯棒性的特征。而這種強大的特征提取能力大部分依賴于網(wǎng)絡中卷積層的設計，卷積層的形式不僅可以在很大程度上決定整個網(wǎng)絡的性能；同時它也可以直接影響訓練過程的復雜度。因此，如何設計更有效的卷積層以提供更強大的特征表示是CNN網(wǎng)絡結(jié)構優(yōu)化研究中的核心問題之一。先前的一些研究試圖通過使用人工設計的策略對卷積層的形式進行擴展來生成豐富的特征表示。文獻[1]將寬度擴展策略應用于瓶頸結(jié)構，與原始的網(wǎng)絡相比，它顯示出更好的訓練穩(wěn)定性和可靠性。文獻[2，3]通過利用特定的稀疏結(jié)構擴展了濾波器的形式，進一步增強了卷積層的多尺度表示能力。但是，無論寬度卷積還是通道分組，當網(wǎng)絡結(jié)構變得越來越復雜時，這些策略往往會限制卷積層通道之間的信息流通并可能獲得一定的負增益。

受深度學習和集成學習緊密的相似性的啟發(fā)，例如，分組卷積可以認為是一種Bagging模型，而Res2Net也可以擬合成一種簡單的Boosting算法，因此從深度學習和集成學習的共有角度出發(fā)，設計了一個簡單而有效的類分組卷積單元，該單元幫助卷積神經(jīng)網(wǎng)絡通過利用相鄰分組之間的相互依賴性來提取更完整的特征表示并對其進行多尺度特征融合，從而避免大幅度調(diào)整當前的網(wǎng)絡架構。在通用圖像識別數(shù)據(jù)庫ImageNet和Cifar100的實驗研究表明，提出的基于Boosting 的差分互補卷積具有更高的識別精度，并且不會引入額外的參數(shù)量。

2 相關技術概述

2.1 Boosting

Boosting是集中學習中一種典型的架構，近些年在模式識別領域受到廣泛關注，該架構主要通過特定的策略將整體樣本集分成份不同的子樣本集，并在子樣本集中訓練出個簡單且性能一般的基學習器， 最后將這些基學習器集成擬合出一個高精度的估計[4，5，6]。在分類算法中， 每個基分類器代表著相對粗糙的分類規(guī)則，識別率相對較低，如決策樹個體，單層神經(jīng)網(wǎng)絡等，但它們在經(jīng)過加權融合之后就形成了一個強分類器，從而提高了該弱分類算法的識別率。而根據(jù)子集劃分的手段和集成策略不同，目前Boosting架構下算法變體有很多，其中以AdaBoost最具代表性。

AdaBoost算法的核心思想在于給定一個訓練集(x1， y1)， …， (xm， ym)，用均勻取樣的方式將訓練集上的分布指定為1/m，并按照該分布調(diào)用對應的基分類器進行訓練，每次訓練之后，根據(jù)基分類器的輸出更新訓練集上的分布，并按照新的樣本分布進行下一個基分類器的訓練，總共進行T輪迭代之后，最終得到一個基分類器的估計集，每個估計都具有一定的權重，最終的估計則是采用有權重的投票方式獲得。

綜上所述，在Boosting算法中，通過設定有效的樣本集劃分方式，并對樣本子集進行迭代更新，最后通過弱估計的融合提升算法的性能。同時該思想也適用于深度學習的卷積神經(jīng)網(wǎng)絡當中。

2.2 分組卷積

分組卷積旨在壓縮模型大小并提升網(wǎng)絡的特征表征能力。它將通道平均劃分為某些分組，并在不同分組中使用獨立的卷積運算。隨著卷積神經(jīng)網(wǎng)絡的快速發(fā)展，分組卷積的模式在之前的工作中得到了廣泛的探索。研究表明，分組卷積不僅可以看作是結(jié)構化的稀疏，而且還可以等同于特殊的正則化。在文獻[1]中，首次提出了分組卷積的概念，并使用分組卷積實現(xiàn)了在2個GPU上并行訓練特定的神經(jīng)網(wǎng)絡結(jié)構。隨后根據(jù)分組卷積的擴展版本的側(cè)重點不同可分為兩大類：網(wǎng)絡輕量化和網(wǎng)絡高效性。從輕量化的角度出發(fā)，文獻[7]引入了具有跳躍連接的深度可分離卷積層作為線性組合，從而在保證精度的同時大幅度減少了其參數(shù)量。此外，一種基于分組思想的隨機信道混洗方法[8]也使網(wǎng)絡的參數(shù)量得到進一步壓縮且一定程度上提升網(wǎng)絡性能。但是無論是深度可分離卷積還是通道混洗操作，都是在分組卷積后進行通道之間信息的交互，這被證實相較于在分組卷積中進行通道交互是一種更低效方式。從模型高效性的角度進行探索，文獻[2]根據(jù)通道將各個骨干塊平均劃分為一組具有相同拓撲孔結(jié)構濾波器，這種拆分變換合并的操作減少了參數(shù)量，并增強了模型特征表示的能力。為了再此基礎上更進一步，文獻[9]在單個分組卷積中采用分層式跳躍連接使模型能夠提取多尺度樣式的特征圖像。但是Res2Net的分層跳躍連接只是通過簡單的逐像素相加進行信息的交互，而沒深入探討相鄰分組之間的相關性。文獻[10]在Res2Net中引入注意力機制，利用空間和通道相關性進一步提升網(wǎng)絡性能。

綜上所述，單獨使用通道分組式卷積會因為每個通道獨立性劃分的限制，從而導致通道相關性的缺失，而在分組卷積過程中進行通道交互是一種提高分組卷積性能的有效策略，因此如何利用分組卷積去減少網(wǎng)絡參數(shù)并利用分組通道之間的相關性建模有效的信息交互方式以實現(xiàn)網(wǎng)絡的高效性是分組卷積亟待解決的問題之一。

3 基于Boosting的差分互補卷積

3.1 卷積結(jié)構

通過對不同通道之間特征圖的可視化分析，各組特征圖之間存在一定程度的相關性，因此采用Boosting和分組卷積的樣本集細分的思想，對每個批次的特征圖集合進行按通道劃分，并通過差分互補連接利用上一組的特征差異去增強并更新下一組輸入的特征表示，最后通過特征拼接來實現(xiàn)特征的多尺度融合。差分互補卷積結(jié)構圖如圖1所示。

圖1 差分互補卷積的結(jié)構圖

為了更好地理解所提議的差分互補卷積，下面以殘差網(wǎng)絡中經(jīng)典的瓶頸結(jié)構進行說明，差分互補瓶頸結(jié)構圖如圖2所示。

圖2 基于差分互補卷積的瓶頸結(jié)構

根據(jù)結(jié)構框圖，基于Boosting的差分互補卷積的邏輯步驟如下：

（1）在第一個1×1卷積之后，輸出特征圖X按照通道數(shù)被均勻地劃分為s個特征圖子集，每個分組上的特征子集空間形狀與X相等，且通道數(shù)僅為原來的1/s。為了控制參數(shù)量，除了第一個分組，每個特征子集都配備了單獨的3×3卷積運算；

（2）對這些特征圖進行分組之后，可以根據(jù)前一組的差分建立相鄰通道之間的信息交互連接，差分反映了前一組輸入和輸出之間差異的程度。將當前組的輸入更新為原始輸入和前一組差分的累加；

（3）根據(jù)不同組的卷積得到的不同尺度的特征圖，將輸出特征圖子集進行通道拼接，獲得新的特征圖Y。算法公式如式（1）。

綜上所述，差分互補卷積通過建立差分互補連接，使得每個分組的學習區(qū)域各有側(cè)重，即新的輸入將更加關注先前的差異區(qū)域，并形成像素級別的信息補充，從而使每一組的卷積提取的特征信息更加完整，一定程度上緩解了傳統(tǒng)卷積中的特征冗余；同時，隨著分組數(shù)的增加，濾波器的感受野也進一步豐富，例如第二組的感受野大小為3×3，第三組的感受野為3×3和5×5，因此在最后的特征融合的時候可以利用更多尺度的特征信息生成更精準的特征表示，從而提高網(wǎng)絡的性能。

3.2 參數(shù)平衡策略

我們通過殘差神經(jīng)結(jié)構設計了網(wǎng)絡，該結(jié)構優(yōu)化了多尺度表示能力和參數(shù)策略。因為在總通道保持恒定的情況下，增加特征分組的數(shù)量會獲得較少的參數(shù)和復雜性， 但也導致了相對較低的性能。因此，為了提高基準性能并保證參數(shù)的公平比較，差分互補卷積中使用與Res2Net類似的參數(shù)策略。s是組數(shù)，c是輸入通道數(shù)，w是用于控制精度和參數(shù)之間權衡的超參數(shù)。這種參數(shù)策略如表1所示。

表1 參數(shù)平衡策略

4 實驗及結(jié)果分析

4.1 實驗設計

實驗中使用的基準數(shù)據(jù)集為Cifar100[12]和ImageNet[13]。數(shù)據(jù)集的具體信息如表2所示。

表2 圖像分類數(shù)據(jù)集

CIFAR-100數(shù)據(jù)集由100個類別的圖像組成，其中包括5萬個訓練圖像和10k測試圖像的集合，而ImageNet是128萬個訓練圖像和50K驗證圖像的集合，由1K個類別組成。對于CIFAR-100數(shù)據(jù)集，訓練批次大小設置為128，并訓練200個epoch，在優(yōu)化過程中，使用SGD作為優(yōu)化器，其動量設置為0.9，權重衰減為5e-4。

對于ImageNet的數(shù)據(jù)預處理，我們在原始圖片上進行標準的尺寸裁剪和水平區(qū)域翻轉(zhuǎn)。同時我們利用平均信道減法對給定的輸入圖進行歸一化處理。此外，使用與文獻[2]相同的設置在ImageNet上訓練我們的模型，包括SGD優(yōu)化器，衰減1e-4，動量0.9，持續(xù)100個epoch的訓練周期；初始學習率設置為0.1，每30個epoch衰減10倍。 對于損失函數(shù)，采用了交叉熵損失，其定義如下：

4.2 實驗結(jié)果

為了初步驗證差分互補卷積的有效性，我們首先對一些廣泛使用的骨干網(wǎng)使用提出的差分互補卷積：ResNet，ResNetXt 和Res2NetXt，類似于標準做法[2]，我們只用差分互補卷積模塊替換了Bottleneck模塊中的3×3卷積層，同時保留了其他相同的網(wǎng)絡配置。表2顯示了在不同網(wǎng)絡中集成差分互補卷積模塊的CIFAR-100結(jié)果。與原始骨干網(wǎng)絡相比，我們的卷積模塊提高了所有基線模型的性能，特別是，當差分互補卷積替換掉ResNet中的3×3的卷積之后，網(wǎng)絡的Top-1準確率從79.60%提升為80.62%，提升幅度為1.02%，相同的提升在其他的常用網(wǎng)絡結(jié)構也能觀察到，這說明了差分互補連接分層級增強了內(nèi)部分組的輸入特征，同時顯著改善了每個卷積層的特征表述能力，初步證明了我們提出的差分互補卷積的有效性和可靠性。

表3 Cifar100的Top-1準確率

為了進一步探討我們的方法的優(yōu)越性能是否可以推廣到CIFAR以外更大的數(shù)據(jù)集。因此在ImageNet數(shù)據(jù)集上進行了一些實驗，與一些具有代表性的CNN結(jié)構進行了比較。表3顯示該模型是一種有效的性能改進方法，隨著可忽略參數(shù)量的增加，Top-1準確性達到77.62%，與ResNet相比增加了1.22%。另外，與一些注意力算法相比，該方法具有更強的特征表示能力，相對可觀的增益以及相似甚至更少的參數(shù)量。

表4 ImageNet的Top-1準確率

4.3 消融實驗

為了進一步探討不同分組數(shù)的差分互補卷積對基線模型的準確率的影響。消融實驗中采用的差分互補卷積具有兩種消融模式，分別是全復雜度模式和保留復雜度模式。全復雜度模式具體為在增加分組數(shù)時設置只改變維度s，從而直接增加模型的參數(shù)量進行測試，而對于保留復雜度測試，則是通過在增加分組數(shù)的同時調(diào)整第二維度W進行參數(shù)的控制，維持相似的參數(shù)量。所有消融實驗均在Cifar100上進行，同時為了保證對比公平，選擇Res2Net作為基準模型。表3顯示了在不同實驗配置下的CIFAR-100測試準確性和模型尺寸。從增加復雜度下的結(jié)果可以看出，隨著分組的增加，DCNet可以穩(wěn)定而可靠地獲得收益。 特別是，s = 4的性能從Res2Net的80.62%增加到DCNet的81.27%。而保留復雜度的結(jié)果可以看出，盡管網(wǎng)絡參數(shù)量的減少導致了Top-1準確率的下降，但是相比于Res2Net，在相同的分組數(shù)仍高出，表明了網(wǎng)絡的有效性和穩(wěn)定性，從實驗結(jié)果中觀察到在分組數(shù)為6， 8的時候性能增益不明顯，分析認為是CIFAR100數(shù)據(jù)集中的圖像太小，分組數(shù)過多無法補充更細致的信息以生成更多的多尺度特征組合。

表5 消融實融

4.4 類激活可視化

為了探索DCNet的特征表示能力，我們利用Grad-CAM[11]進行觀察性的類激活映射（CAM），該方法最常用于標注顯著區(qū)域以進行圖像分類，高亮部分為注意力區(qū)域。實驗所采用網(wǎng)絡均在ImageNet上訓練完畢，采用18層的網(wǎng)絡作為標準。從圖3可以直觀觀察到，與Res2Net相比，基于DCNet的CAM示例在圖像區(qū)域上具有更精準的激活圖，在電車圖中，Res2Net過多的聚焦于道路區(qū)域，而DCNet則可以更精準地注意車體本身，而減少對于干擾因素的激活。同樣的現(xiàn)象也能在茶壺圖片中發(fā)現(xiàn)，Res2Net僅激活了其中的兩個茶壺，而其余則被標注為較淺的區(qū)域，而DCNet則可以聚焦在4個茶壺。這表明DCNet通過差分互補卷積具有更好的特征表示能力?？梢杂^察到無論是Res2Net還是DCNet，均無法完全囊括整個區(qū)域，這是因為18層的網(wǎng)絡的特征提取能力相對較弱的性能。

圖3 基于差分互補卷積的瓶頸結(jié)構

5 結(jié)語

本文提出了基于Boosting的差分互補卷積模塊作為分組卷積的擴展版本，可以利用差分信息多層級增強內(nèi)部分組輸入特征，并顯著提高卷積層的多尺度表示能力，同時可以輕松地將其集成到常用的骨干網(wǎng)絡中。實驗結(jié)果表明，差分互補卷積巧妙地結(jié)合了集成學習和深度學習的共同理念，可以改善卷積神經(jīng)網(wǎng)絡的特征轉(zhuǎn)換能力，并提高圖像分類任務的準確率。因此可以進一步探索集成學習和深度學習的結(jié)合。