交叉連接的少層殘差卷積神經(jīng)網(wǎng)絡(luò)

李國強，陳文華，高 欣

(燕山大學(xué) 智能控制系統(tǒng)與智能裝備教育部工程研究中心，河北 秦皇島 066004) (燕山大學(xué) 河北省工業(yè)計算機控制工程重點實驗室，河北 秦皇島 066004)

1 引 言

近年來，隨著眾多學(xué)者對人工智能(AI)的不斷研究，基于深度學(xué)習(xí)[1]的人工智能技術(shù)已成功地應(yīng)用于語音識別[2]，自然語言處理[3]，計算機視覺等領(lǐng)域.在許多視覺識別任務(wù)中，深度卷積神經(jīng)網(wǎng)絡(luò)都具有良好的效果，如圖像分類[4]，圖像檢索[5]、目標(biāo)檢測[6]和語義分割[7]等.經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)從VGG[8]，Inception[9-11]，ResNet[12]發(fā)展到DenseNet[13]，其間也涌現(xiàn)出很多其他卷積神經(jīng)網(wǎng)絡(luò).

2012年的ImageNet競賽中，AlexNet[14]網(wǎng)絡(luò)獲得冠軍，也是卷積神經(jīng)網(wǎng)絡(luò)第一次被嘗試應(yīng)用在圖像處理上并獲得廣泛關(guān)注.2014年的ImageNet競賽中，VGG網(wǎng)絡(luò)作為定位任務(wù)中的基礎(chǔ)框架獲得冠軍，當(dāng)時網(wǎng)絡(luò)深度(卷積層層數(shù))被認(rèn)為是VGG網(wǎng)絡(luò)取得良好效果的重要因素.Network-In-Network(NIN)利用多層感知機(Multilayer Perceptron)來提高圖像分類的準(zhǔn)確率，多層感知機由全連接層和非線性函數(shù)組成.上述表明卷積神經(jīng)網(wǎng)絡(luò)的深度和寬度是改善網(wǎng)絡(luò)性能的兩個關(guān)鍵因素，但是隨著網(wǎng)絡(luò)越來越深，訓(xùn)練會變得困難并且會出現(xiàn)過擬合問題.為了解決這個問題，Srivastava等人提出了Highway Networks，它使用一種學(xué)習(xí)門機制(a learned gating mechanism)讓信息在幾個卷積層之間有效傳遞.隨后，He等人提出ResNet，應(yīng)用恒等映射來實現(xiàn)殘差學(xué)習(xí)，它使不同卷積層間有規(guī)律連接起來.不久后，密集網(wǎng)絡(luò)(DenseNet)的作者將這種方法的作用發(fā)揮到極致，使每一層都和之前的層相連接.

隨著ResNet變得越來越受歡迎，許多改進版逐漸出現(xiàn).Wide Residual Network(WRN)[15]網(wǎng)絡(luò)通過增加通道數(shù)來加寬網(wǎng)絡(luò).ResNeXt[16]提出的基數(shù)(cardinality)超參數(shù)為調(diào)整模型容量提供了一種新方法.Huang等人提出了Stochastic Depth residual networks(SD ResNets)[17]，極大降低了模型訓(xùn)練時間，SD ResNets在訓(xùn)練過程中隨機去掉(drop)一些卷積層，但是在測試的時候不會這樣做，同時說明一些卷積層可能是冗余的.

當(dāng)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用跨層連接時，它的性能可以得到很大的提升，變得更加準(zhǔn)確和高效，訓(xùn)練也會變得容易.在殘差網(wǎng)絡(luò)(ResNet)的啟發(fā)下，文章設(shè)計了兩種新型卷積神經(jīng)網(wǎng)絡(luò)框架(C-FnetO和C-FnetT)，它們采用了全新的交叉跨層連接布局方式并具有較少的卷積層層數(shù).C-FnetO網(wǎng)絡(luò)和C-FnetT網(wǎng)絡(luò)中不僅相鄰模塊間具有連接線，在模塊內(nèi)部還設(shè)有跨層連接線，有利于充分保留圖像特征信息.不同分支處的特征融合采用DenseNet網(wǎng)絡(luò)中通道拼接方式(concatenation).同時，對兩種新型網(wǎng)絡(luò)模塊中采用的跨層連接布局方式的有效性進行理論上的證明.C-FnetO和C-FnetT兩種網(wǎng)絡(luò)分別在4個公開的權(quán)威數(shù)據(jù)集(MNIST，CIFAR-10，CIFAR-100和SVHN)上進行訓(xùn)練和測試，并與最先進的殘差和密集網(wǎng)絡(luò)模型(ResNet和DenseNet)等進行對比實驗.實驗結(jié)果表明，文章設(shè)計的網(wǎng)絡(luò)模型在4種數(shù)據(jù)集上都取得了相對更好的效果，其中C-FnetT網(wǎng)絡(luò)的效果最佳，在4種數(shù)據(jù)集上均取得了最高的圖像識別準(zhǔn)確率.所以，在后面的文章中，以C-FnetT卷積神經(jīng)網(wǎng)絡(luò)為主要對象進行介紹.

2 C-FnetO和C-FnetT網(wǎng)絡(luò)模塊化設(shè)計

2.1 網(wǎng)絡(luò)布局

在C-FnetO和C-FnetT兩個網(wǎng)絡(luò)中，分別有n個模塊，每個模塊主要由3層卷積層組成，最后一個模塊由2層卷積層組成.鑒于兩種網(wǎng)絡(luò)框架區(qū)別很小，以相對復(fù)雜的C-FnetT網(wǎng)絡(luò)為例進行展示，如圖1所示，除了相鄰模塊間具有連接線外，在每個模塊內(nèi)部也具有連接線，兩條連接線成交叉狀態(tài)，也是與殘差模型的不同之處.而C-FnetO只是減少了每個模塊的內(nèi)部連接線(即圖1中的虛線線條)，其他均與C-FnetT一致.

圖1 C-FnetT的布局圖Fig.1 C-FnetT with n blocks

2.2 網(wǎng)絡(luò)模塊

對于C-FnetO網(wǎng)絡(luò)的模塊，如圖2左圖所示，x0表示輸入圖像信息，x1，x2和x3分別表示第1層，第2層和第3層的輸出.fL(*)表示非線性變換，可以為批正則化(Batch Normalization)[18],激活線性單元(Rectified linear units)[19]，或卷積(Convolution)，其中下標(biāo)L表示卷積層，取值為0,1,2,3.則C-FnetO模塊可以建模如公式：

x1=[f1(x0),x0]

(1)

x2=f2([f1(x0),x0])=f2(x1)

(2)

x3=f3(f2([f1(x0),x0]))=f3(x2)

(3)

其中[*,*]表示通道拼接操作(concatenation)，如：[f1(x0),x0]代表f1(x0)與x0在第三維度，即通道上的拼接.

圖2 3種網(wǎng)絡(luò)的模塊Fig.2 Model of three networks

假設(shè)δ為模塊中最后一層輸出的loss值，可以根據(jù)反向傳播理論得到梯度值，如公式(4)所示：

(4)

對于C-FnetT網(wǎng)絡(luò)的模塊，如圖2中間所示，它比C-FnetO模塊多了一條跨層連接線，建模公式如式(5)、式(6)和式(7)：

x1=[f1(x0),x0]

(5)

x2=[f1(x0),f2([f1(x0),x0])]=[f1(x0),f2(x1)]

(6)

x3=f3([f1(x0),f2([f1(x0),x0])])=f3(x2)

(7)

依然假設(shè)δ為模塊中最后一層輸出的loss值，可以根據(jù)反向傳播理論得到梯度值，如公式(8)所示：

(8)

由于網(wǎng)絡(luò)采用模塊化設(shè)計方法，整體網(wǎng)絡(luò)框架由每一個模塊組成，以C-FnetT為例，下標(biāo)b表示網(wǎng)絡(luò)的模塊數(shù)，則C-FnetT網(wǎng)絡(luò)的整體建模公式如式(9)(近似復(fù)合函數(shù))所示：

(9)

整個網(wǎng)絡(luò)的梯度計算類似單個模塊的計算方法，文章不再贅述.

2.3 殘差模塊

應(yīng)用殘差連接方式時，如圖2右圖所示，建模公式為式(10)、式(11)和式(12)：

x1=[f1(x0),x0]

(10)

x2=[[f1(x0),x0],f2(x1)]=[f2(x1),x1]

(11)

x3=f3([[f1(x0),x0],f2(x1)])=f3([f2(x1),x1])=f3(x2)

(12)

同樣設(shè)δ為模塊中最后一層輸出的loss值，可以根據(jù)反向傳播理論得到梯度值，如公式(13)所示：

(13)

2.4 理論分析

文章設(shè)計的網(wǎng)絡(luò)模塊采用了交叉連接方式，為了證明它的有效性，圖3直觀地展示了3種模塊的示意圖，可以觀察到，C-FnetO比C-FnetT少一個②通路，比殘差模塊少②和③通路，而C-FnetT比殘差模塊少一個③通路，通路①是它們共有的，C-FnetO和C-FnetT均在殘差模塊的基礎(chǔ)上進行了優(yōu)化.在2.2和2.3節(jié)中，給出了每種網(wǎng)絡(luò)的單個模塊的梯度傳播公式，由公式(4)、公式(8)和公式(13)可知，C-FnetO相比C-FnetT和殘差連接模塊，在梯度公式中包含更少的信息，而C-FnetT與殘差連接模塊擁有同等的信息量，但是C-FnetT的梯度值更偏小一些，可以獲得更加豐富和細膩的圖片特征信息，提高圖像識別準(zhǔn)確率.

圖3 3種網(wǎng)絡(luò)的模塊拆解圖Fig.3 Model of three networks

在卷積神經(jīng)網(wǎng)絡(luò)中，無論淺層網(wǎng)絡(luò)還是深層網(wǎng)絡(luò)，對圖像識別任務(wù)都具有重要作用.淺層的網(wǎng)絡(luò)可以提取低水平的圖像特征信息，而深層網(wǎng)絡(luò)可以提供高水平的圖像特征信息，為了更好融合兩者的信息，C-FnetT網(wǎng)絡(luò)采用了交叉連接方式.一方面，C-FnetT網(wǎng)絡(luò)可以實現(xiàn)端到端的訓(xùn)練模式，實現(xiàn)梯度的反向傳播.另一方面，C-FnetT可以避免過擬合和梯度消失問題，縮短學(xué)習(xí)周期并避免網(wǎng)絡(luò)飽和問題.

3 實 驗

將C-FnetO和C-FnetT兩個網(wǎng)絡(luò)在4種公開數(shù)據(jù)集(MNIST，CIFAR-10，CIFAR-100和SVHN)上進行訓(xùn)練和測試，為了對比模型效果，還增設(shè)了無連接網(wǎng)絡(luò)(Plain-net)，經(jīng)過一系列實驗，取n=5(此時效果最好)的3種網(wǎng)絡(luò)模型與其它典型網(wǎng)絡(luò)進行對比，它們的框架結(jié)構(gòu)如圖4所示.

為了保證實驗的公平性，在每個實驗中，對4種數(shù)據(jù)集采取相同的圖像處理方法，超參數(shù)的設(shè)置也遵循公平對比原則.

3.1 數(shù)據(jù)集

MNIST：手寫數(shù)字?jǐn)?shù)據(jù)庫[20]來自NIST的專用數(shù)據(jù)庫3(SD-3)和專用數(shù)據(jù)庫1(SD-1)[21]，其中包含從0-9的二進制手寫數(shù)字圖像.它們由高等學(xué)校學(xué)生和美國人口普查局工作人員收集.訓(xùn)練集共有60000個樣本，SD-3和SD-1分別提供30000個.測試集共有10000個樣本，SD-3和SD-1分別提供5000個.MNIST數(shù)據(jù)集由28×28的灰度圖像組成.

CIFAR-10：該數(shù)據(jù)集[22]由32×32像素的彩色自然圖像組成，共10個類別，訓(xùn)練集有50000張圖片，測試集有10000張圖片.我們還采用了廣泛用于該數(shù)據(jù)集的標(biāo)準(zhǔn)數(shù)據(jù)增強方案[12](鏡像/移位).

CIFAR-100：該數(shù)據(jù)集[22]的尺寸和格式與CIFAR-10數(shù)據(jù)集一樣，不同的是CIFAR-100數(shù)據(jù)集包含100種類別.

Street View House Numbers：SVHN[23]數(shù)據(jù)集由Google Street View收集的32×32像素的彩色房屋編號圖像組成.數(shù)據(jù)集中有兩種格式，我們考慮第2種格式，73257張圖像作為訓(xùn)練集，26032張圖像作為測試集，531131張圖像作為額外的一組數(shù)據(jù)集.這個數(shù)據(jù)集的任務(wù)是對位于圖像中心的數(shù)字進行分類，其他出現(xiàn)在背景中的數(shù)字不作為檢測目標(biāo).

3.2 訓(xùn) 練

實驗平臺是單個GPU，參數(shù)是Nvidia TITAN Xp，采用的深度學(xué)習(xí)框架是Tensorflow，目前它非常受歡迎.

在CIFAR-10數(shù)據(jù)集上，模型在訓(xùn)練時采用帶有動量的隨機梯度優(yōu)化算法，借鑒文獻[24]中的方法，設(shè)置權(quán)重衰減(weight decay)大小為10-4，Nesterov momentum大小為0.99，權(quán)重初始化引用文獻[16]中的方法.每次訓(xùn)練處理的圖片(batch size)為64張，迭代批次為200.初始學(xué)習(xí)率設(shè)為0.001，當(dāng)訓(xùn)練批次達到總批次數(shù)的50%和75%時，學(xué)習(xí)率除以10.

在CIFAR-100數(shù)據(jù)集上，每次訓(xùn)練處理的圖片為128張，迭代批次為160.初始學(xué)習(xí)率設(shè)為0.1，當(dāng)訓(xùn)練批次達到總批次數(shù)的50%和75%時，學(xué)習(xí)率除以10.其它設(shè)置與CIFAR-10相同.

在手寫數(shù)字?jǐn)?shù)據(jù)集(MNIST)上，每次訓(xùn)練處理的圖片為128張，迭代批次為50.初始學(xué)習(xí)率設(shè)為10-4，當(dāng)訓(xùn)練批次達到總批次數(shù)的50%和75%時，學(xué)習(xí)率除以10.權(quán)重衰減和Nesterov momentum參數(shù)及優(yōu)化算法設(shè)置和數(shù)據(jù)集CIFAR-10相同.

對于SVHN數(shù)據(jù)集，訓(xùn)練網(wǎng)絡(luò)時采用Adam優(yōu)化

算法，每次訓(xùn)練處理的圖片為40張，迭代批次為25.初始學(xué)習(xí)率設(shè)為10-4，此外，還將局部對比歸一化[25](local contrast normalization)方法應(yīng)用于該數(shù)據(jù)集的預(yù)處理.

然而，文章的目標(biāo)不是實現(xiàn)最優(yōu)的圖像識別效果，其中需要利用其他技術(shù)，如集成(ensemble)，隨機化輸入順序(randomized input order)和抽樣方法(sampling methodologies)等.因此，并沒有采用這些輔助技術(shù)，而是僅僅使用一個簡單的模型框架進行對比實驗，驗證提出網(wǎng)絡(luò)的有效性.

3.3 C-FnetO，C-FnetT和Plain-net

C-FNetO，C-FnetT和Plain-net共3種網(wǎng)絡(luò)的具體參數(shù)和框架細節(jié)在表1和圖4中展示，由于采用n=5，所以網(wǎng)絡(luò)的卷積層層數(shù)共15層，圖4中從左至右依次是Plain-net，C-FnetO和C-FnetT，它們的基礎(chǔ)框架相同，只是在跨層連接線的設(shè)置上存在區(qū)別，并呈現(xiàn)由簡單到復(fù)雜的趨勢.

表1 3種網(wǎng)絡(luò)模型框架Table 1 Architecture for three networks

圖4 3種網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.4 Architecture for three networks

圖5記錄了3種網(wǎng)絡(luò)在不同數(shù)據(jù)集上的準(zhǔn)確率，可以觀察到，C-FnetO比Plain-net的測試準(zhǔn)確率高一些，而C-FnetT的測試準(zhǔn)確率比C-FnetO高一些，即C-FnetT表現(xiàn)最佳，同時證明引入交叉跨層連接可以提高網(wǎng)絡(luò)性能.

3.4 實驗結(jié)果與分析

文章分別在4個公開數(shù)據(jù)集上對各種網(wǎng)絡(luò)模型進行測試，其中，MNIST數(shù)據(jù)集比較簡單，采用很淺的網(wǎng)絡(luò)就可以實

圖5 3種網(wǎng)絡(luò)的測試準(zhǔn)確率Fig.5 Test accuracy of three networks

現(xiàn)不錯的圖像識別準(zhǔn)確率，當(dāng)采用復(fù)雜網(wǎng)絡(luò)時，很容易出現(xiàn)過擬合現(xiàn)象，但是在實驗中，通過dropout方法避免了過擬合的出現(xiàn).在MNIST數(shù)據(jù)集上的測試準(zhǔn)確率如表2所示，最好的測試結(jié)果以加粗黑體標(biāo)注，可以觀察到C-FnetT網(wǎng)絡(luò)的準(zhǔn)確率為99.54%，在所有的模型中表現(xiàn)最好，雖然結(jié)果和ResNet接近，但是C-FnetT的卷積層層數(shù)卻很少.

在CIFAR-10數(shù)據(jù)集上的實驗結(jié)果如表3所示，C-FnetT的層數(shù)最少，但是取得了相對最高的識別準(zhǔn)確率，比ResNet，DenseNet，Inception-ResNet-v2和Xception分別提高了0.41%，9.63%，6.66%和7.24%.這是相當(dāng)不錯的測試結(jié)果，較少的層數(shù)獲得了更高的準(zhǔn)確率，證明了交叉連接方式的有效性和殘差模塊中跨層連接的部分冗余性.

在CIFAR-100數(shù)據(jù)集上的測試準(zhǔn)確率如表4所示，C-FnetT依然是表現(xiàn)最好的網(wǎng)絡(luò)，比ResNet和DenseNet分別提高3%和34%.為了更充分證明C-FnetT優(yōu)化方法的正確性，圖6展示了C-FnetT和ResNet訓(xùn)練誤差對比圖，由于C-FnetT是在殘差模塊的基礎(chǔ)上進行改進，所以主要和殘差網(wǎng)絡(luò)對比.由圖6可以明顯發(fā)現(xiàn)在104次迭代訓(xùn)練后，C-FnetT的訓(xùn)練誤差遠遠低于ResNet，并保持下去，大大提高了模型收斂速度.

表2 MNIST上的圖像識別測試準(zhǔn)確率(%)Table 2 Test accuracy(%)on MNIST dataset

表3 CIFAR-10上的圖像識別測試準(zhǔn)確率(%)Table 3 Test accuracy(%)on CIFAR-10 dataset

表4 CIFAR-100上圖像識別測試準(zhǔn)確率(%)Table 4 Test accuracy(%)on CIFAR-100 dataset

圖6 兩種網(wǎng)絡(luò)在CIFAR-100上的訓(xùn)練誤差 (其中ResNet有32層，C-FnetT為15層)Fig.6 Train loss of two networks on CIFAR-100

表5記錄了模型在SVHN數(shù)據(jù)集上的準(zhǔn)確率，C-FnetT的結(jié)果為92.27%，相比其它網(wǎng)絡(luò)獲得了最好的圖像識別效果.同時圖7繪制了C-FnetT和ResNet訓(xùn)練誤差對比圖，在3×104次迭代訓(xùn)練后，C-FnetT的訓(xùn)練誤差開始明顯低于ResNet網(wǎng)絡(luò)，這樣的狀態(tài)一直保持到訓(xùn)練結(jié)束，極大證明了C-FnetT模型的有效性.

表5 SVHN上的圖像識別測試準(zhǔn)確率(%)Table 5 Test accuracy(%)on SVHN dataset

圖7 兩種網(wǎng)絡(luò)在SVHN上的訓(xùn)練誤差 (其中ResNet有32層，C-FnetT為15層)Fig.7 Train loss of two networks on SVHN

4 總 結(jié)

文章提出兩種新型的網(wǎng)絡(luò)結(jié)構(gòu)(C-FnetO和C-FnetT)，它們在四種公開數(shù)據(jù)集(MNIST，CIFAR-10，CIFAR-100和 SVHN)上顯著提高了圖像分類準(zhǔn)確率，尤其C-FnetT.首先，C-FnetT在殘差模塊基礎(chǔ)上進行優(yōu)化，采用交叉連接方式，并以較少的層數(shù)獲得了比很多先進模型更高的準(zhǔn)確率.此外，實驗結(jié)果表明，與其它方法相比，C-FnetT不僅具有更好的測試精度和泛化能力，而且加快了模型收斂速度.在未來的工作中，將文章提出的模型在ImageNet數(shù)據(jù)集上進行檢驗將成為主要任務(wù).