面向圖像分類的殘差網(wǎng)絡(luò)進(jìn)展研究

趙麗萍，袁 霄，祝 承，趙曉琦，楊仕虎，梁 平，魯小丫，譚 穎

1.西南民族大學(xué) 計(jì)算機(jī)系統(tǒng)國家民委重點(diǎn)實(shí)驗(yàn)室，成都 610041

2.南京大學(xué) 電子科學(xué)與工程學(xué)院，南京 210093

1 引言

圖像分類是計(jì)算機(jī)視覺領(lǐng)域的重要任務(wù)，常用于場景識(shí)別、疾病診斷等領(lǐng)域[1]。圖像分類算法主要包括特征圖像的提取和分類器的設(shè)計(jì)兩個(gè)步驟[2]。傳統(tǒng)的圖像分類往往通過手工提取通用性強(qiáng)但唯一性弱的特征，然后將提取的特征送入傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行分類。Song等人[3]將支持向量機(jī)用于腦腫瘤圖像分類，Rajaguru等人[4]將最近鄰算法用于乳腺癌的分類。傳統(tǒng)機(jī)器學(xué)習(xí)常用于較規(guī)范的小數(shù)據(jù)集，但對(duì)于背景復(fù)雜、類間差異大、類內(nèi)差異小的圖像，分類準(zhǔn)確率不高[5]。

神經(jīng)網(wǎng)絡(luò)通過卷積和池化提取特征，通過全連接對(duì)得到的特征分類，從而判定圖像類別[6]。顏建軍等人[7]基于遞歸圖和卷積神經(jīng)網(wǎng)絡(luò)對(duì)脈象進(jìn)行分析識(shí)別，獲得98.14%的準(zhǔn)確率；鄭茜元等人[8]基于循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)在線學(xué)習(xí)者學(xué)習(xí)行為進(jìn)行檢測，獲得97.37%的準(zhǔn)確率。神經(jīng)網(wǎng)絡(luò)因其良好的性能成為了圖像分類領(lǐng)域的主流技 術(shù) 。 8 層 的 AlexNet、19 層 的 VGGNet 和 27 層 的GoogLeNet 分別獲得了ILSVRC 2012 比賽第一名和ILSVRC 2014 比賽第二名、第一名。深度學(xué)習(xí)的復(fù)雜度和模型的學(xué)習(xí)能力是相關(guān)的，從上述的模型中，可以發(fā)現(xiàn)，網(wǎng)絡(luò)的深度對(duì)模型的準(zhǔn)確率至關(guān)重要，深層網(wǎng)絡(luò)以端到端的多層方式融合了低/中/高層特征[9]，網(wǎng)絡(luò)越深，能夠提取到的特征越豐富，越具有語義信息，獲得的準(zhǔn)確率越高[10]。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的深度若不斷增加，網(wǎng)絡(luò)模型訓(xùn)練過程中會(huì)出現(xiàn)梯度消失、梯度爆炸、模型過擬合等問題[11]。通過用正則化（drop）的方法對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練可以有效地解決過擬合問題[12]，通過批標(biāo)準(zhǔn)化（Batch Normalization，BN）能一定程度上緩解淺層網(wǎng)絡(luò)的梯度消失/梯度爆炸問題，更快地訓(xùn)練穩(wěn)定的網(wǎng)絡(luò)[13]。這樣數(shù)十層的網(wǎng)絡(luò)能夠開始收斂。若網(wǎng)絡(luò)層數(shù)繼續(xù)簡單增加，訓(xùn)練集準(zhǔn)確率將不再增加甚至下降，出現(xiàn)網(wǎng)絡(luò)退化，上百層的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將難以訓(xùn)練。

He 等人[10]通過引入恒等映射，實(shí)現(xiàn)跳層連接，緩解了深度網(wǎng)絡(luò)的退化問題，深度殘差網(wǎng)絡(luò)（Deep Residual Networks，ResNet）獲得2015年ILSVRC比賽冠軍，在接下來四年里，SCI 數(shù)據(jù)庫中可檢索的相關(guān)文章不斷遞增，從2016年的17篇增加至2019年的965篇，如圖1所示，ResNet成為了圖像分類的核心技術(shù)。針對(duì)殘差網(wǎng)絡(luò)的各個(gè)改進(jìn)變體的內(nèi)在結(jié)構(gòu)、優(yōu)缺點(diǎn)和適用場合進(jìn)行了介紹，并以圖表的形式直觀地比較了各個(gè)變體的性能，討論了當(dāng)前殘差網(wǎng)絡(luò)所遇到的挑戰(zhàn)和未來發(fā)展方向，為面向圖像分類的殘差網(wǎng)絡(luò)的發(fā)展和應(yīng)用提供一些參考。變體的改進(jìn)方向主要分為以下三個(gè)部分：

圖1 SCI數(shù)據(jù)庫關(guān)于ResNet發(fā)表論文數(shù)量

（1）提高分類準(zhǔn)確率；

（2）減少模型參數(shù)量；

（3）降低模型計(jì)算量。

2 深度殘差網(wǎng)絡(luò)概述

對(duì)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，He等人[10]認(rèn)為在一個(gè)已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)上，堆疊出一層與原網(wǎng)絡(luò)相同的層，這至少不會(huì)比原網(wǎng)絡(luò)效果差，但事實(shí)上傳統(tǒng)神經(jīng)網(wǎng)絡(luò)會(huì)有退化問題，這說明了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)很難擬合出恒等映射[14]，于是將一個(gè)恒等映射傳入后一層這個(gè)思想便被提出來。

假定某段神經(jīng)網(wǎng)絡(luò)的輸入是X,期望輸出是H(X),將恒等映射傳入后一層，于是把網(wǎng)絡(luò)設(shè)計(jì)為H(X)=F(X)+X,這樣就變成了學(xué)習(xí)殘差函數(shù)F(X)=H(X)-X。網(wǎng)絡(luò)性能在最差的情況下（即F(X)=0），退化為原始的恒等映射，保證了網(wǎng)絡(luò)不會(huì)比原始網(wǎng)絡(luò)差。這樣的殘差函數(shù)學(xué)習(xí)性能比原網(wǎng)絡(luò)大大提高，殘差單元強(qiáng)化了對(duì)原始特征的復(fù)用，從而擁有更好的性能，設(shè)計(jì)見圖2（a）。

圖2 不同殘差網(wǎng)絡(luò)單元

圖中右側(cè)的曲線為簡單的跳層連接，它沒有帶入任何參數(shù)，也沒有增加任何的計(jì)算復(fù)雜性，將上一層或幾層的特征信息直接與本層處理后的特征信息進(jìn)行相加，然后進(jìn)行線性激活，其數(shù)學(xué)表達(dá)式為：

式中，Xl是第l個(gè)殘差單元的輸入特征。Wl是一組與第l個(gè)殘差單元相關(guān)的權(quán)重，F(xiàn)(?)代表殘差函數(shù)，F(xiàn)(?)為線性整流函數(shù)（Rectified Linear Unit，ReLU）。殘差網(wǎng)絡(luò)同時(shí)采用了維度變化、預(yù)激活單元、瓶頸單元等方法來提升網(wǎng)絡(luò)性能，減少參數(shù)量，防止退化從而加深網(wǎng)絡(luò)的深度。

2.1 維度變換

由于ResNet使用步長為2的卷積做下采樣，會(huì)引起特征維度的變化，不同維度的特征無法直接融合，導(dǎo)致F(Xl,Wl)與Xl不能直接相加，這時(shí)可通過以下方式解決：

（1）采用零填充法增加維度，這樣不會(huì)增加參數(shù)和計(jì)算復(fù)雜度。

（2）采用1×1 的卷積，在跳層連接部分給輸入X加上一個(gè)線性映射Ws，即：

式中，Ws為線性映射矩陣。

2.2 瓶頸單元

He 等人[10]考慮到深層網(wǎng)絡(luò)的 2 個(gè) 3×3 的卷積參數(shù)量較大，于是引入瓶頸結(jié)構(gòu)，將標(biāo)準(zhǔn)殘差單元的3×3-3×3卷積替換為1×1-3×3-1×1 卷積的瓶頸結(jié)構(gòu)。首先通過1×1 卷積減小維度，以低維度進(jìn)行3×3 卷積，最后通過1×1卷積恢復(fù)特征維度，極大地減少了深度網(wǎng)絡(luò)的參數(shù)量和計(jì)算量，設(shè)計(jì)見圖2（b）。

2.3 預(yù)激活單元

通過引入恒等映射和瓶頸結(jié)構(gòu)，雖然能將網(wǎng)絡(luò)深度從22提升到152并取得較好的圖像分類效果，但當(dāng)網(wǎng)絡(luò)深度到達(dá)200層后，網(wǎng)絡(luò)開始退化。在標(biāo)準(zhǔn)的殘差單元中，雖然BN對(duì)殘差函數(shù)F(X)進(jìn)行了標(biāo)準(zhǔn)化，但輸出特征H(X)沒有被標(biāo)準(zhǔn)化，當(dāng)網(wǎng)絡(luò)深度繼續(xù)加深時(shí)，依舊會(huì)出現(xiàn)網(wǎng)絡(luò)退化問題。

He等人[15]提出將BN和Relu移動(dòng)到了卷積之前，提升模型的正則化，同時(shí)每個(gè)殘差單元的輸出不再通過Relu激活，直接傳遞給下層網(wǎng)絡(luò)，加快模型訓(xùn)練速度，網(wǎng)絡(luò)更易于優(yōu)化，設(shè)計(jì)見圖2（c）。

2.4 優(yōu)缺點(diǎn)及其適用場合

ResNet 引入恒等映射，實(shí)現(xiàn)跳層連接，前向和后向信號(hào)可以從一個(gè)單元直接傳播到任何其他單元，訓(xùn)練更容易，提高了泛化能力，緩解了深度網(wǎng)絡(luò)的退化問題，是一類具有高度精確性和良好收斂性的超深網(wǎng)絡(luò)結(jié)構(gòu)[16]，ResNet 成功地將神經(jīng)網(wǎng)絡(luò)深度拓展到1 001 層，并首次在CIFAR-10 取得4.62%的錯(cuò)誤率。然而超深網(wǎng)絡(luò)在具有強(qiáng)大特征表征能力的同時(shí)，超深網(wǎng)絡(luò)會(huì)出現(xiàn)在反向傳播中梯度消失，在正向傳播中特征重用減少、訓(xùn)練時(shí)間長、網(wǎng)絡(luò)冗余性、規(guī)模龐大、小數(shù)據(jù)集上表現(xiàn)差、計(jì)算機(jī)性能要求高等問題[17]，表現(xiàn)為分類準(zhǔn)確率、模型參數(shù)量、模型計(jì)算量還有可改善的空間。ResNet 廣泛應(yīng)用于圖像分類與生成，最近在自然語言處理中也有被使用到，ResNet的信息復(fù)用思想，對(duì)深度學(xué)習(xí)有深遠(yuǎn)影響。

3 提高分類準(zhǔn)確率

分類準(zhǔn)確率為分類器預(yù)測正確類別的圖像數(shù)與整體圖像數(shù)的比值，是分類器性能的一個(gè)直觀評(píng)價(jià)指標(biāo)[18]。獲得好的分類準(zhǔn)確率是所有網(wǎng)絡(luò)模型的共同目標(biāo)，ResNet 通過預(yù)激活單元和恒等映射結(jié)構(gòu)獲得ILSVRC 2015分類比賽的冠軍，但仍有可提升空間。本章將介紹隨機(jī)深度網(wǎng)絡(luò)（Deep Network with Stochastic Depth，SD）、寬殘差網(wǎng)絡(luò)（Wide Residual Networks，WRN）、ResNeXt、SE-Res-Net、Res2Net 通過引入壓縮剪枝、寬度、基數(shù)、通道注意力機(jī)制和多尺度進(jìn)行分類準(zhǔn)確率的提升。

3.1 隨機(jī)深度網(wǎng)絡(luò)

3.1.1 內(nèi)在結(jié)構(gòu)

ResNet的提出讓網(wǎng)絡(luò)深度突破千層，非常深的神經(jīng)網(wǎng)絡(luò)帶來新的挑戰(zhàn)：梯度消失、特征重用減少以及訓(xùn)練時(shí)間長。Huang等人[19]提出一種基于壓縮剪枝的深度殘差網(wǎng)絡(luò)的訓(xùn)練方式，希望通過消除冗余特征來提升模型的準(zhǔn)確率，設(shè)計(jì)見圖3，SD隨機(jī)地舍棄掉某些殘差單元，使得特征直接傳到下一層，能有效地降低網(wǎng)絡(luò)的冗余性。

以殘差塊作為網(wǎng)絡(luò)的構(gòu)件，引入滿足伯努利分布（0-1分布）的隨機(jī)變量b表征該層F(?)是否被激活。訓(xùn)練時(shí)，若殘差塊被激活，跳層連接和F(?)同時(shí)參與訓(xùn)練，否則只跳層連接參與訓(xùn)練。其數(shù)學(xué)表達(dá)式為：

3.1.2 優(yōu)缺點(diǎn)及其適用場合

SD 在訓(xùn)練時(shí)對(duì)很深的ResNet 做壓縮和剪枝，增強(qiáng)反向傳播梯度，使網(wǎng)絡(luò)深度達(dá)到1 202 層的同時(shí)縮減了訓(xùn)練時(shí)間[20]。壓縮操作集合不同的訓(xùn)練深度，提高了泛化能力，顯著改善了常用數(shù)據(jù)集的分類準(zhǔn)確率。實(shí)驗(yàn)表明，最后一層的生存概率為0.5時(shí)，較之ResNet，SD的訓(xùn)練時(shí)間穩(wěn)定減少25%左右，在深度為1 202時(shí)，準(zhǔn)確率提高1.76%。然而SD并沒有針對(duì)ResNet的單元結(jié)構(gòu)或網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，也沒有將其思想融合于其他深度網(wǎng)絡(luò)，僅僅通過壓縮操作優(yōu)化ResNet訓(xùn)練過程，應(yīng)用范圍較窄。其壓縮過程在減小一定規(guī)模的同時(shí)，也減小了特征重用，不利于信息流的傳遞。建議嘗試將SD 用作大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

圖3 隨機(jī)深度網(wǎng)絡(luò)

3.2 寬殘差網(wǎng)絡(luò)

3.2.1 內(nèi)在結(jié)構(gòu)

SD通過隨機(jī)舍棄讓網(wǎng)絡(luò)加深從而提升網(wǎng)絡(luò)的準(zhǔn)確率。通過增加模型深度來加強(qiáng)模型的表達(dá)能力從LeNet、AlexNet、VGGNet 到 ResNet 都有體現(xiàn)。然而訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)有很多的難點(diǎn)，并且網(wǎng)絡(luò)層數(shù)成倍增加僅能減少1%的分類錯(cuò)誤率，同時(shí)網(wǎng)絡(luò)訓(xùn)練變得很慢，在超過1 000層后，網(wǎng)絡(luò)也出現(xiàn)了退化[21]。

Zagoruyko等人[21]通過對(duì)殘差單元的層結(jié)構(gòu)、層數(shù)、層寬等進(jìn)行了廣泛的實(shí)驗(yàn)，提出了寬殘差網(wǎng)絡(luò)，減小殘差網(wǎng)絡(luò)的深度，增大網(wǎng)絡(luò)的寬度，即增加特征映射的通道數(shù)，在加寬后的3×3 卷積之間引入Dropout 層緩解方差偏移，設(shè)計(jì)見圖4。

圖4 寬殘差單元

3.2.2 優(yōu)缺點(diǎn)

WRN減少網(wǎng)絡(luò)深度，增加網(wǎng)絡(luò)寬度，特征重復(fù)利用增加，更易訓(xùn)練，計(jì)算效率提高，分類精度和準(zhǔn)確率提升。實(shí)驗(yàn)表明，16層深的WRN網(wǎng)絡(luò)以更快的訓(xùn)練速度取得了比1 000 層的傳統(tǒng)殘差網(wǎng)絡(luò)更好的精度和準(zhǔn)確率[22]。神經(jīng)網(wǎng)絡(luò)的參數(shù)量由帶參數(shù)的層貢獻(xiàn)，包括卷積層、BN層和全連接層。其中卷積層貢獻(xiàn)主要的參數(shù)量，根據(jù)參數(shù)量計(jì)算公式，卷積層的參數(shù)量主要由卷積核大小、輸入通道數(shù)、輸出通道數(shù)貢獻(xiàn)，其公式如下：

其中，Y代表參數(shù)量，K代表卷積核大小，代表輸入通道數(shù)，Co代表輸出通道數(shù)，增加通道數(shù)會(huì)同時(shí)增加輸入通道數(shù)和輸出通道數(shù)的大小，導(dǎo)致訓(xùn)練參數(shù)平方級(jí)的增加，如40層厚度的WRN通道數(shù)擴(kuò)大比例為1和2時(shí)，參數(shù)量分別為0.6 MB和2.2 MB，參數(shù)量近似為平方關(guān)系，參數(shù)量平方級(jí)的增加對(duì)數(shù)據(jù)集和計(jì)算機(jī)性能的要求更高。

3.3 ResNeXt

3.3.1 內(nèi)在結(jié)構(gòu)

SD通過增加深度來提升網(wǎng)絡(luò)的準(zhǔn)確率，WRN通過提升寬度來增加準(zhǔn)確率，加寬和加深神經(jīng)網(wǎng)絡(luò)是提高準(zhǔn)確率的有效方法。然而網(wǎng)絡(luò)深度的增加帶來的準(zhǔn)確率的提升越來越少，網(wǎng)絡(luò)寬度的增加往往會(huì)伴隨著指數(shù)級(jí)的參數(shù)規(guī)模提升，Xie 等人[23]脫離加深和加寬網(wǎng)絡(luò)層次來提升網(wǎng)絡(luò)性能的固定思維模式，提出了ResNeXt，ResNeXt是ResNet和Inception的結(jié)合體，Inception系列已經(jīng)證明拆分-轉(zhuǎn)換-合并的拓?fù)洳呗阅塬@得分類精度的提升[24]，不同于Inception，ResNext不需要人工復(fù)雜的Inception細(xì)節(jié)設(shè)計(jì)，而是增加具有相同拓?fù)浣Y(jié)構(gòu)的路徑數(shù)量。以簡單、可擴(kuò)展的方式利用拆分-轉(zhuǎn)換-合并策略進(jìn)行分組卷積，見圖5。

圖5 聚合殘差變換單元

特征信息進(jìn)入ResNeXt 單元后，拆分為c個(gè)分支（圖中為32）進(jìn)行相同的轉(zhuǎn)換，將c個(gè)分支的輸出特征進(jìn)行求和合并后再與轉(zhuǎn)換前的信息進(jìn)行融合，其數(shù)學(xué)表達(dá)式如下：

其中，c為基數(shù)，表示相同拓?fù)浞种У臄?shù)量，Ti()表示具有相同拓?fù)浣Y(jié)構(gòu)的每個(gè)分支的變換（這里指1×1-3×3-1×1堆疊卷積）。

3.3.2 優(yōu)缺點(diǎn)及其適用場合

ResNeXt 用一種相同拓?fù)浣Y(jié)構(gòu)多分支架構(gòu)代替原來ResNet的單一分支，只有幾個(gè)超參數(shù)設(shè)置，高度模塊化，減小了網(wǎng)絡(luò)設(shè)計(jì)的難度和計(jì)算開銷，便于模型移植，在整體復(fù)雜度相同時(shí)，分組卷積將每個(gè)小網(wǎng)絡(luò)的參數(shù)量降低為原來的1/C，過擬合風(fēng)險(xiǎn)降低，模型準(zhǔn)確率提升[25]，ResNeXt-101（64×4d）獲得 ILSVRC 2016 分類任務(wù)的第二名，根據(jù)式（4）可以計(jì)算得深度為50的ResNet和ResNeXt 的參數(shù)量大體一致。ResNeXt 雖能在相同復(fù)雜度情況下取得高分類準(zhǔn)確率，然而組卷積的存在，若通過繼續(xù)提高卷積組的數(shù)量以提高分類準(zhǔn)確率，將會(huì)帶來參數(shù)量的大增，ResNeXt-101（64×4d）的參數(shù)量為83.7 MB，比ResNeXt-101（32×4d）、WRN-40、ResNet-152、分別多了39.4 MB、14.8 MB、23.5 MB。因?yàn)镽esNeXt的相同拓?fù)浣Y(jié)構(gòu)的分支的設(shè)計(jì)符合GPU的硬件設(shè)計(jì)原則，ResNeXt運(yùn)行速度會(huì)更快。

3.4 SE-ResNet

3.4.1 內(nèi)在結(jié)構(gòu)

ResNet、ResNeXt 等神經(jīng)網(wǎng)絡(luò)主要將重點(diǎn)集中在卷積上而忽略了通道維度，卷積算子將各層局部感受野中的空間上和通道間信息進(jìn)行融合[26]，但卷積操作對(duì)輸入特征圖的所有通道進(jìn)行融合，這明顯是有待改進(jìn)的。Hu 等人[27]提出壓縮激勵(lì)網(wǎng)絡(luò)（Squeeze-and-Excitation Networks，SENet）建模特征通道之間的依賴關(guān)系，通過學(xué)習(xí)的方式自動(dòng)獲取每個(gè)特征通道的重要程度，從而實(shí)現(xiàn)提升有用特征，抑制無效特征。SENet 靈活性好，常直接應(yīng)用于現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中[28]，與ResNet、ResNeXt、Inception等網(wǎng)絡(luò)融合分別得到SE-ResNet、SE-ResNeXt、SE-Inception-ResNet-V2。SE-ResNet設(shè)計(jì)見圖6。

圖6 壓縮激勵(lì)殘差網(wǎng)絡(luò)單元

該單元架構(gòu)分為壓縮和激發(fā)兩個(gè)步驟。首先在特征映射上執(zhí)行全局平均池化，將特征順著空間維度進(jìn)行壓縮，每個(gè)二維特征通道得到一個(gè)實(shí)數(shù)，然后通過兩個(gè)全連接層和Sigmoid激活函數(shù)，融合各通道的特征映射，學(xué)習(xí)各通道間的關(guān)系，得到各通道的歸一化權(quán)重圖，該權(quán)重圖與原來的特征圖經(jīng)過點(diǎn)積運(yùn)算后得到SENet。SENet融合殘差連接方式得到SE-ResNet。

3.4.2 優(yōu)缺點(diǎn)及其適用場合

壓縮操作得到某個(gè)通道當(dāng)前特征映射的全局壓縮特征向量，將感受野擴(kuò)展到全局，提取的特征語義層次更高；激勵(lì)操作采用兩個(gè)連續(xù)的全連接，具有更多的非線性，更好地?cái)M合通道間復(fù)雜的相關(guān)性。壓縮激勵(lì)操作能使SENet獲得更好的收斂精度[29]，該模型常與殘差網(wǎng)絡(luò)系列結(jié)合，采用殘差連接方式，易于收斂。實(shí)驗(yàn)表明，SENet加入原模型后，新舊模型的收斂趨勢和收斂速度大體一致，在相同訓(xùn)練條件下，新模型的收斂精度穩(wěn)定高于原模型[27]。SE-ResNeXt在ILSVRC 2017獲得分類冠軍。然而SENet中神經(jīng)元感受野的大小單一化、感受野不能根據(jù)不同尺寸的輸入信息進(jìn)行自適應(yīng)調(diào)整、沒有空間注意力的應(yīng)用。建議將SENet用于圖像背景復(fù)雜、類內(nèi)差異小、目標(biāo)在圖像中不均勻分布且不需要空間轉(zhuǎn)換的數(shù)據(jù)集。

3.5 Res2Net

3.5.1 內(nèi)在結(jié)構(gòu)

深度神經(jīng)網(wǎng)絡(luò)能在多個(gè)尺度上表示特征并在圖像分類中得到了廣泛的應(yīng)用[30]，深度神經(jīng)網(wǎng)絡(luò)的最新進(jìn)展展示出更強(qiáng)的多尺度表示能力。目前現(xiàn)有的特征提取方式大多是通過分層表示多尺度特征，通常是使用多個(gè)尺度的卷積核對(duì)每一層進(jìn)行特征提取[31]，或是融合每一層所提取的特征[32]。Gao等人[33]提出Res2Net，從增加塊內(nèi)感受野的角度出發(fā)，重建普通的ResNet的單元架構(gòu)，用4尺度3×3卷積核的殘差分層架構(gòu)取代了1×1-3×3-1×1的標(biāo)準(zhǔn)卷積，中間的卷積結(jié)構(gòu)從單分支變?yōu)槎喾种?，設(shè)計(jì)見圖7。

圖7 Res2Net單元

輸入特征首先經(jīng)過1×1卷積后按通道數(shù)均分為s個(gè)特征子集，特征子集Xi與經(jīng)過Ki-1()轉(zhuǎn)換后的Xi-1相加，然后送Ki()得到輸出yi（Ki()表示3×3 卷積）。最后，所有分塊拼接后送入1×1卷積，其數(shù)學(xué)表達(dá)式如下：

這樣的結(jié)構(gòu)設(shè)計(jì)使得相同的特征經(jīng)過不同的卷積核后具有不同的特征尺寸。

3.5.2 優(yōu)缺點(diǎn)及其適用場合

Res2Net使用了分塊結(jié)構(gòu)，塊編號(hào)越靠后，經(jīng)過的卷積核越多，感受野越大，特征提取能力越強(qiáng)[34]。多個(gè)塊結(jié)構(gòu)以更細(xì)粒度表示多尺度特征，對(duì)不同大小圖像的檢測和管理能力增強(qiáng)。Res2Net-101在ImageNet數(shù)據(jù)集取得的最低分類準(zhǔn)確率較ResNet-101、DenseNet-161相應(yīng)提升1.82%、1.54%。Res2Net 模塊也常集成到ResNeXt和SENet等優(yōu)秀模型中，并取得分類準(zhǔn)確率的提升。然而由于Res2Net單元內(nèi)的多層次卷積操作，較之相應(yīng)的ResNet，運(yùn)行速度約慢20%左右，應(yīng)用范圍不如ResNet、ResNeXt等網(wǎng)絡(luò)寬泛，目前只在物體分類和分割類型的任務(wù)上獲得較好的性能。建議將Res2Net 用于數(shù)據(jù)集中有不同大小的目標(biāo)或目標(biāo)的需檢測信息大于它本身所占的區(qū)域等情況。

圖8 密卷積網(wǎng)絡(luò)

4 減少參數(shù)量

參數(shù)量即網(wǎng)絡(luò)模型所有帶參數(shù)的層的權(quán)重參數(shù)總量，指網(wǎng)絡(luò)模型的空間復(fù)雜度。網(wǎng)絡(luò)參數(shù)量越大，空間復(fù)雜度越大，對(duì)計(jì)算機(jī)的顯存大小要求越高[35]。第2 章所述網(wǎng)絡(luò)模型在提高分類準(zhǔn)確率的同時(shí)，也帶來了參數(shù)量的大增，本章將介紹密集卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks，DenseNet）、雙路徑網(wǎng)絡(luò)（Dual Path Networks，DPN）、MobileNetV2 分別通過引入密卷積、雙路徑、線性瓶頸倒置殘差結(jié)構(gòu)在保持分類準(zhǔn)確率的同時(shí)降低參數(shù)量，提升網(wǎng)絡(luò)性能。

4.1 DenseNet

4.1.1 內(nèi)在結(jié)構(gòu)

ResNet通過構(gòu)造恒等映射設(shè)，進(jìn)一步緩解網(wǎng)絡(luò)退化問題[10]，SD通過隨機(jī)丟失網(wǎng)絡(luò)中一些層，證明了深度網(wǎng)絡(luò)的冗余性[19]，以上研究表明，如果卷積網(wǎng)絡(luò)在輸入和輸出層之間包含跳層連接，那么該網(wǎng)絡(luò)可以更好訓(xùn)練，增加深度，提高精度和準(zhǔn)確率。Huang 等人[36]提出DenseNet，在每個(gè)密集單元中，以恒等映射的方式將每一層與其他所有層相連，前面所有層輸出特征融合為該層的輸入特征，該層的輸出特征傳遞給所有后續(xù)層，設(shè)計(jì)見圖8。

在每個(gè)密集單元中，每層的輸出特征通道數(shù)一樣，第l層的輸入由之前所有層的特征映射按通道組合在一起然后進(jìn)行非線性變化，其數(shù)學(xué)表達(dá)式為：

式中，H[?]表示BN-Relu-conv（1×1），BN-Relu-conv（3×3）非線性變換過程，[?]表示對(duì)前面各層輸出的特征映射通道合并操作，得到第l層的輸入通道數(shù)。

4.1.2 優(yōu)缺點(diǎn)

DenseNet通過每層直接相連的旁路設(shè)置，進(jìn)行特征重用，不需要重新學(xué)習(xí)冗余的特征映射，大幅減少了網(wǎng)絡(luò)的參數(shù)量[37]；每一層直接從損失函數(shù)和原始輸入信號(hào)中獲取梯度后改進(jìn)了整個(gè)網(wǎng)絡(luò)的信息流和梯度，加強(qiáng)了特征傳播，在一定程度上緩解了梯度消失問題，易于訓(xùn)練；每一層的輸入經(jīng)過通道合并，不是對(duì)前面特征的簡單復(fù)用，獲得了全新的特征，提升了特征挖掘能力，實(shí)現(xiàn)分類準(zhǔn)確率的提升[38]。DenseNet-100 以0.8 MB 的參數(shù)量在 CIFAR-10 數(shù)據(jù)集上較 SD-110、ResNet-110 分類準(zhǔn)確率分別提升5.74%、7.71%。然而DenseNet 存在后層提取的特征前層已經(jīng)獲得，造成特征上的冗余、頻繁的通道合并操作對(duì)計(jì)算機(jī)性能要求高等缺點(diǎn)。

4.2 DPN

4.2.1 內(nèi)在結(jié)構(gòu)

ResNet 通過旁路共享特征和保留中間特征的殘差結(jié)構(gòu)，可以有效降低特征冗余度，但難以實(shí)現(xiàn)高層對(duì)低層新特征的挖掘。DenseNet通過密集連接通路，可以有效地實(shí)現(xiàn)對(duì)底層新特征的挖掘，但卻存在特征上的冗余?；诖?，Chen 等人[39]結(jié)合 ResNet 與 DenseNet 的核心內(nèi)容，提出成雙路徑網(wǎng)絡(luò)DPN，設(shè)計(jì)見圖9。

圖9 雙路徑網(wǎng)絡(luò)單元

DPN單元由殘差路徑和密集連接路徑組成，特征信息經(jīng)過1×1卷積、3×3組卷積、1×1卷積的瓶頸結(jié)構(gòu)后輸出分為兩部分，一部分與原殘差路徑的特征信息通過相加融合，另一部分的信息與原密集連接路徑的特征信息進(jìn)行通道合并。

4.2.2 優(yōu)缺點(diǎn)及其適用場合

DPN 有效融合了 ResNet 和 DenseNet 模型思想，實(shí)現(xiàn)優(yōu)勢互補(bǔ)，在共享特征的時(shí)候保持雙路徑架構(gòu)挖掘新特征的靈活性[40]；同時(shí)采用組卷積和普通卷積操作，在保證提取豐富特征的同時(shí)大量降低模型參數(shù)量[41]。DPN具有分類精度高、參數(shù)效率高、計(jì)算成本低、內(nèi)存消耗少、便于優(yōu)化等優(yōu)點(diǎn)。DPN-98 較ResNeXt-101（64×4d）的參數(shù)量減少了26%，顯存占用減少9%，訓(xùn)練速度快15%。然而DPN 主要是將已有的網(wǎng)絡(luò)結(jié)構(gòu)融合，創(chuàng)新性還有可提升空間。DPN廣泛用于圖像分類，目標(biāo)檢測和語義分割，在多目標(biāo)、小目標(biāo)上也有較好的表現(xiàn)。

4.3 MobileNetV2

4.3.1 內(nèi)在結(jié)構(gòu)

依靠強(qiáng)大的計(jì)算能力作為支撐，深度神經(jīng)網(wǎng)絡(luò)能很好解決部分圖像分類問題，但在計(jì)算資源和存儲(chǔ)空間有限的移動(dòng)端部署困難，Sandler 等人[42]提出輕量級(jí)神MobileNetV2，構(gòu)建具有線性瓶頸的倒置殘差結(jié)構(gòu)，設(shè)計(jì)見圖10。

圖10 MobileNetV2單元

該模塊采用低維壓縮數(shù)據(jù)作為輸入，首先采用1×1卷積將其擴(kuò)展為高維，然后用輕量級(jí)的3×3深度可分離卷積進(jìn)行濾波，再通過1×1 卷積把特征再映射到低維，形成倒置殘差結(jié)構(gòu)。Relu會(huì)使負(fù)值置零，當(dāng)通道數(shù)壓縮到較少時(shí)進(jìn)行Relu 激活，會(huì)對(duì)信息張量造成較大的損失，第二個(gè)1×1 線性卷積的輸出特征不再經(jīng)過Relu，直接與恒等映射特征進(jìn)行融合，得到輸出特征。

4.3.2 優(yōu)缺點(diǎn)及其適用場合

深度可分離卷積，每個(gè)通道先各自進(jìn)行卷積操作實(shí)現(xiàn)特征提取，通道數(shù)不變，再通過1×1 卷積實(shí)現(xiàn)跨通道卷積操作實(shí)現(xiàn)特征組合，可大幅減少模型參數(shù)量，降低內(nèi)存占用[43]。經(jīng)計(jì)算，當(dāng)卷積核尺寸為3時(shí)，參數(shù)量大約會(huì)減少到原來的1/9。通道數(shù)較多時(shí)進(jìn)行Relu，信息張量的損失較少，MobileNetV2 使用線性瓶頸倒置殘差結(jié)構(gòu)，擴(kuò)張深度可分離卷積的通道數(shù)，在大幅減少模型參數(shù)量的同時(shí)，獲得較高的分類準(zhǔn)確率[44]。3.4 MB的MobileNetV2在ImageNet獲得28%的分類準(zhǔn)確率，加速深度網(wǎng)絡(luò)在移動(dòng)端的應(yīng)用。然而較低的參數(shù)量使其準(zhǔn)確率無法與常規(guī)的深層網(wǎng)絡(luò)相比，建議將MobileNetV2用于分類精度要求不高、計(jì)算力受限的移動(dòng)設(shè)備。

5 降低計(jì)算量

計(jì)算量即網(wǎng)絡(luò)執(zhí)行時(shí)間的長短，指網(wǎng)絡(luò)模型的時(shí)間復(fù)雜度，網(wǎng)絡(luò)計(jì)算量越大，時(shí)間復(fù)雜度越高，GPU的運(yùn)算能力要求越高，訓(xùn)練時(shí)間越長[45]。網(wǎng)絡(luò)在提升分類準(zhǔn)確率的同時(shí)往往伴隨著計(jì)算量的增加。本章將介紹殘差注意力網(wǎng)絡(luò)和ShuffleNet通過引入混合注意力機(jī)制和通道洗牌操作降低網(wǎng)絡(luò)計(jì)算量，提升網(wǎng)絡(luò)性能。

5.1 殘差注意力網(wǎng)絡(luò)

5.1.1 內(nèi)在結(jié)構(gòu)

深度學(xué)習(xí)發(fā)展到現(xiàn)在，很多工作開始轉(zhuǎn)向通過融合注意力機(jī)制進(jìn)行性能提升[46]。Mnih 等人[47]率先將注意力機(jī)制引入循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像分類，并在公開數(shù)據(jù)集上將圖像分類錯(cuò)誤率降低了4%。Wang 等人[48]首次成功將深度殘差網(wǎng)絡(luò)與混合注意力機(jī)制進(jìn)行有效結(jié)合，提出殘差注意力網(wǎng)絡(luò)。通過對(duì)每個(gè)注意力模塊設(shè)置主干分支和掩膜分支，將運(yùn)算聚焦于特定區(qū)域并使該部分區(qū)域特征得到增強(qiáng)，設(shè)計(jì)見圖11。

圖11 殘差注意力網(wǎng)絡(luò)單元

主干分支由現(xiàn)有網(wǎng)絡(luò)模型構(gòu)成，如ResNet、ResNeXt等，負(fù)責(zé)提取特征。掩膜分支形成通道域和空間域的注意力機(jī)制，主要包含前向的降采樣和上采樣過程，前者快速收集整個(gè)圖像的全局信息，后者將全局特征信息與原始特征圖相結(jié)合，學(xué)習(xí)到主干輸出特征的歸一化權(quán)重圖。采用殘差學(xué)習(xí)方式，將該權(quán)重圖與主干輸出特征圖點(diǎn)積后與主干輸出特征求和，其數(shù)學(xué)表達(dá)式如下：

式中，x為輸入信息，i是像素點(diǎn)的位置，c是對(duì)應(yīng)的通道位置Mi,c(x)為掩膜分支的輸出，取值在[0，1]區(qū)間，F(xiàn)i,c(x)為主干分支的輸出。

5.1.2 優(yōu)缺點(diǎn)及其適用場合

殘差注意力網(wǎng)絡(luò)將殘差連接方式與混合注意力模塊相融合，能使模型在增強(qiáng)重要特征的同時(shí)不破壞原始特征的特性。不同模塊的注意感知特征隨著層數(shù)的加深而自適應(yīng)變化，淺層注意力模塊主要集中于圖像背景，深層注意力模塊則聚焦于待分類的圖像，深淺層多注意力模塊相結(jié)合，特征表達(dá)能力增強(qiáng)[49]。Attention-92在ImageNet 數(shù)據(jù)集獲得最低分類精度為19.5%，較ResNet-200，分類準(zhǔn)確率提升0.6%的同時(shí)計(jì)算量降低31%左右。殘差注意力網(wǎng)絡(luò)通常用于圖像背景遮擋、類內(nèi)差異小、目標(biāo)在圖像中不均勻分布且需要空間轉(zhuǎn)換的數(shù)據(jù)集。

5.2 ShuffleNet

5.2.1 內(nèi)在結(jié)構(gòu)

大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的發(fā)展方向是通過變得更大更深來提高準(zhǔn)確率[50]，但會(huì)造成模型參數(shù)巨大，現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)通常有數(shù)百層和數(shù)千個(gè)信道，需要以數(shù)十億次的浮點(diǎn)運(yùn)算，難以運(yùn)行在移動(dòng)設(shè)備上，Zhang等人[51]Zhang 等人[32]提出 ShuffleNet，基于殘差連接方式，對(duì)ResNet單元引入逐點(diǎn)組卷積和通道洗牌的操作，得到輕量級(jí)的神經(jīng)網(wǎng)絡(luò)模型，設(shè)計(jì)見圖12。

圖12 ShuffleNet單元

相對(duì)于ResNet的1×1-3×3-1×1標(biāo)準(zhǔn)卷積，輸入特征在進(jìn)入ShuffleNet單元時(shí)，先進(jìn)行1×1逐點(diǎn)組卷積，然后將此時(shí)的特征映射進(jìn)行通道洗牌后進(jìn)行3×3 的深度可分離卷積，為了與恒等映射做通道融合，最后將特征映射送入1×1逐點(diǎn)組卷積。

5.2.2 優(yōu)缺點(diǎn)及其適用場合

小型網(wǎng)絡(luò)中大量的逐點(diǎn)卷積會(huì)造成有限通道之間約束性過強(qiáng)，從而損失精度，同時(shí)若多個(gè)逐點(diǎn)組卷積堆疊在一起，某個(gè)通道輸出僅從一小部分輸入通道中導(dǎo)出，會(huì)降低通道組之間信息的流通[52]。ShuffleNet 將逐點(diǎn)組卷積和通道洗牌相結(jié)合有效解決以上兩個(gè)問題，在保證精度的同時(shí)，計(jì)算量大大降低[53]。ShuffleNet-50 在ImageNet獲得25.2%的最低分類準(zhǔn)確率的同時(shí)，計(jì)算量降至2.3 GFLOPS，是一個(gè)典型的輕量化神經(jīng)網(wǎng)絡(luò)模型。然而ShuffleNet中大量使用1×1組卷積和瓶頸結(jié)構(gòu)使得網(wǎng)絡(luò)在實(shí)現(xiàn)時(shí)需要大量的指針跳轉(zhuǎn)，運(yùn)行速度還可以繼續(xù)提高。建議將ShuffleNet應(yīng)用于分類精度要求不高且計(jì)算力受限的移動(dòng)設(shè)備。

6 主流數(shù)據(jù)集、性能對(duì)比與應(yīng)用研究

殘差網(wǎng)絡(luò)及其變體為上百層深度神經(jīng)網(wǎng)絡(luò)，參數(shù)量和計(jì)算量都較大，在進(jìn)行圖像分類時(shí)，需要大量的數(shù)據(jù)擬合網(wǎng)絡(luò)模型，需要高性能的計(jì)算機(jī)設(shè)備[54]，選擇合適的數(shù)據(jù)集并優(yōu)化網(wǎng)絡(luò)模型的參數(shù)量和計(jì)算量是提升網(wǎng)絡(luò)性能的重要途經(jīng)。殘差網(wǎng)絡(luò)及其變體已在MNIST、SVHN、CIFAR、ImageNet等主流數(shù)據(jù)集上得到了充分的驗(yàn)證，具有高度的準(zhǔn)確性、穩(wěn)定性和推廣性，近年來，殘差網(wǎng)絡(luò)因其良好的性能已在國內(nèi)外取得了廣泛的應(yīng)用。

6.1 常用數(shù)據(jù)集

MNIST：60 000個(gè)訓(xùn)練集，10 000個(gè)測試集，每張圖片由0～9單個(gè)手寫數(shù)字組成。

SVHN：73 257 個(gè)訓(xùn)練集，26 032 個(gè)測試集，531 131個(gè)附加樣本，每張圖片來自真實(shí)世界的門牌號(hào)。

CIFAR-10：10 個(gè)完全互斥的類，50 000 個(gè)訓(xùn)練集，10 000個(gè)測試集，每張圖片均為RGB彩色圖像。

CIFAR-100：20 個(gè)大類，100 個(gè)小類，每個(gè)小類 600張圖像，其中500個(gè)訓(xùn)練集，100個(gè)測試集。

ImageNet：2.2 萬類，1 500 萬張圖像，是目前世界上圖像分類最大的數(shù)據(jù)庫。

6.2 性能對(duì)比

小參數(shù)量、低復(fù)雜度、高分類準(zhǔn)確率是網(wǎng)絡(luò)模型追求的共同目標(biāo)，然而高準(zhǔn)確率往往伴隨著龐大的網(wǎng)絡(luò)規(guī)模，這會(huì)引起計(jì)算量和參數(shù)量的提高[55]。以網(wǎng)絡(luò)模型的理論參數(shù)量和計(jì)算量為橫坐標(biāo)，以該網(wǎng)絡(luò)在224×224大小的ImageNet數(shù)據(jù)集取得的top-1分類錯(cuò)誤率為縱坐標(biāo)得到圖13，以網(wǎng)絡(luò)模型為橫坐標(biāo)，參數(shù)準(zhǔn)確率密度和計(jì)算量準(zhǔn)確率密度為縱坐標(biāo)，得到圖14。圖13、圖14反應(yīng)了各變體的性能及未來優(yōu)化方向，attition網(wǎng)絡(luò)提升混合注意力，SENet 提升通道注意力，它們都擁有較高的分類準(zhǔn)確率，說明了注意力機(jī)制在計(jì)算機(jī)視覺領(lǐng)域的巨大潛力，但兩者的信息密度較低，每個(gè)參數(shù)和計(jì)算量貢獻(xiàn)的分類準(zhǔn)確率較少，其潛在的學(xué)習(xí)能力沒有得到充分的利用；MobileNet 和ShuffleNet 為輕量化網(wǎng)絡(luò)模型，分類準(zhǔn)確率略低于其他網(wǎng)絡(luò)，但大大縮減了網(wǎng)絡(luò)模型的參數(shù)量和計(jì)算量，信息密度較高，降低了對(duì)計(jì)算機(jī)性能的要求，使其能夠應(yīng)用于簡單的移動(dòng)設(shè)備。未來網(wǎng)絡(luò)性能的提升的重點(diǎn)方向可能是各變體間進(jìn)行融合，實(shí)現(xiàn)優(yōu)勢互補(bǔ)，特別是注意力機(jī)制與輕量化網(wǎng)絡(luò)模型的融合，同時(shí)獲得較好的分類準(zhǔn)確率與信息密度。

圖13 各變體參數(shù)量、計(jì)算量-準(zhǔn)確率散點(diǎn)圖

圖14 各變體參數(shù)準(zhǔn)確密度、計(jì)算量準(zhǔn)確密度柱狀圖

6.3 應(yīng)用研究

殘差網(wǎng)絡(luò)及其變體自提出以來，就得到了國內(nèi)外學(xué)者的廣泛應(yīng)用，各變體常常不是單獨(dú)使用，而是進(jìn)行多網(wǎng)絡(luò)模型融合或改進(jìn)，解決了手勢識(shí)別、行為識(shí)別、遙感圖像、高光譜圖像、農(nóng)業(yè)病害、疾病診斷等場景問題。

韓文靜等人[56]結(jié)合SENet與殘差塊網(wǎng)絡(luò)，分別構(gòu)成第一通道提取全局特征、第二通道提取局部特征，新雙通道模型獲得了99.80%的手勢識(shí)別率；楊國亮等人[57]結(jié)合DenseNet 與MobileNetV2，宋玲等人[58]結(jié)合Mask R-CNN[59]與ShuffleNet，在保證精度的前提下，降低參數(shù)量與計(jì)算量，新模型分別于遙感圖像場景分類與人體關(guān)鍵點(diǎn)檢測中表現(xiàn)出良好性能；解懷奇等人[60]以ResNeXt為基礎(chǔ)提取視頻幀時(shí)空?qǐng)D，引入注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)表征能力，實(shí)現(xiàn)視頻人體行為識(shí)別；Kang等人[40]結(jié)合組成成分分析（Principal Component Analysis，PCA）[61]和DPN，分別用于高光譜圖像的特征提取與分類；Yang等人[62]對(duì) GoogLeNet、InceptionV4 和 WRN 等網(wǎng)絡(luò)進(jìn)行訓(xùn)練、測試、評(píng)價(jià)和比較，得出了基于WRN 的農(nóng)業(yè)病害識(shí)別方法。

7 總結(jié)與展望

本文就面向圖像分類的殘差網(wǎng)絡(luò)及其變體進(jìn)行了深入的分析與綜述。從2015 年至今，殘差網(wǎng)絡(luò)及其變體通過引入瓶頸結(jié)構(gòu)、深度、寬度、壓縮剪枝、特征重用、基數(shù)、注意力機(jī)制、深度可分離卷積、尺度等操作，很大程度上降低了復(fù)雜度，減少了參數(shù)量，提高了分類準(zhǔn)確率，在圖像分類領(lǐng)域取得了不小的發(fā)展與應(yīng)用，成為了圖像分類領(lǐng)域的研究熱點(diǎn)。但是目前依然存在許多的缺點(diǎn)：

（1）殘差網(wǎng)絡(luò)的性能極大地依賴于數(shù)據(jù)集的多少，然而現(xiàn)在很多領(lǐng)域的數(shù)據(jù)集還不夠完善，數(shù)據(jù)量較少。特別是醫(yī)學(xué)領(lǐng)域，影像診斷急需智能化，但CT、MRI 的數(shù)據(jù)集很少，很難獲得較好的分類準(zhǔn)確率。如何在數(shù)據(jù)量較小的情況下，引入數(shù)據(jù)擴(kuò)充、遷移學(xué)習(xí)和預(yù)訓(xùn)練等操作提高分類準(zhǔn)確率將是未來的研究方向。

（2）參數(shù)量過大，導(dǎo)致收斂速度慢、訓(xùn)練時(shí)間長、訓(xùn)練需要較大的硬件資源，在移動(dòng)端等設(shè)備的應(yīng)用較少。仍然需要進(jìn)一步研究如何在嵌入式和智能設(shè)備中保持圖像分類準(zhǔn)確率的同時(shí)減少網(wǎng)絡(luò)參數(shù)量。

（3）信息流的不對(duì)稱和網(wǎng)絡(luò)冗余，由于殘差網(wǎng)絡(luò)的寬度與深度提高了許多，這導(dǎo)致了大量網(wǎng)絡(luò)路徑冗余。同時(shí)由于激活函數(shù)對(duì)底層信息流的篩選導(dǎo)致了信息的不對(duì)稱，提高對(duì)底層信息的利用率以及在不改變性能的情況下減少網(wǎng)絡(luò)的冗余度值得深入研究。

（4）殘差網(wǎng)絡(luò)的泛化能力仍需繼續(xù)增強(qiáng)，如今的殘差網(wǎng)絡(luò)依然有較大的圖像分類誤差率，如何提高泛化能力防止過擬合，將殘差網(wǎng)絡(luò)與注意力機(jī)制結(jié)合，殘差塊改進(jìn)、網(wǎng)絡(luò)連接改進(jìn)、壓縮剪枝改進(jìn)等都是可繼續(xù)深入研究的方向。

（5）實(shí)踐經(jīng)驗(yàn)豐富，理論分析不足，大多數(shù)網(wǎng)絡(luò)模型的提出是基于大量的實(shí)踐，以圖像分類效果作為評(píng)判的依據(jù)，可解釋性不強(qiáng)，有時(shí)很難對(duì)其進(jìn)行驗(yàn)證。進(jìn)行理論的拓展與深入將會(huì)推進(jìn)殘差網(wǎng)絡(luò)在圖像分類領(lǐng)域的應(yīng)用。

（6）深度神經(jīng)網(wǎng)絡(luò)具有較多的超參數(shù)，超參數(shù)的選擇很大程度上影響分類準(zhǔn)確率的高低，人工超參數(shù)的調(diào)整是一件繁瑣困難的事。網(wǎng)格搜索[63]和隨機(jī)搜索[64]分別同時(shí)獨(dú)立訓(xùn)練所有超參數(shù)組合模型、隨機(jī)超參數(shù)組合模型，通過評(píng)估各自的性能從而得出最優(yōu)參數(shù)值；遺傳算法[65]和貝葉斯優(yōu)化[66]分別通過交叉和變異、探索和挖掘，自適應(yīng)地利用先前結(jié)果指導(dǎo)搜索的方式自動(dòng)優(yōu)化參數(shù)。合理地應(yīng)用現(xiàn)有的自動(dòng)化調(diào)參方法并創(chuàng)新高效調(diào)參模型將是未來一大挑戰(zhàn)。