基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

楊火祥，柳偉，孟凡陽，梁永生

（1. 深圳信息職業(yè)技術(shù)學(xué)院信息技術(shù)研究所，廣東 深圳 518172；2. 深圳大學(xué)信息工程學(xué)院，廣東 深圳 518060）

網(wǎng)絡(luò)結(jié)構(gòu)對自編碼網(wǎng)絡(luò)[1]的性能和效率具有決定性的影響，如何設(shè)計一個有效的自編碼網(wǎng)絡(luò)結(jié)構(gòu)，使其既能夠有效提取自編碼網(wǎng)絡(luò)的特征，又能提升圖像重構(gòu)[2]性能和自編碼網(wǎng)絡(luò)的編解碼效率，成為了自編碼網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中的核心問題[3]。

經(jīng)典的自編碼網(wǎng)絡(luò)用于圖像處理[4]時，一般包含卷積層、全連接層和反卷積層等三種不同的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。卷積層主要用在編碼端，通過卷積和池化操作降低特征圖的空間分辨率；全連接層[5]用在編碼的終端和解碼的前端，用以提取圖片的不變特征，反卷積層則主要用于解碼層，通過反卷積操作逐層提升特征圖的空間分辨率，進而重構(gòu)出原始圖片。

圖1 經(jīng)典自編碼網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Classical autoencoder network structure

經(jīng)典的自編碼網(wǎng)絡(luò)結(jié)構(gòu)包含三個問題，首先，利用全連接層提取特征，不僅增加了計算復(fù)雜度，而且在全連接層進行特征提取，導(dǎo)致特征圖的位置信息的丟失，進而增加了重構(gòu)的復(fù)雜度；其次，利用反卷積層進行解碼時，特征圖的空間分辨率是逐層遞增的，這不僅增加了計算量，而且重構(gòu)誤差會隨著網(wǎng)絡(luò)逐層累積；最后，利用順序結(jié)構(gòu)構(gòu)建自編碼網(wǎng)絡(luò)時，隨著網(wǎng)絡(luò)深度的增加，會出現(xiàn)梯度彌散或梯度爆炸[6]等問題，導(dǎo)致網(wǎng)絡(luò)無法收斂。

文獻[7]提出了全卷積網(wǎng)絡(luò)運用在圖像分割，利用卷積層代替全連接層，在分割效果和運算時間上都大大提升。

文獻[8]提出了子像素網(wǎng)絡(luò)（ESPCN）超分辨重構(gòu)模型，直接將低分辨率的圖片輸入到模型進行處理，大大降低了計算復(fù)雜度，將ESPCN網(wǎng)絡(luò)優(yōu)化解碼層能夠降低自編碼網(wǎng)絡(luò)計算復(fù)雜度，但是仍沒有解決自編碼網(wǎng)絡(luò)特征圖位置丟失、重構(gòu)復(fù)雜度大等問題。

針對以上問題，本文提出了一種基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)構(gòu)，使其在提升自編碼網(wǎng)絡(luò)編解碼效率的同時，提高自編碼網(wǎng)絡(luò)特征提取和圖像重構(gòu)的性能。利用子像素網(wǎng)絡(luò)提升解碼層的重構(gòu)性能和效率，利用全卷積網(wǎng)絡(luò)提升自編碼網(wǎng)絡(luò)提取特征的有效性以及重構(gòu)的準確性，利用稠密連接網(wǎng)絡(luò)解決自編碼網(wǎng)絡(luò)的收斂性問題。

1 子像素網(wǎng)絡(luò)

在自編碼網(wǎng)絡(luò)中，解碼層實質(zhì)上可以看作是一個提升空間分辨率的過程，而這與超分辨任務(wù)是一致的，這意味著我們可以將超分辨領(lǐng)域的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法應(yīng)用在自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中。在超分辨任務(wù)中，ESPCN是一種新的空間分辨率提升網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。

圖2 子像素網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Sub-pixel autoencoder network structure

假定對于一個C×n×n大小的輸入特征圖，其中C為輸入特征圖的通道數(shù)，如果想要將其空間分辨率增大r倍，對于反卷積網(wǎng)絡(luò)來說，不僅需要設(shè)計多層反卷積網(wǎng)絡(luò)，并通過逐層增加空間分辨率來實現(xiàn)，而且還需要精心設(shè)計每層增加的分辨率的大小，以保證最后得到的空間分辨率是rn×rn。而與反卷積網(wǎng)絡(luò)的實現(xiàn)方式不同，在子像素網(wǎng)絡(luò)中，所有隱藏層對應(yīng)特征圖的空間分辨率是不變的，即都是n×n，而只需保證隱藏層的最后一層的通道數(shù)為M×r×r（M為最終輸出特征圖的通道數(shù)，對于彩色圖像為3），然后，利用子像素卷積網(wǎng)絡(luò)將M×r×r個通道通過子像素差值得到最終M×rn×rn的特征圖。

由于子像素網(wǎng)絡(luò)只在最后一層提升空間分辨率，不僅大大降低計算量，而且因為沒有空間分辨率逐層遞增所帶來的累積誤差，使得最終的重構(gòu)圖像在質(zhì)量上也具有較大的提升?；谝陨戏治?，本文將子像素網(wǎng)絡(luò)的思想應(yīng)用到自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中，使得在降低自編碼網(wǎng)絡(luò)計算復(fù)雜度的同時，提升重構(gòu)圖像的質(zhì)量。

2 全卷積網(wǎng)絡(luò)

在經(jīng)典的自編碼網(wǎng)絡(luò)中，在編碼端卷積網(wǎng)絡(luò)之后和解碼段反卷積網(wǎng)絡(luò)之前，借鑒圖像分類網(wǎng)絡(luò)，通常會利用全連接網(wǎng)絡(luò)將特征圖映射為固定長度的特征向量。盡管這種方式在圖像分類任務(wù)中取得了非常好的效果，能夠有效提取圖像的不變特征。但是，一方面，全連接層的計算量遠大于卷積層，使得自編碼網(wǎng)絡(luò)的大部分計算量都集中在全連接層；另一方面，利用全連接層將特征圖映射到向量，會丟失圖片內(nèi)容的位置信息，盡管能夠更好的提取圖像的不變特征，但卻大大增加了重構(gòu)的復(fù)雜度，影響了自編碼網(wǎng)絡(luò)重構(gòu)圖片的質(zhì)量，進而也會導(dǎo)致提取的特征并不能很好地表征圖片。

在圖像分割中，利用卷積網(wǎng)絡(luò)替換全連接層，不僅能夠有效地降低計算復(fù)雜度，而且能夠很好地保存圖片中的空間位置信息，進而有效地實現(xiàn)圖像分割任務(wù)?；谶@一研究，本文將全卷積網(wǎng)絡(luò)結(jié)構(gòu)的這一思想應(yīng)用在自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中，使得自編碼網(wǎng)絡(luò)不僅能夠有效地提取圖片的特征，而且能夠保留圖像中的空間位置信息，進而提高圖片重構(gòu)質(zhì)量。

3 基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

本文將從解碼層網(wǎng)絡(luò)結(jié)構(gòu)、特征提取網(wǎng)絡(luò)結(jié)構(gòu)等方面對自編碼的網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化。下面將對網(wǎng)絡(luò)的具體優(yōu)化進行詳細論述。

首先，將自編碼網(wǎng)絡(luò)解碼層的反卷積層換成卷積層（后面稱其為子像素自編碼網(wǎng)絡(luò)結(jié)構(gòu)），然后將最后一層換為子像素卷積層。為了論述簡單，不失一般性，假定自編碼網(wǎng)絡(luò)的輸入大小為3×n×n，經(jīng)過編碼層和全連接層后，得到的大小為C×m×m，那么，在基于子像素卷積的解碼層中，其對應(yīng)的隱藏層中的空間分辨率都為m×m，且隱藏層最后一層的通道數(shù)為 3×n2/m2，最后利用子像素網(wǎng)絡(luò)得到最終大小為3×n×n的輸出。值得注意的是，當(dāng)n/m并不是整數(shù)時，可以在子像素卷積層之后加入一層卷積網(wǎng)絡(luò)進行補全。

其次，將自編碼網(wǎng)絡(luò)結(jié)構(gòu)中全連接層換成卷積層（后面稱其為全卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)），進而實現(xiàn)全卷積自編碼網(wǎng)絡(luò)。值得注意的是，由于卷積核感受野受到卷積層數(shù)和卷積核大小的影響，會使得編碼層最后一層卷積核的感受野并不能包含整個圖片，而這將影響最終提取特征的全局性。因此，需要保證編碼網(wǎng)絡(luò)最后一層的卷積核的感受野大于一定的范圍，即：

其中，S為編碼網(wǎng)絡(luò)的卷積層數(shù)，rS為第S層的感受野，step和CS分別為第S的卷積步長和卷積核大小。最終的基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 基于全卷積子像素網(wǎng)絡(luò)的自編碼網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure based on sub-pixel fully convolutional network

最后，根據(jù)前面的分析，將編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)結(jié)構(gòu)修改為稠密連接網(wǎng)絡(luò)，用以進一步提升自編碼網(wǎng)絡(luò)的收斂性。

4 實驗結(jié)果與分析

為了驗證本文提出的基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法的性能，本文將在兩個測試數(shù)據(jù)集上進行實驗分析，并與經(jīng)典自編碼網(wǎng)絡(luò)結(jié)構(gòu)、全卷積自編碼網(wǎng)絡(luò)結(jié)構(gòu)和子像素自編碼網(wǎng)絡(luò)結(jié)構(gòu)進行對比。

為了實驗結(jié)果的公平性，所有算法將在相同或者相似的條件下進行。實驗環(huán)境為Linux系統(tǒng)，深度學(xué)習(xí)框架為Pytorch，利用 K80 GPU進行加速。本文所選用的訓(xùn)練數(shù)據(jù)集為Coil-20[9]圖像數(shù)據(jù)集和OBJ101數(shù)據(jù)集。Coil-20包含20類圖像以及對應(yīng)標(biāo)簽，每張圖片的大小為128x128，共1440張圖片；OBJ101包含101類，8677張圖像，圖片大小不固定。圖4和圖5給出了數(shù)據(jù)庫中的部分圖片。

圖4 Coil-20數(shù)據(jù)集部分圖片F(xiàn)ig.4 A part of Coil-20 dataset

圖5 OBJ101數(shù)據(jù)集部分圖片F(xiàn)ig.5 A part of OBJ101 dataset

為了有效分析不同網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本文將從三個方面對自編碼網(wǎng)絡(luò)性能進行度量：圖像重構(gòu)質(zhì)量、計算復(fù)雜度和聚類性能[10]。圖像重構(gòu)質(zhì)量主要利用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）兩個度量指標(biāo)進行度量，PSNR是一種基于像素誤差的客觀評價標(biāo)準，衡量不同圖像像素之間的差異大小，SSIM是一種基于結(jié)構(gòu)差異的評價指標(biāo)。由于計算復(fù)雜度與網(wǎng)絡(luò)結(jié)構(gòu)的實現(xiàn)方式以及實驗環(huán)境密切相關(guān)，為了分析的公平性，本文在實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)時，將不同網(wǎng)絡(luò)層的通道數(shù)都設(shè)置為相同，并以自編碼網(wǎng)絡(luò)訓(xùn)練100輪的總時間作為計算復(fù)雜度的評價指標(biāo)。由于無監(jiān)督聚類并不能單純的從某個指標(biāo)看出聚類結(jié)果的好壞，因此本文對聚類性能的分析首先利用Kmeans方法進行無監(jiān)督聚類，然后對聚類結(jié)果利用homo、compl、ARI和AMI等四個聚類指標(biāo)進行綜合評估。其中，homo(homogeneity score)表示同類樣本被歸類到同一類的概率，compl(completeness score)表示無監(jiān)督聚類后每類只包含一類樣本的概率，ARI(Adjusted Rand Index)表示與真實類別的相似度，AMI(Adjusted Mutual Information)類似于ARI，從信息熵的角度度量相似度。

為了簡化相應(yīng)對比實驗，本文主要以monarch圖片為參考對象，對不同自編碼網(wǎng)絡(luò)的性能進行可視化分析。如圖6為monarch原圖以及細節(jié)圖，由圖可以看出，monarch圖片中包含了清晰的細節(jié)信息，因此能夠很好地對圖片重構(gòu)的結(jié)果進行有效地可視化。

圖6 monarch原圖及其細節(jié)圖Fig.6 Original and drawing of partial enlargement of monarch

4.1 網(wǎng)絡(luò)結(jié)構(gòu)對自編碼性能的影響分析

為了驗證不同網(wǎng)絡(luò)結(jié)構(gòu)對自編碼性能的影響，本節(jié)對不同的編碼網(wǎng)絡(luò)結(jié)構(gòu)和解碼網(wǎng)絡(luò)結(jié)構(gòu)進行分析。該部分的實驗在Coil-20數(shù)據(jù)集完成，輸入圖片大小3×128×128，編碼層輸出特征3×32×32，自編碼網(wǎng)絡(luò)對應(yīng)的壓縮比為16：1。表1給出了不同的自編碼網(wǎng)絡(luò)結(jié)構(gòu)對應(yīng)的圖片重構(gòu)質(zhì)量度量和計算復(fù)雜度分析。在這里，編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)對應(yīng)的卷積層均為3層。圖7則是不同自編碼網(wǎng)絡(luò)結(jié)構(gòu)所得到的monarch的重構(gòu)結(jié)果。

表1 幾種網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的自編碼網(wǎng)絡(luò)性能Tab.1 Performance on different autoencoder optimization method

圖7 與表1對應(yīng)解碼圖及其細節(jié)圖Fig.7 Decoding picture and drawing of partial enlargement of monarch corresponding to table 1

從表1可以看出：自編碼網(wǎng)絡(luò)優(yōu)化能夠有效提升自編碼網(wǎng)絡(luò)的重構(gòu)性能，并降低相應(yīng)的計算復(fù)雜度。例如，與經(jīng)典的自編碼網(wǎng)絡(luò)相比，在子像素自編碼網(wǎng)絡(luò)的自編碼網(wǎng)絡(luò)結(jié)構(gòu)在圖像重構(gòu)質(zhì)量具有一定提升的基礎(chǔ)上（PSNR提升了0.39，SSIM提升0.34），其運行時間卻大大縮短到原來的56%。這進一步說明子像素網(wǎng)絡(luò)能夠有效降低計算量，并能夠解決由于逐層增加分辨率所導(dǎo)致的誤差累積問題。由于經(jīng)典自編碼網(wǎng)絡(luò)結(jié)構(gòu)中的全連接層所占比重并不大，因此，全卷積網(wǎng)絡(luò)對自編碼網(wǎng)絡(luò)性能的提升有限。盡管如此，全卷積網(wǎng)絡(luò)在圖片重構(gòu)質(zhì)量和計算復(fù)雜度上仍然優(yōu)于經(jīng)典自編碼網(wǎng)絡(luò)結(jié)果。基于子像素全卷積的自編碼網(wǎng)絡(luò)的性能明顯優(yōu)于其它網(wǎng)絡(luò)結(jié)構(gòu)，這說明子像素網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和全卷積網(wǎng)絡(luò)優(yōu)化能夠有效地結(jié)合。

由圖7可以看出，經(jīng)典自編碼網(wǎng)絡(luò)結(jié)構(gòu)重構(gòu)的圖像相對模糊，丟失了一些細節(jié)信息，例如蝴蝶翅膀的邊緣以及翅膀上的黑白斑塊，而本文提出的基于子像素全卷積網(wǎng)絡(luò)的自編碼網(wǎng)絡(luò)結(jié)構(gòu)重構(gòu)的結(jié)果能夠很好地保留細節(jié)信息。

為了進一步分析自編碼網(wǎng)絡(luò)結(jié)構(gòu)對性能的影響，在基于子像素全卷積優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，分析不同的卷積層深度對自編碼網(wǎng)絡(luò)性能的影響。實驗結(jié)果如表2所示。

表2 不同卷積層網(wǎng)絡(luò)深度的自編碼網(wǎng)絡(luò)性能Tab.2 Performance on different deep autoencoder

圖8 與表2對應(yīng)解碼圖及其細節(jié)圖Fig.8 Decoding picture and drawing of partial enlargement of monarch corresponding to table 2

由表2可以看出，隨著網(wǎng)絡(luò)深度的增加，基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)果的性能也越好，但是對應(yīng)的計算復(fù)雜度隨之增加。因此，在實際的應(yīng)用中，需要根據(jù)實際的應(yīng)用需求對網(wǎng)絡(luò)深度和性能進行折中。

4.2 不同網(wǎng)絡(luò)結(jié)構(gòu)在不同數(shù)據(jù)庫上的性能比較

為了進一步分析算法在不同數(shù)據(jù)上的性能，我們將不同的自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法應(yīng)用在Coil-20數(shù)據(jù)集和OBJ101數(shù)據(jù)集上，這里，卷積層深度均為4層。相應(yīng)的實驗結(jié)果如表3和表4所示。

表3 在Coil-20數(shù)據(jù)集上不同網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)對自編碼網(wǎng)絡(luò)性能的影響Tab.3 Performance on different Structure autoencoder on Coil-20 dataset

經(jīng)典自編 子像素網(wǎng) 全卷積網(wǎng) 子像素全碼網(wǎng)絡(luò) 絡(luò)優(yōu)化 絡(luò)優(yōu)化 卷積網(wǎng)絡(luò)優(yōu)化時間(s) 1757 956 1621 804 homo 0.702 0.738 0.711 0.752 compl 0.734 0.765 0.743 0.772 ARI 0.394 0.408 0.397 0.412 AMI 0.428 0.475 0.434 0.478

表4 在OBJ101數(shù)據(jù)集上不同網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)對自編碼網(wǎng)絡(luò)性能的影響Tab. 4 Performance on different Structure autoencoder on OBJ101 dataset

圖9 與表3對應(yīng)解碼圖及其細節(jié)圖Fig.9 Decoding picture and drawing of partial enlargement of monarch corresponding to table 3

圖10 與表4對應(yīng)解碼圖及其細節(jié)圖Fig.10 Decoding picture and drawing of partial enlargement of monarch corresponding to table 4

由表3-4和圖9-10可以看出，基于子像素全卷積網(wǎng)絡(luò)的自編碼網(wǎng)絡(luò)結(jié)構(gòu)在不同數(shù)據(jù)集上的性能仍然優(yōu)于其它網(wǎng)絡(luò)結(jié)構(gòu)，進一步證明了本文提出的自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法的有效性。值得注意的是，在不同的數(shù)據(jù)集上，自編碼網(wǎng)絡(luò)對應(yīng)的性能具有較大的差異，例如，在表3-4中可以看出，Coil-20數(shù)據(jù)集的結(jié)果明顯優(yōu)于OBJ101數(shù)據(jù)集的結(jié)果，主要原因是兩個數(shù)據(jù)集的數(shù)據(jù)數(shù)量和豐富程度不同，Coil-20數(shù)據(jù)集總共訓(xùn)練了1440張圖片，而OBJ101數(shù)據(jù)集不僅圖片較多，而且圖片的類別也比較多，這使得利用自編碼進行無監(jiān)督學(xué)習(xí)提取到的特征并不能有效地表征圖片的相關(guān)信息。

4.3 網(wǎng)絡(luò)結(jié)構(gòu)性能分析

為了進一步分析不同CNN網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化對基于子像素全卷積的自編碼網(wǎng)絡(luò)性能的影響，本文分析了經(jīng)典CNN網(wǎng)絡(luò)結(jié)構(gòu)、 ResNet[11]和DenseNet[12]等三種不同的CNN網(wǎng)絡(luò)結(jié)果對自編碼網(wǎng)絡(luò)性能的影響。在該實驗中，實驗結(jié)果基于4層的卷積層深度，數(shù)據(jù)集為Coil-20。表5和圖11分別給出了對應(yīng)的性能分析結(jié)果和對應(yīng)的自編碼重構(gòu)結(jié)果。

表5 不同網(wǎng)絡(luò)結(jié)構(gòu)對自編碼網(wǎng)絡(luò)性能的影響Tab.5 performance on different Structure

圖11 與表5對應(yīng)解碼圖及其細節(jié)圖Fig.11 Decoding picture and drawing of partial enlargement of monarch corresponding to table 5

由表5可以看出，DenseNet的圖片重構(gòu)結(jié)果和聚類性能明顯優(yōu)于其他CNN網(wǎng)絡(luò)結(jié)構(gòu)，而對應(yīng)的計算復(fù)雜度隨之增加，這主要是DenseNet的高層網(wǎng)絡(luò)需要將前面層的所有輸入都進行加權(quán)，因此增加了相應(yīng)的計算復(fù)雜度。圖11的實驗結(jié)果再次表明更好的CNN網(wǎng)絡(luò)結(jié)構(gòu)能夠有效提升自編碼網(wǎng)絡(luò)對圖像細節(jié)信息的保留。

5 結(jié)束語

針對經(jīng)典自編碼網(wǎng)絡(luò)結(jié)構(gòu)計算復(fù)雜度相對較高且性能較低的問題，本文提出了一種基于子像素全卷積的自編碼網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法。首先，利用子像素網(wǎng)絡(luò)替換經(jīng)典自編碼網(wǎng)絡(luò)的解碼層，用以解決反卷積層在逐層提升空間分辨時所存在的誤差累積和計算復(fù)雜度高的問題；其次，利用全卷積網(wǎng)絡(luò)替換經(jīng)典自編碼網(wǎng)絡(luò)的全連接層，用以解決全連接層在提取特征時所存在的丟失空間信息和計算復(fù)雜度較高的問題；最后，利用DenseNet替換經(jīng)典的CNN網(wǎng)絡(luò)結(jié)構(gòu)，用以提升自編碼網(wǎng)絡(luò)的收斂性。實驗結(jié)果表明，與經(jīng)典的自編碼網(wǎng)絡(luò)結(jié)構(gòu)相比，本文提出的自編碼網(wǎng)絡(luò)優(yōu)化算法在不同的測試數(shù)據(jù)集上都具有很好的性能，而且無論是圖像重構(gòu)還是特征提取，都明顯優(yōu)于經(jīng)典的自編碼網(wǎng)絡(luò)結(jié)構(gòu)。