受損圖片分類的雙并行交叉降噪卷積神經(jīng)網(wǎng)絡(luò)

王 達(dá)，周雪峰，徐智浩，蔡奕松 ，陳 洲

1.沈陽工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110870

2.廣東省智能制造研究所 廣東省現(xiàn)代控制技術(shù)重點實驗室，廣州 510070

1 引言

圖像識別與分類技術(shù)作為計算機視覺中的一個重要的研究領(lǐng)域，近些年廣泛應(yīng)用于國防和民用的許多領(lǐng)域。但由于識別背景、環(huán)境及目標(biāo)的復(fù)雜性，機器視覺圖像目標(biāo)的高效、準(zhǔn)確識別具有一定的困難。近些年計算機與互聯(lián)網(wǎng)技術(shù)的進(jìn)步，使得以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)得到發(fā)展，運用深度學(xué)習(xí)的主要目的是建立多層神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)模仿人腦機制來分析和解釋圖像[1-2]。深度學(xué)習(xí)通過組合淺層特征形成更加抽象的高層特征，以發(fā)現(xiàn)數(shù)據(jù)的更深層次分布式特征表示。目前應(yīng)用在圖像識別、場景識別和物體追蹤等方面，并表現(xiàn)出極大的應(yīng)用價值。但也存在以下問題：對于受到干擾的圖像信息，識別效果與精度達(dá)不到目標(biāo)；需要處理大量的訓(xùn)練樣本并提取高層次的特征，因此計算模型復(fù)雜，計算量極大[3-4]；由于沒有捕捉到圖像中物體的特征信息，整體特征的突然變化對于圖像目標(biāo)的識別非常不利。

針對圖像識別領(lǐng)域存在的問題，發(fā)展出如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）有效的方法，與普通的神經(jīng)網(wǎng)絡(luò)相比，CNN的特點是增加了卷積層和池化層。其中，卷積層的特點提取相鄰像素之間的共同特性效果好，具有權(quán)值共享特性，能夠大量減少神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的參數(shù)數(shù)量；池化層的特點則是可以保證位移不變[5-6]。CNN充分利用隱藏層逐層深入地學(xué)習(xí)圖像的抽象信息，更全面直接地獲取圖像特征，因數(shù)字圖像是以矩陣來描述，卷積神經(jīng)網(wǎng)絡(luò)能更好地從局部信息塊出發(fā)，進(jìn)而描述圖像的整體結(jié)構(gòu)[7]。雖然CNN可以有效地處理信息，但由于真實數(shù)據(jù)存在許多干擾，其網(wǎng)絡(luò)模型通常缺少抗噪能力，魯棒性不強，且層數(shù)較多計算量大。

為應(yīng)對各種受干擾的圖像分類問題，本文改進(jìn)傳統(tǒng)自編碼方式與CNN模型，結(jié)合兩種改進(jìn)方法，模擬人眼的雙目結(jié)構(gòu)，提出一種雙并行交叉降噪卷積模型（Double Parallel Cross Denoising Convolution model，DPCDC），同時在該模型的訓(xùn)練過程中討論不同激活函數(shù)以及處理數(shù)據(jù)的方法對其精度的影響。

2 相關(guān)工作

2.1 自編碼方法

自動編碼器是對原始信號進(jìn)行編碼，同時解碼恢復(fù)數(shù)據(jù)，從而實現(xiàn)編碼解碼的整個過程[8]，避免了傳統(tǒng)方法不加生成約束的情況下，容易形成直接將輸入向量復(fù)制到輸出向量，或者只作微小的改變以產(chǎn)生較小的重構(gòu)誤差，使得模型表現(xiàn)效果不佳[9]。自動編碼器屬于多層前傳神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中常用的模型之一，基于人工神經(jīng)網(wǎng)絡(luò)具有網(wǎng)絡(luò)層次結(jié)構(gòu)的特點。主要由三個部分組成：編碼器、解碼器、隱含層。工作方式為：原始輸入x經(jīng)過加權(quán)、映射之后得到y(tǒng)，再對y反向加權(quán)映射輸出z。通過反復(fù)迭代訓(xùn)練兩組的w和b，使得誤差函數(shù)最小，即盡可能保證z近似x，完成對x的重構(gòu)，具體公式如下：

其中w與w′為兩組權(quán)值，b與b′為兩組偏置，s()與s′()分別表示不同的激活函數(shù)，fθ()、gθ′()分別表示 x到 y與y到z的映射關(guān)系。

2.2 CNN模型

利用深度特征實現(xiàn)圖像的分類與識別，目前主要使用CNN模型。對于CNN的基本結(jié)構(gòu)為：輸入層、卷積層、池化層、全連接層及輸出層構(gòu)成。其中卷積層由多個特征面組成，每個特征面由多個神經(jīng)元組成，它的每一個神經(jīng)元通過卷積核與上一層特征面的局部區(qū)域相連，卷積核是一個權(quán)值矩陣（如對于二維而言可為3×3或5×5矩陣）[10]。CNN的卷積層通過卷積操作提取輸入的不同特征，設(shè)第l卷積層，第l-1層為池化層或者輸入層，則第l層的計算公式為：

池化層也稱為取樣層，緊跟在卷積層之后，同樣由多個特征面組成，它的每一個特征面唯一對應(yīng)其上一層的一個特征面，不會改變特征面的個數(shù)取樣層旨在通過降低特征面的分辨率來獲得具有空間不變性的特征[11]。設(shè)第l為池化層，第l-1層為卷積層，則第l層的計算公式為：

其中down()為下采樣函數(shù)，可將n×n像素里的所有像素相加，下采樣作用于圖像不重合的區(qū)域，因此所得的特征圖大小為原來的1/n。β表示為權(quán)重，對于2×2的mean pooling而言，權(quán)值為1/4。

在CNN結(jié)構(gòu)中，深度越深、特征面數(shù)目越多，網(wǎng)絡(luò)能夠表示的特征空間也就越大、網(wǎng)絡(luò)學(xué)習(xí)能力也越強，然而也會使網(wǎng)絡(luò)的計算更復(fù)雜，極易出現(xiàn)過擬合的現(xiàn)象。

2.3 激活函數(shù)

在傳統(tǒng)的CNN中，激勵函數(shù)一般使用飽和非線性函數(shù)（saturating nonlinearity）如sigmoid函數(shù)、tanh函數(shù)等。激活函數(shù)，相比較于飽和非線性函數(shù)，不飽和非線性函數(shù)能夠解決梯度爆炸、梯度消失問題，同時其也能夠加快收斂速度[12]。Jarrett等人[13]探討了卷積網(wǎng)絡(luò)中使用糾正非線性函數(shù)，能夠顯著提升卷積網(wǎng)絡(luò)的性能，文獻(xiàn)[14]也驗證了這一結(jié)論。而在一般網(wǎng)絡(luò)結(jié)構(gòu)中基本使用的不飽和非線性函數(shù)的激活函數(shù)為線性整流函數(shù)（Rectified Linear Unit，relu），又稱修正線性單元，是一種人工神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)，通常指代以斜坡函數(shù)及其變種為代表的非線性函數(shù)。relu函數(shù)的計算公式如下所示：

3 深度學(xué)習(xí)優(yōu)化策略

3.1 總體模型設(shè)計思路

為應(yīng)對各種大量受干擾的圖像分類問題，同時降低訓(xùn)練模型的復(fù)雜程度，本文模擬人眼在觀察物體時，通過雙目和兩條視神經(jīng)來進(jìn)行的，兩條視神經(jīng)所傳遞的視覺信息經(jīng)過交叉?zhèn)鲗?dǎo)，形成交叉混合信息以供大腦分析的方法，對現(xiàn)有的自編碼方法和CNN模型進(jìn)行改進(jìn)，結(jié)合這兩種改進(jìn)模型設(shè)計出了一種如圖1所示，優(yōu)化的雙并行交叉降噪卷積模型，同時在模型訓(xùn)練時，使用批量正則化和改變傳統(tǒng)激活函數(shù)的方法來提高效果避免過擬合的情況發(fā)生。

圖1 雙并行交叉降噪卷積框圖

該模型主要通過4個方面來分析受干擾數(shù)據(jù)，提升精度。第一，將改進(jìn)的自編碼方式和并行交叉卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合，形成雙并行交叉網(wǎng)絡(luò)結(jié)構(gòu)的雙并行交叉降噪卷積模型；第二，傳入數(shù)據(jù)進(jìn)行噪聲訓(xùn)練，通過改進(jìn)的降噪自編碼器處理圖片，使模型有較強的魯棒性，更好的泛化能力；第三，將數(shù)據(jù)通過并行交叉卷積神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行分類處理操作，提高提取特征的能力，使模型進(jìn)而提高了識別精度；第四，在訓(xùn)練該模型時，改變傳統(tǒng)的激活函數(shù)以及引入批量正則化的方法，從而進(jìn)一步地提升該模型的收斂速度以及精度。最終形成的雙并行交叉降噪卷積模型具有模型泛化能力強，大幅度降低傳統(tǒng)深度學(xué)習(xí)的復(fù)雜度的特點。以下將具體介紹每一部分。

3.2 優(yōu)化自編碼方法

基于自編碼原理，設(shè)計一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)式的并行交叉降噪自編碼器，如圖2所示。結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的特點，重復(fù)的卷積核能夠在檢測特征時可以不用考慮位置信息，并且共享權(quán)值可以極大地減少學(xué)習(xí)的自由參數(shù)個數(shù)。其中模型頂層和底層的2條線路用來提取輸入圖像的高級特征，中間一條執(zhí)行線路，用來提取輸入圖像差異性特征信息，首先將數(shù)據(jù)進(jìn)行不同破壞率的變化后傳入兩條并行交叉支路，分別通過一對卷積層處理后，再將數(shù)據(jù)傳輸給下一層的池化層，與此同時也將數(shù)據(jù)傳輸給交叉輸入鄰域?qū)佑脕碛嬎銉蓷l線路上每個特征位置與鄰域的差異；通過圖中nn層改變圖片的尺寸，再將數(shù)據(jù)通過反向卷積處理傳到全連接層還原數(shù)據(jù)，獨立完成特征的提取和映射。其特點是融合卷積神經(jīng)網(wǎng)絡(luò)既可極大地減少學(xué)習(xí)的自由參數(shù)個數(shù)，又可大幅降低深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，但是網(wǎng)絡(luò)識別精度卻沒有降低，提高學(xué)習(xí)效率與實驗效果，同時具有較強的魯棒性，從而增強模型的泛化能力。

圖2 并行交叉卷積降噪自編碼器

在模型中，交叉輸入鄰域?qū)佑脕碛嬎銉蓷l線路上每個特征位置與鄰域的差異[15]。對于交叉層（cross-input）的計算，fi(x,y)和gi(x,y)分別為兩張輸入圖像的點p(x,y)在第i通道特征映射的值，通過一個n×n的塊大小來計算差異，如式（6）：

其中，I(n,n)是單位矩陣，N(gi(x,y)表示 gi(x,y)的n×n鄰域。

通過交叉熵?fù)p失函數(shù)（Cross-entropy cost function）來衡量預(yù)測值與實際值。與二次代價函數(shù)相比，它能更有效地加速模型訓(xùn)練。對于整個模型參數(shù)的更新，通過損失函數(shù)的值進(jìn)行反向推導(dǎo)，從而改變模型的權(quán)值與偏置。在第L層的損失函數(shù)可表示為：

其中，原始輸入 xi破壞為和，設(shè)為兩個破壞量的平均值，向量yi為xi的有損壓縮量，zi為重構(gòu)向量，其目標(biāo)函數(shù)式：

其中，fθ與 gθ′是 xi到 yi，yi到 zi的映射關(guān)系。在目標(biāo)函數(shù)最優(yōu)解的過程中，通過使用目標(biāo)函數(shù)不斷迭代更新使得誤差值最終達(dá)到收斂狀態(tài)。

3.3 改進(jìn)CNN模型

本文設(shè)計了一種改進(jìn)的共享并行交叉的卷積神經(jīng)網(wǎng)絡(luò)，如圖3所示，在訓(xùn)練過程中，并行交叉的卷積層同時對一個圖片不同的位置進(jìn)行特征值提取，在模型網(wǎng)絡(luò)中有3條執(zhí)行線路，頂層和底層的2條線路用來提取輸入圖像的高級特征，中間一條執(zhí)行線路，用來提取輸入圖像差異性特征信息。

圖3 并行交叉卷積網(wǎng)絡(luò)

這種模型在相應(yīng)層實現(xiàn)了參數(shù)共享，可有效減少整個網(wǎng)絡(luò)參數(shù)的個數(shù)，大幅降低深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，但是網(wǎng)絡(luò)識別精度卻沒有降低。因為圖像的空間聯(lián)系是局部的，每個神經(jīng)元只需要感受局部的圖像區(qū)域，然后在最高層將這些感受到不同局部的神經(jīng)元綜合起來就可以得到全局信息。不同的卷積核參數(shù)值不同，這樣就實現(xiàn)多種特征信息的提取，但是大幅降低了網(wǎng)絡(luò)總體的參數(shù)數(shù)量，能在網(wǎng)絡(luò)參數(shù)量減少的情況下，保證整個深度神經(jīng)網(wǎng)絡(luò)的識別精度，同時這種模型也可以提高提取特征的能力。

設(shè)XL是前一層的輸出值，wL是權(quán)值矩陣，gL是變換函數(shù)（或激活函數(shù)），在前向傳播中，輸出函數(shù)可記為：

在模型中，交叉輸入鄰域?qū)佑脕碛嬎銉蓷l線路上每個特征位置與鄰域的差異，通過公式（6）計算。

對于模型的損失，通過Log-loss誤差函數(shù)求出。對于整個模型參數(shù)的更新，通過損失函數(shù)的值進(jìn)行反向推導(dǎo)，從而改變模型的權(quán)值與偏置。其在第L層的損失函數(shù)可表示為：

式中，xi為樣本，n為樣本總數(shù)，yi為樣本標(biāo)簽值，采用L2正則化(l2-norm)，λ為正則化項系數(shù)，用于抑制過擬合?？墒褂门空齽t化，效果為減少參數(shù)的人為選擇，可以取消L2正則項參數(shù)，或者采取更小的L2正則項約束參數(shù)。整個網(wǎng)絡(luò)的目標(biāo)函數(shù)為：

在求取目標(biāo)函數(shù)最優(yōu)解的過程中，輸出層通過式（11）進(jìn)行更新（同理，可對偏置進(jìn)行更新），即：

在求取目標(biāo)函數(shù)最優(yōu)解的過程中，通過不斷使用公式（12），本文使用梯度下降法進(jìn)行迭代，使得誤差值最終達(dá)到收斂狀態(tài)。

3.4 模型性能優(yōu)化技巧

為避免過擬合以及提高精度，本文使用批量正則化（batch normalization）方法，在數(shù)據(jù)進(jìn)入激活函數(shù)之前，先對數(shù)據(jù)進(jìn)行歸一化操作[16]，再選取較好的激活函數(shù)進(jìn)行計算。

對于批量正則化處理方法，所謂批量正則化中的批量是指隨機梯度下降中的批量樣本，正則化是指讓每一層激活值的每一維度的概率分布轉(zhuǎn)變?yōu)榫禐?，方差為 1的穩(wěn)定概率分布。通過數(shù)據(jù)進(jìn)入激活函數(shù)之前，先對數(shù)據(jù)進(jìn)行歸一化操作。其特點是可以把過大或過小的數(shù)據(jù)進(jìn)行歸一化，可使整體使用一個較高的學(xué)習(xí)率，避免傳統(tǒng)方法需遷就小數(shù)據(jù)的維度；其次是歸一化后使得更多的權(quán)重分界面落在了數(shù)據(jù)中，降低了過擬合的可能性，因此使用一些防止過擬合但會降低速度的方法。

假設(shè)某一層的輸入為x=(x(1),x(2),…,x(k))，共k維，一批樣本集合為B={x1,x2,…,xm}，批量正則化的公式如下：

其中，x(k)表示輸入x的第k維，uB表示對樣本集合B的期望，表示對樣本集合B的方差，表示輸入x的正則化結(jié)果，y(k)表示對x(k)批量正則化后的結(jié)果。r(k)、β(k)表示待學(xué)習(xí)的參數(shù)，通過訓(xùn)練迭代求解，以增加輸出概率分布的穩(wěn)定性。

對于激活函數(shù)，本文選取relu6、sigmoid、elu激活函數(shù)替代傳統(tǒng)激活函數(shù)relu進(jìn)行對比實驗，經(jīng)實驗驗證，基于本文方面relu6與elu相對于relu表現(xiàn)效果更好，收斂更快。relu6、sigmoid、elu函數(shù)計算公式如下所示：

結(jié)合以上各部分具體描述，以及兩個并行交叉網(wǎng)絡(luò)結(jié)構(gòu)，形成圖4所示的雙并行交叉降噪卷積模型，該模型首先具有降噪能力強，魯棒性好，泛化能力強和準(zhǔn)確率高的特點，其次避免過擬合，加快收斂速度。

對于整體的整體的損失計算如下：

圖4 雙并行交叉降噪卷積模型

其中，α，β為降噪和分類權(quán)重，loss為整體的損失。在目標(biāo)函數(shù)（20）中，最優(yōu)解的過程通過使用目標(biāo)函數(shù)不斷迭代更新使得誤差值最終達(dá)到收斂狀態(tài)。

對于權(quán)值w和閾值b的更新使用公式（22）與（23），其中η為學(xué)習(xí)率。

其中，準(zhǔn)確率的計算公式如公式（24）：

其中，a為準(zhǔn)確率，gZ為一批測試中識別正確的個數(shù)，g為一批測試總個數(shù)。

4 實驗與結(jié)果分析

4.1 實驗準(zhǔn)備

本文實驗使用Windows系統(tǒng)，基于tensorflow1.2機器學(xué)習(xí)框架通過spyder軟件進(jìn)行實驗，其中圖5為軟件效果圖展示，使用的數(shù)據(jù)集為minst數(shù)據(jù)集，為手寫數(shù)字?jǐn)?shù)據(jù)庫，訓(xùn)練庫有55 000張手寫數(shù)字圖像，測試庫有10 000張，每個圖像784=28×28。其中表1、2為模型兩部分的各層參數(shù)，通過在圖片中人為加入噪聲模擬受損圖片。由于數(shù)據(jù)集是識別數(shù)字0～9的手寫圖片，所以解決的問題為圖片分類問題，需要分類數(shù)為10種類型。

圖5 軟件截圖效果顯示

表1 自編碼網(wǎng)絡(luò)

4.2 激勵函數(shù)效果分析

本文對于模型激勵函數(shù)的選取，通過在卷積層與全連接層進(jìn)行實驗分析，選取激活函數(shù)為使用最廣泛的relu與relu6、sigmoid、elu進(jìn)行4組對比實驗，圖6、7為在不同激活函數(shù)情況下準(zhǔn)確率的變化。

表2 卷積分類網(wǎng)絡(luò)

圖6 卷積層不同激活函數(shù)準(zhǔn)確率變化曲線

圖7 全連接層不同激活函數(shù)準(zhǔn)確率變化曲線

根據(jù)實驗表明，對于本實驗，在卷積層進(jìn)行不同激活函數(shù)實驗時，relu6雖然在準(zhǔn)確率上與relu相似，但在收斂速度上relu6明顯優(yōu)于relu；在全連接層進(jìn)行不同激活函數(shù)實驗時，在最終準(zhǔn)確率上elu的效果明顯優(yōu)于relu的效果。經(jīng)過實驗分析，模型在卷積層使用relu6激活函數(shù)，在全連接層處使用elu激活函數(shù)效果最佳。以此模型選取在卷積層使用relu6激活函數(shù)，全連接層使用elu激活函數(shù)。

4.3 降噪效果分析

如圖8、9所示，圖8為原始圖片加噪聲效果，圖9為傳統(tǒng)降噪方法與本文降噪效果對比展示。在圖8中顯示，原始圖的特征顯示為紅色部分。對比發(fā)現(xiàn)，傳統(tǒng)編碼降噪方法雖然可以去除圖片中的噪聲干擾，還原部分原始圖片中紅色部分，但效果不是特別明顯，改進(jìn)的降噪自編碼器的效果明顯優(yōu)于傳統(tǒng)自編碼器的效果，可以有效地處理圖片中的干擾，雖然無法全部排除干擾，但效果明顯優(yōu)于傳統(tǒng)方法，對于傳統(tǒng)方法幾乎無法還原圖中數(shù)字3與4，改進(jìn)的方法則可以相對地還原出原始效果。

圖8 原始圖片加噪聲效果

圖9 降噪效果對比展示

4.4 模型效果展示及精度分析

圖10 為數(shù)據(jù)集隨機中選出個體展示，圖11與圖12為三條線路上卷積后的部分可視化效果圖展示，圖13與圖14為三條線路上池化后的部分可視化效果圖展示。

圖10 數(shù)據(jù)集隨機選出個體

圖11 降噪階段卷積后部分效果

在不同情況下分別進(jìn)行5組實驗取平均值，選取10個不同圖片損壞程度，當(dāng)圖片損壞程度為10時，說明圖片幾乎無法分類。分別表示測試圖片集不同受損情況。建立表3至表5，選取BP與CNN與本文雙并行交叉降噪卷積模型（DPCDC）進(jìn)行對比實驗，同時記錄不同迭代次數(shù)下準(zhǔn)確率的情況。

圖12 分類階段卷積后部分效果

圖13 降噪階段池化后部分效果

圖14 分類階段池化后部分效果

表3 測試圖片無損失 %

表4 測試圖片損失率為2 %

表5 測試圖片損失率為5 %

實驗結(jié)果表明，對于圖片分類問題BP精度在任何情況下都無法達(dá)到CNN與DPCDC的精度。在圖片受到干擾時CNN模型精度明顯下降，當(dāng)圖片受損率達(dá)到程度5時，分類圖片的精度與BP相差不大。而本文DPCDC模型當(dāng)圖片無損失時，識別精度與CNN相似，當(dāng)損失繼加大時，雖然精度開始下降，但效果明顯優(yōu)于CNN模型，損率達(dá)到程度5時也可以滿足簡單的分類處理。

圖15為在損失率為程度5時，有無批量正則化對比實驗，當(dāng)模型中不使用批量正則化時，5次實驗中有1次出現(xiàn)圖中紅色線無批量正則化的實驗結(jié)果。實驗結(jié)果說明當(dāng)無批量正則化操作時，實驗結(jié)果容易陷入過擬合，影響準(zhǔn)確率。

圖15 有無批量正則化對比實驗

5 結(jié)論

為了應(yīng)對各樣大量受干擾的圖像分類問題，改進(jìn)傳統(tǒng)編碼方式與CNN模型，結(jié)合兩種改進(jìn)的方法，提出了一種雙并行交叉降噪卷積模型。首先傳入數(shù)據(jù)進(jìn)行噪聲訓(xùn)練，通過改進(jìn)的降噪自編碼器處理圖片，使模型具有較強的魯棒性，更好的泛化能力；再將數(shù)據(jù)通過并行交叉卷積神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行分類處理操作，提高提取特征的能力，使模型進(jìn)而提高了識別精度。雙并行交叉降噪卷積模型優(yōu)點在于增強模型的泛化能力，也可大幅度降低傳統(tǒng)深度學(xué)習(xí)的復(fù)雜度，對于受損圖片進(jìn)行識別，效果明顯優(yōu)于其他傳統(tǒng)方法。而在訓(xùn)練該模型時，改變了傳統(tǒng)的激活函數(shù)以及引入了批量正則化的方法，從而進(jìn)一步地提升了該模型的收斂速度以及精度。實驗結(jié)果證明了模型的合理以及有效性。