卷積神經(jīng)網(wǎng)絡的正交性特征提取方法及其應用

李 辰， 李建勛

(上海交通大學 電子信息與電氣工程學院，上海 200240)

卷積神經(jīng)網(wǎng)絡(CNN)作為廣泛使用的神經(jīng)網(wǎng)絡模型之一，相比于主成分分析(PCA)[1]和支持向量機(SVM)[2]，具備更好的數(shù)據(jù)適應性和更強的特征提取能力，在圖像處理、語音識別、一維數(shù)據(jù)分析等領(lǐng)域均發(fā)揮出了獨特的功效[3-4].

CNN中不同卷積核的作用是提取各類樣本的差異化特征，差異化特征越豐富，則樣本被分類識別的準確率就越高[5].然而，卷積核和特征向量的數(shù)值是機器基于損失函數(shù)最優(yōu)化方向自適應學習得出的.數(shù)值具體含義難以用數(shù)學理論加以解釋，以人的眼光觀察也沒有規(guī)律可言.模式識別領(lǐng)域把這類直接給出計算結(jié)果、內(nèi)部原理缺乏解釋性的機器學習模型稱之為 “黑盒模型”[6].CNN作為一種黑盒模型，人工難以干預卷積核運算過程，因此不同卷積核提取的特征可能趨同，即在特征圖中出現(xiàn)重復或相似圖層，簡稱“特征冗余”問題[7].特征冗余會造成信息重復、浪費計算力，是研究緊湊型CNN的重要課題.

本文從強化特征之間差異性的角度，提出一種適用于卷積神經(jīng)網(wǎng)絡的正交性特征提取方法.通過搭建并列的卷積神經(jīng)網(wǎng)絡支路結(jié)構(gòu)，設計相應的正交損失函數(shù)，從而促使不同卷積核提取出相互正交的樣本特征，豐富了特征多樣性，消除了特征冗余，提升了特征用于分類識別的效果，為后續(xù)研究奠定了基礎.

1 消除特征冗余的方法研究

1.1 卷積神經(jīng)網(wǎng)絡的特征冗余

CNN提取數(shù)據(jù)特征時會保留輸入元素的空間信息，并將這些信息融入全部特征向量，這也正是特征冗余的來源，下文將通過具體的實驗來說明特征冗余問題.

使用具有1個卷積層的CNN，對MNIST數(shù)據(jù)集進行訓練，卷積層使用4個隨機初始值的3×3卷積核，損失函數(shù)選用交叉熵損失函數(shù).以一張手寫“0”圖片為例，輸出4個卷積核提取的特征圖像如圖1所示.

由圖1可知， 特征圖像2與特征圖像4之間具有類似的特征相貌，初步判斷存在特征冗余問題.但是，由于人眼無法進一步準確判斷二維圖像中的特征冗余，在此使用一維卷積神經(jīng)網(wǎng)絡(1D-CNN)處理公開數(shù)據(jù)集“Wine”，利用一維數(shù)據(jù)的直觀性清楚地展示特征冗余問題.

圖1 CNN提取的特征圖片F(xiàn)ig.1 Feature images extracted by CNN

使用具有1個卷積層的1D-CNN，卷積層內(nèi)包含4個隨機初始值的1×3卷積核，損失函數(shù)選用交叉熵損失函數(shù).以第1個樣本值為例，輸出4個卷積核提取的特征向量如圖2所示.其中：A為原始指標類別；B為原始指標類別的具體賦值；A′為特征提取后的原始指標類別；B′為特征提取后的原始指標類別的具體賦值.

圖2 1D-CNN提取的特征向量Fig.2 Feature vectors extracted by 1D-CNN

從圖2(f)中可以發(fā)現(xiàn)，圖2(b)和2(d)中的特征向量相互類似.由以上實驗可以得出結(jié)論，CNN使用傳統(tǒng)分類損失函數(shù)來提取特征時，一定程度上存在特征冗余問題，應當設法加以避免.

1.2 避免特征冗余的正交性特征

考慮到在嵌入式和移動式小型設備上安裝緊湊型CNN的需求，就必須改進CNN結(jié)構(gòu)算法，消除特征冗余，減少不必要的網(wǎng)絡參數(shù)和運算次數(shù).文獻[8]對比裁剪前后特征圖的誤差值，挑選出需裁剪的冗余卷積核通道.文獻[9]計算卷積核權(quán)重的稀疏度，去除權(quán)重稀疏的卷積核.文獻[10]設計了SlimConv模塊對特征進行拆分和重組，降低通道冗余.文獻[11]設計了新的Ghost模塊，通過固有特征線性變換提升特征多樣性.文獻[12]提出了特征貢獻度分析方法，輔助網(wǎng)絡挑選出重要性高的特征.

本文將正交性概念引入特征向量中，通過設計一種適用于CNN的正交性特征提取方法，達到消除特征冗余的目的.

正交性表示兩者之間無法通過組合得出相互表達方式的性質(zhì)，PCA是典型的正交化變換方法.正交化變換方法將原本存在相關(guān)性的變量，轉(zhuǎn)換為線性不相關(guān)，既能提高不同類別數(shù)組間的區(qū)分度，且轉(zhuǎn)換后新變量的方差貢獻率可以滿足替代原變量的要求[13].因此，正交性特征被廣泛應用于信號轉(zhuǎn)換和模式識別等問題[14-15].

對于一維數(shù)組α1={x1,x2, …,xn}和α2={y1,y2, …,yn}，若將其看作向量，則衡量兩者正交性的正交層輸出值為

(1)

在數(shù)組維數(shù)和模固定的前提下，Z越接近0，說明兩個數(shù)組的正交性越強.CNN使用二維卷積核時，卷積層輸出的特征矩陣經(jīng)過壓平層和拼接層處理后仍為一維特征向量[16]，因此同樣適用于式(1).

2 基于卷積神經(jīng)網(wǎng)絡提取正交性特征

2.1 模型結(jié)構(gòu)

2014年，GoogLeNet首次提出在同一水平維度上設置多個卷積層的Inception結(jié)構(gòu)[17].本文借鑒了Inception設計思想，在傳統(tǒng)CNN基礎上分列出多條卷積支路，并設計了專門的特征向量正交層和正交損失函數(shù)，新的模型如圖3所示.

圖3 提取正交性特征的卷積神經(jīng)網(wǎng)絡Fig.3 Extracting orthogonal features of convolution neural network

該模型是一種單輸入多輸出的CNN，主要由3個模塊構(gòu)成，分別為卷積模塊、分類模塊和正交模塊.

2.1.1卷積模塊 卷積模塊由若干條卷積支路構(gòu)成，輸入樣本數(shù)據(jù)，輸出卷積核提取的特征向量.單條卷積支路中一般包含卷積層、池化層和壓平層.其中，卷積層和池化層的數(shù)量可以根據(jù)需要進行增減，壓平層只設置在每條卷積支路的最后一層.單條卷積支路中，每個卷積層使用若干相同尺寸的卷積核.各卷積核提取的特征在壓平層被壓縮為一維特征向量.

需要說明的是，正交模塊可以檢測不同卷積支路的特征向量之間的正交性，但無法檢測同一卷積支路內(nèi)不同卷積核提取特征的正交性.因此，當需要保證所有特征向量兩兩正交時，可以設置兩條以上的卷積支路，每條卷積支路的卷積層中只設置單個卷積核.根據(jù)Inception結(jié)構(gòu)原理，一個卷積層中設置多個卷積核，與同一水平維度分布多個卷積層、每個卷積層設置單個卷積核，在提取特征的數(shù)量方面沒有本質(zhì)區(qū)別.

2.1.2分類模塊 分類模塊主要由拼接層和分類輸出層組成，其功能是在保持分類準確率的前提下，監(jiān)督卷積支路提取出有利于分類識別的特征向量.

拼接層將不同卷積支路輸出的特征向量拼接為一維長數(shù)組后，輸出到分類輸出層.分類輸出層一般使用Softmax函數(shù)和交叉熵損失函數(shù)的組合來完成分類判斷.

2.1.3正交模塊 正交模塊由正交層和正交輸出層組成，正交層將不同卷積支路的特征向量做內(nèi)積運算，正交輸出層將內(nèi)積運算的誤差做反向傳遞.關(guān)于內(nèi)積運算與正交損失函數(shù)的詳細內(nèi)容，將在2.2節(jié)進一步敘述.

由式(1)可知，兩個數(shù)組進行內(nèi)積運算的前提是兩個數(shù)組維數(shù)一致，因此一個正交層只能監(jiān)督同一種尺寸特征向量的正交性.Inception結(jié)構(gòu)在同一水平維度使用了不同尺寸的卷積核，若步長統(tǒng)一且無邊緣填充，則大尺寸卷積核的滑動總步數(shù)顯然小于小尺寸卷積核，最終導致兩者提取的特征維數(shù)不一致.文獻[18]的研究表明不同尺寸和深度的卷積層，因其感受野不同所以提取特征的范圍和精細度方面存在明顯差異.由此可知，不同尺寸卷積核提取的特征，在特征維數(shù)、捕獲范圍、精細度等方面不在同一量級，沒有正交性的必要.

如果在網(wǎng)絡模型(見圖3)中使用不同尺寸的卷積核，則需要為不同尺寸的特征向量分別設置正交模塊，如圖4所示.其中，使用同一尺寸卷積核的卷積支路至少應有兩條.

圖4 不同尺寸特征的正交模塊Fig.4 Orthogonal module of features with different sizes

2.2 損失函數(shù)

2.2.1分類損失函數(shù) 多分類任務中，分類損失函數(shù)一般采用Softmax函數(shù)和交叉熵損失函數(shù)的組合.Softmax函數(shù)將輸出層各神經(jīng)元的比值映射成各類別的預測概率，其表達式為

(2)

式中：Wt為輸出層中第t個神經(jīng)元的輸出值；r為輸出層中所有神經(jīng)元的總數(shù)，即類別總數(shù)；Pf,t為第t個神經(jīng)元輸出值相對于所有神經(jīng)元輸出值的比值，即神經(jīng)網(wǎng)絡的預測概率.

交叉熵損失函數(shù)(依據(jù)其功能也可稱為分類損失函數(shù))可以衡量真實概率分布與預測概率分布之間的相似程度，其公式為

(3)

式中：Pt為樣本屬于第t個神經(jīng)元的真實概率;J1為分類損失函數(shù)值.

2.2.2正交損失函數(shù) 所設計的正交損失函數(shù)，由正交層的特征向量內(nèi)積和正交輸出層的誤差計算兩個部分組成，用于監(jiān)督不同卷積支路提取相互正交的特征向量.

在網(wǎng)絡模型中(見圖3)，卷積層提取特征向量的表達式為[19]

(4)

式中：I為輸入樣本；m和n分別為I的高和寬；g和h分別為卷積核在輸入樣本上橫向和縱向移動的步數(shù)；u和v分別為卷積核的高和寬；Kq為第q層卷積層的卷積核；bq為第q層卷積層的偏置項；σ(·)為激活函數(shù).本文用ReLU函數(shù)保證特征向量的非負性.

(5)

根據(jù)式(5)將正交輸出層的正交損失函數(shù)設為

(6)

S>1

2.2.3綜合損失函數(shù) 根據(jù)式(3)和(6)，可得本文模型的綜合損失函數(shù)為

J3=ηJ1+ψJ2

(7)

式中：η和ψ分別為兩種損失函數(shù)的系數(shù)，可以根據(jù)網(wǎng)絡訓練情況自主設置.J1監(jiān)督CNN提取各類樣本的差異化特征，保證分類準確率.J2監(jiān)督CNN增強同一樣本各特征之間的正交性，保證特征多樣性.仿真實驗中發(fā)現(xiàn)，CNN以分類準確率為主要目標，特征多樣性為次要目標，應設置η>ψ>0.

2.3 提取正交性特征的過程

網(wǎng)絡模型(見圖3)的綜合損失函數(shù)J3如式(7)所示，其提取正交性特征的過程為：

(1) 輸入樣本數(shù)據(jù)，模型通過綜合損失函數(shù)J3，同步訓練分類損失函數(shù)J1和正交損失函數(shù)J2，由J3→0可得J1→0和J2→0；

(2) 當J1→0時，由交叉熵函數(shù)的性質(zhì)可知，樣本被正確分類的預測概率Pf,t→1，即樣本預測的準確率逐漸提升；

(4)J3受梯度下降法作用趨于最小值，并通過η、ψ來平衡J1、J2對卷積核的調(diào)節(jié)作用，在保持分類準確率的前提下增強特征向量之間的正交性.

通過以上過程，本文模型由多條卷積支路提取出正交性特征向量，避免了特征冗余問題.

3 實驗驗證

3.1 實驗數(shù)據(jù)和步驟

無論樣本數(shù)據(jù)是一維數(shù)組或是二維圖像，經(jīng)過CNN的壓平層和拼接層后，其特征向量均為一維長數(shù)組格式，因此本文模型對一、二維樣本具有同樣的適用性.由于人眼無法直觀察覺二維特征圖像間的正交性，選用一維樣本數(shù)據(jù)集進行實驗驗證.

選用UCI Machine Learning Repository網(wǎng)站上的多分類數(shù)據(jù)集“Wine”，該數(shù)據(jù)集包含3種酒的13項指標，178條樣本數(shù)據(jù).使用有正交模塊的CNN模型(見圖3和4)提取樣本數(shù)據(jù)特征，以不含正交模塊的CNN作為實驗對照組.

具體實驗步驟如下.

步驟1建立包含2條卷積支路、有正交模塊的CNN，如圖5所示.

圖5 包含2條卷積支路的CNN結(jié)構(gòu)Fig.5 Structure of CNN with two convolutional branches

“Wine”數(shù)據(jù)集屬性較少，為了避免屬性過度壓縮，每條卷積支路中只包含1個卷積層和1個池化層，每個卷積層中使用1個1×3卷積核，則該模型的卷積模塊最終輸出為2個1×3卷積核提取的特征向量.

步驟2將“Wine”數(shù)據(jù)集輸入含2條支路的CNN模型(見圖5)，訓練結(jié)束后記錄分類準確率和每條卷積支路提取的特征向量.

步驟3在含2條支路的CNN基礎上，增加不同尺寸卷積核的卷積支路數(shù)量如圖6所示.

圖6 包含4條卷積支路的CNN結(jié)構(gòu)Fig.6 Structure of CNN with four convolutional branches

該模型包含4條卷積支路.其中，左側(cè)兩條支路中卷積層使用1×3卷積核，右側(cè)兩條使用1×6卷積核，其他層的參數(shù)與含2條支路的CNN相同，則該模型的卷積模塊最終輸出為2個1×3卷積核和2個1×6卷積核提取的特征向量.之后，2個1×3卷積核和2個1×6卷積核提取的特征向量，分別在左右兩個正交模塊內(nèi)進行內(nèi)積運算.

步驟4將“Wine”數(shù)據(jù)集輸入含4條支路的CNN模型(見圖6)，訓練結(jié)束后記錄分類準確率和每條卷積支路提取的特征向量.

步驟5進行對照組實驗，將“Wine”數(shù)據(jù)集輸入到不含正交模塊的CNN中.該CNN包含1個卷積層和1個池化層，卷積層中使用2個1×3卷積核.訓練結(jié)束后記錄分類準確率和每條卷積支路提取的特征向量.

3.2 實驗結(jié)果及分析

3.2.1損失函數(shù)值與分類準確率 不含正交模塊的正常CNN、包含2條卷積支路的CNN、包含4條卷積支路的CNN，3種模型針對相同訓練集的損失函數(shù)值，在訓練過程中均不斷下降.以含2條卷積支路的CNN為例，其損失函數(shù)值如圖7所示.其中：Q為訓練次數(shù)；J為損失函數(shù)值.

圖7 含2條支路CNN的損失函數(shù)值Fig.7 Loss function value of CNN with two branches

由圖7可知，訓練一段時間后正交損失函數(shù)值趨近于0并保持穩(wěn)定，分類損失函數(shù)值隨著訓練次數(shù)的增加不斷下降，綜合損失函數(shù)受以上兩個損失函數(shù)的影響而下降.

3種模型針對相同測試集的損失函數(shù)值和分類準確率，如表1所示.

表1 3種模型的損失函數(shù)值和準確率Tab.1 Loss function values and accuracies of three models

由表1可知：① 使用2個1×3卷積核、含正交模塊的CNN，與使用2個1×3卷積核、不含正交模塊的正常CNN相比，在損失函數(shù)值和分類準確率方面表現(xiàn)更好，證明正交模塊提取的多樣性特征提升了CNN的分類識別性能.② 使用2個1×3卷積核和2個1×6卷積核、含正交模塊的CNN，比使用2個1×3卷積核、含正交模塊的CNN，其損失函數(shù)值和分類準確率更優(yōu)，證明增加特征多樣性可以增強CNN的分類識別性能.③ 由CNN特性可知，增加卷積層的數(shù)量和深度，其性能還有進一步提升的空間.

綜上所述，加入了正交模塊的CNN相比于正常CNN，豐富了特征多樣性，提升了分類識別性能.

3.2.2特征向量正交性 為了便于觀察特征向量的正交性，將3種酒的特征向量按類別區(qū)分，同類樣本的各指標取平均值進行繪圖.

(1) 不含正交模塊的正常CNN，提取的特征向量如圖8所示.其中：E為特征向量中元素的序號；F為特征數(shù)值；特征向量1和特征向量2分別為2個1×3卷積核提取的特征向量.

由圖8可知，針對同一類別樣本，不含正交模塊的正常CNN中，2個1×3卷積核提取特征的形態(tài)和數(shù)值近似，即存在特征冗余問題.

圖8 不含正交層CNN提取的3類酒特征向量Fig.8 Three kinds of wine feature vectors extracted by CNN without orthogonal layer

(2) 含2條卷積支路、有正交模塊的CNN，提取的特征向量如圖9所示.

由圖9可知，針對同一類別樣本，含2條卷積支路、有正交模塊的CNN中，2個1×3卷積核提取的特征向量具有明顯的正交性形態(tài).

圖9 含2條支路CNN提取的3類酒特征向量Fig.9 Three kinds of wine feature vectors extracted by CNN with two branches

(3) 含4條卷積支路、有正交模塊的CNN，提取的特征向量如圖10所示.其中：特征向量3和特征向量4分別為2個1×6卷積核提取的正交性特征.

圖10 含4條支路CNN提取的3類酒特征向量Fig.10 Three kinds of wine feature vectors extracted by CNN with four branches

由圖10可知，增加多種尺寸的卷積核，既可以豐富特征多樣性，也能夠滿足正交性特征需求，有利于提升CNN性能.

綜上所述，以上實驗結(jié)果可以證明，本文設計的模型結(jié)構(gòu)和正交損失函數(shù)正確有效，能夠監(jiān)督CNN提取正交性特征，豐富了特征多樣性，消除了特征冗余問題.

4 實際應用

采集工業(yè)生產(chǎn)中的機器運行數(shù)據(jù)來檢驗本文方法的實際應用性.以電子驅(qū)動器運行數(shù)據(jù)集“Sensorless Drive Diagnosis”為例，該數(shù)據(jù)集收集了驅(qū)動器的48項電信號指標，包括 58 509 個樣本數(shù)據(jù)，分為11種工況類別(T1～T11).不同種類工況下的樣本數(shù)據(jù)取其指標平均值，如圖11所示.其中：U為原數(shù)據(jù)集中電信號指標類別；V為原數(shù)據(jù)集中電信號指標類別的具體賦值.其中：T1～T11分別為11種工況下各指標的平均值.由于工況類別較多，圖11(b)挑選了第7和11種工況進行單獨展示.由圖11可以看出，不同類別工況在少部分電信號指標上具有相對明顯的差異，在大部分電信號指標上的差異并不明顯.

圖11 不同種類工況的指標均值圖Fig.11 Average values of each indicator in different category modes

建立含2條支路的CNN模型，每條支路的卷積層中有1個1×3卷積核，仍以第7和11種工況的特征向量為例，如圖12所示.

圖12 T7和T11的特征向量Fig.12 Feature vectors of T7 and T11

首先，檢查相同工況下兩條特征向量的正交性.由圖12(a)和12(b)可知，相同工況下兩條特征向量具備正交形態(tài)，基本滿足特征正交性、豐富性的要求.

其次，檢查同一卷積核提取不同工況下特征向量的區(qū)分性.由圖12(c)和12(d)可知，第1個卷積核主要捕捉到第5～12項、第19～22項指標間差異；第2個卷積核主要捕捉到第5～12項、第25～30項、第43～46項指標間差異.兩個卷積核均能捕捉到不同工況下電信號指標的數(shù)值差異，且由于正交損失函數(shù)的監(jiān)督，關(guān)注指標各有側(cè)重，獲取的信息也更為全面.

記錄模型損失函數(shù)值和分類準確率，與不含正交模塊的CNN進行對比，結(jié)果如表2所示.

表2 兩種模型的損失函數(shù)值和分類準確率Tab.2 Loss function values and accuracies of two models

由表2可知，含正交模塊的CNN其損失函數(shù)值和分類準確率表現(xiàn)更優(yōu)，證明本文提出的方法在實際生產(chǎn)中具有良好的適用性.

綜上所述，如果CNN一個卷積層中僅用一個卷積核，則特征信息比較單調(diào)；如果同一卷積層中使用多個卷積核，又可能導致特征冗余.通過本文提出的方法，監(jiān)督各卷積核提取出正交性特征向量，就能從原始指標中獲取更為全面的特征信息，為后續(xù)分類識別和指標研究奠定了基礎.

5 結(jié)語

本文針對CNN特征冗余問題，引入了正交性概念，從強化特征之間差異性的角度，提出了一種提取正交性特征的模型方法.在保證分類準確率的基礎上，促使卷積核提取出相互正交的特征向量，從而豐富了特征多樣性，消除了特征冗余問題.將模型應用于一維數(shù)據(jù)集，利用一維數(shù)據(jù)折線圖的直觀結(jié)果，證明了本文方法的有效性.

下一步可以將一維數(shù)組間正交性推廣至二維矩陣間正交性，進而研究正交性特征矩陣對圖像處理等領(lǐng)域的作用.