基于多通道和卷積神經(jīng)網(wǎng)絡(luò)的極光分類

陳昌紅，劉 彬，張 浩

(南京郵電大學(xué) 通信與信息工程學(xué)院 圖像處理與圖像通信江蘇省重點實驗室，江蘇 南京 210003)

0 引 言

極光是一種出現(xiàn)于星球的高磁緯地區(qū)上空，絢麗多彩的發(fā)光現(xiàn)象。極光不僅是個光學(xué)現(xiàn)象，而且是個無線電現(xiàn)象，可以用雷達進行探測研究，它還會輻射出某些無線電波。極光不僅是科學(xué)研究的重要課題，還直接應(yīng)用到無線電通信、長電纜通信，以及長的管道和電力傳送線等許多實用工程項目中。地球極光的研究已有幾十年的歷史，極光圖像類別研究有著演進過程。Hu等在2009年根據(jù)在北極采集的全天空極光圖像數(shù)據(jù)將日側(cè)極光劃分為帷幔冕狀、極光亮斑、弧狀和輻射冕狀4種類型；楊秋菊等[1]在2017年將極光類型劃分為弧狀、帷幔冕狀、輻射冕狀和熱點狀4類。文中采用的是弧狀、帷幔冕狀、輻射冕狀和熱點狀4類的分類方式。

Fu等[2]在2009年運用形態(tài)學(xué)分析方法將極光背景區(qū)域和紋理區(qū)域分離進行分類；Wang等[3]在2010年基于局部二值模式表征極光圖像特征進行分類；韓冰等[4]在2013年采用顯著性編碼方法對極光圖像進行分類；楊曦等[5]在2013年通過分層小波將極光全局特征和局部特征進行結(jié)合對極光圖像進行分類?？偨Y(jié)上述分類方法，采用的是利用分類器對傳統(tǒng)特征提取的極光圖像信息進行分類。傳統(tǒng)特征提取針對某一特定的特征對極光圖像進行信息提取，要么提取極光全局特征，要么提取極光局部特征，有時同時提取局部特征和全局特征，但都會或多或少地丟失圖像原來的信息，造成極光圖像分類結(jié)果不夠理想。近年來，機器學(xué)習(xí)、深度學(xué)習(xí)等快速發(fā)展。韓冰等[6]在2017年便采用基于改進的主成分分析網(wǎng)絡(luò)的機器學(xué)習(xí)進行極光圖像分類，初步將機器學(xué)習(xí)運用到極光研究中，在極光圖像二分類和三分類方面取得了一定的成果，但是僅僅利用了圖像結(jié)構(gòu)的整體信息沒有考慮到圖像結(jié)構(gòu)內(nèi)部的局部信息，導(dǎo)致極光圖像4分類準確率不夠好。

近年來，卷積神經(jīng)網(wǎng)絡(luò)[7-11](convolutional neural network，CNN)在圖像處理、計算機視覺、文本處理、語音處理等領(lǐng)域得到了廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，模擬人類大腦皮層中局部敏感和方向選擇神經(jīng)元功能。

基于上述討論，文中旨在融合傳統(tǒng)特征與深度學(xué)習(xí)[12-13]技術(shù)，提取極光圖像全方位特征實現(xiàn)極光圖像普適高效分類，提出一種基于多通道融合和卷積神經(jīng)網(wǎng)絡(luò)的極光圖像分類方法。利用多通道融合技術(shù)將極光原圖、LBP[14]特征圖、光流圖進行融合，得到處理后的融合圖像。融合圖像不僅包含極光所有原始信息，還包含有效紋理分類特征，還具有極光圖像可擴展的光流運動特征。然后，采用預(yù)訓(xùn)練的CNN對多通道融合后的特征圖進行自動特征學(xué)習(xí)，提取融合圖像中全面有效的分類信息；最后采用基于SVM[15]分類，判定待測樣本圖像的極光類別。

1 極光圖像特征提取及分類

極光圖像分類，根據(jù)在極光圖像信息中所反映的不同特征，將不同類別的極光圖像區(qū)分開來。極光特征的選擇對于極光圖像分類至關(guān)重要。常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征、全局特征、局部特征等等。文中重在極光圖像特征的選擇與融合。選擇有極光圖像代表性的特征加以融合，利用深度學(xué)習(xí)技術(shù)對融合特征信息自動提取不為人眼察覺的更有效信息。多種有針對性特征融合更具有代表性，利于極光圖像高分類準確率。

算法流程如圖1所示。

圖1 算法流程

整個模型可以由多特征融合模塊和CNN特征提取器以及SVM分類器三部分組成。首先，將樣本圖像送入多特征融合模塊，經(jīng)過原圖、LBP特征、光流特征的多通道融合得到融合圖像。然后，將融合圖像送入CNN模型的輸入層，經(jīng)過多次卷積和降采樣操作，得到若干幅特征圖像。再將特征圖像拉伸為一列向量，依舊保留與特征向量全連接的輸出層，用于CNN特征提取器的訓(xùn)練。最后，利用特征提取器將提取到的特征向量送入SVM分類器，分類器進行相關(guān)的運算后，輸出最終分類的結(jié)果。

1.1 多通道融合特征提取

多通道特征融合特征提取基于人工設(shè)定提取指定的樣本特征(體現(xiàn)極光圖像特點)，將不同的有代表性的突出極光圖像的提取特征圖放入圖像的多個通道，融合后的圖像具有圖像多方位多角度的特征，充分體現(xiàn)圖像有效可靠的信息。

文中采用三通道融合特征，包含極光原圖、極光LBP特征圖、極光HS光流圖。用上述三種特征圖合成三通道RGB圖像作為融合后特征圖。極光原圖沒有被任何手段進行處理，保留有完整極光圖像信息，將極光原始圖像作為第一通道特征圖像；LBP(局部二值模式)是一種非參數(shù)化圖像局部空間結(jié)構(gòu)及紋理描述算子，具有旋轉(zhuǎn)不變性的優(yōu)點，將極光LBP圖像作為第二通道特征圖像；光流是圖像亮度模式的表觀運動，表達了圖像的變化，包含圖像的運動信息，HS光流圖像表征極光圖像前后變化幅度，提高分類準確性，HS光流圖像作為第三通道特征圖像。

(1)極光原圖具有極光所有細節(jié)信息及整體信息，對其進行任何的特征提取都會或多或少丟失某些細節(jié)信息。極光原圖是多通道特征中必不可少的一項，為接下來的CNN自動特征學(xué)習(xí)提取提供最原始數(shù)據(jù)。由于拍攝設(shè)備、極地周邊環(huán)境和極光活動強度的影響，中國北極黃河站所拍攝的極光原始數(shù)據(jù)存在各種各樣的問題，不能夠直接使用。文中的極光原圖一律為相關(guān)專家針對極光原始數(shù)據(jù)的特點，對原始數(shù)據(jù)進行有效的減暗電流、去除邊緣噪聲和裁剪、灰度圖像拉伸、圖像旋轉(zhuǎn)四個預(yù)處理步驟后的圖像。

(2)極光LBP通道特征。LBP是由Ojala等提出的一種紋理特征描述算子，用于描述圖像中每個像素值和其近鄰點像素值之間的關(guān)系。初始LBP的缺陷在于固定的3×3紋理單元結(jié)構(gòu)不能夠表示大空間尺寸的紋理特征，Ojala等又對LBP做了改進和完善。鄰域的選擇不再是以前固定的3×3方格結(jié)構(gòu)，而是采用更加靈活的圓形結(jié)構(gòu)。圓形鄰域由R和P定義，圓心為中心像素，R是圓周半徑，P是均勻分布在圓周上的鄰域像素個數(shù)。假如鄰域點沒有落在像素中心，可以使用雙線性內(nèi)插求出鄰域點的灰度值。

中心像素LBP值的計算公式如下：

(1)

不同P、R對應(yīng)的圓形鄰域如圖2所示。

圖2 不同P、R對應(yīng)的圓形鄰域

在式1中，i取值為0～P-1，gi是第i個鄰域像素的灰度大小，gc是中心像素的灰度大小。按照式1的計算，選定P和R后，對應(yīng)的LBP模式共有2P種。對極光圖像中的每個像素求LBP特征值，用LBP特征值替代原始的像素值，得到該極光圖像的LBP特征圖。將該LBP特征圖放入多通道融合圖像的一個通道，作為通道特征。

(3)光流通道。光流是圖像亮度模式的表觀運動，表達了圖像的變化，包含圖像豐富的運動信息。HS光流法基于物體移動的光學(xué)特征的兩個假設(shè)，運動物體的灰度在很短的時間間隔內(nèi)保持不變，給定鄰域的速度向量場變化是緩慢的。每類極光圖像是從每類極光運動序列中抽取出來的，在同類的極光圖像用光流特征可以表示每類圖像的一個運動及變化信息，增加了極光圖像分類的容錯性，提高了極光圖像的分類準確率。將同類別極光圖像放在一起，進行前后兩幅圖像HS光流特征提取，并將得到的光流信息生成灰度圖像作為極光HS特征圖，作為多通道融合的另一個通道特征圖。

多通道特征圖如圖3所示。

經(jīng)過上述三通道融合后的圖像，兼?zhèn)錁O光原圖所有完整信息、極光圖像代表性紋理特征LBP和可伸縮的極光圖像運動特征光流特征。融合圖像含有豐富的特征信息，為預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提供可靠有效的輸入。

圖3 多通道特征圖

1.2 預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)特征提取

CNN是一種包含卷積層的深度神經(jīng)網(wǎng)絡(luò)，其模型是受腦神經(jīng)科學(xué)研究的啟發(fā)，模仿視皮層中的簡單細胞和復(fù)雜細胞處理視覺信息的過程。深度學(xué)習(xí)CNN對極光樣本圖像進行逐層特征變化，將樣本在原空間的特征表示變換到新的特征空間，自動學(xué)習(xí)到層次化的更具代表性的特征。CNN是一個前饋式神經(jīng)網(wǎng)絡(luò)，能從一個二維圖像中提取特征，并采用反向傳播算法來優(yōu)化網(wǎng)絡(luò)中的參數(shù)。預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)是借助在其他數(shù)據(jù)庫的基礎(chǔ)上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型初始化極光圖像卷積神經(jīng)網(wǎng)絡(luò)，既能解決極光數(shù)據(jù)庫數(shù)據(jù)量過小的問題，又可以加快極光卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

CNN特征提取器包括輸入層、卷積層、池化層、全連接層和Softmax層。輸入層，直接將多通道融合后的圖像輸入至預(yù)訓(xùn)練CNN模型的輸入層中，不用再對融合圖像進行其他處理。卷積層，卷積的主要功能是特征抽取，利用若干個卷積核對上一層圖像進行卷積操作，從而得到多個特征圖像。卷積層的計算公式為：

(2)

其中，l為所在層數(shù)；k為卷積核；M為輸入層的感受野；B為偏置項；f為激活函數(shù)。

卷積層能降低網(wǎng)絡(luò)的空間分辨率，消除偏移和圖像扭曲，實現(xiàn)位移不變性。特征圖像個數(shù)不因降采樣操作發(fā)生任何變化，但圖像的尺寸會根據(jù)降采樣窗口和步長發(fā)生相應(yīng)變化。池化層，采用最大池化(max-pooling)操作進行下采樣。下采樣并不改變特征圖的數(shù)目，只是將特征圖變小，降低特征維度，加速結(jié)構(gòu)訓(xùn)練和特征提取。如果采樣窗口的大小是m×m，經(jīng)過一次池化后，特征圖大小變?yōu)樵瓉硖卣鲌D的1/m×1/m。池化的計算公式為：

(3)

全連接層：池化層的輸出是二維數(shù)組，將其特征圖對應(yīng)的二維數(shù)組轉(zhuǎn)換為一維數(shù)組，將每層所有的特征圖轉(zhuǎn)化的一維數(shù)組串聯(lián)成一個一維數(shù)組作為全連接層的輸入。全連接層的計算公式為：

Hw,b(x)=θ(wTx+b)

(4)

其中，Hw,b(x)表示神經(jīng)元的輸出值；x表示神經(jīng)元的輸入特征向量；w表示權(quán)值向量；b表示偏置；θ表示激活函數(shù)。

Softmax層：一種分類器，當(dāng)輸入給定樣本后，每一個神經(jīng)元輸出一個取值在0到1之間的數(shù)值，該數(shù)值代表輸入樣本屬于此類別概率，選取輸出值最大的神經(jīng)元對應(yīng)的類別作為此樣本的分類結(jié)果。文中將Softmax輸出神經(jīng)元數(shù)目設(shè)置為4，對應(yīng)四類極光。

針對目前極光數(shù)據(jù)庫標定量有限的情況，采用預(yù)訓(xùn)練CNN進行研究。通過在大的圖像分類數(shù)據(jù)集上訓(xùn)練好模型，把卷積神經(jīng)網(wǎng)絡(luò)前面那些層的參數(shù)固定，初始化極光圖像分類的卷積神經(jīng)網(wǎng)絡(luò)，修改模型最后一到兩層的參數(shù)設(shè)置符合極光圖像分類，實現(xiàn)整個網(wǎng)絡(luò)參數(shù)的極光圖像分類化同化。既利于加快訓(xùn)練速度，又解決了極光圖像數(shù)據(jù)庫標定量小的問題。

1.3 基于SVM的極光圖像特征分類

文中分類器選用SVM分類器，在用分類器前對特征數(shù)據(jù)進行重要的歸一化、PCA降維[16]操作。其中，特征數(shù)據(jù)歸一化是至關(guān)重要的，對于最后的分類結(jié)果有質(zhì)的作用。而PCA降維也十分重要，對于運算量和運行時間的優(yōu)化是非常有必要的。

1.3.1 歸一化

在進行SVM分類之前，對數(shù)據(jù)進行歸一化操作。將訓(xùn)練集和測試集整合為一個數(shù)據(jù)集，統(tǒng)一歸一化時樣本的每一維度的最大值和最小值是從訓(xùn)練集和測試集中尋找，然后將樣本數(shù)據(jù)映射到[0，1]的值域范圍內(nèi)。歸一化對計算和建模都是必要的，便于數(shù)據(jù)處理，還能保證程序運行時收斂加快。

1.3.2 PCA降維

在CNN模型極光圖像特征提取過程中，隨著卷積層次的累加，特征維數(shù)會越來越大，導(dǎo)致“維數(shù)災(zāi)難”，造成時間和空間的浪費。為了解決這個問題，使用PCA對得到的CNN特征進行降維處理。

設(shè)X表示原始特征向量，則可根據(jù)式5對其進行PCA變換，得到降維后的特征向量Y=[y1,y2,…,yn]。

Y=CX

(5)

2 實驗結(jié)果與分析

2.1 極光圖像數(shù)據(jù)庫

文中的極光原圖一律為相關(guān)專家針對極光原始數(shù)據(jù)的特點，對原始數(shù)據(jù)進行有效的減暗電流、去除邊緣噪聲和裁剪、灰度圖像拉伸、圖像旋轉(zhuǎn)四個預(yù)處理步驟后的圖像。文中所用的極光圖像數(shù)據(jù)來自于中國極地研究中心的研究人員手動標記的北極黃河站2003-2004年越冬觀測19天數(shù)據(jù)。因為極光的四種分類機制是結(jié)合極光三個波段的特點定義的，因此他們在標記時同時參考了三個波段的圖像，其中包含3 934幅弧狀極光圖像，1 786幅帷幔狀極光圖像，1 497幅輻射狀極光圖像和784幅熱點狀極光圖像。

2.2 極光圖像四分類實驗

本節(jié)進行極光圖像四分類普適分類實驗，對實驗數(shù)據(jù)進行4類極光圖像(弧狀、放射狀、帷幔狀、熱點狀)分類。從上面提到的8 001幅數(shù)據(jù)庫中按照訓(xùn)練集測試集4∶1比例進行實驗。為了驗證多通道融合及CNN在極光圖像分類上的有效性，對基于極光原圖+CNN、極光LBP圖+CNN、極光原圖LBP圖光流圖三通道融合+CNN的極光圖像識別算法進行了比較。實驗中預(yù)訓(xùn)練CNN采用的是imagenet-vgg-f訓(xùn)練模型。為減少實驗的隨機性，實驗重復(fù)10次，每一輪的數(shù)據(jù)劃分都不一樣，計算平均分類準確率作為評估準則：

分類正確率=正確分類數(shù)/所有圖像數(shù)

(6)

實驗結(jié)果如表1所示。

表1 不同算法的識別性能比較

表中給出了原圖+CNN+SVM、LBP+CNN+SVM和多通道(三通道：原圖、LBP、光流+CNN+SVM在相同條件下的平均分類正確率對比情況?？梢钥闯?，文中的多通道融合由于融合了多種有效表征極光圖像特征對其分類有很大的促進作用。原圖雖包含圖像原始信息，但由于缺少運動信息，因而分類效果有所影響。LBP特征圖提取極光圖像的紋理特征，缺少運動特征及其他原圖所攜帶信息，分類效果有所影響。結(jié)果表明多通道融合特征有效提升了分類準確率。

2.3 分類效果對比實驗

將文中方法與一些其他的分類方法(WLD(韋伯描述符)、LBP)進行比較，結(jié)果如圖4所示。

圖4 文中算法與其他算法的比較

對極光圖像進行自動分類的關(guān)鍵在于有效保證極光圖像信息，根本思想是模仿人的感官去區(qū)分不同極光類別的差異。WLD是一種紋理描述算子，由心理學(xué)韋伯定律發(fā)展而來，是一種局部描述符，因此會丟失極光圖像全局等信息。LBP也是一種紋理特征，會丟失極光圖像運動變化等特征。從圖4中可以看出，文中算法由于融合了原圖信息、有代表性的傳統(tǒng)特征LBP信息和光流信息以及卷積神經(jīng)網(wǎng)絡(luò)的自動學(xué)習(xí)特征，相比其他算法在分類準確率上有所提高。對比弧狀、輻射冕狀、帷幔冕狀和熱點狀4類極光的結(jié)構(gòu)形態(tài)，熱點狀極光復(fù)雜多變，不利于分類識別，而弧狀極光由于具有明顯的弧形特征最具識別性。實驗結(jié)果也顯示，三種分類方法都呈現(xiàn)出弧狀極光分類正確率最高，熱點狀極光分類準確率最低，輻射冕狀極光和帷幔冕狀極光分類正確率介于弧狀極光跟熱點狀極光分類正確率之間。

3 結(jié)束語

利用多通道融合特征和預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)對極光圖像進行分類。首先通過多通道融合原圖、LBP特征圖、HS光流特征圖構(gòu)建多通道融合特征圖，通過預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進行自動特征學(xué)習(xí)，利用支持向量機進行最終分類。實驗結(jié)果表明，該方法具有良好的分類性能，解決了熱點狀極光容易混淆分類的難題。通過已標定好的極光數(shù)據(jù)庫進行訓(xùn)練測試，是有監(jiān)督的極光圖像分類研究。由于極光研究采集了大量樣本數(shù)據(jù)，都是為標定的數(shù)據(jù)，人工標定費時費力費錢。因此今后的工作將針對無監(jiān)督數(shù)據(jù)進行模型訓(xùn)練測試分類，以求將大量未標定數(shù)據(jù)應(yīng)用到研究中。