基于特征融合的極限學(xué)習(xí)機圖像分類方法

蔣 強，陳 凱，王德元

(1.沈陽理工大學(xué)，遼寧 沈陽 110000；2.沈陽飛馳電氣設(shè)備有限公司，遼寧 沈陽 110000)

1 引言

隨著我國自主建設(shè)、獨立運行的衛(wèi)星導(dǎo)航系統(tǒng)北斗衛(wèi)星導(dǎo)航系統(tǒng)(BeiDou Navigation Satellite System)的日趨完善，填補了我國在衛(wèi)星導(dǎo)航系統(tǒng)領(lǐng)域的空白。北斗衛(wèi)星導(dǎo)航系統(tǒng)由三大部分組成，包括空間星座(空間段)、地面控制(地面段)和用戶終端(用戶段)[1]。北斗衛(wèi)星導(dǎo)航系統(tǒng)可以為用戶提供全天候、高精度的定位、導(dǎo)航及授時等方面的應(yīng)用，截至目前，我國已成功發(fā)射48顆衛(wèi)星，計劃在2020年底全面完成北斗衛(wèi)星導(dǎo)航系統(tǒng)的建設(shè)，形成全球無源服務(wù)能力，達到世界一流水平[2-3]。

隨著北斗衛(wèi)星導(dǎo)航系統(tǒng)的不斷完善，系統(tǒng)在森林防火、軍事戰(zhàn)略、交通管理、農(nóng)業(yè)漁業(yè)、公共安全、減災(zāi)救災(zāi)、氣象探測、通信和電力等眾多領(lǐng)域得到應(yīng)用，并呈現(xiàn)出更為廣泛應(yīng)用的趨勢[4-7]。遙感圖像的場景分類作為這些應(yīng)用的基礎(chǔ)，對北斗衛(wèi)星導(dǎo)航系統(tǒng)的進一步應(yīng)用有著至關(guān)重要的作用，遙感圖像的分類已成為熱門的研究主題。遙感圖像主要有以下特點：

1)遙感圖像分辨率逐漸增高，圖像數(shù)據(jù)維度越來越高，對計算機內(nèi)存及處理能力要求不斷提高，處理時間長；

2)圖像受天氣、光照、角度等外界因素影響比較大，增加了分類難度。

針對遙感圖像的特點，本文提出一種結(jié)合圖像融合和極限學(xué)習(xí)機(Extreme Learning Machine，ELM)的遙感圖像分類方法。針對遙感圖像光照等外部條件復(fù)雜的問題，通過融合遙感圖像的SIFT特征和CNN網(wǎng)絡(luò)特征，提高了遙感圖像的特征層次，更充分的利用了遙感圖像的信息，提取特征的魯棒性和判別性較好，從而有效提高了遙感圖像的分類準(zhǔn)確率。通過引入信息熵改進的PCA對融合后的圖像特征進行降維，提升了降維效率，減少了特征維度提高了特征質(zhì)量從而提升了遙感圖像的分類速度。

2 遙感圖象識別的基本框架

結(jié)合圖像融合和極限學(xué)習(xí)機的遙感圖像識別混合深度模型結(jié)構(gòu)圖如圖1示。本方法分別對輸入的圖像提取SIFT局部特征及CNN整體特征，特征提取完成后經(jīng)過由圖像信息熵改進的PCA降維后輸入ELM分類器中最終完成遙感圖像的分類任務(wù)。

圖1 結(jié)合圖像融合和極限學(xué)習(xí)機的遙感圖像識別流程圖

2.1 特征提取

2.1.1 SIFT圖像特征

SIFT(Scale Invariant Feature Transformation)，即尺度不變特征變換，是最為優(yōu)秀的目標(biāo)匹配與識別算法之一。尺度的概念為表達人視網(wǎng)膜成像過程中目標(biāo)的遠近程度，尺度越大，看到的圖像范圍越大，但是細節(jié)越模糊；尺度越小，看到的范圍越小，但細節(jié)比較豐富。SIFT算法可以找出尺度變換過程中的穩(wěn)定點(特征點)，這些特征點都含有三個信息，即位置、方向、尺度，這樣便保證了圖像在翻轉(zhuǎn)、平移和縮放時可以保持很好的魯棒性，對光照、陰影和噪聲等的穩(wěn)定性也極高。SIFT算法流程圖如圖2所示。

圖2 SIFT算法流程圖

SIFT算法最重要的步驟為構(gòu)建高斯差分金字塔(Difference of Gaussian，DOG)。1994年，Tony Lindeberg證明高斯核是唯一可以產(chǎn)生多尺度空間的核[8]，圖像尺度可定義為原始圖像與一個可變尺度的高斯函數(shù)卷積運算，即

L(x，y，σ)=G(x，y，σ)*I(x，y)

(1)

其中，G(x，y，σ)為高斯函數(shù)。

首先需要建立高斯金字塔，分為兩步：

1)對圖像做高斯平滑

2)對圖像做將采樣

設(shè)高斯圖像金字塔共o組、s層，則有

σ(s)=σ02o+s/S

(2)

其中σ為尺度空間坐標(biāo)，s為sub-level層坐標(biāo)，σ0為初始尺度，S為每組層數(shù)。DoG金字塔過程如圖3所示。

圖3 DoG金字塔創(chuàng)建過程

圖像的關(guān)鍵點由DoG空間的局部極值點組成，該極值點為圖像離散極值點，根據(jù)Taylor展開式可以對尺度空間DoG函數(shù)進行曲線擬合

(3)

求解得

(4)

(5)

取值小于0.04的極值點均拋棄。

最后通過計算關(guān)鍵點周圍像素梯度的幅值和方向確定關(guān)鍵點基準(zhǔn)方向，從而保持翻轉(zhuǎn)穩(wěn)定性，其中，梯度幅值表示為

m(x，y)=

(6)

方向為

(7)

這樣確定的每個關(guān)鍵點都含有位置尺度方向三個信息，保證了提取的局部特征的穩(wěn)定性。

2.1.2 CNN提取圖像全局特征

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)自從Yann Lecun等在1998年提出以來，迅速在圖像領(lǐng)域取得了廣泛的應(yīng)用。其本質(zhì)是一個多層感知機[9]，CNN特點主要是其局部連接和權(quán)值共享模式，當(dāng)輸入數(shù)據(jù)為圖像時CNN能夠自動完成特征提取，提取后的局部特征輸入第一層全連接層組成全局特征，進而實現(xiàn)圖像的分類。CNN已成功應(yīng)用于圖像處理的各個任務(wù)，因此CNN被認為是圖像識別領(lǐng)域的主導(dǎo)算法。CNN雖然能夠很方便的提取到特征，但其全連接層在分類時，占據(jù)了大量的計算時間與參數(shù)量，所以，近些年CNN被認為是優(yōu)秀的全局特征提取結(jié)構(gòu)，而在分類時，會刪除全連接層，選用其它分類器。例如，2012年Niuxx等人提出的CNN-SVM模型[10]，結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)特征提取和支持向量機分類器的優(yōu)點，在圖像分類試驗中得到了較低的分類錯誤率。

2.2 特征融合及優(yōu)化

圖像的特征融合技術(shù)已成為當(dāng)今圖像研究的熱門領(lǐng)域，圖像融合是一種將來自同一場景的許多圖像的不同信息融合在一起的方法，這些圖像取自各種傳感器或不同的特征范圍。融合圖像保留了輸入圖像的各種補充和冗余信息，這些信息對于人類的視覺感知和圖像處理任務(wù)非常有用。為了達到這些目的，融合結(jié)果應(yīng)滿足以下要求：

(a)融合圖像應(yīng)保留輸入圖像中最互補和重要的信息；

(b)融合技術(shù)不應(yīng)生成任何可能轉(zhuǎn)移方向的合成信息；

(c)必須避免出現(xiàn)不完善的狀態(tài)，例如噪聲等[11]。

綜上所述，圖像融合將保留來自輸入圖像的互補信息和冗余信息，確保獲取更全面的圖像特征。

CNN提取的圖像全局特征和和圖像SIFT局部特征融合后，特征維度必然增大，為了減少后續(xù)分類過程的計算量，需要對特征進行PCA降維。在PCA降維過程中，需要計算特征之間的協(xié)方差矩陣，內(nèi)存消耗很大且耗時。為了達到預(yù)期的效果，需要改進PCA以盡可能地壓縮特征數(shù)據(jù)并減少特征維度，減少降維過程中的內(nèi)存占用和運行時間，引入圖像信息熵來滿足這些要求。特征的信息熵值越大，原始數(shù)據(jù)中包含的信息量越大，它屬于應(yīng)保留的特征。如果特征的信息熵較低，則包含的數(shù)據(jù)信息越少[12]，應(yīng)刪除或不保留該特征。圖4為改進PCA降維的效果圖。

圖4 改進PCA降維效果

改進的PCA降維有效降低了數(shù)據(jù)維度及分類時間，提高了網(wǎng)絡(luò)在高維數(shù)據(jù)分類時的實時性表現(xiàn)。

2.3 ELM分類器

在提出的系統(tǒng)中，使用基于ELM的分類器。

圖5 ELM結(jié)構(gòu)

ELM是一個淺層網(wǎng)絡(luò)，結(jié)構(gòu)如圖5所示，ELM具有許多優(yōu)點，例如學(xué)習(xí)速度快，易于收斂以及隨機性較低[13]。因為ELM可以隨機初始化輸入權(quán)重和偏差，所以ELM的訓(xùn)練只需確定輸出權(quán)重及確定隱層神經(jīng)元個數(shù)，其中，隱層神經(jīng)元個數(shù)對分類性能有比較大的影響。本文用ELM代替全連接層，有效減少計算量及參數(shù)量。為了驗證本文所使用的ELM分類器的優(yōu)勢，將ELM分類器從診斷準(zhǔn)確率、訓(xùn)練時間和診斷時間三個層面分別與Softmax分類器和SVM進行對比，實驗結(jié)果如表1所示。

表1 分類器性能比較

從表1可以看出，ELM平均準(zhǔn)確率高達97.13%，高于Softmax分類器的93.71%以及SVM分類器的94.23%。此外，由于ELM訓(xùn)練時只需隨機生成連接權(quán)重和偏置，極大的減少了訓(xùn)練過程中的參數(shù)量與計算量，避免了繁復(fù)的迭代過程，因此訓(xùn)練時間遠低于其它兩種分類器，同時，分類時間也只有7.32ms，基本達到實時識別的應(yīng)用要求。

3 實驗平臺及數(shù)據(jù)集

搭建的測試平臺使用的操作系統(tǒng)為Windows 10，深度學(xué)習(xí)框架為TensorFlow，開發(fā)軟件為Python3.0x，主要硬件配置：處理器為E5-2660V2@2.6GHz；內(nèi)存為16GB；；GPU為GTX1080TIi 11G。

AID Dataset是一個遙感影像數(shù)據(jù)集，其包含30個類別的場景圖像，其中每個類別有約220～420張，整體共計10000張，其中每張像素大小約為600*600。該數(shù)據(jù)集由華中科技大學(xué)和武漢大學(xué)于2017年發(fā)布。

圖6 AID Dataset數(shù)據(jù)集中的遙感圖像

4 實驗及結(jié)果分析

4.1 灰度處理與濾波

在本文中，需要分別用深度網(wǎng)絡(luò)和SIFT方法提取深層和淺層特征，首先需要對Dataset數(shù)據(jù)集圖像進行灰度和濾波處理，這樣可以顯著減少圖像噪聲并將三維彩色圖像轉(zhuǎn)化為二維灰色圖像。

圖7 圖像預(yù)處理

4.2 輸入網(wǎng)絡(luò)，統(tǒng)計時間及識別準(zhǔn)確度

上文已經(jīng)驗證改進的PCA降維可以提高分類實時性能，為了驗證本文方法中降維對遙感圖像分類準(zhǔn)確率的影響，設(shè)定了本算法和與VGG-16算法分類準(zhǔn)確率的兩組對比實驗。

圖8 特征降至不同維度分類準(zhǔn)確率

由圖8可得，經(jīng)過特征融合加入SIFT特征后，豐富了圖像特征層次，有效提高了遙感圖像分類的準(zhǔn)確率，當(dāng)將特征維度降至400維時遙感圖像分類準(zhǔn)確率最高。

上文中提到隱層神經(jīng)元數(shù)目對ELM分類效果有著至關(guān)重要的作用。為驗證隱藏節(jié)點數(shù)目對分類效果的影響，分別設(shè)置隱藏節(jié)點數(shù)目從2000增加到14000，結(jié)果如圖9所示。

圖9 不同隱藏節(jié)點數(shù)目下分類準(zhǔn)確率對比

從實驗結(jié)果可以看到，隨著隱藏層節(jié)點數(shù)目增加，遙感圖像分類的準(zhǔn)確率會提高，但訓(xùn)練時間也會同時增加。綜合考慮準(zhǔn)確率和時間，本文選取隱藏層節(jié)點數(shù)量為10000。利用特征融合的分類準(zhǔn)確率明顯高于CNN特征下的分類準(zhǔn)確率，平均高出兩個百分點。

5 結(jié)論

綜上所述，通過融合遙感圖像的SIFT特征和CNN網(wǎng)絡(luò)特征，針對遙感圖像光照等外部條件復(fù)雜的問題，提高了遙感圖像的特征層次，更充分的利用了遙感圖像的信息，提取特征的魯棒性和判別性較好，從而有效提高了遙感圖像的分類準(zhǔn)確率。通過引入信息熵改進的PCA對融合后的圖像特征進行降維，減少了特征維度提高了特征質(zhì)量從而提升了遙感圖像的分類速度。