一種基于CNN與梯度分水嶺算法的衛(wèi)星圖像區(qū)域分割識別方法

張日升，朱桂斌，張燕琴，陳威靜

?

一種基于CNN與梯度分水嶺算法的衛(wèi)星圖像區(qū)域分割識別方法

張日升1，朱桂斌1，張燕琴2，陳威靜1

（1. 重慶通信學(xué)院應(yīng)急通信重慶市重點實驗室；重慶 400035；2. 中國人民解放軍95894部隊，北京 102211）

衛(wèi)星圖像的準確分割與識別在軍事、環(huán)境、民生方面都有著重要的研究意義與價值。傳統(tǒng)的區(qū)域分割算法如分水嶺算法、k-means算法等在錯綜復(fù)雜的衛(wèi)星圖像中表現(xiàn)不佳，且不能同時給出區(qū)域的類別。為解決上述問題，本文提出一種結(jié)合CNN與分水嶺算法的圖像區(qū)域分割方法。該方法首先使用人工標記的區(qū)域圖像訓(xùn)練CNN（卷積神經(jīng)網(wǎng)絡(luò)）分類器，且使其具有旋轉(zhuǎn)不變性及平移不變性，從而能適應(yīng)不同狀態(tài)下的圖像分類。然后用分水嶺算法對圖像進行區(qū)域粗粒度的聚類，針對分割出的每一個候選區(qū)域，使用CNN分類器對其迭代打分，最后得到分割區(qū)域并給出識別結(jié)果。實驗結(jié)果表明，該方法較傳統(tǒng)方法有更好效果。

卷積神經(jīng)網(wǎng)絡(luò)；梯度分水嶺；衛(wèi)星圖像；分割識別

0 引言

圖像分割技術(shù)一直是計算機視覺領(lǐng)域中的一個研究熱點。圖像分割是指將數(shù)字圖像細分為多個圖像子區(qū)域的過程[1]，通常用于定位圖像中的物體和邊界。對于衛(wèi)星圖像，因其錯綜復(fù)雜的區(qū)域交叉特性與區(qū)域間的不規(guī)則連接，傳統(tǒng)的圖像分割技術(shù)，如Chen等[2]提出的基于顏色的聚類方法和Fowlkes等[3]提出的基于梯度的圖像分割方法，容易造成多分、重分等問題，效果不佳。

隨著深度學(xué)習(xí)的興起，卷積神經(jīng)網(wǎng)絡(luò)越來越多的被應(yīng)用到了圖像識別中[4]，卷積神經(jīng)網(wǎng)絡(luò)的稀疏連接、權(quán)值共享的特殊結(jié)構(gòu)，不僅大大降低了模型的運算復(fù)雜度，而且旋轉(zhuǎn)不變性與縮放不變性也使其具備良好的魯棒性。目前，Google利用卷積神經(jīng)網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上已取得了96.9%的驚人準確率。同時，將卷積神經(jīng)網(wǎng)絡(luò)運用到衛(wèi)星圖像的分類問題中，可以較好地解決衛(wèi)星離地距離不同、遙感設(shè)備拍攝角度不同和大氣層多光譜散射等帶來的噪聲等問題。

我們也考慮到了RCNN（Region with Convo- lutional Neural Network）與 Fast-RCNN[5]對于區(qū)域的分割方法。由于Fast-RCNN在訓(xùn)練與識別時，所計算出的區(qū)域均為矩形，對于彎曲的公路或河流，具有較低的召回率，因此只能解決局部的準確率問題，大幅的衛(wèi)星圖像中表現(xiàn)不佳。如圖1所示。

為解決多分、重分以及召回率過低的問題，我們結(jié)合卷積神經(jīng)網(wǎng)絡(luò)[6]對圖像精準分類的優(yōu)點，提出分割區(qū)域重組思想。首先使用梯度分水嶺算法[7]對預(yù)處理后的圖像按顏色進行粗粒度聚類，再使用卷積神經(jīng)網(wǎng)絡(luò)對每一個聚類區(qū)域按一定規(guī)則進行迭代識別，并按識別結(jié)果對每一個類別進行打分，將得分最高的類別認為是該區(qū)域所屬類別。針對相同類別的相鄰區(qū)域，將其合并為一個區(qū)域，進而解決多分重分問題。

1 算法實現(xiàn)

本文利用卷積神經(jīng)網(wǎng)絡(luò)在分類時具有平移不變性、旋轉(zhuǎn)不變性的特點，對衛(wèi)星圖像塊進行準確分類（準確率97%），進而對候選區(qū)域打分并重組，實現(xiàn)區(qū)域分割識別。本文首先利用梯度分水嶺算法對整幅衛(wèi)星圖像按顏色聚類，得到粗略的區(qū)域劃分，然后對候選區(qū)域使用CNN分類器為所屬類別打分，最后根據(jù)得分，重新整理候選區(qū)域，得到分割識別結(jié)果。算法流程如圖2所示。

1.1 數(shù)據(jù)預(yù)處理

首先采用小波變換[8]對圖像進行去噪處理，然后將圖像轉(zhuǎn)為灰度圖，采用中值濾波算法[9]對圖像做平滑處理，便于梯度分水嶺算法聚類。

1.1.1 小波變換

采用自適應(yīng)閾值法去噪。相比于固定閾值方法，該方法可自適應(yīng)地調(diào)節(jié)閾值，使之對于不同噪聲的適應(yīng)性與穩(wěn)定性都得到了提升。自適應(yīng)閾值定義如公式(1)：

式中：為小波的總分解尺度；為閾值小波尺度?？梢?，不同尺度有不同閾值，與小波分析的多分辨率相適應(yīng)。

圖像經(jīng)小波變換去噪后效果如圖3所示（左圖為原始圖像，右圖為去噪后圖像）。

1.1.2 中值濾波

針對灰度圖，采用中值濾波算法對其處理，如公式(2)：

(,)＝med{(－,－),(,?)} (2)

式中：(,)和(,)分別為處理后的圖像與原始圖像；和分別為圖像橫坐標和縱坐標的滑動距離；為二維模板，本方法中選取9×9大小的區(qū)域。

針對圖像中混雜的一些椒鹽噪聲，采用中值濾波方法可以很好地起到過濾作用，如圖4所示（左圖為輸入圖像，右圖為中值濾波后圖像）。

1.2 區(qū)域粗分割

1.2.1 梯度分水嶺算法

分水嶺分割方法，是一種基于拓撲理論的數(shù)學(xué)形態(tài)學(xué)的分割方法，其基本思想是把圖像看作是測地學(xué)上的拓撲地貌，圖像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。

分水嶺變換得到的是輸入圖像的集水盆圖像，集水盆之間的邊界點，即為分水嶺。顯然，分水嶺表示的是輸入圖像極大值點。因此，為得到圖像的邊緣信息，通常把梯度圖像作為輸入圖像，如公式(3)：

圖1 基于RCNN的衛(wèi)星遙感圖像區(qū)域識別結(jié)果

圖2 基于CNN與梯度分水嶺算法的區(qū)域分割算法流程圖

式中：函數(shù)表示原始圖像；grad函數(shù)表示梯度運算。

為降低分水嶺算法產(chǎn)生的過度分割，通常要對梯度函數(shù)進行修改，一個簡單的方法是對梯度圖像進行閾值處理，以消除灰度的微小變化產(chǎn)生的過度分割，如公式(4)：

(,)＝max(grad((,)),()) (4)

式中：函數(shù)表示閾值。

1.2.2 候選區(qū)域獲取

結(jié)合實際圖像，對預(yù)處理后的圖像使用梯度分水嶺算法進行區(qū)域粗分割，當(dāng)閾值為10時分割結(jié)果如圖5所示（從左至右依次是輸入圖像、梯度化后圖像、標記后圖像和分割后圖像）。

1.3 卷積神經(jīng)網(wǎng)絡(luò)模型

1.3.1 卷積神經(jīng)網(wǎng)絡(luò)的特點

卷積神經(jīng)網(wǎng)絡(luò)受貓腦皮層的局部感知與方向選擇的啟發(fā)而被設(shè)計提出。一方面，卷積神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的稀疏鏈接與權(quán)值共享，可使其在深層次上挖掘出數(shù)據(jù)在空間上的關(guān)系，因此使網(wǎng)絡(luò)具有旋轉(zhuǎn)不變性與平移不變性；同時，參數(shù)共享也減少網(wǎng)絡(luò)中可訓(xùn)練參數(shù)的數(shù)量，提高了訓(xùn)練速度與計算效率。

1.3.2 針對衛(wèi)星圖像搭建的卷積神經(jīng)網(wǎng)絡(luò)模型

模型分為兩個部分。一是特征提取部分，一是分類部分。其中，特征提取部分負責(zé)學(xué)習(xí)圖像塊中的有效特征以助于后續(xù)分類；分類部分利用上述特征對圖像所屬類別進行精準預(yù)測。

特征提取部分是由卷積層與池化層組成。其中，卷積層又由眾多卷積核組成，最后經(jīng)過激活函數(shù)后將結(jié)果輸出，如公式(5)：

式中：x表示第層卷積層中第個圈結(jié)合對應(yīng)的特征；M表示當(dāng)前神經(jīng)元的感受域；W表示第層中第個卷積核的第個加權(quán)系數(shù)；b表示第層中第個卷積核的偏執(zhí)系數(shù)，在這里，我們選取ReLu函數(shù)作為激活函數(shù)，如公式(6)：

()＝max(0,) (6)

池化層利用局部相關(guān)性原理對數(shù)據(jù)進行子抽樣，在減少數(shù)據(jù)維度的同時又保證了信息的有效性，且使模型具有了平移不變性。如公式(7)：

式中：down函數(shù)表示卷積函數(shù)；表示加權(quán)系數(shù)；表示偏執(zhí)系數(shù)。

針對35×35像素大小的遙感衛(wèi)星圖像設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)模型圖，如圖6所示。

1.3.3 訓(xùn)練方法

卷積神經(jīng)網(wǎng)絡(luò)是輸入到輸出的映射，能夠在不需要任何輸入和輸出之間的精確數(shù)學(xué)表達式的前提下，利用已標記的數(shù)據(jù)進行訓(xùn)練，建立輸入輸出對之間的映射關(guān)系。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程如圖7所示。

據(jù)經(jīng)驗值，將設(shè)為60，偏置系數(shù)初始為1，卷積核加權(quán)系數(shù)按照公式(8)初始化：

式中：Fin為輸入數(shù)據(jù)的維度；Fout為輸出數(shù)據(jù)的維度。

圖4 中值濾波

圖5 梯度分水嶺算法區(qū)域粗分割

圖6 識別衛(wèi)星圖像的卷積神經(jīng)網(wǎng)絡(luò)模型圖

圖7 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程圖

1.4 區(qū)域分割方法

1.4.1 區(qū)域打分

對于2.2節(jié)給出的候選區(qū)域，我們使用2.3節(jié)中CNN分類器對候選區(qū)域中的每一個圖像塊進行識別分類，步長為25，如圖8所示。

對于邊界外區(qū)域，我們采用0填充，如圖9所示。

為所屬類別打分，分值即為softmax給出的概率值，如公式(9)：

式中：Ci為第i類別的得分；n為大區(qū)域中小區(qū)域塊的數(shù)量；Sji為第j個區(qū)域塊屬于i類別的概率。

Fig. 8 Region marking

圖9 邊界填充

圖10的打分結(jié)果如表1所示，精確到小數(shù)點后兩位，小于0.01時得分為0。

1.4.2 區(qū)域重組

對上述打分后的區(qū)域，認為得分最高的類別為該區(qū)域所屬類別，同時，將屬于同一類別而相鄰的區(qū)域合并，如圖10所示。

圖10 區(qū)域合并

Fig. 10 Region merging

表1 遙感圖像分割區(qū)域打分表

2 測試結(jié)果及分析

2.1 卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)選取方法

2.1.1 訓(xùn)練數(shù)據(jù)的選取

實驗所使用數(shù)據(jù)來自谷歌衛(wèi)星地圖19級圖像，隨機區(qū)域采集后切分成25×25像素圖像，按照類別分為5類，即草地、湖泊、公路、居民區(qū)、土地，每類5000張，合計25000張。為了增加樣本的相關(guān)性，使模型具有更好的泛化能力，現(xiàn)將訓(xùn)練數(shù)據(jù)依次順時針旋轉(zhuǎn)90°、180°和270°，如圖11所示。

經(jīng)過旋轉(zhuǎn)處理后，每類圖片擴增至20000張，合計100000張。在每類20000張數(shù)據(jù)中，隨機取12000張作為訓(xùn)練集，其余部分隨機分成兩部分，每部分4000張，分別為測試集與驗證集。

2.1.2 訓(xùn)練次數(shù)選擇

我們將數(shù)據(jù)按每128張圖片為一個batch，最后一個batch不足128時隨機抽取補充，共160個batch，迭代到360次之后，loss不再下降，模型訓(xùn)練完畢，如圖12所示。

2.2 與經(jīng)典BP神經(jīng)網(wǎng)絡(luò)對比

為證實設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)更加有效，我們將相同數(shù)據(jù)集用經(jīng)典BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，并作比較實驗，結(jié)果如表2所示。

2.3 與傳統(tǒng)圖像分割方法比較

同時，為證實本方法較傳統(tǒng)方法的有效性，作對比實驗，結(jié)果如表3所示。

2.4 結(jié)果分析

由于衛(wèi)星圖像的特殊性，直接采用傳統(tǒng)的梯度分水嶺算法會產(chǎn)生明顯的多分和重分現(xiàn)象，無法達到識別的目的。若直接使用CNN方法進行區(qū)域識別，由于識別的區(qū)域均為矩形，對于彎曲的公路或河流，不能夠準確地表現(xiàn)出目標輪廓范圍，因此只能個別目標識別而無法做到大幅衛(wèi)星圖像識別?；贑NN與梯度分水嶺算法的衛(wèi)星圖像區(qū)域分割識別方法充分發(fā)揮了梯度分水嶺算法和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，圖像分割后邊界清晰，類別明顯，較好地實現(xiàn)了衛(wèi)星圖像的區(qū)域分割與識別功能。

3 總結(jié)

本文研究了CNN與梯度分水嶺算法相結(jié)合的衛(wèi)星圖像區(qū)域分割與識別方法，解決了傳統(tǒng)分割方法重分、多分與深度學(xué)習(xí)方法只能精準識別的問題。但是還有一些不足之處，如區(qū)域打分依賴于準確率較高的分類器、區(qū)域合并運算速度較慢等。同時，在討論本方法的時候，封閉區(qū)域的選取也是需要重點討論的對象。在下一步的工作中，我們將對如何選取封閉區(qū)間與如何進一步提高運算速度進行優(yōu)化。

圖11 旋轉(zhuǎn)衛(wèi)星圖片

Fig. 11 Rotating satellite images

圖12 Loss曲線

Fig. 12 Loss curve

表2 卷積神經(jīng)網(wǎng)絡(luò)與經(jīng)典BP神經(jīng)網(wǎng)絡(luò)算法對比結(jié)果

表3 CNN與梯度分水嶺結(jié)合方法與傳統(tǒng)方法對比結(jié)果

[1] Acharya J, Gadhiya S, Raviya K. Segmentation techniques for image analysis: A review[J]., 2013, 2(1): 1218-1221.

[2] CHEN J, Pappas T N, Mojsilovic A, et al. Adaptive image segmentation based on color and texture[C]//, 2002, 3: 777-780.

[3] Fowlkes C, Martin D, Malik J. Learning affinity functions for image segmentation: Combining patch-based and gradient-based approaches[C] //, 2003, 2: II-54-61.

[4] Sharif Razavian A, Azizpour H, Sullivan J, et al. CNN features off-the-shelf: an astounding baseline for recognition[C]//, 2014: 806-813.

[5] Girshick R. Fast r-cnn[C]//, 2015: 1440-1448.

[6] Ciregan D, Meier U, Schmidhuber J. Multi-column deep neural networks for image classification[C]// 2012(), 2012: 3642-3649.

[7] MA J, BAI H, FENG J, et al. Image segmentation algorithm based on wavelet transformation and watershed[C]//, 2016: 100331L-100331L-5.

[8] YAN R, SHAO L, LIU Y. Nonlocal hierarchical dictionary learning using wavelets for image denoising[J]., 2013, 22(12): 4689-4698.

[9] Hsieh M H, CHENG F C, Shie M C, et al. Fast and efficient median filter for removing 1%-99% levels of salt-and-pepper noise in images[J]., 2013, 26(4): 1333 -1338.

Method of Satellite Images Region Segmentation and Recognition Based on CNN and Gradient Watershed Algorithm

ZHANG Risheng1，ZHU Guibin1，ZHANG Yanqin2，CHEN Weijing1

(1.,,400035,; 2.95894,100102,)

The accurate segmentation and recognition of satellite images is very important in military and environmental matters and for people's livelihoods. Traditional region segmentation algorithms, such as the watershed algorithm, k-means algorithm, etc., do not perform well on complex satellite images, and cannot simultaneously display the region category. To address this problem, a method of satellite images region segmentation is proposed based of a convolutional neural network (CNN) and the gradient watershed algorithm. Firstly, the artificial markers of regional images are used to train the CNN classifier to adapt to the different categories of image classification with rotation in variant and translation in variant. Then, the watershed algorithm is used for regional images’ coarse-grained clustering. For each candidate region segmented, CNN classifiers were used to iterate and mark. The experimental region segmentation and the recognition results show that the proposed method is better than the traditional methods.

convolutional neural network，gradient watershed，sensing images，segmentation and recognition

TP389.1

A

1001-8891(2017)12-1114-06

2017-01-10；

2017-12-01.

張日升（1988-），男，碩士研究生。研究方向：智能信號與信息處理。E-mail：15320339816@163.com。

重慶市科技研發(fā)基地能力提升項目（cstc2014ptsy40003）。