基于編碼-解碼神經(jīng)網(wǎng)絡(luò)遙感圖像語義分割應(yīng)用研究

李紫薇 于曉鵬 丁婷婷

摘?要：圖像分割的實現(xiàn)經(jīng)歷了從傳統(tǒng)方法到神經(jīng)網(wǎng)絡(luò)方法的演變。本文從圖像分割的發(fā)展過程入手，介紹了圖像分割與語義分割的區(qū)別，對最近幾年傳統(tǒng)圖像分割方法在遙感圖像分割領(lǐng)域的應(yīng)用進(jìn)行梳理分析，總結(jié)了傳統(tǒng)遙感圖像分割方法的不足?；诖?，歸納了幾種經(jīng)典編碼-解碼神經(jīng)網(wǎng)絡(luò)架構(gòu)在遙感圖像語義分割領(lǐng)域的應(yīng)用，對其改進(jìn)方式進(jìn)行了綜合性分析，并對其未來的發(fā)展趨勢進(jìn)行展望。

關(guān)鍵詞： 圖像分割;圖像語義分割;遙感圖像;編碼-解碼神經(jīng)網(wǎng)絡(luò)

文章編號： 2095-2163（2021）01-0106-04 中圖分類號：TP301.6 文獻(xiàn)標(biāo)志碼：A

【Abstract】The realization of image segmentation has experienced the evolution from traditional methods to neural network methods. This article starts with the development process of image segmentation， introduces the difference between image segmentation and semantic segmentation， analyzes the application of traditional image segmentation methods in the field of remote sensing image segmentation in recent years， and discusses the shortcomings of traditional remote sensing image segmentation methods. Based on this， the application of several classical encoding-decoding neural network architectures is summarized in the field of remote sensing image semantic segmentation， the improvement methods of these methods are comprehensively analyzed， and their future development trend is prospected.

【Key words】image segmentation; image semantic segmentation; remote sensing image; encoding-decoding neural network

0 引?言

圖像作為人類感知世界的視覺基礎(chǔ)，是人類獲取、表達(dá)和傳遞信息的重要手段。隨著科技的進(jìn)步，圖像分割技術(shù)和圖像語義分割技術(shù)也隨之發(fā)展起來。圖像語義分割技術(shù)作為圖像分類、目標(biāo)檢測以及對圖像上下文信息理解的基礎(chǔ)，在計算機視覺領(lǐng)域發(fā)揮著舉足輕重的作用。而在其經(jīng)歷了漫長的發(fā)展進(jìn)程后，目前已經(jīng)成為深度學(xué)習(xí)方向的重點研究課題。進(jìn)一步的研究還指出，遙感圖像由于其分辨率低、波段多、圖像范圍廣、數(shù)據(jù)量大等特點，現(xiàn)在已然成為圖像語義分割領(lǐng)域的重點研究對象。

1 概述

1.1 圖像分割

在圖像分割早期，考慮到計算機的有限運行能力，只能采用普通的圖像分割方法。這種普通方法最初也僅可用于灰度圖像處理，后期則逐漸拓展至彩色圖像的分割。具體是通過提取圖片信息中的低級特征來分割圖像，但是分割出的結(jié)果并沒有語義級別的標(biāo)注，因而不能將分割結(jié)果中的類別進(jìn)行細(xì)分。普通的圖像分割是一種適用于非監(jiān)督學(xué)習(xí)的分割技術(shù)。

1.2 圖像語義分割

隨著機器學(xué)習(xí)的發(fā)展以及計算機性能的提升，圖像語義分割技術(shù)已經(jīng)逐漸成為時下的研究熱點。與普通圖像分割不同，圖像語義分割是從像素級別來對圖像進(jìn)行理解的，屬于同一類別的像素均歸為一類。圖像語義分割是適用于監(jiān)督學(xué)習(xí)的分割技術(shù)。目前，越來越多的應(yīng)用需要與語義分割技術(shù)相結(jié)合，包括自動駕駛、人機交互、醫(yī)學(xué)影像等領(lǐng)域。圖像語義分割也是AI領(lǐng)域中的一個重要分支，是計算機視覺技術(shù)中關(guān)于圖像理解的重要一環(huán)，同時也是目標(biāo)檢測、圖像分類等領(lǐng)域的關(guān)鍵性技術(shù)。

2 傳統(tǒng)遙感圖像分割

2.1 傳統(tǒng)遙感圖像分割方法

近年來，遙感圖像分割已經(jīng)引起了學(xué)界的更多關(guān)注。2016年，丁海勇等人[1]提出了一種基于動態(tài)區(qū)域分裂合并算法的遙感圖像分割方法。這種方法將傳統(tǒng)的四叉樹分裂算法轉(zhuǎn)換為循環(huán)方式利用堆棧數(shù)據(jù)結(jié)構(gòu)進(jìn)行運算，再與相鄰?fù)|(zhì)區(qū)域歸并算法相結(jié)合，實現(xiàn)了多特征信息高精度的提取。但該方法仍存在著計算量較大，分割效果過分依賴參數(shù)等不足。2017年，李勇發(fā)等人[2]提出了一種基于FCM聚類及其改進(jìn)的遙感圖像分割算法。考慮到傳統(tǒng)的FCM算法對球狀數(shù)據(jù)具有很強的依賴性，因此在改進(jìn)的算法中使用了交叉熵距離測度來代替歐式距離測度。改進(jìn)的FCM算法大大提高了遙感圖像聚類的效率和分類的精度。2019年，楊麗艷等人[3]提出了一種簡單線性迭代聚類（SLIC）與快速FCM聚類相結(jié)合的算法。這種方法先使用SLIC算法對圖像進(jìn)行預(yù)分割，繼而使用FFCM對獲取的超像素進(jìn)行合并，結(jié)果表明該方法能夠改善超像素的過度分割問題。2019年，姜文斌等人[4]提出了一種基于最優(yōu)權(quán)重法的K-means模型，先使用二維高斯函數(shù)對圖像進(jìn)行濾波平滑處理，再依據(jù)早熟收斂度和自適應(yīng)值進(jìn)行調(diào)整，找到最優(yōu)權(quán)重作為初始聚類中心，然后將樣本分配到每個聚類中心不斷進(jìn)行迭代，直至最終算法收斂。該算法解決了傳統(tǒng)K-means算法不易獲得最優(yōu)質(zhì)心以及容易趨于局部最優(yōu)的問題。

2.2 傳統(tǒng)方法存在的問題

目前，隨著對傳統(tǒng)遙感圖像分割方法研究的不斷深入，傳統(tǒng)方法因其自身的局限性以及外界因素的影響也同時暴露出許多問題。傳統(tǒng)遙感圖像分割方法是根據(jù)遙感圖像的顏色、空間結(jié)構(gòu)和紋理信息等特征進(jìn)行處理分析的，因此傳統(tǒng)方法只能提取到遙感圖像的一些低級特征，無法達(dá)到語義級別的分割。傳統(tǒng)方法對遙感圖像中細(xì)節(jié)信息的提取也缺乏精準(zhǔn)度，無法實現(xiàn)更加精確的分割。同時，由于遙感圖像的成像容易受到許多自然因素的影響，為圖像分割帶來了更大的挑戰(zhàn)。還需指出的是，在神經(jīng)網(wǎng)絡(luò)逐漸發(fā)展起來后，已有眾多學(xué)者開始將遙感圖像分割與神經(jīng)網(wǎng)絡(luò)相結(jié)合，試圖尋求到遙感圖像分割更加有效的方法。

3 基于編碼-解碼神經(jīng)網(wǎng)絡(luò)的遙感圖像語義分割

3.1 基于編碼-解碼神經(jīng)網(wǎng)絡(luò)的經(jīng)典方法

神經(jīng)網(wǎng)絡(luò)經(jīng)歷了漫長的發(fā)展過程，逐漸衍生出多種類型的神經(jīng)網(wǎng)絡(luò)。其中的卷積神經(jīng)網(wǎng)絡(luò)以其自身的特點在圖像處理領(lǐng)域發(fā)揮著舉足輕重的作用，但是真正對圖像分割起到指引作用的是2017年Long等人[5]提出的全卷積神經(jīng)網(wǎng)絡(luò)（FCN）。該網(wǎng)絡(luò)模型對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)做了一定的改進(jìn)，是一種編碼-解碼結(jié)構(gòu)網(wǎng)絡(luò)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只能接收固定大小的輸入圖像，而針對這一局限性，用全卷積網(wǎng)絡(luò)替代傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的最后一層全連接層。此外，還提出了跳躍鏈接結(jié)構(gòu)來進(jìn)行上采樣學(xué)習(xí)，實現(xiàn)了將圖像分類網(wǎng)絡(luò)轉(zhuǎn)移到圖像分割網(wǎng)絡(luò)中。FCN的架構(gòu)如圖1所示。

2015年，Ronneberger等人[6]針對池化操作引發(fā)的特征圖分辨率低的問題，提出了一種編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)模型U-Net。和FCN相比，U-Net是一個完全對稱的卷積神經(jīng)網(wǎng)絡(luò)模型，由一個收縮路徑和一個對應(yīng)的擴張路徑構(gòu)成。其中，收縮路徑相當(dāng)于編碼部分，是對圖片細(xì)節(jié)信息進(jìn)行提取;擴張路徑相當(dāng)于解碼部分，用于恢復(fù)和原圖一樣的大小。U-Net的網(wǎng)絡(luò)架構(gòu)如圖2所示。

2017年，Badrinarayanan等人[7]針對全卷積神經(jīng)網(wǎng)絡(luò)使用反卷積和少量跳躍連接而產(chǎn)生的分割效果粗糙的問題，提出了一種編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)模型SegNet。該網(wǎng)絡(luò)在解碼器使用時并沒有如FCN一樣復(fù)制編碼器特征，而是使用編碼器的最大合并步驟中計算的池化索引來執(zhí)行非線性上采樣，這就使得網(wǎng)絡(luò)占用的內(nèi)存大大減小了。SegNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

總而言之，前述基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像語義分割的經(jīng)典方法都是一種編碼-解碼結(jié)構(gòu)的網(wǎng)絡(luò)，這種網(wǎng)絡(luò)以其整齊明晰的網(wǎng)絡(luò)結(jié)構(gòu)在眾多卷積神經(jīng)網(wǎng)絡(luò)中表現(xiàn)出明顯的優(yōu)勢。

3.2 基于編碼-解碼神經(jīng)網(wǎng)絡(luò)遙感圖像語義分割方法

隨著編碼-解碼結(jié)構(gòu)網(wǎng)絡(luò)的發(fā)展，更多的研究者已嘗試將其應(yīng)用在遙感圖像語義分割領(lǐng)域。2018年，鄭二功等人[8]將全卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在玉米倒伏地域提取中，為玉米倒伏災(zāi)害評估提供了有益參考。2019年，楊建宇等人[9]將SegNet用于高分辨率遙感影像中農(nóng)村建筑物的信息提取，與傳統(tǒng)分類算法和淺層學(xué)習(xí)算法相比總體精度顯著提高。同年，蘇健民等人[10]提出了一種基于U-Net改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)，采用集成學(xué)習(xí)策略提高分割精度。陳一鳴等人[11]采用改進(jìn)的U-Net網(wǎng)絡(luò)并結(jié)合隨機梯度下降與Momentum組合的優(yōu)化方法提升了遙感圖像新增建筑物的分割精度。許玥等人[12]采用改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)與全連接條件隨機場的圖像分割算法對遙感圖像進(jìn)行分割，與傳統(tǒng)U-Net相比有著更好的魯棒性，分割精度也得到了進(jìn)一步的提升。

2020年，張浩然等人[13]提出了一種改進(jìn)的U-Net網(wǎng)絡(luò)結(jié)合CRFs對高分辨率遙感影像建筑物進(jìn)行提取，在地物邊緣分割完整度和精度上實現(xiàn)了改進(jìn)。同年，張哲晗等人[14]提出了一種改進(jìn)的對稱編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)SegProNet，利用池化索引與卷積融合語義信息及圖像特征，構(gòu)建Bottleneck層進(jìn)一步提取細(xì)節(jié)信息，實現(xiàn)了農(nóng)村地區(qū)遙感圖像語義分割。

3.3 總結(jié)分析

近年來，眾多學(xué)者將綜上的數(shù)種典型的編碼-解碼結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)應(yīng)用到遙感圖像分割領(lǐng)域，期待在研究的分割速度、準(zhǔn)確度等方面得到明顯提升。目前，提高編碼-解碼結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)在遙感圖像分割領(lǐng)域的效率與精度可以通過采用集成策略、改進(jìn)傳統(tǒng)網(wǎng)絡(luò)的迭代方法與優(yōu)化方法、增加后處理方法以及增加卷積層深度對遙感圖像的細(xì)節(jié)信息進(jìn)一步提取等方式。

4 結(jié)束語

本文以圖像分割的發(fā)展過程作為契入點，將不同的圖像分割方法在遙感圖像分割領(lǐng)域的應(yīng)用進(jìn)行了介紹和分析。目前利用深度學(xué)習(xí)技術(shù)對遙感圖像進(jìn)行分割已經(jīng)成為研究的熱點，編碼-解碼結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)在遙感圖像分割領(lǐng)域發(fā)揮的作用也更加明顯，但與此同時卻也面臨著諸多挑戰(zhàn)，未來可以考慮設(shè)計更加適用于小數(shù)據(jù)集的架構(gòu)，還可以將工作拓展至對超大尺寸遙感圖像的分割實現(xiàn)等。因此，編碼-解碼結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)在遙感圖像分割領(lǐng)域仍亟待加大研發(fā)力度。

參考文獻(xiàn)

[1]丁海勇，王雨軒，毛宇瓊，等. 基于動態(tài)閾值區(qū)域分裂合并算法的高分辨率遙感圖像分割研究[J]. 測繪通報，2016（8）： 145-146.

[2]李勇發(fā)，左小清，楊芳，等.基于FCM聚類及其改進(jìn)的遙感圖像分割算法[J]. 浙江農(nóng)業(yè)科學(xué)，2017，58（3）：518-520.

[3]楊麗艷，趙玉娥，黃亮. 結(jié)合SLIC和模糊聚類的遙感圖像分割方法[J]. 軟件，2019，40（12）：66-69.

[4]姜文斌，劉麗萍，孫學(xué)宏.基于自適應(yīng)權(quán)重法的K-means模型對遙感圖像分割[J]. 計算機應(yīng)用與軟件，2019，36（5）：231-234，261.

[5]LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[6]RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U- Net：Convolutional networks for biomedical image segmentation[J]. Medical Image Computing and Computer-Assisted Intervention（MICCAI），2015，9351：234-241.

[7]BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A deep convolutional encoder- decoder architecture for scene segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[8]鄭二功，田迎芳，陳濤.基于深度學(xué)習(xí)的無人機影像玉米倒伏區(qū)域提取[J].河南農(nóng)業(yè)科學(xué)，2018，47（8）：155-160.

[9]楊建宇，周振旭，杜貞容，等. 基于SegNet語義模型的高分辨率遙感影像農(nóng)村建設(shè)用地提取[J].農(nóng)業(yè)工程學(xué)報，2019，35（5）：251-258.

[10]蘇健民，楊嵐心，景維鵬.基于U-Net的高分辨率遙感圖像語義分割方法[J].計算機工程與應(yīng)用，2019，55（7）：207-213.

[11]陳一鳴，彭艷兵，高劍飛.基于深度學(xué)習(xí)的遙感圖像新增建筑物語義分割[J].計算機與數(shù)字工程，2019，47（12）：3182-3186.

[12]許玥，馮夢如，皮家甜，等.基于深度學(xué)習(xí)模型的遙感圖像分割方法[J].計算機應(yīng)用，2019，39（10）：2905-2914.

[13]張浩然，趙江洪，張曉光.利用U-net網(wǎng)絡(luò)的高分遙感影像建筑提取方法[J].遙感信息，2020，35（3）：143-150.

[14]張哲晗，方薇，杜麗麗，等.基于編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像語義分割[J].光學(xué)學(xué)報，2020，40（3）：0310001（1-10）.