基于U-Net深度學習方法火星沙丘提取研究

郭曉征， 姚云軍， 賈 坤， 張曉通， 趙 祥

(北京師范大學地理科學學部遙感科學國家重點實驗室,北京 100875)

0 引言

火星風成地貌是由于地面氣流對地表物質(zhì)的搬運、侵蝕等作用造成的，風成地貌的變化是獲取火星大氣環(huán)流模式信息的重要來源[1]。沙丘是火星表面變化最劇烈的風成地貌，對火星沙丘的研究是理解火星大氣與地表交互機制的重要前提[2]。美國在2006年發(fā)射的火星偵察軌道器(Mars reconnaissance orbiter, MRO)搭載了不同空間分辨率的遙感傳感器，如高分辨率成像儀(high resolution imaging experiment, HiRISE)和火星彩色成像儀(Mars color imager, MARCI)等，每年都會采集海量的不同空間分辨率遙感影像數(shù)據(jù)[3]。然而，如何從大量的火星遙感數(shù)據(jù)中提取沙丘地貌成為了一個難題。

傳統(tǒng)的火星沙丘識別是通過人工目視解譯提取遙感影像中的沙丘，Hayward等[4]2007年結(jié)合多種火星遙感數(shù)據(jù)，通過人工目視解譯的方法生產(chǎn)了火星數(shù)字沙丘數(shù)據(jù)庫(Mars global digital dune database, MGD3)。但這種依靠人工目視解譯的方法對經(jīng)驗依賴性強且費時費力。隨著火星遙感數(shù)據(jù)的迅速增加，目視解譯的難度也在逐漸增加。為及時更新火星沙丘數(shù)據(jù)庫，就迫切地需要一種快速準確識別火星沙丘的方法。

目前，自動提取火星沙丘的方法主要是依靠傳統(tǒng)的機器學習方法，如隨機森林(random forest, RF)、支持向量機(support vector machines, SVM)、提升方法(boosting)等[5-6]。Bandeira等[5]利用boosting和SVM提取火星軌道相機(Mars orbiter camera, MOC)影像中的沙丘，結(jié)果表明，boosting和SVM提取火星沙丘的效果較好，且boosting的精度優(yōu)于SVM。但傳統(tǒng)機器學習需要將遙感影像分割為相同大小的瓦片，每個瓦片的分類結(jié)果為沙丘或非沙丘。然而大量瓦片為沙丘與非沙丘的混合，從而導(dǎo)致沙丘分類結(jié)果分辨率較差、預(yù)測精度偏低。而在圖像分割領(lǐng)域，近年來卷積神經(jīng)網(wǎng)絡(luò)(convolutional nenural network, CNN)由于可自動從圖像中獲取特征，在圖像識別及分割中的應(yīng)用越來越廣泛[7]。隨著深度學習的發(fā)展，不同的圖像分割模型相繼被提出。Long等[8]在2015年提出了全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network, FCN)，利用反卷積得到輸入影像的語義分割圖，首次實現(xiàn)了端對端的像素級別分類； Badrinarayanan等[9]提出了SegNet模型，利用編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)減少了模型中的訓(xùn)練參數(shù)，提高影像分割精度； Ronneberger等[10]在編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上連接編碼信息與解碼信息，生成了U-Net模型，進一步提高了分割精度。

火星沙丘在光譜空間中的差異較小，在提取沙丘的過程中主要依賴沙丘的紋理信息即空間信息。在之前利用機器學習自動提取沙丘的研究中，雖然使用了火星影像中的空間信息，但是提取結(jié)果混合現(xiàn)象比較嚴重，尤其在沙丘邊緣地區(qū)，分類結(jié)果較差。而CNN相對于傳統(tǒng)的機器學習能夠充分利用影像的空間信息，對影像的分割更為精細，能夠?qū)崿F(xiàn)基于像元的影像分割。因此，本文基于上述研究提出一種高精度的火星沙丘自動提取方法。針對火星沙丘復(fù)雜的光譜信息，利用局部二值模式獲取火星影像紋理信息，結(jié)合U-Net模型對火星沙丘進行提取，并與傳統(tǒng)的RF方法進行對比分析。

1 數(shù)據(jù)源

HiRISE是搭載在MRO衛(wèi)星上的遙感傳感器之一，具有較高的空間分辨率，像元分辨率一般在0.25～0.5 m之間，有400～600 nm，550～850 nm和800～1 000 nm 3個成像波段[11]。該傳感器是目前為止空間分辨率最高的火星遙感傳感器，且具有立體像對，可以制作高精度的數(shù)字高程數(shù)據(jù)。本文所采用的HiRISE影像來自HiRISE管理中心(www.uahirise.org)，數(shù)據(jù)已經(jīng)過輻射校正與幾何糾正。本次研究共使用6景HiRISE影像，其中5景影像用于訓(xùn)練樣本的生成，1景影像用于模型精度驗證。影像覆蓋區(qū)域均含有沙丘地貌，且絕大多數(shù)為格狀沙丘。格狀沙丘是火星分布最廣的沙丘類型之一[6]，其是多種風向相互作用，導(dǎo)致沙丘之間相互交錯。格狀沙丘因形態(tài)較為復(fù)雜，自動化提取也更困難，利用模型提取格網(wǎng)沙丘可以驗證模型的魯棒性。本研究使用HiRISE影像的詳細信息如表1所示。

表1 影像數(shù)據(jù)Tab.1 Image data

2 實驗方法與過程

2.1 紋理特征提取方法

局部二值模式(local binary pattern，LBP)是一種提取圖像紋理信息的算法，具有旋轉(zhuǎn)、平移不變的特性，為了提取HiRISE影像的紋理信息，需要對影像進行LBP變換。將圖像的每一個像元(x0,y0)與其8鄰域像元進行比較，若鄰域像元值大于像元(x0,y0)值，則標記為1，反之標記為0，比較得到8位有序的二值序列。將得到的8位二值數(shù)組轉(zhuǎn)為十進制，即為經(jīng)過LBP變換后的像元(x0,y0)的值[12]。LBP變換的數(shù)學公式為：

(1)

(2)

式中：in為8鄰域像元的灰度值；i0為像元(x0,y0)的灰度值。

圖1為LBP的計算示例，圖1(a)為原始影像的像元值及其8鄰域像元值，圖1(b)為8鄰域像元與中心像元比較所得到的8位二值序列(01111010)，將二值序列轉(zhuǎn)換為十進制數(shù)字122，即為圖1(c)LBP變換后的像元值。

(a) 原始影像(b) 二值序列(c) 轉(zhuǎn)換后的像元圖1 LBP變換示例Fig.1 Example of LBP transform

2.2 U-Net深度學習方法

U-Net方法是由Ronneberger等[10]在2015年針對醫(yī)學影像所提出的一種圖像分割的方法。U-Net方法具有編碼-解碼的結(jié)構(gòu)： 其網(wǎng)絡(luò)左側(cè)為編碼，利用卷積與池化提取圖像特征，右側(cè)為解碼，通過卷積與上采樣從提取的特征中恢復(fù)特征圖。在編碼的過程中，隨著感受野的不斷增加，U-Net方法可以提取到更為復(fù)雜抽象的特征。而在解碼的過程中，U-Net方法不僅利用提取好的特征，還整合不同網(wǎng)絡(luò)層的信息進而增加預(yù)測的精度。U-Net方法網(wǎng)絡(luò)結(jié)構(gòu)簡潔、模型訓(xùn)練收斂速度比較快，既可用于大型訓(xùn)練數(shù)據(jù)上，在少量的訓(xùn)練樣本中的表現(xiàn)也相當好[13-14]。正是由于U-Net方法網(wǎng)絡(luò)結(jié)構(gòu)簡單，運行速度快，適用于沙丘的快速識別，因此本文使用U-Net深度學習方法進行火星沙丘的提取。

2.3 RF機器學習方法

Breiman[15]在2001年提出了一種將多個決策樹集成到一起的機器學習方法，稱為RF。RF方法是一種簡單實用的機器學習方法，且在回歸和分類中的效果都較好。RF方法的具體實現(xiàn)步驟為： 對M個訓(xùn)練樣本進行有放回的抽樣，抽取M次，得到樣本數(shù)為M的樣本集進行訓(xùn)練得到一個決策樹； 將上述過程重復(fù)N次，得到N個決策樹，將這N個決策樹集成起來即為RF。在RF機器學習方法分類的過程中，多個決策樹進行投票，得票最多的類別為模型最終輸出類別[16-18]。

2.4 實驗過程

由于HiRISE影像中不同區(qū)域及不同成像時間內(nèi)的沙丘光譜差異較大，且沙丘與其背景的光譜差異較小，利用遙感圖像的光譜信息難以提取沙丘。沙丘與背景在紋理特征上差異較大，沙丘面為波紋狀或者平滑光面，而非沙丘則是不規(guī)則的紋理。紋理信息是提取火星沙丘地貌非常重要的信息。因此，首先需要利用LBP變換得到影像的紋理信息。

本文選擇RF機器學習與U-Net深度學習的提取方法進行比較，來研究深度學習與傳統(tǒng)機器學習方法提取結(jié)果的差異。在訓(xùn)練U-Net模型時，需要在提取紋理特征的基礎(chǔ)之上利用Labelme軟件對影像進行標注，再對影像進行分割、數(shù)據(jù)增強。RF方法是將影像分割為瓦片，采用人工目視解譯的方法將瓦片標記為沙丘與非沙丘。U-Net方法是端對端的像元級別分類，而RF方法是基于瓦片對影像進行分類。在模型訓(xùn)練完成之后，本文使用獨立的HiRISE影像對2種分類模型進行驗證。實驗具體步驟如圖2所示。

圖2 HiRISE沙丘提取實驗流程Fig.2 Flowchart of HiRISE sand dune extraction experiment

訓(xùn)練RF模型時，首先將遙感影像分割成大小為100像元×100像元的瓦片，并對每個瓦片進行LBP變換。若直接將瓦片作為特征輸入到RF模型會導(dǎo)致特征數(shù)過多、分類精度差，而瓦片的統(tǒng)計直方圖也可準確地描述瓦片的紋理特征。因此將樣本瓦片進行直方圖統(tǒng)計，將統(tǒng)計結(jié)果作為特征輸入RF模型進行訓(xùn)練。圖3為分割為100像元×100像元的沙丘與非沙丘的樣本，可以看出沙丘樣本具有規(guī)則的紋理，而非沙丘樣本的紋理比較雜亂。本次實驗中共從5張HiRISE影像中選取了816個瓦片樣本，其中沙丘的樣本為410個，非沙丘樣本為406個。

(a) 沙丘示例樣本1(b) 沙丘示例樣本2(c) 沙丘示例樣本3(d) 沙丘示例樣本4

(e) 非沙丘示例樣本1(f) 非沙丘示例樣本2(g) 非沙丘示例樣本3(h) 非沙丘示例樣本4圖3 RF訓(xùn)練樣本示例Fig.3 Train examples of samples of RF

為了生成U-Net的訓(xùn)練數(shù)據(jù)，本研究借助Labelme軟件對遙感影像進行標注，生成掩模文件，標注中像元值為0代表非沙丘，像元值為1代表沙丘。為了適應(yīng)U-Net的網(wǎng)絡(luò)結(jié)構(gòu)，LBP變換后影像與標簽數(shù)據(jù)需要分割為512像元×512像元的瓦片，之后將數(shù)據(jù)輸入U-Net網(wǎng)絡(luò)進行訓(xùn)練。圖4為U-Net訓(xùn)練樣本示例。由圖4可以看出經(jīng)LBP變換之后，沙丘與背景的差異得到了明顯增強。在深度學習中，訓(xùn)練數(shù)據(jù)越多，模型的預(yù)測精度越高。為增加模型精度，本研究對訓(xùn)練數(shù)據(jù)進行翻轉(zhuǎn)和旋轉(zhuǎn)等增強，有效擴充訓(xùn)練數(shù)據(jù)，提升網(wǎng)絡(luò)預(yù)測精度，以防止過擬合。本次實驗中共選取了5張HiRISE影像，經(jīng)過影像分割與數(shù)據(jù)增強，共得到1 026個訓(xùn)練樣本。本文中采用的平臺為Keras，計算機配置為Intel i7-6700HQ中央處理器，NVIDIA GTX1060顯卡，6 G顯存。

(a) 原始影像(b) LBP變換后影像 (c) 標簽數(shù)據(jù)圖4 U-Net訓(xùn)練樣本示例Fig.4 Train example of sample of U-Net

為了定量評價U-Net模型的精度，本文選擇獨立的測試數(shù)據(jù)對模型進行精度評價，并對比U-Net方法與RF方法之間的差異。利用Labelme軟件對獨立驗證影像進行標注，生成標簽數(shù)據(jù)，并使用該數(shù)據(jù)對U-Net方法與RF方法的提取結(jié)果進行精度驗證和對比分析。模型的評價指標主要包括假負率(false negative rate,FNR)、假正率(false positive rate, FPR)和準確率(accuracy rate, AR)。評價指標的計算方法分別為：

FNR=FN/(FN+TP)

(3)

FPR=FP/(FP+TN)

(4)

AR=(TP+TN)/(TP+FP+TN+FN) ，

(5)

式中：TP為模型預(yù)測為正的正樣本；FP為模型預(yù)測為正的負樣本；FN為模型預(yù)測為負的正樣本；TN為模型預(yù)測為負的負樣本。

3 結(jié)果與分析

HiRISE原始影像、人工標注數(shù)據(jù)、U-Net提取結(jié)果和RF提取結(jié)果分別如圖5(a)—(d)所示。由圖5可以看出，本文使用的U-Net深度學習方法的提取效果優(yōu)于RF方法，沙丘邊緣清晰且破碎斑塊較少，與目視解譯結(jié)果更吻合。圖5(c)與標簽數(shù)據(jù)的沙丘空間分布基本一致，并且噪聲較少，說明U-Net方法對火星沙丘的提取效果更好； 圖5(d)為RF提取結(jié)果，沙丘邊緣存在明顯的鋸齒，同時RF提取結(jié)果中存在較多的噪聲點。從沙丘分類結(jié)果的空間分布和整體效果2方面來講，U-Net方法的結(jié)果均優(yōu)于RF方法。

(a) 原始影像(b) 標簽數(shù)據(jù)(c) U-Net方法提取結(jié)果(d) RF方法提取結(jié)果

圖5 沙丘提取結(jié)果Fig.5 Sand dune extraction results

U-Net與RF這2種方法精度評價結(jié)果如表2所示。U-Net方法的FNR與FPR相較于RF方法都偏低，其中RF方法的FNR與FPR分別為3%和12.1%，而U-Net方法僅為0.3%和3.7%。U-Net方法在AR的表現(xiàn)上也要優(yōu)于RF方法，U-Net方法的AR為96.7%，比RF方法高了3.2個百分點。雖然受算法復(fù)雜度的影響，U-Net方法的提取耗時較長，但其相比RF方法精度得到了大幅度提升，且僅需要RF方法耗時的1.74倍，故U-Net方法是優(yōu)于RF方法的沙丘提取方法。這也說明了深度學習在火星沙丘地貌提取中有較大的應(yīng)用前景。

表2 沙丘提取模型精度評價對比Tab.2 Comparison of accuracy evaluation of sand dune extraction models

4 結(jié)論

本文通過對HiRISE影像進行紋理變換，獲取紋理特征作為模型的分類特征，將其處理為規(guī)則大小的瓦片并利用Labelme軟件添加標簽，作為訓(xùn)練樣本。同時，利用U-Net方法在提取空間信息方面的優(yōu)勢，通過構(gòu)建參數(shù)合理的深度學習模型實現(xiàn)火星沙丘的自動化提取。

1)由于沙丘與背景在光譜空間中難以區(qū)分，本文研究采用HiRISE影像的紋理信息，在一定程度上能夠提高模型在沙丘與背景混雜區(qū)域的分類精度。沙丘本身的光譜差異較大，在太陽入射角不同的區(qū)域，沙丘在光譜空間的位置也相差甚遠。在紋理信息的基礎(chǔ)上進行分類，能夠有效提高模型普適性，實現(xiàn)對大尺度影像的沙丘提取。

2)本文利用U-Net模型對火星沙丘進行提取，提供了一種新的火星沙丘自動提取方法。同時，該方法對其他火星遙感影像(如MARCI等)的沙丘提取具有一定的借鑒意義。

3)本文的研究結(jié)果表明，U-Net模型相較于傳統(tǒng)的RF模型具有明顯優(yōu)勢，實現(xiàn)了端對端的像素級分類，對火星沙丘的提取效果更好，沙丘提取的AR為96.7%，比傳統(tǒng)的RF方法提高了3.2個百分點，F(xiàn)NR與FPR分別只有0.3%和3.7%，沙丘的輪廓相較于RF方法更為清晰，對破碎沙丘的提取精度也更高。

但是，本研究在模型精度方面還有待提高，模型訓(xùn)練樣本不足，模型難以在火星全球進行應(yīng)用。在之后的研究中，應(yīng)選取更為系統(tǒng)、數(shù)據(jù)量更大的訓(xùn)練集，對模型進行優(yōu)化。