深度學(xué)習(xí)在遙感圖像處理中的應(yīng)用

蔣 睿,楊靖欣,桂承熙

(西南科技大學(xué)城市學(xué)院,四川 綿陽(yáng) 621000)

0 引言

現(xiàn)如今,遙感圖像在高時(shí)間分辨率、高空間分辨率和高光譜分辨率等方面有著巨大突破和創(chuàng)新[1],對(duì)地觀測(cè)網(wǎng)絡(luò)提供著PB級(jí)遙感數(shù)據(jù),具有高量級(jí)(volume)、多變性(velocity)、多樣化(variety)和不確定性(veracity)的特點(diǎn)[2]。遙感技術(shù)相較于傳統(tǒng)測(cè)量手段能更好地采集分析地球數(shù)據(jù)和地球變化,因此被廣泛用于資源調(diào)查、城鄉(xiāng)規(guī)劃等多個(gè)領(lǐng)域。目標(biāo)的分類識(shí)別是遙感技術(shù)重要的研究方向。對(duì)于分類任務(wù)而言,遙感技術(shù)存在以下兩個(gè)問(wèn)題:一是數(shù)據(jù)特征的可分性無(wú)法保證;二是被標(biāo)記的實(shí)例數(shù)量是有限的。

遙感圖像的類型不同,其分類要求和特點(diǎn)也有差異,如像元在不同光譜中具有不同的波譜特征、有不同光譜的異物和現(xiàn)象等,因此分類任務(wù)面臨著巨大挑戰(zhàn),對(duì)于高分辨率遙感圖像而言,其空間特征的連續(xù)性和有效性對(duì)分類結(jié)果的好壞起著關(guān)鍵性影響[3]。僅靠人工對(duì)遙感圖像進(jìn)行分類是非常困難的,而深度學(xué)習(xí)模型為遙感圖像的分類與識(shí)別提供了新的解決思路和方法,目前主流深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、全卷積神經(jīng)網(wǎng)絡(luò)FCN等,將深度學(xué)習(xí)技術(shù)用于遙感圖像的處理能解決遙感識(shí)別與分類的問(wèn)題,例如將卷積神經(jīng)網(wǎng)絡(luò)CNN應(yīng)用于遙感圖像識(shí)別,能夠通過(guò)提取遙感圖像的豐富特征進(jìn)行檢索,提高識(shí)別的精確度。

1 深度學(xué)習(xí)簡(jiǎn)介

深度學(xué)習(xí)是結(jié)合低層特征,形成更抽象的高層表示類別或特征的過(guò)程。而在這些過(guò)程中,通過(guò)獲取大量的信息進(jìn)行學(xué)習(xí),例如圖像、聲音和文字等信息的學(xué)習(xí),并將獲取的大量訓(xùn)練數(shù)據(jù)加載進(jìn)學(xué)習(xí)的模型中,然后模仿人的大腦進(jìn)行分析和學(xué)習(xí),最后進(jìn)行測(cè)試[4]。

與傳統(tǒng)的淺層學(xué)習(xí)不同,深度學(xué)習(xí)具有以下優(yōu)點(diǎn):第一,強(qiáng)調(diào)模型結(jié)構(gòu)的深度,具有多隱層節(jié)點(diǎn)[5]。具備多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力,其學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有著更本質(zhì)的刻畫(huà),有利于可視化或分類[6]。第二,明確特征學(xué)習(xí)的重要性。信息化時(shí)代的到來(lái)和高性能計(jì)算的發(fā)展使其能夠刻畫(huà)出數(shù)據(jù)豐富的內(nèi)在信息[7]。

遙感圖像相較于自然影像有著較大的差異,比如光照、視角、幾何畸變等。根據(jù)遙感圖像的特殊性質(zhì),要使深度學(xué)習(xí)更加友好地服務(wù)于遙感數(shù)據(jù)處理,需要解決以下問(wèn)題:

(1)在遙感圖像處理領(lǐng)域,由于數(shù)據(jù)密度(空-光-時(shí))和視場(chǎng)(惡劣天氣區(qū)域或外星行星)的特殊性,標(biāo)記樣本的缺乏是一種常見(jiàn)現(xiàn)象,嚴(yán)重影響了深度學(xué)習(xí)模型的充分訓(xùn)練。

(2)由于高維遙感數(shù)據(jù)的特點(diǎn),普通自然圖像的深度學(xué)習(xí)模型并不是有效的,而如何設(shè)計(jì)一個(gè)高效的深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)符合遙感數(shù)據(jù)的特點(diǎn)是目前研究的一個(gè)重要方向。

(3)遙感圖像記錄了地物的能輻射、電磁波強(qiáng)度等,其固有的光傳輸模型具有較強(qiáng)的物理意義,但難點(diǎn)是如何將深度學(xué)習(xí)模型與遙感的物理意義有效結(jié)合起來(lái)。

(4)深度學(xué)習(xí)模型在遙感圖像特征提取中的黑箱性質(zhì)難以解釋。

2 遙感技術(shù)與遙感圖像

2.1 遙感技術(shù)簡(jiǎn)介

遙感技術(shù)就是通過(guò)相關(guān)手段進(jìn)行遙遠(yuǎn)感知,借助遙感儀器、運(yùn)載工具以及識(shí)別設(shè)備探測(cè)物體的能輻射、電磁波等信息,然后再對(duì)獲得的數(shù)據(jù)進(jìn)行相應(yīng)的處理分析,就能達(dá)到對(duì)物體的感知認(rèn)識(shí)。它是人們認(rèn)識(shí)地球、探測(cè)地球乃至宇宙的重要手段。

遙感技術(shù)具有以下特點(diǎn):(1)觀測(cè)面積大、數(shù)據(jù)采集快。遙感技術(shù)可以在很短的時(shí)間內(nèi)從天空乃至宇宙觀測(cè)大范圍區(qū)域;(2)可以動(dòng)態(tài)地反映地區(qū)的變化。遙感具有周期性,對(duì)同一區(qū)域進(jìn)行連續(xù)觀測(cè),發(fā)現(xiàn)其變化情況,研究其變化規(guī)律;(3)受條件限制小,對(duì)于地球上的沙漠、沼澤等人類難以到達(dá)的惡劣環(huán)境,可以通過(guò)遙感的手段進(jìn)行數(shù)據(jù)的采集;(4)獲取信息方式多,信息量大。根據(jù)相關(guān)要求,可以采用航空遙感、航天遙感,并且以不同波段來(lái)獲取信息,遙感技術(shù)所獲信息量極大,僅靠人力難以完成[8]。

2.2 遙感技術(shù)發(fā)展現(xiàn)狀

遙感技術(shù)可以獲得大范圍和精確的數(shù)據(jù)反饋資料,而我國(guó)在數(shù)據(jù)精確度及處理能力方面有很大程度的提高[9]。遙感技術(shù)目前的發(fā)展分析:第一,高空間分辨率的遙感觀測(cè)衛(wèi)星的應(yīng)用。目前,大多數(shù)衛(wèi)星具有高分辨率,這對(duì)遙感影像圖的獲取起著重要作用。第二,小衛(wèi)星的應(yīng)用發(fā)展。小型衛(wèi)星更新方式快捷方便,因此,小衛(wèi)星編隊(duì)已逐漸成為當(dāng)今時(shí)代對(duì)大衛(wèi)星更有效的一種補(bǔ)充形式。第三,在智能傳感器上的應(yīng)用[10]。

2.3 遙感圖像處理技術(shù)現(xiàn)狀

通過(guò)遙感記錄地物電磁波的相片稱為遙感圖像。遙感圖像的主要內(nèi)容是由影像構(gòu)成,然后通過(guò)注記和地圖符號(hào)進(jìn)行解釋說(shuō)明。影像地圖相較于普通地圖有著直觀明了、信息量豐富、表現(xiàn)力強(qiáng)等優(yōu)點(diǎn),彌補(bǔ)了單純用影像表現(xiàn)地物的不足,也體現(xiàn)了圖像與地圖的雙重優(yōu)勢(shì)。

何睿祺解讀了合作在“工業(yè)4.0”時(shí)代的意義，例如西門子與惠普企業(yè)（HPE）旗下安移通（Aruba）近日在通訊網(wǎng)絡(luò)領(lǐng)域達(dá)成合作，就一體化通訊網(wǎng)絡(luò)建立戰(zhàn)略合作伙伴關(guān)系。雙方將依托互補(bǔ)的產(chǎn)品組合優(yōu)勢(shì)，幫助客戶構(gòu)建從工廠車間到公司辦公室的一體化通迅網(wǎng)絡(luò)。何睿祺還提到了西門子與Bentley Systems的長(zhǎng)期合作。雙方近期宣布，將基于高度互補(bǔ)的軟件產(chǎn)品組合，聯(lián)合開(kāi)發(fā)PlantSight云服務(wù)，以幫助用戶通過(guò)簡(jiǎn)單的門戶網(wǎng)絡(luò)界面隨時(shí)訪問(wèn)1D/2D/3D數(shù)據(jù)，從而為所有用戶提供不斷更新的“數(shù)字化雙胞胎”工廠。由于過(guò)程工廠和持續(xù)投資項(xiàng)目的服務(wù)時(shí)間較長(zhǎng)，這項(xiàng)云服務(wù)將為工廠運(yùn)營(yíng)商帶來(lái)了巨大的利益。

隨著計(jì)算機(jī)技術(shù)的發(fā)展,遙感圖像處理從最初的人工處理圖像目標(biāo)檢測(cè),到現(xiàn)在人機(jī)交互的實(shí)現(xiàn)。遙感圖像的檢測(cè)效率有著極大的提高,目標(biāo)檢測(cè)錯(cuò)誤的概率也大幅降低,遙感圖像處理進(jìn)入了自動(dòng)化階段[11-12]。隨后出現(xiàn)基于機(jī)器學(xué)習(xí)理論的遙感圖像目標(biāo)檢測(cè)方法,如輕量化網(wǎng)絡(luò)的遙感圖像目標(biāo)檢測(cè)方法、深度深念網(wǎng)絡(luò)的遙感圖像目標(biāo)檢測(cè)方法等,它們能獲得較優(yōu)的遙感圖像目標(biāo)檢測(cè)結(jié)果,大大提高了工作效率[13-14]。

3 深度學(xué)習(xí)主要模型

3.1 CNN-卷積神經(jīng)網(wǎng)

CNN-卷積神經(jīng)網(wǎng)的特點(diǎn)主要是解決圖像識(shí)別問(wèn)題。CNN主要應(yīng)用在土地利用和土地覆蓋、植被、水體等。

(1)卷積核Kernel相當(dāng)于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值空間化;

(2)權(quán)值共享機(jī)制可以減少參數(shù)數(shù)量;

(3)池化可以減少特征參數(shù)的數(shù)量,減少計(jì)算量;

(4)Dropout可以有效避免過(guò)擬合[15]。

3.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)

FCN-全卷積神經(jīng)網(wǎng)絡(luò)主要特點(diǎn)是解決圖像分割問(wèn)題。FCN主要應(yīng)用在道路、建筑、植被等[16]。

FCN支持任意尺寸的圖像輸入并輸出相同尺寸的圖像,能對(duì)輸入圖像進(jìn)行像素級(jí)的分類,它采用反卷積層對(duì)最后一個(gè)卷積層的feature map進(jìn)行上采樣,使它能恢復(fù)到與輸入圖像相同的尺寸,從而達(dá)到對(duì)每個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè),同時(shí)還保留了原始輸入圖像中的空間信息,最后在上采樣的特征圖上進(jìn)行逐像素分類[17-18],解決了語(yǔ)義級(jí)別的圖像分割問(wèn)題[19]。

3.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)已較為成熟并得到廣泛應(yīng)用。循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)雖然都是數(shù)據(jù)的特征提取器,但兩者有很大區(qū)別,循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏層之間的結(jié)點(diǎn)是有連接的,而卷積神經(jīng)網(wǎng)絡(luò)是無(wú)連接的,特別是在隱藏層的輸入不僅包括上一時(shí)刻隱藏層的輸出[21],還包括輸入層的輸出,即循環(huán)神經(jīng)網(wǎng)絡(luò)具備時(shí)序性關(guān)注的是時(shí)間維度的特征[22],并且RNN能對(duì)任何長(zhǎng)度的序列數(shù)據(jù)進(jìn)行處理[23-24]。

4 深度學(xué)習(xí)在遙感圖像處理中的應(yīng)用

4.1 遙感圖像檢索

深度學(xué)習(xí)的多種模型對(duì)圖像的處理來(lái)說(shuō),卷積神經(jīng)網(wǎng)絡(luò)較其他網(wǎng)絡(luò)模型更具有優(yōu)勢(shì)。例如基于內(nèi)容的圖像檢索(CBIR)系統(tǒng)主要是以圖像低層視覺(jué)特征(顏色、紋理等)為線索進(jìn)行檢索,并沒(méi)有獲取圖像高層語(yǔ)義特征的途徑,造成了人對(duì)圖像內(nèi)容的判別依據(jù)與計(jì)算機(jī)的判別依據(jù)存在較大差異,進(jìn)而使得查詢圖像與候選圖像存在不匹配的情況[25]。例如春節(jié)圖像,人們能感受到其表達(dá)出的熱鬧、喜慶,這是一種較為抽象的概念,但計(jì)算機(jī)不能判別出來(lái)。

CNN在圖像檢索過(guò)程中通過(guò)多級(jí)網(wǎng)絡(luò)學(xué)提取到豐富的特征,并以此為依據(jù)進(jìn)行檢索,極大地提高了檢索精度。

4.2 遙感圖像融合

為滿足用戶的使用需求,需要對(duì)傳感器的圖像信息進(jìn)行融合以彌補(bǔ)單一傳感器所獲信息的不足,從而得到信息量更豐富和有用的遙感圖像[26]。判斷遙感圖像應(yīng)用價(jià)值的指標(biāo)主要有全色圖像的空間分辨率和多光譜圖像的光譜分辨率[27]。但就同一場(chǎng)景在不同的成像條件下用不同的傳感器得到的二維圖像會(huì)存在一定的差異[28]。因此既要保證物體的空間分辨率又要保證多光譜圖像豐富的光譜信息是比較困難的。如果將兩者的優(yōu)點(diǎn)結(jié)合在一起則會(huì)大大有利于數(shù)據(jù)檢測(cè)和分析工作。

傳統(tǒng)的多光譜和全色圖像融合方法主要有:(1)亮度、飽和度、色度變換(HIS)法;(2)主成分分析(PCA)法;(3)正交變換(GS)法[29]。上述3種方法雖能保持空間高分辨率和融合影像質(zhì)量,但存在嚴(yán)重的頻譜失真問(wèn)題,這也是目前研究的難點(diǎn)之一[30]。近年來(lái),一些學(xué)者提出了典型的基于小波變換的多分辨率分析方法,以獲得更好的多光譜圖像融合效果,但仍存在不能有效表示二維圖像信號(hào)的缺陷。

4.3 遙感圖像超分辨率重建

如何經(jīng)濟(jì)、方便地獲取高分辨率圖像一直是遙感領(lǐng)域的一大挑戰(zhàn),而超分辨率重建技術(shù)的出現(xiàn)則為解決這一問(wèn)題指明了方向。

目前遙感圖像超分辨率重建方法主要有3種:插值法、學(xué)習(xí)法和重構(gòu)法[31]。其中插值法是最早的SR重建方法,其復(fù)雜度最低,實(shí)時(shí)性好,但結(jié)果中的邊緣效應(yīng)明顯,對(duì)細(xì)節(jié)的恢復(fù)較差[32]。而重構(gòu)法是一種用時(shí)間寬度提高空間分辨率的方法,它操作復(fù)雜,效率低,通用性差。目前,遙感圖像的SR重建大多停留在這種方法上。學(xué)習(xí)法克服了傳統(tǒng)重建方法分辨率難以確定的缺點(diǎn),可以直接面對(duì)單一圖像,這是SR改造的主要趨勢(shì)。學(xué)習(xí)法一般依賴于高分辨率和低分辨率圖像庫(kù)的構(gòu)建,它們之間的內(nèi)部關(guān)系可以通過(guò)樣本學(xué)習(xí)獲得。目前常用的基于深度學(xué)習(xí)的SR重建方法有鄰域定位法、稀疏表示法和卷積神經(jīng)網(wǎng)絡(luò)重建法。

4.4 高光譜遙感圖像分類

高光譜遙感圖像有著較高的分辨率和更多的波段維數(shù),因此它包含著豐富的空間及光譜信息,但也增加了圖像處理的難度,如果使用傳統(tǒng)的圖像分類算法則不能較好地完成分類與識(shí)別[33]。在解決高光譜圖像的分類問(wèn)題時(shí),不僅要考慮分類模型的有效性,還要充分利用其豐富的空間和光譜信息[34]。

高光譜遙感圖像因其遙感機(jī)理和圖像特點(diǎn)包含了豐富的空間信息、光譜信息,但由于信號(hào)的高維特征、信息冗余以及成像過(guò)程中出現(xiàn)的“同物異譜”和“異物同譜”現(xiàn)象等因素,使得高光譜數(shù)據(jù)結(jié)構(gòu)具有高度非線性[35]。與傳統(tǒng)手工設(shè)計(jì)特征相比,基于深度學(xué)習(xí)的圖像分類可以自動(dòng)從底層到高層提取視覺(jué)特征和抽象語(yǔ)義特征,將圖像轉(zhuǎn)化為更容易識(shí)別的高級(jí)特征,并通過(guò)分類器實(shí)現(xiàn)圖像像素到標(biāo)簽的映射[36]。3D-CNN(3D卷積神經(jīng)網(wǎng)絡(luò))可以利用高光譜遙感圖像數(shù)據(jù)立方體的特征實(shí)現(xiàn)光譜與空間信息的融合。

4.5 高分辨率遙感圖像分類

目前,CNN模型已經(jīng)應(yīng)用于高分辨率衛(wèi)星圖像分類領(lǐng)域,但仍存在以下問(wèn)題:

首先,CNN模型的訓(xùn)練需要大量的標(biāo)注樣本;其次,標(biāo)簽樣本數(shù)量不足導(dǎo)致的限制;最后,上述方法一般采用CNN特征堆疊或CNN模型堆疊和傳統(tǒng)分類器堆疊,增加了模型和計(jì)算的復(fù)雜性。因此如果使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)高分辨率遙感圖像進(jìn)行分類與識(shí)別時(shí),應(yīng)考慮上述問(wèn)題[37-38]。

4.6 SAR圖像目標(biāo)識(shí)別

合成孔徑雷達(dá)圖像自動(dòng)目標(biāo)識(shí)別廣泛應(yīng)用于國(guó)民經(jīng)濟(jì)和國(guó)防建設(shè),如自然資源監(jiān)測(cè)系統(tǒng)、軍事偵察、災(zāi)害監(jiān)測(cè)等。

SAR技術(shù)的發(fā)展雖然可以提供高分辨率的圖像,但也相應(yīng)地帶來(lái)了大量數(shù)據(jù)的處理任務(wù)。目標(biāo)自動(dòng)識(shí)別技術(shù)可以讓計(jì)算機(jī)通過(guò)樣本訓(xùn)練來(lái)模擬人類的視覺(jué)、分析和分類過(guò)程,這就大大減輕了人工負(fù)擔(dān),提高了工作效率以及識(shí)別精準(zhǔn)性[39]。目前,合成孔徑雷達(dá)圖像目標(biāo)識(shí)別算法對(duì)于圖像的分類有著較高的識(shí)別度和精準(zhǔn)度,主要算法有基于模板的匹配、支持向量機(jī)、Boosting和稀疏表示等[40]。將基于卷積神經(jīng)網(wǎng)絡(luò)的深度模型應(yīng)用在合成孔徑雷達(dá)圖像的目標(biāo)識(shí)別中,通過(guò)對(duì)學(xué)習(xí)得到的特征來(lái)進(jìn)行分類。

5 結(jié)語(yǔ)

深度學(xué)習(xí)技術(shù)的加入為遙感圖像處理開(kāi)辟了一個(gè)新的領(lǐng)域,為遙感圖像的處理提供了許多神經(jīng)網(wǎng)絡(luò)模型,并基于這些神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生了許多的處理方法。本文就目前較為成熟的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行了簡(jiǎn)要的介紹,對(duì)于深度學(xué)習(xí)在遙感圖像處理的應(yīng)用進(jìn)行了舉例分析,也提出了部分見(jiàn)解。云計(jì)算、大數(shù)據(jù)等高新技術(shù)的廣泛應(yīng)用以及計(jì)算機(jī)芯片、遙感設(shè)備等重要硬件的創(chuàng)新升級(jí)都將促進(jìn)遙感及其圖像處理技術(shù)的發(fā)展。而豐富的數(shù)據(jù)樣本也會(huì)促進(jìn)深度學(xué)習(xí)的發(fā)展,出現(xiàn)越來(lái)越好的神經(jīng)網(wǎng)絡(luò)模型,更加方便地處理遙感圖像。