一種超分辨SAR圖像水域分割算法及其應(yīng)用

陳嘉琪 劉祥梅 李 寧 張 燕

①(河海大學(xué)計算機(jī)與信息學(xué)院 南京 211100)

②(河南大學(xué)計算機(jī)與信息工程學(xué)院 開封 475004)

③(河南省大數(shù)據(jù)分析與處理重點(diǎn)實(shí)驗(yàn)室 開封 475004)

1 引言

青藏高原是世界上湖泊最多的地區(qū)之一，截至2018年，有1424個湖泊面積達(dá)到1 km2以上，總面積約5×104km2，并且這些湖泊大多為內(nèi)陸湖[1]。因?yàn)楹０巍鉁氐葪l件的限制，這些高原內(nèi)陸湖受人類活動影響小，多處于自然狀態(tài)，能真實(shí)地反映地質(zhì)活動和氣候變化。對這些湖泊的探測，在環(huán)境監(jiān)測、災(zāi)難預(yù)警等領(lǐng)域都具有重要意義。光學(xué)探測器[2]在該地區(qū)雖然應(yīng)用廣泛，但容易受到云霧、降雨等惡劣天氣的影響。合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)具有較好的穿透性，不受光照、云層等影響，能提供全天時、全天候的觀測影像[3]，是監(jiān)測高原湖泊等內(nèi)陸水體的理想設(shè)備。

傳統(tǒng)的SAR水域分割算法主要有閾值分割、機(jī)器學(xué)習(xí)、主動輪廓模型(Active Contour Model,ACM)等。閾值分割法通過設(shè)置多個閾值，實(shí)現(xiàn)對圖像區(qū)域的劃分，操作簡單，缺點(diǎn)是難以選擇最優(yōu)閾值且受相干斑噪聲影響大[4]。機(jī)器學(xué)習(xí)在SAR圖像處理中逐步成為熱點(diǎn)[5]。通過訓(xùn)練樣本，建立網(wǎng)絡(luò)模型，實(shí)現(xiàn)水域分割。本文方法不易受相干斑影響，但需要事先制作大量訓(xùn)練樣本。ACM算法將圖像分割問題轉(zhuǎn)化為求解能量泛函數(shù)最小值問題[6,7]，可以獲取連續(xù)、平滑的輪廓曲線，但對初始輪廓依賴性大[8]。星載SAR受最小天線孔徑積的制約，其寬幅模式的空間分辨率通常在10 m數(shù)量級，往往無法滿足實(shí)際應(yīng)用需求[9,10]。同時，在水域和陸地的邊界地區(qū)，回波信號區(qū)分度相對較小，使得水陸邊界難以確定，進(jìn)一步限制了水域提取的精度。

針對以上問題，為了提升湖泊輪廓提取精度，可以在進(jìn)行水域分割之前，對圖像進(jìn)行超分辨(Super Resolution, SR)重建。SR是一種通過單張或多張低分辨率(Low Resolution, LR)原始圖像得到細(xì)節(jié)豐富的高分辨率(High Resolution, HR)圖像或序列的圖像增強(qiáng)方法[10]。當(dāng)前SR重建算法主要分為3類：插值型、重構(gòu)型和學(xué)習(xí)型。插值型算法利用待插值空間相鄰點(diǎn)計算得到待插入點(diǎn)像素，是最早的SR算法[11]。該方法優(yōu)點(diǎn)是計算復(fù)雜度低，處理速度快，但缺點(diǎn)是HR圖像會出現(xiàn)邊緣模糊現(xiàn)象。重構(gòu)型算法是結(jié)合圖像的退化模型與LR圖像的重建條件，對成像過程建立模型，再將同一場景不同信息融入模型中，得到HR圖像的方法[12]。這類算法以時間消耗換取空間分辨率的提高，復(fù)雜程度高且無法保證分辨率的提高程度。學(xué)習(xí)型算法克服了重構(gòu)中的障礙，在LR與HR樣本庫之間，通過學(xué)習(xí)建立二者的映射關(guān)系，進(jìn)而指導(dǎo)完成圖像的超分辨重建。近年來隨著機(jī)器學(xué)習(xí)的蓬勃發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的SR算法日益受到關(guān)注。

本文提出一種基于深度殘差超分辨的SAR圖像水域分割算法，在傳統(tǒng)ACM水域分割算法中，融入改進(jìn)的增強(qiáng)型深度超分辨率網(wǎng)絡(luò)(Improved Enhanced Deep Super Resolution network, IEDSR)。該網(wǎng)絡(luò)在增強(qiáng)型深度殘差網(wǎng)絡(luò)的基礎(chǔ)上，在每個殘差塊上引入通道注意力塊，訓(xùn)練時更加專注于影像的高頻信息部分，減少模型復(fù)雜度[13]。為進(jìn)一步縮短運(yùn)行時間，本文將亞像素卷積層添加到網(wǎng)絡(luò)末端，用于上采樣操作。由此構(gòu)成一種基于亞像素卷積的增強(qiáng)型通道注意力深度殘差超分辨網(wǎng)絡(luò)。本文對獲取的SAR影像，運(yùn)用Lee濾波器進(jìn)行相干斑抑制。將濾波后的影像進(jìn)行超分辨處理，圖像的行列像素值擴(kuò)大為初始圖像的2倍。在提高圖像中邊界的清晰度后，通過ACM提取水域面積。為了驗(yàn)證該模型的精度和在此基礎(chǔ)上水域分割的準(zhǔn)確性，本文以青藏高原的多慶錯湖為例進(jìn)行實(shí)驗(yàn)。該湖泊在2016年發(fā)生過突然的干涸和復(fù)原現(xiàn)象[14]，其圖像更具有代表性。實(shí)驗(yàn)表明，本文算法相比于傳統(tǒng)的超分辨率網(wǎng)絡(luò)，重建效果更佳，湖泊輪廓提取精度明顯提升。

2 基于混合對數(shù)正態(tài)分布的ACM模型

經(jīng)典的ACM模型有C-V和GAC模型等。這些模型在同質(zhì)性較好的圖像中有很好的效果，但對于圖像的噪聲較為敏感。對于SAR圖像而言，其統(tǒng)計分布多呈現(xiàn)非高斯分布，容易受到乘性相干斑噪聲影響。本文引用一種基于混合對數(shù)正態(tài)分布的ACM算法(improved ACM based on Mixed Log-normal Distribution, MLD-ACM)[15]，應(yīng)用混合對數(shù)正態(tài)分布對SAR影像進(jìn)行擬合，通過期望最大化算法對參數(shù)進(jìn)行估計。同時，引入?yún)^(qū)域可變系數(shù)，使水平集在演化過程中能準(zhǔn)確停在目標(biāo)邊界。模型的能量函數(shù)概括為

3 IEDSR重建模型

圖1(a)所示，對原始圖像卷積，提取特征。然后將通道注意力塊融入殘差網(wǎng)絡(luò)，構(gòu)成增強(qiáng)型通道注意力深度殘差塊(Enhanced Channel Attention Resblock, ECAR)，多個ECAR級聯(lián)實(shí)現(xiàn)非線性映射(圖1(b))。最后通過亞像素卷積進(jìn)行上采樣，使特征提取與非線性映射能在低分辨率空間實(shí)現(xiàn)，從而降低計算復(fù)雜度。

3.1 殘差網(wǎng)絡(luò)

超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super Resolution Convolutional Neural Network, SRCNN)[16]被提出以來，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的模型在超分辨率重建領(lǐng)域取得了顯著進(jìn)步[17]，但網(wǎng)絡(luò)結(jié)構(gòu)往往越來越復(fù)雜，模型深度不斷增加。在CNN訓(xùn)練過程中，前一層網(wǎng)絡(luò)的參數(shù)變化將引起后一層網(wǎng)絡(luò)的連鎖變化。隨著網(wǎng)絡(luò)深度增加，這一影響會不斷放大，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練難度大、降質(zhì)、梯度彌散等問題。

深度殘差學(xué)習(xí)理念很好地解決了上述問題?；舅枷胧鞘褂靡粋€“卷積-ReLU-卷積”模塊學(xué)習(xí)輸入到殘差的映射，而不是直接學(xué)習(xí)輸入到輸出之間的映射(圖1(c))。網(wǎng)絡(luò)期望疊加層學(xué)習(xí)到的映射函數(shù)可以表示為Y (x)=Hx?x ，可用Y (x)+x表示期望學(xué)習(xí)到的原始映射函數(shù)Hx。 其中，用x 表示該結(jié)構(gòu)的輸入， Hx表示期望學(xué)習(xí)到的隱藏映射函數(shù)即該結(jié)構(gòu)輸出，ReLU為激活函數(shù)。卷積-ReLU-卷積模塊稱為殘差模塊。

殘差模塊的另一個優(yōu)點(diǎn)是可以解決梯度彌散的問題?；A(chǔ)殘差模塊有著下面的函數(shù)關(guān)系

3.2 通道注意力機(jī)制

圖1 算法整體流程圖

圖像超分辨率重建算法將原始的低分辨率圖像輸入網(wǎng)絡(luò)進(jìn)行特征提取。而低分辨率圖像含有大量低頻信息，這些信息本可以直接傳播到輸出。倘若平等對待、處理所有通道，會造成神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力下降。本文在神經(jīng)網(wǎng)絡(luò)中引入通道注意力機(jī)制，增大具有高頻信息的通道權(quán)值，減小其余含有眾多低頻信息的權(quán)值。以此增加通道之間的差異性，加速網(wǎng)絡(luò)收斂，并進(jìn)一步提升網(wǎng)絡(luò)的學(xué)習(xí)性能[19]。示意圖如圖2所示。

圖2 通道注意力機(jī)制示意圖

圖2中，輸入特征圖和輸出特征圖的維度都是H ×W ×C, HGP表 示全局平均池化操作，WD和WU分別表示降維、升維操作，F(xiàn)Sigmoid表示Sigmoid激活函數(shù)，? 表示Hadamard乘積。將維度為H ×W×C的特征圖作為輸入，經(jīng)過全局平均池化得到的逐通道統(tǒng)計量可看作一系列用于描述各個通道的描述符，將其記作∈RC，那么，的第k 個元素可以表示為

3.3 增強(qiáng)型通道注意力深度殘差模塊

本文提出將通道注意力機(jī)制引入增強(qiáng)型深度殘差塊，構(gòu)成ECAR，使構(gòu)建的重建網(wǎng)絡(luò)可以專注于更有用的高頻信息通道，提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。具體而言，先對輸入的特征圖進(jìn)行卷積，從而獲得更為深層的特征表示，然后經(jīng)過通道注意力塊的處理，再輸出到級聯(lián)的下一個基本單元提取更深層次的圖像特征。ECAR的網(wǎng)絡(luò)基本單元如圖1(b)所示，由2個級聯(lián)的卷積層、ReLU激活函數(shù)和1個通道注意力模塊構(gòu)成，并增加局部跳連結(jié)構(gòu)。通道注意力塊中的降維和升維均利用 1×1的卷積實(shí)現(xiàn)，降維卷積層使用ReLU激活函數(shù)，升維卷積層使用Sigmoid激活函數(shù)， ?表示Hadamard乘法，⊕ 表示逐 像素加法運(yùn)算。

3.4 亞像素卷積

現(xiàn)有的SRCNN算法對原始低分辨率圖像作雙3次插值來得到1張與目標(biāo)重建結(jié)果尺寸相同的低分辨率圖像，再將其作為重建算法的輸入圖像，這樣大大降低了算法的整體訓(xùn)練速度。本文去掉用雙3次插值的上采樣預(yù)處理操作，在網(wǎng)絡(luò)的末端添加亞像素卷積，實(shí)現(xiàn)上采樣操作。亞像素卷積可分解為兩步：(1)對低分辨率特征圖作卷積，將它的特征通道數(shù)轉(zhuǎn)化為 r2，其中的r 表示上采樣倍數(shù)，本文為2；(2)對卷積后得到的低分辨率特征圖做周期性的移動，通過重新排列獲得高分辨率圖像作為最終的輸出圖像。

亞像素卷積操作可以用式(10)的數(shù)學(xué)形式表示

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)所用計算機(jī)CPU為Intel(R) Core(TM) i7-9750H，GPU為NVIDIA GeForce GTX 1650。在tensorflow_gpu-1.13.1學(xué)習(xí)環(huán)境下，使用Python3.6.5進(jìn)行處理。將濾除相干斑噪聲的SAR影像降采樣，構(gòu)建訓(xùn)練樣本。為了增加樣本數(shù)，對圖像進(jìn)行水平與垂直翻折，由120張影像構(gòu)成訓(xùn)練集。實(shí)驗(yàn)內(nèi)容分兩部分：(1)本文算法與插值型算法(Bicubic)、融合卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)型算法(SRCNN)進(jìn)行超分辨重建比較；(2)基于上述3種算法與原始圖像，應(yīng)用MLD-ACM算法進(jìn)行水域輪廓提取，并進(jìn)行定量分析。

4.1 參數(shù)指標(biāo)與模型訓(xùn)練

本文使用峰值信噪比(Peak Signal to Noise Ratio, P SNR)與結(jié)構(gòu)相似性指數(shù)(Structural SIMilarity index, S SIM )來衡量算法間重建效果。PSNR和 SSIM分別用于衡量參考與目標(biāo)圖像的灰度相似性和結(jié)構(gòu)相似性，這里的參考圖像指原始高分辨率圖像，目標(biāo)圖像指重建輸出的圖像。兩者的數(shù)學(xué)表達(dá)式為

其中， n 表示數(shù)據(jù)集中樣本數(shù)量，F(xiàn) (i)與 Xi分別為第i個樣本估計值和樣本目標(biāo)值。

使用自適應(yīng)矩陣估計法作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的優(yōu)化算法。該算法是隨機(jī)梯度下降算法的擴(kuò)展值，通過梯度的1階、2階矩估計為網(wǎng)絡(luò)中各個不同參數(shù)設(shè)計自適應(yīng)學(xué)習(xí)率。圖3為訓(xùn)練過程整體趨勢變化圖，經(jīng)過2×105次迭代得到模型。當(dāng)訓(xùn)練次數(shù)達(dá)到約2×104次后，損失值下降趨勢放緩，后續(xù)損失值曲線呈微小的上下波動。

4.2 超分辨重建比較

該實(shí)驗(yàn)對Sentinel-1A衛(wèi)星影像，采用Bicubic,SRCNN與本文算法進(jìn)行超分辨重建。圖4為對2016年8月23日VV通道影像處理結(jié)果。原始圖像558像素×510像素，算法重建后得到的圖像為1116像素×1020像素，前后圖像水平與垂直方向分辨率為72 dpi。可以明顯分辨出，SRCNN與本文算法，相比于原圖，其水域與陸地對比有所增強(qiáng)，并且本文算法效果更為明顯。而Bicubic處理后圖像變化卻不明顯，與原圖相似。

圖3 IEDSR網(wǎng)絡(luò)損失值變化曲線

圖4 3種超分辨算法對多慶錯湖影像處理結(jié)果對比

表1 8組多慶錯湖影像重建質(zhì)量評估(PSNR(dB)/SSIM)

對其余7組處理，其中2016年4月17日與6月12日為湖泊接近干涸的影像，定量結(jié)果如表1所示。在這8景影像中，SRCNN在3景圖像中 PSNR數(shù)值比本文算法大，但就平均值而言，本文算法有更好的重建效果。本文算法的 SSIM指標(biāo)始終優(yōu)于其他算法，表明重建后圖像與原圖結(jié)構(gòu)性差異性更小。SRCNN與本文算法都是學(xué)習(xí)型超分辨算法，作為插值型的Bicubic效果則明顯弱于兩者，其兩項(xiàng)指標(biāo)都小于上述學(xué)習(xí)型算法。

4.3 基于超分辨的輪廓提取

本文對原始圖像和應(yīng)用上述3種重建算法處理后的圖像進(jìn)行水域輪廓提取。以2016年6月12日湖泊干涸時期影像為例(圖5)，紅線為真實(shí)輪廓情況，紫線為本文算法提取結(jié)果，藍(lán)線、綠線與黃線為原圖、Bicubic和SRCNN處理結(jié)果。如圖5(a)中所示，藍(lán)線與紅線偏差較大，紫線則與紅線更為接近。經(jīng)過超分辨率處理后，在該實(shí)驗(yàn)中，輪廓提取結(jié)果更為精準(zhǔn)，并且本文算法獲得了最高的提取精度。

圖5 多慶錯湖輪廓提取結(jié)果

表2 不同時期輪廓提取精度比較(OM(%)/COM(%)/Dis像素)

表2為實(shí)驗(yàn)的8組數(shù)據(jù)在以上4種情形下的精度評估。對原圖應(yīng)用Bicubic，SRCNN與IEDSR，得到分辨率為原圖的2倍，同一清晰度的超分辨影像。其中2016年6月12日，未經(jīng)重建的影像，其3項(xiàng)指標(biāo)都高于處理后影像，表明重建后提高了輪廓提取精度。綜合8景影像結(jié)果，IEDSR提取精度依舊比另外3種高。在上述情形下，提取精度比較結(jié)果依次是：IEDSR, RSCNN, Bicubic和未經(jīng)處理的提取結(jié)果。Bicubic和SRCNN在8景圖像中平均運(yùn)行時間分別為0.0018 s和12.46 s。IEDSR的平均時間為5.13 s。運(yùn)行時間從快到慢依次為，Bicubic, IEDSR和SRCNN。Bicubic雖然超分辨效果較差，但計算快。IEDSR則在計算時間和重建效果在本文應(yīng)用背景下，都優(yōu)于SRCNN。IEDSR提取多慶錯湖輪廓，得到2015年9月到2016年8月的時序結(jié)果(圖6)。結(jié)合表2與圖6，在湖水充盈時，這4種情況下提取精度都相對較高。但在出現(xiàn)干涸現(xiàn)象時，以上4種情形精度普遍下降。但本文算法在不同時期，其指標(biāo)較其他3種情形都較低，表明本文算法具備較好的魯棒性。

圖6 2015年9月至2016年8月應(yīng)用IEDSR水域提取結(jié)果

對于圖6得到的水域輪廓，本文進(jìn)行相應(yīng)比例放大，計算出湖泊實(shí)際面積。結(jié)果表明該湖泊從2016年4月起不斷萎縮，并出現(xiàn)干涸現(xiàn)象，并在7月份恢復(fù)至正常水位。有研究表明，該地區(qū)降水、氣溫條件穩(wěn)定，未出現(xiàn)氣候的異常[14]，其變化的原因未來可以做進(jìn)一步探究。

5 結(jié)論

本文提出一種改進(jìn)的增強(qiáng)型深度超分辨率網(wǎng)絡(luò)，結(jié)合MLD-ACM邊緣提取算法。該方法將通道注意力塊融入增強(qiáng)型殘差網(wǎng)絡(luò)，使模型訓(xùn)練過程更集中于圖像高頻成分，減少模型復(fù)雜度。在網(wǎng)絡(luò)末端進(jìn)行亞像素卷積，縮短運(yùn)行時間，同時更加專注圖像細(xì)節(jié)部分。以多慶錯湖為例，對超分辨率重建和水域提取情況進(jìn)行比較分析。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)有更好的重建效果，可以提取更加準(zhǔn)確的輪廓信息。本文算法具有很好的魯棒性，可以完成對高原湖泊的監(jiān)測。另外，多慶錯湖在2016年4月—8月的異?，F(xiàn)象，也值得進(jìn)一步研究。