基于紋理轉(zhuǎn)移的露天礦區(qū)遙感圖像超分辨率重建

楊宏業(yè)，趙銀娣，董霽紅

(中國礦業(yè)大學 環(huán)境與測繪學院，江蘇 徐州 221116)

礦產(chǎn)資源是人類社會前進的動力，是不可或缺的物質(zhì)基礎(chǔ)。礦產(chǎn)資源的開發(fā)一直以來都是國家和社會關(guān)注的重點問題。早在2004年，國務院新聞辦就發(fā)布了《中國的礦產(chǎn)資源政策》白皮書[1]，高度重視礦產(chǎn)資源的合理利用，推進礦業(yè)綠色發(fā)展，倡導保護生態(tài)環(huán)境，高效利用資源。露天開采是一種礦物開采方法，由于感興趣的礦石所處的深度較淺，因此在地表進行開采[2]。露天礦區(qū)開采簡單，生產(chǎn)效率高，開采成本低[3]。但是過度開采和不正確的開采方式會對生態(tài)環(huán)境造成極大的損害，導致土壤、植被和水資源等的破壞。

隨著傳感器的發(fā)展，遙感技術(shù)已廣泛應用于土地利用[4-5]、災害監(jiān)測和工程建設(shè)等領(lǐng)域。遙感圖像因其宏觀性、綜合性、周期性、詳細性、客觀性、時空多邊性等特點，成為礦區(qū)生產(chǎn)的基本信息源之一[6]。目前，通過多時相的遙感圖像對正在開采中的露天礦區(qū)和在復墾中的礦區(qū)土地進行動態(tài)監(jiān)測[7-9]，科學高效，省時省力。

隨著高性能新型傳感器研制開發(fā)水平以及環(huán)境資源遙感對高精度遙感數(shù)據(jù)要求的提高，高空間分辨率已經(jīng)成為衛(wèi)星遙感圖像獲取技術(shù)的發(fā)展趨勢。高空間分辨率遙感圖像的發(fā)展提高了信息提取、信息檢測的精度，開拓了遙感數(shù)據(jù)的應用領(lǐng)域?？臻g分辨率的性能決定了圖像的畫面清晰程度，是一幅圖像的核心。受限于圖像采集設(shè)備如遙感衛(wèi)星、無人機等的成本，無法每一次都能獲得邊緣銳化，無塊狀模糊的大尺寸高清圖像。對于露天礦區(qū)，礦坑是開采的主體，變化活動較為頻繁和劇烈;排土場距離礦坑很近，地表變化也易隨礦坑的開采而變化;礦區(qū)排土場相對較穩(wěn)定;礦區(qū)建筑是人類在礦區(qū)活動的重點區(qū)域，位于離礦坑較遠且位置相對安全的地方，應密切關(guān)注其周邊地物變化，當其周圍地表異常時需及時撤離，以免造成安全事故;運輸?shù)缆肺挥诘V區(qū)各區(qū)域之間，當其位于變化情況異常的區(qū)域時，會對礦區(qū)安全生產(chǎn)造成威脅[10]。如果該礦區(qū)的遙感圖像空間分辨率達不到一定的要求，會導致礦區(qū)各場景邊界難以區(qū)分、細小的地物無法判讀、控制點精度得不到保證，滿足不了生產(chǎn)和監(jiān)測管理的需求，對礦區(qū)的生產(chǎn)活動產(chǎn)生不利影響。圖像超分辨率重建技術(shù)可以對低分辨率的圖像進行分辨率重建，提高原始圖像的分辨率，一定程度上解決圖像分辨率較低的問題。對低分辨率的露天礦區(qū)遙感圖像進行超分辨率重建不僅可以大幅節(jié)約成本，還能提高對礦區(qū)地物的識別能力和識別精度，實現(xiàn)從遙感圖像中獲取超出其分辨率的圖像以及更豐富的信息。

1964年，HARRI[11]和GOODMAN[12]以單幅圖像插值的方法提出超分辨率重建的概念，為后來的發(fā)展奠定了基礎(chǔ)。按照研究方法分類，傳統(tǒng)的超分辨率重建方法主要分為3類，分別是基于插值的方法[13-17]、基于重建的方法[18-21]和基于學習的方法[22-25]?；诓逯档乃惴ㄟ\算復雜程度低，運行速度較快，但易導致插值后的圖像邊緣較為模糊、出現(xiàn)明顯的鋸齒等現(xiàn)象;基于重建的算法的高分辨率圖像邊緣和細節(jié)較好，但其收斂速度慢且穩(wěn)定性不好，依賴于初始估計，計算量大;基于學習的方法是從大量的訓練樣本中獲取先驗知識來進行訓練，效果較好，但訓練樣本的選擇非常重要[26]。深度學習超分辨率重建技術(shù)近年來不斷發(fā)展，成為大熱并廣受歡迎。深度學習相較于傳統(tǒng)方法，可以通過學習，自動提取特征，避免了人工提取特征的主觀性和不完備性。自從SRCNN[27-28]方法首次將深度學習利用于圖像超分辨率重建之后，專家學者們陸續(xù)提出了很多深度學習圖像超分辨率重建的方法。隨著方法模型越來越復雜，神經(jīng)網(wǎng)絡(luò)層數(shù)不斷加深，會出現(xiàn)梯度消失、參數(shù)過多、訓練困難等問題，這些問題使得專家學者們不斷提出更好的方法，如DRCN[29]方法引入了遞歸結(jié)構(gòu)和跳躍連接，緩解了訓練模型的困難;SRDenseNet[30]通過稠密塊結(jié)構(gòu)，減輕了梯度消失問題，加強了特征傳播，減少了參數(shù)數(shù)量?；谏疃葘W習的圖像超分辨率重建方法發(fā)展迅速，很多超分辨率重建方法的峰值信噪比(Peak Signal to Noise Ratio，PSNR)較高，但是視覺效果并不好，特別是對于細微紋理，人眼看上去會過于平滑，有模糊區(qū)域甚至偽影。

遙感圖像有著豐富的紋理信息，紋理特征是遙感圖像的基本特征之一。紋理特征在計算機視覺、模式識別以及數(shù)字圖像處理中起著重要的作用[31]。露天礦區(qū)中每種場景的紋理特征各有不同，如排土場呈環(huán)形分布，邊緣區(qū)域具有淺黃色或亮灰白的放射性紋理，有明顯的扇形或階梯特征;礦區(qū)復墾土地在礦區(qū)周圍，紋理排列規(guī)則，與自然地物有區(qū)別;廢渣堆由采煤過程中產(chǎn)生的各種碎石渣、煤矸石堆放形成，呈集群團狀分布，紋理較為均勻，顏色為灰色。筆者利用SRNTT[32]方法，在特征空間中進行局部紋理匹配，并通過深度模型將匹配的紋理傳遞到最終輸出。SRNTT將相關(guān)紋理從參考圖像傳輸?shù)捷敵鲋亟ǖ膱D像，可以補充低分辨率圖像中缺失的細節(jié)，避免細微之處產(chǎn)生模糊區(qū)。專家學者們會使用感知相關(guān)的約束如感知損失[33]、對抗損失等[34]來提高圖像質(zhì)量，SRNTT結(jié)合了感知相關(guān)約束，利用感知相關(guān)函數(shù)提高人眼視覺效果，能夠重建出更合理的圖像。

1 網(wǎng)絡(luò)結(jié)構(gòu)

采用一個端到端的深度學習模型SRNTT。SRNTT由ZHANG等[32]提出，是一種基于參考圖像的超分辨重建方法[35]，旨在根據(jù)低分辨率圖像ILR和給定的參考圖像IRef生成高分辨率的重建圖像ISR。

SRNTT方法是在特征提取的空間中搜索來自IRef的匹配紋理，然后以多尺度方式將匹配的紋理傳輸?shù)絀SR。紋理轉(zhuǎn)移的過程中會對ILR和IRef之間語義的相似性進行判斷，從而抑制不相關(guān)紋理。SRNTT方法主要包括特征交換和紋理轉(zhuǎn)移兩個部分，結(jié)構(gòu)如圖1所示。

圖1 方法結(jié)構(gòu)Fig.1 Structure graphing

1.1 特征交換

特征交換是在特征提取空間內(nèi)對整個IRef進行搜索，找到類似的可替換ILR的紋理特征。首先對ILR進行雙3次上采樣得到ILR↑，使它擁有和高分辨率圖像IHR同樣的尺寸;同時考慮到分辨率的不同，對相應的IRef進行雙3次下采樣和上采樣得到IRef↓↑，使其尺寸與模糊程度同經(jīng)過上采樣的ILR↑對應。

1.1.1特征提取

為了加快進程，SRNTT中只利用VGG19[36]的前3層特征提取網(wǎng)絡(luò)，VGG19使用3×3卷積核的卷積層堆疊并交替最大池化層，有2個 4 096 維的全連接層，網(wǎng)絡(luò)深度達到19層。本文用ResNet34[37]替代VGG19提取圖像特征，以提取更加豐富的特征。

ResNet于2015年首次提出后，廣泛應用于目標檢測、語義分割和目標識別等領(lǐng)域。ResNet為在VGG的基礎(chǔ)上，加入跳躍連接形成殘差網(wǎng)絡(luò)，相比于VGG，ResNet網(wǎng)絡(luò)深度更深，運算量更小。ResNet的主要思想是在網(wǎng)絡(luò)中增加了直連通道，允許保留之前網(wǎng)絡(luò)層的一定比例的輸出。ResNet網(wǎng)絡(luò)輸出分為兩部分，分別為恒等映射(x)、殘差映射(F(x))，即y=F(x)+x，如圖2所示。

圖2 ResNet殘差塊[37]Fig.2 ResNet residual block[37]

1.1.2相似性判斷

在進行混合料攤鋪施工時，首先應將施工作業(yè)面清理干凈，掃除路面上的灰塵雜物等。由于SBS改性瀝青施工溫度較高，因此在進行攤鋪時應控制混合料攤鋪溫度160～180℃，溫度低于140℃的瀝青混合料禁止使用[2]。另外，在進行攤鋪作業(yè)時宜采用兩臺不同型號攤鋪機階梯式攤鋪，其中兩臺攤鋪機的前后間距不應超過20cm。

把輸入圖像和參考圖像分成若干個大小相同的圖像塊，考慮到ILR↑和IRef↓↑的圖像塊在顏色和光照上會有區(qū)別，所以就在高層次的特征圖上計算，即φ(I)為已提取到的高層特征圖的結(jié)構(gòu)和紋理信息。

在特征提取的過程中，匹配ILR↑和IRef↓↑中的圖像塊，利用內(nèi)積來衡量特征圖像塊之間的相似性。可以用一組卷積計算遍歷ILR↑和IRef↓↑的圖像塊，得到相似性:

其中，Pj為ILR↑的特征圖中的第j個補丁;Sj為第j個IRef↓↑圖像塊和第j個圖像塊之間的相似性。使用IRef↓↑中相關(guān)性高的、質(zhì)量好的特征塊替換ILR↑特征塊粗糙的紋理特征，用外部信息填補低分辨圖像的信息空缺。通過比較相似性的大小可以建立一個轉(zhuǎn)移的特征圖M來代表紋理增強后的低分辨率圖像。

1.2 紋理轉(zhuǎn)移

紋理轉(zhuǎn)移是在各種尺度的特征層中把多個交換的紋理特征圖融合到一個基礎(chǔ)的深度生成網(wǎng)絡(luò)中。在每個卷積層l中，利用紋理特征編碼器φl把特征交換得到的交換特征圖Ml與當前的尺度匹配，其中，φl為第l層的紋理特征編碼器，用于提取第l層特征圖的結(jié)構(gòu)紋理信息。

利用殘差塊和跳躍連接來建立基本的生成式網(wǎng)絡(luò)，第l層網(wǎng)絡(luò)的輸出ψl定義為

ψl=[Res(ψl-1‖Ml-1)+ψl-1]

其中，ψl是第l層的輸出;Res為殘差塊;‖為通道連接。最終在L層卷積層后生成超分辨率重建后的結(jié)果圖，并且分辨率達到IHR的分辨率。假設(shè)有L層，最終的ISR定義為

ISR=Res(ψl-1‖Ml-1)+ψl-1

1.3 損失函數(shù)

重構(gòu)損失定義為lrec=‖IHR-ISR‖1。使用1范數(shù)是為了產(chǎn)生更銳利的細節(jié)。

2 實驗與分析

2.1 數(shù)據(jù)集

本實驗數(shù)據(jù)來源于RSI-CB256[38]數(shù)據(jù)集和剪裁的谷歌影像，首先對數(shù)據(jù)進行預處理，將原始高分辨率圖像作為輸出對照，對其進行4倍下采樣得到低分辨率圖像作為模型的輸入，訓練得到擴尺寸至4倍與原始圖像大小一致的結(jié)果。本實驗的數(shù)據(jù)每一組數(shù)據(jù)有兩張，分別是輸入圖像和參考圖像。訓練數(shù)據(jù)集共4 176組，每張圖像的尺寸為256×256像素，測試數(shù)據(jù)集共100組。數(shù)據(jù)集內(nèi)容涉及礦區(qū)各場景，包括露天礦坑、排土場、煤炭運輸?shù)缆?、廢渣堆、礦區(qū)復墾土地、煤炭中轉(zhuǎn)場地、礦區(qū)建筑以及礦區(qū)周圍的場景如山地、耕地、森林、居民地、裸地，如圖3所示。

2.2 訓練環(huán)境

本實驗采用TensorFlow深度學習框架，運行內(nèi)存為16.0 GB，處理器為Intel Core i7-8700，顯卡為NVIDIA GeForce GTX1080 Ti，GPU加速庫采用CUDA9.0和CUDNN7，在Ubuntu16.04系統(tǒng)上訓練改進的SRNTT超分辨率重建模型。模型參數(shù)中，學習率設(shè)置為0.000 1，迭代次數(shù)設(shè)置為50，每個批次訓練9張圖，優(yōu)化器設(shè)置為Adam。

圖3 數(shù)據(jù)集涉及場景Fig.3 Scene contained in dataset

2.3 評價指標

本文采用PSNR[39]、結(jié)構(gòu)相似性[40](Structural Similarity Index，SSIM)作為衡量圖像超分辨率重建效果的指標，用來評價一幅圖像重建后和原圖像相比質(zhì)量的好壞。

PSNR為最常用的圖像質(zhì)量評價指標，其值越大，重建后失真越小，圖像重建效果越好。一張大小為m×n的圖像I，噪聲圖像為K，均方誤差(Mean Square Error，MSE)定義為

PSNR(dB)定義為

亮度相似性l(x,y)為

式中,μx為x的均值;μy為y的均值;c1為常數(shù)。

對比度相似性c(x,y)為

結(jié)構(gòu)相似性s(x,y)為

式中，σxy為x和y的協(xié)方差;c3為常數(shù)。

SSIM(x,y)=[l(x,y)αc(x,y)βs(x,y)γ]

設(shè)α,β,γ均為1，則

2.4 結(jié)果分析

本實驗使用紅、綠、藍3個波段組成的真彩色圖像對模型進行驗證，利用改進的SRNTT方法與SRNTT,SRGAN[41],EDSR[42]進行了對比實驗。SRGAN方法是利用生成對抗網(wǎng)絡(luò)對圖像進行超分辨率重建，并感知損失和對抗損失來提升恢復出的圖片的真實感。該網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。生成網(wǎng)絡(luò)由B殘差塊、卷積層、Batch-Normalization層和ReLU激活函數(shù)層組成，并通過訓練兩個子像素卷積層來提高分辨率，以生成重建圖像。判別網(wǎng)絡(luò)由VGG網(wǎng)絡(luò)、LeakyReLU激活函數(shù)層和最大池化層組成，用于判別是生成的高分辨率圖像還是真正的高分辨率圖像。

EDSR方法是只利用了生成對抗網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，并去除了Batch-Normalization層，使每層提取更多的特征，以獲得更好的效果。該網(wǎng)絡(luò)的損失函數(shù)是均方損失函數(shù)和VGG 損失函數(shù)。SRGAN和EDSR都是較為先進，重建效果較好的方法。選擇了測試集中的2幅圖像可視化，如圖4所示。

圖4 實驗測試結(jié)果Fig.4 Experiment testing results

同時，利用PSNR和SSIM對測試集中的100幅圖像進行評價，結(jié)果見表1。

綜合圖4和表1可以看出，從視覺上看，改進的SRNTT和SRGAN較EDSR和SRNTT更清晰，紋理細節(jié)更豐富，模糊區(qū)域較少，取得了更優(yōu)的效果;改進的SRNTT和SRGAN相比，視覺感知沒有較大差異，效果都較好;從評價指標上看，改進的SRNTT在PSNR和SSIM上都略微高于其他方法，在PSNR方面與SRNTT相比高了0.869 3 dB，與SRGAN相比高了0.418 33 dB，比EDSR高了3.073 6 dB;SSIM比SRNTT,SRGAN,EDSR分別高了0.006 9,0.000 5,0.003 0。盡管PSNR,SSIM這兩個指標僅能反映重建后的圖像與原始圖像之間的結(jié)構(gòu)相似性，不涉及圖像內(nèi)容的對錯，但改進的SRNTT在視覺效果和PSNR,SSIM上都有較好表現(xiàn)。

表1 結(jié)果對比
Table 1 Compare results

評價指標EDSRSRGANSRNTT改進的SRNTTPSNR/dB35.594 6038.249 8737.798 9038.668 20SSIM0.958 50.961 00.954 60.961 5

2.5 參考圖像的影響

選取兩組測試數(shù)據(jù)對不同參考圖像對結(jié)果的影響進行測試和分析，測試結(jié)果如圖5所示，并利用PSNR和SSIM對上述圖像進行評價，結(jié)果見表2。

根據(jù)圖5和表2看出，不同參考影像對應的重建圖像也不同。REF4與需重建的圖像基本不相似，得到的結(jié)果無論在視覺上還是評價指標上都較差，而REF1與需重建的圖像相似度較高，重建后的效果也較好?？梢院苊黠@地發(fā)現(xiàn)，參考圖像與待重建的圖像相似度越高，重建后的圖像效果越好，相似度越低，重建后的圖像效果差。

表2 不同參考影像結(jié)果對比
Table 2 Different reference images testing compare results

評價指標第1組圖像REF1REF2REF3REF4第2組圖像REF1REF2REF3REF4PSNR/dB38.921 138.879 738.114 333.940 438.754 038.575 937.842 231.155 8SSIM0.966 80.935 30.974 90.935 30.975 40.966 00.937 40.861 4

3 結(jié) 論

(1)為提高現(xiàn)實中露天礦區(qū)遙感圖像的空間分辨率，通過改進的SRNTT模型對露天礦區(qū)遙感圖像進行超分辨率重建，在特征提取部分用ResNet34代替VGG19，網(wǎng)絡(luò)深度更深，運算量更小，進一步提高了特征提取的效果。

(2)實驗結(jié)果表明，本文方法在視覺效果和評價指標的值上都有較好的表現(xiàn)。在PSNR方面，比SRNTT，SRGAN，EDSR分別高0.869 30，0.418 33，3.073 60 dB；在SSIM方面，比SRNTT，SRGAN，EDSR分別高0.006 9，0.000 5，0.003 0；在視覺表現(xiàn)方面，比其他在細節(jié)方面更為真實，且本文方法的重建效果隨參考圖像與待重建圖像的相似度的增加而提高。

(3)本文方法適用于露天礦區(qū)的遙感圖像，能充分利用遙感圖像的長時間序列和時空多邊性，且高分辨率的遙感圖像價格高，低分辨率的遙感圖像價格較低且獲取容易，可以大幅度節(jié)約成本，在露天礦區(qū)生產(chǎn)和修復領(lǐng)域應用能更好地服務于礦區(qū)的動態(tài)監(jiān)測與管理。