基于PanGan和高通濾波相融合的改進(jìn)深度神經(jīng)網(wǎng)絡(luò)遙感圖像超分辨率算法研究

邱治邦

摘 要：遙感圖像融合中的泛銳化是指將全色圖像與低分辨率多光譜圖像進(jìn)行融合，得到高分辨率多光譜圖像。最近，卷積神經(jīng)網(wǎng)絡(luò)基于CNN的泛銳化方法已經(jīng)達(dá)到了最先進(jìn)的性能。盡管如此，仍然存在兩個(gè)問(wèn)題。一方面，現(xiàn)有的基于cnn的策略需要監(jiān)督，只需對(duì)高分辨率圖像進(jìn)行模糊和降采樣即可獲得低分辨率多光譜圖像。另一方面，它們往往忽略全色圖像豐富的空間信息。為了解決這些問(wèn)題，我們提出了一種新的無(wú)監(jiān)督框架，用于泛銳化，該框架基于生成式對(duì)抗網(wǎng)絡(luò)，稱為CBMA_PanGAN，在網(wǎng)絡(luò)訓(xùn)練中不依賴所謂的真實(shí)數(shù)據(jù)集。在我們的方法中，生成器分別與光譜鑒別器和空間鑒別器建立對(duì)抗博弈，從而保持多光譜圖像豐富的光譜信息和全色圖像的空間信息。

關(guān)鍵詞：PanGan;高通;濾波相融合;深度神經(jīng)網(wǎng)絡(luò)遙感圖像;超分辨率

一、CBMA-PanGAN網(wǎng)絡(luò)架構(gòu)

優(yōu)化網(wǎng)絡(luò)是在PanGAN的網(wǎng)絡(luò)基礎(chǔ)上引入高通濾波算法，亞像素卷積采樣，已經(jīng)增加了目前最為流行的CBMA注意力模塊（通道注意力和空間注意力）。另外我們的網(wǎng)絡(luò)是基于tensorflow1.0版本架構(gòu)開(kāi)發(fā)，雖然近幾年主流深度學(xué)習(xí)框架為Pytorch，但是基于tensorflow開(kāi)發(fā)的網(wǎng)絡(luò)架構(gòu)然有優(yōu)秀的算法可以改進(jìn)，而TensorFlow架構(gòu)沒(méi)有如pytorch架構(gòu)具有注意力的框架。所以在具體算法編碼過(guò)程中，我們提供了在TensorFlow1.0版本架構(gòu)中添加各類注意力機(jī)制的解決思路和辦法。

我們改進(jìn)后的CBMA-PanGAN網(wǎng)絡(luò)架構(gòu)在保留了光譜信息和空間信息的基礎(chǔ)上，引入了PanNet提出的高通濾波及ResNet的網(wǎng)絡(luò)思想，極大程度上的過(guò)濾掉了平滑噪聲，同時(shí)由傳統(tǒng)的插值采樣的辦法改為亞像素卷積的方式，提高了采樣后圖像質(zhì)量。全色圖像和低分辨率圖像融合之后將送入高通濾波處理，高通濾波是過(guò)濾掉低頻信息保留圖像在高通區(qū)域的信息，此方法是傳統(tǒng)銳化方法，通過(guò)濾波后我們可以得到處理過(guò)后的圖像。之后我們將低分辨率圖像通過(guò)亞像素卷積的上采樣操作，將低分辨率圖像上放大至原圖像的四倍，然后進(jìn)行融合送入對(duì)抗網(wǎng)絡(luò)，得到我們所需要的輸出目標(biāo)圖像。

我們將高通濾波添加到遙感圖像融合之后，先通過(guò)高通濾波處理。高通濾波的作用是使圖片的高通信息通過(guò)，過(guò)濾掉圖片低頻的信息，從而達(dá)到突出邊緣信息的作用，達(dá)到泛銳化的效果。高通濾波也是常用的物理辦法處理圖像銳化，在過(guò)去幾十年內(nèi)的圖像處理領(lǐng)域有著極好的表現(xiàn)，我們的思路是在網(wǎng)絡(luò)中先進(jìn)行預(yù)處理。突出輪廓，使得送入神經(jīng)網(wǎng)絡(luò)時(shí)有這較之前更好的處理效果。

在我們的框架中，我們不可避免的會(huì)遇到圖像上采樣的問(wèn)題。在圖像采樣領(lǐng)域，有多種方法。上采樣是指放大圖像，下采樣是指縮小圖像。采樣常見(jiàn)的方法有線性插值、雙線性插值、雙三線性插值方法。這些方法各有優(yōu)缺點(diǎn)，普通的線性插值速度快但是效果差。雙三線性插值效果比普通線性效果好，但是缺點(diǎn)是時(shí)間長(zhǎng)。所以通過(guò)對(duì)比，我們選擇亞像素卷積的辦法來(lái)進(jìn)行我們低分辨率圖像的上采樣操作。亞像素卷積的核心思想是像素重組，它是將低分辨的特征圖，通過(guò)卷積和多通道間的重組得到高分辨率的特征圖，已達(dá)到提高分辨率的效果。

采樣的好壞決定了圖像質(zhì)量的好壞我們將低分辨率圖像進(jìn)行上采樣，和原網(wǎng)絡(luò)利用雙線性插值采樣的方法不同，我們優(yōu)化了采樣辦法選取目前流行的采樣辦法亞像素卷積。亞像素卷積的原理在上一章已經(jīng)介紹，本章主要介紹具體實(shí)現(xiàn)。由于遙感衛(wèi)星圖像特性，全色圖像與低分辨率圖像大小為1比4，所以為了順利融合，研究人員需要將低分辨率圖像采樣到與全色圖像相同比例尺寸大小。傳統(tǒng)的插值方法可能會(huì)導(dǎo)致圖片嚴(yán)重失真，而亞像素卷積可以大大提高采樣的質(zhì)量，我們?cè)谌鐖D所示的網(wǎng)絡(luò)部分進(jìn)行。經(jīng)過(guò)對(duì)比試驗(yàn)，我們發(fā)現(xiàn)采用亞像素卷積處理后的采樣圖片效果比傳統(tǒng)插值方法有著較大的提升，所以證明了亞像素模型對(duì)于改進(jìn)算法有著良好的效果。在實(shí)驗(yàn)過(guò)程中，我們發(fā)現(xiàn)亞像素卷積在TensorFlow1.0版本中沒(méi)有公開(kāi)的包，所以在使用過(guò)程中，我們又對(duì)代碼重新進(jìn)行編寫，達(dá)到了預(yù)期效果。

生成器中添加注意力機(jī)制。注意力機(jī)制是目前最為火熱的手段技術(shù)，所以我們?cè)诰W(wǎng)絡(luò)中將添加最為主流的注意力機(jī)制CBMA注意力機(jī)制（空間注意力和通道注意力）。我們?cè)谏善骶W(wǎng)絡(luò)9*9、5*5、5*5卷積網(wǎng)絡(luò)中進(jìn)行添加雙注意力，對(duì)每一層的輸出都新增一個(gè)新的權(quán)重用來(lái)約束生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練效果，使其提高生成器的圖片質(zhì)量。注意力機(jī)制是由平均池化和最大池化構(gòu)成，在代碼中注意力機(jī)制的位置是在激活函數(shù)之后，因?yàn)樵谖覀兛磥?lái)，并不想因?yàn)樽⒁饬C(jī)制而導(dǎo)致網(wǎng)絡(luò)原來(lái)結(jié)構(gòu)的改變，我們僅僅是為了通過(guò)注意力來(lái)提高生成器提取信息的能力，從而起到更好的生成圖片質(zhì)量目的。

二、訓(xùn)練過(guò)程

我們的原始網(wǎng)絡(luò)框架網(wǎng)絡(luò)結(jié)構(gòu)PanGAN是在英偉達(dá)3090顯卡上進(jìn)行訓(xùn)練，為了達(dá)到改進(jìn)后算法的適應(yīng)性，我們?cè)贕PU上訓(xùn)練次數(shù)設(shè)置為500000次，訓(xùn)練數(shù)據(jù)由32*32的原始低分辨率圖像和分辨率為128*128的全色圖像組成。初始化學(xué)習(xí)速率設(shè)置為0.0001，衰減速率為0.99，步長(zhǎng)設(shè)置為10000。優(yōu)化器選取為RMSProp優(yōu)化器，RMSProp算法的全稱叫 Root Mean Square Prop，是Geoffrey E. Hinton在Coursera課程中提出的一種優(yōu)化算法，解決了優(yōu)化中擺動(dòng)幅度大的問(wèn)題。所謂的擺動(dòng)幅度就是在優(yōu)化中經(jīng)過(guò)更新之后參數(shù)的變化范圍。在訓(xùn)練過(guò)程中，我們判別器最初旳損失值是在1.7左右，由于損失函數(shù)約束的作用，通過(guò)訓(xùn)練后損失值為0.5即可達(dá)到所需要的目標(biāo)訓(xùn)練效果。訓(xùn)練集全部運(yùn)行執(zhí)行完需要兩天左右。同時(shí)，由于我們的注意力機(jī)制的良好表現(xiàn)，我們?cè)谟?xùn)練到15000次左右就基本達(dá)到訓(xùn)練預(yù)期目標(biāo)效果。訓(xùn)練過(guò)程中我們發(fā)現(xiàn)由于注意力機(jī)制的原理機(jī)制產(chǎn)生了新的偏置，而新的偏置將會(huì)影響測(cè)試集代碼運(yùn)行，經(jīng)過(guò)我們對(duì)代碼的重構(gòu)，添加了新的權(quán)重在測(cè)試集代碼中，測(cè)試集代碼速度較之前有了極大的提高。

三、實(shí)驗(yàn)結(jié)果

我們選取GF-2衛(wèi)星作為圖像測(cè)試集，，我們給出了原始HRMS圖像下采樣到LRMS圖像再參考HRMS圖像的Wald協(xié)議下的對(duì)比結(jié)果，如圖2所示。左側(cè)為HRMS與不同方法融合結(jié)果對(duì)應(yīng)的誤差圖像。右側(cè)為改進(jìn)算法結(jié)果圖像。在這些方法中，只有MTF-GLP、BDSD和我們的方法的結(jié)果能清晰地保留這個(gè)細(xì)節(jié)，而其他方法的結(jié)果缺失或較弱。但是，在MTF-GLP的結(jié)果中存在一些色差BDSD與pan-gan相比。結(jié)果表明，該方法在保持光譜分布的同時(shí)，也較好地保留了空間細(xì)節(jié)。