光學(xué)合成孔徑圖像超分辨率重建技術(shù)研究

劉玉雯，吳玲玲，聶 亮，陳 靖

(西安工業(yè)大學(xué) 光電工程學(xué)院，西安 710021)

0 引言

空間遙感的發(fā)展對(duì)于高分辨率圖像的要求不斷提高，對(duì)于單孔徑(主鏡)望遠(yuǎn)鏡而言，較高的空間分辨率需要大孔徑支持[1]。入瞳直徑越大，光學(xué)系統(tǒng)的空間分辨率越高。光學(xué)合成孔徑通過組合子光學(xué)系統(tǒng)，等效單一大口徑，提高系統(tǒng)分辨率。光學(xué)合成孔徑的設(shè)計(jì)雖然降低了生產(chǎn)成本，但成像時(shí)會(huì)有中頻信息的缺失，光瞳優(yōu)化、相位調(diào)制、圖像復(fù)原等都是補(bǔ)償中頻信息的關(guān)鍵技術(shù)。

2002年，F(xiàn)ienup對(duì)比不同噪聲模型及填充因子，采用極大似然法和維納濾波進(jìn)行圖像復(fù)原研究[2]；2010年，Stokes研究提高Golay9圖像中頻對(duì)比度問題[3]；2010年，李波對(duì)比維納濾波、最小二乘濾波和極大似然盲去卷積在Golay3的復(fù)原作用[4]；2010年，魏小峰等人實(shí)驗(yàn)得出維納濾波算法效果較好，而盲解卷積法能最大程度實(shí)現(xiàn)復(fù)原效果[5]；2017年，陳灝對(duì)不同光瞳排布進(jìn)行仿真，提出改進(jìn)維納濾波算法得到最適宜的復(fù)原結(jié)果[6]；2019年，姜艷超通過仿真實(shí)驗(yàn)發(fā)現(xiàn)WDALRD算法能夠有效保留圖像紋理和邊緣信息[7]；2020年，唐睢使用U-Net卷積網(wǎng)絡(luò)復(fù)原三臂形光學(xué)合成孔徑的圖像，能實(shí)現(xiàn)圖像的快速盲復(fù)原[8]；畢玉萍提出SRGAN融合拉普拉斯金字塔思想，通過分階段重建圖像提升圖像的重建質(zhì)量[9]；江玉寧提出改進(jìn)SRGAN殘差塊并融合紋理損失的重建算法，降低訓(xùn)練難度及圖像偽影問題[10]。

基于深度學(xué)習(xí)的超分辨率重建算法首次應(yīng)用于光學(xué)合成孔徑圖像復(fù)原領(lǐng)域。本文將分析合成孔徑成像退化原因，選定合成孔徑系統(tǒng)參數(shù)后，對(duì)選定的遙感圖像進(jìn)行仿真數(shù)據(jù)集構(gòu)建，提出一種改進(jìn)的SRGAN算法對(duì)光學(xué)合成孔徑成像進(jìn)行復(fù)原研究。

1 光學(xué)合成孔徑

1.1 光學(xué)合成孔徑分析

光學(xué)合成孔徑是將多個(gè)小孔徑光學(xué)系統(tǒng)按照一定的組合規(guī)律排列，組成等效的大型綜合光學(xué)系統(tǒng)。每個(gè)子孔徑收集的光線匯聚到共同的焦平面上，進(jìn)行相干疊加，光學(xué)合成孔徑的分辨率高于任一子系統(tǒng)。子孔徑的排列形式有環(huán)形、三臂形、Golay及其組合的復(fù)雜形式，相比三臂形和Golay形排布，環(huán)形結(jié)構(gòu)均勻排列，填充因子范圍較廣，有較大的裝調(diào)余量，易于加工裝調(diào)，故應(yīng)用較廣泛。

本文將研究合成孔徑環(huán)形七孔結(jié)構(gòu)的圖像仿真及復(fù)原。由環(huán)形七孔的子孔徑坐標(biāo)和光瞳函數(shù)等，可得其光瞳排布和MTF分布，如圖1所示。

根據(jù)圖1可知，合成孔徑的MTF主峰明顯，次峰按規(guī)則分布擴(kuò)展，中低頻下降較快，這是成像模糊的主要原因。

光學(xué)合成孔徑是子孔徑相干疊加的組合形式，導(dǎo)致其成像退化的因素除光學(xué)合成孔徑固有的中頻信息損失，還有裝調(diào)誤差引起的散焦和混疊，成像系統(tǒng)的噪聲及未知因素。所以，光學(xué)合成孔徑成像需要進(jìn)行復(fù)原處理，而復(fù)原難點(diǎn)及重點(diǎn)是恢復(fù)圖像的中低頻信息。

1.2 光學(xué)合成孔徑仿真成像

光學(xué)傳遞函數(shù)(OTF)反映系統(tǒng)的空間頻率響應(yīng)特性。對(duì)于已知光瞳函數(shù)P(x,y)的理想系統(tǒng)，對(duì)合成孔徑點(diǎn)擴(kuò)散函數(shù)PSF作傅里葉變換后進(jìn)行歸一化處理或?qū)馔瘮?shù)進(jìn)行歸一化自相關(guān)處理，可得到系統(tǒng)的光學(xué)傳遞函數(shù)OTF。根據(jù)合成孔徑成像的傅里葉變換規(guī)律，可模擬合成孔徑成像，并根據(jù)仿真結(jié)果進(jìn)行圖像復(fù)原研究。分別采用環(huán)形七孔的不同填充因子做合成孔徑的仿真圖像比較，如圖2所示。

圖2 合成孔徑仿真成像

由圖2可知，填充因子數(shù)較小，即光學(xué)系統(tǒng)進(jìn)光量較少，成像模糊，缺少紋理等細(xì)節(jié)特征，符合合成孔徑的成像規(guī)律。隨著填充因子的增大，圖像的模糊程度減少，但輪廓特征分辨率仍較低。仿真圖像與原圖對(duì)比后的圖像質(zhì)量評(píng)價(jià)如表1所示。

表1 環(huán)形七孔仿真圖像質(zhì)量評(píng)價(jià)

據(jù)表1結(jié)果顯示，填充因子越小，圖像質(zhì)量越差，分辨率越低，更需要進(jìn)行圖像復(fù)原處理。本文針對(duì)填充因子為0.35的環(huán)形七孔光學(xué)合成孔徑系統(tǒng)進(jìn)行仿真數(shù)據(jù)集構(gòu)建及圖像復(fù)原研究。

2 圖像超分辨率重建

2.1 傳統(tǒng)超分辨率重建算法

傳統(tǒng)超分辨率重建算法先將低分辨率圖像進(jìn)行寬高維度的放大，圖像直接放大后會(huì)有空白像素，使用插值法進(jìn)行像素填充，最終生成近似的高分辨率圖像。這種重建算法實(shí)際是將原圖按相近的像素進(jìn)行擴(kuò)充，效果不理想。

基于深度學(xué)習(xí)的超分辨率重建算法通過神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)低分辨率圖像到高分辨率圖像的映射函數(shù)。超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)首次將卷積神經(jīng)網(wǎng)絡(luò)融入超分辨率重建技術(shù)中，從低分辨率圖像中提取圖像塊，每個(gè)圖像塊被卷積核生成多維特征矩陣；其次，將特征矩陣通過非線性映射，生成更高維的特征矩陣；最后將高維特征矩陣重建成高分辨率圖像。

SRCNN網(wǎng)絡(luò)由三部分組成，首先從低分辨率圖像中提取圖像塊，每個(gè)圖像塊被卷積生成多維特征矩陣；其次，將特征矩陣通過非線性映射，生成更高維的特征矩陣；最后將高維特征矩陣重建成高分辨率圖像。SRCNN首次將卷積網(wǎng)絡(luò)加入超分辨率重建方法中，通過卷積網(wǎng)絡(luò)學(xué)習(xí)圖像特征，故重建效果略優(yōu)于插值的重建算法。SRCNN使用的網(wǎng)絡(luò)層數(shù)較少，計(jì)算參數(shù)相對(duì)較少，網(wǎng)絡(luò)計(jì)算較快。

2.2 改進(jìn)的SRGAN算法

在2.1節(jié)中提到的SRCNN是讓卷積逐像素塊學(xué)習(xí)，將學(xué)習(xí)到的像素特征添加到特征矩陣的空白位置，輸出高分辨率圖像。但該方法缺乏對(duì)于中頻細(xì)節(jié)特征的處理，這正是合成孔徑成像中急需解決的問題。

SRGAN的輸入是輪廓較模糊的低分辨率圖像，經(jīng)過生成對(duì)抗網(wǎng)絡(luò)中的生成器、判別器，迭代優(yōu)化后生成的高分辨率圖像作為合成孔徑復(fù)原圖像。SRGAN將生成對(duì)抗網(wǎng)絡(luò)GAN融入圖像超分辨率重建中，GAN的作用是增加一個(gè)鑒別網(wǎng)絡(luò)和兩個(gè)損失，用一種交替訓(xùn)練的方式訓(xùn)練兩個(gè)網(wǎng)絡(luò)。原SRGAN網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。

圖3 SRGAN結(jié)構(gòu)圖

生成網(wǎng)絡(luò)是通過迭代生成近似甚至優(yōu)于輸入圖像的高分辨率圖像；判別網(wǎng)絡(luò)比較生成圖像與輸入圖像，輸出0或1作為判別結(jié)果；VGG16/19的加入是為提取生成圖像和輸入圖像的特征，進(jìn)行特征層的比較。SRGAN網(wǎng)絡(luò)根據(jù)感知損失和對(duì)抗損失，讓生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)交替學(xué)習(xí)，其中對(duì)抗損失值越接近1表示生成效果越好。相比于原SRGAN網(wǎng)絡(luò)，本次對(duì)SRGAN內(nèi)部的生成器網(wǎng)絡(luò)改進(jìn)如下：

1)構(gòu)建多尺度殘差結(jié)構(gòu)。光學(xué)合成孔徑圖像需要復(fù)原缺失的中頻信息，結(jié)合ASPP網(wǎng)絡(luò)設(shè)計(jì)思想，將生成器殘差網(wǎng)絡(luò)結(jié)構(gòu)變?yōu)槿龑託埐钐崛【W(wǎng)絡(luò)，在不改變特征圖大小的同時(shí)控制感受野，有利于提取多尺度信息。改進(jìn)的SRGAN生成器的殘差結(jié)構(gòu)如圖4所示。

圖4 去除BN層的SRGAN生成器結(jié)構(gòu)

在殘差網(wǎng)絡(luò)內(nèi)部設(shè)置不同尺度的卷積核，提高特征網(wǎng)絡(luò)的感受野，將不同層次的圖像信息進(jìn)行融合，使輸出圖像具有紋理及抽象信息。在本次設(shè)計(jì)中將激活函數(shù)變換為L(zhǎng)eakyReLU函數(shù)，該函數(shù)計(jì)算高效、收斂快速，在一定程度上緩解了梯度消失。

2)選用部分殘差塊作多尺度融合。特征網(wǎng)絡(luò)的設(shè)計(jì)一般是從網(wǎng)絡(luò)深度或網(wǎng)絡(luò)寬度進(jìn)行改進(jìn)，這些設(shè)計(jì)是通過增大模型容量提高準(zhǔn)確率，而這些設(shè)計(jì)的計(jì)算量巨大且效率不高，需要大量的人工調(diào)參。

多尺度特征提取網(wǎng)絡(luò)并聯(lián)了3個(gè)尺度的卷積核，可以讓網(wǎng)絡(luò)充分感知圖像的特征信息。多尺度網(wǎng)絡(luò)若使用過多，則會(huì)增加整體模型的復(fù)雜度和推理時(shí)間。本次設(shè)計(jì)只改變?cè)善骶W(wǎng)絡(luò)中的2個(gè)殘差塊即B2和B7模塊，并在多尺度特征融合后，使用(1,1)卷積核作尺度壓縮。改進(jìn)的SRGAN結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)的SRGAN結(jié)構(gòu)

隨卷積網(wǎng)絡(luò)的特征提取，圖片分辨率會(huì)越來越小，到最后小目標(biāo)的特征信息可能就會(huì)丟失，從而對(duì)小目標(biāo)輪廓復(fù)原效果不好。本次設(shè)計(jì)使用的(3,3)、(5,5)、(7,7)卷積核能較好地適應(yīng)大目標(biāo)與小目標(biāo)的圖像信息，讓模型學(xué)習(xí)更加穩(wěn)定高效。

2.3 超分辨率重建圖像評(píng)價(jià)指標(biāo)

峰值信噪比和結(jié)構(gòu)相似度是超分辨率重建常用的2種圖像質(zhì)量評(píng)價(jià)指標(biāo)。

PSNR即峰值信噪比，借助均方誤差來計(jì)算圖像失真情況，PSNR值越大代表失真圖像與參考圖像越接近。PSNR是目前圖像處理領(lǐng)域最廣泛的數(shù)值評(píng)估方式之一，但其像質(zhì)評(píng)價(jià)結(jié)果可能與人眼視覺感受有差異。PSNR計(jì)算如式(1)、(2):

(1)

(2)

其中：I、K表示原圖與輸入圖像，mn表示圖像尺寸，MAXI2為圖像最大可能像素值。

SSIM即結(jié)構(gòu)相似度，是一種符合人眼直覺的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，計(jì)算參考圖像與失真圖像之間的差距，最后用計(jì)算出的值作為指標(biāo)來衡量失真圖像的質(zhì)量，其計(jì)算公式如式(3)：

(3)

其中：μ代表均值，σ代表方差，σIK表示協(xié)方差，c1、c2為常數(shù)。SSIM從亮度、對(duì)比度、結(jié)構(gòu)對(duì)圖像進(jìn)行評(píng)價(jià)，其結(jié)果越接近1表明圖像越相似，復(fù)原效果越好。

3 實(shí)驗(yàn)結(jié)果與分析

隨機(jī)選出NWPU VHR-10遙感圖像中部分圖像，根據(jù)1.2節(jié)的系統(tǒng)參數(shù)仿真合成孔徑成像結(jié)果，構(gòu)建復(fù)原數(shù)據(jù)集。

本次網(wǎng)絡(luò)構(gòu)建基于Python 3.74和Pytorch 1.6框架搭建，在Tesla K80顯卡和NVIDIA GeForce GTX 1080Ti GPU的配置環(huán)境下完成訓(xùn)練和測(cè)試。

3.1 數(shù)據(jù)增強(qiáng)后的SRGAN圖像復(fù)原結(jié)果

數(shù)據(jù)增強(qiáng)主要采用圖像亮度變化和圖像隨機(jī)翻轉(zhuǎn)處理，針對(duì)光學(xué)合成孔徑所成的灰度圖像，亮度改變可增加數(shù)據(jù)集圖像的灰度差異變化，增強(qiáng)模型的學(xué)習(xí)能力。

對(duì)2個(gè)數(shù)據(jù)集進(jìn)行對(duì)比訓(xùn)練，其中original數(shù)據(jù)集包括40張圖像，augment數(shù)據(jù)集包括320張數(shù)據(jù)增強(qiáng)后的圖像，對(duì)每個(gè)數(shù)據(jù)集進(jìn)行100個(gè)epochs的訓(xùn)練。隨機(jī)選取augment數(shù)據(jù)集的測(cè)試結(jié)果，分別為SRGAN迭代1、10、20、50、100個(gè)epoch的復(fù)原效果圖，如圖6所示。

圖6 SRGAN迭代效果

根據(jù)圖6選取的5個(gè)迭代epoch，記錄每個(gè)epoch的復(fù)原圖像與原圖對(duì)比后的像質(zhì)評(píng)價(jià)結(jié)果，如表2所示。

表2圖像增強(qiáng)像質(zhì)評(píng)價(jià)結(jié)果

根據(jù)表3的評(píng)價(jià)結(jié)果，SRGAN在原數(shù)據(jù)集上訓(xùn)練的PSNR值比數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集低3 dB，整個(gè)測(cè)試過程原數(shù)據(jù)集的PSNR均值為23.6 dB，數(shù)據(jù)增強(qiáng)數(shù)據(jù)集的PSNR均值為26 dB。

數(shù)據(jù)增強(qiáng)數(shù)據(jù)集的損失函數(shù)表現(xiàn)均優(yōu)于未作數(shù)據(jù)預(yù)處理的原數(shù)據(jù)集，在數(shù)據(jù)集一定的情況下，數(shù)據(jù)增強(qiáng)處理可增加模型訓(xùn)練的穩(wěn)定性和準(zhǔn)確性。

3.2 改進(jìn)SRGAN結(jié)構(gòu)后的圖像復(fù)原結(jié)果

根據(jù)2.2節(jié)的算法改進(jìn)，將生成器中的B2和B7變換成多尺度特征提取網(wǎng)絡(luò)，生成器中的激活函數(shù)全部使用LeakyReLU，所有卷積核在提取圖像特征時(shí)均不改變圖像尺度，將原SRGAN網(wǎng)絡(luò)與改進(jìn)后的SRGAN網(wǎng)絡(luò)在數(shù)據(jù)增強(qiáng)數(shù)據(jù)集上訓(xùn)練100個(gè)epochs，顯示前50個(gè)epochs的損失函數(shù)如圖7所示。

圖7 兩種SRGAN網(wǎng)絡(luò)的損失值比較

由圖7可知，改進(jìn)算法的感知損失收斂速度低于原算法，說明多尺度特征提取網(wǎng)絡(luò)會(huì)占用一定的計(jì)算時(shí)間。改進(jìn)算法的感知損失下降較為平穩(wěn)，證明其在較少迭代次數(shù)后，就能有效學(xué)習(xí)圖像特征。對(duì)抗損失代表了經(jīng)模型判別器鑒別后的復(fù)原效果，對(duì)抗損失越接近1代表與原圖像越接近，失真程度越少。改進(jìn)算法的對(duì)抗損失在迭代過程中在1附近小幅波動(dòng)，證明改進(jìn)算法復(fù)原效果較好，可使模型學(xué)習(xí)更加穩(wěn)定。

3.3 多種超分辨率重建算法的復(fù)原結(jié)果對(duì)比

傳統(tǒng)超分辨率重建算法選用最近鄰插值、雙三次插值、SRCNN算法。將上述3種方法與原SRGAN算法和本文提出的改進(jìn)算法進(jìn)行復(fù)原效果對(duì)比。

為使SRGAN網(wǎng)絡(luò)運(yùn)行更加穩(wěn)定，均使用倍率因子為4作為網(wǎng)絡(luò)輸入。所有網(wǎng)絡(luò)均使用數(shù)據(jù)增強(qiáng)數(shù)據(jù)集進(jìn)行復(fù)原效果對(duì)比。5種復(fù)原算法的最終復(fù)原效果如圖8所示。

圖8 復(fù)原算法對(duì)比

根據(jù)圖8所示的算法復(fù)原效果對(duì)比，使用PSNR和SSIM對(duì)上述算法作像質(zhì)評(píng)價(jià)，如表3所示。

表3 多種復(fù)原算法像質(zhì)評(píng)價(jià)結(jié)果

根據(jù)表3像質(zhì)評(píng)價(jià)結(jié)果，上述復(fù)原算法均能提升仿真圖像的復(fù)原效果。SRCNN通過卷積網(wǎng)絡(luò)學(xué)習(xí)圖像特征，故重建效果略優(yōu)于插值的重建算法。改進(jìn)算法相比原SRGAN算法PSNR提升2 dB。對(duì)比上述5種復(fù)原算法，改進(jìn)的SRGAN對(duì)光學(xué)合成孔徑的復(fù)原效果最好，PSNR值可達(dá)30 dB。

4 結(jié)束語

本文通過仿真分析發(fā)現(xiàn)，合成孔徑成像系統(tǒng)固有的中頻信息缺失是系統(tǒng)成像退化的主要原因，在不改變光學(xué)合成孔徑成像系統(tǒng)結(jié)構(gòu)的前提下，提出一種改進(jìn)的超分辨率生成對(duì)抗網(wǎng)絡(luò)，對(duì)合成孔徑圖像進(jìn)行復(fù)原研究。通過對(duì)光學(xué)合成孔徑系統(tǒng)的計(jì)算及結(jié)構(gòu)分析，確定本文研究的系統(tǒng)參數(shù)，并根據(jù)系統(tǒng)參數(shù)構(gòu)建合成孔徑仿真數(shù)據(jù)集。由于合成孔徑成像為灰度圖像，使用數(shù)據(jù)增強(qiáng)算法對(duì)仿真數(shù)據(jù)集進(jìn)行亮度調(diào)整。本文的改進(jìn)算法變換SRGAN生成網(wǎng)絡(luò)的殘差結(jié)構(gòu)，設(shè)置不同卷積核增加網(wǎng)絡(luò)感受野，從3個(gè)尺度提取圖像特征。與傳統(tǒng)超分辨率圖像復(fù)原算法相比，本文算法在運(yùn)行中更加穩(wěn)定，收斂速度較快，對(duì)光學(xué)合成孔徑的圖像復(fù)原效果最好，與原仿真圖像相比峰值信噪比提升10 dB。