基于多尺度特征增強的合成孔徑光學(xué)圖像復(fù)原*

張銀勝 童俊毅 陳戈 單夢姣 王碩洋 單慧琳?

1) (無錫學(xué)院江蘇省集成電路可靠性技術(shù)及檢測系統(tǒng)工程研究中心,無錫 214105)

2) (南京信息工程大學(xué)電子信息工程學(xué)院,南京 210044)

受物理孔徑大小和光線散射等影響,合成孔徑光學(xué)系統(tǒng)成像因通光面積不足和相位失真而出現(xiàn)降質(zhì)模糊.傳統(tǒng)合成孔徑光學(xué)系統(tǒng)成像復(fù)原算法對噪聲敏感,過于依賴退化模型,自適應(yīng)性差.對此提出一種基于生成對抗網(wǎng)絡(luò)的光學(xué)圖像復(fù)原方法,采用U-Net 結(jié)構(gòu)獲取圖像多級尺度特征,利用基于自注意力的混合域注意力提高網(wǎng)絡(luò)在空間、通道上的特征提取能力,構(gòu)造多尺度特征融合模塊和特征增強模塊,融合不同尺度特征間的信息,優(yōu)化了編解碼層的信息交互方式,增強了整體網(wǎng)絡(luò)對原始圖像真實結(jié)構(gòu)的關(guān)注力,避免在復(fù)原過程中被振鈴現(xiàn)象產(chǎn)生的偽影干擾.實驗結(jié)果表明,與其他現(xiàn)有方法相比,該方法在峰值信噪比、結(jié)構(gòu)相似性和感知相似度評估指標上分別提高了1.51%,4.42%和5.22%,有效解決合成孔徑光學(xué)系統(tǒng)成像結(jié)果模糊退化的問題.

1 引言

隨著高分辨率成像技術(shù)在對地觀測、環(huán)境監(jiān)測和軍事偵察等領(lǐng)域的廣泛應(yīng)用[1],對成像技術(shù)分辨率的要求越來越高.光學(xué)系統(tǒng)成像的分辨率往往與系統(tǒng)孔徑大小成正比,但受光學(xué)元件的材料和設(shè)計、加工難度等影響,傳統(tǒng)光學(xué)系統(tǒng)的物理孔徑大小受到限制,且系統(tǒng)的分辨率通常無法隨意改變,并隨著觀測距離增大而下降,靈活性較低.合成孔徑光學(xué)成像技術(shù)通過一定的空間方式將多個獨立的子孔徑以一定方式排列,獲得和單一大孔徑成像等效的分辨率.加工難度小,成本低且更易實現(xiàn)的優(yōu)點使其廣泛應(yīng)用于各成像系統(tǒng)中[2].

伴隨合成孔徑光學(xué)系統(tǒng)的廣泛應(yīng)用,其自身問題也逐漸顯現(xiàn),其中影響最大的是多孔成像帶來的降質(zhì)模糊問題,原因主要有兩方面: 1)多個子孔徑組合會減小光線通過的有效面積,引起系統(tǒng)中點擴散函數(shù)(point spread function,PSF)[3]變化,造成調(diào)制傳遞函數(shù)(modulation transfer function,MTF)的中低頻下降,最終影響成像的細節(jié)和分辨率.2)由于光波傳播特性,不同子孔徑可能具有細微的相位差異,多個子孔徑組合時,相位間會產(chǎn)生共相誤差[4],導(dǎo)致圖像模糊并產(chǎn)生偽影,嚴重時甚至無法成像.

為了獲得高分辨率圖像,通常在合成孔徑光學(xué)系統(tǒng)成像后結(jié)合圖像復(fù)原技術(shù)獲得清晰的圖像,但傳統(tǒng)圖像復(fù)原技術(shù)需要針對光學(xué)系統(tǒng)成像中的干擾特性進行分析,過度依賴人工設(shè)計模型且難以適用于不同的場景.深度學(xué)習(xí)的發(fā)展有力促進了圖像復(fù)原技術(shù)的提升,針對普通模糊類型圖像,Sun 等[5]利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模糊的概率分布,對受損圖像進行去模糊操作,耗時較長且在不同場景下需要重新進行預(yù)測.Tao 等[6]、Zamir 等[7]和Chong 等[8]采用多尺度網(wǎng)絡(luò),直接對受損圖像進行復(fù)原,并對不同階段的特征進行交叉融合,優(yōu)化了特征信息在不同尺度間的傳遞方式.Li 等[9]關(guān)注受損圖像的多尺度特征,將退化表征引入去模糊的過程,使網(wǎng)絡(luò)能很好地處理空間變化且復(fù)雜的模糊類型.Kupyn 等[10,11]提出基于深度殘差結(jié)構(gòu)的去模糊網(wǎng)絡(luò),并引入特征金字塔結(jié)構(gòu)和輕量化的特征提取網(wǎng)絡(luò),利用殘差結(jié)構(gòu)提取圖像的深層信息,在多個數(shù)據(jù)集上取得了良好的去模糊效果,但對圖像暗部細節(jié)處理較差.江澤濤和覃露露[12]采用基于UNet 的生成對抗網(wǎng)絡(luò)來處理暗部細節(jié)缺失的圖像,在過暗環(huán)境下能夠恢復(fù)圖像的原有細節(jié),但對圖像去模糊、去噪效果不佳.陳炳權(quán)等[13]、王山豹等[14]和劉杰等[15]針對圖像結(jié)構(gòu)特征的提取,提出多種尺度特征增強融合方法,提高了網(wǎng)絡(luò)特征提取能力和結(jié)構(gòu)銳化表達能力.在圖像復(fù)原任務(wù)中,同時關(guān)注圖像的空間和通道信息尤為重要[16],王向軍和歐陽文森[17]針對空間注意力和通道注意力之間的串、并等多種結(jié)合方式,提出一種最優(yōu)連接結(jié)構(gòu).Zamir 等[18]提出基于改進多頭注意力機制的Transformer 網(wǎng)絡(luò),缺點是網(wǎng)絡(luò)模型較大難以訓(xùn)練.Li 等[19]進一步完善自注意力機制,通過窗口自注意力和通道注意力增強卷積,在全局、區(qū)域和局部范圍內(nèi)明確地模擬圖像層次結(jié)構(gòu),在特征提取過程中更重視原始圖像結(jié)構(gòu)信息.Tsai 等[20]在圖像水平和垂直方向重新加權(quán)圖像特征,降低了Transformer 結(jié)構(gòu)的參數(shù)量.Chen 等[21]在Zamir 等[18]基礎(chǔ)上與簡單U-Net 架構(gòu)進行融合,進一步降低了網(wǎng)絡(luò)復(fù)雜度,在去噪和去模糊任務(wù)上取得了顯著提升.

Tang 等[22,23]提出訓(xùn)練神經(jīng)網(wǎng)絡(luò)對合成孔徑光學(xué)系統(tǒng)圖像進行處理,采用U-Net 模型對退化的合成孔徑圖像進行復(fù)原,但其采用的網(wǎng)絡(luò)結(jié)構(gòu)較為傳統(tǒng),對原始圖像多尺度信息的利用停留在簡單跳連接上,且引入的殘差注意力機制未能同時關(guān)注空間和通道上的信息,在合成孔徑光學(xué)圖像復(fù)原任務(wù)上仍有提升空間.與傳統(tǒng)圖像中的運動模糊和抖動模糊不同,合成孔徑光學(xué)系統(tǒng)的成像模糊一般為點擴散函數(shù)所描述的特定情況,模糊形狀也呈現(xiàn)非均勻分布.此外,受子孔徑相位排列影響,合成孔徑光學(xué)系統(tǒng)成像容易產(chǎn)生振鈴現(xiàn)象,進行復(fù)原時易受振鈴現(xiàn)象影響而產(chǎn)生偽影.

針對以上問題,本文提出一種合成孔徑光學(xué)圖像復(fù)原方法,基于多路特征增強的生成對抗網(wǎng)絡(luò)架 構(gòu)(multiple feature enhancement generative adversarial network,MFE-GAN),能高效、準確恢復(fù)受損的合成孔徑光學(xué)圖像.針對去模糊任務(wù)中圖像多尺度信息利用不足的問題,構(gòu)造了一種多尺度特征聚合模塊(multi-scale feature aggregation module,MSFA),更好融合不同尺度特征間信息;針對合成孔徑光學(xué)退化圖像中存在的振鈴現(xiàn)象,構(gòu)造了一種特征增強模塊(feature enhancement module,FEM),加強關(guān)注退化圖像中邊緣信息,銳化圖像的真實結(jié)構(gòu);針對傳統(tǒng)網(wǎng)絡(luò)對關(guān)鍵特征信息關(guān)注不足的情況,在自注意力和文獻[17]的基礎(chǔ)上提出一種基于自注意力的混合域注意力機制(mixed domain attention based on self-attention,MDBS),關(guān)注圖像關(guān)鍵信息;采用多尺度判別器對生成結(jié)果在不同尺度上進行綜合判別,加強了鑒別器對生成結(jié)果的監(jiān)督作用.本文在遙感數(shù)據(jù)集上進行實驗,和其他主流算法對比,實驗結(jié)果證明了本方法在合成孔徑光學(xué)系統(tǒng)圖像復(fù)原任務(wù)中的有效性和優(yōu)越性.

2 網(wǎng)絡(luò)模型

2.1 合成孔徑光學(xué)系統(tǒng)退化模型

合成孔徑光學(xué)系統(tǒng)由多個子孔徑按一定方式在像面排列,在滿足相位條件后在焦平面上通過干涉成像.以環(huán)形八孔陣列的光學(xué)系統(tǒng)為例,8 個子孔徑環(huán)形排列共同作用來代替單一大孔徑,但整體系統(tǒng)的PSF 會發(fā)生明顯彌散現(xiàn)象,導(dǎo)致最終成像發(fā)生受損退化,產(chǎn)生振鈴現(xiàn)象.圖1(a),(b)分別為合成孔徑系統(tǒng)八孔徑環(huán)形陣列結(jié)構(gòu)示意和發(fā)生彌散后的光學(xué)系統(tǒng)PSF.

圖1 (a)合成孔徑系統(tǒng)八孔徑環(huán)形陣列結(jié)構(gòu)示意圖;(b)發(fā)生彌散后的光學(xué)系統(tǒng)PSFFig.1.(a) Structure diagram of eight-aperture ring array of synthetic aperture system;(b) optical system PSF after dispersion.

所提退化模型的成像過程可簡單描述為

式中,M(x,y) 表示退化圖像,I(x,y) 表示原始圖像,n(x,y) 表示成像過程中受到的噪聲,p(x,y) 表示光學(xué)系統(tǒng)的PSF,?表示卷積過程,即利用實際測得的光學(xué)系統(tǒng)點擴散函數(shù)與原始圖像進行卷積,模擬實際成像中的受損退化過程,并加入噪聲模擬系統(tǒng)固有噪聲.光學(xué)系統(tǒng)PSF 的具體計算式為

式中,F為光學(xué)系統(tǒng)的PSF;(x,y) 為圖像的平面坐標;λ為中心波長;f為焦距;am和bm分別表示子孔徑圓心在坐標軸上的位置;Fsub為光學(xué)系統(tǒng)中各個子孔徑的點擴散函數(shù),

其中,J1為一階Bessel 函數(shù),D為光瞳的直徑,r=

2.2 MFE-GAN 復(fù)原模型

本文提出的MFE-GAN 復(fù)原網(wǎng)絡(luò)總體框架圖如圖2 所示,由一個生成器和一個多尺度鑒別器共同組成,其中生成器由編碼區(qū)、特征融合區(qū)和解碼區(qū)組成.生成器對輸入的模糊圖像進行信息采集,根據(jù)關(guān)鍵特征生成新圖像后,傳遞給判別器在多個尺度上進行綜合判別.

圖2 MFE-GAN 總體框架圖Fig.2.MFE-GAN General frame diagram.

2.3 生成器模型

對于合成孔徑光學(xué)圖像的復(fù)原而言,網(wǎng)絡(luò)的特征提取能力和對原始圖像多尺度信息的利用程度,會直接影響復(fù)原的結(jié)果.MFE-GAN 網(wǎng)絡(luò)的生成器由編碼區(qū)、解碼區(qū)和特征融合區(qū)組成.其中編碼區(qū)由多層卷積組成,深層提取圖像的底層信息,利用步長卷積的特性來代替?zhèn)鹘y(tǒng)U-Net 網(wǎng)絡(luò)中的下采樣,獲取圖像不同尺度特征,一定程度上減輕了下采樣過程中產(chǎn)生的信息丟失問題.解碼區(qū)采用解卷積達到上采樣的效果,每層在輸入之前與經(jīng)過特征融合區(qū)域后的編碼區(qū)對應(yīng)特征相結(jié)合,再進行解卷積操作,提高了網(wǎng)絡(luò)的特征提取能力,使得特征信息在編解碼區(qū)更好交互,并在編碼區(qū)和解碼區(qū)之間添加隱藏層保證了整體生成器的流通性.為了更好關(guān)注原始圖像的局部細節(jié)信息,分別在編解碼區(qū)域中部提出基于自注意力的混合域注意力,讓整體網(wǎng)絡(luò)在編解碼的過程中更好關(guān)注圖像關(guān)鍵信息.

2.4 多尺度特征聚合模塊

傳統(tǒng)U-Net 網(wǎng)絡(luò)結(jié)構(gòu)采用簡單跳躍連接方式將原始圖像信息從編碼區(qū)傳遞到解碼區(qū)域,未充分利用圖像不同尺度的特征.本文提出一種多尺度特征聚合模塊MSFA,具體結(jié)構(gòu)如圖3 所示.MSFA共有4 個輸入,分別對不同尺度上的特征信息進行融合后再進行跳躍連接.由于深層特征是由淺層特征卷積而來,因此采用從下至上的融合方式,分別讓編碼區(qū)域的深層特征與上一級特征信息融合,再跳躍連接到解碼區(qū)域,使得跳躍連接的特征圖不僅具有淺層特征的信息,還融合了深層特征的信息,更好地利用了原始圖像的多尺度特征,進一步挖掘圖像深層信息.為了防止尺度差異過大帶來的特征信息差異問題,在本文生成器中采用兩個多尺度特征聚合模塊,對圖像的淺層特征和深層特征分別進行特征聚合操作.

圖3 多尺度特征聚合模塊Fig.3.Multi-scale feature aggregation module.

圖3 所示為網(wǎng)絡(luò)淺層中的多尺度特征聚合模塊,共有4 個輸入,其中最上層特征大小為 64×128×128,其中64 為通道數(shù)、128 為寬和高,中間兩層特征大小為 128×64×64,最下層特征大小為256×32×32 .首先利用1×1 的卷積層將特征的通道數(shù)調(diào)整為與上一層特征的通道數(shù)相同,再經(jīng)過特征增強模塊,得到對應(yīng)特征的權(quán)重圖后,讓輸入特征的每個通道特征圖和對應(yīng)的像素權(quán)重進行按位相乘.得到全新特征后,一方面輸出到解碼層與對應(yīng)生成特征進行跳躍連接,另一方面利用反卷積層、歸一化層和激活層將其恢復(fù)成與上級特征圖相同尺度大小,再與上級特征進行相加.為了使級間特征之間融合更加自然,保證本級特征在多尺度融合的基礎(chǔ)上不會被其他級的特征信息過度影響,本文采用門控卷積的思想,利用門控機制讓網(wǎng)絡(luò)自適應(yīng)的去決定每種尺度特征融入下一尺度特征的多少.

由于合成孔徑光學(xué)退化圖像與傳統(tǒng)模糊圖像不同,其模糊類型呈對稱狀且會產(chǎn)生振鈴現(xiàn)象,為使網(wǎng)絡(luò)更加關(guān)注圖像的真實結(jié)構(gòu)信息,本文提出一種特征增強模塊FEM,進一步加強每級的尺度特征表達,使生成圖像的結(jié)構(gòu)信息更加銳化.MSFA中,在本級尺度特征與下級尺度特征融合后,通過特征增強模塊FEM 對融合后的特征進行特征增強,獲取更加突出的特征表達后一路繼續(xù)向上級特征融合,一路跳躍連接到解碼區(qū)對應(yīng)尺度特征.具體特征加強模塊如圖4 所示.

圖4 特征加強模塊FEMFig.4.Feature enhancement module FEM.

FEM 模塊在獲得輸入特征后,根據(jù)特征圖的不同尺度對其進行通道上的最大池化和平均池化操作,分別獲得特征權(quán)重圖q1和q2.將q1和q2進行融合后輸出,再對輸入特征進行兩次卷積后與權(quán)重圖q2進行相乘操作獲得特征權(quán)重圖q3,再與權(quán)重圖q1和q3融合后,共同構(gòu)成特征空間權(quán)重圖.最終通過卷積操作獲得特征空間的像素位權(quán)重圖qm.在多尺度融合模塊中,融合的不同尺度特征根據(jù)每層的特征空間權(quán)重圖qm對特征信息進行重新學(xué)習(xí),提高了網(wǎng)絡(luò)對關(guān)鍵信息的關(guān)注能力及表達能力.

2.5 基于自注意力的混合域注意力模塊

在提取原始圖像尺度特征的過程中,為了更好地關(guān)注圖像信息重點,提出一種基于自注意力的混合域注意力模塊MDBS,具體結(jié)構(gòu)如圖5 所示.在CBAM(convolutional block attention module)注意力[16]和文獻[17]的研究基礎(chǔ)上,引入自注意力的計算方式,先對輸入特征在空間域上進行增強,更好關(guān)注空間信息.將通道數(shù)為C、高為H、寬為W的特征A經(jīng)過卷積層后,通過重塑和轉(zhuǎn)置操作得到大小為N×C的特征B(其中N=H×W),再將特征A經(jīng)過卷積層后僅通過重塑操作得到特征C和特征D,隨后將特征B與特征C進行矩陣相乘和歸一化操作得空間特征圖S.設(shè)置兩個自學(xué)習(xí)的權(quán)重因子?和β(初始均為0),將提取到的特征D與空間特征圖S進行相乘,重塑為原始大小尺寸的特征后,在權(quán)重因子?的影響下與原始輸入特征A進行相加融合,再將原始輸入特征A在權(quán)重因子β的影響下與融合后的特征進行矩陣相乘,最終得到重點關(guān)注空間信息的特征A′.因為在通道域上不需要關(guān)注空間信息,因此直接對特征A′進行與空間域類似重塑和轉(zhuǎn)置操作,得到特征E,F和特征G,特征F與特征G在相乘后進行歸一化操作得到通道特征圖X,隨后用特征E與通道特征圖X分別計算軟注意力和硬注意力,軟注意力即計算二者對應(yīng)位置的注意力權(quán)重,硬注意力即只計算二者對應(yīng)位置的特征最大值,最終將得到的兩個特征結(jié)果在通道域上拼接后利用卷積層進行融合得到特征H,再添加一個自學(xué)習(xí)權(quán)重因子δ(初始為0),融合后的輸出特征在δ的影響下與之前提取到的空間特征A′再次進行相加,進一步增強模塊對空間上的關(guān)注能力,得到最終的輸出特征P.

圖5 基于自注意力的混合域注意力MDBSFig.5.Attention in mixed soft and hard domains MDBS.

2.6 判別器模型

在生成對抗網(wǎng)絡(luò)訓(xùn)練中,若判別器判別能力與生成器的生成能力不匹配,極易發(fā)生判別器無法準確區(qū)分原始圖像和生成圖像的現(xiàn)象,從而導(dǎo)致整體訓(xùn)練失敗.為使判別器具有更準確、高效的識別能力,采用三輸入的判別器在不同尺度上進行綜合判別.判別器接受生成器生成圖像尺度P,(P-1)和尺度(P-2),尺度P經(jīng)過3 次卷積后和經(jīng)過1 次卷積后的特征圖尺度(P-1)進行融合,得到的特征信息再經(jīng)過一次卷積后與卷積后的尺度(P-2)的特征信息進行融合,最終輸出對生成圖像的綜合評分.判別器結(jié)構(gòu)如圖6 所示.

圖6 判別器結(jié)構(gòu)圖Fig.6.Discriminator structure diagram.

2.7 損失函數(shù)

為了進一步提高生成對抗網(wǎng)絡(luò)的訓(xùn)練效率,緩解生成對抗網(wǎng)絡(luò)訓(xùn)練中梯度消失和模式崩潰等現(xiàn)象的發(fā)生,本文采用Wasserstein 距離代替?zhèn)鹘y(tǒng)Jensen-Shannon (JS)散度作為代價函數(shù),更準確地衡量真實數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的差異.具體定義式為

其中pr和pg分別表示真實分布和生成分布,sup(·)代表函數(shù)值的上確界;K為Lipschitz 常數(shù),∥f∥L≤K表示函數(shù)f滿足K-Lipschitz 連續(xù),E為不同分布下的數(shù)學(xué)期望.

生成器的損失函數(shù)定義為生成樣本與真實樣本之間的Wasserstein 距離的相反數(shù),

其中,E為數(shù)學(xué)期望,D表示為判別器輸出,G表示為生成器輸出,z表示輸入的退化圖像.此外,在生成器網(wǎng)絡(luò)中引入了峰值信噪比(peak signal to noise ratio,PSNR)損失和結(jié)構(gòu)相似度(structural similarity,SSIM)損失,分別用于減少生成圖像與原始圖像之間的像素誤差和結(jié)構(gòu)誤差.PSNR 損失基于均方差(mean squared error,MSE)函數(shù)設(shè)定,SSIM 損失基于兩張圖像窗口化后的均值、方差和協(xié)方差設(shè)定.具體見(6)式和(7)式:

其中,K為常量,表示圖像的亮度范圍,一般取255;lg 函數(shù)用于減少歐幾里得波動;h,w分別表示圖像寬和高;M,N分別表示生成圖像和原始圖像.

其中,a和b分布表示生成區(qū)域與原圖區(qū)域,μa和μa表示均值,σa和σb表示標準差,σab表示a和b的協(xié)方差,常數(shù)C1=0.0001和C2=0.0009 用于保證分子分母均不為0.

綜上所述,整體生成器網(wǎng)絡(luò)的最終損失函數(shù)定義式為

其中λ,λpsnr和λssim分別表示用于控制生成器損失、信噪損失和結(jié)構(gòu)損失權(quán)重的超參數(shù).

3 實驗及結(jié)果分析

3.1 實驗環(huán)境

具體實驗環(huán)境配置如表1 所列.

表1 實驗環(huán)境Table 1.Experimental environment.

3.2 合成孔徑光學(xué)系統(tǒng)圖像退化實驗

本文實驗采用NWPU-RESISC45 遙感數(shù)據(jù)集,其中共包含大小為256×256 的31500 張圖像,涵蓋45 個類別,每個類別包含700 張圖像,為了證明本方法的普遍適用性,從中隨機挑選20 類,每類隨機選出400 張圖像,共計8000 張圖像.為了模擬合成孔徑光學(xué)系統(tǒng)成像異常的情況,本文采用八孔徑環(huán)形陣列結(jié)構(gòu)的合成孔徑光學(xué)系統(tǒng)實際測得的系統(tǒng)點擴散函數(shù),利用(1)式和(2)式計算生成退化圖像,并對退化圖像加入55—65 dB 加性高斯噪聲來模擬真實成像過程中的系統(tǒng)噪聲,作為本實驗數(shù)據(jù)集.其中隨機選出7000 張作為訓(xùn)練集,1000 張作為測試集.圖7 為原始圖像與退化圖像對比圖,其中圖7(a)為原始遙感圖像,圖7(b)為退化模型生成的帶有振鈴現(xiàn)象和系統(tǒng)噪聲的退化圖像.

圖7 (a)原始圖像與(b)退化圖像對比Fig.7.Comparison between original image (a) and degraded image(b).

3.3 對比實驗

針對合成孔徑光學(xué)系統(tǒng)成像帶來的降質(zhì)模糊和振鈴現(xiàn)象等問題,目前基本采用傳統(tǒng)算法來解決.因此本文選取傳統(tǒng)的復(fù)原算法維納濾波(Wiener filtering,WF)算法[5],基于深度學(xué)習(xí)的去模糊算法Deblur GAN 算法[10]、SRN 算法[6]、MPR-Net算法[7]和Stripformer 算法[20]與MFE-GAN 算法進行對比.具體可視化結(jié)果如圖8 所示,其中圖8(a)為原始清晰圖像,圖8(b)為經(jīng)過合成孔徑退化模型后的退化圖像,圖8(c)—(g)分別為對比算法可視化結(jié)果,圖8(h)為MFE-GAN 算法可視化結(jié)果.

圖8 對比試驗可視化結(jié)果 (a)原始清晰圖像;(b) 退化圖像;(c) 維納濾波算法;(d) Deblur GAN 算法;(e) SRN 算法;(f) MPRNet 算法;(g) Stripformer 算法;(h)本文算法Fig.8.Visualization results of comparison experiment: (a) Clear image;(b) degraded image;(c) Wiener filtering;(d) Deblur GAN;(e) SRN;(f) MPR-Net;(g) Stripformer;(h) our proposed method.

為了進一步評估本方法的復(fù)原效果,引入峰值信噪比、結(jié)構(gòu)相似度、可學(xué)習(xí)感知圖像塊相似度(learned perceptual image patch similarity,LPIPS)和弗雷歇距離(Fréchet inception distance,FID)4 種圖像質(zhì)量評價標準.其中,峰值信噪比指標在像素層面上對生成圖像和原始圖像進行對比;結(jié)構(gòu)相似度指標綜合考慮了生成圖像和原始圖像在亮度、對比度和結(jié)構(gòu)方面的相似性;可學(xué)習(xí)感知圖像塊相似度通過學(xué)習(xí)感知特征來評估兩張圖像之間的差異和相似度,能較好地反映人類視覺感知中的差異;弗雷歇距離則是將生成圖像和原始圖像輸入至預(yù)訓(xùn)練的Inception 網(wǎng)絡(luò)中進行特征比較來判斷兩幅圖像的差異.數(shù)值上,PSNR,SSIM 值越大,而LPIPS,FID 值越小表明生成的圖像更加合理、真實.不同方法定量對比結(jié)果如表2 所列.

表2 不同算法定量實驗結(jié)果Table 2.Quantitative experiment results of different algorithms.

由各算法對比可視化結(jié)果圖8 可見,傳統(tǒng)算法維納濾波方法生成結(jié)果較差,圖像具有明顯偽影和噪點,如表2 所示定量實驗結(jié)果的峰值信噪比和結(jié)構(gòu)相似性都非常低,僅為15.227 和0.5452,同時LPIPS 和FID 指標分別為0.0896 和3.9776,表示生成圖像素質(zhì)差,與原始圖像差距較大;Deblur GAN算法的生成圖像在整體色彩結(jié)構(gòu)上較為明亮,其在細節(jié)部分仍存在噪點,整體結(jié)構(gòu)恢復(fù)較為完整,峰值信噪比和結(jié)構(gòu)相似度為22.379 和0.7011,LPIPS和FID 分別為0.0383 和1.2534;SRN 算法的生成圖像效果略差,在關(guān)鍵結(jié)構(gòu)附近會生成偽影,且具有明顯噪點,但與傳統(tǒng)維納濾波算法相比較好,其峰值信噪比為17.639,結(jié)構(gòu)相似度為0.6588,LPIPS和FID 分別為0.0697 和2.1246;MPR-Net 算法的生成結(jié)果較優(yōu)秀,整體圖像噪點較少,但因為生成圖像過于平滑,部分圖像的銳化細節(jié)丟失,其峰值信噪比為24.725,結(jié)構(gòu)相似度為0.7364;Stripformer算法雖在峰值信噪比上大大提高,但其生成圖像會丟失部分細小的邊線信息,如圖8(g)中飛機圖像的右上部裂縫未能很好復(fù)原;相比于上述算法,本文所提方法可以有效地復(fù)原退化圖像,不僅能很好恢復(fù)圖像的整體結(jié)構(gòu),對于細節(jié)信息也不會過度丟失,其峰值信噪比和結(jié)構(gòu)相似度提高了0.395 和0.0334,LPIPS 和FID 分別為0.0363 和0.8979.

針對合成孔徑光學(xué)系統(tǒng)成像中出現(xiàn)的振鈴現(xiàn)象,本方法提出的特征加強模塊可以重點關(guān)注退化圖像的結(jié)構(gòu)信息,為進一步驗證該方法的獨特性,選用受3 種不同振鈴增益因子n影響下的退化圖像,與正常退化圖像進行復(fù)原對比,如圖9 所示.

圖9 不同振鈴增益影響下的退化圖像 (a) n=0;(b) n=1;(c) n=2;(d) n=10Fig.9.Degraded images under the influence of different ringing gains: (a) n=0;(b) n=1;(c) n=2;(d) n=10.

圖9(a)為n=0 時真實光學(xué)儀器系統(tǒng)成像結(jié)果,圖9(b)—(d)是提高振鈴增益因子后的結(jié)果,隨著增益因子n的逐漸提高,原始圖像結(jié)構(gòu)附近出現(xiàn)更多偽影,會對圖像復(fù)原的結(jié)果造成較大干擾.本文提出的特征加強模塊FEM 可以銳化圖像特征,復(fù)原出真實結(jié)構(gòu)信息,具體復(fù)原結(jié)果如圖10所示.

圖10 不同振鈴增益影響下本文方法對圖像的復(fù)原結(jié)果 (a) n=0;(b) n=1;(c) n=2;(d) n=10Fig.10.Results of image restoration obtained by this method under the influence of different ringing gains: (a) n=0;(b) n=1;(c) n=2;(d) n=10.

由圖10 可見,當(dāng)振鈴增益因子n=0和n=1時修復(fù)結(jié)果幾乎無區(qū)別,當(dāng)n增大到10 時,才會在局部細節(jié)區(qū)域出現(xiàn)偽影.為了進一步證明本方法的優(yōu)越性,選取振鈴增益因子n=10 的受損圖像進行復(fù)原,與3 種深度學(xué)習(xí)復(fù)原方法進行定量對比.由圖11 可見,Deblur GAN 的復(fù)原結(jié)果在飛機周圍出現(xiàn)明顯偽影,且整體色彩有偏差;SRN 針對較大目標的復(fù)原結(jié)果較好,但在小目標復(fù)原時仍在細節(jié)處出現(xiàn)錯位偽影;MPR-Net 方法對結(jié)構(gòu)特征處理較好,基本復(fù)原了特征信息,但整體圖像噪點較高;Stripformer 方法生成的圖像會丟失部分邊線細節(jié)信息;本文方法相對更好地生成了原始圖像的結(jié)構(gòu)信息,幾乎未出現(xiàn)偽影,一定程度上也降低了部分噪點.具體定量結(jié)果如表3 所列.

表3 在 n=10 振鈴增益影響下不同算法的定量實驗結(jié)果Table 3.Quantitative experimental results of different algorithms under the influence of ringing gain(n=10).

圖11 振鈴增益n=10 時,本文方法與其他方法對圖像的復(fù)原結(jié)果對比 (a)受損圖像;(b) Deblur GAN 算法;(c) SRN 算法;(d) MPR-Net 算法;(e) Stripformer 算法;(f)本文方法Fig.11.Comparison of image restoration results between the proposed method and other methods under the influence of ringing gain (n=10): (a) Damaged image;(b) Deblur GAN;(c) SRN;(d) MPR-Net;(e) Stripformer;(f) our proposed method.

此外,本文方法對于部分顏色異常的圖像也有很好的復(fù)原效果,如過度曝光和整體光線較暗等異常情況,具體結(jié)果如圖12 所示,其中,圖12(a)為光線異常圖像,圖12(b)為退化后的光線異常圖像,圖12(c)為本文復(fù)原后的生成圖像.針對于過度曝光情況,本文方法可以將其復(fù)原為正常顏色,能較好突出原始圖像的結(jié)構(gòu)信息和細節(jié)信息;對于整體光線較暗的情況,本文方法可以提高其整體明亮程度,并突出相應(yīng)細節(jié)信息.

圖12 對光線異常退化圖像的修復(fù)結(jié)果 (a)光線異常圖像;(b)退化后的光線異常圖像;(c)本文復(fù)原后的生成圖像Fig.12.Repair results of abnormal light degradation images: (a) Abnormal light image;(b) degraded images of light anomalies;(c) generated image after restoration of ours.

3.4 消融實驗

為驗證本文方法中各模塊對整體網(wǎng)絡(luò)復(fù)原性能的影響,進行消融實驗,在此過程中除消融項外,其他結(jié)構(gòu)和參數(shù)保持不變.具體消融實驗結(jié)果如表4 所列,標記“√”表示模型在訓(xùn)練過程中包含了對應(yīng)項.其中策略1—策略4 采用傳統(tǒng)判別器,策略1 表示整體網(wǎng)絡(luò)僅采用U-Net 結(jié)構(gòu)作為生成器;策略2 表示在U-Net 基礎(chǔ)上引入多尺度特征融合模塊;策略3 表示在多尺度特征融合的基礎(chǔ)上引入特征加強模塊;策略4 表示在策略3 的基礎(chǔ)上引入混合域注意力;策略5—策略9 采用多尺度判別器進行判別,策略5 表示在生成器中引入U-Net 結(jié)構(gòu)、多尺度特征融合模塊和特征加強模塊;策略6表示在策略5 的基礎(chǔ)上使用混合域注意力,而不采用特征加強模塊;策略7 表示不采用多尺度特征融合模塊,對U-Net 跳連接分別采用特征加強模塊,同時引入注意力模塊和多尺度判別器;策略8 表示不采用多尺度特征融合模塊和特征加強模塊,僅測試注意力模塊和多尺度判別器組合對整體網(wǎng)絡(luò)帶來的性能影響;策略9 表示僅采用U-Net 結(jié)構(gòu)、特征加強模塊和多尺度判別器.實驗結(jié)果對比如表4所列.

表4 消融實驗數(shù)據(jù)對比Table 4.Comparison of G1 ablation data of coarse repair network.

策略1 僅采用U-Net 結(jié)構(gòu)的生成對抗網(wǎng)絡(luò)時,峰值信噪比和結(jié)構(gòu)相似度都比較低,分別為19.306和0.5865,這代表整體生成結(jié)果較差;策略2 引入多尺度特征融合模塊,更好地利用了圖像的多尺度特征,峰值信噪比和結(jié)構(gòu)相似度大幅上升;策略3進一步在多尺度特征融合模塊中加入特征加強模塊,使得整體網(wǎng)絡(luò)更加關(guān)注圖像的多尺度特征,復(fù)原結(jié)果進一步提高,峰值信噪比和結(jié)構(gòu)相似性分別提高到23.872 和0.6927,LPIPS 和FID 分別為0.0579 和0.9103;策略4 在編碼器中加入混合域注意力,進一步關(guān)注圖像的高級特征,優(yōu)化了復(fù)原結(jié)果,峰值信噪比和結(jié)構(gòu)相似性分別提高到25.425和0.7563;策略5 取消了注意力模塊,將判別器改為多尺度判別器,使得整體網(wǎng)絡(luò)更好收斂,但因缺少注意力因素,結(jié)果相比于策略4 較差;策略6 和策略7 在與本文策略對比下,證明了將多尺度融合模塊和特征加強模塊相結(jié)合的效果最佳;策略8 直接將二者取消,結(jié)果峰值信噪比和結(jié)構(gòu)相似性大幅度下降;策略9 在策略7 的基礎(chǔ)上取消了注意力模塊,使峰值信噪比和結(jié)構(gòu)相似性分別下降到22.944和0.6627,LPIPS 和FID 分別為0.0682 和0.9763,證明了注意力模塊的必要性.

4 結(jié)論

本文提出一種基于多尺度特征增強的合成孔徑光學(xué)圖像復(fù)原方法,針對合成孔徑光學(xué)系統(tǒng)成像出現(xiàn)的振鈴現(xiàn)象專門提出特征加強模塊,關(guān)注原始圖像的真實結(jié)構(gòu)信息,同時利用基于自注意力的混合域注意力增加整體網(wǎng)絡(luò)對關(guān)鍵信息的關(guān)注能力.在NWPU-RESISC45 遙感數(shù)據(jù)集上采用真實光學(xué)儀器測得模糊核進行模擬退化實驗并進行復(fù)原實驗,相比于傳統(tǒng)光學(xué)系統(tǒng)圖像復(fù)原算法復(fù)原效果明顯提高,且具有更好的適用性.相比于深度學(xué)習(xí)主流復(fù)原算法,能更好復(fù)原帶有振鈴現(xiàn)象的退化圖像,最終結(jié)果在PSNR 和SSIM 評估指標上分別提高了1.51%和4.42%,LPIPS 和FID 指標上分別達到0.0363 和0.8979.此外原始圖像數(shù)據(jù)過度曝光或光線不足等異常情況,本文方法也能將其復(fù)原,證明了本方法在實際場景中的實用性.本文方法注重采集原始圖像的多尺度信息進行特征融合,造成整體網(wǎng)絡(luò)參數(shù)量略大,部署到移動端后對退化圖像復(fù)原時間略長,無法做到實時復(fù)原,未來工作將針對各模塊進行輕量化設(shè)計,包括注意力機制輕量化和減輕特征融合中的冗余計算過程,使網(wǎng)絡(luò)參數(shù)量更小,從而做到實時復(fù)原的需求.

感謝中國科學(xué)院光電技術(shù)研究所鐘爍、范斌老師為本文退化實驗提供的真實光學(xué)系統(tǒng)模型參數(shù).