基于生成對(duì)抗網(wǎng)絡(luò)的梯度引導(dǎo)太陽(yáng)斑點(diǎn)圖像去模糊方法

李福海，蔣慕蓉*，楊磊，諶俊毅

（1.云南大學(xué)信息學(xué)院，昆明 650500；2.中國(guó)科學(xué)院云南天文臺(tái)，昆明 650216）

0 引言

在航空航天與電子設(shè)備快速發(fā)展的今天，日地之間的環(huán)境成為人們賴(lài)以生存的必備空間。由于太陽(yáng)耀斑、日冕物質(zhì)拋射等太陽(yáng)能量變化，通常會(huì)伴隨著X 射線(xiàn)、紫外線(xiàn)輻射增強(qiáng)、高能粒子流暴漲等現(xiàn)象發(fā)生，這些物質(zhì)一旦接近地球表面，將會(huì)對(duì)地面通信、衛(wèi)星基站、航天和電力等設(shè)備系統(tǒng)造成巨大損害，使用地基望遠(yuǎn)鏡對(duì)太陽(yáng)表面進(jìn)行實(shí)時(shí)觀測(cè)并實(shí)施空間預(yù)警可以減少通信設(shè)備的損失。但是由于大氣湍流的擾動(dòng)，通過(guò)地基望遠(yuǎn)鏡獲取的太陽(yáng)活動(dòng)觀測(cè)圖像會(huì)發(fā)生嚴(yán)重模糊，降低了峰值能量與成像的角分辨率［1］，需要借助于圖像去模糊方法對(duì)低質(zhì)的太陽(yáng)斑點(diǎn)圖像進(jìn)行高分辨率重建。

目前，針對(duì)拍攝的低分辨率圖像進(jìn)行高清重建主要有斑點(diǎn)干涉術(shù)、斑點(diǎn)掩模法［2］、位移疊加法［3］、基于消息傳遞接口的選幀位移疊加（Level1+）［4］等方法，在重建過(guò)程中需要較多的先驗(yàn)知識(shí)，如大氣視寧度、斑點(diǎn)干涉函數(shù)，并且需要較多的圖像幀數(shù)，導(dǎo)致重建過(guò)程存在計(jì)算量大、部分高頻信息無(wú)法恢復(fù)等問(wèn)題。隨著深度學(xué)習(xí)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，如何使用深度學(xué)習(xí)方法重建太陽(yáng)斑點(diǎn)圖像，成為太陽(yáng)觀測(cè)圖像處理的研究熱點(diǎn)之一。但現(xiàn)有深度學(xué)習(xí)重建網(wǎng)絡(luò)對(duì)于特征明顯、信息量較大的低分辨率圖像重建效果較好，而對(duì)于特性單一、噪聲較多、局部細(xì)節(jié)模糊的太陽(yáng)斑點(diǎn)圖重建效果不理想，重建的圖像容易出現(xiàn)偽像、部分高頻信息難以恢復(fù)等問(wèn)題。

基于上述問(wèn)題，本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）與梯度信息聯(lián)合的去模糊方法來(lái)重建太陽(yáng)斑點(diǎn)圖，能夠很好地恢復(fù)出高頻信息，滿(mǎn)足云南天文臺(tái)太陽(yáng)圖像重建的要求。首先，根據(jù)輸入圖像存在嚴(yán)重模糊等特點(diǎn)，生成器采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［5］與梯度的引導(dǎo)方式來(lái)構(gòu)成，使用梯度引導(dǎo)方式可以有效還原圖像細(xì)節(jié)，防止重建圖像幾何變形［6］；其次，考慮到圖像無(wú)明顯輪廓、難以獲取有效梯度信息的特點(diǎn)，采用一種快速去模糊的方法對(duì)圖像進(jìn)行預(yù)處理，促使圖像能夠恢復(fù)出部分輪廓，有效提高梯度引導(dǎo)帶來(lái)的局部細(xì)節(jié)重建效果；之后，使用雙鑒別器的構(gòu)造方法來(lái)鑒別重建圖像與梯度圖的真實(shí)性，損失函數(shù)由像素內(nèi)容損失、感知損失和對(duì)抗損失三部分組成，以此保證網(wǎng)絡(luò)的重建效果與準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文方法重建出的高分辨率太陽(yáng)斑點(diǎn)圖像相較于現(xiàn)有深度學(xué)習(xí)去模糊方法更加接近Level1+多幀重建效果，具有太陽(yáng)米粒輪廓更清晰、局部信息明顯、偽像較少等特點(diǎn)。

1 相關(guān)工作

深度學(xué)習(xí)作為當(dāng)前圖像高清重建的主流方法之一，已經(jīng)被廣泛運(yùn)用在多種類(lèi)型的重建任務(wù)上。針對(duì)高清重建問(wèn)題采用的網(wǎng)絡(luò)模型不同，通常分為卷積神經(jīng)網(wǎng)絡(luò)的重建方法與生成對(duì)抗網(wǎng)絡(luò)的重建方法。

1.1 卷積神經(jīng)網(wǎng)絡(luò)重建方法

近年來(lái)，隨著網(wǎng)絡(luò)層數(shù)的逐漸加深，超分辨率與去模糊兩個(gè)方向的圖像重建任務(wù)聯(lián)系越來(lái)越緊密，將估計(jì)模糊核的去模糊思路作用在超分辨率任務(wù)上的網(wǎng)絡(luò)模型并不少見(jiàn)。Johnson 等［7］提出了感知損失，使用預(yù)訓(xùn)練網(wǎng)絡(luò)提取高級(jí)特征進(jìn)行比較，會(huì)獲得高質(zhì)量的重建圖像。Gu 等［8］考慮到預(yù)測(cè)的模糊核與實(shí)際不匹配將會(huì)導(dǎo)致圖像平滑或銳利，提出基于卷積網(wǎng)絡(luò)的迭代修正模糊核（Iterative Kernel Correction，IKC）算法。Guo等［9］為了縮小模糊核的尋找空間，提出了一種對(duì)偶回歸映射網(wǎng)絡(luò)（Dual Regression Networks-Large，DRN-L）來(lái)估計(jì)模糊核，再重構(gòu)低分辨率圖像。Kaufman 等［10］為了能夠?qū)δ：诉M(jìn)行尋優(yōu)，提出兩個(gè)層次的模型用于重建，第一個(gè)層次用于得到模糊核圖片，第二個(gè)層次使用模糊核進(jìn)行去模糊，這樣的構(gòu)造允許對(duì)模糊核使用損失函數(shù)。Yang 等［11］為了恢復(fù)出局部重建細(xì)節(jié)，使用了基于參考圖（Reference-based）機(jī)制構(gòu)造了用于超分辨率的紋理轉(zhuǎn)換網(wǎng)絡(luò)（Texture Transformer network for image Super-Resolution，TTSR），采用低分辨率圖像與同目標(biāo)參考圖共同重建出高清圖像。以上工作表明卷積網(wǎng)絡(luò)對(duì)于邊緣細(xì)節(jié)處理、超分辨率重建和去模糊是有效的，但是本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，多數(shù)模型僅針對(duì)雙三次退化和高斯模糊等人為構(gòu)造的模糊核是有效的，而對(duì)于受大氣湍流影響導(dǎo)致的太陽(yáng)斑點(diǎn)模糊圖像去模糊往往結(jié)果并不盡如人意。

1.2 生成對(duì)抗網(wǎng)絡(luò)的重建方法

隨著Goodfellow 等［12］構(gòu)造了GAN 之后，近年來(lái)有關(guān)GAN的發(fā)展非常迅速，其中Radford等［13］使用反卷積的方式構(gòu)造了深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep Convolutional GAN，DC-GAN）模型，首次將GAN 應(yīng)用于圖像生成。Zhu 等［14］在風(fēng)格遷移中使用兩對(duì)生成器與鑒別器構(gòu)造出循環(huán)一致性對(duì)抗網(wǎng)絡(luò)（Cycleconsistent Adversarial Network，Cycle-GAN）模型，實(shí)現(xiàn)了高質(zhì)量的遷移效果；隨后Engin 等［15］將Cycle-GAN 用于重建工作，獲得了令人滿(mǎn)意的效果。Kupyn 等［16］采用雙尺度鑒別器，使得其能夠處理更大更復(fù)雜的真實(shí)模糊，并提出重建模型使用平均相對(duì)性最小二乘對(duì)抗損失（Relativistic average Least squares GAN Loss，RaLsGAN）［17］的建議，比Wasserstein 距離［18］和梯度懲罰的損失具有損失下降更快、更穩(wěn)定，生成圖像具有更優(yōu)視覺(jué)效果的優(yōu)點(diǎn)，同時(shí)提出的Deblur-GANv2 版模型獲得了當(dāng)前公開(kāi)數(shù)據(jù)集上去模糊方向領(lǐng)先的效果。在太陽(yáng)斑點(diǎn)重建方面，Ren 等［19］在Cycle-GAN 的基礎(chǔ)上，添加了感知損失，針對(duì)太陽(yáng)斑點(diǎn)難以獲取有效細(xì)節(jié)的問(wèn)題，改進(jìn)了內(nèi)容損失函數(shù)，提高了太陽(yáng)斑點(diǎn)重建的局部細(xì)節(jié)。Jia 等［20］為了提高Cycle-GAN 對(duì)于太陽(yáng)斑點(diǎn)去模糊的泛化能力，使用同一太陽(yáng)望遠(yuǎn)鏡拍攝到相同波長(zhǎng)的斑點(diǎn)圖像，隨后經(jīng)過(guò)精心挑選圖像子塊將其傳入網(wǎng)絡(luò)學(xué)習(xí)，最終重建獲得了較好的恢復(fù)效果。本文經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，Deblur-GANv2 雖然對(duì)于由于相機(jī)抖動(dòng)、目標(biāo)運(yùn)動(dòng)等因素造成的圖像模糊能夠起到非常好的去模糊效果，但對(duì)于太陽(yáng)斑點(diǎn)此類(lèi)擁有更加復(fù)雜模糊核的圖像而言，不能恢復(fù)出較好的邊緣細(xì)節(jié)。Ren 等［19］改進(jìn)的Cycle-GAN 用于太陽(yáng)斑點(diǎn)的恢復(fù)取得了良好的視覺(jué)效果，但是其在太陽(yáng)斑點(diǎn)米粒形狀的邊緣出現(xiàn)了大量偽像且很難恢復(fù)出米粒間的高頻信息。而Jia 等［20］的結(jié)果與Ren 等［19］的結(jié)果相似，雖然在數(shù)據(jù)集的選幀算法上更勝一籌，但Cycle-GAN 在重建太陽(yáng)斑點(diǎn)圖像時(shí)細(xì)節(jié)恢復(fù)能力較弱，導(dǎo)致太陽(yáng)斑點(diǎn)米粒間大量高頻信息的丟失。

2 本文方法

2.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

為了恢復(fù)出圖像的高頻信息、減少米粒輪廓的偽像，采用以FPN 結(jié)構(gòu)與梯度信息引導(dǎo)聯(lián)合重建的方式設(shè)計(jì)生成器網(wǎng)絡(luò)，因?yàn)镕PN 結(jié)構(gòu)能夠注意到更小的細(xì)節(jié)，同時(shí)將圖像準(zhǔn)確、有效的梯度圖加入解碼器的特征序列中能夠有效幫助其恢復(fù)出圖像的輪廓、局部細(xì)節(jié)。為了保證獲取的梯度信息具有有效性與真實(shí)性，需要將梯度分支的重建結(jié)果傳入鑒別器驗(yàn)證，本文使用了雙鑒別器網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)高清重建圖像與梯度分支結(jié)果進(jìn)行分別驗(yàn)證，驗(yàn)證結(jié)果產(chǎn)生的對(duì)抗損失一并加入到生成器的損失函數(shù)進(jìn)行參數(shù)尋優(yōu)。此外，輸入的圖像由于大氣湍流等因素的影響導(dǎo)致嚴(yán)重模糊、缺乏細(xì)節(jié)，而常規(guī)的超分辨率重建與去模糊網(wǎng)絡(luò)中使用的像素內(nèi)容損失通常采用的均方誤差（Mean Squared Error，MSE）會(huì)使得重建圖過(guò)于平滑，更加難以重建出局部細(xì)節(jié)?；谝陨峡紤]，本文采用平均絕對(duì)值誤差（Mean Absolute Error，MAE）作為像素內(nèi)容損失進(jìn)行處理。

為了接近云南天文臺(tái)所使用的基于消息傳遞接口的選幀位移疊加算法（Leve1+）的重建效果，本文將Level1+的重建結(jié)果作為有監(jiān)督的真實(shí)圖像，將大氣湍流導(dǎo)致的模糊圖作為網(wǎng)絡(luò)的輸入圖像。本文方法網(wǎng)絡(luò)框架如圖1所示。

圖1 本文方法網(wǎng)絡(luò)框架Fig.1 Network structure of proposed method

2.2 生成器結(jié)構(gòu)

2.2.1 生成器模型

本文提出的生成器模型結(jié)構(gòu)受Ma 等［6］和Kupyn 等［16］的啟發(fā)，采用FPN結(jié)構(gòu)與梯度分支引導(dǎo)重建的方式構(gòu)成，而FPN下采樣提取特征階段（FPN 編碼器階段）采用Inception 模塊，生成器整體結(jié)構(gòu)如圖2 所示。其中，梯度分支部分正如Ma等［6］所描述的，將獲取到的圖像多尺度特征分層次輸入梯度分支中將會(huì)有助于梯度信息的還原，且將梯度信息加入特征圖中一并卷積提取也會(huì)恢復(fù)圖像的局部細(xì)節(jié)。

圖2 生成器結(jié)構(gòu)示意圖Fig.2 Schematic diagram of generator structure

與上述工作不同的是，本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)Ma 等［6］提出的梯度引導(dǎo)的保持結(jié)構(gòu)超分辨率（Structure-Preserving Super Resolution with gradient guidance，SPSR）模型雖然能夠借用梯度圖引導(dǎo)恢復(fù)局部的細(xì)節(jié)，但是該模型設(shè)計(jì)的梯度分支依靠編碼器傳入特征梯度信息會(huì)過(guò)于依賴(lài)輸入圖的原始特征。對(duì)于太陽(yáng)斑點(diǎn)此類(lèi)原圖高度模糊的情況，編碼器將會(huì)在原圖中無(wú)法提取有效的特征梯度信息，從而導(dǎo)致梯度分支引導(dǎo)難以達(dá)到預(yù)期效果。

為了避免這個(gè)問(wèn)題，本文所采用的FPN 結(jié)構(gòu)在特征橋梁連接后的自頂向下上采樣重建階段（FPN 解碼器階段）構(gòu)造了梯度分支。這樣設(shè)計(jì)的目的是因?yàn)閺腇PN結(jié)構(gòu)的解碼器中能夠獲取更加有效的圖像特征，而不是編碼器當(dāng)中提取的模糊特征，因此它能通過(guò)這些有效特征的梯度信息更好地還原出梯度圖。實(shí)驗(yàn)結(jié)果表明，該設(shè)計(jì)能夠有效提取梯度信息，且能恢復(fù)出局部細(xì)節(jié)。此外，在特征堆疊之后為了減少生成器帶來(lái)的偽像，本文采用Wang 等［21］提出的殘差密集塊（Residualin-Residual Dense Block，RRDB）模塊，能夠在生成器訓(xùn)練時(shí)提高其穩(wěn)定性且產(chǎn)生更少的偽像。

2.2.2 生成器損失函數(shù)

1）像素內(nèi)容損失。

對(duì)于重建的圖像，通常超分辨率重建與去模糊的深度學(xué)習(xí)網(wǎng)絡(luò)采用均方誤差（MSE）得到逐像素的差值比較，將結(jié)果作為像素內(nèi)容損失，使用這樣的損失將會(huì)有助于矯正生成器結(jié)果的顏色和紋理特征。但采用均方誤差的損失函數(shù)將會(huì)使得重建圖像的邊緣、局部細(xì)節(jié)變得更加平滑，這與本文的重建目標(biāo)相違背，因此本文采用平均絕對(duì)值誤差（MAE）作為像素內(nèi)容損失。而對(duì)于生成器的另一條梯度分支，同樣需要像素內(nèi)容損失作為引導(dǎo)。與重建圖的考慮一致，均方誤差可能會(huì)影響梯度分支獲取的準(zhǔn)確性，因此也采用了平均絕對(duì)值誤差作為其損失函數(shù)。而為了保證重建圖像與目標(biāo)圖具有相似的輪廓，本文采用均方誤差對(duì)兩者的梯度圖做損失。所以，本文的像素內(nèi)容損失一共由三個(gè)部分組成，分別是重建圖像的像素內(nèi)容損失，梯度分支輸出結(jié)果對(duì)應(yīng)的像素內(nèi)容損失，重建圖像的梯度圖像素內(nèi)容損失，其計(jì)算式如式（1）所示：

2）感知損失。

正如Johnson 等［7］所描述的，如果僅僅使用逐像素作差將會(huì)導(dǎo)致重建圖像難以恢復(fù)出原圖的感知效果。若兩張圖像僅僅只是產(chǎn)生小像素的平移，盡管從視覺(jué)感知上來(lái)說(shuō)，兩者區(qū)別并不大，但逐像素作差的結(jié)果將會(huì)認(rèn)為這兩張圖完全不一樣。考慮上述因素，本文同樣引入了感知損失，采用在ImageNet上預(yù)訓(xùn)練完成的VGG19（Visual Geometry Group 19）網(wǎng)絡(luò)［22］，將重建圖與Level1+目標(biāo)輸入其中并比較其輸出結(jié)果的差異性。這樣的操作將會(huì)使得重建圖像與Level1+圖像具有相似的特征圖，從而使得重建圖像看上去更加真實(shí)。感知損失的計(jì)算式如式（3）所示：

其中Φ(·)表示上述提到的預(yù)訓(xùn)練VGG19模型。

3）對(duì)抗損失。

為了獲取到更加高質(zhì)量的重建圖像，本文使用了Kupyn等［16］建議使用的平均相對(duì)性最小二乘對(duì)抗損失（RaLsGAN）［17］，它能獲得更加高質(zhì)量的感知效果與逼真的高頻信息。其生成器的計(jì)算式如式（4）所示：

其中：pdata（x）代表目標(biāo)（真實(shí)）分布；pz（z）代表生成（虛假）分布。與常規(guī)的GAN 中鑒別器用于鑒別輸入樣本是真實(shí)樣本的概率不同，在使用相對(duì)性對(duì)抗損失的GAN 中，鑒別器D的目標(biāo)變成了鑒別一個(gè)樣本比另一個(gè)樣本更加真實(shí)的概率。因此，隨著訓(xùn)練的迭代次數(shù)增加，鑒別器D（G（z））將會(huì)提高，而鑒別器D（x）則會(huì)下降，最終兩者達(dá)到平衡。

4）生成器損失函數(shù)。

最終將上述的損失函數(shù)相加即可得到損失函數(shù)，但為了使得損失函數(shù)各項(xiàng)之間的數(shù)值保持平衡，本文通過(guò)反復(fù)實(shí)驗(yàn)設(shè)置了加法每一項(xiàng)的權(quán)重。生成器損失函數(shù)計(jì)算式如式（5）所示：

2.3 鑒別器結(jié)構(gòu)

2.3.1 鑒別器模型

與其他GAN 網(wǎng)絡(luò)的設(shè)計(jì)思路相同，本文在鑒別器的使用上也采用了類(lèi)似VGG128（Visual Geometry Group 128）［22］的結(jié)構(gòu)作為生成器結(jié)果的真假辨認(rèn)。值得一提的是，為了恢復(fù)出具有更高的細(xì)節(jié)，本文的鑒別器并未使用到池化層，且與Ledig 等［23］一樣，采用斜率為0.2 的帶泄露的線(xiàn)性整流單元（Leaky Rectified Linear Unit，LeakyReLU）作為激活函數(shù)。兩個(gè)鑒別器的輸入分別是來(lái)自于生成器的兩個(gè)分支，即重建圖像主干與梯度分支，結(jié)構(gòu)示意圖如圖3所示。

圖3 鑒別器結(jié)構(gòu)示意圖Fig.3 Schematic diagram of discriminator structure

2.3.2 鑒別器損失函數(shù)

與生成器的對(duì)抗損失對(duì)應(yīng)，鑒別器采用的平均相對(duì)性最小二乘對(duì)抗損失計(jì)算式如式（6）所示：

因此，本文使用的兩個(gè)鑒別器損失函數(shù)如式（7）與式（8）所示：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文采用來(lái)自撫仙湖1 m 真空太陽(yáng)望遠(yuǎn)鏡（1 m New Vacuum Sun Telescope，NVST）所連續(xù)拍攝的太陽(yáng)斑點(diǎn)作為數(shù)據(jù)集。雖然其觀測(cè)數(shù)據(jù)量巨大，但并非所有拍攝圖像都適用于重建工作，常見(jiàn)的Level1+算法采用200 幀拍攝的模糊圖像重建出1 幀，因此對(duì)于數(shù)據(jù)集的采集來(lái)說(shuō)會(huì)出現(xiàn)有大量拍攝圖但均無(wú)對(duì)應(yīng)的高清參照?qǐng)D情況。但在Jia 等［20］的實(shí)驗(yàn)下發(fā)現(xiàn)，深度學(xué)習(xí)網(wǎng)絡(luò)僅需要采用波長(zhǎng)相同的拍攝圖像與其對(duì)應(yīng)的少量高清參照?qǐng)D即可完成模型的學(xué)習(xí)且能較好恢復(fù)出該波長(zhǎng)下大多數(shù)的拍攝圖像。有了這個(gè)先驗(yàn)知識(shí)，本文使用中國(guó)科學(xué)院云南天文臺(tái)所提供的重建選幀算法獲取模糊圖IBlur與其Level1+對(duì)應(yīng)的少量重建圖ILevel1+作為數(shù)據(jù)集（IBlur，ILevel1+）。與Jia等［20］的數(shù)據(jù)集設(shè)計(jì)一樣，本文在挑選出拍攝圖后與其對(duì)應(yīng)的Level1+圖像一并進(jìn)行了分塊操作，最終獲得了超過(guò)5 萬(wàn)張大小為256 × 256 的圖像子塊作為實(shí)際訓(xùn)練數(shù)據(jù)集。受大氣湍流、光學(xué)系統(tǒng)的熱變形與重力變形等影響，拍攝模糊圖IBlur的模糊因子構(gòu)成與常規(guī)的失焦模糊、運(yùn)動(dòng)模糊都不盡相同，特征難以辨認(rèn)，細(xì)節(jié)獲取難度較大。部分?jǐn)?shù)據(jù)集如圖4所示。

圖4 部分?jǐn)?shù)據(jù)集Fig.4 Part of dataset

3.2 預(yù)處理方法

由于大氣湍流等引起的高度復(fù)雜模糊輸入圖像不再具有明顯的輪廓、細(xì)節(jié)等原因，生成器模型當(dāng)中的梯度分支獲取的梯度信息依然較為模糊。為了讓梯度分支更好地引導(dǎo)重建，本文選用了Kupyn 等［16］提出的DeblurGANv2 模型進(jìn)行預(yù)處理，而其生成器的編碼器部分選用了Mobile 模塊，這是因?yàn)镸obile-Net 參數(shù)量小、訓(xùn)練速度更快，比起采用Inception 模塊而言，更適合作為預(yù)處理方法。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，由DeblurGANv2-Mobile 模型得到的預(yù)處理結(jié)果雖然難以獲取到局部細(xì)節(jié)，但是可以恢復(fù)出大致的結(jié)構(gòu)，這將有效提升本文模型的梯度分支帶來(lái)的局部細(xì)節(jié)重建效果，且最終獲得的重建效果從測(cè)試集評(píng)估的結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）評(píng)價(jià)指標(biāo)上看能夠比未經(jīng)過(guò)預(yù)處理時(shí)提高約2個(gè)百分點(diǎn)。

3.3 訓(xùn)練過(guò)程

3.4 與同類(lèi)方法的對(duì)比

將本文提出的方法與當(dāng)前幾種在公開(kāi)數(shù)據(jù)集上的超分辨率、去模糊先進(jìn)算法以及太陽(yáng)斑點(diǎn)同類(lèi)去模糊算法進(jìn)行了比較，其中包括了針對(duì)公開(kāi)數(shù)據(jù)集上的超分辨率模型重建方法SPSR［6］、DRN-L［9］，去模糊模型重建方法DeblurGANv2［16］，以及同樣針對(duì)太陽(yáng)斑點(diǎn)進(jìn)行高清恢復(fù)的模型重建方法Cycle-GAN［19］、Cycle-GAN［20］。

為了將文獻(xiàn)［19-20］方法進(jìn)行區(qū)分，本文將文獻(xiàn)［19］方法表示為Cycle-GAN1，文獻(xiàn)［20］方法表示為Cycle-GAN2。而DeblurGANv2［16］擁有兩個(gè)版本，分別是采用了Mobile 模塊與Inception 模塊構(gòu)造的DeblurGANv2-Mobile 和DeblurGANv2-Inception。此外，本文方法+預(yù)處理表示使用DeblurGANv2-Mobile進(jìn)行圖像預(yù)處理后，再使用本文方法得到的結(jié)果。

3.4.1 定量比較

為了保證對(duì)比的公平性，本文采用了對(duì)比方法研究中均出現(xiàn)過(guò)的評(píng)價(jià)指標(biāo)：峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（SSIM）。定量比較的結(jié)果如表1 所示，可以看出，本文所提出的方法在PSNR 和SSIM 上均取得了較好的結(jié)果。

表1 不同方法在測(cè)試集上的評(píng)估結(jié)果Tab.1 Evaluation results of different methods on test set

3.4.2 定性比較

從更加直觀的角度來(lái)看，本文提出的方法有效接近了目標(biāo)Level1+的重建效果。不同方法的重建結(jié)果如圖5～6所示。

圖5 不同方法的重建結(jié)果對(duì)比Fig.5 Comparison of reconstruction results of different methods

從圖5 中可以發(fā)現(xiàn)，采用的FPN 與梯度引導(dǎo)聯(lián)合的重建方式能夠清晰地還原出圖像的整體輪廓特征且產(chǎn)生極少的偽像。此外，可以從圖6 的局部放大結(jié)果中觀察到，本文方法還原出的局部高頻信息更加接近Level1+圖像，而同樣采用的FPN 構(gòu)造的DeblurGANv2 雖然能夠有效還原出邊緣信息，但是會(huì)丟失細(xì)節(jié)特征。Jia 等［20］雖然在數(shù)據(jù)集上做了很多工作，然而其重建模型的不適應(yīng)性導(dǎo)致生成圖像上的米粒輪廓存在大量的偽像。Ren 等［19］針對(duì)太陽(yáng)斑點(diǎn)特性，將Cycle-GAN 進(jìn)行改進(jìn)后，能夠清晰還原出太陽(yáng)斑點(diǎn)圖像的米粒輪廓特征，但是同樣會(huì)帶來(lái)大量偽像，忽略掉較多的高頻信息。

圖6 不同方法的重建結(jié)果細(xì)節(jié)對(duì)比Fig.6 Detail comparison of reconstruction results of different methods

作為采用梯度引導(dǎo)的重建網(wǎng)絡(luò)，梯度分支的有效性將作為重要的參考依據(jù)。從圖7 輸入圖像的梯度圖可知，對(duì)于太陽(yáng)斑點(diǎn)的模糊圖細(xì)節(jié)獲取難度較大，這也證實(shí)了本文模型的設(shè)計(jì)想法，對(duì)于太陽(yáng)斑點(diǎn)圖像而言，梯度分支想要獲取圖像的特征信息，不能過(guò)于依賴(lài)輸入圖像的原始梯度信息，而需要在解碼器階段的特征信息中逐漸獲取圖像的細(xì)節(jié)，從而梯度分支才能恢復(fù)出有效的梯度去引導(dǎo)重建。

圖7 不同方法的梯度分支信息獲取情況對(duì)比Fig.7 Comparison of gradient branch information acquisition of different methods

經(jīng)過(guò)預(yù)處理之后，模型的梯度分支可以獲取到圖像的有效輪廓特征，與重建圖像的局部細(xì)節(jié)效果一致，梯度分支最終獲取到的梯度結(jié)果同樣比無(wú)預(yù)處理時(shí)更加清晰、準(zhǔn)確。這表明了本文方法的梯度分支能夠正確引導(dǎo)圖像重建。

3.4.3 預(yù)處理方法的比較

從圖6～7 的結(jié)果中可以發(fā)現(xiàn)，采用預(yù)處理之后無(wú)論是重建結(jié)果還是梯度分支的獲取情況都能夠比無(wú)預(yù)處理更加接近Level1+算法重建的結(jié)果，然而使用預(yù)處理也會(huì)花費(fèi)更多的時(shí)間。表2 與圖8 給出了本文模型使用兩種不同預(yù)處理與未使用預(yù)處理時(shí)的結(jié)果比較，可以看出：使用預(yù)處理時(shí)，能夠獲得更好的結(jié)果，但訓(xùn)練時(shí)間會(huì)大幅增加，且Inception 模塊比Mobile 模塊在模型尺寸和訓(xùn)練時(shí)間上都需要花費(fèi)更多開(kāi)銷(xiāo)，評(píng)估指標(biāo)SSIM 卻提高不多；而無(wú)預(yù)處理方法即本文模型在針對(duì)太陽(yáng)斑點(diǎn)圖像時(shí)也能獲得較好的去模糊視覺(jué)效果且節(jié)約大量訓(xùn)練時(shí)間，但會(huì)導(dǎo)致梯度分支的使用率降低，同時(shí)可能會(huì)丟失部分細(xì)節(jié)。因此，在太陽(yáng)斑點(diǎn)圖重建時(shí)，如果原圖有一定輪廓特征，就可使用本文模型進(jìn)行訓(xùn)練，如果原圖無(wú)明顯輪廓、難以獲得有效梯度信息，使用預(yù)處理就可獲得更加精確的去模糊效果。

圖8 不同預(yù)處理方法在不同訓(xùn)練時(shí)間上的SSIM對(duì)比Fig.8 SSIM comparison of different preprocessing methods in different training time

表2 不同預(yù)處理方法的性能比較Tab.2 Performance comparison of different preprocessing methods

3.5 消融實(shí)驗(yàn)

本文所提出的模型梯度分支構(gòu)造在FPN的解碼器階段提取特征，為了驗(yàn)證其有效性，分別對(duì)梯度分支的構(gòu)造方式、去掉梯度分支進(jìn)行了測(cè)試。其中，把梯度分支構(gòu)造在FPN 的編碼器階段與Ma 等［6］的想法近似，但對(duì)于太陽(yáng)斑點(diǎn)圖像而言，在輸入圖中難以獲取有效原始梯度信息，因此梯度分支得到的結(jié)果并不理想，可參考表3與圖9。而將本文模型的梯度分支去掉以后，模型將退化為近似Kupyn等［16］提出的結(jié)構(gòu)。

表3 不同梯度分支構(gòu)造帶來(lái)的影響Tab.3 Impact of different gradient branch structures

圖9 不同梯度分支構(gòu)造方式結(jié)果對(duì)比Fig.9 Results comparison of different gradient branch construction methods

3.6 公開(kāi)數(shù)據(jù)集對(duì)比結(jié)果

為了驗(yàn)證所提出的模型是否在常規(guī)模糊中同樣適用，本文同樣在公開(kāi)的模糊數(shù)據(jù)集中進(jìn)行比較。選取的公開(kāi)數(shù)據(jù)集有DVD 數(shù)據(jù)集與GOPRO 數(shù)據(jù)集，定量評(píng)估結(jié)果如表4～5 所示，定性評(píng)估結(jié)果如圖10～11所示。

其中，DVD 數(shù)據(jù)集上選取的比較算法為DeblurGANv2［16］的兩個(gè)版本算法，GOPRO 數(shù)據(jù)集上還選取了額外三種去模糊算法［24-26］，下面首先對(duì)這三種算法進(jìn)行簡(jiǎn)要介紹。

3.6.1 額外對(duì)比方法

1）結(jié)合深度學(xué)習(xí)的非均勻運(yùn)動(dòng)模糊去除（Deep Learning a convolutional neural network for non-uniform motion blur removal，DL）模型［24］。首先，該算法使用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)斑塊大小的非均勻運(yùn)動(dòng)模糊核場(chǎng)；隨后，使用馬爾可夫隨機(jī)場(chǎng)模型來(lái)修正估計(jì)的模糊核場(chǎng)的結(jié)果；最后，使用反卷積方法清除非均勻運(yùn)動(dòng)模糊。

2）用于運(yùn)動(dòng)去模糊的深度多尺度卷積神經(jīng)網(wǎng)絡(luò)（Deep multi-scale convolutional neural network for dynamic scene Deblurring，DeepDeblur）［25］。該算法將模糊圖分成三個(gè)不同尺度大小的圖像，逐級(jí)輸入三個(gè)不同的卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)間使用上采樣層將不同特征連接在一起，得到較好視覺(jué)效果的重建圖像。

3）用于深度圖像去模糊的尺度遞歸網(wǎng)絡(luò)（Scale-Recurrent Network for deep image deblurring，SRN）［26］。與DeepDeblur［25］算法相似，首先，該算法構(gòu)造了三個(gè)不同尺度的編碼器-解碼器結(jié)構(gòu)；隨后，將模糊圖分成三個(gè)不同尺度大小的圖像，逐級(jí)輸入編碼器-解碼器當(dāng)中；最后，通過(guò)上采樣連接不同尺度的特征圖像，得到最終的重建結(jié)果。

3.6.2 評(píng)估結(jié)果

在表4～5 以及圖10～11 中可以看到，本文所提出的模型在公開(kāi)數(shù)據(jù)集中也具有一定的競(jìng)爭(zhēng)力，能夠有效恢復(fù)出圖像局部細(xì)節(jié)。同時(shí)，從評(píng)估結(jié)果中也看出，本文所提出的預(yù)處理方法在評(píng)估指標(biāo)上沒(méi)有明顯提升，這是因?yàn)楣_(kāi)數(shù)據(jù)集的模糊圖像均具有明顯的梯度特征，無(wú)需進(jìn)行預(yù)處理操作。本文方法需要預(yù)處理是因?yàn)樘?yáng)斑點(diǎn)圖像的特殊模糊性質(zhì)導(dǎo)致其不具有明顯梯度特征，若直接將其模糊特征輸入到梯度分支當(dāng)中，梯度分支很難捕獲有效的邊緣細(xì)節(jié)，在最后聯(lián)合梯度分支結(jié)果與FPN 結(jié)果進(jìn)行重建時(shí)，無(wú)效的梯度分支結(jié)果將會(huì)影響模型計(jì)算。

表4 不同方法在DVD數(shù)據(jù)集上的評(píng)估結(jié)果Tab.4 Evaluation results of different methods on DVD dataset

表5 不同方法在GOPRO數(shù)據(jù)集上的評(píng)估結(jié)果Tab.5 Evaluation results of different methods on GOPRO dataset

圖10 不同方法在公開(kāi)數(shù)據(jù)集上的重建結(jié)果對(duì)比（圖像1）Fig.10 Reconstruction result comparison of different methods on public datasets（Image 1）

圖11 不同方法在公開(kāi)數(shù)據(jù)集上的重建結(jié)果對(duì)比（圖像2）Fig.11 Reconstruction result comparison of different methods on public datasets（Image 2）

4 結(jié)語(yǔ)

本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的FPN框架與梯度引導(dǎo)聯(lián)合的去模糊方法，能夠有效重建受大氣湍流、光學(xué)系統(tǒng)的熱變形和重力變形等影響的太陽(yáng)斑點(diǎn)圖像。針對(duì)梯度分支難以獲取原圖像梯度的情況可采用預(yù)處理先行去模糊的方法以獲得更加有效的梯度信息。在損失函數(shù)上采用了平均絕對(duì)值誤差作為像素內(nèi)容損失來(lái)對(duì)局部細(xì)節(jié)進(jìn)行重建，而對(duì)抗損失采用了Kupyn等［16］建議使用的平均相對(duì)性最小二乘對(duì)抗損失以獲得更高質(zhì)量的感知圖像。實(shí)驗(yàn)結(jié)果表明，本文所提出的模型在太陽(yáng)斑點(diǎn)圖像的恢復(fù)上具有很強(qiáng)的能力，其視覺(jué)質(zhì)量和評(píng)估指標(biāo)明顯優(yōu)于其他對(duì)比深度學(xué)習(xí)模型在太陽(yáng)斑點(diǎn)圖像上的重建效果。

盡管本文所提的方法從視覺(jué)上能夠非常逼近云南天文臺(tái)所采用的Level1+算法結(jié)果，然而它也同樣會(huì)將Level1+算法重建中帶來(lái)的偽像一并進(jìn)行學(xué)習(xí)。在未來(lái)的工作中，將嘗試引入無(wú)監(jiān)督的方式對(duì)太陽(yáng)斑點(diǎn)圖像進(jìn)行重建，減少對(duì)Level1+算法結(jié)果的依賴(lài)性，重建出更高質(zhì)量、更接近真實(shí)的太陽(yáng)斑點(diǎn)圖像。