結(jié)合GAN和風(fēng)格遷移的太陽(yáng)斑點(diǎn)圖重建方法

黃亞群,羅 俊*,蔣慕蓉,楊 磊,鄭培煜

(1.云南大學(xué) 信息學(xué)院,云南 昆明 650500;2.中國(guó)科學(xué)院云南天文臺(tái),云南 昆明 650011)

0 引 言

太陽(yáng)活動(dòng)會(huì)影響無(wú)線電短波通訊,太陽(yáng)噴射出的高能電磁輻射會(huì)對(duì)無(wú)電磁保護(hù)的電力設(shè)備造成巨大影響。使用地基望遠(yuǎn)鏡對(duì)太陽(yáng)表面進(jìn)行實(shí)時(shí)觀測(cè)和分析,從而提前預(yù)警、降低損失。由于大氣湍流擾動(dòng)的影響,地基望遠(yuǎn)鏡得到的太陽(yáng)圖片是模糊的,這些低分辨率圖片難以直接分析,因此需要進(jìn)行圖像超分辨率重建處理。傳統(tǒng)的太陽(yáng)斑點(diǎn)圖重建方法主要有斑點(diǎn)成像術(shù)、斑點(diǎn)掩模法[1]、多幀盲反卷積法和選幀位移疊加法(Level1+)[2],這些方法需要大氣統(tǒng)計(jì)特性、大氣視寧度等較多的先驗(yàn)知識(shí),以及較多的圖像幀數(shù),以致重建過(guò)程計(jì)算量大、耗時(shí)長(zhǎng),不能滿足太陽(yáng)觀測(cè)的實(shí)時(shí)需求。

現(xiàn)有深度學(xué)習(xí)超分辨率重建方法對(duì)細(xì)節(jié)模糊、特征單一的低分辨率太陽(yáng)斑點(diǎn)圖的重建效果較差,重建結(jié)果會(huì)出現(xiàn)偽影、部分高頻信息丟失等問(wèn)題。為解決這些問(wèn)題,崔雯昊等[3]在Cycle-GAN的基礎(chǔ)上加入VGG對(duì)圖像進(jìn)行深度特征提取,然后使用改進(jìn)的Cycle-GAN對(duì)低分辨率太陽(yáng)斑點(diǎn)圖進(jìn)行重建,并對(duì)重建結(jié)果進(jìn)行圖像融合;李福海等[4]同樣使用GAN并結(jié)合梯度引導(dǎo)對(duì)太陽(yáng)斑點(diǎn)圖進(jìn)行重建,使用梯度引導(dǎo)有效地還原了圖像細(xì)節(jié),防止重建圖像發(fā)生幾何變形。二者都有較好的重建效果,由于他們采用的都是有監(jiān)督深度學(xué)習(xí)方法,所以數(shù)據(jù)集中高分辨率圖像的質(zhì)量決定了重建圖像的質(zhì)量,重建結(jié)果的上限被數(shù)據(jù)集所限制。然而現(xiàn)有Level1+數(shù)據(jù)集中的高分辨率太陽(yáng)斑點(diǎn)圖的分辨率并不高,同時(shí)理想的高分辨率太陽(yáng)斑點(diǎn)圖原圖數(shù)量極少,無(wú)法作為有效的數(shù)據(jù)集,不能用于網(wǎng)絡(luò)訓(xùn)練。因此,要使重建結(jié)果達(dá)到理想效果,就應(yīng)該合理使用分辨率不是最高但可以直接用于網(wǎng)絡(luò)訓(xùn)練的Level1+數(shù)據(jù)集,以及因數(shù)量極少且沒(méi)有與之對(duì)應(yīng)的低分辨率圖而不能用于網(wǎng)絡(luò)訓(xùn)練的太陽(yáng)斑點(diǎn)圖原圖。

基于對(duì)上述問(wèn)題的分析,該文在NICE-GAN[5](沒(méi)有獨(dú)立編碼器的生成對(duì)抗網(wǎng)絡(luò))的基礎(chǔ)上結(jié)合風(fēng)格遷移網(wǎng)絡(luò)[6],提出一種太陽(yáng)斑點(diǎn)圖超分辨率重建網(wǎng)絡(luò)STYLE-NICE-GAN,恢復(fù)全局輪廓與高頻信息,提高圖片分辨率。首先,將低分辨率太陽(yáng)斑點(diǎn)圖和Level1+高分辨率太陽(yáng)斑點(diǎn)圖作為數(shù)據(jù)集,用于訓(xùn)練NICE-GAN,使NICE-GAN的重建結(jié)果達(dá)到數(shù)據(jù)集Level1+的效果,恢復(fù)全局輪廓與部分細(xì)節(jié);其次,考慮到太陽(yáng)斑點(diǎn)圖特征單一、圖片間相似度極高的特點(diǎn),利用圖片質(zhì)量比Level1+數(shù)據(jù)集更好的太陽(yáng)斑點(diǎn)圖原圖[2],對(duì)NICE-GAN的重建結(jié)果進(jìn)行風(fēng)格遷移,提高局部細(xì)節(jié)的清晰度及整體的對(duì)比度。實(shí)驗(yàn)結(jié)果表明:相較Level1+法和現(xiàn)有深度學(xué)習(xí)超分辨率重建方法,該方法重建得到的高分辨率太陽(yáng)斑點(diǎn)圖,具有細(xì)節(jié)清晰、偽影較少、高頻信息明顯等優(yōu)點(diǎn)。

1 網(wǎng)絡(luò)模型

STYLE-NICE-GAN網(wǎng)絡(luò)由兩部分組成,一部分是NICE-GAN網(wǎng)絡(luò),另一部分是風(fēng)格遷移網(wǎng)絡(luò),為更好地描述STYLE-NICE-GAN網(wǎng)絡(luò)結(jié)構(gòu),先分別介紹兩個(gè)子網(wǎng)絡(luò),然后給出整體網(wǎng)絡(luò)結(jié)構(gòu)。

1.1 對(duì)NICE-GAN的改進(jìn)

NICE-GAN[5]是一種實(shí)現(xiàn)圖像轉(zhuǎn)換的生成對(duì)抗網(wǎng)絡(luò),可以實(shí)現(xiàn)貓狗和斑馬與馬等的轉(zhuǎn)換,在有成對(duì)的Level1+數(shù)據(jù)集的情況下,使用NICE-GAN捕捉低分辨率太陽(yáng)斑點(diǎn)圖到高分辨率太陽(yáng)斑點(diǎn)圖的映射關(guān)系,恢復(fù)出太陽(yáng)斑點(diǎn)圖全局輪廓和部分細(xì)節(jié)。NICE-GAN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,包括G、F兩個(gè)生成器以及DX、DY兩個(gè)鑒別器,其中生成器G生成Y領(lǐng)域的高分辨率圖,生成器F生成X領(lǐng)域的低分辨率圖,鑒別器DX鑒別圖像是X領(lǐng)域的圖像,鑒別器DY鑒別圖像是Y領(lǐng)域的圖像,G(x)、F(y)是生成的重建圖像,x、y是參考圖像。

圖1 NICE-GAN網(wǎng)絡(luò)結(jié)構(gòu)

由于NICE-GAN網(wǎng)絡(luò)最初是為現(xiàn)實(shí)生活中的圖像轉(zhuǎn)換而設(shè)計(jì)的,這些圖與太陽(yáng)斑點(diǎn)圖存在區(qū)別,因此,該文改進(jìn)了NICE-GAN的損失函數(shù),使它有利于太陽(yáng)斑點(diǎn)圖的重建。

(1)重建損失。

基于深度學(xué)習(xí)的超分辨率重建方法為了矯正重建圖像的顏色和紋理特征,一般使用均方差損失函數(shù),但這樣會(huì)使重建圖像的局部細(xì)節(jié)過(guò)于平滑,違背該文的重建目標(biāo)。因此,該文使用絕對(duì)值損失作為重建損失函數(shù),在保證重建圖像與目標(biāo)圖像具有相似輪廓的同時(shí),使重建圖像的局部細(xì)節(jié)不會(huì)過(guò)于平滑。

X領(lǐng)域圖像生成Y領(lǐng)域圖像的重建損失公式如式(1)所示:

(1)

Y領(lǐng)域圖像生成X領(lǐng)域圖像的重建損失公式如式(2)所示:

(2)

其中,Ey～Y代表目標(biāo)(高分辨率)分布,Ex～X代表重建(低分辨率)分布,下同。

重建損失公式如式(3)所示:

(3)

(2)對(duì)抗損失。

為了使訓(xùn)練更加穩(wěn)定以及得到高質(zhì)量的重建結(jié)果,該文使用相對(duì)性最小二乘對(duì)抗損失[7],它能夠獲取質(zhì)量更高的感知效果與更加逼真的高頻信息。

X領(lǐng)域圖像生成Y領(lǐng)域圖像的對(duì)抗損失公式如式(4)所示:

Ex～X[(1-Dy(Gx→y(x)))2]

(4)

Y領(lǐng)域圖像生成X領(lǐng)域圖像的對(duì)抗損失公式如式(5)所示:

Ey～Y[(1-Dx(Fy→x(y)))2]

(5)

對(duì)抗損失公式如式(6)所示:

(6)

由于使用相對(duì)性對(duì)抗損失,此處鑒別器的目標(biāo)為鑒別一張圖片比另一張圖片更加真實(shí)的概率,隨著訓(xùn)練迭代次數(shù)的增加,Dy(Gx→y(x))和Dx(Fy→x(y))將會(huì)提高,而D(x)和D(y)則會(huì)下降,最終兩者達(dá)到平衡。

(3)循環(huán)一致性損失。

僅僅是重建損失和對(duì)抗損失并不能保證所學(xué)習(xí)的映射函數(shù)將單個(gè)輸入的X領(lǐng)域圖像映射到所需的Y領(lǐng)域輸出圖像。為了避免網(wǎng)絡(luò)把部分X(或Y)領(lǐng)域圖像轉(zhuǎn)換為Y(或X)領(lǐng)域圖像中的同一張圖像,并進(jìn)一步減少可能存在的映射函數(shù)空間,所學(xué)習(xí)的映射函數(shù)應(yīng)該是循環(huán)一致的,如圖1所示。

對(duì)X領(lǐng)域的每張圖像x,圖像生成周期應(yīng)該能夠?qū)帶回到原始圖像,x≈Fy→x(Gx→y(x));類似地,對(duì)Y領(lǐng)域的每張圖像y,應(yīng)滿足y≈Gx→y(Fy→x(y))。為了達(dá)到以上目的,該文使用循環(huán)一致性損失[8],為避免重建結(jié)果過(guò)于平滑,循環(huán)一致性損失使用絕對(duì)值損失函數(shù)。

X領(lǐng)域圖像生成Y領(lǐng)域圖像的循環(huán)一致性損失公式如式(7)所示:

(7)

Y領(lǐng)域圖像生成X領(lǐng)域圖像的循環(huán)一致性損失公式如式(8)所示:

(8)

循環(huán)一致性損失公式如式(9)所示:

(9)

(4)總損失函數(shù)。

訓(xùn)練過(guò)程總損失由式(3)、式(6)、式(9)所述的三類損失加權(quán)構(gòu)成,其中重建損失和循環(huán)一致性損失解決了不可識(shí)別性問(wèn)題,NICE-GAN網(wǎng)絡(luò)的總損失函數(shù)如式(10)所示:

Lall=λ1Lrec+λ2Lgan+λ3Lcyc

(10)

其中,λ1、λ2、λ3是三類損失函數(shù)的權(quán)重值。

1.2 風(fēng)格遷移

雖然低分辨率太陽(yáng)斑點(diǎn)圖經(jīng)過(guò)NICE-GAN的重建后,重建結(jié)果已經(jīng)恢復(fù)了全局輪廓和部分細(xì)節(jié),但重建結(jié)果的分辨率依然不高,還有模糊的部分,與理想的太陽(yáng)斑點(diǎn)圖原圖還存在一定距離,重建結(jié)果還有上升空間,然而現(xiàn)有Level1+數(shù)據(jù)集已經(jīng)是分辨率最高的數(shù)據(jù)集,同時(shí)太陽(yáng)斑點(diǎn)圖原圖數(shù)量極少且沒(méi)有與之對(duì)應(yīng)的低分辨率圖,所以無(wú)法作為數(shù)據(jù)集參與網(wǎng)絡(luò)訓(xùn)練。

Gatys L A等[6]在2015年首次提出使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行風(fēng)格遷移,文中提出卷積神經(jīng)網(wǎng)絡(luò)的低層特征一般是輸入圖像的位置信息,高層特征一般是輸入圖像的像素信息,對(duì)不同圖像進(jìn)行位置信息與像素信息的融合,即可實(shí)現(xiàn)圖像的風(fēng)格遷移。用于訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò)的數(shù)據(jù)集是不成對(duì)的,而且風(fēng)格圖和內(nèi)容圖的風(fēng)格特征和內(nèi)容特征都差異明顯,同時(shí)遷移后的結(jié)果圖很好地保留了風(fēng)格圖的風(fēng)格特征和內(nèi)容圖的內(nèi)容特征。

因此,可以使用公開(kāi)數(shù)據(jù)集去訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò),使之可以保證內(nèi)容特征不丟失和風(fēng)格特征完整體現(xiàn),然后使用風(fēng)格遷移網(wǎng)絡(luò)結(jié)合少量的太陽(yáng)斑點(diǎn)圖原圖對(duì)NICE-GAN的重建結(jié)果進(jìn)行無(wú)監(jiān)督二次重建,這樣可以規(guī)避因太陽(yáng)斑點(diǎn)圖原圖數(shù)量極少且沒(méi)有與之對(duì)應(yīng)的低分辨率圖而無(wú)法作為數(shù)據(jù)集參與網(wǎng)絡(luò)訓(xùn)練但在實(shí)際重建過(guò)程中又要參考它們的難點(diǎn)。

文中風(fēng)格遷移網(wǎng)絡(luò)采用基于特征計(jì)算的思想,與AdaIN[9]/WCT[10]類似,使用自動(dòng)編碼器和解碼器的結(jié)構(gòu),如圖2所示。風(fēng)格圖和內(nèi)容圖二者的風(fēng)格特征及內(nèi)容特征一般是完全不同的,如果二者的風(fēng)格特征和內(nèi)容特征高度相似,只是分辨率有差異,此時(shí)對(duì)二者進(jìn)行風(fēng)格遷移,可以作為圖像重建的一種方法。文中方法基于此想法并借鑒Level1+多幀重和圖像融合[3]而提出。

圖2 風(fēng)格遷移網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 編碼器和解碼器

文中風(fēng)格遷移網(wǎng)絡(luò)使用編碼器提取內(nèi)容圖和風(fēng)格圖各自的特征矩陣Fc(內(nèi)容特征矩陣)和Fs(風(fēng)格特征矩陣),將內(nèi)容圖的特征矩陣Fc進(jìn)行壓縮后,與風(fēng)格遷移矩陣T進(jìn)行矩陣相乘,再進(jìn)行解壓,得到遷移后的特征矩陣Fd,對(duì)Fd進(jìn)行解碼,得到風(fēng)格遷移后的圖像。

編碼器和解碼器都是預(yù)訓(xùn)練好的,編碼器的結(jié)構(gòu)和VGG19網(wǎng)絡(luò)的前幾層一樣,解碼器的結(jié)構(gòu)與編碼器的結(jié)構(gòu)是對(duì)稱的,編碼和解碼的部分過(guò)程如圖3所示。圖2中風(fēng)格遷移網(wǎng)絡(luò)部分的壓縮步驟C和解壓步驟U是需要學(xué)習(xí)的,壓縮和解壓保證使用編碼器的不同層的特征時(shí),解碼器能接收到維度相同的特征,這兩個(gè)步驟均采用普通的卷積實(shí)現(xiàn)。

圖3 風(fēng)格遷移網(wǎng)絡(luò)的編碼、解碼過(guò)程

在編碼過(guò)程中,通過(guò)卷積層提取內(nèi)容圖和風(fēng)格圖的特征,再利用池化層進(jìn)行下采樣,降低圖像的尺寸,使得后續(xù)卷積層提取維度更小的內(nèi)容圖和風(fēng)格圖的特征。解碼過(guò)程中,通過(guò)卷積層不斷融合及還原內(nèi)容圖和風(fēng)格圖的特征,再利用池化層進(jìn)行上采樣,提高圖像的尺寸,確保生成圖與內(nèi)容圖的尺寸一致。

1.2.2 風(fēng)格遷移矩陣

為實(shí)現(xiàn)任意圖像的風(fēng)格遷移,使在公共數(shù)據(jù)集上能較好融合內(nèi)容特征和風(fēng)格特征的風(fēng)格遷移網(wǎng)絡(luò),在太陽(yáng)斑點(diǎn)圖上也有好的遷移效果,該文使用風(fēng)格遷移矩陣T[11]融合內(nèi)容圖和風(fēng)格圖的特征。由于該文重點(diǎn)關(guān)注內(nèi)容特征的不丟失,所以使用風(fēng)格遷移矩陣T和內(nèi)容特征矩陣Fc的乘積作為最終的融合結(jié)果Fd。Fd是風(fēng)格遷移后的特征矩陣,如式(11)所示:

Fd=TFc

(11)

其中,風(fēng)格遷移矩陣T是Li X等[11]在19年提出的快速風(fēng)格遷移模塊,只使用內(nèi)容特征Fc和風(fēng)格特征Fs即可計(jì)算出,使網(wǎng)絡(luò)可以對(duì)任意的圖像和風(fēng)格進(jìn)行遷移。

1.2.3 風(fēng)格遷移網(wǎng)絡(luò)的損失函數(shù)

風(fēng)格遷移網(wǎng)絡(luò)的損失函數(shù)由內(nèi)容損失和風(fēng)格損失加權(quán)求和得到,為矯正生成圖的顏色和紋理特征,二者都以均方差損失作為損失函數(shù),內(nèi)容損失是生成圖與內(nèi)容圖的內(nèi)容特征Fd和Fc做均方差,風(fēng)格損失由風(fēng)格圖和生成圖的不同層Gram矩陣的均方差損失加權(quán)求和得到,內(nèi)容損失Lc和風(fēng)格損失Ls分別如式(12)、式(13)所示:

Lc=(Fd-Fc)2

(12)

(13)

其中,wl為第l層網(wǎng)絡(luò)的權(quán)重,El為第l層的風(fēng)格損失,El如式(14)所示:

(14)

風(fēng)格遷移網(wǎng)絡(luò)的總損失如式(15)所示:

Lall=αLc+βLs

(15)

其中,α、β是分別調(diào)節(jié)內(nèi)容特征和風(fēng)格特征的損失函數(shù)的權(quán)重。

1.3 STYLE-NICE-GAN

由于該文的研究目的是太陽(yáng)斑點(diǎn)圖高分辨率重建,所以在實(shí)際應(yīng)用中只用到了NICE-GAN的生成器G模塊,該模塊捕捉了低分辨率太陽(yáng)斑點(diǎn)圖到高分辨率太陽(yáng)斑點(diǎn)圖的映射關(guān)系并生成高分辨率圖片,所以將NICE-GAN的生成器G與風(fēng)格遷移網(wǎng)絡(luò)結(jié)合成STYLE-NICE-GAN網(wǎng)絡(luò),結(jié)構(gòu)如圖4所示。

圖4 STYLE-NICE-GAN網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)分析

由于NICE-GAN網(wǎng)絡(luò)和風(fēng)格遷移網(wǎng)絡(luò)的訓(xùn)練目標(biāo)有所不同,所以二者的訓(xùn)練數(shù)據(jù)集是不同的,因此二者需要分開(kāi)訓(xùn)練,在訓(xùn)練完成后,再組成STYLE-NICE-GAN網(wǎng)絡(luò),對(duì)太陽(yáng)斑點(diǎn)圖進(jìn)行重建。

2.1 數(shù)據(jù)集

NICE-GAN網(wǎng)絡(luò)是有監(jiān)督學(xué)習(xí),風(fēng)格遷移網(wǎng)絡(luò)是無(wú)監(jiān)督學(xué)習(xí),二者的訓(xùn)練目標(biāo)有所不同,NICE-GAN網(wǎng)絡(luò)使重建結(jié)果盡可能與Level1+一致,風(fēng)格遷移網(wǎng)絡(luò)使重建結(jié)果內(nèi)容不丟失和風(fēng)格完整表現(xiàn),所以分別構(gòu)造兩個(gè)網(wǎng)絡(luò)所需要的數(shù)據(jù)集。

該文使用云南天文臺(tái)提供的數(shù)據(jù)作為訓(xùn)練NICE-GAN網(wǎng)絡(luò)的數(shù)據(jù)集,使用MS-COCO[12]數(shù)據(jù)集和WikiArt[13]數(shù)據(jù)集作為訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò)的數(shù)據(jù)集。NICE-GAN網(wǎng)絡(luò)的數(shù)據(jù)集包括重建選幀算法得到的22 000張模糊圖blur和使用Level1+算法得到對(duì)應(yīng)的22 000張清晰圖Level1+。在訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò)的數(shù)據(jù)集中,MS-COCO數(shù)據(jù)集作為內(nèi)容圖,該文使用約4萬(wàn)張圖;WikiArt數(shù)據(jù)集作為風(fēng)格圖,該文使用約4萬(wàn)張圖。

考慮到以下因素,風(fēng)格遷移網(wǎng)絡(luò)使用公共數(shù)據(jù)集:已有的Level1+數(shù)據(jù)集不夠清晰,訓(xùn)練效果不好,同時(shí)又沒(méi)有足以形成數(shù)據(jù)集的高清太陽(yáng)斑點(diǎn)圖原圖;公共數(shù)據(jù)集中圖像的紋理復(fù)雜、類別眾多,如果在公共數(shù)據(jù)集上,內(nèi)容和風(fēng)格能取得很好的平衡,那么在紋理和種類都比較單一的太陽(yáng)斑點(diǎn)圖也能取得一定效果。

不同分辨率的太陽(yáng)斑點(diǎn)圖如圖5所示,其中blur、Level1+組成數(shù)據(jù)對(duì),用于訓(xùn)練NICE-GAN網(wǎng)絡(luò),原圖由于數(shù)量極少且沒(méi)有與之對(duì)應(yīng)的低分辨率圖,故只作為風(fēng)格遷移過(guò)程中的風(fēng)格圖,不參與任何網(wǎng)絡(luò)的訓(xùn)練。

圖5 不同分辨率的太陽(yáng)斑點(diǎn)圖

2.2 網(wǎng)絡(luò)訓(xùn)練

2.2.1 NICE-GAN網(wǎng)絡(luò)訓(xùn)練

該文使用Adam作為NICE-GAN網(wǎng)絡(luò)的參數(shù)優(yōu)化算法,生成器和鑒別器的初始學(xué)習(xí)率均設(shè)置為0.000 1,訓(xùn)練迭代100 000次,重建損失、對(duì)抗損失和循環(huán)一致性損失的權(quán)重值λ1、λ2、λ3分別設(shè)置為10、1、10。

訓(xùn)練時(shí)將數(shù)據(jù)集blur和數(shù)據(jù)集Level1+輸入NICE-GAN網(wǎng)絡(luò),網(wǎng)絡(luò)在初始訓(xùn)練時(shí)學(xué)習(xí)率保持不變,經(jīng)過(guò)反復(fù)訓(xùn)練,學(xué)習(xí)率呈線性下降趨勢(shì),最終趨于0;當(dāng)學(xué)習(xí)率達(dá)到預(yù)設(shè)值時(shí),停止訓(xùn)練,最終得到兩個(gè)數(shù)據(jù)集之間的映射關(guān)系,即數(shù)據(jù)集blur中的低分辨率太陽(yáng)斑點(diǎn)圖經(jīng)過(guò)NICE-GAN網(wǎng)絡(luò)重建后與數(shù)據(jù)集Level1+中對(duì)應(yīng)的高分辨率太陽(yáng)斑點(diǎn)圖一致。

2.2.2 風(fēng)格遷移網(wǎng)絡(luò)訓(xùn)練

該文使用Adam作為風(fēng)格遷移網(wǎng)絡(luò)的參數(shù)優(yōu)化算法,初始學(xué)習(xí)率設(shè)置為0.000 1,訓(xùn)練迭代100 000次,用于調(diào)節(jié)內(nèi)容特征和風(fēng)格特征損失函數(shù)權(quán)重的α和β,一般設(shè)為0.5和0.5,因?yàn)樵撐膹?qiáng)調(diào)內(nèi)容特征的不丟失,所以設(shè)置為1和0.01。

訓(xùn)練時(shí)將數(shù)據(jù)集MS-COCO和數(shù)據(jù)集WikiArt輸入到風(fēng)格遷移網(wǎng)絡(luò),網(wǎng)絡(luò)訓(xùn)練方法為最小化損失函數(shù),當(dāng)損失函數(shù)值達(dá)到理想值時(shí),停止訓(xùn)練,最終重建圖達(dá)到內(nèi)容和風(fēng)格的完美平衡,即在重建圖中內(nèi)容特征不丟失和風(fēng)格特征完整表現(xiàn)。

2.3 太陽(yáng)斑點(diǎn)圖重建結(jié)果

將NICE-GAN的重建結(jié)果作為風(fēng)格遷移網(wǎng)絡(luò)的內(nèi)容圖,少量太陽(yáng)斑點(diǎn)圖原圖作為風(fēng)格圖,這樣的重建結(jié)果包含了太陽(yáng)斑點(diǎn)圖的全局特征和局部細(xì)節(jié),同時(shí)圖片整體得到了增強(qiáng),清晰度和對(duì)比度都有所提高。為了驗(yàn)證文中方法的有效性,將其與當(dāng)前幾種用于太陽(yáng)斑點(diǎn)圖超分辨率重建的方法SRGAN[14]、SPSR[15]、CycleGAN[16]、DeblurGAN[17]進(jìn)行比較,并使用有參考圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)SSIM、PSNR和無(wú)參考圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)BRISQUE、NIQE、PIQE對(duì)重建結(jié)果進(jìn)行客觀評(píng)價(jià)。

由于缺少真正的太陽(yáng)斑點(diǎn)圖原圖,所以文中方法和對(duì)比方法重建結(jié)果的參照對(duì)象是Level1+方法重建結(jié)果,這也導(dǎo)致文中方法重建結(jié)果的客觀評(píng)價(jià)并不占優(yōu);因?yàn)镾SIM是從亮度、結(jié)構(gòu)和對(duì)比度這三個(gè)維度去評(píng)價(jià)兩幅圖片的相似度,而太陽(yáng)斑點(diǎn)圖更側(cè)重于后兩個(gè)維度,亮度的影響可以忽略不計(jì),所以SSIM不能很好地評(píng)價(jià)文中方法的重建結(jié)果。

為了更好地對(duì)文中方法進(jìn)行評(píng)價(jià)以及解決該方法重建結(jié)果的亮度與對(duì)應(yīng)Level1+圖不同的問(wèn)題,使用傅里葉變換對(duì)文中方法的重建結(jié)果進(jìn)行重構(gòu),處理過(guò)程如圖6所示。

圖6 傅里葉變換重構(gòu)

由圖6可知,對(duì)文中方法的重建結(jié)果進(jìn)行傅里葉變換重構(gòu):使用傅里葉變換將Level1+方法和文中方法的重建結(jié)果在空域中的信息映射至頻域空間,得到二者的幅度譜以及相位譜,其中幅度譜代表的是圖像各像素點(diǎn)的亮度信息,即該像素應(yīng)該顯示什么顏色,但是幅度譜不包含每一點(diǎn)在原圖像中的具體位置;相位譜記錄的是所有點(diǎn)的相位信息,看起來(lái)相位譜是一團(tuán)噪聲,但它非常重要,因?yàn)橄辔恍畔⒅袛y帶著圖像的位置信息,結(jié)合圖像的幅度譜和相位譜即可得到圖像原本的信息,結(jié)合文中方法重建結(jié)果的相位譜與Level1+方法重建結(jié)果的幅度譜重構(gòu)圖像,即結(jié)合文中方法重建結(jié)果的位置信息和Level1+方法重建結(jié)果的顏色信息。

使用SSIM和PSNR進(jìn)行有參考評(píng)價(jià)時(shí),參考圖像為L(zhǎng)evel1+方法得到的重建圖像,因?yàn)樗哂辛己玫目山忉屝?是目前主流的太陽(yáng)圖像重建方法。不同方法的重建結(jié)果、有參考評(píng)價(jià)結(jié)果、無(wú)參考評(píng)價(jià)結(jié)果分別由圖7、表1、表2所示。

圖7 不同方法的重建結(jié)果對(duì)比

由圖7和表1可知,雖然文中方法在未經(jīng)傅里葉變換重構(gòu)處理前,評(píng)價(jià)數(shù)值比其他方法低,但經(jīng)過(guò)處理后,評(píng)價(jià)數(shù)值明顯提高,重建結(jié)果與Level1+方法重建結(jié)果非常接近,SSIM和PSNR均有不錯(cuò)的評(píng)價(jià)值,超過(guò)了大部分方法,與最優(yōu)秀的方法處于同一水平。由此可以判斷,文中方法保留了太陽(yáng)斑點(diǎn)圖的局部細(xì)節(jié)和高頻信息,不會(huì)影響后續(xù)的科學(xué)分析。

表1 不同方法的有參考評(píng)價(jià)結(jié)果

表2 不同方法的無(wú)參考評(píng)價(jià)結(jié)果

由表2可知,文中方法在三種無(wú)參考評(píng)價(jià)指標(biāo)(這三種評(píng)價(jià)指標(biāo)數(shù)值越小表明圖像質(zhì)量越高)上的評(píng)價(jià)值均優(yōu)于其他方法,包括Level1+方法,這說(shuō)明文中方法在一定程度上優(yōu)于目前最好的Level1+方法。文中方法和Level1+方法重建結(jié)果的對(duì)比如圖8所示。

圖8 文中方法與Level1+方法結(jié)果對(duì)比

由圖8可知,文中方法與目前最優(yōu)秀的Level1+方法的重建結(jié)果相比,整體輪廓不變,同時(shí)保留了太陽(yáng)斑點(diǎn)圖最重要的局部細(xì)節(jié)和高頻信息,如圖8(c)、圖8(d)兩行所示,經(jīng)過(guò)傅里葉變換重構(gòu)的文中方法重建結(jié)果在SSIM和PSNR上的評(píng)價(jià)也證明了這一點(diǎn),這使得后續(xù)的分析不受影響,而且圖片整體得到了增強(qiáng),重建結(jié)果的清晰度和對(duì)比度都有所提高,視覺(jué)效果得到改善。不同方法的效率比較如表3所示,由表3可知,與其他方法相比,文中方法重建每百?gòu)垐D片耗時(shí)最少,效率最高。

表3 不同方法的效率比較

3 結(jié)束語(yǔ)

該文提出一種結(jié)合生成對(duì)抗網(wǎng)絡(luò)和風(fēng)格遷移網(wǎng)絡(luò)的太陽(yáng)斑點(diǎn)圖超分辨率重建方法STYLE-NICE-GAN,使用NICE-GAN網(wǎng)絡(luò),在有監(jiān)督學(xué)習(xí)下,重建高分辨率太陽(yáng)斑點(diǎn)圖;使用風(fēng)格遷移網(wǎng)絡(luò),在無(wú)監(jiān)督學(xué)習(xí)下,對(duì)NICE-GAN網(wǎng)絡(luò)的重建結(jié)果進(jìn)行二次重建。實(shí)驗(yàn)結(jié)果表明,該方法對(duì)于太陽(yáng)斑點(diǎn)圖有很強(qiáng)的超分辨率重建能力,在不影響后續(xù)分析的前提下,視覺(jué)效果優(yōu)于作為參考圖的Level1+方法,評(píng)價(jià)指標(biāo)也優(yōu)于其他深度學(xué)習(xí)方法。

該方法雖然取得一定成果,但在數(shù)據(jù)預(yù)處理和風(fēng)格遷移網(wǎng)絡(luò)方面仍有改進(jìn)空間。對(duì)于前者,使用圖像融合并結(jié)合多張低分辨率圖,生成具有更多信息的低分辨率圖,減少偽影的生成;對(duì)于后者,嘗試使用無(wú)偏風(fēng)格遷移網(wǎng)絡(luò)[18]減少內(nèi)容損失。