基于多尺度生成對(duì)抗網(wǎng)絡(luò)的大氣湍流圖像復(fù)原

甄 誠(chéng)，楊永勝，李元祥，鐘娟娟

（1.上海交通大學(xué) 航空航天學(xué)院，上海 200240；2.中國(guó)航空工業(yè)集團(tuán)公司雷華電子技術(shù)研究所，江蘇 無錫 214063）

0 概述

大氣湍流是自然界中一種常見的空氣無規(guī)則運(yùn)動(dòng)現(xiàn)象。在光波傳輸路徑中，大氣折射率受到大氣湍流的影響而發(fā)生隨機(jī)變化，導(dǎo)致光學(xué)成像系統(tǒng)所捕獲的圖像質(zhì)量降低［1-2］。圖像的視覺退化效果主要表現(xiàn)為幾何形變與像素模糊，其將嚴(yán)重影響對(duì)目標(biāo)圖像進(jìn)行特征識(shí)別與信息提取的后續(xù)操作［3］。因此，對(duì)湍流退化圖像進(jìn)行復(fù)原以改善圖像質(zhì)量，是一項(xiàng)具有重要實(shí)際意義的圖像處理任務(wù)。

在基于數(shù)字圖像處理的湍流退化圖像復(fù)原方法中，同時(shí)移除大氣湍流造成的形變與模糊難度較高。LI 等［4］將多通道圖像反卷積作為主成分分析問題來解決，提出一種基于頻譜的方法，但其并不能完全糾正形變。HIRSCH 等［5］提出一種EFF 方法，采用多幀盲反卷積算法來緩解湍流畸變問題，但由于局部點(diǎn)擴(kuò)散函數(shù)估計(jì)不足導(dǎo)致偽影嚴(yán)重。幸運(yùn)區(qū)方法［6-7］通過圖像選擇和融合技術(shù)復(fù)原高質(zhì)量的潛在圖像，該類方法利用銳度作為圖像質(zhì)量的度量指標(biāo)，從短曝光的視頻流中選擇質(zhì)量最好的幀，并將它們?nèi)诤铣梢环鶊D像。ZHU 等［8］提出一種減少空間模糊和幾何失真的方法，使用基于對(duì)稱約束的B 樣條非剛性配準(zhǔn)算法來抑制幾何形變。上述方法大多存在一些限制條件：經(jīng)典的基于數(shù)字圖像處理的湍流消除算法需要多幀靜態(tài)退化圖像來重建一幅高質(zhì)量圖像，這對(duì)采集設(shè)備和目標(biāo)場(chǎng)景提出了較為嚴(yán)格的要求；復(fù)原方法采用迭代的計(jì)算方式，收斂性不穩(wěn)定，難以滿足實(shí)時(shí)處理的需求。

基于單幅圖像的復(fù)原方法對(duì)圖像捕獲條件要求較低，處理速度較快，具有更加廣泛的應(yīng)用范圍。單幅圖像復(fù)原方法的目標(biāo)是從觀察到的單幀退化圖像中獲得高質(zhì)量的清晰圖像。在模糊先驗(yàn)未知的情況下，單幅圖像復(fù)原是一個(gè)不適定問題。傳統(tǒng)的非線性畸變圖像校正方法需要建立畸變數(shù)學(xué)模型，算法復(fù)雜度高，且存在很大的數(shù)值計(jì)算誤差。深度學(xué)習(xí)復(fù)原方法采用數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)圖像重建所需要的重要信息，不需要對(duì)退化因素進(jìn)行大量限定，比依賴于退化假設(shè)模型的方法更適合解決單幅圖像復(fù)原問題［9］。近年來，基于深度學(xué)習(xí)的圖像復(fù)原算法廣泛應(yīng)用于超分辨重建、圖像去噪和去模糊等計(jì)算機(jī)視覺任務(wù)中，并取得了較好的效果，尤其是生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）進(jìn)一步促進(jìn)了圖像復(fù)原效果的提升。使用深度生成模型消除幾何畸變并恢復(fù)高質(zhì)量圖像為解決湍流圖像復(fù)原問題提供可能。LAU 等［10］提出一種生成式單幀復(fù)原算法，該算法將湍流引起的畸變分解為模糊和形變分量并分別利用去模糊生成器和變形矯正生成器進(jìn)行復(fù)原，最后通過融合函數(shù)輸出復(fù)原圖像，但是該算法在模型訓(xùn)練過程中需要準(zhǔn)備復(fù)雜的訓(xùn)練數(shù)據(jù)，在模糊分解與特征融合的過程中引入了額外損失。

本文提出一種基于多尺度GAN 的大氣湍流退化圖像復(fù)原方法。GAN 生成器在U-Net 網(wǎng)絡(luò)結(jié)構(gòu)中添加多尺度注意力特征提取單元和多層次特征動(dòng)態(tài)融合單元。多尺度注意力特征提取單元嵌套在U-Net網(wǎng)絡(luò)的全卷積部分，以對(duì)退化圖像實(shí)現(xiàn)特征提取與編碼，然后在上采樣部分對(duì)特征圖進(jìn)行重建，并使用從粗到細(xì)的特征融合單元實(shí)現(xiàn)湍流退化圖像復(fù)原。

1 基本原理

1.1 湍流退化模型

大氣湍流退化效果主要包括湍流畸變算子和傳感器光學(xué)模糊，描述湍流退化過程的數(shù)學(xué)模型為［11］：

其中：I(u)為需要復(fù)原的清晰圖像；f(u)為成像設(shè)備獲取的湍流退化圖像；u=(x,y)T為圖像中像素的空間位置；H為傳感器光學(xué)模糊算子；Du為湍流畸變算子，其包含局部形變和空間模糊；Eu為加性噪聲。由于湍流畸變算子同時(shí)包含模糊和形變2 種模糊核，因此使用卷積神經(jīng)網(wǎng)絡(luò)提取像素特征時(shí)需要設(shè)計(jì)足夠大的感受野來覆蓋像素區(qū)域，對(duì)提取到的特征進(jìn)行動(dòng)態(tài)權(quán)重調(diào)節(jié)有助于模型關(guān)注重要信息。

1.2 生成對(duì)抗網(wǎng)絡(luò)

GAN［12］定義了 生成器G 和鑒別器D 這2 個(gè)競(jìng)爭(zhēng)網(wǎng)絡(luò)的博弈。生成器學(xué)習(xí)生成一幅和目標(biāo)圖像接近的樣本，鑒別器負(fù)責(zé)區(qū)分真實(shí)圖像和生成樣本。生成器的目標(biāo)是通過生成與真實(shí)樣本無法區(qū)分的令人信服的樣本來欺騙鑒別器。GAN 極大極小博弈的目標(biāo)函數(shù)可描述為：

其中：Ex～pdata為輸入清晰圖像時(shí)的期望；x～pdata(x)為真實(shí)圖像分布；Ez～p(z)為輸入生成圖像時(shí)的期望；z～p(z)為生成圖像分布。在應(yīng)用經(jīng)典GAN 的方法［13］中，對(duì)抗損失采用Sigmoid 交叉熵?fù)p失函數(shù)，容易出現(xiàn)梯度歸零的飽和狀態(tài)，導(dǎo)致訓(xùn)練過程中出現(xiàn)模型坍塌、梯度消失、梯度爆炸等問題。最小二乘GAN（LSGAN）［14］的判別器使用L2 損失函數(shù)衡量輸入x到?jīng)Q策邊界的距離，提供了與該距離成比例的梯度，有助于進(jìn)一步減小損失以生成更高質(zhì)量的圖像。同時(shí)，LSGAN 不容易達(dá)到飽和狀態(tài)，具有更好的訓(xùn)練穩(wěn)定性。

在訓(xùn)練過程中，將湍流退化圖像作為生成器G的輸入，并將生成圖像與訓(xùn)練數(shù)據(jù)中的清晰圖像共同作為判別器D 的輸入。判別器與生成器采取單獨(dú)交替訓(xùn)練的訓(xùn)練方式，通過誤差回傳更新網(wǎng)絡(luò)參數(shù)，直至達(dá)到設(shè)定的迭代次數(shù)。

2 基于多尺度GAN 的湍流圖像復(fù)原

2.1 多尺度GAN 網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)湍流圖像復(fù)原任務(wù)需要同時(shí)去除幾何畸變和模糊的問題，本文提出多尺度GAN 模型，其結(jié)構(gòu)如圖1 所示。生成器是一個(gè)對(duì)稱的U-Net 網(wǎng)絡(luò)結(jié)構(gòu)［15］，判別器采用PatchGAN 結(jié)構(gòu)［16］，由4 個(gè)卷積核尺寸為4×4 的卷積層構(gòu)成。

圖1 多尺度GAN 模型結(jié)構(gòu)Fig.1 Multi-scale GAN model structure

多尺度網(wǎng)絡(luò)模型表現(xiàn)為：1）在圖像特征提取上，多尺度注意力特征提取單元使用不同尺寸的卷積核在更大的感受野范圍內(nèi)提取多尺度特征信息；2）在模型結(jié)構(gòu)上，多層次特征融合單元對(duì)不同比例的特征圖進(jìn)行權(quán)重調(diào)節(jié)，以挖掘不同級(jí)別的語義信息。

生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，U-Net 網(wǎng)絡(luò)全卷積部分由預(yù)訓(xùn)練卷積模塊和多尺度注意力特征提取單元組成，預(yù)訓(xùn)練卷積模塊使用Inception-ResNet-v2骨干網(wǎng)絡(luò)［17］中的卷積層與最大池化層，多尺度注意力特征提取單元提供多尺度特征信息并使用特征注意力來挖掘通道的相關(guān)性。上采樣部分由卷積層與上采樣層組成，插入多比例特征動(dòng)態(tài)融合單元將不同比例的特征圖上采樣到相同的輸入大小，并動(dòng)態(tài)調(diào)節(jié)權(quán)重以連接成一個(gè)張量，加強(qiáng)不同尺度特征圖的信息共享。輸入圖像經(jīng)過全卷積層后轉(zhuǎn)變?yōu)榫哂懈】臻g尺寸和更多壓縮語義信息的特征圖，獲得的特征圖在上采樣部分經(jīng)過融合映射，從語義豐富的特征層重構(gòu)更高的空間分辨率，逐漸恢復(fù)到目標(biāo)圖像的尺寸。在U-Net 網(wǎng)絡(luò)執(zhí)行編碼解碼過程中會(huì)損失圖像的細(xì)節(jié)特征，本文增加跳躍連接作為分層語義指導(dǎo)，將具有更多局部信息的淺層網(wǎng)絡(luò)與對(duì)應(yīng)的深層網(wǎng)絡(luò)相結(jié)合，更加充分地利用高層特征的語義信息和底層特征的細(xì)粒度特征，從而提升重建圖像的視覺細(xì)節(jié)特征。生成器引入一個(gè)直接從輸入到輸出的跳躍連接，以促使模型重點(diǎn)學(xué)習(xí)殘差。

圖2 多尺度GAN 的生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Generator network structure of multi-scale GAN

2.2 多尺度注意力特征提取單元

在湍流圖像復(fù)原算法中，幾何畸變與模糊具有不同尺度的結(jié)構(gòu)信息，使用常規(guī)卷積進(jìn)行特征提取難以完全恢復(fù)圖像，因此，本文提出多尺度注意力特征提取模塊，其可以在不同尺度的感受野上處理特征信息，通過通道注意力機(jī)制關(guān)注通道特征間的關(guān)系，挖掘和學(xué)習(xí)圖像的關(guān)鍵內(nèi)容。如圖3 所示，多尺度注意力特征提取單元由多分支卷積層和注意力層連接而成。多分支卷積層對(duì)應(yīng)不同尺寸的感受野，能夠提取到多種特征［18］，注意力層［19］充分學(xué)習(xí)退化圖像中的重要信息，以保證重建圖像準(zhǔn)確清晰。多分支卷積層由不同尺寸的空洞卷積并列組成，3 條支路的感受野分別為3×3、7×7、15×15，同時(shí)對(duì)輸入特征圖進(jìn)行特征提取，在獲得不同尺度的信息特征圖后，通過卷積操作將級(jí)聯(lián)的特征圖重新調(diào)整為輸入尺寸。

圖3 多尺度注意力特征提取單元結(jié)構(gòu)Fig.3 Multi-scale attention feature extraction unit structure

在特征提取過程中，為區(qū)別對(duì)待圖像的低頻部分（平滑或平坦的區(qū)域）和高頻部分（如線、邊、紋理），從而關(guān)注和學(xué)習(xí)圖像的關(guān)鍵內(nèi)容，本文引入注意力機(jī)制對(duì)每個(gè)通道特征產(chǎn)生不同的注意力。首先利用每個(gè)通道的全局上下文信息，采用全局平均池化來壓縮每個(gè)通道的空間信息，表達(dá)式為：

其中：Xc表示聚合卷積特征圖，其尺寸為H×W×C；zc表示壓縮后的全局池化層，其尺寸減小為1×1×C。使用ReLU 和Sigmoid 激活函數(shù)實(shí)現(xiàn)門控原理來學(xué)習(xí)通道間的非線性協(xié)同效應(yīng)和互斥關(guān)系，注意力機(jī)制可表示為：

其 中：δ和σ分別表示ReLU 和Sigmoid 激活函 數(shù)；rc為激勵(lì)權(quán)重；Xc代表注意力機(jī)制調(diào)整后的特征圖。全局池化層zc依次經(jīng)過下采樣卷積層和ReLU 激活函數(shù)，并通過上采樣卷積層恢復(fù)通道數(shù)，最后由Sigmoid 函數(shù)激活，獲得通道的激勵(lì)權(quán)重rc。將聚合卷積層Xc通道的值乘上不同的權(quán)重，從而得到自適應(yīng)調(diào)整通道注意力的輸出Xc。

2.3 多層次特征動(dòng)態(tài)融合單元

在生成器網(wǎng)絡(luò)的上采樣部分，不同層次的特征圖蘊(yùn)含著不同的實(shí)例信息［20］。為了加強(qiáng)不同層次特征圖之間的信息傳遞，本文提出多層次特征融合單元。不同層次特征圖對(duì)應(yīng)區(qū)域的激活程度存在較大差異，在進(jìn)行多層次特征圖融合時(shí)，不同層次特征圖之間的沖突會(huì)干擾信息傳遞，降低特征融合的有效性。針對(duì)該問題，本文設(shè)計(jì)動(dòng)態(tài)融合的網(wǎng)絡(luò)結(jié)構(gòu)，其對(duì)特征圖的空間位置分配不同權(quán)重，通過學(xué)習(xí)篩選有效特征和過濾矛盾信息，將不同尺度的特征圖上采樣調(diào)整到相同的尺寸，并在融合時(shí)對(duì)不同層次的特征圖設(shè)置空間權(quán)重，尋找最優(yōu)融合策略。上述過程具體可表示為：

其中：Fi↑代表第i個(gè)特征圖經(jīng)過上采樣調(diào)整到統(tǒng)一尺寸后的標(biāo)準(zhǔn)特征圖。所有層次的特征圖經(jīng)過自適應(yīng)權(quán)重分配的動(dòng)態(tài)融合后輸出最后的特征圖F*。

權(quán)重ωi的學(xué)習(xí)方式如圖4 所示，標(biāo)準(zhǔn)特征圖的空間信息經(jīng)過下采樣卷積層被壓縮，將對(duì)應(yīng)的4 個(gè)不同層次特征圖的壓縮卷積層相級(jí)聯(lián)，使用1×1 的卷積映射同一位置的特征信息，最后通過Softmax 函數(shù)標(biāo)準(zhǔn)化網(wǎng)絡(luò)參數(shù)以得到空間權(quán)重信息，如下：

圖4 多層次特征動(dòng)態(tài)融合單元結(jié)構(gòu)Fig.4 Multi-level features dynamic fusion unit structure

經(jīng)過學(xué)習(xí)得到的特征圖自適應(yīng)空間權(quán)重ωi∈[0,1]且其總和為1。

2.4 損失函數(shù)

在訓(xùn)練過程中，損失函數(shù)衡量生成圖像與真實(shí)圖像的差別，GAN 損失函數(shù)包括對(duì)抗損失與內(nèi)容損失。其中，對(duì)抗損失采用LSGAN 中的對(duì)抗損失：

其中：Igt代表真實(shí)圖像；Igen代表生成圖像。在圖像重建的內(nèi)容損失上，選擇生成圖像和目標(biāo)圖像的均方差損失LMSE以獲得較高的峰值信噪比，同時(shí)為了消除偽影，促進(jìn)圖像高頻細(xì)節(jié)的恢復(fù)，使得重構(gòu)圖像具有較高的視覺逼真度，本文引入視覺損失Lperc。感官損失是通過預(yù)訓(xùn)練的VGG19 網(wǎng)絡(luò)［21］而實(shí)現(xiàn)，將生成圖像和目標(biāo)圖像分別輸入到VGG 網(wǎng)絡(luò)中，然后計(jì)算經(jīng)過VGG 網(wǎng)絡(luò)后對(duì)應(yīng)特征圖的歐氏距離。LMSE和Lperc的計(jì)算分別如下：

其中：?代表預(yù)訓(xùn)練的VGG19 網(wǎng)絡(luò)。因此，總的損失函數(shù)定義為：

2.5 多尺度GAN 大氣湍流圖像復(fù)原算法流程

基于多尺度GAN 的大氣湍流圖像復(fù)原算法的具體步驟如下：

輸入合成湍流退化圖像和標(biāo)簽數(shù)據(jù)集

輸出訓(xùn)練后的生成器G

1）初始化網(wǎng)絡(luò)模型參數(shù)。

2）反向傳播訓(xùn)練模型參數(shù)。

3）訓(xùn)練后的生成器網(wǎng)絡(luò)用于湍流圖像復(fù)原。

網(wǎng)絡(luò)模型的訓(xùn)練過程如下：

1）對(duì)每一批數(shù)據(jù)分別從合成圖像和標(biāo)簽數(shù)據(jù)中進(jìn)行采樣。

2）根據(jù)對(duì)抗損失LGAN，采用Adam 優(yōu)化判別器D和生成器G。

3）生成圖像Igen，結(jié)合均方誤差損失LMSE與視覺損失Lperc進(jìn)一步優(yōu)化生成器G。

重復(fù)上述訓(xùn)練過程，直至滿足預(yù)先設(shè)定的迭代次數(shù)。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用NVIDIA Tesla-V100 GPU 顯卡、Linux 系統(tǒng)及Pytorch 深度學(xué)習(xí)框架，相關(guān)配置為CUDATookit10.0、Cudnn7.5。損失函數(shù)中的超參數(shù)設(shè)置為：α=0.5，β=0.01，γ=0.01。訓(xùn)練過 程采用Adam 進(jìn)行參數(shù)優(yōu)化，batch_size 設(shè)置為1。早期訓(xùn)練固定學(xué)習(xí)率為0.000 1，使用較大的步長(zhǎng)保證網(wǎng)絡(luò)在足夠的搜索空間中尋優(yōu)；后期訓(xùn)練中學(xué)習(xí)率線性衰減，減少訓(xùn)練中的振蕩，從而保證網(wǎng)絡(luò)的穩(wěn)定性。

3.2 數(shù)據(jù)集預(yù)處理

本文使用湍流合成方法［22］擴(kuò)充訓(xùn)練數(shù)據(jù)。合成湍流效應(yīng)基于模糊算子和變形算子，可選擇不同的參數(shù)來生成具有不同嚴(yán)重程度的湍流退化圖像。模糊算子是高斯核濾波，對(duì)像素進(jìn)行高斯平滑。對(duì)于圖像上的每個(gè)像素點(diǎn)(x,y)，變形算子生成一個(gè)隨機(jī)運(yùn)動(dòng)向量場(chǎng)。以(x,y)為中心、尺寸為N×N的圖像塊，隨機(jī)運(yùn)動(dòng)向量場(chǎng)在該圖像塊區(qū)域內(nèi)定義為：

其中：Gσ是高斯核；標(biāo)準(zhǔn)差η是強(qiáng)度值；N1和N2從高斯分布中隨機(jī)選取。湍流圖像數(shù)據(jù)集收集了300 幅真實(shí)的戶外建筑物場(chǎng)景圖像，為擴(kuò)充訓(xùn)練數(shù)據(jù)，對(duì)每個(gè)圖像進(jìn)行裁剪處理。使用Unity 軟件平臺(tái)實(shí)現(xiàn)上述像素扭曲操作，設(shè)置用于調(diào)節(jié)模糊算子和變形算子的參數(shù)，如強(qiáng)度、周期、退化核半徑，對(duì)不同參數(shù)進(jìn)行組合，模擬大氣湍流對(duì)圖像產(chǎn)生的復(fù)雜影響。使用上述湍流合成方法共生成1 200 幅訓(xùn)練圖像，圖像分辨率為600像素×320像素，隨機(jī)選取其中1 000 幅作為訓(xùn)練集，200 幅作為測(cè)試集。

3.3 結(jié)果分析

訓(xùn)練結(jié)束后的生成器網(wǎng)絡(luò)被用于湍流圖像復(fù)原，本文選用標(biāo)準(zhǔn)GAN 模型和圖像復(fù)原領(lǐng)域先進(jìn)的SIU-Net［23］模型進(jìn)行對(duì)比分析。在相同的實(shí)驗(yàn)環(huán)境下使用湍流退化數(shù)據(jù)集對(duì)標(biāo)準(zhǔn)GAN 和SIU-Net 模型進(jìn)行訓(xùn)練與測(cè)試。

除了將傳統(tǒng)模型與改進(jìn)模型進(jìn)行復(fù)原實(shí)驗(yàn)對(duì)比外，本文還設(shè)置一組消融實(shí)驗(yàn)：在U-Net 網(wǎng)絡(luò)中僅添加多尺度注意力特征提取單元（GAN+提取單元）；在U-Net 網(wǎng)絡(luò)中僅添加多層次特征動(dòng)態(tài)融合單元（GAN+融合單元）；在U-Net 網(wǎng)絡(luò)中同時(shí)添加2 種單元（多尺度GAN）。

為驗(yàn)證本文方法的有效性，采用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）作為客觀評(píng)價(jià)指標(biāo)，以評(píng)估生成圖像的質(zhì)量。PSNR 反映2 幅圖像對(duì)應(yīng)像素點(diǎn)間的誤差，PSNR 越大，表明重建圖像失真越少，效果越好。SSIM 表示2 幅圖像的相似度，其值越接近1，說明重建圖像越接近原始圖像。PSNR 計(jì)算公式如下：

其中：I為真實(shí)參考圖像；Igen為生成的復(fù)原圖像；μ為圖像均值；δ為圖像方差；δ為協(xié)方差。

采用上述指標(biāo)對(duì)復(fù)原模型進(jìn)行客觀評(píng)價(jià)，實(shí)驗(yàn)中取PSNR 和SSIM 的平均值，結(jié)果如表1 所示。由表1 可以看出：使用標(biāo)準(zhǔn)GAN 進(jìn)行圖像復(fù)原能夠改善圖像質(zhì)量，評(píng)價(jià)指標(biāo)大幅提高；SIU-Net 利用精巧的多尺度迭代網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，在PSNR 評(píng)價(jià)指標(biāo)上取得了和標(biāo)準(zhǔn)GAN 相近的結(jié)果，但SSIM 評(píng)價(jià)指標(biāo)卻表現(xiàn)一般，主要原因是SIU-Net 只使用了均方差損失，且沒有針對(duì)復(fù)雜空間畸變進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)；相比于標(biāo)準(zhǔn)GAN，本文多尺度GAN 的PSNR 平均提升約1.1 dB，SSIM 相對(duì)提高約2.6%，在PSNR 和SSIM評(píng)價(jià)指標(biāo)上同樣優(yōu)于SIU-Net，這是因?yàn)槎喑叨茸⒁饬μ卣魈崛卧峁┑亩喑叨雀惺芤翱梢蕴崛〔⒄喜煌叽绲妮斎胩卣?，多層次特征?dòng)態(tài)融合單元通過學(xué)習(xí)可以有效利用不同層次的特征語義信息，使多層次GAN 復(fù)原效果更好。如表2 所示，消融實(shí)驗(yàn)結(jié)果反映了各模塊對(duì)湍流圖像復(fù)原的提升效果。

表1 湍流圖像復(fù)原中不同模型的PSNR 和SSIM 結(jié)果Table 1 PSNR and SSIM results of different models in turbulence image restoration

表2 消融實(shí)驗(yàn)中的PSNR 和SSIM 結(jié)果Table 2 PSNR and SSIM results in ablation experiment

采用不同模型生成復(fù)原圖像以及消融實(shí)驗(yàn)的圖像復(fù)原結(jié)果分別如圖5、圖6 所示。其中：圖5（a）為湍流退化圖像，其作為網(wǎng)絡(luò)模型的輸入；圖5（b）是原始GAN 處理后的輸出圖像；圖5（c）是SIU-Net 處理后的輸出圖像；圖5（d）是本文多尺度GAN 處理后的輸出圖像；圖5（e）是真實(shí)清晰圖像。

從圖5 可以看出，本文多尺度GAN 獲得的復(fù)原圖像形變情況明顯改善，整體圖像清晰，同時(shí)圖像的邊緣細(xì)節(jié)也有所提升，更接近參考的真實(shí)圖像。圖5、圖6 的主觀效果與表1、表2 中的客觀評(píng)價(jià)結(jié)果基本一致。

圖5 不同模型的復(fù)原實(shí)驗(yàn)結(jié)果對(duì)比Fig.5 Comparison of restoration experimental results of different models

圖6 消融實(shí)驗(yàn)的復(fù)原結(jié)果對(duì)比Fig.6 Comparison of restoration results of ablation experiment

圖7 所示為真實(shí)場(chǎng)景下湍流退化圖像復(fù)原的實(shí)驗(yàn)結(jié)果，其中：圖7（a）為相機(jī)捕獲的湍流退化圖像；圖7（b）為經(jīng)過多尺度GAN 處理后的圖像。

圖7 真實(shí)場(chǎng)景湍流圖像復(fù)原結(jié)果Fig.7 Restoration results of real scene turbulence images

從圖7 可以看出，湍流退化圖像復(fù)原后在整體清晰度和局部結(jié)構(gòu)細(xì)節(jié)2 個(gè)方面均有提升，實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了本文模型的復(fù)原性能，即多尺度GAN 可有效移除湍流效應(yīng)，提升圖像質(zhì)量。

4 結(jié)束語

針對(duì)單幅湍流退化圖像，本文提出一種基于多尺度GAN 的圖像復(fù)原方法，該方法根據(jù)數(shù)據(jù)驅(qū)動(dòng)的方式，解決了傳統(tǒng)復(fù)原方法依賴先驗(yàn)信息、復(fù)原效果差等問題。網(wǎng)絡(luò)模型基于GAN，通過多尺度特征提取單元強(qiáng)化底層特征提取，并在上采樣重建部分使用動(dòng)態(tài)特征融合單元，利用多層次特征圖進(jìn)行特征融合。實(shí)驗(yàn)結(jié)果表明，該方法能夠改善圖像質(zhì)量，解決圖像中的物體形變問題，復(fù)原后的圖像清晰度較高。下一步將設(shè)計(jì)輕量化模型并提高模型的魯棒性，以擴(kuò)大復(fù)原方法在實(shí)際場(chǎng)景中的應(yīng)用范圍。