基于生成對(duì)抗網(wǎng)絡(luò)的紅外圖像自適應(yīng)校正算法

牟新剛,崔 健,周 曉

(武漢理工大學(xué)機(jī)電工程學(xué)院,湖北 武漢 430070)

1 引 言

紅外相機(jī)通過接收物體的紅外輻射成像,不需要主動(dòng)光源的特性,使得紅外成像技術(shù)在夜視領(lǐng)域有著不可比擬的優(yōu)勢,在安防、工業(yè)、農(nóng)業(yè)、軍事領(lǐng)域有廣泛的應(yīng)用。隨著自動(dòng)駕駛技術(shù)的興起,紅外成像技術(shù)成為自動(dòng)駕駛技術(shù)夜間成像中不可或缺的重要部分。各領(lǐng)域?qū)τ诩t外圖像的成像質(zhì)量也有了更高的要求。

紅外相機(jī)的核心元器件是紅外焦平面陣列(IRFPA),主要分為制冷型和非制冷型。硬件質(zhì)量水平直接影響了紅外圖片的質(zhì)量。鑒于目前的電子元器件的生產(chǎn)制造水平,以及半導(dǎo)體材料的特性,紅外焦平面陣列的非均勻性噪聲不可避免。其中,條紋噪聲是影響紅外圖像質(zhì)量的最突出的原因,隨著硬件生產(chǎn)水平的提高,仍然沒有得到很好的解決,因此也成為紅外非均勻性校正領(lǐng)域研究的熱門問題。

兩點(diǎn)校正法[1]是應(yīng)用最廣泛的算法之一,使用前需要預(yù)設(shè):像元響應(yīng)在工作條件下是線性變化的；像元響應(yīng)長時(shí)間穩(wěn)定?；趫鼍暗淖赃m應(yīng)非均勻性校正算法分為配準(zhǔn)類和統(tǒng)計(jì)類。這些算法往往只能適應(yīng)單一場景,如時(shí)域高通濾波法還會(huì)產(chǎn)生“鬼影”[2]。近年來隨著計(jì)算機(jī)計(jì)算能力的提高,深度學(xué)習(xí)的廣泛應(yīng)用給紅外圖像非均勻性校正帶來新思路。Kuang等人[3]使用2層全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紅外非均勻性校正。趙春暉等人[4]將神經(jīng)網(wǎng)絡(luò)算法中的均值濾波器改進(jìn)為非線性濾波器,改進(jìn)紅外圖像模糊的問題。陳寶國等人[5]將相鄰幀圖像匹配算法和神經(jīng)網(wǎng)絡(luò)算法結(jié)合,改進(jìn)紅外圖像在復(fù)雜場景出現(xiàn)的模糊問題。唐艷秋等人[6]將神經(jīng)網(wǎng)絡(luò)中的四鄰域均值濾波改進(jìn)為P-M濾波,減小了紅外圖像的邊緣誤差。He等人[7]針對(duì)含有非均勻性噪聲的紅外圖像數(shù)據(jù)集難以采集問題,通過人為添加柱狀噪聲的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行校正。Mou等人[8]將殘差網(wǎng)絡(luò)引入深度學(xué)習(xí)網(wǎng)絡(luò),提高了紅外圖像校正效果。

基于深度學(xué)習(xí)的紅外圖像非均勻性校正算法,目前多停留在使用結(jié)構(gòu)簡單的神經(jīng)網(wǎng)絡(luò),使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)算法的研究較少。文中將生成對(duì)抗網(wǎng)絡(luò)的思路引入紅外圖像非均勻性校正任務(wù),生成網(wǎng)絡(luò)根據(jù)輸入不斷生成紅外圖像,判別網(wǎng)絡(luò)區(qū)分生成的圖片與無噪聲的真實(shí)圖像,二者互相博弈,不斷迭代訓(xùn)練,最終使生成網(wǎng)絡(luò)達(dá)到良好的校正效果。為了避免網(wǎng)絡(luò)深度增加造成紅外圖像信息丟失,造成校正后的紅外圖像產(chǎn)生模糊,文中首次提出在生成網(wǎng)絡(luò)在編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)之間采用多尺度殘差連接,用于紅外圖像非均勻性校正任務(wù)。使用該算法校正后的圖片清晰,邊緣銳利,不會(huì)產(chǎn)生鬼影現(xiàn)象,也不會(huì)引入新的噪聲,適應(yīng)更加復(fù)雜的紅外圖像場景,校正效果良好。

2 紅外焦平面陣列響應(yīng)數(shù)學(xué)模型

紅外焦平面陣列探測單元的響應(yīng)可以用線性數(shù)學(xué)模型表示:

yi,j(n)=Ai,jχi,j(n)+Bi,j(n)

(1)

其中,χi,j為紅外焦平面陣列單個(gè)像元的輸入;yi,j為對(duì)應(yīng)像元的輸出;Ai,j為像元增益;Bi,j為像元偏置[9]。

受制于目前電子元件生產(chǎn)材料和工藝,每個(gè)像元的增益和偏置不同。隨著IRFPA使用的時(shí)間和環(huán)境不同,像元的增益和偏置會(huì)發(fā)生漂移,造成了紅外焦平面陣列產(chǎn)生非均勻性噪聲。出于成本的考慮,IRFPA像元每列共用一個(gè)放大器,導(dǎo)致紅外圖像出現(xiàn)非常明顯的列向條紋狀噪聲,這些高頻噪聲很難徹底校正。

3 算法概述

3.1 生成對(duì)抗網(wǎng)絡(luò)原理

紅外圖像的非均勻性校正使用簡單的神經(jīng)網(wǎng)絡(luò)時(shí),通過監(jiān)督學(xué)習(xí)的方式與沒有噪聲的真實(shí)圖片對(duì)比,求出損失函數(shù)并通過梯度下降法反向傳播。紅外圖像的非均勻性校正效果并不能完全通過損失函數(shù)評(píng)價(jià),這也導(dǎo)致這種方式的校正效果不佳。

生成對(duì)抗網(wǎng)絡(luò)分為生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D,G網(wǎng)絡(luò)本質(zhì)是一個(gè)編解碼網(wǎng)絡(luò),通過不同的卷積核進(jìn)行多尺度信息提取,即進(jìn)行編碼,生成一維向量；再經(jīng)過多層反卷積操作將一維向量還原成一張校正后的圖片,即進(jìn)行解碼。D網(wǎng)絡(luò)用于接收G網(wǎng)絡(luò)生成的圖片,并與真實(shí)圖片進(jìn)行二分訓(xùn)練,區(qū)分生成圖片和真實(shí)圖片。生成網(wǎng)絡(luò)不斷生成假圖片以欺騙判別網(wǎng)絡(luò),判別網(wǎng)絡(luò)不斷學(xué)習(xí)以區(qū)分真實(shí)圖片和假圖片,二者互相對(duì)抗訓(xùn)練,訓(xùn)練過程如圖1所示,最終得到校正后的紅外圖像。

圖1 生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練過程

3.2 算法實(shí)施流程

設(shè)計(jì)多級(jí)殘差連接的生成對(duì)抗網(wǎng)絡(luò),制作用于紅外圖像非均勻性校正任務(wù)的數(shù)據(jù)集。使用數(shù)據(jù)集對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行對(duì)抗訓(xùn)練,待網(wǎng)絡(luò)收斂后,得到最終用于非均勻性校正任務(wù)的網(wǎng)絡(luò)模型。將紅外相機(jī)拍攝的待校正單幀圖片輸入網(wǎng)絡(luò)進(jìn)行計(jì)算,網(wǎng)絡(luò)輸出校正后的紅外圖片。算法實(shí)施的流程圖如圖2所示。

圖2 算法實(shí)施流程圖

4 基于多級(jí)殘差連接的生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)一般采用一個(gè)編解碼網(wǎng)絡(luò),Goodfellow提出GAN網(wǎng)絡(luò)[10]的編解碼網(wǎng)絡(luò)從噪聲生成圖像,會(huì)產(chǎn)生不易收斂或梯度爆炸等問題。Isola提出的pix2pix網(wǎng)絡(luò)[11]使用條件生成網(wǎng)絡(luò)[12]思路,在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的輸入添加限制條件,使網(wǎng)絡(luò)訓(xùn)練更快,更容易達(dá)到收斂。文中算法借鑒了pix2pix網(wǎng)絡(luò)的思路,使用條件生成對(duì)抗網(wǎng)絡(luò)作為整體框架。

紅外圖像的條紋狀非均勻性噪聲信息與圖像中的細(xì)節(jié)信息,在經(jīng)過多層神經(jīng)網(wǎng)絡(luò)的信息提取后容易丟失。受到Unet 3+網(wǎng)絡(luò)[13]啟發(fā),文中算法將多尺度殘差連接引入生成網(wǎng)絡(luò)。通過多尺度殘差連接,解碼網(wǎng)絡(luò)可以接收不同尺度的特征,確保不同抽象層次的特征信息不會(huì)丟失。本節(jié)將介紹生成對(duì)抗網(wǎng)絡(luò)整體,生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的結(jié)構(gòu)。

4.1 生成網(wǎng)絡(luò)

紅外圖像是單通道灰度圖,與普通圖片相比缺少色彩信息,而細(xì)節(jié)、邊緣信息更加重要。生成網(wǎng)絡(luò)過深不利于細(xì)節(jié)邊緣信息的保留,算法計(jì)算量過大。

生成網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示,全連接層會(huì)給網(wǎng)絡(luò)帶來巨量的參數(shù),所以該網(wǎng)絡(luò)采用全卷積結(jié)構(gòu),在保證特征提取的基礎(chǔ)上減少了網(wǎng)絡(luò)參數(shù)。整個(gè)網(wǎng)絡(luò)分為兩個(gè)部分,編碼部分為EN1～EN4,解碼部分為DE5～DE7。編碼部分通過不斷的下采樣對(duì)圖像進(jìn)行編碼,擴(kuò)增通道數(shù)的同時(shí)減小特征圖尺寸,使網(wǎng)絡(luò)學(xué)習(xí)到不同尺度的特征。解碼網(wǎng)絡(luò)根據(jù)最后一層編碼網(wǎng)絡(luò)得到的編碼特征進(jìn)行反卷積操作不斷擴(kuò)增特征圖,逐步將編碼信息還原成圖像。每層解碼網(wǎng)絡(luò)還與不同的編碼網(wǎng)絡(luò)進(jìn)行殘差連接。

圖3 生成網(wǎng)絡(luò)結(jié)構(gòu)框圖

整個(gè)網(wǎng)絡(luò)有4個(gè)編碼單元,3個(gè)解碼單元。編碼部分每一層采用3×3卷積層進(jìn)行特征提取,使用尺寸為2×2,步長為2的最大池化層進(jìn)行降采樣。在每層之后使用ReLU激活函數(shù)。編碼網(wǎng)絡(luò)第一層通道數(shù)為64,每經(jīng)過一層通道數(shù)加倍,經(jīng)過降采樣后特征圖尺寸減半。編碼部分的參數(shù)如表1所示。

表1 編碼部分各層參數(shù)

解碼部分使用反卷積進(jìn)行解碼,使特征圖尺寸加倍。Unet網(wǎng)絡(luò)[14]在編解碼網(wǎng)絡(luò)中引入殘差連接,將編碼網(wǎng)絡(luò)中的信息與解碼網(wǎng)絡(luò)特征融合以避免信息退化。但是Unet只在相同尺寸的特征圖中進(jìn)行信息融合,文中算法將解碼網(wǎng)絡(luò)中的每一層都與不同層的特征圖進(jìn)行信息融合,保證淺層信息和深層抽象信息都不會(huì)丟失。

以DE6層為例,多級(jí)殘差連接的方式如圖4所示。編碼網(wǎng)絡(luò)EN1經(jīng)過步長為4,尺寸為2×2的最大池化進(jìn)行下采樣,使用64個(gè)尺寸為3×3卷積核生成通道數(shù)為64,尺寸與DE6相同的特征圖。EN2尺寸與DE6相同,不需要進(jìn)行下采樣操作,只需要卷積操作生成64通道的特征圖即可。DE5經(jīng)過雙線性插值上采樣和64個(gè)尺寸為3×3的卷積操作后,生成通道數(shù)為64,尺寸與DE6相同的特征圖。EN4的操作與DE5類似。

圖4 DE6層殘差連接

最后將這4個(gè)尺寸相同,通道數(shù)均為64的特征圖進(jìn)行融合,生成通道數(shù)為256的特征圖。最后特征圖與尺寸為3×3的卷積核進(jìn)行卷積操作,經(jīng)過ReLU激活函數(shù)得到最終的結(jié)果。整個(gè)解碼網(wǎng)絡(luò)需要12個(gè)殘差連接,DE6層的參數(shù)如表2所示。

表2 DE6層參數(shù)

4.2 特征圖處理

特征圖進(jìn)行卷積計(jì)算后尺寸會(huì)發(fā)生變化,為了保持特征圖尺寸在卷積操作后不變,對(duì)邊緣采取0值像素填充,同時(shí)也可以避免深度學(xué)習(xí)產(chǎn)生的邊緣退化問題。在卷積池化后使用批標(biāo)準(zhǔn)化處理數(shù)據(jù)分布,使網(wǎng)絡(luò)訓(xùn)練更容易收斂。

激活函數(shù)采用經(jīng)典的ReLU激活函數(shù)[15],在使用梯度下降法進(jìn)行權(quán)重和偏置參數(shù)更新的過程中能過更快收斂,計(jì)算速度也更快。

4.3 判別網(wǎng)絡(luò)

當(dāng)生成網(wǎng)絡(luò)對(duì)紅外圖片進(jìn)行編解碼后,生成新圖片,判別網(wǎng)路要將該生成圖片與數(shù)據(jù)集中的真實(shí)圖片進(jìn)行對(duì)比,判斷其與真實(shí)圖片相似的概率,用該結(jié)果反向訓(xùn)練生成網(wǎng)絡(luò)。文中算法使用的是與Pix2pix網(wǎng)絡(luò)相同的PatchGAN判別網(wǎng)絡(luò),該網(wǎng)絡(luò)使用了5層卷積結(jié)構(gòu),網(wǎng)絡(luò)的結(jié)構(gòu)如圖5所示,其中卷積層尺寸均為3×3。

圖5 判別網(wǎng)絡(luò)結(jié)構(gòu)圖

4.4 目標(biāo)函數(shù)

將生成網(wǎng)絡(luò)表示成G,判別網(wǎng)絡(luò)表示成D,輸入的原圖像為x,輸入的噪聲圖像為z,真實(shí)圖像為y,根據(jù)條件生成網(wǎng)絡(luò)的思路得到的目標(biāo)函數(shù)為:

LGAN(G,D)=Ex,y[logD(x,y)]+

Ex,z[log(1-D(x,G(x,z)))]

(2)

上述損失函數(shù)強(qiáng)調(diào)的是生成網(wǎng)絡(luò)生成的圖片與判別器對(duì)生成圖片的判別之間的關(guān)系,但是生成對(duì)抗網(wǎng)絡(luò)的最終目的并不只是判別器分辨不出生成圖片和真實(shí)圖片,而是希望生成圖片更接近真實(shí)圖片,因此又加入真實(shí)圖片與生成圖片的L1范式損失函數(shù):

LL1(G)=Ex,y,z[||y-G(x,z)||]

(3)

最終的損失函數(shù)為:

(4)

其中,λ為L1范式損失函數(shù)的系數(shù)。

5 實(shí)驗(yàn)與結(jié)果分析

5.1 數(shù)據(jù)集

FLIR和LTIR紅外數(shù)據(jù)集包含豐富的生活中不同場景的紅外圖像,數(shù)據(jù)集中圖片的邊緣清晰,場景包含道路、交通工具、行人、建筑物、植物、野外、校園、公園等內(nèi)容,圖片質(zhì)量清晰銳利,場景豐富。使用根據(jù)艾瑞光電公司生產(chǎn)的RTD611氧化釩非制冷型IRFPA自主研發(fā)的紅外相機(jī),收集了室外場景的紅外圖像數(shù)據(jù)集。

上述三個(gè)數(shù)據(jù)集中的圖片均為連續(xù)拍攝,對(duì)于非均勻性校正而言,對(duì)同一場景的連續(xù)拍攝圖片中,圖片的細(xì)節(jié)差異較小,作為數(shù)據(jù)集不具有代表性,且容易造成最終的結(jié)果過擬合。在上述兩個(gè)數(shù)據(jù)集中相似場景圖片隨機(jī)選取2～3張,共計(jì)500張圖片作為數(shù)據(jù)集的真實(shí)圖像,裁剪成256×256尺寸,符合生成對(duì)抗網(wǎng)絡(luò)輸入要求。

根據(jù)IRFPA響應(yīng)數(shù)學(xué)模型的原理,將數(shù)據(jù)集的輸入圖像添加標(biāo)準(zhǔn)差為[0,0.15],均值為1的增益噪聲,標(biāo)準(zhǔn)差為[0,0.15],均值為0的偏置噪聲。

5.2 模型訓(xùn)練

本論文設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的硬件環(huán)境為:CPU為Intel(R)Core(TM)i5-8300H,GPU為GeForce GTX 1050Ti。實(shí)驗(yàn)使用的深度學(xué)習(xí)框架是tensorflow_gpu-1.14.0,使用GPU進(jìn)行深度學(xué)習(xí)加速訓(xùn)練,安裝的CUDA版本為CUDA10.0。

訓(xùn)練時(shí)使用圖像旋轉(zhuǎn)90°,180°,270°和鏡像的方式對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)增,防止過擬合,提高訓(xùn)練的泛化性。

5.3 訓(xùn)練效果評(píng)價(jià)標(biāo)準(zhǔn)

紅外圖像進(jìn)行非均勻性校正后,對(duì)其非均勻性校正結(jié)果的評(píng)價(jià)分為客觀評(píng)價(jià)和主觀評(píng)價(jià)。客觀評(píng)價(jià)的方法使用常用的峰值信噪比(PSNR),結(jié)構(gòu)相似性(SSIM)和粗糙度三種評(píng)價(jià)標(biāo)準(zhǔn)。峰值信噪比是最常用的評(píng)價(jià)圖像質(zhì)量的方法之一,公式為:

(5)

其中,n為比特?cái)?shù);MSE為兩圖像之間的均方差,MSE公式為:

(6)

其中,X,Y為比較的圖像;m,n為圖像的寬和高。

結(jié)構(gòu)相似性分別從亮度、對(duì)比度、結(jié)構(gòu)三方面對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià),公式為:

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(7)

其中,l表示亮度;c表示對(duì)比度;s表示結(jié)構(gòu)。

粗糙度計(jì)算只需要當(dāng)前圖像的像素值。由于含有真實(shí)非均勻性噪聲的紅外圖像無法取得對(duì)應(yīng)的理想圖像,適合使用粗糙度來評(píng)價(jià)校正效果。其公式為:

(8)

其中,Y為圖像像素值矩陣；h矩陣為[1,-1]的水平模板；hT為h的轉(zhuǎn)置矩陣,表示垂直模板；“*”表示圖像的卷積計(jì)算。

客觀評(píng)價(jià)標(biāo)準(zhǔn)僅僅在數(shù)學(xué)分析的層面作為評(píng)價(jià)紅外圖像非均勻性校正效果的參考,人眼的主觀評(píng)價(jià)也是非常重要的指標(biāo),要比較校正后圖片與原圖片相應(yīng)區(qū)域的灰度值是否一致,非均勻性條紋噪聲是否被去除,網(wǎng)絡(luò)是否生成了新的噪聲,校正后的圖片邊緣是否清晰,細(xì)節(jié)是否可以很容易分辨等。

5.4 實(shí)驗(yàn)結(jié)果與分析

將文中提出的生成對(duì)抗網(wǎng)絡(luò)與pix2pix網(wǎng)絡(luò)在同一紅外圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練,并在同一測試集上進(jìn)行非均勻性校正效果的對(duì)比,以驗(yàn)證該網(wǎng)絡(luò)對(duì)紅外圖像非均勻性校正的有效性。對(duì)于校正后圖像質(zhì)量的評(píng)價(jià)使用PSNR[16],SSIM[17]和主觀評(píng)價(jià)的方式進(jìn)行。

訓(xùn)練設(shè)置L1范式損失函數(shù)系數(shù)為100,圖6為文中提出的網(wǎng)絡(luò)損失函數(shù)變化圖,各線型分別為生成網(wǎng)絡(luò)總損失函數(shù)(gen_loss),生成網(wǎng)絡(luò)L1范式損失函數(shù)乘以系數(shù)之后(gen_loss_L1×λ)的結(jié)果,生成網(wǎng)絡(luò)損失函數(shù)(gen_loss_GAN),判別網(wǎng)絡(luò)損失函數(shù)(discrim_loss)。生成網(wǎng)絡(luò)損失函數(shù)和判別網(wǎng)絡(luò)損失函數(shù)在訓(xùn)練60次之前差別較大,此時(shí)生成網(wǎng)絡(luò)生長圖片質(zhì)量很差,判別網(wǎng)絡(luò)的判別能力不足。

圖6 損失函數(shù)

訓(xùn)練達(dá)到60次后,二者損失函數(shù)趨近于相等,此時(shí)訓(xùn)練趨于穩(wěn)定,二者進(jìn)行相互對(duì)抗訓(xùn)練。生成網(wǎng)絡(luò)L1范式損失函數(shù)可以在一定程度上反應(yīng)出生成網(wǎng)絡(luò)生成的圖片和真實(shí)圖片之間的差異,在60次之前下降迅速,說明生成網(wǎng)絡(luò)生成的圖片質(zhì)量快速提高,在60次之后,仍然在緩慢下降,說明生成對(duì)抗網(wǎng)絡(luò)仍然在不斷提高生成圖片質(zhì)量。從生成網(wǎng)絡(luò)總損失函數(shù)可以看出在訓(xùn)練200次時(shí),變化趨于穩(wěn)定,為了防止繼續(xù)訓(xùn)練導(dǎo)致過擬合,在200次訓(xùn)練后停止訓(xùn)練。

選取100張與數(shù)據(jù)集場景完全不同的紅外圖像,加入與數(shù)據(jù)集分布完全一致的噪聲后作為測試集對(duì)2種網(wǎng)絡(luò)進(jìn)行非均勻性校正測試。校正效果對(duì)比如圖7所示。PSNR值如圖8所示。Pix2pix網(wǎng)絡(luò)大部分測試結(jié)果高于30 dB,說明圖像質(zhì)量較好。文中提出的網(wǎng)絡(luò)在35 dB附近波動(dòng),PSNR指標(biāo)高于Pix2pix,說明文中提出的網(wǎng)絡(luò)校正后的圖片質(zhì)量更好。

圖7 校正效果對(duì)比

SSIM值如圖9所示,該指標(biāo)越接近于1,說明校正后圖片與真實(shí)圖片越相似。文中提出的網(wǎng)絡(luò)的SSIM指標(biāo)在0.9附近波動(dòng),高于pix2pix網(wǎng)絡(luò),說明文中提出的網(wǎng)絡(luò)校正后的圖片與真實(shí)圖片更接近,校正效果更好。

圖8 測試集PSNR圖

圖9 測試集SSIM圖

主觀評(píng)價(jià)標(biāo)準(zhǔn)也是評(píng)價(jià)圖片質(zhì)量的重要指標(biāo)[18]。選擇背景偏亮和背景偏暗的兩張圖片展示兩種算法的校正效果,如圖7所示。對(duì)于圖7(a)圖片,圖片有大片的黑色背景,圖像細(xì)節(jié)較少,信息量較小,兩種網(wǎng)絡(luò)在該場景下非均勻性校正效果均表現(xiàn)良好,Pix2pix算法和本章算法幾乎不存在殘余的非均勻性噪聲,人物邊緣沒有出現(xiàn)明顯的模糊。對(duì)于圖7(b)圖片,Pix2pix算法仍留有殘余的非均勻性噪聲,圖像中出現(xiàn)了明顯的白色條帶,本章算法幾乎不存在殘余的非均勻性噪聲,校正效果明顯更好。

用細(xì)節(jié)較多,信息量較大的紅外圖像對(duì)2種網(wǎng)絡(luò)的非均勻性校正效果進(jìn)行測試,測試結(jié)果如圖10所示。將含有非均勻性噪聲的原圖輸入網(wǎng)絡(luò),將得到的校正后圖片的樹冠部分放大觀察,發(fā)現(xiàn)Pix2pix算法輸出的圖片邊緣有一定的模糊,損失了一部分邊緣細(xì)節(jié)。本章算法輸出的圖片邊緣清晰銳利,整個(gè)樹冠的細(xì)節(jié)清晰可辨,可見本章算法在復(fù)雜的場景下,對(duì)于紅外圖像的非均勻性校正效果表現(xiàn)更好,具有廣泛的適應(yīng)性。

圖10 校正效果細(xì)節(jié)

由實(shí)驗(yàn)室基于艾睿光電公司生產(chǎn)的RTD611非制冷型紅外焦平面陣列自主研發(fā)的長波(8～14 μm)紅外探測器拍攝的圖片如圖11(a)所示。使用的對(duì)比算法有傳統(tǒng)的基于場景的校正算法:雙邊濾波算法(BFTH)[19]、傳統(tǒng)神經(jīng)網(wǎng)絡(luò)校正算法(NN)[20]；傳統(tǒng)的基于單幀的校正算法:中值直方圖均衡化算法(MHE)[21]、小波-傅里葉聯(lián)合濾波算法(WD-FT)[22]；基于深度學(xué)習(xí)的校正算法:基于深度學(xué)習(xí)的條帶噪聲校正算法(DLS)[23],Pix2pix算法。

以上各算法的平均粗糙度值如表3所示,平均粗糙度的計(jì)算剔除了BFTH算法和NN算法未收斂的部分。從表中數(shù)據(jù)可以看出,經(jīng)過本章算法的校正后,紅外圖像的粗糙度數(shù)值最低,從客觀評(píng)價(jià)指標(biāo)上說明本章算法的校正效果在對(duì)比算法中表現(xiàn)最好。

表3 各算法平均粗糙度

使用上述對(duì)比算法對(duì)自主研發(fā)的長波紅外探測器收集的圖片序列進(jìn)行非均勻性校正。圖11(b)顯示BFTH算法出現(xiàn)了殘余的非均勻性噪聲,背景出現(xiàn)了變暗的現(xiàn)象,在人物的腿部出現(xiàn)了上一幀圖像中殘余的像素信息,即“鬼影”現(xiàn)象。圖11(c)顯示NN算法取得了一定的校正效果,畫面中殘余的非均勻性噪聲較少,人物邊緣出現(xiàn)了一定程度的過度平滑現(xiàn)象。圖11(d)和圖11(e)顯示MHE算法和WD-FT出現(xiàn)了較多的殘余非均勻性噪聲。圖11(f)～(g)顯示3種基于深度學(xué)習(xí)的算法均取得了良好的校正效果,畫面中幾乎不存在殘余的非均勻性噪聲,從局部放大圖中可以看出,本章算法人物邊緣更加銳利,頭部與背景的對(duì)比度更高,圖片整體質(zhì)量好于其他對(duì)比算法。

圖11 不同方法校正效果比較

6 結(jié) 論

本文提出一種生成對(duì)抗網(wǎng)絡(luò),分為生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分,生成網(wǎng)絡(luò)生成假紅外圖像輸入判別網(wǎng)絡(luò),判別網(wǎng)絡(luò)區(qū)分生成的假紅外圖像與真實(shí)圖像,二者對(duì)抗訓(xùn)練生成紅外圖像非均勻性矯正網(wǎng)絡(luò)模型。生成網(wǎng)絡(luò)使用多尺度殘差連接,讓解碼網(wǎng)絡(luò)和不同抽象層次的特征圖進(jìn)行融合,保證網(wǎng)絡(luò)可以保留不同尺度的特征,盡可能避免由于網(wǎng)絡(luò)深度增加造成的信息丟失問題。經(jīng)過實(shí)驗(yàn)驗(yàn)證,文中提出的網(wǎng)絡(luò)對(duì)于紅外圖像的條紋狀非均勻性校正有良好的效果,均方根誤差和峰值信噪比數(shù)據(jù)均高于對(duì)比算法,獲得校正后的圖片清晰銳利,邊緣清晰,細(xì)節(jié)信息得到保留,不會(huì)引入新的噪聲,由于算法基于單幀圖像,不依賴先驗(yàn)信息,不會(huì)產(chǎn)生“鬼影”問題,對(duì)于不同的紅外圖像場景都有良好的適應(yīng)性。