基于模糊算子的紅外圖像去模糊研究

張錦航,孫立輝,姜軍強(qiáng)

(1.河北經(jīng)貿(mào)大學(xué)信息技術(shù)學(xué)院,河北 石家莊 050061;2.西安科技大學(xué)機(jī)械工程系,陜西 西安 710054)

1 引 言

隨著紅外成像技術(shù)的迅速發(fā)展,紅外成像技術(shù)開始應(yīng)用于各個(gè)領(lǐng)域,并占有重要的地位。紅外成像通過不同對(duì)象的紅外熱輻射強(qiáng)度不同來形成圖像,無需使用外部可見光也可以成像,相較于可見光成像,紅外成像可以實(shí)現(xiàn)夜視成像,成像結(jié)果直觀,抗干擾能力強(qiáng),適用于復(fù)雜特殊環(huán)境的同時(shí)還具有可成像距離遠(yuǎn)、穿透能力強(qiáng)等諸多優(yōu)勢(shì)。紅外成像設(shè)備發(fā)展到現(xiàn)在,已經(jīng)實(shí)現(xiàn)了便攜式的設(shè)計(jì),方便攜帶,操作簡(jiǎn)單。紅外成像技術(shù)已經(jīng)廣泛應(yīng)用于工業(yè),軍事[1]等眾多領(lǐng)域,然而拍攝期間鏡頭的抖動(dòng)或目標(biāo)的快速移動(dòng)會(huì)導(dǎo)致紅外成像時(shí)產(chǎn)生運(yùn)動(dòng)模糊,降低了紅外圖像的清晰度,對(duì)紅外圖像在這些領(lǐng)域的應(yīng)用造成了嚴(yán)重影響。在相機(jī)曝光的時(shí)間段里鏡頭發(fā)生了移動(dòng),導(dǎo)致采集的像素點(diǎn)發(fā)生了變化,所以在得到的圖像中場(chǎng)景和物體會(huì)看起來模糊或晃動(dòng),這被稱為運(yùn)動(dòng)模糊。圖像去模糊技術(shù)被廣泛用于工業(yè)制造,醫(yī)學(xué)影像等領(lǐng)域。紅外圖像去模糊的主要目的是去除模糊偽影以提高圖像質(zhì)量,在運(yùn)動(dòng)模糊的圖像中提取有用的信息,對(duì)紅外圖像去模糊的研究具有重要價(jià)值。

傳統(tǒng)的圖像去模糊方法[2-4]通過使用約束條件,引入圖像先驗(yàn)知識(shí)對(duì)圖像模糊進(jìn)行表征,但是現(xiàn)實(shí)中運(yùn)動(dòng)模糊情況多數(shù)是非均勻模糊,從而無法估計(jì)模糊核,因此這些傳統(tǒng)圖像去模糊方法在實(shí)際應(yīng)用中的效果并不理想。近年來隨著深度學(xué)習(xí)算法的發(fā)展,基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的方法被大量用于圖像去模糊領(lǐng)域。相比于傳統(tǒng)的圖像去模糊算法,深度學(xué)習(xí)算法可以做到更好的去模糊效果,過去的幾年里已經(jīng)提出了許多深度學(xué)習(xí)去模糊模型。Nah等提出了一種端到端的多尺度卷積神經(jīng)網(wǎng)絡(luò)DeepDeblur[5]用于圖像去模糊,分別在三個(gè)尺度不同的層對(duì)圖像進(jìn)行去模糊,把低層輸出的結(jié)果作為高層的輸入,增加了收斂性。Tao等提出了SRN-Deblur[6]采用尺度循環(huán)結(jié)構(gòu)進(jìn)行圖像去模糊。Kupyn等提出了DeblurGAN[7]首次將生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)用于圖像去模糊,通過訓(xùn)練輸入的模糊圖像來生成高質(zhì)量圖像,隨后他們又提出了DeblurGANv2[8],使用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)[9]提取圖像特征并且結(jié)合了全局和局部?jī)蓚€(gè)尺度的判別器損失,運(yùn)行速度快并且有一定的去模糊效果。還有許多關(guān)于多幀去模糊[10]和特定領(lǐng)域去模糊[11]的工作。然而基于深度學(xué)習(xí)的去模糊模型通常直接學(xué)習(xí)模糊圖像和清晰圖像之間的映射函數(shù),在跨領(lǐng)域應(yīng)用時(shí)泛化能力弱,魯棒性差,并且將深度學(xué)習(xí)的方法用于紅外圖像去模糊的研究較為缺乏,大部分紅外圖像去模糊的研究使用的紅外數(shù)據(jù)集也并非現(xiàn)實(shí)拍攝中的模糊核所生成的紅外模糊圖像,這就導(dǎo)致這些深度學(xué)習(xí)模型只能處理由簡(jiǎn)單模糊核產(chǎn)生的模擬紅外模糊圖像,無法處理真實(shí)場(chǎng)景中的模糊算子[12],在面對(duì)真實(shí)場(chǎng)景下的紅外模糊圖像時(shí)沒有效果。

針對(duì)上述問題本文提出了一種基于模糊算子的紅外圖像去模糊方法,采用深度自編碼網(wǎng)絡(luò)對(duì)由清晰圖像和模糊圖像組成的數(shù)據(jù)集中的模糊算子進(jìn)行編碼,通過編碼后的模糊算子去逼近一個(gè)真實(shí)未知的模糊算子并搜索對(duì)應(yīng)的清晰圖像,這樣可以處理真實(shí)場(chǎng)景下紅外圖像的運(yùn)動(dòng)模糊,實(shí)現(xiàn)真實(shí)場(chǎng)景下紅外圖像去模糊,同時(shí)避免了使用復(fù)雜的模糊核手工先驗(yàn)。此外本文還設(shè)計(jì)了合成模糊的結(jié)構(gòu),實(shí)現(xiàn)了將現(xiàn)實(shí)中通過鏡頭運(yùn)動(dòng)等方式產(chǎn)生的模糊轉(zhuǎn)移到另一個(gè)圖像來生成真實(shí)模糊圖像的功能,將現(xiàn)有數(shù)據(jù)集的運(yùn)動(dòng)模糊轉(zhuǎn)移到紅外圖像上,制作紅外圖像的數(shù)據(jù)集對(duì),解決了紅外圖像難以收集配對(duì)數(shù)據(jù)的問題,在完善模糊圖像數(shù)據(jù)集并將技術(shù)推廣至紅外圖像領(lǐng)域有著重要的意義。實(shí)驗(yàn)結(jié)果表明,該方法能有效提高紅外圖像的質(zhì)量,去除運(yùn)動(dòng)模糊后可以得到較為清晰的紅外圖像。

2 基于模糊算子的紅外圖像去模糊算法

模糊算子是一種模糊關(guān)系合成運(yùn)算,在模糊圖像生成的過程中,模糊算子對(duì)模糊核和清晰圖像進(jìn)行合成運(yùn)算從而生成模糊圖像。由清晰圖像x和模糊核k生成模糊圖像y的模型通常被公式化表示為:

y=f(x,k)+η≈f(x,k)

(1)

其中,f(x,k)是帶有模糊核k的模糊算子;η是噪聲。

若干模糊算子組成了模糊算子集合[12],通過模糊核能夠調(diào)用模糊算子集合中的模糊算子。本文設(shè)計(jì)了一種模糊核提取器用來提取清晰圖像和對(duì)應(yīng)模糊圖像之間的模糊核,同時(shí)本文設(shè)定了包含模糊算子集合和模糊核提取器的顯式表示的公式如下:

y=F(x,k)

(2)

k=G(x,y)

(3)

其中,F為模糊算子集合;G為模糊核提取器。模糊算子集合F中的每個(gè)特定的模糊算子f(x,k)都對(duì)應(yīng)著一個(gè)特定的模糊核k,當(dāng)F的函數(shù)形式固定時(shí),可以通過k引用F中的f(x,k)。圖像去模糊的目標(biāo)是在給定模糊圖像y的情況下找到清晰的圖像x,當(dāng)訓(xùn)練好模糊算子集合F之后,通過模糊核k引用F中的模糊算子f(x,k),使f(x,k)不斷逼近y上的真實(shí)模糊算子,從而找到滿足上述公式的x和k來對(duì)模糊圖像y進(jìn)行去模糊,去模糊算法流程如表1所示。

表1 去模糊算法流程

3 基于模糊算子的紅外圖像去模糊算法實(shí)現(xiàn)

3.1 總體結(jié)構(gòu)

模糊算子集合F可用于在給定模糊核k的情況下生成模糊圖像,模糊核提取器G可用于提取模糊核k,本文通過兩個(gè)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)F和G,使用一個(gè)帶有跳躍連接[13]的深度自編碼網(wǎng)絡(luò)實(shí)現(xiàn)F,使用一個(gè)殘差網(wǎng)絡(luò)[14]實(shí)現(xiàn)G。首先從數(shù)據(jù)集中采樣清晰圖像和對(duì)應(yīng)的模糊圖像,將這些圖像拼接起來輸入給模糊核提取器G,生成相應(yīng)的編碼模糊核向量k。然后將清晰圖像x輸入模糊算子集合F,在編碼器部分清晰圖像x被編碼為瓶頸結(jié)構(gòu)嵌入向量,在瓶頸結(jié)構(gòu)部分將嵌入向量x與模糊核向量k拼接成一個(gè)新的向量。最后在解碼器部分對(duì)新的向量進(jìn)行解碼以獲得合成的模糊圖像,通過使合成模糊圖像F(x,k)和真實(shí)模糊圖像y之間差距最小化的損失函數(shù)H(y,(x,k))來訓(xùn)練模糊算子集合F。合成模糊模型結(jié)構(gòu)如圖1所示。

圖1 合成模糊模型結(jié)構(gòu)

模糊算子集合F固定之后,可將其用于圖像去模糊。給定模糊圖像y,在去模糊的過程中,設(shè)定兩個(gè)標(biāo)準(zhǔn)正態(tài)隨機(jī)向量z1和z2分別作為模糊核提取器G和模糊算子集合F的輸入,模糊核提取器G輸出隨機(jī)模糊核向量k,模糊算子集合F輸出隨機(jī)清晰圖像向量x,因?yàn)镕的形式已經(jīng)固定,所以只需要找到清晰圖像向量x和模糊核向量k使損失函數(shù)H最小化,從而找到清晰圖像x。去模糊過程中使用迭代優(yōu)化的方法來優(yōu)化H,交替進(jìn)行以下兩個(gè)步驟:(1)固定模糊核k并優(yōu)化潛在清晰圖像x。(2)固定潛在清晰圖像x并優(yōu)化模糊核k。去模糊的模型結(jié)構(gòu)如圖2所示。

圖2 去模糊模型結(jié)構(gòu)

3.2 模糊算子集合設(shè)計(jì)

模糊算子集合F由預(yù)處理模塊和深度自編碼網(wǎng)絡(luò)構(gòu)成,預(yù)處理模塊由卷積層和十個(gè)殘差塊組成,在網(wǎng)絡(luò)頭部通過預(yù)處理模塊先對(duì)輸入圖像進(jìn)行簡(jiǎn)單特征提取,將輸入圖像轉(zhuǎn)換為特征圖,方便后續(xù)編碼器部分進(jìn)行更深層的特征提取。在網(wǎng)絡(luò)尾部使用變換卷積層和殘差塊位置的預(yù)處理模塊將特征圖轉(zhuǎn)換為輸出圖像。先使用預(yù)處理模塊對(duì)輸入圖像進(jìn)行兩次下采樣,輸出將輸入圖像轉(zhuǎn)換為64通道的特征圖到編碼器(Encoder)和解碼器(Decoder)部分。編碼器和解碼器部分各包含五個(gè)卷積層,采用多個(gè)3×3卷積,每個(gè)卷積后都添加LReLU激活函數(shù),有助于增大網(wǎng)絡(luò)稀疏性,增強(qiáng)了網(wǎng)絡(luò)的泛化能力。在相同維度的卷積層之間增添跳躍連接,增強(qiáng)了特征信息在網(wǎng)絡(luò)中的傳遞,確保了特征信息的可重用性,并且避免了梯度消失的問題。編碼器對(duì)特征圖進(jìn)行多次下采樣,每次下采樣將通道數(shù)變?yōu)榍耙粚油ǖ罃?shù)的一半,輸出為512×2×2大小的向量,輸出向量與模糊核向量拼接之后作為解碼器的輸入,解碼器對(duì)拼接向量進(jìn)行多次上采樣重建輸出特征圖。最后在網(wǎng)絡(luò)尾部使用預(yù)處理模塊對(duì)解碼器輸出的特征圖上采樣,將64通道的特征圖轉(zhuǎn)換回輸出圖像。詳細(xì)網(wǎng)絡(luò)層次結(jié)構(gòu)如表2所示。

表2 自編碼網(wǎng)絡(luò)模型參數(shù)

3.3 模糊核提取器設(shè)計(jì)

模糊核提取器G由卷積層和殘差模塊構(gòu)成,殘差模塊包含了兩個(gè)卷積層和一個(gè)LRelu激活函數(shù),通過添加殘差模塊增加了網(wǎng)絡(luò)深度,避免產(chǎn)生梯度消失和梯度爆炸的問題。該網(wǎng)絡(luò)的輸入是清晰圖像和模糊圖像拼接而成的向量,輸出一個(gè)大小為512×2×2的模糊核向量,詳細(xì)網(wǎng)絡(luò)層次結(jié)構(gòu)如表3所示。

表3 提取器模型參數(shù)

3.4 損失函數(shù)

損失函數(shù)用來指導(dǎo)模型訓(xùn)練,對(duì)訓(xùn)練效果有著不可忽視的影響。本文采用的損失函數(shù)h是Charbonnier損失[15],Charbonnier損失是一種較為穩(wěn)定的改良版L1范數(shù)損失,收斂速度快,處理異常的能力強(qiáng),性能提升大,目前在超分領(lǐng)域應(yīng)用較多。Charbonnier損失用于計(jì)算合成模糊圖像F(xi,G(xi,yi))和對(duì)應(yīng)真實(shí)模糊圖像yi之間的差距。表示為:

(4)

為了使優(yōu)化過程更加穩(wěn)定,得到更好的去模糊效果,在損失函數(shù)中添加兩個(gè)正則化項(xiàng),在模糊核k上添加一個(gè)正則化項(xiàng)使優(yōu)化過程更穩(wěn)定,在清晰圖像x的圖像梯度上使用超拉普拉斯先驗(yàn)[16],加大梯度的稀疏性,減少噪聲并獲得更自然的圖像x。添加正則化之后的損失函數(shù)如下:

(5)

其中,gu和gv分別是水平方向和垂直方向上的導(dǎo)數(shù);μ,β,α是可調(diào)的超參數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)環(huán)境

本文設(shè)計(jì)了模糊合成與紅外圖像去模糊兩部分實(shí)驗(yàn)來驗(yàn)證本文提出基于模糊算子的方法是否有效,紅外圖像去模糊實(shí)驗(yàn)采用自制紅外圖像數(shù)據(jù)集,模糊合成實(shí)驗(yàn)采用公開的GOPRO數(shù)據(jù)集[7]。在配有RTX2080SGPU,32GB內(nèi)存,Intel Xeon e5-2640CPU,操作系統(tǒng)為windows10的聯(lián)想P900工作站上進(jìn)行實(shí)驗(yàn),使用基于Pytorch的深度學(xué)習(xí)框架進(jìn)行訓(xùn)練和測(cè)試,所有實(shí)驗(yàn)均在相同的環(huán)境下進(jìn)行。

4.2 實(shí)驗(yàn)數(shù)據(jù)集和參數(shù)設(shè)置

自制紅外圖像數(shù)據(jù)集是采用Xcore MicroⅡ系列非制冷紅外機(jī)芯組件在不同場(chǎng)景下拍攝而成的。其中訓(xùn)練集是由拍攝的清晰圖像和使用本文模糊合成方法生成的模糊圖像組成的,包含了5568張清晰圖像和模糊圖像,每張圖像分辨率為640×512。測(cè)試集是通過鏡頭移動(dòng)或晃動(dòng)等方式拍攝出的241張真實(shí)紅外模糊圖像,用于測(cè)試去模糊效果。

GOPRO數(shù)據(jù)集中的圖像是采用GOPRO4相機(jī)拍攝的每秒240幀的高速視頻中的視頻幀,用來模擬運(yùn)動(dòng)模糊圖像。該數(shù)據(jù)集包含3214對(duì)清晰圖像和模糊圖像,其中訓(xùn)練集為2103對(duì),測(cè)試集為1111對(duì),每張圖像分辨率為1280×720。

兩次實(shí)驗(yàn)分別使用自制紅外圖像數(shù)據(jù)集和GOPRO數(shù)據(jù)集去訓(xùn)練模糊算子集合和模糊核提取器組成的模型,在使用訓(xùn)練集前要將每對(duì)模糊圖像和清晰圖像在同樣的位置裁剪出分辨率為256×256的圖像,兩次訓(xùn)練均使用相同的參數(shù),實(shí)驗(yàn)采用Adam優(yōu)化器[17],參數(shù)設(shè)置為b1=0.9,b2=0.99,設(shè)定batchsize為4,將模糊核上正則化的權(quán)重設(shè)為1×10-4,將超拉普拉斯先驗(yàn)的權(quán)重設(shè)為1×10-2,設(shè)定初始學(xué)習(xí)率為1×10-4,并采用余弦退火算法[18]逐步衰減學(xué)習(xí)率。實(shí)驗(yàn)總共迭代6×106次。實(shí)驗(yàn)結(jié)果選用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結(jié)構(gòu)相似度(Structural Similarity,SSIM)[19]兩項(xiàng)指標(biāo)進(jìn)行衡量。峰值信噪比數(shù)值高表示圖像質(zhì)量較好,引入噪聲較少,失真較小。結(jié)構(gòu)相似度的數(shù)值越高表示生成的清晰圖像越接近真實(shí)清晰圖像,兩幅圖像的結(jié)構(gòu)越相似。

4.3 實(shí)驗(yàn)結(jié)果

4.3.1 模糊合成

模糊合成實(shí)驗(yàn)是為了驗(yàn)證使用本文提出的方法生成的模糊圖像,能否替代真實(shí)的模糊圖像。在原數(shù)據(jù)集中選取清晰圖像x和對(duì)應(yīng)模糊圖像y,再隨機(jī)選取清晰圖像x1,使用從(x,y)中提取的模糊核在x1上生成模糊圖像y1,然后使用由(x1,y1)組成的合成數(shù)據(jù)集去訓(xùn)練深度學(xué)習(xí)去模糊模型,最終比較使用原數(shù)據(jù)集訓(xùn)練的模型和使用合成數(shù)據(jù)集訓(xùn)練的模型之間的性能。

本文在GOPRO數(shù)據(jù)集上進(jìn)行模糊合成實(shí)驗(yàn)。通過使用GOPRO數(shù)據(jù)集訓(xùn)練出的模型生成模糊圖像,原清晰圖像和新生成的模糊圖像組成了合成數(shù)據(jù)集之后,使用原數(shù)據(jù)集和合成數(shù)據(jù)集分別訓(xùn)練去模糊模型DeblurGANv2[8],評(píng)價(jià)指標(biāo)值和實(shí)驗(yàn)效果圖如表4和圖3所示。從實(shí)驗(yàn)結(jié)果可以看到使用原數(shù)據(jù)集和合成數(shù)據(jù)集訓(xùn)練出的模型在PSNR和SSIM性能指標(biāo)上幾乎沒有差異,使用本文提出的方法生成的模糊圖像可以替代真實(shí)模糊圖像。

表4 訓(xùn)練結(jié)果

圖3 合成模糊圖像效果

4.3.2 紅外圖像去模糊

本文在自制紅外圖像數(shù)據(jù)集上進(jìn)行去模糊對(duì)比實(shí)驗(yàn)。采用DeepDeblur[5],SRN-Deblur[6],DeblurGANv2[8]三種常見的去模糊算法與本文算法進(jìn)行對(duì)比,先使用自制紅外圖像數(shù)據(jù)集去訓(xùn)練模型,最后在測(cè)試集上測(cè)試去模糊效果,所有算法均采用相同的訓(xùn)練樣本和測(cè)試樣本,評(píng)價(jià)指標(biāo)值和實(shí)驗(yàn)效果圖如表5和圖4所示。DeepDeblur處理之后的模糊圖像產(chǎn)生了畸變,存在嚴(yán)重失真的現(xiàn)象。SRN-Deblur處理之后的模糊圖像雖然清晰度有了較大提升,但是局部細(xì)節(jié)不夠清晰。DeblurGANv2處理之后的模糊圖像產(chǎn)生了噪聲,圖像質(zhì)量較為粗糙。本文算法處理之后的圖像得到了清晰明了的邊緣輪廓,豐富的局部細(xì)節(jié)信息,圖像質(zhì)量顯著提高,在視覺上更接近清晰圖像,有效提升了紅外模糊圖像的清晰度并且取得了高于其他方法的PSNR和SSIM性能指標(biāo)。

表5 紅外圖像去模糊評(píng)價(jià)指標(biāo)值

圖4 紅外圖像去模糊效果

5 總 結(jié)

由于深度學(xué)習(xí)去模糊模型在跨領(lǐng)域應(yīng)用時(shí)表現(xiàn)不佳,對(duì)真實(shí)場(chǎng)景下紅外模糊圖像沒有效果,本文提出了一種基于模糊算子的紅外圖像去模糊方法。通過深度自編碼網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)實(shí)現(xiàn)了模糊算子集合和模糊核提取器,該方法可以處理真實(shí)場(chǎng)景下紅外圖像的運(yùn)動(dòng)模糊,恢復(fù)出邊緣結(jié)構(gòu)更清晰,局部細(xì)節(jié)更豐富的清晰紅外圖像。該模型還可以對(duì)清晰圖像進(jìn)行模糊合成,解決了紅外圖像難以收集配對(duì)數(shù)據(jù)的問題。實(shí)驗(yàn)結(jié)果表明,本文提出的方法取得了有說服力的圖像去模糊效果,顯著提升了模糊圖像的清晰度。