一種低匹配誤差敏感度的紅外圖像超分辨率算法

姚 敏，周 勤

?

一種低匹配誤差敏感度的紅外圖像超分辨率算法

姚 敏，周 勤

（武漢東湖學(xué)院 電信學(xué)院，湖北 武漢 430212）

提出了一種能夠克服匹配誤差的紅外圖像超分辨率算法。該算法采用了多通道自適應(yīng)正規(guī)技術(shù)來處理由于紅外圖像匹配不精確而引起的病態(tài)問題。由于每幅低分辨率圖像的匹配誤差都不相同，因此每個(gè)通道的正規(guī)參數(shù)都自適應(yīng)地被正規(guī)參數(shù)函數(shù)選擇。提出的算法能夠在沒有任何先驗(yàn)信息的情況下對(duì)于圖像匹配誤差具有很強(qiáng)的魯棒性。隨著迭代過程的進(jìn)行每個(gè)正規(guī)參數(shù)以及重建的圖像不斷地被更新。實(shí)驗(yàn)結(jié)果表明該算法相比傳統(tǒng)算法在客觀量度和視覺效果兩個(gè)方面都具有較好性能。

紅外圖像；超分辨率；圖像匹配；匹配誤差；正規(guī)參數(shù)

0 引言

高分辨率圖像可以擁有更多的細(xì)節(jié)信息，在醫(yī)學(xué)成像[1]、天文遙感[2]、計(jì)算機(jī)視覺[3]、偵察監(jiān)視等諸多領(lǐng)域有著廣泛的應(yīng)用。目前可見光成像已經(jīng)達(dá)到了相當(dāng)高的分辨率，但紅外成像由于硬件條件的限制，尚無法獲得與可見光成像類似的高分辨率圖像，應(yīng)用圖像超分辨率（SR）技術(shù)可以改善這個(gè)問題。圖像超分辨率技術(shù)可以利用一幅或幾幅低分辨率圖像，結(jié)合圖像的先驗(yàn)知識(shí)，對(duì)圖像進(jìn)行去模糊和降噪處理，最終恢復(fù)出更加真實(shí)的高分辨圖像[4]。一般可分為單幀圖像超分辨率復(fù)原和多幀圖像超分辨率重建[5]。在大多數(shù)情況下，多幀超分辨率重建的效果要好于單幀超分辨率復(fù)原的效果。目前多幀超分辨率重建算法主要包括：非均勻差值法[6]、最大后驗(yàn)概率法[7]、凸集投影算法[8]、迭代反投影算法[9]。

超分辨率重建中的一個(gè)關(guān)鍵步驟是圖像匹配，匹配精度對(duì)于重建效果有重要影響。Patti[10]等人在視頻序列超分辨率重建中為解決時(shí)間變化和運(yùn)動(dòng)導(dǎo)致的圖像模糊問題，采用了快速匹配和相位相關(guān)方法進(jìn)行亞像素運(yùn)動(dòng)估計(jì)。Qin等人[7]提出一種基于迭代后集投影的超分辨率算法，通過采用泰勒展開的方法實(shí)現(xiàn)亞像素匹配。但紅外成像反應(yīng)的是目標(biāo)物體和場景的熱輻射差異，紅外圖像場景元素不夠豐富，目標(biāo)灰度單一，導(dǎo)致實(shí)際亞像素匹配較為困難。在很多傳統(tǒng)超分辨率重建算法中，忽略了匹配誤差或假設(shè)匹配誤差不存在，這在紅外圖像超分辨率重建應(yīng)用中是不可行的。

針對(duì)紅外圖像的超分辨率重建問題，本文提出了基于多通道自適應(yīng)正規(guī)化的重建算法，用于處理各幀低分辨率紅外圖像匹配誤差不一致的情況，采用正規(guī)參數(shù)函數(shù)來自適應(yīng)選擇各個(gè)通道的正規(guī)參數(shù)，在迭代過程中根據(jù)重建出的高分辨率圖像來不斷更新各個(gè)通道的正規(guī)參數(shù)，從而補(bǔ)償各幀圖像的匹配誤差，這使得該算法能夠?qū)ζヅ湔`差具有較強(qiáng)的魯棒性。

本文第1章簡要介紹了圖像退化模型，第2章主要介紹自適應(yīng)多通道正規(guī)方法，第3章對(duì)算法進(jìn)行了驗(yàn)證和分析。

1 圖像退化模型

為了從一系列低分辨率（LR）圖像重建高分辨率（HR）圖像，需要對(duì)圖像采集程中引起的退化因素進(jìn)行分析和建模，為逆問題的求解提供依據(jù)。目前的超分辨率重建算法大多都是基于一個(gè)統(tǒng)一的退化模型，如圖1所示。

在本文中，大小為11×22的原始高分辨率圖像采用字典形式表示為列向量后大小為1122×1。1，2分別代表圖像退化模型中，水平方向和垂直方向的下采樣系數(shù)。假設(shè)總共采集了幀低分辨率（LR）圖像，則圖像觀測模型可以表示為：

＝＋n，＝1,2,…(1)

式中：表示大小為12×1低分辨率圖像列向量；是一個(gè)大小為1122×1122的矩陣，表示場景圖像相對(duì)于傳感器產(chǎn)生的相對(duì)運(yùn)動(dòng)；是一個(gè)大小為1122×1122的點(diǎn)擴(kuò)散模糊矩陣；矩陣的大小為12×1122，它表示LR圖像獲取過程中的下采樣過程。n大小為12×1，表示加性噪聲，一般假定噪聲為零均值的加性高斯噪聲。

2 基于多通道正規(guī)化超分辨率算法

從一系列LR圖像中估計(jì)出HR圖像是一個(gè)病態(tài)問題，需要采用一種正規(guī)化方法，本文主要采用了一種多通道正規(guī)化方法。

2.1 多通道正規(guī)化方法

通常在正規(guī)化方法中都需要關(guān)于原始高分辨率圖像的先驗(yàn)信息，這個(gè)先驗(yàn)知識(shí)可以將SR問題的解限制在一個(gè)集合里面：

?S(2)

式中：S是一個(gè)包含有一系列具有共同性質(zhì)的解的集合。本文采用的是高斯平滑先驗(yàn)?zāi)Ｐ?，即假設(shè)原始高分辨率圖像都是平滑的，用公式可以表示為：

式中：表示一個(gè)高通濾波算子。這個(gè)集合意味著圖像采集過程中的加性高斯噪聲是限定在一定范圍之內(nèi)的。

類似地，還可以定義圖像運(yùn)動(dòng)估計(jì)誤差先驗(yàn)?zāi)Ｐ?，即?/p>

上式中的左邊表示由于運(yùn)動(dòng)估計(jì)誤差引起的超分辨率重建誤差，這個(gè)先驗(yàn)?zāi)Ｐ鸵馕吨\(yùn)動(dòng)估計(jì)誤差是限制在一定范圍之內(nèi)的。其中，E2的大小與第幀低分辨率圖像運(yùn)動(dòng)估計(jì)誤差的方差成比例。由式(3)和式(4)定義的集合是橢圓體，最終估計(jì)的超分辨率圖像將包含在兩個(gè)集合的交集中。如果所有的邊界E2和2是已知的，并且兩個(gè)橢圓體有一個(gè)非空的交集，那么最終的求解可以通過最小化一個(gè)代價(jià)函數(shù)來獲得，這個(gè)代價(jià)函數(shù)由式(5)給出：

圖1 圖像退化模型

Fig.1 Image degradation model

在前面所述的假設(shè)中，邊界E2和2被作為一個(gè)已知先驗(yàn)信息，然而，這一假設(shè)通常是很難實(shí)現(xiàn)的，這也限制了這個(gè)方法的應(yīng)用，因此這里假設(shè)預(yù)先沒有獲取任何關(guān)于邊界E2和2的先驗(yàn)知識(shí)，而正規(guī)參數(shù)值則根據(jù)當(dāng)前重建出的超分辨率圖像來確定。通過代換，式(5)可以表示為：

2.2 正規(guī)參數(shù)函數(shù)

在本文提出的算法中，正規(guī)參數(shù)的值通過一個(gè)函數(shù)來確定的。選擇一個(gè)合適的正規(guī)參數(shù)函數(shù)是該算法的關(guān)鍵，這個(gè)正規(guī)參數(shù)函數(shù)可以充分利用迭代過程中獲取的信息進(jìn)行更新，并找到合適的正規(guī)參數(shù)用于下次迭代。

為了同時(shí)實(shí)現(xiàn)抑制匹配誤差和噪聲的目的，正規(guī)參數(shù)函數(shù)需要同時(shí)具備以下性質(zhì)：

1）()應(yīng)該與匹配誤差的值成反比例關(guān)系；

2）()應(yīng)該與重建圖像中的低頻成分成正比，即：

3）()應(yīng)該大于零。

根據(jù)該性質(zhì)，本文正規(guī)參數(shù)函數(shù)由式(8)給出：

2.3 梯度下降最小化算法

對(duì)式(6)給出的代價(jià)函數(shù)進(jìn)行最小化估計(jì)，迭代過程采用梯度下降法，計(jì)算過程由式(9)給出，其中超分辨率圖像的初始為0，通常由雙線性插值或三次插值獲得。

式中：()表示代價(jià)函數(shù)()對(duì)每個(gè)像素的梯度函數(shù)；d表示梯度第步的下降步長，其由式(10)計(jì)算得到：

3 實(shí)驗(yàn)仿真結(jié)果與分析

為了驗(yàn)證算法的有效性，進(jìn)行了仿真實(shí)驗(yàn)，根據(jù)4幅模擬低分辨率紅外圖像重建出高分辨圖像。按照退化模型（圖1）可以模擬產(chǎn)生4幅退化的低分辨率紅外圖像。在退化過程中，原始圖像被分別平移（0,0）、(0,1)、(1,0)和(1,1)，點(diǎn)擴(kuò)散模糊采用的是5×5的高斯平滑模板，下采樣率為2，最后添加功率為10dB的高斯噪聲，生成4幅低分辨率退化圖像，它們的平移分別為(0,0)、(0,0.5)、(0.5,0)和(0.5,0.5)。在本文中，假設(shè)亞像素平移存在一定的誤差，存在誤差的平移參數(shù)如表1所示。

表1 不精確的亞像素平移估計(jì)

實(shí)驗(yàn)中將本文算法和傳統(tǒng)固定正規(guī)參數(shù)方法進(jìn)行比較，采用峰值信噪比（PSNR）來定量地評(píng)價(jià)算法的重建效果，其定義由式(11)給出。為了便于參考比較，3次插值放大的圖像也在結(jié)果中展示出來：

在實(shí)驗(yàn)中，傳統(tǒng)方法的正規(guī)參數(shù)是固定值，通過對(duì)“靶標(biāo)”進(jìn)行一系列仿真實(shí)驗(yàn)，選擇最大PSNR值對(duì)應(yīng)的正規(guī)參數(shù)值。從圖2中可以看出，固定正規(guī)參數(shù)選擇40較合適。

圖2 “靶標(biāo)”圖像的PSNR-正規(guī)參數(shù)曲線

傳統(tǒng)方法和本文采樣的多通道正規(guī)方法重建結(jié)果的PSNR值如表2所示。

表2 在不同的估計(jì)誤差下各種算法的PSNR值

從這些實(shí)驗(yàn)結(jié)果可以看出來，本文提出的算法在圖像匹配存在一定誤差的情況下可以獲得更好的重建效果。兩種算法的重建的高分辨率圖像以及原始圖像如圖3～圖4所示。

從以上這些圖片中可以看出，超分辨率重建算法獲得的結(jié)果通常都比插值放大的效果好。隨著匹配誤差的增加，無論是傳統(tǒng)方法還是本文采用的多通道正規(guī)化方法的重建結(jié)果都在變差，但是本文提出的超分辨率算法相比傳統(tǒng)的固定正規(guī)參數(shù)的方法可以重建更多的圖像細(xì)節(jié)，對(duì)于匹配誤差具有更強(qiáng)的魯棒性。圖5給出了“靶標(biāo)”圖像重建迭代過程中各個(gè)通道的正規(guī)參數(shù)值的變化趨勢，從圖中可以看出，正規(guī)參數(shù)值最終的大小與其對(duì)應(yīng)通道的圖像匹配誤差成負(fù)相關(guān)，從這可以初步估計(jì)圖像匹配誤差的大小。

4 結(jié)論

本文提出了一種克服圖像亞像素匹配誤差的紅外圖像超分辨率重建算法。在該算法中采用了一種多通道自適應(yīng)正規(guī)化方法，通過在迭代過程中不斷更新各個(gè)通道的正規(guī)參數(shù)來實(shí)現(xiàn)對(duì)匹配誤差的補(bǔ)償。在實(shí)驗(yàn)中采用一系列模擬退化的低分辨率圖像進(jìn)行超分辨率重建，在平移參數(shù)估計(jì)中添加了不同的匹配誤差，最終的仿真結(jié)果表明本文提出的算法對(duì)圖像匹配誤差具有較強(qiáng)的魯棒性，能夠重建出較好的超分辨率紅外圖像。

圖3 靶標(biāo)的超分辨率算法重建結(jié)果對(duì)比

Fig.3 Comparison of the reconstruction results with super resolution algorithm

圖4 “外場景”的超分辨率算法重建結(jié)果

圖5 “靶標(biāo)”圖像重建過程中的正規(guī)參數(shù)值

[1] 徐啟飛. 醫(yī)學(xué)圖像自適應(yīng)超分辨率重建算法的研究[D]. 廣州: 南方醫(yī)科大學(xué), 2008.

XU Qifei. Research on Adaptive Super Resolution Reconstruction Algorithm of Medical Image[D]. Guangzhou:, 2008

[2] 張艷, 王濤, 徐青, 等. 基于HMRF先驗(yàn)?zāi)Ｐ偷腍BE衛(wèi)星遙感圖像超分辨率重建[J].武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2007(7): 589-592.

ZHANG Yan, WANG Tao, XU Qing, et al. Super resolution reconstruction of HBE satellite remote sensing image based on HMRF model [J]., 2007 (7): 589-592.

[3] 郭海霞, 劉海歐, 郭海龍, 等. 基于低層次計(jì)算機(jī)視覺的超分辨率圖像重建[J]. 計(jì)算機(jī)工程與應(yīng)用, 2009(29): 164-167.

GUO Haixia, LIU Haiou, GUO Hailong, et al. Super resolution image reconstruction based on the low level computer vision [J]., 2009 (29): 164-167.

[4] 周琳, 楊娜. 基于離線雙字典學(xué)習(xí)算法的圖像超分辨率重建研究[J]. 紅外技術(shù), 2015, 37(4): 277-282.

ZHOU Lin, YANG Na. Image super resolution reconstruction based on offline double dictionary learning algorithm[J]., 2015, 37(4): 277-282

[5] 蔣曉慧, 趙勛杰, 李成金, 等.自適應(yīng)加權(quán)的總變分正則化圖像超分辨率重建[J]. 紅外技術(shù), 2014, 36(4): 290-293.

JIANG Xiao Hui, ZHAO Xun-jie, LI Cheng-jin, et al. A super-resolution algorithm based on adaptive weighted total variation[J]., 2014, 36(4): 290-293.

[6] ZHANG H C, YANG J C, ZHANG Y N, et al. Non-local Kernel regression for image and video restoration[J].2010, 6313(III): 566-579.

[7] YUAN Q Q, ZHANG L P, SHEN H F, et al. Adaptive multiple-frame image super-resolution based on U-curve[J]., 2010, 19(12): 3157-3170.

[8] Gevrekci M, Gunturk B K, Altunbasak Y. POCS-based restoration of Bayer-sampled image sequences[C]//, 2007, I(PTS 1-3): 753-756.

[9] QIN F Q, HE X H, CHE W L, et al. Video super-resolution reconstruction based on subpixel registration and iterative back projection[J]., 2009, 18: 0130071.

[10] Patti A J, Sezan M I, Tekalp A M. Super resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time[J]., 1997, 6(8): 1064-1076.

An Infrared Images Super-resolution Algorithm with Low Registration Error Sensitivity

YAO Min，ZHOU Qin

(,430212,)

This paper proposes an infrared images super-resolution algorithm which is insensitive to image registration error. The proposed method mainly applies a multichannel regularized technology to handle the ill-posed problems introduced by the infrared image registration error. Since the registration error in each low-resolution image has a different pattern, the regularization parameters are determined adaptively for each channel. The proposed algorithm is robust against the image registration error and it does not require any prior information. The regularization parameters and estimated high-resolution images are updated with the progress of iteration. The performance of the proposed method is validated by implementing a series of experiments. The experimental results show the proposed algorithm performs better than the conventional method, both in quantitative terms and in visual effects.

infrared image，super-resolution，image registration，registration error，regularization parameter

TN219

A

1001-8891(2016)10-0864-06

2016-04-08；

2016-07-05.

姚敏（1981-），女，湖北孝感人，副教授，主要從事光電圖像信息處理研究。E-mail：13930599@qq.com。

武漢東湖學(xué)院校級(jí)基金項(xiàng)目“分塊壓縮感知在圖像重構(gòu)中的應(yīng)用研究”。