基于多傳感器像素分類的紅外圖像超分辨率算法

陳繼光 蘇冰山

（鄭州航空工業(yè)管理學(xué)院 智能工程學(xué)院，河南 鄭州450046）

紅外圖像反映成像場景的熱力學(xué)信息，在醫(yī)療衛(wèi)生如快速體溫檢測和疾病篩查等方面應(yīng)用前景廣闊，另外，紅外圖像在軍事偵察如戰(zhàn)場信息捕獲等方面應(yīng)用廣泛。但是由于紅外成像原理和硬件設(shè)備技術(shù)水平的限制，紅外相機直接獲得的紅外圖像分辨率較低，并且邊緣模糊。

提高紅外圖像的分辨率成為十分必要的問題。傳統(tǒng)總廣義變分[1]（Total Generalized Variation，TGV）正則化方法可以有效保留超分辨率重建圖像的邊緣，但是紅外圖像自身的邊緣不夠清晰，使得重建圖像質(zhì)量不高。文獻[2]實現(xiàn)了一種基于TGV 的紅外圖像超分辨率算法，但是算法中交替方向乘數(shù)法的收斂性較差。

以上方法為基于同類紅外傳感器獲取的紅外圖像實現(xiàn)的超分辨率算法，由于紅外圖像自身的邊緣模糊，使得重建的高分辨率紅外圖像邊緣細(xì)節(jié)不夠清晰。

高分辨率可見光圖像可以容易的由相機直接獲取，并且可見光圖像的邊緣細(xì)節(jié)清晰，因此可借助同場景的高分辨率可見光圖像的邊緣補充低分辨率紅外圖像邊緣模糊的缺點。文獻[3]將TGV 正則化方法與各向異性張量[4]相結(jié)合，由高分辨率可見光圖像引導(dǎo)低分辨率圖像進行超分辨率重建，但各向異性張量在獲取可見光圖像邊緣的同時也引入了噪聲，增加了噪聲的來源和種類，致使重建圖像被多種噪聲污染。文獻[5]通過一種改進的二階TGV 正則化模型重建紅外圖像，重建的高分辨率圖像中紅外圖像自身的噪聲得到抑制，但是算法實現(xiàn)的時間變長；采用相位一致[6]邊緣提取算法減少了可見光圖像噪聲的干擾，但也使得可見光圖像的邊緣信息的獲取不夠全面，同時由于引入了同場景可見光圖像的無關(guān)信息，使得重建結(jié)果出現(xiàn)一定的失真。文獻[7]將紅外圖像和同場景的可見光圖像的邊緣進行相關(guān)性分類，然后得到紅外圖像的高頻信息，最后將高頻信息與TGV 模型的數(shù)據(jù)項結(jié)合起來得到最終的高分辨率紅外圖像，但高頻信息與正則化模型的數(shù)據(jù)項結(jié)合難以將可見光的邊緣信息有效的體現(xiàn)在重建結(jié)果中。

針對以上問題，本文采用一種基于多傳感器的TGV 模型實現(xiàn)紅外圖像超分辨率重建。算法利用各向異性張量獲取可見光圖像的高頻邊緣信息，然后將可見光圖像的高頻邊緣信息與對應(yīng)低分辨率紅外圖像插值放大的結(jié)果做像素相關(guān)性分類，最后以相關(guān)性分類后的相關(guān)邊緣對TGV 模型加權(quán)，得到高分辨率紅外圖像。

1 算法框架

本文算法框架下式，該算法迭代求解出最優(yōu)化條件下的超分辨率重建圖像IH：

上式由正則約束項R（I）和數(shù)據(jù)項D（I，IS）組成，I 為紅外圖像超分辨率重建后的結(jié)果，IS為低分辨率紅外圖像。正則約束項利用圖像的先驗約束條件對重建的近似解空間進行約束，得到邊緣相對清晰的唯一解；數(shù)據(jù)項主要用于控制重建后的高分辨率紅外圖像與原始低分辨紅外圖像的逼近程度，得到接近低分辨率原圖的高分辨率圖像。

2 算法實現(xiàn)

對于紅外圖像超分辨率來說，二階總廣義正則化效果較好并且運算量適合實際應(yīng)用，其表達(dá)式如下：

其中ν 為TGV 正則化算法中的對稱矩陣，a 和b 分別用于控制二階項與一階項所占比重的標(biāo)量參數(shù)。

2.1 圖像相關(guān)性分類

為了利用同一場景的可見光圖像和紅外圖像之間相關(guān)邊緣信息提高紅外圖像分辨率，避免非相關(guān)圖像塊對紅外超分辨重建結(jié)果造成影響，本文在提取邊緣信息后將邊緣區(qū)域分類為相關(guān)邊緣和非相關(guān)邊緣。在邊緣信息分類時我們采用相關(guān)系數(shù)分類法加以分類。

根據(jù)相關(guān)系數(shù)將圖像邊緣分類為相關(guān)邊緣和非相關(guān)邊緣的步驟是：首先提取可見光圖像邊緣，然后采用歸一化互相關(guān)方法來測定可見光圖像邊緣和插值放大后的紅外圖像像素的相似度：

2.2 相關(guān)邊緣對TGV 模型加權(quán)

本文將可見光圖像和對應(yīng)紅外圖像的相關(guān)邊緣對TGV 模型加權(quán)，同時將數(shù)據(jù)項與正則約束項結(jié)合起來，得到算法的目標(biāo)函數(shù)：

目標(biāo)函數(shù)采用一階主- 對偶優(yōu)化方法實現(xiàn)，最終結(jié)合梯度下降法求得最優(yōu)解。由此（4）式轉(zhuǎn)化為：

上式中M×N 即為待求的高分辨率紅外圖像的分辨率，p、q為主- 對偶優(yōu)化算法中的對偶變量。

在主- 對偶優(yōu)化算法中，主變量I，ν 和對偶變量p，q 通過迭代計算求解。第一次迭代時，I=IS，令ν，p，q=0，步長θp，θq均設(shè)為大于0 的常數(shù)。迭代計算的三個過程如下：

第一，梯度上升迭代更新對偶變量：

I0和ν0為迭代計算的中間結(jié)果，μ 的值每次迭代時都更新。本文算法由以上計算過程得到收斂的優(yōu)化解。

3 實驗結(jié)果與分析

實驗將最近鄰插值算法、文獻[3]的方法、文獻[5]的方法、本文的算法加以對比，文獻[3]和文獻[5]中的算法均為基于多傳感器的TGV 超分辨率算法。實驗圖像源于俄勒岡州立大學(xué)的紅外和可見光圖像庫，實驗中a 取0.023，b 取0.154，圖2 為2 倍超分辨率重建的實驗結(jié)果，結(jié)果中圖片的分辨率為320×240。

根據(jù)實驗結(jié)果，取圖像庫中的房屋圖像的數(shù)據(jù)，最近鄰插值算法所得結(jié)果的PSNR=37.8208；文獻[3]算法所得結(jié)果PSNR=38.3991；文獻[5]算法所得結(jié)果PSNR= 38.805；為本文算法所得結(jié)果的PSNR= 38.8498。本文獲得的高分辨率紅外圖像峰值信噪比（PSNR）最高，證明圖像質(zhì)量最高。

4 結(jié)論

基于單一種類紅外傳感器獲取的紅外圖像進行超分辨率重建時缺乏高頻信息，使得重建圖像邊緣不清晰?；诙鄠鞲衅鞯腡GV 算法求解高分辨率紅外圖像時引入了無關(guān)信息，使得圖像出現(xiàn)失真。針對以上問題本文實現(xiàn)了一種基于總廣義變分和圖像像素相關(guān)性分類的紅外圖像的超分辨率算法，算法利用各向異性張量提取高分辨率可見光圖像的邊緣信息，然后將分類后的相關(guān)邊緣和二階總廣義變分模型相結(jié)合。本文算法抑制了可見光圖像邊緣中無關(guān)信息的干擾，獲得邊緣清晰的高分辨率紅外圖像。實驗結(jié)果證明本文算法效果優(yōu)于其他算法。