基于異源圖像引導的紅外圖像增強算法

臧維明，鄧文，李紅，陶福煜，楊曉敏

(1. 中國電子科技集團公司第二十九研究所，四川成都 610036; 2. 四川大學 電子信息學院，四川成都 610065)

基礎(chǔ)理論

基于異源圖像引導的紅外圖像增強算法

臧維明1，鄧文1，李紅2，陶福煜2，楊曉敏2

(1. 中國電子科技集團公司第二十九研究所，四川成都 610036; 2. 四川大學 電子信息學院，四川成都 610065)

紅外成像技術(shù)具有隱蔽性強、環(huán)境適應(yīng)能力強、可探測隱蔽物體的優(yōu)點，因此被廣泛應(yīng)用于軍事等領(lǐng)域。受成像原理、硬件設(shè)備及環(huán)境等因素影響，導致的紅外圖像整體對比度低、細節(jié)模糊、噪聲多、視覺效果差等特性，限制了紅外圖像應(yīng)用范圍。本文利用紅外圖像自相關(guān)性與可見光圖像自相關(guān)性判斷紅外圖像與可見光圖像相關(guān)性；并利用紅外圖像與可見光圖像相關(guān)性增強紅外圖像細節(jié)信息。實驗結(jié)果表明，基于異源圖像引導的紅外圖像增強算法，在增強圖像對比度、圖像細節(jié)，改善圖像視覺效果的基礎(chǔ)上，可有效增強圖像細節(jié)清晰度。

異源圖像；紅外圖像；圖像增強

0 引 言

紅外成像具有作用距離遠、抗干擾性好、可全天時、全天候工作等優(yōu)點，它在民用和軍用領(lǐng)域都得到了極為廣泛的應(yīng)用，例如在軍事領(lǐng)域，需要對高速運動的目標進行分析，特別是遠程飛機的航空偵察、導彈的精確制導、彈道學研究、夜視技術(shù)、雷達檢測、物體爆炸及燃燒過程等方面。

然而受紅外成像硬件設(shè)備的限制，紅外圖像通常有對比度低、細節(jié)模糊、視覺效果差等缺點?；谲浖募t外圖像增強算法主要結(jié)合圖像視覺特性與統(tǒng)計特征進行增強，可去除圖像噪聲、增強對比度、細節(jié)信息，提高圖像視覺效果。然而，在細節(jié)增強過程中，若圖像紋理細節(jié)過于模糊，則細節(jié)退化為圖像背景，導致細節(jié)信息不明顯。因此，若能夠在紅外圖像增強過程中若能夠利用較為清晰的圖像細節(jié)對其修正，則可獲得更好的圖像細節(jié)[1-4]。

鑒于CCD或CMOS傳感器獲取的可見光圖像對比度高、紋理細節(jié)清晰等特點，本文利用紅外圖像與可見光圖像相關(guān)性，將紅外圖像與可見光圖像分為相關(guān)區(qū)域和非相關(guān)區(qū)域，在相關(guān)區(qū)域利用可見光圖像增強紅外圖像。實驗效果表明，基于異源圖像引導的紅外圖像增強算法，可有效增強紅外圖像細節(jié)清晰度。

1 本文算法

本文主要基于異源信息引導的紅外圖像增強算法，利用可見光圖像細節(jié)信息修正紅外圖像細節(jié)信息，從而提高紅外圖像輪廓及細節(jié)清晰度。首先根據(jù)Retinex算法利用WLS濾波器將紅外圖像和可見光圖像分別分解為照射分量和反射分量；然后對原始紅外圖像和與其對應(yīng)的可見光圖像判斷相關(guān)性，在紅外圖像與其對應(yīng)的可見光圖像相關(guān)區(qū)域，利用可見光圖像細節(jié)對紅外圖像細節(jié)進行引導增強；根據(jù)紅外圖像照射分量統(tǒng)計特征進行自適應(yīng)模糊平臺直方圖操作，增強整體對比度，從而進一步增強圖像細節(jié)清晰度；最后根據(jù)Retinex算法將增強的紅外圖像照射分量和增強的反射分量相乘，獲得最終紅外增強圖像。

圖1 算法流程圖

1.1 Retinex理論視覺模型

圖2給出了Retine理論視覺模型[5-8]，觀測圖像I是物體經(jīng)反射光源L形成的，由物體自身反射率R決定。在Retinex理論中原始觀測圖像中的每個像素點I(i,j)用該像素點的照射分量L(i,j)和該像素點的反射分量R(i,j)的乘積表示。

(1)

圖2 Retinex算法視覺模型

照射分量由外界光源強度決定反應(yīng)了灰度動態(tài)范圍，反射分量由物體反射屬性決定為圖像內(nèi)在屬性。因此，可以對原始圖像分解成反射分量和照射分量，然后分別對兩個分量進行增強。最終將兩個分量的增強結(jié)果進行合成，產(chǎn)生最終的增強圖像。

1.2 可見光圖像與紅外圖像相關(guān)性分析

可見光圖像整體視覺效果較好、對比度高、紋理細節(jié)清晰，而紅外圖像受硬件設(shè)備的影響，對比度低、細節(jié)模糊、視覺效果差。對于同一場景信息描述時，通?？梢姽鈭D像質(zhì)量要優(yōu)于紅外圖像質(zhì)量。紅外圖像增強細節(jié)時，模糊的細節(jié)退化為背景被削弱。當紅外圖像與可見光圖像相關(guān)時，可以利用可見光圖像細節(jié)引導紅外圖像信息細節(jié)增強。圖3給出了紅外圖像與其對應(yīng)可見光圖像相關(guān)性計算框圖。

圖3 圖像相關(guān)性計算結(jié)構(gòu)圖

1.2.1 非局部自相似性計算

非局部自相似性為圖像特性之一，表征圖像在非局部區(qū)域中圖像結(jié)構(gòu)信息、紋理信息重復出現(xiàn)的特性。在一幅圖像中任意圖像塊都存在相似的塊，可以用圖像塊自相似性表征圖像塊屬性。本文利用歐氏距離度量圖像塊的相似性。

(1)相關(guān)性度量

(2)

上式中∩表示兩集合相交運算，G(·)為求取兩集合共同元素的個數(shù)。本文中當相關(guān)性系數(shù)CS=1時，設(shè)定紅外圖像在(i,j)處與可見光圖像在(i,j)處為相關(guān)區(qū)域。圖4給出了相關(guān)性計算框圖。

圖4 相關(guān)性計算框圖

3 細節(jié)引導增強

m]當可見光圖像質(zhì)量優(yōu)于紅外圖像質(zhì)量時，基于Retinex理論提取的見光圖像反射分量細節(jié)、輪廓清晰度要普遍高于紅外圖像反射分量。結(jié)合兩者之間的相關(guān)性及細節(jié)清晰度可以有效增強紅外細節(jié)。在可見光圖像像素點(iV,jV)與紅外圖像像素點(iI,jI)相關(guān)區(qū)域處，用可見光圖像細節(jié)引導紅外圖像反射分量細節(jié)增強。當可見光圖像像素點(iV,jV)與紅外圖像像素點(iI,jI)非相關(guān)區(qū)域處，紅外圖像反射分量細節(jié)RIR(iI,jI)保持不變。修正后紅外圖像反射分量細節(jié)RIRC(iI,jI)可表示為：

(3)

且C1+C2=1，根據(jù)經(jīng)驗值本章中取C1=0.3、C2=0.7。圖6給出了圖像細節(jié)引導增強框圖。

4 基于模糊的自適應(yīng)平臺直方圖算法

直方圖均衡化算法[9，10]中統(tǒng)計直方圖概率密度函數(shù)P(l)計算如下：

(4)

其中l(wèi)表示第l個灰度級，滿足l=0,1,2,…,L，本文中L=255。nl為灰度級l在圖像中出現(xiàn)的次數(shù)，N表示像素的總數(shù)。平臺直方圖算法通過對統(tǒng)計直方圖中像素灰度概率密度的減少或增加實現(xiàn)對直方圖均衡化算法的修正，平臺直方圖利用平臺閾值可以有效地抑制圖像背景。當某灰度級l概率密度函數(shù)P(l)高于平臺閾值T時，P(l)設(shè)置為T，當P(l)低于平臺閾值時，P(l)保持不變。圖像像素灰度級為l時的平臺直方圖PT(l)表示如下：

(5)

對PT(l)求累計直方圖FT(l)，依據(jù)FT(l)對灰度值重新分派，即可獲取均衡化效果。

(6)

像素灰度值l經(jīng)平臺直方圖均衡化算法后像素重新分派值DT(l)為：

(7)

式中0≤DT(l)≤255；[]表示取整。

通常平臺閾值的選擇是通過經(jīng)驗進行設(shè)定，對應(yīng)用者要求較高，為此，很多學者提出了自適應(yīng)算法設(shè)置平臺閾值。自適應(yīng)平臺閾值設(shè)定主要有兩種方法：方法一是根據(jù)總像素的百分比進行設(shè)定；方法二為根據(jù)直方圖局部極大值點設(shè)定閾值。方法二中選擇平臺閾值T的關(guān)鍵在于找到圖像直方圖中的局部極大值，但是經(jīng)WLS[11]濾波后圖像的直方圖呈不規(guī)則的單峰、雙峰狀態(tài)，很難從中找到“真正的”局部極大值。模糊統(tǒng)計可以解決灰度級不精確的問題，與傳統(tǒng)灰度直方圖相比，模糊灰度直方圖對隨機波動或灰度級缺失有更好的控制能力，基于模糊的灰度直方圖較為平滑，可以很容易的從中找到局部極大值。圖5～圖6分別給出了兩幅圖像WLS濾波后效果圖、對應(yīng)的直方圖及模糊直方圖。圖5、圖6表明，模糊灰度直方圖明顯比傳統(tǒng)灰度直方圖更為光滑。

圖5 WLS濾波圖像及其直方圖與模糊直方圖

圖6 WLS濾波圖像及其直方圖與模糊直方圖

(8)

(9)

(1)尋找局部極大值：

局部極大值可通過模糊灰度直方圖的局部一階微分求出，一階微分可表示如下：

(10)

其中，p(l)表示模糊灰度直方圖的一階微分。局部極大值可通過下式得到：

(11)

其中，lt表示局部極大值。

(2)閾值計算：

使用中值濾波器對局部極大值進行處理，得到的結(jié)果就是平臺閾值T，公式如下：

(12)

其中M(·)為進行中值濾波操作，s為局部極大值的數(shù)目。

5 細節(jié)增強算法

圖像高頻反映了細節(jié)，因此對高頻增強能夠有效增強細節(jié)?；阡J化的細節(jié)增強算法將原圖分為高頻細節(jié)部分(銳化掩模)和低頻平滑部分(非銳化掩模)。算法通過對原圖低通濾波獲得非銳化掩模部分，用原圖與非銳化掩模相減獲取高頻細節(jié)部分，并對高頻細節(jié)部分乘以修正參數(shù)并加到反銳化掩模中，即可獲取銳化增強圖像[12]。對給定的像素通常將以此像素為中心計算局部區(qū)域像素平均值作為低頻分量。以(i,j)為中心以(2n+1)×(2n+1)為窗口大小的局部區(qū)域均值μ(i,j)可表示為：

(13)

其中，n為正整數(shù)。像素點(i,j)局部區(qū)域方差σ2(i,j)可表示為：

(14)

(15)

強邊緣表示圖像紋理性強，弱邊緣表示圖像的平滑區(qū)域，因此，在強邊緣處用大系數(shù)進行修正，弱邊緣處保持不變，增強后的像素值fE(i,j)：

(16)

λ1、λ2和λ3修正參數(shù)且滿足λ1>λ2>λ3,λ3=1。

6 實驗

本章實驗圖片均來自imagefusion網(wǎng)站，其中紅外圖像和可見光圖像均為同一場景圖像，且圖像均為配準圖像。本章選取了2幅不同場景下的紅外圖像(如圖7所示)，并將2幅紅外圖像的HE算法、PHE算法、SSR算法、MSR算法、BR算法、基于WLS的Retinex算法(WLSR)以及本章算法的實驗效果進行主觀分析、客觀分析及細節(jié)引導增強分析。

6.1 主觀分析

本章中將本文算法與直方圖均衡化(HE)、平臺直方圖(PHE)、單尺度Retinex(SSR)、多尺度Retinex(MSR)、雙邊濾波Retinex(BR)算法從主觀和客觀方面進行具體分析。圖8圖9分別給出2幅不同場景的紅外圖像在不同算法下的實驗效果圖。

圖7 2組紅外圖像、可見光圖

圖8 紅外圖像1實驗效果圖

圖9 紅外圖像4實驗效果圖

圖7給出了2幅紅外圖像及對應(yīng)配準的可見光圖像，其中紅外圖像1對應(yīng)的可見光圖像較為清晰，紅外圖像4與其對應(yīng)配準的可見光圖像細節(jié)及清晰度較差。圖8～圖9分別給出了圖7中2幅紅外圖像實驗效果圖。HE能夠顯著提高紅外圖像亮度及對比度、增強紅外圖像輪廓清晰度，但高亮區(qū)域細節(jié)缺失嚴重、噪聲被增強，HE效果圖中圖4.9海面背景區(qū)域及4.15路面區(qū)域圖像噪聲明顯且細節(jié)丟失嚴重。PHE算法在增強圖像亮度、對比度及清晰度時有效的抑制了圖像噪聲，圖4.9中PHE效果圖中噪聲得到了有效抑制。圖4.15中圖像整體對比度較低，且圖像中心操場區(qū)域細節(jié)不明顯。WLSR算法圖像亮度及對比度有效增強、細節(jié)及清晰度顯著提升、視覺效果得到了較好改善。

6.2 客觀分析

本節(jié)對上述2幅不同場景、不同算法的紅外實驗效果圖從信息熵、平均梯度及邊緣強度三個客觀指標對進行比較分析。

表1 各算法實驗效果信息熵

表1各算法實驗效果信息熵數(shù)據(jù)表明，在增強紅外圖像過程中HE算法圖像信息缺失嚴重。PHE及BR算法增強視覺效果的時盡量保持圖像信息。SSR、MSR、WLSR及本章算法可有效增強圖像信息，WLSR算法信息熵高于SSR、 MSR及BR算法，說明WLSR算法在增強圖像信息時效果比傳統(tǒng)SSR、MSR、BR算法效果更佳。與WLSR算法相比本章算法信息熵最高，異源圖像可有效引導的紅外圖像增強。

表2 各算法實驗效果平均梯度

表2各算法實驗效果平均梯度數(shù)據(jù)表明，各算法平均梯度要優(yōu)于原圖，說明各算法圖像清晰度及紋理信息得到了增強。其中HE算法的平均梯度多數(shù)優(yōu)于其它算法，但HE算法在增強對比度及清晰度時噪聲明顯增強。與HE相比，本章算法在增強圖像清晰度和紋理細節(jié)時，能夠有效去除圖像噪聲并保持圖像細節(jié)信息。WLSR算法平均梯度普遍優(yōu)于PHE、SSR、MSR及BR算法，說明WLSR算法能夠有效增強圖像清晰度。與WLSR相比，基于異源圖像引導的本章算法紅外圖像的清晰度明顯提升。

表3 各算法實驗效果邊緣強度

表3各算法實驗效果邊緣強度數(shù)據(jù)表明，各增強算法的邊緣強度普遍高于原始圖像，說明各增強算法圖像輪廓得到了增強。MSR算法邊緣強度比SSR算法有所提升，多尺度的MSR算法在均衡圖像對比度、動態(tài)范圍時，圖像的輪廓清晰度得到一定增強。WLSR算法邊緣強度普遍優(yōu)于PHE、SSR、MSR及BR算法，說明結(jié)合統(tǒng)計特征宇視覺特性的WLSR算法能夠有效增強輪廓清晰度。本章算法邊緣強度要高于其它算法，說明本章紅外圖像算法可有效增強圖像輪廓清晰度。

7 結(jié) 語

本文提出了基于異源圖像引導的紅外圖像增強算法。本文利用異源(可見光)圖像引導紅外圖像細節(jié)增強。算法主要利用紅外圖像自相關(guān)性與可見光圖像自相關(guān)性判斷紅外圖像與可見光圖像相關(guān)性；并利用紅外圖像與可見光圖像相關(guān)性增強紅外圖像細節(jié)信息。實驗結(jié).果表明，基于異源圖像引導的紅外圖像增強算法，在增強圖像對比度、圖像細節(jié)，改善圖像視覺效果的基礎(chǔ)上，可有效增強圖像細節(jié)清晰度。

[1] 李毅.基于視覺模型的紅外圖像增強技術(shù)研究[D]. 中國科學院長春光學精密機械與物理研究所.2016.

[2] 周欣. 紅外圖像視覺效果增強技術(shù)的研究[D]. 天津大學, 2008.

[3] 簡耀波. 紅外圖像處理中的關(guān)鍵算法研究[J]. 武漢:

華中科技大學博士學位論文, 2009.

[4] 陳小波. 紅外圖像增強技術(shù)研究[D]. 國防科學技術(shù)大學, 2013.

[5] 朱秋旭, 李俊山, 朱英宏, 等. Retinex 理論下的自適應(yīng)紅外圖像增強[J]. 微電子學與計算機, 2013, 30(4): 22-25.

[6] 劉輝, 趙文杰, 吳畏. 改進的多尺度 Retinex 紅外圖像增強算法[J]. 計算機技術(shù)與發(fā)展, 2011, 21(4): 105-107.

[7] Kimmel R, Elad M, Shaked D, et al. A variational framework for retinex[J]. International Journal of computer vision, 2003, 52(1): 7-23.

[8] Elad M. Retinex by two bilateral filters[C]. International Conference on Scale-Space Theories in Computer Vision. Springer Berlin Heidelberg, 2005: 217-229.

[9] 宋巖峰, 邵曉鵬, 徐軍. 基于雙平臺直方圖的紅外圖像增強算法[J]. 紅外與激光工程, 2008, 37(2): 308-311.

[10]Liang K, Ma Y, Xie Y, et al. A new adaptive contrast enhancement algorithm for infrared images based on double plateaus histogram equalization[J]. Infrared Physics & Technology, 2012, 55(4): 309-315.

[11]Farbman Z, Fattal R, Lischinski D, et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[C]. ACM Transactions on Graphics (TOG). ACM, 2008, 27(3): 67.

[12]Singh S S, Singh T T, Devi H M, et al. Local contrast enhancement using local standard deviation[J]. International Journal of Computer Applications, 2012, 47(15).

Infrared Image Enhancement Algorithm Based on Multi-Sensor Images

ZANG Wei-ming1, DENG Wen1, LI Hong2, TAO Fu-yu2, YANG Xiao-min2

(1. Southwest China Research Institute of Electronic Equipment, Chengdu, Sichuan 610036, China; 2. College of Electronics and Information Engineering, Sichuan University, Chengdu, Sichuan 610065, China)

Infrared imaging technology has several obvious advantages such as strong concealment, environmental adaptability, hidden objects detecting. Because of these advantages, Infrared imaging technology has been widely applied in military, aerospace, industrial testing, medical diagnosis and other fields. Affected by the image-forming principle, hardware equipment, environmental and other factors, Infrared image has the characteristics of low contrast, blurred image details, noise-corrupted, poor visual effect and so on. We proposed an infrared image enhancement algorithm based on heterogeneous image correction. We use the heterogeneous (visible) image to guide the infrared image detail enhancement: First, we propose to use the infrared image autocorrelation and the visible image autocorrelation to judge the similarity between the infrared image and the visible image. Secondly, we propose to use the infrared image and the visible image correlation similarity enhancement infrared image detail information. The experiment results demonstrate that our algorithm based on heterogeneous image correction can effectively enhance the image detail clearly.

heterogeneous image; infrared image; image enhancement

10.3969/j.issn.1673-5692.2017.04.004

2017-06-26

2017-08-01

聯(lián)合基于學習的超分辨率技術(shù)和多傳感器超分辨率技術(shù)在紅外圖像復原中的研究，國家自然科學基金(No.61271330)；圖像識別及圖像增強關(guān)鍵技術(shù)研究(四川省重大科技支撐計劃，No.2014GZ0005)

臧維明(1961—)，男，四川人，研究員，主要研究方向為系統(tǒng)工程與軟件架構(gòu)、信號處理等；

E-mail：1823113564@qq.com

鄧 文(1979—)，男，廣西人，高級工程師，主要研究方向為信號處理，數(shù)字圖像處理，軟件架構(gòu)等；

李 紅(1990—)，女，山東人，主要研究方向為圖像處理、模式識別等；

陶福煜(1992—)，男，重慶人，主要研究方向為圖像處理、計算機視覺等；

楊曉敏(1980—)，女，四川人，副教授，主要研究方向為圖像處理、模式識別、計算機視覺等。

TP391.41

A

1673-5692(2017)04-346-07