車載紅外夜視圖像的小波-遺傳圖像增強(qiáng)算法*

于 洋，康雪雪

(沈陽理工大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽 110159)

車載紅外夜視圖像的小波-遺傳圖像增強(qiáng)算法*

于 洋，康雪雪

(沈陽理工大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽 110159)

針對(duì)傳統(tǒng)紅外圖像增強(qiáng)算法在視覺效果上不夠理想的問題，提出了一種適用于車載紅外夜視圖像的圖像增強(qiáng)方法。該方法利用紅外夜視儀的非接觸生成熱圖像的原理，建立了針對(duì)車載紅外夜視圖像的小波-遺傳灰度圖像增強(qiáng)方法，并將該方法與傳統(tǒng)的直方圖均衡化法和多尺度Retinex算法進(jìn)行了對(duì)比。在紅外夜視圖像增強(qiáng)效果方面，該方法具有改善圖像亮度均勻性、避免圖像過分增強(qiáng)和抑制噪聲的特點(diǎn)。實(shí)驗(yàn)表明，所提出的小波-遺傳圖像增強(qiáng)算法在車載紅外夜視圖像增強(qiáng)方面的處理效果較好。

紅外夜視圖像；小波-遺傳；遺傳算法；圖像增強(qiáng)

1 引言

車載紅外夜視儀是基于紅外熱成像原理而設(shè)計(jì)的汽車輔助駕駛系統(tǒng)，具有廣泛的應(yīng)用前景和巨大的商業(yè)價(jià)值。由于紅外熱成像技術(shù)是通過紅外探測(cè)器接收汽車夜間行駛道路前方的目標(biāo)與背景，會(huì)受到紅外探測(cè)器噪聲、大氣等自然界各種熱輻射因素的影響，其成像的形狀和結(jié)構(gòu)的信息不足，因而在圖像研究領(lǐng)域中，如何提高紅外夜視圖像的增強(qiáng)效果是一個(gè)重要的研究課題[1,2]。

近年來，國內(nèi)外學(xué)者在圖像增強(qiáng)領(lǐng)域提出了許多新的方法和思路。常用的圖像增強(qiáng)方法主要有直方圖均衡化法[3]和動(dòng)態(tài)多尺度Retinex圖像增強(qiáng)方法[4]等，在提高了圖像對(duì)比度的同時(shí)噪聲不可避免地被放大。Stathaki T[5]對(duì)圖像融合增強(qiáng)的相關(guān)算法進(jìn)行了分析總結(jié)，但在工程領(lǐng)域的應(yīng)用性不強(qiáng)；Pohl C等[6]對(duì)多傳感器領(lǐng)域的圖像融合技術(shù)進(jìn)行了總結(jié)，并對(duì)相關(guān)概念、方法和應(yīng)用進(jìn)行了概述，但該方法的應(yīng)用僅限于遙感圖像中；Shah D等[7]提出增強(qiáng)圖像背景信息的四種紅外圖像與可見光圖像融合的方法，圖像的增強(qiáng)效果較明顯，但其對(duì)場(chǎng)景的靜態(tài)要求較高，同時(shí)在總體細(xì)節(jié)方面，視覺上的模糊化痕跡比較明顯。小波分析技術(shù)[8]通過對(duì)小波的分解與重構(gòu)，能夠良好地分離信號(hào)與噪聲并抑制噪聲，但對(duì)于光線暗或非均勻的紅外圖像，其增強(qiáng)后的視覺效果不佳。遺傳算法[9]是一種通過模仿自然界的選擇與遺傳的機(jī)理來尋找最優(yōu)解的進(jìn)化算法，能自適應(yīng)地調(diào)整搜索方向，同時(shí)具有可擴(kuò)展性，容易與其他算法相結(jié)合。在計(jì)算精度方面，其具有收斂速度快、計(jì)算時(shí)間少、魯棒性高等優(yōu)點(diǎn)，并且在人工生命、信號(hào)處理、模式識(shí)別、自適應(yīng)控制等領(lǐng)域具有廣泛的應(yīng)用。針對(duì)車載紅外夜視圖像的增強(qiáng)，本文提出了一種適用于車載紅外夜視圖像的圖像增強(qiáng)方法，并通過實(shí)驗(yàn)仿真和理論計(jì)算對(duì)算法的性能進(jìn)行了定性和定量的比較測(cè)試。

2 改進(jìn)的小波-遺傳圖像增強(qiáng)算法

多分辨率分析方法是小波變換的核心思想。在小波分解的過程中，通過小波分解將待分解圖像分解成兩部分，得到低頻系數(shù)部分和高頻系數(shù)部分，同時(shí)由高頻系數(shù)獲得兩個(gè)連續(xù)的低頻系數(shù)之間損失的信息，保持高頻系數(shù)部分不動(dòng)，繼續(xù)分解低頻系數(shù)部分。

本文算法流程圖如圖1所示。

Figure 1 Flow chart of the wavelet-genetic image enhancement algorithm

本文提出的適用于車載紅外夜視圖像的增強(qiáng)方法首先將圖像進(jìn)行小波分解，對(duì)低頻部分的圖像采用遺傳算法自適應(yīng)確定分段點(diǎn)的位置，以達(dá)到增強(qiáng)低頻圖像的目的；對(duì)高頻部分的圖像則采用小波閾值去噪法進(jìn)行增強(qiáng)，獲得兩個(gè)連續(xù)的低頻系數(shù)之間損失的信息的同時(shí)又去除噪聲；最后對(duì)兩種頻段增強(qiáng)后的圖像進(jìn)行小波重構(gòu)，即可得到增強(qiáng)的車載紅外夜視圖像。

3 低頻部分圖像的遺傳算法自適應(yīng)增強(qiáng)

由于車載紅外夜視儀采集的圖像是灰度圖像，故可用二維函數(shù)f(x,y)來表示，f(x,y)表示二維坐標(biāo)點(diǎn)(x,y)的灰度值。本文采用分段線性變換將低頻部分圖像變?yōu)橐粋€(gè)新的函數(shù)，以突出灰度區(qū)間或感興趣的目標(biāo)，即對(duì)圖像的灰度區(qū)間分成三段，并對(duì)各個(gè)區(qū)間進(jìn)行線性變化[10]。設(shè)圖像經(jīng)過小波分解后低頻部分為f1(x,y)，三段線性函數(shù)的數(shù)學(xué)表達(dá)式如下：

(1)

對(duì)應(yīng)的三段線性函數(shù)圖像如圖2所示。

Figure 2 Three sections of the linear transformation of the image

三段線性變換圖中的兩個(gè)折線拐點(diǎn)(T1,H1)、(T2,H2)比較重要，通過調(diào)整兩個(gè)拐點(diǎn)的位置即可對(duì)灰度區(qū)間進(jìn)行擴(kuò)展或壓縮。由此可見，確定最優(yōu)參數(shù)T1、H1、T2和H2是增強(qiáng)低頻部分圖像的關(guān)鍵。

3.1 遺傳算法的實(shí)現(xiàn)

本文采用遺傳算法對(duì)此四個(gè)參數(shù)進(jìn)行自適應(yīng)確定。因此，在編碼設(shè)計(jì)中，每條染色體可以用一維四元數(shù)組(T1,H1,T2,H2)表示，其中，每個(gè)基因與數(shù)組中的參數(shù)相對(duì)應(yīng)，并采用實(shí)數(shù)編碼，這樣，該數(shù)學(xué)模型即為求目標(biāo)規(guī)劃下的(T1,H1,T2,H2)參數(shù)組合問題。

遺傳算法通過構(gòu)建適應(yīng)度函數(shù)來提供個(gè)體進(jìn)化的動(dòng)力。為了兼顧圖像的結(jié)構(gòu)和細(xì)節(jié)、整體和局部之間的平衡，個(gè)體的適應(yīng)度函數(shù)采用圖像質(zhì)量評(píng)價(jià)函數(shù)，計(jì)算公式為:

(2)

其中，i表示個(gè)體，n=M×N，f1i(x,y) 表示經(jīng)過小波分解后的低頻部分圖像的個(gè)體。

公式(2)表明，圖像的增強(qiáng)效果由適應(yīng)度的值決定，即適應(yīng)度值越大，圖像的灰度分布越均勻，對(duì)比度越高。

遺傳算子的設(shè)計(jì)由選擇算子、交叉算子和變異三部分組成。先按照個(gè)體適應(yīng)度的大小，對(duì)規(guī)模為p的群體pop={a1,a2,…,ap}進(jìn)行降序排列；同時(shí)，從中挑出最優(yōu)的個(gè)體，直接進(jìn)入下一代種群，對(duì)于所有剩下的個(gè)體，一律進(jìn)行交叉和變異操作。然后由交叉算子產(chǎn)生新一代的個(gè)體，但為了防止遺傳算法過早地收斂，交叉操作采用算術(shù)交叉法，最終保護(hù)種群多樣性。算術(shù)交叉變換公式為：

(3)

3.2 低頻部分圖像的遺傳增強(qiáng)算法步驟

低頻部分圖像的遺傳自適應(yīng)增強(qiáng)算法流程圖如圖3所示。

Figure 3 Flow chart of the adaptive genetic algorithm for the low frequency part of image

算法實(shí)現(xiàn)的步驟為：首先，歸一化處理低頻部分圖像灰度f1(x,y)，將其映射到區(qū)間[0,1]。歸一化公式為:

(4)

其中，fmin表示該部分圖像灰度的最小值，fmax則為最大值。初始種群設(shè)置為50，遺傳算法的交叉概率設(shè)置為0.5，變異概率設(shè)置為0.03，最大進(jìn)化代數(shù)設(shè)置為500。對(duì)于公式(1)中的參數(shù)(T1,H1,T2,H2)，使用遺傳算法進(jìn)行實(shí)數(shù)編碼；同時(shí)，利用公式(1)對(duì)灰度圖像進(jìn)行三段線性變換，得到灰度拉伸圖像g′(x,y)；接著反歸一化處理灰度拉伸圖像g′(x,y)，得到輸出的低頻部分圖像f1′(x,y)。反歸一化公式為：

f1′(x,y)=(fmax-fmin)g′(x,y) + fmin

(5)

對(duì)種群進(jìn)行選擇、變叉和變異操作，可產(chǎn)生新的種群。重復(fù)此過程，如果連續(xù)幾代群體的最優(yōu)適應(yīng)度函數(shù)值變化不大并趨于穩(wěn)定值，結(jié)束條件判斷，此時(shí)個(gè)體的適應(yīng)度值最大，將其作為最優(yōu)解輸出，反編碼最優(yōu)個(gè)體，即可得到最優(yōu)參數(shù)；將最優(yōu)參數(shù)代入到公式(1)中，最終得到低頻圖像遺傳自適應(yīng)增強(qiáng)的最優(yōu)結(jié)果。

4 高頻部分圖像的小波閾值增強(qiáng)

紅外夜視圖像經(jīng)小波變換后，其大部分噪聲主要位于高頻子帶中，若增大分解尺度，則其噪聲下降很快。因此，為了最大限度地降低噪聲影響，首先對(duì)高頻子帶圖像進(jìn)行小波閾值去噪，其次由最大尺度低頻子帶圖像的局部對(duì)比度確定高頻子帶的增益系數(shù)，以便對(duì)高頻子帶圖像進(jìn)行圖像增強(qiáng)。

車載紅外夜視圖像經(jīng)過小波分解后的高頻系數(shù)為f2(x，y)。由于硬閾值函數(shù)在閾值處缺乏連續(xù)性，其重構(gòu)的圖像在邊緣處可能會(huì)出現(xiàn)振鈴等視覺失真現(xiàn)象；而軟閾值函數(shù)處理圖像的結(jié)果在視覺上相對(duì)平滑，效果更好。因此，本文采用軟閾值函數(shù)進(jìn)行去噪。

軟閾值化處理就是將高頻子帶中的系數(shù)做柔性處理，根據(jù)分解系數(shù)絕對(duì)值大小的不同，所乘的系數(shù)也不同，若絕對(duì)值越小，所乘系數(shù)越小，否則所乘系數(shù)越大，但系數(shù)不超過1，其定義式為:

(6)

其中，ωs表示在軟閾值函數(shù)作用下的估計(jì)小波系數(shù)，ω=f2(x，y)是含有噪聲的高頻子帶圖像中的小波系數(shù)，T為設(shè)定的閾值門限值。噪聲標(biāo)準(zhǔn)差可根據(jù)Chang等提出的貝葉斯萎縮閾值估計(jì)法[12]求得:

(7)

其中，貝葉斯萎縮閾值估計(jì)函數(shù)為:

(8)

式(7)中median(·)表示求中值函數(shù)；式(8)中T為貝葉斯萎縮閾值，σ2為不同尺度下的噪聲方差估計(jì)，σs為子帶上圖像信號(hào)標(biāo)準(zhǔn)差的估計(jì)值。

最后，由增強(qiáng)的低頻子帶圖像和高頻子帶圖像重構(gòu)即可得到算法增強(qiáng)后的車載紅外夜視圖像。

5 實(shí)驗(yàn)結(jié)果分析

5.1 實(shí)驗(yàn)結(jié)果定性分析

對(duì)車載紅外夜視儀采集的圖像進(jìn)行直方圖均衡法、多尺度Retinex算法和小波-遺傳自適應(yīng)算法進(jìn)行處理，采集兩幅圖像處理結(jié)果，如圖4和圖5所示。

Figure 4 Simulation results of the first picturewith different algorithms

Figure 5 Simulation results of the second picture with different algorithms

如圖4a和圖5a所示的圖像是由數(shù)據(jù)采集卡采集的車載紅外夜視圖像。由紅外夜視儀的成像原理可知，人、摩托車和路燈的溫度要高于路面和樹的溫度。因此，圖4a和圖5a中的人、摩托車和路燈亮度要稍微高于路旁樹木以及地面。但是，整體上車道行人、路燈與樹和地面的亮度對(duì)比度不高，視覺效果不夠理想。

由圖4b和圖5b所示，直方圖均衡法對(duì)圖像的對(duì)比度進(jìn)行了很好的增強(qiáng)，同時(shí)顯著地放大了噪聲，有些區(qū)域甚至對(duì)圖像進(jìn)行了過度增強(qiáng)或增強(qiáng)不足。

由圖4c和圖5c所示，動(dòng)態(tài)多尺度Retinex增強(qiáng)算法改善了圖像的亮度均勻性，但是將圖像的背景亮度也放大了，造成了人等感興趣區(qū)域(ROI)在圖像中并不突出，因此單一的多尺度Retinex方法仍存在不足。

采用本文算法對(duì)圖像進(jìn)行處理，得到的增強(qiáng)效果如圖4d和圖5d所示。從圖4d和圖5d可以看出，本文算法改善了直方圖均衡法和動(dòng)態(tài)多尺度Retinex增強(qiáng)算法的缺點(diǎn)，將淹沒在陰影區(qū)域中的細(xì)節(jié)有效地顯示出來，改善了亮度的均勻性；利用小波閾值法對(duì)高頻子帶系數(shù)部分進(jìn)行圖像的細(xì)節(jié)增強(qiáng)并抑制噪聲，最終提高了圖像的質(zhì)量，改善了視覺效果。

5.2 實(shí)驗(yàn)結(jié)果定量分析

為了定量地評(píng)價(jià)各種圖像增強(qiáng)算法，本文分別采用圖像信息熵、平均梯度和信噪比作為圖像質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)。

圖像信息熵定義為：

(9)

其中，pi是圖像的各灰度概率值。當(dāng)圖像均勻時(shí)，各灰度值的概率基本相等，熵可以達(dá)到最大。采集10組圖像數(shù)據(jù)計(jì)算信息熵，結(jié)果如圖6所示。

Figure 6 Information entropy of different algorithms

圖像的清晰程度可以由平均梯度來衡量，它能將圖像中微小的細(xì)節(jié)反差顯示出來。公式如下：

1,j)]2+[f(i,j)-f(i,j+1)]2)/2)1/2

(10)

其中，f(x,y)為圖像函數(shù)，g的值越大，說明圖像越清晰。采集10組圖像數(shù)據(jù)計(jì)算平均梯度，結(jié)果如圖7所示。

Figure 7 Average gradient of different algorithms

圖像的信噪比(SNR)等于信號(hào)與噪聲的功率譜之比，但通常功率譜難以計(jì)算。這里采用信號(hào)與噪聲的方差之比近似地估計(jì)圖像的信噪比[16]。首先計(jì)算圖像所有像素的局部方差，將局部方差的最大值作為信號(hào)方差S，最小值作為噪聲方差N，求出它們的比值b=S/N，用經(jīng)驗(yàn)公式1.04b-7進(jìn)行修正，最后轉(zhuǎn)成dB數(shù)，該方法適應(yīng)的信噪比范圍為20～50dB。信噪比越大說明增強(qiáng)的圖像噪聲抑制的效果越好。

(11)

采集10組圖像數(shù)據(jù)計(jì)算信噪比，結(jié)果如圖8所示。

Figure 8 SNR of different algorithms

對(duì)于小波變換的時(shí)間復(fù)雜度，無論是分解、重構(gòu)還是系數(shù)處理，其值均為O(n)。此外，低頻部分遺傳算法的時(shí)間復(fù)雜度為O(T*n2)，其中n為種群個(gè)數(shù)，T為迭代次數(shù)。因此，本文算法的時(shí)間復(fù)雜度為：

O(n+T*n2+n+n)=O(T*n2)

(12)

計(jì)算圖4和圖5各種算法所消耗的時(shí)間，結(jié)果如表1所列。

Table 1 Time consumption of different algorithms表1 各種算法所消耗的時(shí)間 s

由圖6～圖8可知，小波-遺傳圖像增強(qiáng)算法與其他算法相比，其圖像信息熵、平均梯度和信噪比均大于其他算法；其消耗的時(shí)間較大，但考慮到僅為毫秒級(jí)，不影響算法的實(shí)時(shí)性。對(duì)比結(jié)果表明：本文算法不僅增強(qiáng)了圖像的局部微小細(xì)節(jié)，而且抑制了噪聲，最終提高了圖像的整體對(duì)比度。

6 結(jié)束語

針對(duì)傳統(tǒng)的圖像增強(qiáng)算法對(duì)車載紅外夜視圖像增強(qiáng)不夠好的問題，提出了處理車載紅外夜視圖像的小波-遺傳自適應(yīng)圖像增強(qiáng)方法。通過對(duì)該方法中關(guān)鍵技術(shù)的研究分析，由實(shí)驗(yàn)驗(yàn)證了文中提出的基于小波-遺傳自適應(yīng)圖像增強(qiáng)方法是可行的，增強(qiáng)的圖像噪聲小，圖像較為清晰，為后續(xù)的行人檢測(cè)與識(shí)別研究提供了較好的基礎(chǔ)。

[1] Li Jun-shan, Yang Wei, Zhang Xiong-mei. The infrared image processing, analysis and integration[M]. Beijing:Science Press, 2009. (in Chinese)

[2] Qidwai U. Infrared image enhancement using Hoobounds for surveillance applications[J]. IEEE Transactions on Image Processing, 2008, 17(8):1274-1282.

[3] Yin Shi-chang, Yu Song-lin. Infrared image enhancement algorithm based on wavelet transform and histogram equalization[J]. Laser & Infrared, 2013, 43(2):225-228. (in Chinese)

[4] Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7):965-976.

[5] Stathaki T. Image fusion algorithms and applications[M]. New York:Academic Press is an imprint of Elsevier, 2008.

[6] Pohl C, Genderen J L V. Multisensor image fusion in remote sensing:Concepts, methods and applications[J]. International Journal of Remote Sensing, 1998, 19(5):823-854.

[7] Shah P, Reddy B C S, Merchant S N, et al. Context enhancement to reveal a camouflaged target and to assist target localization by fusion multispectral surveillance videos[J]. Signal, Image and Video Processing, 2013, 7(3):537-552.

[8] Feng Zhen, Ma Qi-Shuang. Research on infrared image non-linear enhancement algorithm based on wavelet analysis[J]. Laser and Infrared, 2010, 40(3):315-318. (in Chinese)

[9] Ye Yu-lei, Dai Wen-zhan. Signal de-noising in wavelet based on new threshold function[J]. Computer Applications，2006,26(7):1617-1619. (in Chinese)

[10] Zou Mou-yan.Deconvolution and signal recovery[M].Beijing:National Defense Industry Press, 2001. (in Chinese)

[11] Cheng Li,Shao Gao,Du Yan-bi.A modified image enhancement algorithm based on color constancy[J]. Chinese Optics Letters, 2009, 7(9):784-787.

[12] Zhou Ji-liu, Lü Hang. Image enhancement based on a new genetic algorithm[J]. Chinese Journal of Computers, 2001, 24(9):959-964. (in Chinese)

[13] Li Xiao-bing.An adaptive piecewise linear gray scales transformation[J]. Optoelectronic Technology, 2011, 31(4):236-239.(in Chinese)

附中文參考文獻(xiàn)：

[1] 李俊山,楊威,張雄美.紅外圖像處理、分析與融合[M].北京:科學(xué)出版社, 2009.

[3] 尹士暢,喻松林.基于小波變換和直方圖均衡的紅外圖像增強(qiáng)[J].激光與紅外, 2013, 43(2):225-228.

[8] 馮貞,馬齊爽.基于小波分析的紅外圖像非線性增強(qiáng)算法[J].激光與紅外,2010,40(3):315-318.

[9] 葉于雷,戴文戰(zhàn).一種基于新閾值函數(shù)的小波信號(hào)去噪方法[J].計(jì)算機(jī)應(yīng)用, 2006, 26(7):1617-1619.

[10] 鄒謀炎.反卷積和信號(hào)復(fù)原[M].北京:國防工業(yè)出版社, 2001.

[12] 周激流,呂航.一種基于新型遺傳算法圖像自適應(yīng)增強(qiáng)算法的研究[J].計(jì)算機(jī)學(xué)報(bào),2001,24(9):959-964.

[13] 李曉冰.一種紅外測(cè)量圖像自適應(yīng)分段線性灰度變換方法[J].光電子技術(shù), 2011, 31(4):236-239.

于洋(1963-),男，遼寧沈陽人，教授，研究方向?yàn)閳D像處理、網(wǎng)絡(luò)化測(cè)控和智能檢測(cè)。E-mail:yusongh@126.com

YU Yang,born in 1963,professor,his research interests include image processing, networked measurement and control, and intelligent detection．

康雪雪(1988-),女，安徽亳州人，碩士生，研究方向?yàn)閳D像處理。E-mail:kxx1208@163.com

KANG Xue-xue,born in 1988,MS candidate,her research interest includes image processing．

A wavelet-genetic enhancement algorithm for vehicular infrared night vision images

YU Yang,KANG Xue-xue

(School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,China)

Due to the fact that the traditional infrared image enhancement methods have imperfect visual effect, we propose an image enhancement method for vehicular infrared night vision images. We establish a wavelet-genetic grayscale image enhancement algorithm on the basis of the non-contact thermal image generation principle of the infrared night-vision goggles. Compared with the traditional histogram equalization method and the multi-scale Retinex algorithm, the proposed method can improve the image brightness uniformity, avoid excessive enhancement and effectively suppress noise. Experimental results show that the wavelet-genetic enhancement algorithm can achieve good performance in enhancing vehicular infrared night vision images.

infrared night vision image;wavelet-genetic;genetic algorithm;image enhancement

1007-130X(2015)09-1750-06

2014-07-03;

2014-08-14基金項(xiàng)目：遼寧省教育廳資助項(xiàng)目(LT2012005)

TN221;TN911.73

A

10.3969/j.issn.1007-130X.2015.09.025

通信地址：110159 遼寧省沈陽市沈陽理工大學(xué)信息科學(xué)與工程學(xué)院

Address:School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,Liaoning,P.R.China