改進(jìn)多尺度的Retinex紅外圖像增強(qiáng)

魏然然， 詹偉達(dá)， 朱德鵬， 田 永

(長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，吉林 長(zhǎng)春 130022)

1 引 言

近年來，紅外成像系統(tǒng)由于具有良好的隱蔽性、較強(qiáng)的抗干擾能力以及可晝夜工作等特點(diǎn)而被廣泛應(yīng)用在軍事和民用領(lǐng)域[1-3]。紅外圖像在獲取時(shí)由于受到紅外成像系統(tǒng)器件性能及波長(zhǎng)等因素的影響，常常會(huì)表現(xiàn)出對(duì)比度較低、邊緣細(xì)節(jié)不突出、視覺效果模糊等缺點(diǎn)[4]。這些缺點(diǎn)將嚴(yán)重影響到后續(xù)紅外圖像的觀察、目標(biāo)識(shí)別和目標(biāo)探測(cè)等工作。因此，利用紅外圖像增強(qiáng)算法增強(qiáng)圖像對(duì)比度、細(xì)節(jié)等已成為一種必不可少的圖像處理操作。

常用的紅外圖像處理算法包括空域算法和頻域算法?？沼蛩惴òㄖ狈綀D均衡化算法和灰度變換等；頻域算法包括傅里葉變換、小波變換、Culvelet變換和Contourlet變換等[5]。雖然這些算法都可以或多或少地對(duì)紅外圖像進(jìn)行增強(qiáng)，但也存在一些缺點(diǎn)，如直方圖均衡化算法和灰度變換在對(duì)紅外圖像增強(qiáng)的同時(shí)會(huì)放大噪聲。Land等人首次提出Retinex理論，Retinex理論是一種非線性算法，其處理紅外圖像時(shí)可以在保留細(xì)節(jié)信息的同時(shí)降低圖像噪聲[6]。在Land的理論基礎(chǔ)上，Jobson等人提出了一種單尺度的Retinex算法(SSR)，因?yàn)樵摲椒ㄖ挥幸粋€(gè)參數(shù)，故其不能很好地兼顧動(dòng)態(tài)范圍壓縮和色感一致性[7]。為了改進(jìn)SSR算法，Rahman等人隨后提出了多尺度Retinex算法(MSR)[8]。在該算法的基礎(chǔ)上研究者們提出了一系列的改進(jìn)算法。劉輝等人改進(jìn)傳統(tǒng)MSR算法，將算法中的指數(shù)用灰度線性拉伸代替，該算法雖然可以提高圖像的對(duì)比度，改善圖像的視覺效果，但其在操作過程中會(huì)擴(kuò)大圖像噪聲，同時(shí)產(chǎn)生“光暈”現(xiàn)象[9]。張承泓等人使用自適應(yīng)引導(dǎo)濾波器代替MSR算法中的高斯濾波器，該改進(jìn)算法可以較好地去除圖像中的“光暈”和噪聲[10]。本文在前人研究的基礎(chǔ)上，將改進(jìn)引導(dǎo)濾波器模型使用到傳統(tǒng)MSR算法中，以提出一種新的紅外圖像增強(qiáng)算法。

2 基礎(chǔ)理論

2.1 多尺度Retinex理論

根據(jù)多尺度Retinex理論，一幅紅外圖像I(x,y)可以由入射分量L(x,y)和反射分量R(x,y)乘積得到，其數(shù)學(xué)表達(dá)式如下所示：

I(x,y)=L(x,y)R(x,y)

(1)

對(duì)式(1)兩邊同時(shí)取對(duì)數(shù)可得：

lnI(x,y)=ln(L(x,y)R(x,y))=
lnL(x,y)+lnR(x,y)

(2)

當(dāng)L(x,y)=I(x,y)*G(x,y)時(shí)，反射分量可表示為：

lnR(x,y)=lnI(x,y)-
ln(I(x,y)*G(x,y))

(3)

式中，*表示卷積運(yùn)算，G(x,y)為高斯濾波函數(shù)，其定義為：

(4)

式中，λ為滿足時(shí)的歸一化常數(shù)，δ為環(huán)繞參數(shù)。

式(3)又被稱為單尺度Retinex算法(SSR)。由式(3)和式(4)可以看出，SSR只有單一的參數(shù)δ，該算法不能同時(shí)兼顧動(dòng)態(tài)范圍壓縮和色感一致性。為了解決這一問題，研究者們提出了多尺度Retinex算法(MSR)，其主要思想是對(duì)每個(gè)尺度的SSR結(jié)果進(jìn)行不同權(quán)重的加權(quán)平均，其數(shù)學(xué)表達(dá)式為：

(5)

2.2 引導(dǎo)濾波

引導(dǎo)濾波器可以對(duì)圖像進(jìn)行線性濾波，其具有一定的邊緣保持特性[11]。其數(shù)學(xué)模型如下：

qi=akIi+bk，?i∈ωk

(6)

式中，qi為輸出圖像；Ii為引導(dǎo)圖像；i、k表示像素索引；ωk為半徑為r的局部方形窗口；ak和bk為ωk對(duì)應(yīng)的線性系數(shù)。

對(duì)式(6)兩邊同時(shí)求梯度可得：

qi=aIi

(7)

式中，a為常數(shù)。

由式(7)可以看出qi與Ii具有相似的邊緣梯度，而Ii的邊緣平滑程度取決于ak。為了確定其值，需要使qi與pi的差異最小，則其代價(jià)函數(shù)如下所示[10]：

(8)

式中，ε為防止ak和bk過大的正則化因子。

利用線性回歸法求解式(8)取最小值時(shí)，ak和bk的值為：

(9)

(10)

式中，|ω|為ωk中像素的數(shù)量；δk和μk為ωk中Ii的標(biāo)準(zhǔn)差和均值。

假設(shè)Ii=pi，則式(9)和式(10)可化為：

(11)

bk=μk(1-ak)

(12)

對(duì)式(6)、式(11)、式(12)進(jìn)行分析可得，當(dāng)ε=0時(shí)，ak=1，bk=0，故此時(shí)圖像保持不變；當(dāng)ε?δk時(shí)，ak≈0，bk≈μk，qi≈μk，故當(dāng)ωk處于低方差區(qū)域時(shí)，原始圖像得到了平滑處理；當(dāng)ε?δk時(shí)，ak≈1，bk≈0，qi≈Ii，故當(dāng)ωk處于高方差區(qū)域時(shí)，圖像可以進(jìn)行邊緣保持操作。由以上操作可以看出,ε大小可以決定圖像被平滑的程度，故ε又被稱為平滑因子，對(duì)比高斯濾波的特點(diǎn)，引導(dǎo)濾波器也有決定其大小的尺度因子s。

3 本文算法

紅外圖像在獲取時(shí)由于受到紅外成像系統(tǒng)器件性能及波長(zhǎng)等因素的影響，常常會(huì)表現(xiàn)出對(duì)比度較低、邊緣細(xì)節(jié)不突出、視覺效果模糊等缺點(diǎn)。傳統(tǒng)的MSR在解決這些問題時(shí)，會(huì)出現(xiàn)光暈現(xiàn)象和放大噪聲等問題。為了解決這些問題，本文提出一種改進(jìn)的MSR算法對(duì)紅外圖像進(jìn)行圖像增強(qiáng)。設(shè)待增強(qiáng)的紅外圖像為F(x,y)，增強(qiáng)后的紅外圖像為f(x,y)，改進(jìn)引導(dǎo)濾波器輸出的入射分量為L(zhǎng)(x,y)，經(jīng)過MSR計(jì)算得到的反射分量為R(x,y)，增強(qiáng)后的入射和反射分量分別為l(x,y)和r(x,y)，其具體算法實(shí)現(xiàn)框圖如圖1所示。

圖1 本文算法實(shí)現(xiàn)框圖Fig.1 Algorithm block diagram of this paper

3.1 入射分量估計(jì)

傳統(tǒng)多尺度Retinex算法在圖像邊緣發(fā)生躍變處，不能精確估計(jì)光照分量即反射分量，進(jìn)而產(chǎn)生“光暈”現(xiàn)象。為了解決這一問題，本文采用具有保邊平滑的改進(jìn)引導(dǎo)濾波器代替?zhèn)鹘y(tǒng)的高斯濾波器對(duì)光照層進(jìn)行精確估計(jì)。

引導(dǎo)濾波器與高斯濾波器相比，雖然可以改善圖像中的“光暈”現(xiàn)象，但其每個(gè)窗口對(duì)權(quán)重的取值均相同，沒有考慮每個(gè)窗口的灰度差異。針對(duì)這一不足，對(duì)引導(dǎo)濾波器進(jìn)行改進(jìn)，具體方法為：首先計(jì)算窗內(nèi)每個(gè)像素點(diǎn)的均值、標(biāo)準(zhǔn)差、平均梯度來作為該點(diǎn)特征，然后根據(jù)第k次的該點(diǎn)特征來求得權(quán)重值，最后對(duì)輸出的引導(dǎo)圖像加權(quán)平均。

圖像像素點(diǎn)的均值、標(biāo)準(zhǔn)差、平均梯度定義如下：

(13)

(14)

(15)

則權(quán)重值為：

(16)

(17)

式中，Uk(i,j)為質(zhì)量測(cè)度，其由上述均值、標(biāo)準(zhǔn)差、平均梯度的一個(gè)或多個(gè)組成。對(duì)不同圖像進(jìn)行處理時(shí)，其側(cè)重點(diǎn)不同，α，β，γ取值不同。α，β，γ其值可以為0或1。當(dāng)α，β，γ中一個(gè)或兩個(gè)為0時(shí)，說明圖像的質(zhì)量測(cè)度不采用此特性；當(dāng)α，β，γ其中一個(gè)或全部為1時(shí)，表明此特性占有很大權(quán)重，圖像的質(zhì)量測(cè)度采取此特性。ε為一個(gè)很小的正數(shù)。

改進(jìn)引導(dǎo)濾波輸出圖像為：

(18)

式中，Lk(i,j)為3次引導(dǎo)濾波對(duì)應(yīng)的輸出圖像。

將原始圖像F和引導(dǎo)圖像I通過改進(jìn)引導(dǎo)濾波器處理后得到輸出圖像即入射圖像L為：

L=L(F,I)

(19)

式中，L(·)為改進(jìn)引導(dǎo)濾波器操作。

為了驗(yàn)證本文改進(jìn)引導(dǎo)濾波器的優(yōu)越性，使用本文改進(jìn)引導(dǎo)濾波器與傳統(tǒng)高斯濾波器處理估計(jì)得到的入射分量圖像，如圖2所示(高斯濾波器參數(shù)選擇：尺度因子取值為80；引導(dǎo)濾波參數(shù)選擇：尺度因子為80，平滑因子取值為0.002)。根據(jù)圖2可以看出，本文改進(jìn)的引導(dǎo)濾波器可以更準(zhǔn)確地對(duì)入射分量進(jìn)行估計(jì)。

(a)原圖(a)Origin image

(b) 傳統(tǒng)高斯濾波器估計(jì)(b) Traditional Gaussian filter estimation

(c)改進(jìn)的引導(dǎo)濾波器估計(jì)(c)Improved guide filter estimation圖2 入射分量估計(jì)結(jié)果對(duì)比圖Fig.2 Comparison of estimated results of incident components

3.2 入射分量自適應(yīng)灰度拉伸

為了更好地提高入射分量的全局對(duì)比度，本文使用全局直方圖均衡化來實(shí)現(xiàn)對(duì)入射分量的自適應(yīng)灰度拉伸。對(duì)入射圖像進(jìn)行歸一化處理后的分布函數(shù)為：

(20)

式中，Lk為第k級(jí)像素的像素值，nk為第k級(jí)像素的個(gè)數(shù)，n為像素總數(shù)，N為最大像素級(jí)。

若原入射分量的像素值為L(zhǎng)，直方圖均衡化后的像素值為l，則其灰度變換公式為：

(21)

式中，Li表示第i級(jí)像素的原像素值，p(Li)表示Li的概率。

根據(jù)以上理論，用MATLAB對(duì)圖2(c)進(jìn)行入射分量自適應(yīng)灰度拉伸，結(jié)果如圖3所示。

圖3 圖2(c)入射分量自適應(yīng)灰度拉伸結(jié)果圖Fig.3 Result of adaptive grayscale stretching of incident component of Fig.2(c)

3.3 反射分量非線性校正

反射分量中包含豐富的細(xì)節(jié)信息，但在其輸出時(shí)，總體的亮度偏暗，對(duì)比度較低。為了調(diào)節(jié)反射分量的對(duì)比度，增強(qiáng)人眼視覺效果，大多數(shù)學(xué)者選擇使用gamma曲線進(jìn)行校正，但該校正方法容易產(chǎn)生過增強(qiáng)的現(xiàn)象。為了解決這一問題，本文使用以下非線性公式對(duì)其進(jìn)行校正，具體公式如下：

(22)

(23)

式中，r為校正后的反射分量，RN為歸一化后的反射分量，R為原始反射分量，Rmin和Rmax分別為R中像素最小值和最大值，t為調(diào)整參數(shù)。

在本次實(shí)驗(yàn)中，當(dāng)t取值為0.1，gamma曲線參數(shù)取值為0.3。如圖4所示，本文非線性校正曲線與gamma曲線校正相比，gamma曲線在低像素區(qū)域會(huì)出現(xiàn)拉伸過大的情況，進(jìn)而導(dǎo)致細(xì)節(jié)信息出現(xiàn)過增強(qiáng)。本文校正曲線相對(duì)比較緩和，既可以很好地對(duì)圖像中的細(xì)節(jié)信息進(jìn)行圖像增強(qiáng)，又可以避免圖像失真。

圖4 本文曲線與gamma曲線對(duì)比圖Fig.4 Comparison between the curve in this paper and gamma curve

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法，選取4個(gè)紅外圖像場(chǎng)景進(jìn)行對(duì)比實(shí)驗(yàn)(紅外圖像取自O(shè)TCBVS數(shù)據(jù)集)。首先，分別對(duì)這3個(gè)場(chǎng)景(如圖5所示)使用直方圖均衡化算法(HE)、單尺度Retinex算法(SSR)、多尺度Retinex算法(MSR)、基于引導(dǎo)濾波器的多尺度Retinex算法(未改進(jìn)引導(dǎo)濾波+MSR)、文獻(xiàn)[10]、本文算法來進(jìn)行紅外圖像的增強(qiáng)；然后，通過對(duì)增強(qiáng)后的紅外圖像進(jìn)行客觀和主觀評(píng)價(jià)來驗(yàn)證本文算法的優(yōu)越性和可行性。本文所有算法均使用Matlab R2016b編譯環(huán)境進(jìn)行編程實(shí)現(xiàn)(DELL系列電腦，操作系統(tǒng)為Windows7，CPU為3.1 GHz，內(nèi)存為4 GB)。本文算法的改進(jìn)引導(dǎo)濾波器選用3個(gè)尺度，其相應(yīng)窗口大小分別為20、70、115；SSR選擇的參數(shù)σ=80；MSR選取3個(gè)尺度，每個(gè)尺度的高斯濾波參數(shù)為σ1=20，σ2=80，σ3=110，且本文中所有的多尺度MSR均采用相同的3個(gè)尺度。

圖5 用于測(cè)試的4個(gè)不同場(chǎng)景的紅外圖像Fig.5 Infrared images of 4 different scenes for testing

4.1 主觀評(píng)價(jià)

本文對(duì)選取的3幅場(chǎng)景進(jìn)行不同算法比較，結(jié)果如圖6～8所示。

由圖6～8可以看出，HE算法對(duì)紅外圖像的對(duì)比度、亮度、邊緣都有一定的增強(qiáng)。但圖6、7中后面的背景細(xì)節(jié)信息嚴(yán)重丟失，圖8中的船和人細(xì)節(jié)信息丟失。同時(shí)，圖6～8中的噪聲也很嚴(yán)重。SSR算法對(duì)紅外圖像中的亮度的到明顯增強(qiáng)，但其增強(qiáng)圖像的對(duì)比度較差，且有些地方產(chǎn)生了“光暈”現(xiàn)象，人眼視覺效果較差。圖6中的左邊飛機(jī)場(chǎng)窗口出現(xiàn)“光暈”。MSR算法增強(qiáng)的紅外圖像亮度有一定提高，“光暈”現(xiàn)象有所改善，但其對(duì)比度較低，部分背景信息丟失，紅外圖像整體視覺較差。圖6和圖7背景模糊，部分細(xì)節(jié)信息丟失。未改進(jìn)的引導(dǎo)濾波器+MSR算法增強(qiáng)的紅外圖像邊緣清晰度高，亮度有所增強(qiáng)，但其整體圖像效果比較模糊，如圖6和圖8所示。文獻(xiàn)[10]所得圖像效果相對(duì)前面幾種算法亮度有一定提升，有效改善了圖像中的“光暈”現(xiàn)象，但其主要細(xì)節(jié)信息有所丟失。本文算法在有效去除“光暈”現(xiàn)象的同時(shí)，很好地提升了圖像的對(duì)比度、細(xì)節(jié)和清晰度等，人眼整體視覺效果較好。

圖6 場(chǎng)景1的各個(gè)算法比較實(shí)驗(yàn)結(jié)果Fig.6 Comparison experimental results of various algorithms in scene 1.

圖7 場(chǎng)景2的各個(gè)算法比較實(shí)驗(yàn)結(jié)果Fig.7 Comparison experimental results of various algorithms in scene 2.

圖8 場(chǎng)景3的各個(gè)算法比較實(shí)驗(yàn)結(jié)果Fig.8 Comparison experimental results of various algorithms in scene 3.

4.2 客觀評(píng)價(jià)

為了進(jìn)一步驗(yàn)證本文算法的有效性，本文選用圖像標(biāo)準(zhǔn)差(SD)[12]、平均梯度(AVG)[13]、峰值信噪比(PSNR)[14]、信息熵(IE)[15]客觀指標(biāo)對(duì)增強(qiáng)的紅外圖像進(jìn)行定量評(píng)價(jià)。

對(duì)以上3個(gè)場(chǎng)景分別進(jìn)行客觀指標(biāo)評(píng)價(jià)，結(jié)果如表1～3所示。

表1 場(chǎng)景1不同算法所得紅外增強(qiáng)圖像的客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation indicators of infrared enhanced images obtained by different algorithms in scene 1

表2 場(chǎng)景2不同算法所得紅外增強(qiáng)圖像的客觀評(píng)價(jià)指標(biāo)Tab.2 Objective evaluation indicators of infrared enhanced images obtained by different algorithms in scene 2

表3 場(chǎng)景3不同算法所得紅外增強(qiáng)圖像的客觀評(píng)價(jià)指標(biāo)Tab.3 Objective evaluation indicators of infrared enhanced images obtained by different algorithms in scene 3

由表1～3可以看出：本文算法并不能同時(shí)兼顧SD、AVG、PSNR、IE，但本文算法相對(duì)其他算法相對(duì)占優(yōu)。HE算法所得紅外增強(qiáng)圖像的標(biāo)準(zhǔn)差較高，但其得到的增強(qiáng)圖像細(xì)節(jié)信息丟失，邊緣模糊。本文算法處理得到的紅外圖像與SSR、MSR、未改進(jìn)引導(dǎo)濾波器+MSR算法、文獻(xiàn)[10]相比平均梯度(AVG)、信息熵(IE)較高，表明本文算法增強(qiáng)后的紅外圖像有更加豐富的信息量，圖像更清晰。同時(shí)本文算法處理后的圖像峰值信噪比(PSNR)較高，表明增強(qiáng)后的圖像去除噪聲更徹底，整體處理效果更好，對(duì)比度更強(qiáng)，人眼整體視覺效果更好。綜上可以看出本文算法紅外圖像增強(qiáng)效果較好，且具有可行性和優(yōu)化性。

5 結(jié) 論

本文提出一種基于改進(jìn)多尺度Retinex的紅外圖像細(xì)節(jié)增強(qiáng)算法。該算法實(shí)驗(yàn)結(jié)果表明：利用改進(jìn)引導(dǎo)濾波器代替高斯濾波器對(duì)入射分量進(jìn)行精確估計(jì)，解決了原始算法放大噪聲及產(chǎn)生“光暈”等問題；對(duì)反射分量進(jìn)行校正時(shí)，使用一種平緩的非線性曲線代替常用的gamma曲線進(jìn)行校正，解決了圖像過增強(qiáng)問題，進(jìn)一步提高了反射圖像細(xì)節(jié)信息。同時(shí)，本文算法與HE、SSR、MSR、引導(dǎo)濾波+MSR算法相比，對(duì)紅外圖像的對(duì)比度、細(xì)節(jié)信息、人眼視覺效果都有很好的增強(qiáng)效果。