基于Retinex的自適應(yīng)非均勻低照度圖像增強(qiáng)算法

曹隴鑫，馬宗方，石 晶

(1.西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055; 2.空軍預(yù)警學(xué)院，武漢 430000)

0 引言

光源不充足的狹小昏暗環(huán)境下，采集到的圖像視覺效果不佳，相對于光照理想情況下的圖像而言，圖像存在整體陰暗、顏色退化、對比度低等問題；非均勻低照度條件下，亮度信息的減少導(dǎo)致圖像存在光斑，這使得圖像中原本昏暗的區(qū)域更加模糊，以上因素極大影響機(jī)器視覺對目標(biāo)檢測分割和分析決策的準(zhǔn)確率。因此，為了恢復(fù)低照度圖像的顏色，獲得有效的圖像信息，提升機(jī)器視覺分析決策的準(zhǔn)確率，圖像亮度的增強(qiáng)處理變得至關(guān)重要。

現(xiàn)階段用于增強(qiáng)低照度、非均勻圖像的方法主要有直方圖均衡化、色調(diào)映射、暗通道先驗、Retinex算法等。文獻(xiàn)[1]提出了一種亮度直方圖局部線性化圖像增強(qiáng)方法來提高彩色遙感圖像的可視效果,首先將圖像進(jìn)行HSI變換，對I分量進(jìn)行直方圖均衡，然后利用局部線性化的灰度映射曲線進(jìn)行增強(qiáng)，有效改善了圖像的可視效果，減少圖像增強(qiáng)后的灰度，但增強(qiáng)后的圖像亮度不均勻，會丟失細(xì)節(jié)信息。文獻(xiàn)[2]提出基于色調(diào)映射圖像的亮度分區(qū)的盲質(zhì)量指標(biāo)，可以很好地保留圖像細(xì)節(jié)信息，但整體對比度不高且計算量復(fù)雜。文獻(xiàn)[3]提出高斯曲線建模的自適應(yīng)暗通道先驗(DCP)去霧增強(qiáng)算法，通過計算塊級暗通道獲得像素級暗通道，與其他DCP方法相比，提高了約30倍的處理速度，但恢復(fù)圖像的同時放大了噪聲點，降低了圖像的質(zhì)量。Jobson等提出單尺度Retinex(SSR)[4],主要增強(qiáng)灰度圖像，但是在平衡動態(tài)壓縮和顏色恒定方面仍存在問題； 多尺度Retinex(MSR)[5]由不同尺度的SSR線性加權(quán)組合形成，適用于彩色圖像增強(qiáng)，但增強(qiáng)后的圖像邊緣細(xì)節(jié)信息丟失，出現(xiàn)偽光暈;改進(jìn)后的MSR增加了具有顏色恢復(fù)的MSRCR(multi-scale retinex with color restoration)[6]，但它僅在適度范圍內(nèi)調(diào)整亮度和對比度，超出范圍會導(dǎo)致顏色失真，計算過程較復(fù)雜。文獻(xiàn)[7]提出改進(jìn)型Retinex算法的霧天圖像技術(shù)，有效提高了霧天圖像的清晰度和對比度;文獻(xiàn)[8]提出了3個引導(dǎo)濾波器代替高斯濾波器以獲得照明分量和反射分量，有效增強(qiáng)低照度圖像的同時保留了細(xì)節(jié)信息。但以上兩種算法在增強(qiáng)非均勻低照度圖像時存在光斑區(qū)域過度增強(qiáng)的問題；針對以上問題，本文提出了一種基于Retinex的自適應(yīng)非均勻照度圖像的亮度層增強(qiáng)算法，通過對亮度圖的提取及估計入射分量，引入自適應(yīng)調(diào)整參數(shù)，校正亮度圖，最后采用圖像融合技術(shù)獲得最終增強(qiáng)圖像。為了驗證算法的有效性，實驗中對多張圖像進(jìn)行算法的增強(qiáng)，驗證本文算法可以有效增強(qiáng)非均勻低照度圖像的亮度和清晰度。

1 Retinex理論

Retinex[9-10]理論也稱色彩的恒常性，1963年由Land等人提出，Retine理論認(rèn)為人眼對物體色彩的感知取決于物體表面固有的反射特性，與外界入射照度分量的強(qiáng)弱無關(guān)，即人眼能夠在復(fù)雜的光照條件下正確地記錄景物的真實顏色。該算法提取入射分量L(x,y)，反映低照度圖像的整體結(jié)構(gòu)，從原圖I(x,y)中去除入射分量獲得物體的反射分量R(x,y)。定義如下:

I(x,y)=R(x,y)·L(x,y)

(1)

對式(1)取對數(shù)運算，可得：

lg(R(x,y))=lg(I(x,y))-lg(G(x,y)*I(x,y))

(2)

通常L(x,y)可以通過中心/環(huán)繞操作來估計，式(2)中*為卷積運算，G(x,y)為高斯環(huán)繞函數(shù)，定義如下：

(3)

式中，k為歸一化參數(shù)，σ為高斯函數(shù)的標(biāo)準(zhǔn)差，滿足?G(x,y)dxdy=1。

2 本文算法

在光照不充足的復(fù)雜環(huán)境中成像，導(dǎo)致截取的視頻圖像存在以下問題：1)照明不均勻，燈光區(qū)域光斑多，光亮區(qū)域極亮，陰暗的區(qū)域極暗；2)因為照度不均勻，圖像色彩失真，細(xì)節(jié)信息丟失。同時圖像中目標(biāo)的清晰度會隨著光照的變化不斷改變。因此為了獲取清晰的圖片信息，需要采取措施對照明分量進(jìn)行估計和校正。

本文針對以上問題，提出基于Retine理論的自適應(yīng)增強(qiáng)亮度圖像算法，本文算法步驟框圖如圖1所示：1)采用多尺度引導(dǎo)濾波器估計亮度圖像的入射分量；2)計算源圖像素均值，獲得自適應(yīng)調(diào)整參數(shù)；3)加權(quán)融合兩個增強(qiáng)的亮度圖，權(quán)重系數(shù)不同，增強(qiáng)后的亮度圖細(xì)節(jié)信息也不同，本文將權(quán)重系數(shù)分別設(shè)置為3和5，最終得到的增強(qiáng)圖像信息比較完整。

圖1 本文算法步驟框圖

2.1 提取亮度層圖像

文獻(xiàn)[11]通過找到R，G，B通道中最大值來單獨估計每個像素的照度，構(gòu)建了良好的照明圖，但同時增加了計算時間，無法保證所有通道都按照適當(dāng)?shù)谋壤鰪?qiáng)或衰減。本文將圖像RGB色度空間轉(zhuǎn)換為HSI色度空間，HSI色度空間更符合人類視覺特性，其中色調(diào)(Hue)、飽和度(Saturation)、亮度(Intensity)彼此獨立，保持H和S都不變的條件下增強(qiáng)I分量。為了保證光斑不會再次被增強(qiáng)，本文對I分量采取自適應(yīng)亮度增強(qiáng)，根據(jù)采集到的圖像自身不同的的照度，將圖像光斑處和昏暗處的像素均值化，獲得適合每張圖像提亮的調(diào)整參數(shù)，提升整體亮度的同時抑制圖像顏色失真。

2.2 引導(dǎo)濾波算法

入射分量L(x,y)代表照射到物體上的光源能量總和，表示圖像中的低頻成分；反射分量R(x,y)代表了物體自身特性，包含著圖像的高頻細(xì)節(jié)部分。Retinex算法結(jié)合高斯低通濾波器估計入射分量的過程會丟失一些高頻分量，導(dǎo)致圖像細(xì)節(jié)和邊緣信息不完整。文獻(xiàn)[12]提出的引導(dǎo)濾波可以消除圖像光暈、邊緣平滑、細(xì)節(jié)增益。假定引導(dǎo)圖像Gi與輸出圖像qi存在局部線性關(guān)系，可建立線性模型：

(4)

式中，i為像素索引，Mk代表半徑為r的濾波窗口，k為濾波窗口的中心像素點，|w|為濾波窗口Mk中的總像素個數(shù)。本文令引導(dǎo)圖像Gi與輸入圖像Pi一致，所以線性系數(shù)ak和bk表示為：

(5)

bk=(1-ak)uk

(6)

(7)

2.3 自適應(yīng)亮度增強(qiáng)

自適應(yīng)增強(qiáng)亮度層圖像是根據(jù)不同照度的非均勻低照度圖像的入射分量分布輪廓構(gòu)建亮度增強(qiáng)功能，抑制圖像中光斑區(qū)域的亮度值，增加陰暗區(qū)域的亮度值。文獻(xiàn)[13]引入韋伯-費希納定律對圖像自適應(yīng)分區(qū)，并提出基于分區(qū)的局部色調(diào)映射算法，實現(xiàn)了動態(tài)壓縮再現(xiàn)圖像細(xì)節(jié)。本文基于韋伯-費希納定律校正亮度自適應(yīng)增強(qiáng)，定律表明心理量和物理量的關(guān)系，物體反射出的光線撞擊人眼視網(wǎng)膜將產(chǎn)生人眼感知的主觀亮度(心理量)，主觀亮度的感知I′和客觀亮度(物理量)I之間的關(guān)系是對數(shù)線性關(guān)系：

I′=εlg(I)+ε0

(8)

式中，ε0和ε是常數(shù)，為避免對數(shù)運算所需的計算負(fù)擔(dān)增加，圖像不同區(qū)域過度增強(qiáng)或抑制增強(qiáng)，將對數(shù)域的輸出量化到[0,255]區(qū)間，如公式:

(9)

式中，255為8位圖的灰度級，k為調(diào)整系數(shù)，如圖2所示，圖像增強(qiáng)的幅度隨k的增加而減小;式中I′為增強(qiáng)圖像，I為增強(qiáng)前的亮度圖像，L為估計的入射分量。

圖2 亮度調(diào)整曲線

(10)

式中，W為源圖像中的像素總數(shù)，α為權(quán)重系數(shù)，輸出圖像的亮度增強(qiáng)程度隨α值減小而增大。如圖3所示，隨α增大圖像亮度增強(qiáng)程度越小。本文通過多次試驗，建議權(quán)重系數(shù)α的取值為3和5，權(quán)重系數(shù)數(shù)值在一定范圍內(nèi)相差越大，圖像共有信息量越少，增強(qiáng)后的圖像亮度越高，圖像顏色泛白，細(xì)節(jié)邊緣信息會丟失。本文權(quán)重系數(shù)數(shù)值取鄰近值，共有信息量較多，融合特有信息量可以增強(qiáng)圖像細(xì)節(jié)信息。

圖3 權(quán)重系數(shù)對圖像亮度增強(qiáng)的影響

2.4 圖像融合

圖像融合技術(shù)是將多個子圖像的關(guān)鍵信息融合在一起的方法，非均勻低照度圖像存在光照不均勻，光斑區(qū)域曝，光陰暗區(qū)域模糊等問題，圖像亮度通過自適應(yīng)增強(qiáng)后依舊存在細(xì)節(jié)信息不均勻。

融合規(guī)則的選取，圖像融合過程中的重要部分，直接決定了融合圖像質(zhì)量的優(yōu)劣。本文融合規(guī)則的要求如下：以保留源圖像中的重要信息為主，盡可能將相互區(qū)別并互補(bǔ)的信息兼容融合，無用信息盡可能地避免融入[14]。傳統(tǒng)的基于多尺度變換的圖像融合方法主要有小波變換和拉普拉斯金字塔等，但是這些方法不能很好的表達(dá)和提取圖像的細(xì)節(jié)邊緣信息。文獻(xiàn)[15]提出基于引導(dǎo)濾波和高斯濾波的多尺度融合方法，將紅外信息融入到可見光圖像，有效提高圖像的視覺效果。本文將對圖像不執(zhí)行多尺度分解，通過自適應(yīng)調(diào)整系數(shù)k中的權(quán)重系數(shù)α的值可獲得不同信息特征的增強(qiáng)圖像，通過計算增強(qiáng)后圖像的權(quán)重相加獲得最終的融合圖像。公式如下：

(11)

式中，F(xiàn)為融合圖像，Si為待融合圖像，Wi為加權(quán)系數(shù)。加權(quán)系數(shù)通過主成分分析(principal compo- nentsanalysis,PCA)確定，基于所選擇的成分圖像之間的相關(guān)性來執(zhí)行圖像融合。計算方法是通過獲得圖像特征向量和對應(yīng)特征值，識別相似圖像的主要成分，根據(jù)主成分確定待融合圖像的權(quán)重。圖像融合過程如圖4所示。

圖4 圖像融合過程

S1和S2為兩個源圖像，假定每個圖像用n維向量Xp表示,則圖像融合步驟如下：

1)構(gòu)造源圖像矩陣X：

(12)

2)計算矩陣X的協(xié)方差矩陣C：

(13)

(14)

4)選擇其中最大的特征值：

P=argmax(λP)P=1,2

(15)

5)使用最大特征值對應(yīng)的的特征向量計算權(quán)重系數(shù)：

(16)

6)計算融合圖像：

Ien=w1S1+w2S2

(17)

式中，Ien為融合的亮度圖像。本文融合方法基于信息不同的亮度圖像之間的相關(guān)性來執(zhí)行圖像融合，共有信息特征的數(shù)據(jù)被壓縮，而獨特信息特征的數(shù)據(jù)被增強(qiáng)。

3 仿真實驗與分析

3.1 實驗環(huán)境

為驗證本文算法的有效性，設(shè)計Matlab程序，在臺式計算機(jī)(Inetel(R)Core(TM)i5-4200 CPU @2.50 GHz和Windows7操作系統(tǒng))的測試平臺上進(jìn)行多次實驗數(shù)據(jù)對比分析。

經(jīng)過多次實驗，本文將引導(dǎo)濾波窗口的半徑分別設(shè)置為：r1=16，r2=64，r3=128，將自適應(yīng)調(diào)整系數(shù)k中的權(quán)重系數(shù)α分別設(shè)置為：α1=3，α1=5，獲得兩張信息特征不等的增強(qiáng)圖像。

3.2 實驗數(shù)據(jù)分析

為驗證本文算法對低照度視頻圖像增強(qiáng)的有效性，分別和多尺度Retinex算法(MSR)、文獻(xiàn)[16]提出的非均勻照度圖像自然色彩恢復(fù)算法(Efficient Naturalness Restoration Algorith- m,ENRA)算法對比，分別從主觀視覺效果和客觀質(zhì)量兩方面對其進(jìn)行分析。本文選取圖像信息熵(Information Entropy,IE)和平均梯度(Average Gradient,AG)對算法結(jié)果進(jìn)行客觀評價：

1)信息熵反應(yīng)圖像所含信息，熵越大表明圖像中信息量越豐富,對比度越高。圖像作為輸出的信息源A，定義為所有可能符號{ai}的集合，并且源符號ai的概率為p(ai)。因此，此圖像中包含的平均信息量表示如下：

(18)

2)圖像平均梯度表達(dá)圖像細(xì)節(jié)的能力，用于測量圖像的相對清晰度。公式如下：

(19)

其中:M和N表示圖像的寬度和高度，?f/?x表示水平梯度，?f/?y表示垂直梯度。

如圖5和圖6所示，圖中(a)為攝像頭拍下的鋼廠作業(yè)間工人高危作業(yè)的圖像，視覺上圖像整體較暗，圖像左半部分較為昏暗，目標(biāo)模糊，而右半部分相對而言照度較好，但是圖像中存在較大的光斑；圖(b)，(c)，(d)分別為MSR、ENRA和本文算法對圖像進(jìn)行增強(qiáng)處理后的結(jié)果；圖(b)中MSR算法處理的圖像過于增強(qiáng)，表現(xiàn)在圖像右邊高亮區(qū)域被同時增強(qiáng)；圖(c)中ENRA算法避免了過度增強(qiáng)高亮區(qū)域，但是圖像整體亮度不高，清晰度不高；圖(d)中本文算法處理結(jié)果明顯提高了整體亮度和對比度，增強(qiáng)細(xì)節(jié)信息的同時避免了高亮區(qū)域的過度增強(qiáng)。

圖5 算法比較

圖6 算法比較

圖7中,(a)為原圖，(b)，(c)，(d)分別為MSR、ENRA和本文算法對圖像進(jìn)行增強(qiáng)處理后的結(jié)果。MSR處理結(jié)果增強(qiáng)了對比度，但是顏色失真，色彩不均勻，亮度部分提升但不均勻。ENRA處理后的圖像亮度提升且分布均勻，但是顏色失真，淸晰度不夠。本文算法明顯提升了圖像整體亮度，且亮度分布均勻，圖像淸晰度提升，表現(xiàn)在圖像左邊鋼結(jié)構(gòu)部分的細(xì)節(jié)信息上。綜上所述，本文算法提升低照度圖像的亮度和淸晰度，同時解決了圖像光照不均勻的問題，有效抑制高亮區(qū)域的增強(qiáng)。

圖7 算法比較

圖8中，(a)為原圖，(b)，(c)，(d)分別為MSR、ENRA和本文算法對圖像進(jìn)行增強(qiáng)處理后的結(jié)果，MSR處理結(jié)果明顯增強(qiáng)了對比度，亮度也有所提升，但是圖像顏色失真，圖像亮度不均勻。ENRA處理后的圖像亮度提升且分布均勻，淸晰度不夠。對比以上兩種算法，本文算法更加有效提升了低照度圖像的亮度和淸晰度，恢復(fù)了圖像色彩，增強(qiáng)了視覺效果。

圖8 算法比較

表1、2分別為兩組圖像的信息熵和圖像平均梯度的評估數(shù)據(jù)，由數(shù)據(jù)可知，MSR、ENRA和本文算法都能夠有效對圖像進(jìn)行亮度增強(qiáng)，增強(qiáng)后的圖像在圖像對比度、圖像亮度、圖像信息熵和圖像清晰度方面都高于原圖像。本文算法對圖像的增強(qiáng)效果在在圖像對比度、圖像亮度、圖像信息熵和圖像清晰度方面都優(yōu)于其他算法，展現(xiàn)了本文算法的優(yōu)越性。

表1 圖像的信息熵

表2 圖像的梯度

4 結(jié)束語

為增強(qiáng)非均勻低照度圖像，提出一種基于Retinex理論的自適應(yīng)亮度層圖像增強(qiáng)的算法。本文算法主要針對光照不充足環(huán)境中采集到的低質(zhì)量圖像，這些圖像整體昏暗模糊，顏色退化，為提升圖像質(zhì)量，在HSI色度空間中，只對亮度層I進(jìn)行處理；根據(jù)非均勻低照度圖像的分量的不同，高亮區(qū)域光照充足，甚至曝光，根據(jù)拍攝角度不同，獲得不同的源圖像的像素均值，引入權(quán)重系數(shù)α；根據(jù)權(quán)重系數(shù)的兩個不等經(jīng)驗值可以獲的兩張細(xì)節(jié)信息特征不一樣的圖像，最后通過主成分分析融合圖像。實驗表明，相比現(xiàn)有的圖像增強(qiáng)算法，本文算法能更好地提升昏暗環(huán)境下采集到的非均勻低照度圖像的整體亮度和對比度，強(qiáng)化圖像細(xì)節(jié)部分，同時保持顏色恢復(fù)和抑制高亮區(qū)域的增強(qiáng)。展示了本文算法在增強(qiáng)非均勻低照度圖像中的有效性和優(yōu)越性。