基于融合策略的改進Retinex低照度圖像增強算法

史瑞雪，高保祿，喬穎婧

(太原理工大學(xué) 軟件學(xué)院，山西 晉中 030600)

0 引言

圖像在采集過程中由于天氣、光照等外界環(huán)境的影響，使得采集到的圖像會出現(xiàn)光照不均、色彩失真、細節(jié)模糊等問題，從而使人們無法準確獲取和識別圖像中的信息。因此，對低照度彩色圖像增強算法的研究具有重要的價值與意義。

目前，國內(nèi)外應(yīng)用比較廣泛的增強算法有直方圖均衡圖像增強算法[1]、小波變換圖像增強算法[2]和基于Retinex理論的圖像增強算法。其中，Retinex理論是基于人類視覺亮度和顏色感知建立的色彩感知模型，又稱為色彩恒常性理論[3]，具有動態(tài)范圍壓縮、邊緣增強和顏色恒常等特性，常常被用于圖像增強領(lǐng)域[4]。近年來，基于Retinex的改進的圖像增強算法得到了許多新的發(fā)展。常戩等[5]提出了基于小波變換的改進雙邊濾波的Retinex圖像增強算法和改進閾值函數(shù)去噪算法。該算法對小波分解后的低頻圖像進行光照估計，使用改進閾值函數(shù)得到新的高頻系數(shù)，有效地避免了圖像泛灰和光暈現(xiàn)象并去除了噪聲；文獻[6]提出一種通過Retinex模型進行結(jié)構(gòu)顯示微光圖像增強算法，該算法提供了一種基于增強拉格朗日乘數(shù)的無對數(shù)變換的交替方向最小化方法，其在弱光圖像增強中的有效性和魯棒性都表現(xiàn)較好，但是存在色彩失真現(xiàn)象；文獻[7]提出基于Retinex的區(qū)域協(xié)方差濾波器的圖像增強框架，該算法在消除噪聲和增強細節(jié)方面具有很好的效果，但是存在色彩飽和度低等問題。

上述算法在對圖像增強效果方面有了一定提高，但是仍存在色彩失真、細節(jié)模糊等問題[8]。針對上述算法的不足，提出一種基于融合策略的改進Retinex低照度圖像增強算法。該算法針對色彩失真的問題，提出只在亮度空間進行算法增強；針對邊緣輪廓模糊的問題，采用高斯-拉普拉斯(LOG，Laplacian of Gaussian)LOG算子進行邊緣檢測；最后使用小波變換融合兩幅圖像得到色彩保真、細節(jié)紋理清晰、符合人眼視覺效果的圖像。

1 Retinex理論

1.1 Retinex理論

Retinex理論即視網(wǎng)膜大腦皮層理論。由Land和McCann于20世紀60年代提出,是一種基于人類視覺感知的色彩理論[9]。該理論包括兩方面內(nèi)容：1)物體表現(xiàn)出的顏色主要由物體的反射性質(zhì)決定，不受光照的影響；2)自然界中所有物體的顏色具有恒常性，不受光照非均勻性的影響，光照不均不會影響物體顏色的一致性[10]。Retinex理論的思想是減少甚至消除光照圖像對視覺效果的影響，保留反映圖像本質(zhì)屬性的反射圖像，從而達到圖像增強的目的。

根據(jù)此理論，一副圖像可以分解為光照分量圖像和反射分量圖像，具體定義如下：

S(x,y)=R(x,y)*L(x,y)

(1)

式(1)中，光照分量L(x,y)決定圖像的動態(tài)范圍；反射分量R(x,y)對應(yīng)圖像細節(jié)紋理信息。在處理時，通常將式(1)轉(zhuǎn)至對數(shù)域，從乘積關(guān)系轉(zhuǎn)換為和的關(guān)系：

lg[S(x,y)]=lg[S(x,y)]+lg[L(x,y)]

(2)

由Retinex理論可知，物體的反射分量反映它的真實顏色，應(yīng)該最大程度地保留，因此從原圖像中估計光照分量從而獲得反射分量，以此達到增強的目的。因此將式(2)轉(zhuǎn)變成式(3)：

lg[R(x,y)]=lg[S(x,y)]-lg[L(x,y)]

(3)

1.2 基于Retinex理論的經(jīng)典算法

單尺度Retinex(SSR，single-scale retinex)算法[11]是在Retinex理論的基礎(chǔ)上提出的一種改進算法。該算法通過低通濾波器與原圖像卷積獲得光照分量。SSR算法的表達式如式(4)所示：

lg[R(x,y)]=lg(S(x,y))-lg[S(x,y)?G(x,y)]

(4)

式(4)中，?表示卷積,G(x,y)是一個低通濾波函數(shù)，一般選擇高斯函數(shù)[12]，其表達式為：

(5)

式(5)中，σ為平滑刻度，即尺度參數(shù)，尺度參數(shù)σ的大小控制增強的效果[13]。

為了改進SSR算法的不足，Rahman等提出了多尺度Retinex(MSR，multi-scale retinex)增強算法[14]。在一定情況下，MSR可以實現(xiàn)顏色保真、動態(tài)壓縮范圍等優(yōu)點。MSR算法的表達式如式(6)所示：

(6)

為了改進MSR算法色彩保真度上的不足，Jobson等對MSR算法進行了改進，提出了帶顏色恢復(fù)的Retinex(MSRCR，multi-scale retinex with color restoration)增強算法[15]，通過引入色彩恢復(fù)因子，將MSR與色彩恢復(fù)因子相結(jié)合，實現(xiàn)色彩的校正[16]。MSRCR的表達式如下：

RMSRCRj=CjRMSRj

(7)

(8)

式(8)中，Cj為第j個色彩分量的顏色恢復(fù)系數(shù)，j=1,2,3分別表示R、G、B三個色彩分量；ε為非線性強度的調(diào)節(jié)參數(shù)因子，λ為增益系數(shù)。

2 本文算法

針對經(jīng)典Retinex算法存在的問題，本文提出了一種基于融合策略的改進Retinex低照度圖像增強算法。該算法主要包括以下3個部分：1)在YIQ空間對亮度分量Y采用MSR算法進行增強，得到色彩保真度較好的亮度圖像，然后對飽和度分量Q進行色調(diào)補償；2)采用LOG算子對RGB圖像的3個分量分別進行邊緣檢測，將其疊加合成轉(zhuǎn)換成灰度圖，進而得到細節(jié)紋理保持較好的圖像；3)采用小波變換將增強后的亮度圖像與灰度圖像進行融合，使其成為新的亮度圖像，并將其與Q、I分量組合轉(zhuǎn)回到RGB空間獲得最終的彩色圖像。具體工作流程如圖1所示。

圖1 本文算法工作流程圖

2.1 YIQ顏色空間的MSR增強

對低照度彩色圖像處理時，需要對彩色空間的RGB三個通道分別進行增強。由于RGB三個分量之間緊密相關(guān)，同時各通道增強幅度不一致，因此當對其進行增強時就會破壞這3個分量之間的相關(guān)性，導(dǎo)致顏色保真度降低。因此，對不影響顏色變化的亮度空間進行增強，避免色調(diào)和飽和度的變化，從而得到色彩保真度較高的圖像。YIQ顏色空間具有能將亮度分量分離提取出來的優(yōu)點，同時兩個顏色空間之間的關(guān)系是線性變換的，計算量小，聚類特性也比較好，因此，選擇YIQ顏色空間作為增強算法的處理空間。算法具體步驟如下：

1)將彩色圖像從RGB空間轉(zhuǎn)換到Y(jié)IQ空間，提取亮度分量Y，對其進行基于MSR算法的增強。轉(zhuǎn)換關(guān)系式如式(9)所示：

(9)

使用式(9)將RGB空間圖像S轉(zhuǎn)換成YIQ空間圖像Sj，其中j屬于(Y、I、Q)。根據(jù)Retinex理論得到亮度分量Y的關(guān)系表達式：

SY(x,y)=RY(x,y)*L(x,y)

(10)

其中:SY為通過式(9)所求得的亮度分量Y；RY(x,y)為亮度分量Y上的反射分量，L(x,y)為光照分量。對式(10)進行MSR算法增強：

(11)

2)由于亮度分量的改變，使圖像色感發(fā)生了變化。因此對飽和度分量Q進行色調(diào)補償，公式如下：

QC(x,y)=Q(x,y)+δ[(YC(x,y)-Y(x,y))]*ε

(12)

式(12)中，QC(x,y)和YC(x,y)代表增強后的飽和度分量和亮度分量，δ為一個常數(shù)，ε為一個調(diào)整系數(shù)。這個調(diào)整系數(shù)可以表示為：

(13)

2.2 基于高斯-拉普拉斯的邊緣檢測

經(jīng)典的Retinex算法估計光照分量時，缺乏邊界保持性，圖像輪廓細節(jié)模糊。因此，本文提出使用高斯-拉普拉斯算子對低照度彩色圖像進行邊緣輪廓檢測，它能夠清晰地勾畫出圖像的邊緣和細節(jié)并傳遞大量的圖像信息。由于噪聲對圖像邊緣檢測影響很大，在利用拉普拉斯算子提取邊緣時，應(yīng)先減少噪聲帶來的影響。高斯函數(shù)是一種很好的歸一化低通濾波器,可以有效地減少圖像中的噪聲。因此選用高斯濾波器先對圖像進行平滑處理再進行邊緣檢測。LOG算子是高斯函數(shù)與拉普拉斯函數(shù)的雙結(jié)合，是即集平滑和邊沿于一身的算子模型。

采用高斯函數(shù)與原圖像進行卷積，減少噪聲：

g(x,y)=G(x,y)?S(x,y)

(14)

對式(14)所得到的平滑圖像采用拉普拉斯算子,得到邊緣清晰的圖像:

h(x,y)=▽2g(x,y)=▽2[G(x,y)]?S(x,y)

(15)

式(15)中，S為原始圖像,?為卷積運算，G為高斯濾波器，▽2為拉普拉斯運算。圖像的邊緣主要是由h為零的點決定,因此可得LOG算子為：

(16)

式(16)中，σ為高斯函數(shù)的尺度參數(shù)，其對高斯函數(shù)的影響比較明顯，因此選擇合適的值很重要，本文LOG算子中的σ值選1.6時，可以達到很好的效果。

本文使用LOG算子進行邊緣檢測時，將圖像的RGB三個分量分別進行邊緣檢測，并將其疊加合成后轉(zhuǎn)換成灰度圖。相對于直接轉(zhuǎn)換成灰度圖進行邊緣檢測，這種方法噪點的數(shù)量下降很多，邊緣也更加清晰。灰度圖的轉(zhuǎn)換公式如下：

Gray=R*0.299+G*0.587+B*0.114

(17)

2.3 基于小波變換的圖像融合

小波變換具有方向選擇性、正交性、可調(diào)整的局部支持以及分析數(shù)據(jù)量小等優(yōu)點，而且小波變換的多尺度變換特性符合人眼的視覺機制，適于圖像融合。因此，本文采用小波變換的方法將彩色圖像和灰度圖進行融合，以此得到邊緣明顯、顏色保真度高的彩色圖像。具體過程如下。

將MSR算法增強后的亮度圖像A和經(jīng)過LOG算子檢測后的灰度圖像B分別進行多尺度的二維離散的Mallat快速算法。Mallat分解公式如下：

(18)

由于圖像的低頻分量表現(xiàn)的是圖像的概貌和平均特性，因此采用加權(quán)平均法進行融合：

Aj,F=αAj,A+(1-α)Aj,B

(19)

式(19)中，Aj,A和Aj,B分別表示參加融合的兩幅圖像經(jīng)過小波分解后的低頻分量。Aj,F為融合后的低頻分量，0<α<1。

圖像的高頻分量反應(yīng)的是圖像的細節(jié)，如邊緣、區(qū)域邊界等，因此采用基于區(qū)域特性的融合規(guī)則。首先計算兩幅圖像的匹配度，若匹配度大于等于閾值，說明兩幅圖像對應(yīng)的局部能量較接近，因此采用平均加權(quán)的融合方法；若匹配度小于閾值，說明兩幅圖像對應(yīng)的局部能量相差較大，因此選取局部區(qū)域能量較大的高頻分量作為融合圖像的小波系數(shù)。

(20)

根據(jù)局部區(qū)域的能量求得兩幅圖像所對應(yīng)的局部區(qū)域的匹配度，其表達式如下：

(21)

當MT時，采用平均加權(quán)的融合方法，則：

(22)

當M

(23)

融合圖像的各小波系數(shù)確定后，進行逆小波變換重構(gòu)出融合圖像。重構(gòu)公式為：

(24)

將融合結(jié)果替代為新的亮度分量，并將其與Q、I分量組合。根據(jù)式(25)將YIQ圖像轉(zhuǎn)回到RGB空間，獲得最終的彩色圖像。

(25)

3 實驗結(jié)果和分析

本實驗基于通用Windows平臺，選用的仿真環(huán)境為Matlab實驗平臺，在該實驗平臺上對多幅低照度彩色圖像進行不同算法圖像增強。MSR、MSRCR和本文算法的參數(shù)設(shè)置：1)MSR算法的3個高斯尺度參數(shù)為σ1=15,σ2=80,σ3=250。2)MSRCR算法的高斯參數(shù)與MSR相同，其余參數(shù)為α=6.5,β=0.2,Sj=1.5；3)本文算法中的高斯參數(shù)與MSR相同。LOG函數(shù)與小波變換的各項參數(shù)上文已給出。

3.1 主觀評價

為了驗證本文算法的有效性，將本文所提算法的實驗結(jié)果與MSR和MSRCR算法的實驗結(jié)果進行比較，得到主觀效果如圖2～4所示。

圖2(a)為霧天絕緣子圖像。由于霧天的影響，圖像色彩暗淡、細節(jié)模糊；(b)圖雖然圖像清晰度有所增強，但色彩失真嚴重；(c)圖由于彩色因子的引入使得整體色調(diào)恢復(fù)效果較好，但是仍存在細節(jié)模糊現(xiàn)象。本文算法增強后的圖像符合人眼視覺效果，色彩鮮亮沒有明顯的失真現(xiàn)象，同時邊緣細節(jié)明顯清晰。

圖2 絕緣子圖像增強結(jié)果

圖3(a)為夜晚街角圖像。由于夜晚光線較暗，圖像中建筑物存在明顯陰影的同時輪廓細節(jié)模糊不清；(b)圖中建筑物輪廓的清晰度明顯有所加強，但顏色恢復(fù)效果不明顯；(c)圖中沒有明顯的陰影，但出現(xiàn)了曝光現(xiàn)象，色彩失真。本文算法由于引入了邊緣檢測算子，因此處理后的圖像的建筑輪廓細節(jié)被明顯勾勒。此外其色彩同原圖相比飽和度更高，沒有明顯的失真現(xiàn)象。

圖3 夜晚街角圖像增強結(jié)果

圖4(a)為逆光下的房間圖像。由于光線和拍攝角度的問題，房間整體顏色偏暗，圖像中的物體處于陰影中，不能明顯的區(qū)分；(b)圖中房間亮度雖有所提高，但總體仍舊較為昏暗；(c)圖中沒有明顯的暗影，但出現(xiàn)了曝光現(xiàn)象。本文算法由于只在亮度空間進行增強，因此處理后的圖像不僅亮度提升而且色彩保真度較高。

圖4 房間圖像增強結(jié)果

3.2 客觀評價

為了客觀評價各個算法的實驗效果，將圖像的標準差、平均梯度、信息熵、峰值信噪比和運行時間5個方面作為評價指標，并對不同算法的結(jié)果進行進一步有效分析。

3.2.1 標準差

標準差反映圖像的對比度，標準差越大證明圖像的質(zhì)量越好，標準差越大，圖像融合的效果越好。計算式如下：

(26)

式(26)中，μ為整體圖像的灰度值,M和N表示圖像的寬和高。

3.2.2 信息熵

信息熵代表圖像中平均信息量的多少，圖像信息越豐富表示信息熵的值越大。通過對對象中每點以及周圍區(qū)域的像素點的灰度分布的提取，可得信息熵計算式如下：

(27)

式(27)中，P(j)是像素j在圖像中的概率。

3.2.3 峰值信噪比

峰值信噪比為對圖像失真程度的表達。其值越大，表示圖像失真程度越小，越接近清晰圖像。其表達式：

(28)

式(28)中,f(x,y)為原圖(x,y)處的像素值，f′(x,y)為輸出圖像(x,y)處的像素值。MSE為當前圖像X和參考圖像Y的均方誤差。M和N表示圖像的寬和高；n為每像素的比特數(shù)，一般取8，即像素灰階數(shù)為256。

3.2.4 平均梯度

平均梯度具備反映圖像反差程度和紋理變化特征的功能。值越大表示圖像輪廓清晰。其表達式為：

(29)

3.2.5 運行時間

運行時間與算法效率密切相關(guān)，時間較短則算法效率快，性能較好。

表1是從上述5個方面對不同算法進行客觀比較的結(jié)果。從表中各項指標可以看出，上述幾種算法處理后的圖像均有明顯的改善；本文算法標準差的值較低，這是由于本文采用了小波變換的融合策略，這一過程會降低圖像的對比度；除此之外，較其他算法而言，本文算法除標準差之外的其他數(shù)值均有所提高，增強后的圖像在色彩、清晰度方面更符合人眼的視覺效果，圖像的層次結(jié)構(gòu)更清楚，細節(jié)信息明顯增加。

表1 不同算法對低照度彩色圖像增強結(jié)果比

圖5對各算法的運行時間做了對比。MSR算法耗時最短。MSRCR在MSR的基礎(chǔ)上引入了彩色因子，相對于MSR算法時間較長。本文算法將MSR算法處理后的圖像與LOG算子檢測后的圖像進行融合，所用時間較長，但基本和MSRCR算法相當。

圖5 各算法運行時間對比

4 結(jié)束語

為了改善經(jīng)典Retinex算法出現(xiàn)色彩失真、邊界保持性差等問題，本文提出基于融合策略的改進Retinex低照度圖像增強算法。首先，針對RGB顏色空間色彩失真的問題，考慮只對亮度空間進行算法增強以避免顏色失真，因此采用線性轉(zhuǎn)換方便的，計算量小的YIQ空間，得到色彩保真度較高的圖像；然后采用LOG算子對RGB顏色空間的3個分量進行邊緣檢測，獲得輪廓細節(jié)清晰的圖像；最后將兩副圖像采用小波變換進行圖像融合得到無色彩失真、紋理細節(jié)清晰的增強圖像。本文算法處理后的圖像，從主觀和客觀兩方面都有較高的評價，有利于人眼的觀察以及后續(xù)圖像的處理。但是，本文算法在小波變換的閾值選擇以及匹配度計算上存在不足，進一步選擇自適應(yīng)閾值參數(shù)和準確的匹配度是未研究方向。