基于Retinex改進(jìn)的夜間圖像增強(qiáng)算法

李宏宇，朱一峰，黃怡

（長春理工大學(xué) 電子信息工程學(xué)院，長春 130022）

由于夜間環(huán)境光照不足和光線亮暗不均，容易使拍攝的圖像出現(xiàn)細(xì)節(jié)分辨不清的情況。而拍攝圖像的質(zhì)量對戶外視頻監(jiān)控設(shè)備的監(jiān)控效果有重要影響，圖像細(xì)節(jié)分辨不清會嚴(yán)重干擾戶外視頻監(jiān)控設(shè)備的正常工作。通過對夜間圖像有效增強(qiáng)，能夠使戶外視頻監(jiān)控設(shè)備的可靠性和全天時(shí)能力得到進(jìn)一步加強(qiáng)[1]。

目前，最常用的圖像增強(qiáng)方法大致分為兩大類，即空間域增強(qiáng)和頻率域增強(qiáng)，Retinex系列算法是最常用的空間域增強(qiáng)方法之一。Retinex理論認(rèn)為人眼對于物體表面顏色的感知是由物體表面的反射屬性決定的，與場景中的光源分布無關(guān)[2]。基于該模型，Retinex系列算法通常采用某種低通濾波器對采集的降質(zhì)圖像進(jìn)行處理，從而獲得照度分量圖像的估計(jì)，接著從采集的圖像中去除照度分量估計(jì)而獲得反射分量圖像，而反射分量圖像就是描述物體本質(zhì)的屬性圖像。根據(jù)照度分量圖像估計(jì)的方法不同，Retinex理論又發(fā)展出不同的增強(qiáng)算法，分別有隨機(jī)路徑Retinex、McCann'sRetinex算法和中心/環(huán)繞Retinex算法以及在中心/環(huán)繞Retinex算法基礎(chǔ)上發(fā)展出的單尺度Retinex算法（single-scale Retinex，SSR算法）、多尺度Retinex算法（multi-scale Retinex，MSR算法）和帶顏色恢復(fù)的多尺度Retinex算法（multi-scale Retinex with color restoration，MSRCR算法）等比較經(jīng)典的算法。Retinex系列算法具有動態(tài)壓縮和顏色恒常等特性，但是由于Retinex系列算法是分別對圖像的R、G、B三通道單獨(dú)進(jìn)行處理，這就破壞了RGB三通道之間的聯(lián)系，最直觀的結(jié)果就是處理后的圖像顏色存在失真。基于此，本文采用一種將原始夜間圖像先轉(zhuǎn)換到HSV空間下對V通道圖像進(jìn)行導(dǎo)向?yàn)V波獲取照度分量估計(jì)，獲取反射分量圖像，再轉(zhuǎn)換回RGB空間進(jìn)行顏色恢復(fù)處理，獲得最終增強(qiáng)的圖像?？梢杂行Ы鉀Q處理后的圖像顏色失真和暗區(qū)過度增強(qiáng)問題。

1 Retinex系列算法

1.1 Retinex模型

Retinex模型認(rèn)為，一幅圖像可以由入射分量圖像L(x,y)和反射分量圖像R(x,y)組成?？梢杂檬剑?）來表示：

1.2 多尺度Retinex算法

多尺度Retinex算法的核心思路是在SSR算法的基礎(chǔ)上分別選取不同的高斯環(huán)繞尺度進(jìn)行計(jì)算，并對輸出結(jié)果進(jìn)行加權(quán)求和[3]。MSR算法可用式（3）表示為：

其中，(x,y)是像素點(diǎn)的坐標(biāo)，i為顏色通道i∈{R、G、B} ，S(x,y)為采集的夜間降質(zhì)圖像，R(x,y)為反射分量圖像，F(xiàn)(x,y)為高斯環(huán)繞函數(shù)，N為尺度系數(shù)，W為高斯環(huán)繞函數(shù)的權(quán)重，且；?為卷積符號；可以用式（4）來表示：

其中，λ是歸一化因子，c為尺度常數(shù)。

1.3 MSRCR算法

MSRCR算法是在MSR算法的基礎(chǔ)上引入了顏色恢復(fù)函數(shù)[4]，具體過程如式（5）所示：

其中，f為變換函數(shù)，通常取對數(shù)函數(shù)，i是顏色通道，C作為MSR算法中各顏色通道輸出結(jié)果的校正系數(shù)可以得到MSRCR算法的公式如（6）所示：

2 本文算法

2.1 空間轉(zhuǎn)換

Jobson的色彩恒常性理論是以灰度世界假設(shè)為基礎(chǔ)的，在RGB空間對彩色圖像進(jìn)行增強(qiáng)操作容易造成圖像顏色失真[5]。因此，本文引入更加符合人類視覺期望的HSV空間，將原始RGB彩色圖像I(x,y)轉(zhuǎn)換到HSV空間得到飽和圖像IS(x,y)、色調(diào)圖像IH(x,y)和亮度圖像IV(x,y)：

式（7）、（8）、（9）中，Cmax=max(R,G,B)，Δ=Cmax-Cmin，而Cmin=min(R,G,B)。其中R,G,B都是經(jīng)過歸一化后的各通道灰度值。通過式（7）可以計(jì)算出飽和圖像IS(x,y)，通過式（9）可以計(jì)算出色調(diào)圖像IH(x,y)，而亮度圖像可以用式（8）計(jì)算獲得。使用式（10）、（11）可以將HSV空間轉(zhuǎn)換回RGB空間。其中，C=V×S，m=V-C，X=C×。

2.2 顏色恢復(fù)函數(shù)的改進(jìn)

MSRCR算法在顏色恢復(fù)過程中需要引入大量參數(shù)，并且算法的穩(wěn)健性比較差。所以，為了保證圖像處理過程中擺脫對場景光源分布的依賴，同時(shí)為了解決傳統(tǒng)Retinex算法處理后的圖像容易產(chǎn)生局部噪聲放大和色彩失真的問題。本文提出一種優(yōu)化的顏色恢復(fù)函數(shù)，具體形式如式（12）。假設(shè)在原始RGB空間中，輸入圖像I(x,y)中每個像素的顏色比重為式（12）：

其中，G為增益參數(shù)，控制圖像整體的亮度與色彩飽和度。其值越大，處理后圖像整體的色彩和亮度提升效果越顯著。α為色彩亮度調(diào)節(jié)因子，主要負(fù)責(zé)微調(diào)圖像的亮度，其值越大亮度越高。β主要負(fù)責(zé)調(diào)節(jié)處理后的圖像顏色的權(quán)重，其效果能達(dá)到抑制暗區(qū)域像素過增強(qiáng)的目的，同時(shí)能加重圖像高光和高暗。由對數(shù)函數(shù)的性質(zhì)可知，當(dāng)?shù)讛?shù)大于自然數(shù)e時(shí)，函數(shù)值大于1。因此，α和β的取值必須使得式（13）成立。

經(jīng)過多次實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)G∈[0.8，1.4]、α∈[3，10]、β∈[100，500]時(shí)，圖像的增強(qiáng)效果比較好。

2.3 Gamma校正

經(jīng)過導(dǎo)向?yàn)V波獲得反射分量圖像取反對數(shù)后圖像一般整體偏暗，必須對圖像的亮度進(jìn)行適當(dāng)?shù)男Ｕ蕴岣邎D像質(zhì)量，采用非線性的全局Gamma校正方法對圖像進(jìn)行處理[6]。

2.4 算法流程

如圖1所示，本文提出的基于Retinex改進(jìn)的夜間圖像增強(qiáng)算法的主要過程為：首先，在原始RGB空間中使用式（12）計(jì)算獲得顏色恢復(fù)函數(shù)；接著，使用式（7）、（8）、（9）把原始夜間圖像從RGB空間轉(zhuǎn)換到HSV空間，在HSV空間下對V分量圖像進(jìn)行高斯濾波獲得照射分量圖像L(x,y)（入射分量圖像）估計(jì)，再使用式（2）計(jì)算獲得反射分量圖像R(x,y)；由于這時(shí)候獲得的反射分量圖像會存在局部亮度偏暗，因此，使用式（13）對反射分量圖像進(jìn)行Gamma亮度調(diào)節(jié)；最后，使用式（10）、（11）把反射分量圖像從HSV空間轉(zhuǎn)換回RGB空間并進(jìn)行顏色復(fù)原，即對反射分量圖像的每個通道乘以對應(yīng)的顏色復(fù)原函數(shù)。經(jīng)過上述步驟后即可獲得增強(qiáng)后的夜間圖像。

圖1 本文算法流程圖

3 實(shí)驗(yàn)結(jié)果與數(shù)據(jù)分析

為了驗(yàn)證本文算法優(yōu)于其他現(xiàn)有算法，首先，采用多尺度Retinex（MSR）技術(shù)對圖像進(jìn)行處理；接著，采用基于顏色復(fù)原的多尺度Retinex（MSRCR）技術(shù)對圖像進(jìn)行處理；同時(shí)，采用基于HSV空間的多尺度Retinex算法（MSRCRHSV）對圖像進(jìn)行處理[7]；最后，采用本文算法對圖像進(jìn)行處理。四種算法處理的結(jié)果如圖1、圖2所示。

圖2 場景1圖像處理結(jié)果對比圖（α=6，β=300，G=1，γ=3）

從圖2、圖3中可以看出，使用MSR算法處理后的圖像對比度比較低，并且處理后的圖片整體色彩不自然，具體如圖2和圖3所示，處理后場景中的天空區(qū)域和草坪區(qū)域色彩整體變白，視覺效果非常差；使用MSRCR算法處理后的圖像對比度較MSR算法有很大的提升，但是處理后的圖像整體色彩仍然不符合人眼的視覺感知，并且圖中天空區(qū)域和植物的色彩明顯偏白；而使用MSRCRHSV方法處理后的圖像整體視覺都比較符合人眼的色彩感知，圖像的整體對比度都有了很大的提高，但是存在局部色彩失真的問題，尤其是在圖2（d）中這種失真現(xiàn)象更加明顯，而在圖3（d）中增強(qiáng)后的樹葉由局部白灰色的顏色失真現(xiàn)象。而本文算法對顏色恢復(fù)函數(shù)進(jìn)行改進(jìn)后有效地改善了圖像的整體對比度并且解決了MSRCRHSV算法處理后色彩失真的問題。本文算法處理后的圖像整體色彩比較自然，符合人眼的視覺感知。

圖3 場景2圖像處理結(jié)果對比圖（α=6，β=300，G=1，γ=3）

由上述分析可知：與現(xiàn)有的圖像增強(qiáng)算法相比，本文算法處理效果具有明顯的優(yōu)勢。為了使上述結(jié)論更具說服力，本文從圖像可見度測量（IVM）[8]、視覺對比度測量（VCM）[9]、圖像結(jié)構(gòu)相似度（SSIM）三個指標(biāo)來驗(yàn)證本文算法的優(yōu)勢[10]，這三個指標(biāo)的值越大表示增強(qiáng)后的圖像越清晰。

表1 圖像可見度測量對比

表2 視覺對比度測量對比

表3 結(jié)構(gòu)相似度對比

為了便于觀察與比較，將表格中的SSIM值放大10倍，VCM值縮小10倍后繪制圖4和圖5。圖4和圖5的橫坐標(biāo)表示不同的算法名稱，縱坐標(biāo)表示不同的數(shù)值。其中MSR表示多尺度Retinex算法；MSRCR表示基于顏色恢復(fù)的多尺度Retinex算法；MSRCRHSV表示基于HSV空間顏色恢復(fù)的多尺度Retinex算法；This表示本文算法。其中IVM表示圖像可見度測量值；VCM表示視覺對比度測量值；SSIM表示結(jié)構(gòu)相似度值。從表1、表2、表3、圖4和圖5中可以看出，MSR算法處理后的圖像整體清晰度與MSRCR處理后的效果區(qū)別不大，而MSRCRHSV算法處理后的圖像清晰度明顯優(yōu)于MSR與MSRCR算法，這是由于把圖像轉(zhuǎn)換到HSV空間進(jìn)行處理避免破壞RGB通道之間的關(guān)系。而本文算法處理后的清晰度整體上比其它三種算法都要好，因此，再次從客觀角度證明本文算法可以有效增強(qiáng)夜間圖像的清晰度。

圖4 不同算法對場景1處理的結(jié)果對比圖

圖5 不同算法對場景2處理的結(jié)果對比圖

4 結(jié)論

針對現(xiàn)有的夜間圖像增強(qiáng)算法處理后圖像存在噪聲放大、對比度差和顏色失真的問題，本文提出了一種基于Retinex改進(jìn)的夜間圖像增強(qiáng)算法。該算法以Retinex模型為基礎(chǔ)，將原始夜間圖像轉(zhuǎn)換到HSV空間對V分量圖像進(jìn)行高斯濾波操作，獲取照度分量圖像估計(jì)，進(jìn)而求出反射分量圖像，再對反射分量進(jìn)行Gamma亮度調(diào)節(jié)，最后轉(zhuǎn)換回RGB空間進(jìn)行顏色復(fù)原。經(jīng)過對幾種算法結(jié)果的對比分析可知，本文算法有效地避免了傳統(tǒng)Retinex系列算法對原始圖像色彩的破壞，并且處理后圖像對比度高、色彩比較自然，符合人眼的視覺感知。