基于Retinex的視頻自適應(yīng)增強算法

侯天峰等

摘 要： Retinex算法是圖像增強的常用方法?；赗etinex理論提出一種新的視頻光照增強算法，結(jié)合圖像全局及局部灰度特性引入補償系數(shù)，增強暗區(qū)域光照的同時克服了傳統(tǒng)算法處理后的人工痕跡，使處理結(jié)果更加自然；同時，算法用引導(dǎo)濾波估計照度圖像，在避免光暈現(xiàn)象的同時可以加快算法處理速度。實驗結(jié)果表明，該方法簡單有效，視覺效果提升顯著。

關(guān)鍵詞： Retinex； 圖像增強； 光照補償； 引導(dǎo)濾波

中圖分類號： TN911.73?34 文獻標(biāo)識碼： A 文章編號： 1004?373X（2015）17?0068?04

Retinex?based self?adapting enhancement algorithm for videos

HOU Tianfeng1， CHENG Hesheng2， ZHANG Yan1

（1. School of Information Science and Engineering， Jinling College of Nanjing University， Nanjing 210000， China；

2. School of Computer， Hefei Normal University， Hefei 230601， China）

Abstract： Retinex algorithm is a common image enhancement method. Based on Retinex theory， a new video illumination enhancement algorithm is proposed， in which the compensation factor is introduced in combination with global and local grayscale characteristics of images. It can enhance the illumination in dark areas and overcome the artificial marks on images processed by traditional algorithms， which can make the processing results more natural. The guided filtering is applied to estimation illumination image by the algorithm， which can avoid halo phenomenon and accelerate the processing speed of the algorithm. The experimental results show that this method is simple and effective， with which the visual effect is promoted obviously.

Keywords： Retinex； image enhancement； illumination compensation； guided filtering

0 引 言

視頻采集過程受諸多因素影響，如夜間或者暗光拍攝條件下表現(xiàn)為光照不足、亮度偏低；光線遮擋使得形成的圖像一部分明亮另一部分較暗，造成光照不均；反光或強光源使得獲取的圖像亮度分布不均勾，高亮區(qū)域細節(jié)模糊。光照不足或者光照不均一方面會造成圖像主觀效果不佳，難以滿足人們視覺感官的需要，另一方面對于后續(xù)的圖像處理比如模式識別[1]、目標(biāo)跟蹤都會造成較大影響。由此出現(xiàn)圖像增強技術(shù)對光照不均圖像進行增強處理提高質(zhì)量。

圖像增強技術(shù)根據(jù)圖像質(zhì)量情況和不同的應(yīng)用釆用信號處理技術(shù)手段達到增強局部或者整體特征的目的[2]。針對光照不均勻圖像的增強處理，常常采用的算法主要有：灰度變換方法[3]、同態(tài)濾波方法[4]、小波變換增強[5]、基于Retinex理論的算法[6]等。其中，基于Retinex理論的增強算法具有顏色保真、細節(jié)增強和動態(tài)范圍壓縮等多個方面的優(yōu)勢，它常常與其他算法結(jié)合使用可以達到更好的增強效果，目前已廣泛應(yīng)用于航空航天、生物醫(yī)學(xué)、電視電影等多個方面，占據(jù)比較重要的地位。

自20世紀70年代Retinex理論提出以來，得到了很大的發(fā)展和關(guān)注。從采用同態(tài)濾波器的Retinex算法，到后來又出現(xiàn)了中心環(huán)繞Retinex，包括單尺度Retinex（SSR）和多尺度Retinex（MSR）以及帶顏色恢復(fù)的Retinex（MSRCR）算法等。Michael Elad引入兩種雙邊濾波器[7]，一個濾波器處理圖像的反射分量，另一個濾波器對圖像的入射分量進行估計，算法對邊緣處的增強效果也較好，在消除“光暈”方面有了一定效果。文獻[8]又提出了一種亮度修正的Retinex算法，算法將Canny算子和Retinex算法結(jié)合起來，算法首先對入射分量分析，接著采用Canny算子檢測圖像邊緣信息，該算法能夠有效消除“光暈”現(xiàn)象。文獻[9]提出了局部多尺度的Retinex算法，將小波變換和Retinex算法結(jié)合起來，實現(xiàn)了圖像色彩保真與細節(jié)增強兩者之間的權(quán)衡[10]。文獻[11]將圖像轉(zhuǎn)換到HIS空間對亮度和飽和度進行調(diào)整，同時加入影像邊緣細節(jié)特征。陳志斌等人針對煙霧區(qū)域灰度建立專門數(shù)學(xué)模型，利用信息熵進行灰度拉伸[12]。文獻[13]基于Retinex框架在小波域自適應(yīng)估計照度分量。

上述改進主要關(guān)注于消除Retinex處理“光暈”現(xiàn)象、邊緣的增強以及圖像對比度的提升，忽略了處理所造成的人工痕跡明顯以及時間效率等問題。本文對基于Retinex理論的算法進行研究，考慮日常影視及移動設(shè)備拍攝視頻的增強處理要求，提出一種新的方法，使需要增強圖像區(qū)域看起來更加自然，而對于無需增強的圖像區(qū)域，處理后也不會變得更差。另外通過引入引導(dǎo)濾波使得算法滿足實時應(yīng)用要求，同時消除光暈。實驗結(jié)果表明本文算法是切實有效的。

1 Retinex算法簡介

Retinex理論算法模型把原圖像分解為反射分量和入射分量，反射分量決定圖像的內(nèi)在性質(zhì)，而照射分量決定圖像達到的動態(tài)范圍，通過某種方法估計出圖像的低頻光照信息，進而提取出圖像的反射分量，也就是圖像的細節(jié)信息，還原物體的原貌。

雖然不同的文獻對Retinex算法的數(shù)學(xué)表達形式可能不同，但實際上它們是相似的，都是通過對照度圖像盡可能準確地估計進而提取反射圖像，最終達到增強圖像的目的。不同之處在于對照度圖像估計方式的不同。

Retinex理論算法數(shù)學(xué)模型為：

[S（x，y）=R（x，y）?L（x，y）] （1）

式中：[R]表示入射分量，它決定物體的內(nèi)在性質(zhì)；[L]表示照度分量，它決定了圖像像素的動態(tài)范圍。

通常需要將式（1）變換到對數(shù)域處理，一方面可以將復(fù)雜的乘法運算轉(zhuǎn)換為簡單的加法運算，另一方面對數(shù)域的數(shù)據(jù)更加接近人眼的感知能力。對式（1）兩邊取對數(shù)得：

[log（S（x，y））=log（R（x，y））+log（L（x，y））] （2）

直接獲得物體的反射分量較困難，但是可以通過先對照射分量進行估計，然后在對數(shù)域上用原圖像減去估計出的照射分量，最后得到反射分量。通常用低通濾波器對原始圖像進行卷積估計照度分量圖像，Jobson證明了采用高斯濾波函數(shù)可以得到較好的增強效果：

[G（x，y）=1G（x，y）dxdye-x2+y2c2] （3）

式中：[c]為尺度參數(shù)，通過調(diào)節(jié)[c]的大小調(diào)節(jié)增強效果。實驗表明，[c]越大，圖像的邊緣信息得到較好的保留，但是動態(tài)范圍壓縮較?。籟c]越小，動態(tài)范圍能夠得到較好的壓縮，但邊緣比較模糊。

Retinex雖然能夠在一定程度上增強圖像，但是它存在處理后的圖像亮度偏高、“光暈”及處理后圖像出現(xiàn)色偏等問題?！肮鈺灐贝嬖诘脑蛟谟凇翱臻g照度變化緩慢”的假設(shè)在圖像中某些部分是不成立的，比如說明暗分明的邊界、陰影等區(qū)域。算法在計算圖像的全局照度分布時所采用的高斯卷積核是各向同性的，而且為防止結(jié)果圖像顏色的失真，要求采用的卷積核尺度較大。當(dāng)尺度較大的卷積核通過明暗變化劇烈的區(qū)域時，將會嚴重模糊陰影的邊界致使模擬全局照度分布失敗，最后將導(dǎo)致輸出圖像的陰影邊界附加出現(xiàn)“光暈”現(xiàn)象，細節(jié)信息也丟失。

另外生成照度分量所用的低通濾波器通常選擇高斯濾波，為了抑制光暈，一些文獻提出使用雙邊濾波代替高斯濾波。這兩種濾波器帶來的卷積運算量都和濾波器支撐域成正比，大尺度卷積核會使運算量急劇增加，使處理過程緩慢，不能滿足實時視頻處理的要求。

2 基于Retinex的視頻自適應(yīng)增強算法

雖然雙邊濾波等邊緣保持濾波器能抑制“光暈”現(xiàn)象，但時間復(fù)雜度較高；而其他的算法如考慮邊緣特性的各向異性算法[14]雖然能解決問題，但稍顯繁雜。而且Retinex處理后的圖像很多時候人工痕跡較為明顯，典型表現(xiàn)為圖像明亮區(qū)域抑制過多，圖像暗區(qū)域增強太過，會出現(xiàn)色彩失真等不自然效果，如圖1（b）和圖2（b）所示，圖1，圖2在天空、道路及燈光處都顯得失真，Artifact明顯。

考慮自然圖像的增強，往往更關(guān)注暗區(qū)域部分，而對于高光區(qū)域，如果壓縮太多，會使圖像顯得不真實；另外對于非光照不足或光照不均圖像，算法處理的結(jié)果不應(yīng)該變差。為此本文考慮實際應(yīng)用中，對于處理結(jié)果自然度方面的要求較為重要，提出一種視頻增強算法，利用引導(dǎo)濾波消除“光暈”和提高速度，滿足實時處理要求；結(jié)合圖像全局及局部灰度特性避免明顯的人工痕跡，達到自適應(yīng)處理需要增強的圖像區(qū)域，同時不會影響視頻中其他正常圖像或區(qū)域質(zhì)量的目的，取得較高的視覺效果。

2.1 結(jié)合全局及局部灰度特性的自適應(yīng)Retinex

對于光照增強而言，一個自然的想法是對原始圖像中相對暗的區(qū)域加強補償，而對原始圖像中相對明亮的區(qū)域減少處理，從而在補償光照的同時減少Artifact，因此，可以利用圖像灰度特性改善Artifact。

圖像的灰度特性可以直接通過像素顏色值大小反映，針對視頻光照補償?shù)膽?yīng)用，本文研究提出一種補償系數(shù)：

[cf（x，y）=minmaxk?meanvS（x，y），0，1] （4）

式中：[k]為經(jīng)驗常量，[k∈（0，1）；][S（x，y）]為原始圖像的像素值；[meanv]是圖像全局均值；[min]和[max]為截斷操作，保證計算出的系數(shù)范圍在[（0，1）]內(nèi)。

上述補償系數(shù)綜合考慮了圖像的整體像素亮度及局部像素亮度。整體顏色均值[meanv]大小代表全局灰度特性，整體上較暗的圖像，處理后不自然度就越大，需要稍降低補償力度，因此[meanv]與[cf]成正比；局部像素點的亮度即局部灰度特性，局部暗的像素重點增強，因此[S（x，y）]與[cf]成反比，據(jù)此兩方面自適應(yīng)設(shè)置增強力度。對于實驗部分圖5（a），其補償系數(shù)分布圖如圖3所示。

將式（4）代入式（3），可以得到新的計算公式：

[rcf（x，y）=cf（x，y）?r（x，y）+（1-cf（x，y））?S（x，y）] （5）

2.2 基于引導(dǎo)濾波的照度分量估計

引導(dǎo)圖像濾波器由He提出[15]，具有邊緣保持性質(zhì)，濾波器與引導(dǎo)圖像[I]、濾波輸入圖像[p]以及輸出圖像[q]相關(guān)，[I]和[p]預(yù)先給定，可以相同。濾波結(jié)果在像素點[i]處表示成一個加權(quán)平均：

[qi=jWij（I）pj] （6）

式中：引導(dǎo)圖[I]和濾波輸出[q]是一個在窗口[ωk]內(nèi)的局部線性模型：

[qi=ak?Ii+bk， ?i∈ωk] （7）

[ak]和[bk]是當(dāng)窗口中心位于[k]時上面的線性函數(shù)的系數(shù)。在該濾波算法中，影響效果的有兩個參數(shù)[r]和[ε]。[r]是窗口[ωk]的半徑，[ε]用于界定圖像局部顏色值變化大小，在窗口大小保持不變的情況下，[ε]越大，濾波效果越明顯。

利用引導(dǎo)濾波估計照度圖像，可以做到算法執(zhí)行時間與濾波核尺寸無關(guān)。

[Li=ak?Si+bk] （8）

3 實驗

文中所有實驗圖像來自手機拍攝視頻和影視片段，轉(zhuǎn)換到Y(jié)UV格式進行處理。手機拍攝視頻尺寸為1 280×720，影視片段均從網(wǎng)絡(luò)電影無損截取。實驗環(huán)境為Window 7系統(tǒng)的PC機，利用Matlab R2010b進行編程和算法運算。所有算法均調(diào)整至最佳效果。

為了充分驗證所提算法的有效性，本文進行了大量實驗，下面選取幾組進行對比評價。

圖4為電影開頭畫面。圖4（b）為用高斯濾波估計照度圖像的處理結(jié)果，濾波核尺寸為32×32，可以看到在明暗分明的邊界（紅色矩形框區(qū)域），出現(xiàn)了“光暈”，這是由于高斯卷積引起照度圖像邊界模糊導(dǎo)致的；圖4（c）為用引導(dǎo)濾波計算照度圖像的結(jié)果，因為具有邊緣保持性，所以可以較好地消除“光暈”，但對圖像高亮區(qū)域不合理的抑制，導(dǎo)致處理結(jié)果失真（紅色箭頭指向區(qū)域）；圖4（d）為本文改進算法，引入補償系數(shù)，在增強較暗區(qū)域的同時可以使處理后圖像更加自然；圖4（e）為補償系數(shù)分布圖像。

圖5和圖6同樣為兩組影視截取畫面，圖5為綜藝節(jié)目《爸爸去哪兒》，整體偏暗，圖6為電影《木乃伊3》，存在高光區(qū)域。圖5（b）為使用引導(dǎo)濾波的原算法，在天空、道路及屋檐燈光處人工痕跡明顯，圖5（c）為改進算法處理結(jié)果，在增強光照的同時可以保持一種很自然的風(fēng)格；圖6（b）在洞口高光及佛像處顯得不自然，而圖6（c）視覺效果更勝一籌。

4 結(jié) 語

本文著眼于視頻光照增強處理的實際應(yīng)用要求，基于Retinex理論自適應(yīng)補償系數(shù)消除人工痕跡保持自然度，利用引導(dǎo)濾波加快處理速度及避免“光暈”，滿足日常影像處理的需求。下一步的工作將關(guān)注視頻光照補償所產(chǎn)生的幀間亮度閃爍問題，以及圖像自然程度的定量衡量指標(biāo)。

參考文獻

[1] 肖燕峰.基于Retinex理論的圖像增強陝復(fù)算法研究[D].上海：上海交通大學(xué)，2007.

[2] YU Z Y， BAJAJ C. A fast and adaptive method for image contrast enhancement [C]// Proceedings of 2004 IEEE International Conference on Image Processing. Chicage： IEEE， 2004， 2： 1001?1004.

[3] 梁琳，何衛(wèi)千，雷蕾，等.光照不均圖像增強算法綜述[J].計算機應(yīng)用研究，2010，27（5）：1625?1628.

[4] 焦竹青.基于同態(tài)濾波的彩色圖像光照補償萬法[J].光電子·激光，2010，21（4）：602?605.

[5] ZAFAR I M， ABDUL G， MASOOD S A. Satellite image resolution enhancement using dual?tree complex wavelet transform and Nonlocal means [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（3）： 451?455.

[6] 蔣永馨，王孝通，徐曉剛，等.一種基于光照補償?shù)膱D像增強算法[J].電子學(xué)報，2009，37（z1）：151?155.

[7] ELAD M. Retinex by two bilateral filters [C]// Proceedings of 2005 the 5th International Conference on Scale?Space. Germany： Springer， 2005： 217?229.

[8] SUN Bo， CHEN Weifang， LI Hongyu， et al. Modified luminance based adaptive MSR [C]// Proceedings of 2007 the 4th IEEE International Conference on Image and Graphics. Washington， DC： IEEE， 2007： 116?120.

[9] 吳鎮(zhèn)宇，姚洪利，杜少軍.一種自適應(yīng)的霧天降質(zhì)圖像凊晰化方法研宄[J].光電與控制，2010，17（8）：52?56.

[10] 劉欽堂.基于Retinex算法的彩色圖像增強研究[D].哈爾濱：哈爾濱工程大學(xué)，2012.

[11] 邵振峰，白云，周熙然.改進多尺度Retinex理論的低照度遙感影像增強方法[J].武漢大學(xué)學(xué)報，2015，40（1）：32?39.

[12] 陳志斌，張超，宋巖，等.灰度拉伸Retinex在大動態(tài)范圍煙霧圖像增強中的應(yīng)用[J].紅外與激光工程，2014，43（9）：3146?3150.

[13] EUNSUNG L， SANGJIN K， WONSEOK K. Contrast enhancement using dominant brightness level analysis and adaptive intensity transformation for remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2013， 10（1）： 62?66.

[14] 唐磊，趙春霞，王鴻南，等.基于各向異性Retinex的路面圖像陰影消除[J].中國圖象圖形學(xué)報，2008，13（2）：264?268.

[15] HE Kaiming， SUN Jian， TANG Xiaoou. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）： 1397?1409.