改進(jìn)細(xì)節(jié)提升多尺度Retinex圖像增強(qiáng)算法

王仕女 孫文勝

摘 要：為了改善復(fù)雜照度下彩色圖像增強(qiáng)出現(xiàn)的細(xì)節(jié)丟失和色彩失真問題，依據(jù)顏色空間轉(zhuǎn)換和邊緣細(xì)節(jié)融合算法，提出基于HSI空間細(xì)節(jié)提升多尺度Retinex圖像增強(qiáng)算法。通過邊緣提取融合算法增強(qiáng)HSI模型亮度分量，進(jìn)行基于高斯模糊的多尺度細(xì)節(jié)提升，獲得增強(qiáng)圖像。與經(jīng)典的MSR、MSRCR等進(jìn)行仿真比較，實(shí)驗(yàn)數(shù)據(jù)表明，在主觀視覺效果和客觀評(píng)價(jià)指標(biāo)下，該算法均優(yōu)于MSR和MSRCR，增強(qiáng)圖像細(xì)節(jié)豐富，色彩自然逼真。

關(guān)鍵詞：圖像增強(qiáng);HSI顏色空間;Retinex算法;圖像邊緣細(xì)節(jié);多尺度細(xì)節(jié)提升

DOI：10. 11907/rjdk. 182208

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）004-0179-05

0 引言

圖像增強(qiáng)是圖像處理學(xué)科中至關(guān)重要的研究點(diǎn)，因?yàn)楝F(xiàn)實(shí)拍攝圖像經(jīng)常會(huì)有環(huán)境光照不夠或不均勻狀況，會(huì)嚴(yán)重影響圖像檢測(cè)研究和圖像觀測(cè)效果。因而，對(duì)復(fù)雜照度圖像進(jìn)行增強(qiáng)，可更好地為主觀觀察和深入研究提供高質(zhì)量圖片。

目前手機(jī)拍攝和視頻監(jiān)控已經(jīng)廣泛普及，無論是日常拍攝記錄生活，還是重要地點(diǎn)安防監(jiān)測(cè)、人流車輛管理等，圖像質(zhì)量都至關(guān)重要。復(fù)雜照度環(huán)境下低質(zhì)量圖像可能對(duì)視頻監(jiān)控和圖像識(shí)別構(gòu)成嚴(yán)峻考驗(yàn)。低質(zhì)量圖像特點(diǎn)是：一方面圖片存在大面積黑暗區(qū)域，區(qū)域內(nèi)物體難以辨認(rèn)，細(xì)節(jié)色彩完全喪失;另一方面在強(qiáng)燈光或者反射光下，圖像又呈現(xiàn)高亮區(qū)域，導(dǎo)致圖像過亮過暗兩極分化，給后續(xù)圖像檢測(cè)等過程帶來困難。各方面來看，對(duì)復(fù)雜照度圖像增強(qiáng)算法的深入探討與研究理應(yīng)成為目前重點(diǎn)關(guān)注的圖像處理方向之一[1-3]。

復(fù)雜照度圖像增強(qiáng)關(guān)鍵目標(biāo)無非是增強(qiáng)暗區(qū)亮度和恢復(fù)暗區(qū)細(xì)節(jié)，同時(shí)防止高亮區(qū)過曝，以達(dá)到圖像清晰化目的。當(dāng)前經(jīng)典實(shí)用的圖像增強(qiáng)算法有基于直方圖均衡的增強(qiáng)方法[4-7]、基于小波變換的增強(qiáng)方法[8]、基于Retinex理論的增強(qiáng)方法[9-12]等。其中，基于Retinex的算法中改善效果相對(duì)出色的有：?jiǎn)纬叨萊etinex（Single Scale Retinex， SSR）[10]、多尺度Retinex（Multi Scale Retinex，MSR）[11]、帶彩色恢復(fù)的多尺度Retinex（Multi Scale Retinex with Color Restoration，MSRCR）[12]以及改善算法。Retinex理論中對(duì)照射分量的估量和去除是研究重點(diǎn)，通常采用高斯濾波估算照射分量：SSR僅從單尺度進(jìn)行圖像濾波估算，較簡(jiǎn)單但主觀呈現(xiàn)不理想;MSR實(shí)質(zhì)為多維SSR線性加權(quán)得到，兼顧了細(xì)節(jié)和色彩，能較好地提高圖像整體亮度和對(duì)比度，同樣仍存在圖像邊緣銳化不足、易出現(xiàn)較嚴(yán)重顏色失真等問題;MSRCR 是加入顏色恢復(fù)因子的MSR，顏色失真改善，但圖像顏色會(huì)偏離自然色彩、泛白，在原圖亮區(qū)增強(qiáng)后的圖像出現(xiàn)明顯細(xì)節(jié)丟失、清晰度不足問題。

近幾年為彌補(bǔ)色彩失真和細(xì)節(jié)丟失缺陷，國(guó)內(nèi)外學(xué)術(shù)界進(jìn)行了不同程度研究，以修正色彩和恢復(fù)細(xì)節(jié)。Michael等[13]提出基于雙邊濾波的Retinex算法，在圖像顯示細(xì)節(jié)上有一定提升， 但算法效率不高。Chang等[14]采用稀疏表示方法表示物體反射分量，通過動(dòng)態(tài)字典對(duì)帶細(xì)節(jié)信息的反射部分進(jìn)行學(xué)習(xí)，增強(qiáng)圖像視覺質(zhì)量，但可能帶來圖像噪聲。Hanuman等[15]采用改進(jìn)的色彩恢復(fù)算法，在色彩失真和算法效率上有改進(jìn)效果。Yu等[16]采用HSV顏色模型彩色校正方法（HSV-IMSR），根據(jù)V分量調(diào)整飽和度以改善色彩失真。趙軍輝等[17]提出基于Lab色彩空間和色調(diào)映射的Retinex增強(qiáng)算法，通過減少偽影增強(qiáng)圖像邊緣和細(xì)節(jié)并改善色彩偏移。汪小威[18]結(jié)合映射函數(shù)和細(xì)節(jié)增益因子保留亮區(qū)細(xì)節(jié)獲得更清晰視覺效果。李紅等[19]利用主特征提取估計(jì)照度分量增強(qiáng)圖像主結(jié)構(gòu)邊緣細(xì)節(jié)。

為解決上述Retinex圖像增強(qiáng)存在的問題，致力于在保證不引入噪聲情況下提升足夠的局部和全局細(xì)節(jié)，保證算法效率，本文從色彩空間和邊緣算子入手，提出一種改進(jìn)細(xì)節(jié)提升基于Retinex的增強(qiáng)方法。對(duì)HSI色彩空間[23]的亮度分量進(jìn)行Retinex增強(qiáng)后與Sobel邊緣細(xì)節(jié)保留圖像進(jìn)行融合，最后對(duì)圖像進(jìn)行多尺度細(xì)節(jié)提升[26]，改善色彩失真并顯著提升細(xì)節(jié)，算法簡(jiǎn)單，效果明顯。

1 基于Retinex的圖像增強(qiáng)算法

人類視覺處理系統(tǒng)有著與生俱來的優(yōu)勢(shì)，Retinex理論是Land等[20]提出的涉及人類視覺感知系統(tǒng)通過調(diào)整感知物體顏色和亮度的生物學(xué)理論。根據(jù)Retinex理論，圖像I由兩分量構(gòu)成：照射分量相當(dāng)于圖像的低頻部分，場(chǎng)景反射分量相當(dāng)于高頻部分，該分量真實(shí)地反映了圖像本質(zhì)信息。根據(jù)Retinex模型，可得圖像I的數(shù)學(xué)表達(dá)式為：

多尺度Retinex增強(qiáng)圖像后，結(jié)果圖像經(jīng)常偏向灰色，主要是因?yàn)樵瓐D彩色值經(jīng)過對(duì)數(shù)處理后的數(shù)值范圍變窄，恢復(fù)像素域的線性量化函數(shù)相對(duì)平坦，導(dǎo)致圖像丟失彩色信息，顏色失真明顯。帶色彩恢復(fù)的MSR算法，引入彩色恢復(fù)因子到MSR算法中，彌補(bǔ)了MSR圖像增強(qiáng)后顏色嚴(yán)重失真的缺陷，在顏色和亮度保持、動(dòng)態(tài)范圍壓縮等部分表現(xiàn)優(yōu)異，但仍不可避免地存在丟失局部細(xì)節(jié)、色彩恢復(fù)不完全、噪聲凸顯等缺點(diǎn)。

2 改進(jìn)Retinex圖像增強(qiáng)算法

MSRCR算法實(shí)質(zhì)就是對(duì)數(shù)域中在原圖基礎(chǔ)上去除原圖與高斯函數(shù)的卷積部分，針對(duì)圖像中大片暗區(qū)，MSRCR增強(qiáng)后圖像顯現(xiàn)較為清晰的景物以及細(xì)節(jié)，但在圖像原本亮度較高的部分出現(xiàn)過曝，丟失邊緣細(xì)節(jié)部分，圖像整體亮度過大，色彩信息偏離原圖較嚴(yán)重[21]。

以設(shè)計(jì)無色彩失真、細(xì)節(jié)提升的圖像增強(qiáng)算法為目標(biāo)，考慮提出改進(jìn)細(xì)節(jié)提升的基于Retinex的增強(qiáng)方法，主要包括兩個(gè)步驟：①無色彩失真且保留邊緣細(xì)節(jié)的MSR圖像增強(qiáng);②對(duì)步驟①得到的增強(qiáng)圖像進(jìn)行多尺度局部細(xì)節(jié)提升。整體算法模型如圖1所示。

2.1 圖像色彩空間轉(zhuǎn)換

經(jīng)典的Retinex算法在彩色圖像紅、黃、藍(lán)三通道空間上進(jìn)行增強(qiáng)，各通道增強(qiáng)幅度不一致，容易出現(xiàn)圖像顏色失真。MSRCR等圖像增強(qiáng)理論的前提是灰度世界假設(shè)，即紅、黃、藍(lán)各分量大致相等，如果拍攝圖像某色彩占比更多，增強(qiáng)圖像則會(huì)顏色偏移甚至失真，趨于灰色[22]。

考慮將復(fù)雜照度圖像從紅黃、藍(lán)、色彩空間轉(zhuǎn)變至HSI空間進(jìn)行圖像增強(qiáng)，HSI色彩空間是直覺顏色模型，利用人眼感知特點(diǎn)，由Hue（色調(diào)）、Saturation（飽和度）和Intensity（亮度）3個(gè)分量呈現(xiàn)圖像色彩[23]。該色彩空間避開RGB的缺陷，分離了圖像亮度與顏色分量，對(duì)亮度分量的增強(qiáng)操作不影響顏色信息，能有效避免圖像顏色失真，且對(duì)圖像的增強(qiáng)處理僅需在一個(gè)維度進(jìn)行，提升了圖像處理速度[24]。本文考慮從HSI空間進(jìn)行增強(qiáng)，不僅可以改善彩色圖像亮度的不均勻分布，而且近乎完整地保留了圖像色彩信息。RGB彩色格式圖像至HSI色彩空間轉(zhuǎn)換公式為：

2.2 邊緣細(xì)節(jié)保留圖像增強(qiáng)融合算法

圖像亮度分量經(jīng)過MSR增強(qiáng)后，較好地保持了原圖色彩和恢復(fù)了暗處細(xì)節(jié)，但存在邊緣銳化程度不夠明顯、高光照區(qū)域細(xì)節(jié)不清晰等缺點(diǎn)。本文提出一種邊緣細(xì)節(jié)保留的融合模型，通過融合MSR增強(qiáng)圖像和經(jīng)過Soble算子增強(qiáng)邊緣圖像，達(dá)到保留細(xì)節(jié)且調(diào)整圖像整體亮度的效果。模型表達(dá)式為：

圖像對(duì)數(shù)域空間恢復(fù)到像素域的量化過程中，算法優(yōu)劣對(duì)輸出圖像質(zhì)量高低影響顯著，通用線性量化過程獲得的圖像常常偏向灰色，考慮采用另一種簡(jiǎn)單有效的量化算法，加入圖像均值和均方差值調(diào)整像素值，并引入控制圖像動(dòng)態(tài)范圍參數(shù)以實(shí)現(xiàn)圖像無色偏調(diào)整[25]。計(jì)算表達(dá)式為：

2.3 圖像多尺度局部細(xì)節(jié)提升

以上HSI色彩空間融合算法較好地保留了邊緣細(xì)節(jié)且無色彩失真，但對(duì)局部細(xì)節(jié)把握仍不足，為進(jìn)一步提升圖像局部細(xì)節(jié)效果，考慮進(jìn)行圖像多尺度局部細(xì)節(jié)提升[26]。對(duì)增強(qiáng)圖像進(jìn)行多尺度高斯模糊，相減得各程度圖像細(xì)節(jié)，再經(jīng)過合適的權(quán)值系數(shù)融合3部分細(xì)節(jié)信息到原圖中。數(shù)學(xué)表達(dá)式為：

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，進(jìn)行仿真驗(yàn)證，計(jì)算機(jī)配置為：Intel（R） Core（TM） i5-2300 CPU@1，8GHz，4GB內(nèi)存，操作系統(tǒng)Win10，軟件環(huán)境matlabR2014a。

下面給出本文方法的增強(qiáng)結(jié)果，并與SSR、MSR、MSRCR處理結(jié)果相比較。本文測(cè)試原圖像分析：女孩照片在單方向陽(yáng)光照射下拍攝，導(dǎo)致圖像左半部呈現(xiàn)強(qiáng)光照射，右半部由于遮擋整體較暗，同時(shí)獲得亮、暗處信息有一定挑戰(zhàn);白塔和建筑攝于黃昏夜晚等低照度情況下，暗處細(xì)節(jié)及顏色信息被隱藏，亮處比如塔身和建筑柱子?xùn)艡谔幘Ａ糨^好細(xì)節(jié)，對(duì)圖像進(jìn)行增強(qiáng)需同時(shí)考慮亮、暗處。

圖2-圖4分別為3幅圖像采用SSR、MSR、MSRCR以及本文算法處理不同圖像的實(shí)驗(yàn)效果對(duì)比。可以看出，各增強(qiáng)算法均實(shí)現(xiàn)了增強(qiáng)暗處對(duì)比度，使用SSR、MSR算法處理圖像后，亮度和色彩改善，但圖像整體色彩泛白，邊緣細(xì)節(jié)保持不理想，視覺效果欠佳。MSRCR增強(qiáng)對(duì)色彩有一定恢復(fù)，但仍存在結(jié)果圖像過飽和、圖像清晰度不高、局部細(xì)節(jié)丟失等問題。本文算法效果無色彩失真，而且亮處和暗處細(xì)節(jié)均明顯，整體色調(diào)自然，不存在過增強(qiáng)，色彩保持性質(zhì)良好。圖5截取了圖中局部圖像塊進(jìn)行MSRCR，與本文算法進(jìn)行細(xì)節(jié)和色彩對(duì)比，可以明顯看到本文算法細(xì)節(jié)明顯且色彩飽滿清晰。

人眼觀測(cè)和評(píng)估是一種有效的圖像評(píng)價(jià)標(biāo)準(zhǔn)，但它是一種主觀標(biāo)準(zhǔn)，為了更準(zhǔn)確地驗(yàn)證實(shí)驗(yàn)結(jié)果，本文還采用客觀質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)檢驗(yàn)算法有效性?？紤]采用圖像均值、標(biāo)準(zhǔn)差、熵以及結(jié)構(gòu)相似性值等4個(gè)簡(jiǎn)潔有效的標(biāo)準(zhǔn)作為評(píng)價(jià)指標(biāo)。整張圖像的均值體現(xiàn)了圖片亮暗情況，圖像灰度級(jí)為256，圖像均值取中值127.5最為理想，通常此時(shí)圖像質(zhì)量就最好，不會(huì)過暗或過亮;標(biāo)準(zhǔn)差反映了圖像對(duì)比度;熵為體現(xiàn)圖像是否色彩豐富的量化指標(biāo)，熵越大，圖像色彩信息越豐富，圖像質(zhì)量越好[27]。結(jié)構(gòu)相似性測(cè)量值（Structural Similarity Index Measurement，SSIM）反映了兩張圖片的相似度，通過計(jì)算圖像結(jié)構(gòu)的變化值以體現(xiàn)圖像失真情況，值越接近1則說明兩幅圖像越接近，用式（21）計(jì)算。

各評(píng)價(jià)指標(biāo)在一定程度上能良好地反映各算法的優(yōu)劣性，評(píng)價(jià)指標(biāo)數(shù)據(jù)如表1所示。對(duì)于測(cè)試圖像，增強(qiáng)后圖像的均值、均方差、熵、SSIM等評(píng)價(jià)指標(biāo)大概率最好。3幅驗(yàn)證圖像所有量化指標(biāo)中，本文算法除個(gè)別非最優(yōu)外，余下均最優(yōu)，充分表明算法的優(yōu)越性。針對(duì)少量原圖過暗、視覺觀察極差的驗(yàn)證圖像，本文算法SSIM值較低主要由提升原圖細(xì)節(jié)導(dǎo)致。在算法效率上，本文算法優(yōu)于MSR和MSRCR。

仿真結(jié)果表明：①在均值方面，MSR算法對(duì)于均值的提高效果最為顯著，但圖像整體存在色偏且泛白，且均值考慮越接近中值圖像色調(diào)越自然，本文算法對(duì)均值提升效果最接近中值，符合人的視覺感受;②在標(biāo)準(zhǔn)差方面，本文算法大概率優(yōu)于其它算法，表明本文算法對(duì)圖像對(duì)比度的提升效果明顯，圖像細(xì)節(jié)恢復(fù)效果良好;③在熵方面，本文算法均最優(yōu)，擁有相當(dāng)豐富的信息量，呈現(xiàn)更多圖片細(xì)節(jié)，更清晰;④在結(jié)構(gòu)相似度方面，本文算法在不引入噪聲的情況下，良好地保留了圖像的原始結(jié)構(gòu)信息。

4 結(jié)語

針對(duì)多尺度Retinex算法在復(fù)雜照度圖像增強(qiáng)上存在的缺陷：色彩失真、細(xì)節(jié)丟失，本文設(shè)計(jì)一種改進(jìn)算法，對(duì)圖像色彩空間、一階差分Sobel算子、圖像高斯濾波進(jìn)行深入研究。利用HSI隔離亮度分量和色彩的特性，在亮度分量上進(jìn)行MSR增強(qiáng)，再利用Sobel算子保留邊緣時(shí)細(xì)節(jié)過度平緩、抗噪性能好的性質(zhì)，與MSR增強(qiáng)后丟失細(xì)節(jié)圖像融合，得到無色偏保留細(xì)節(jié)的增強(qiáng)圖像，為了視覺效果更清晰，通過高斯濾波獲取圖像高頻分量組合，獲得提升整體細(xì)節(jié)和無色彩失真的圖像增強(qiáng)結(jié)果。通過Matlab仿真，顯示出本算法在人眼觀察、客觀評(píng)價(jià)指標(biāo)和運(yùn)算效率方面都有顯著優(yōu)勢(shì)。同時(shí)也需注意，當(dāng)前提出算法的測(cè)驗(yàn)參數(shù)根據(jù)邏輯規(guī)律和實(shí)測(cè)調(diào)整，后續(xù)要考慮對(duì)其進(jìn)行自適應(yīng)調(diào)整分析。

參考文獻(xiàn)：

[1] WU S Q，HU Y，YU W Y，et al. A novel color-image enhancement approach for night-vision images[J]. Applied Mechanics & Materials， 2014，556-562：4750-4754.

[2] 華夏，禹晶，肖創(chuàng)柏. 基于目的性優(yōu)化及改進(jìn)直方圖均衡化的夜間彩色圖像增強(qiáng)[J]. 計(jì)算機(jī)研究與發(fā)展， 2015，52（6）：1424-1430.

[3] CHO S M，CHAO J H. Thresholding for edge detection using fuzzy reasoning technique[C].Singapore Iccs 94 Conference，1994：1121-1124.

[4] CELIK T. Two-dimensional histogram equalization and contrast enhancement[J]. Pattern Recognition， 2012，45（10）：3810-3824.

[5] CHEN Y，F(xiàn)ENG P，YANG J，et al. An adaptive enhancement algorithm of low illumine color video image [J]. International Journal of Sensing， Computing & Control， 2012，2（2）：79-86.

[6] ARICI T，DIKBAS S，ALTUNBASAK Y. A histogram modification framework and its application for image contrast enhancement[J].? IEEE Transactions on Image Processing，2009，18（9）：1921-1935.

[7] CHANG Y，CHANG C. A simple histogram modification scheme for contrast enhancement[J]. Transactions Consumer Electronics，2010，56（2）：737-742.

[8] ASMARE M H，ASIRVADAM V S，HANI A F M. Image enhancement based on contourlet transform[J].? Signal， Image and Video Processing， 2015，9（7）：1-12.

[9] LAND E H. The Retinex theory of color vision[J]. Scientific American，1978，237（6）：108-128.

[10] LIU H B，YANG J，WU Z P， et al. A fast single image dehazing method based on dark channel prior and Retinex theory[J]. Acta Automatica Sinica，2015，41（7）：1264-1273.

[11] LIN H， SHI Z. Multi-scale Retinex improvement for nighttime image enhancement[J].? Optik International Journal for Light and Electron Optics，2014，125（24）：7143-7148.

[12] WANG Y， WANG H， YIN C， et al. Biologically inspired image enhancement based on Retinex[J]. Neurocomputing，2015，177：373-384.

[13] ELAD M. Retinex by two bilateral filters[C].? Springer Berlin Heidelberg， 2005：217-229.

[14] CHANG H， NG M K， WANG W， et al. Retinex image enhancement via a learned dictionary[J]. Optical Engineering， 2015，54（1）：1-15.

[15] HANUMANTHARAJU M C，RAVISHANKAR M，RAMESHBABU D R， et al. Color image enhancement using multiscale Retinex with modified color restoration technique[C]. International Conference on Emerging Applications of Information Technology，2011：93-97.

[16] YU J，KIM Y，LEE N，et al. Effective color correction method employing HSV color model[J]. Journal of Measurement Science and Instrumentation，2012，3（1）：39-45.

[17] 趙軍輝，吳玉峰，胡坤融，等. 基于Lab色彩空間和色調(diào)映射的彩色圖像增強(qiáng)算法[J]. 計(jì)算機(jī)科學(xué)，2018，45（2）：297-300.

[18] 汪小威. 基于Retinex亮度校正與感知對(duì)比度的圖像增強(qiáng)算法[J]. 電子測(cè)試與儀器學(xué)報(bào)，2018，32（6）：115-123.

[19] 李紅，吳煒，楊曉敏，等. 基于主特征提取的Retinex多譜段圖像增強(qiáng)[J]. 物理學(xué)報(bào)，2016，65（16）：1-16.

[20] LAND E H. Recent advances in Retinex theroy and some implications for cortical computations： color vision and the natural image[J]. Proceeding of the National Academy of Sciences，1983， 80（16）：5163-5169.

[21] 劉偉華，隋青美. 基于色調(diào)恒定的 MSR 圖像增強(qiáng)算法[J]. 光子學(xué)報(bào)，2011，40（4）：642-646.

[22] 肖進(jìn)勝，單姍姍，段鵬飛. 基于不同色彩空間融合的快速圖像增強(qiáng)算法[J]. 自動(dòng)化學(xué)報(bào)，2014， 40（4）：697-705.

[23] ROTARU C， GRAF T， ZHANG J. Color image segmentation in HSI space for automotive applications[J]. Journal of Real-Time Image Processing， 2008，3（4）：311-322.

[24] RAHMAN Z，JOBSON D J，WOODELL G A， et al. Image enhancement， image quality and noise [C]. Proceedings of SPIE - The International Society for Optical Engineering？，2005：5907.

[25] 聶超. 基于直方圖的高效圖像增強(qiáng)算法研究[D]. 杭州：杭州電子科技大學(xué)，2014.

[26] KIM Y， KOH Y J， LEE C， et al. Dark image enhancement based on pairwise target contrast and multi-scale detail boosting[C]. International Conference on Image Processing，2015：1404-1408.

[27] KARNIK N N， MENSEL J M. Introduction to Type-2 fuzzy logic systems[C]. World Congress on IEEE International Conference on Fuzzy Systems，2002：915-920.

（責(zé)任編輯：何 麗）