壓擴(kuò)多尺度Retinex圖像增強(qiáng)算法研究

劉明珠 蘇桃宇 王依寧

摘 要：在低照度條件下對(duì)人臉圖像進(jìn)行光照補(bǔ)償和利用帶色彩恢復(fù)的Retinex算法是傳統(tǒng)圖像增強(qiáng)算法中較為有效的一種。針對(duì)傳統(tǒng)的MSRCR算法在處理圖像后仍會(huì)產(chǎn)生清晰度低、細(xì)節(jié)模糊和色彩不飽滿等問(wèn)題。因此本文提出帶色彩恢復(fù)的壓擴(kuò)多尺度Retinex算法—CMSRCR，利用多彩色通道變曲變換函數(shù)及因子修正法，對(duì)低照度人臉圖像進(jìn)行圖像增強(qiáng)和色彩恢復(fù)。結(jié)果表明，CMSRCR算法能夠使低照度圖像在清晰度、細(xì)節(jié)和顏色恢復(fù)等方面都有明顯的改善。

關(guān)鍵詞：圖像增強(qiáng);低照度圖像;壓擴(kuò)變換;Retinex算法

DOI：10.15938/j.jhust.2020.05.013

中圖分類號(hào)： TN911.73

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2020）05-0093-07

Abstract：The Retinex algorithm for face image illumination compensation and color restoration is an effective one in the traditional image enhancement algorithm under the condition of low illumination. The traditional MSRCR algorithm can still produce some problems such as low sharpness， blurred details and incomplete color after image processing. Therefore， this paper proposes a compression expansion multi-scale Retinex algorithm with color recovery-CMSRCR， which uses multi-color channel bending transformation function and factor correction method to enhance and restore low-illumination face images. The results show that the CMSRCR algorithm can improve the sharpness， detail and color restoration of low illumination image.

Keywords：image enhancement; low illumination image; companding transform; Retinex algorithm

0 引 言

近年來(lái)，隨著科學(xué)技術(shù)高速發(fā)展，人機(jī)交互技術(shù)在許多領(lǐng)域得到了廣泛應(yīng)用，人臉識(shí)別技術(shù)也得到了越來(lái)越多的應(yīng)用[1-2]。但是在采集人臉圖像的過(guò)程中，光照是不可控因素，造成待識(shí)別的人臉圖像光照度低、對(duì)比度差，導(dǎo)致人臉識(shí)別系統(tǒng)識(shí)別率低。目前，解決低照度問(wèn)題的方法大致分為兩類，分別為空域增強(qiáng)方法和頻域增強(qiáng)方法[3-4]。前者是對(duì)像素的灰度值進(jìn)行修改以獲得增強(qiáng)的效果，后者利用增強(qiáng)算子調(diào)整圖像灰度級(jí)的分布使圖像得到增強(qiáng)[5-6]。

但空域增強(qiáng)方法計(jì)算量大，并且存儲(chǔ)量很大。頻域增強(qiáng)方法只是對(duì)圖像的全局進(jìn)行處理，卻無(wú)法將圖像的細(xì)節(jié)信息得到增強(qiáng)。為此，本文在研究傳統(tǒng)Retinex算法基礎(chǔ)上提出一種帶色彩恢復(fù)的壓擴(kuò)多尺度Retinex算法對(duì)低照度的人臉圖像進(jìn)行圖像增強(qiáng)，以利于圖像信息的有效識(shí)別。

1 RETINEX理論

1997年Jobson和Rahman提出基于中心/環(huán)繞的Retinex算法[7]，該算法又分為SSR、MSR以及MSRCR三種方法。由于此類算法計(jì)算速度快、圖像增強(qiáng)效果好、易于實(shí)現(xiàn)等優(yōu)點(diǎn)，所以被各個(gè)國(guó)家的學(xué)者們廣泛應(yīng)用于圖像增強(qiáng)處理。

1.1 單尺度Retinex算法

單尺度Retinex算法（SSR，Single-Scale Retinex）利用環(huán)繞函數(shù)和原圖像進(jìn)行卷積運(yùn)算得到圖像的入射分量，再將得到的入射分量從原圖像中剔除，從而得到原圖像的反射分量[8-10]。SSR算法的表達(dá)式如式（1）所示：

其中：i為單顏色通道，i∈（R，G，B），Ii（x，y）為第i通道的原圖像，Ri（x，y）為第i通道的反射分量，Li（x，y）為第i通道的入射分量，由F（x，y）和Ii（x，y）卷積得到。F（x，y）是由Hurlbert等提出的環(huán)繞函數(shù)[11]，K為歸一化因子，需要滿足條件式（2），即

在文[11]中，常量c為尺度參數(shù)，它的參數(shù)大小決定了圖像增強(qiáng)的程度，當(dāng)c值較大時(shí)，圖像的細(xì)節(jié)信息不突出，當(dāng)c較小時(shí)，圖像的色彩恢復(fù)較差，于是衍生出多尺度Retinex算法[12]。

1.2 多尺度Retinex算法

多尺度Retinex算法（MSR，multi-Scale Retinex）在本質(zhì)上來(lái)說(shuō)與單尺度Retinex算法是相同的，它其實(shí)是將多個(gè)不同尺度下的SSR輸出結(jié)果進(jìn)行加權(quán)求和。MSR算法表達(dá)式如式（3）所示：

其中：RMSRi為MSR算法的輸出圖像;i為單顏色通道，i∈（R，G，B）;ωn為加權(quán)值;N為尺度個(gè)數(shù)，通常令N=3。在實(shí)際應(yīng)用中，ωn取值為1/3，n∈（1，2，3），分別從小尺度（c<50），中尺度（50

1.3 帶色彩恢復(fù)的多尺度Retinex算法

為了改善多尺度Retinex算法的色彩保真度不足之處，Jobson等人提出了帶色彩恢復(fù)的多尺度Retinex算法（MSRCR，Multi-Scale Retinex with Color Restoration），該算法引入了一個(gè)色彩恢復(fù)因子Ci，用以修正MSR算法增強(qiáng)后的圖像[13-14]。色彩恢復(fù)因子Ci的計(jì)算公式如式（5）所示：

1.4 3種算法增強(qiáng)效果對(duì)比及分析

本文針對(duì)不同場(chǎng)景下的低照度圖像，對(duì)SSR、MSR、MSRCR 3種算法的增強(qiáng)效果進(jìn)行評(píng)價(jià)與分析。

2 帶色彩恢復(fù)的壓擴(kuò)多尺度算法—CMSRCR

雖然MSRCR算法可以對(duì)低照度的圖像有明顯的增強(qiáng)效果，但是在處理光照不均的圖像時(shí)，對(duì)光照的估計(jì)會(huì)產(chǎn)生偏差，導(dǎo)致增強(qiáng)后圖像的色彩不飽滿并導(dǎo)致光暈現(xiàn)象的產(chǎn)生，并且產(chǎn)生光暈的地方因?yàn)榇嬖诠鈺瀸?dǎo)致圖像的細(xì)節(jié)信息被遮掩，因此本文首先采用同態(tài)濾波對(duì)光照不均的圖像進(jìn)行校正，使其亮度均勻并可以增加圖像的對(duì)比度。

但是經(jīng)過(guò)上面的操作處理后，在通過(guò)MSRCR算法處理后，圖像的光暈現(xiàn)象得以改善，但是圖像中的灰化現(xiàn)象并沒(méi)有得到很好地改善，從式（5）可以看出，MSRCR算法在實(shí)現(xiàn)時(shí)，已經(jīng)做了個(gè)假設(shè)：即圖像的3個(gè)通道所占的各個(gè)比例接近1/3，這其實(shí)就是灰度假設(shè)[15]。這種方法會(huì)造成輸出的圖像偏暗，對(duì)比度不明顯。因此本文需要進(jìn)行第二次亮度校正。

1/r=min（1，6S-al+2/3）為圖像全局調(diào)整時(shí)伸縮曲線的彎曲程度，S-al的值為伸縮曲線的彎曲程度。S-al∈（0，118），S-al的值越小，伸縮曲線的彎曲程度就越大，暗區(qū)域所占的比重越大，圖像增強(qiáng)后，局部高亮現(xiàn)象會(huì)得到明顯改善。當(dāng)S-al值為0時(shí)，此時(shí)伸縮曲線的彎曲程度最大，明亮區(qū)域亮度減小，暗區(qū)域所占比重最大。當(dāng)S-al≥118時(shí)，1/r=1時(shí)，I′（x，y）=I（x，y），此時(shí)圖像沒(méi)有進(jìn)行任何調(diào)整，無(wú)變化。

又因MSRCR算法采用線性量化的方法，該算法首先計(jì)算出logR（x，y）的最大值Max和最小值Min，進(jìn)行線性伸縮，因此增強(qiáng)后的圖像色彩保真度差，效果不好。

所以，本文在某單通道內(nèi)圖像的線性拉伸的范圍為[Mini，Maxi]，通過(guò)計(jì)算得出的單通道均值為Ei，均方差為δi，該拉伸的范圍如式（9）所示：

其中i為單顏色通道，i∈（R，G，B），K為動(dòng)態(tài)調(diào)整因子，在本文里，將K設(shè)置為一個(gè)常數(shù)，若K取值小于1.96時(shí)，圖像的細(xì)節(jié)信息損失較為嚴(yán)重，如圖2（b）所示，圖2（b）中K取值為1.96，若K取值大于12.58時(shí)，圖像的對(duì)比度會(huì)降低，如圖2（d）所示，圖2（d）中K的值為2.58。因此經(jīng)過(guò)多次實(shí)驗(yàn)并結(jié)合動(dòng)態(tài)分布特性發(fā)現(xiàn)當(dāng)K取值在1.96～2.58時(shí)處理后的圖像細(xì)節(jié)信息較好，圖像清晰度增強(qiáng)，如圖2（c）所示，圖2（c）中K的取值為2.3。不同K值所對(duì)應(yīng)的圖像如圖2所示。

通過(guò)觀察這四幅圖像可以發(fā)現(xiàn)，圖4中原圖像1經(jīng)MSRCR算法增強(qiáng)后圖像的亮度得到明顯的增強(qiáng)，但人物頭部的亮度過(guò)于增大使腦部的細(xì)紋不清晰，而CMSRCR算法明顯可以看到人物頭部的細(xì)紋，光照強(qiáng)度相比MSRCR得到明顯改善。圖5中原圖像經(jīng)過(guò)MSRCR算法增強(qiáng)后，馬路中的細(xì)紋和大廈內(nèi)的窗戶相比原圖像2清晰可見(jiàn)，但是和CMSRCR算法處理過(guò)的圖像相比，大廈窗戶細(xì)節(jié)顯得較為模糊，說(shuō)明CMSRCR算法處理后的圖像細(xì)節(jié)較為清晰，圖6中原圖像經(jīng)過(guò)MSRCR算法處理后明顯可以看到轎車、樹(shù)葉和窗框的輪廓，但是CMSRCR算法處理后的圖像轎車和窗框的細(xì)節(jié)得到明顯的增加。圖7的原圖像經(jīng)MSRCR算法處理后的圖像亮度得到明顯增強(qiáng)，但色彩飽和度差，經(jīng)CMSRCR算法處理后的圖像通過(guò)觀察色彩飽和度明顯高度MSRCR算法。圖8中的原圖像呈現(xiàn)圖像光照度自左至右圖像亮度逐漸降低，經(jīng)過(guò)MSRCR 算法增強(qiáng)后，圖像的亮度明顯得到提高，色彩也得到了明顯的恢復(fù)，但是增強(qiáng)后圖像光照強(qiáng)度也是從左至右明顯降低，色彩恢復(fù)度從左至有也是越來(lái)越好，經(jīng)CMSRCR算法處理后的圖像色彩恢復(fù)度和光照強(qiáng)度沒(méi)有發(fā)生漸變現(xiàn)象，增強(qiáng)后圖像的亮度和色彩恢復(fù)度趨于穩(wěn)定。

表1、2、3、4為MSRCR算法和CMSRCR算法同時(shí)對(duì)原圖像1、2、3、4、5幅原圖像進(jìn)行圖像增強(qiáng)處理后的圖像客觀質(zhì)量評(píng)價(jià)指標(biāo)，該評(píng)價(jià)指標(biāo)將從增強(qiáng)后圖像的均值（mean2）、標(biāo)準(zhǔn)差（var）、平均梯度（gradient）和信息熵（entropy）四項(xiàng)標(biāo)準(zhǔn)對(duì)算法進(jìn)行評(píng)價(jià)[19-20]。均值的大小表明了圖像包含亮度信息的多少，圖像的亮度越大說(shuō)明圖像的均值越大，反之越小。標(biāo)準(zhǔn)差的大小表明了圖像包含細(xì)節(jié)信息的多少，標(biāo)準(zhǔn)差越大說(shuō)明圖像的細(xì)節(jié)越突出，反之圖像的細(xì)節(jié)越不明顯。信息熵表明了圖像包含的信息多少，信息熵越大說(shuō)明圖像所包含的信息越多，圖像質(zhì)量越好，反之圖像所包含的信息就越少，圖像質(zhì)量越差。平方梯度的大小表明了圖像清晰程度的好壞，平方梯度越大說(shuō)明圖像的清晰度越好，反之圖像的清晰度越差。

從表1可以看到經(jīng)兩種算法處理后的圖像均都大于原圖像均值，說(shuō)明兩種算法在提高圖像亮度方面有很好的效果。但結(jié)合表1可以看出本文CMSRCR算法的圖像均值小于MSRCR算法的圖像均值，再結(jié)合圖4～圖8說(shuō)明通過(guò)本文CMSRCR算法增強(qiáng)后的圖像亮度更接近真實(shí)亮度。

從表2可以看到兩種算法處理后的標(biāo)準(zhǔn)差信息較高于原圖像的標(biāo)準(zhǔn)差信息，說(shuō)明增強(qiáng)后圖像的細(xì)節(jié)信息比原圖像好。而本文CMSRCR算法處理的原圖像1標(biāo)準(zhǔn)差數(shù)值大于MSRCR算法的標(biāo)準(zhǔn)差25.80%，CMSRCR算法處理的原圖像2標(biāo)準(zhǔn)差數(shù)值大于MSRCR算法的標(biāo)準(zhǔn)差9.50%，CMSRCR算法處理的原圖像3標(biāo)準(zhǔn)差數(shù)值大于MSRCR算法的標(biāo)準(zhǔn)差19.49%，CMSRCR算法處理的原圖像4標(biāo)準(zhǔn)差數(shù)值大于MSRCR算法的標(biāo)準(zhǔn)差11.76%，CMSRCR算法處理的原圖像5標(biāo)準(zhǔn)差數(shù)值大于MSRCR算法的標(biāo)準(zhǔn)差23.54%。通過(guò)這5個(gè)數(shù)值說(shuō)明本文CMSRCR處理后圖像細(xì)節(jié)比MSRCR更突出。

從表3可以看到兩種算法進(jìn)行圖像處理后的平均梯度略高于原圖像，說(shuō)明兩種算法可以提高圖像的清晰度。本文CMSRCR算法處理圖像后的平方梯度值分別比MSRCR算法圖像處理后數(shù)值高12.57%、28.46%、7.22%、13.51%和15.51%。通過(guò)以上數(shù)值可以說(shuō)明在提高圖像清晰度方面本文CMSRCR算法較MSRCR算法加好。

從表4可以看到兩種算法圖像處理后的信息熵?cái)?shù)值高于原圖像，說(shuō)明兩種算法處理后圖像質(zhì)量比原圖像好。本文CMSRCR算法對(duì)5幅圖像進(jìn)行處理后的信息熵值分別高于MSRCR算法10.99%、9.76%、9.36%、17.57%和14.86%，再結(jié)合圖4～圖8說(shuō)明說(shuō)明本文CMSRCR算法在色彩恢復(fù)方面比MSRCR算法好。

為了評(píng)價(jià)算法的魯棒性，本文統(tǒng)計(jì)了200幅低照度圖像，表5為MSRCR算法和CMSRCR算法對(duì)200幅低照度圖像處理結(jié)果的客觀評(píng)價(jià)參數(shù)，從表中可以看出本文算法在圖像的亮度方面比MSRCR算法要低，說(shuō)明本文算法有效的降低了亮度信息;從標(biāo)準(zhǔn)差、平方梯度和信息熵可以看出，本文算法的參數(shù)數(shù)值比MSRCR算法的數(shù)值較大，說(shuō)明本文算法處理后的圖像的細(xì)節(jié)信息和清晰度和色彩恢復(fù)方面都比MSRCR算法要好。

4 結(jié) 論

本文提出帶色彩恢復(fù)的壓擴(kuò)多尺度Retinex算法—CMSRCR，實(shí)現(xiàn)對(duì)傳統(tǒng)MSRCR算法的顏色恢復(fù)、清晰度和細(xì)節(jié)方面改進(jìn)，并將結(jié)果與傳統(tǒng)的MSRCR算法進(jìn)行比較，證明本文所提出的CMSRCR算法在增強(qiáng)后圖像的清晰度、細(xì)節(jié)和顏色恢復(fù)等方面較MSRCR算法都有明顯的改善。

參 考 文 獻(xiàn)：

[1] 李佳妮， 張寶華. 特征匹配融合結(jié)合改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別[J]. 激光與光電子學(xué)進(jìn)展， 2018， 55（10）： 246.

LI Jiani， ZHANG Baohua. Face Recognition by Feature Matching Fusion Combined with Improved Convolutional Neural Network[J]. Laser& Optoelectronics Progress， 2018， 55（10）： 246.

[2] 羅浩， 仲佳嘉， 李祥. 基于改進(jìn)多尺度Retinex的單幅彩色圖像增強(qiáng)算法[J]. 吉林大學(xué)學(xué)報(bào)（理學(xué)版）， 2019， 57（2）： 369.

LUO Hao， ZHONG Jiajia， LI Xiang. Single Color Image Enhancement Algorithm Based on Improved Multi-scale Retinex[J]. Journal of Jilin University（Science Edition） ， 2019， 57（2）： 369.

[3] 張雪峰， 趙莉. 基于改進(jìn)Retinex的圖像增強(qiáng)算法[J]. 南京理工大學(xué)學(xué)報(bào)， 2016， 40（1）：24.

ZHANG Xuefeng， ZHAO Li. Image Enhancement Algorithm Based on Improved Retinex[J].Journal of Nanjing University of Science and Technology， 2016， 40（1）： 24.

[4] 劉洋， 張杰， 張慧. 一種改進(jìn)的Retinex算法在圖像去霧中的研究與應(yīng)用[J]. 計(jì)算機(jī)科學(xué)，2018，45（1）：242.

LIU Yang， ZHANG Jie， ZHANG Hui. Study and Application of Improved Retinex Algorithm in Image Defogging[J]. Computer Science， 2018， 45（1）： 242.

[5] 林寶棟， 唐貴進(jìn)， 干宗良， 等. 基于對(duì)數(shù)圖像處理模型的低照度圖像增強(qiáng)算法[J]. 南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2017， 37（2）： 98.

LIN Baodong， TANG Gujin， GAN Zongliang， et al. Enhancement Algorithm for Low Illumination Images Based on LIP Model[J]. Journal of Nanjing University of Posts and Telecommunications（Natural Science Edition） . 2017， 37（2）： 98.

[6] 智寧， 毛善君， 李梅. 基于相對(duì)梯度正則化的Retinex變分模型及其應(yīng)用[J]. 通信學(xué)報(bào)， 2017， 38（11）：65.

ZHI Ning， MAO Shan-jun， LI Mei. Variational Retinex Model Based on an Extension of TV Regularization with Relative Gradient and Its Application[J]. Journal on Communications， 2017， 38（11）： 65.

[7] JOBSON D J， RAHMAN Z， WOODELL G A. Properties and Performance of a Center/surround Retinex[J]. in IEEE Transactions on Image Processing， 1997（3）： 451.

[8] 趙斌紅， 馬帥. 自適應(yīng)的低照度圖像增強(qiáng)變分模型[J/OL]. 計(jì)算機(jī)工程與應(yīng)用： 2019，4（10）：1.

ZHAO Binhong， MA Shuai. Adaptive Variational Model for Low Light Image Enhancement[J/OL]. Computer Engineering and Applications， 2019， 4（10）： 1.

[9] 何春， 宋國(guó)琴. 基于MSRCR理論的算法實(shí)現(xiàn)[J]. 智能計(jì)算機(jī)與應(yīng)用， 2017， 7（3）：114.

HE Chun， SONG Guoqin. An Algorithm Based on MSRCR[J]. Intelligent Computer and Applications， 2017， 7（3）： 114.

[10]雷飛， 朱林， 王雪麗. 改進(jìn)多尺度Retinex色彩灰度的水下彩色圖像研究[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2018， 39（1）： 185.

LEI Fei， ZHU Lin， WANG Xue-li. Improved Multi Scale Retinex Enhancement Technology on Color Underwater Image[J]. Journal of Chinese Mini-Micro Computer Systems， 2018， 39（1）： 185.

[11]HURLBERT A. Formal Connections Between Lightness Algorithms[J]. Journal of the Optical Society of America， 1986， 3（10）： 1684.

[12]RAHMAN Z， JOBSON D J， WOODELL G A. Multi-scale Retinex for Color Image Enhancement. Proceedings of 3rd IEEE International Conference on Image Processing， Lausanne， Switzerland， 1996（3）： 1003.

[13]JOBSON D J， RAHMAN Z， WOODELL G A. A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes. IEEE Transactions on Image Processing， 1997（6）： 965.

[14]魏海鋒. 基于Retinex的彩色圖像増強(qiáng)算法研究[D]. 安徽大學(xué)， 2015.

[15]李毅， 張?jiān)品澹?年輪等. 尺度變化的Retinex紅外圖像增強(qiáng)[J]. 液晶與顯示， 2016， 31（1）：104.

LI Yi， ZHANG Yunfeng， NIAN Lun， et al. Infrared Image Enhancement Method Based on Scale Varies Retinex Theory[J]. Chinese Journal of Liquid Crystals and Displays， 2016， 31（1）： 104.

[16]韓磊， 曲中水. 一種RGB模型彩色圖像增強(qiáng)方法[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2014， 19（6）：59.

HAN Lei， QU Zhongshui. A Kind of Enhancement Method of Color Image Based on RGB Color Model[J]. Journal of Harbin University of Science and Technology， 2014， 19（6）： 59.

[17]肖進(jìn)勝， 單姍姍， 段鵬飛， 等.基于不同色彩空間融合的快速圖像增強(qiáng)算法[J]. 自動(dòng)化學(xué)報(bào)， 2014， 40（4）： 697.

XIAO Jinsheng， SHAN Shanshan， DUAN Pengfei， et al. A Fast Image Enhancement Algorithm Based on Fusion of Different Color Spaces[J]. Journal of Automatica Sinica， 2014， 40（4）： 697.

[18]曲中水， 佀鐵強(qiáng).一種彩色圖像質(zhì)量客觀評(píng)價(jià)方法[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2013， 18（6）： 80.

QU Zhongshui， SI Tieqian. A Kind of Method of Color Image Quality Assessment[J].Journal of Harbin University of Science and Technology， 2013， 18（6）： 80.

[19]金佩芬， 秦富貞. 基于改進(jìn)Retinex算法的紅外圖像增強(qiáng)處理[J]. 激光雜志， 2016， 37（7）：43.

JIN Peifen， QIN Fuzhe. Infrared Image Enhancement Processing Based on Improved Retinex Algorithm[J]. Laser Journal， 2016， 37（7）： 43.

[20]任榮， 張小伍. 改進(jìn)Retinex在紅外圖像增強(qiáng)中的應(yīng)用[J]. 激光雜志， 2016， 37（8）： 93.

REN Rong， ZHANG Xiaowu. Application of Improved Retinex in Infrared Image Enhancement[J]. Laser Journal， 2016， 37（8）： 93.

（編輯：王 萍）