一種基于多尺度Retinex的夜間圖像增強(qiáng)算法

牛志忠 楊坤

摘? 要：現(xiàn)有的夜間圖像增強(qiáng)算法存在著圖像對(duì)比度過(guò)高和暗區(qū)細(xì)節(jié)不佳的情況。因此，文章提出了一種基于多尺度Retinex（MSR）的夜間圖像增強(qiáng)方法，首先通過(guò)對(duì)圖像進(jìn)行MSR增強(qiáng)，將增強(qiáng)后的圖像轉(zhuǎn)換到Y(jié)UV色彩空間，對(duì)Y通道進(jìn)行伽馬變換。實(shí)驗(yàn)表明，與傳統(tǒng)的MSR方法對(duì)比，改進(jìn)后的算法能夠很好地提高圖像的對(duì)比度，改進(jìn)暗區(qū)的細(xì)節(jié)表現(xiàn)，具有很好的視覺(jué)效果。

關(guān)鍵詞：夜間圖像增強(qiáng);Retinex算法;YUV顏色空間

中圖分類(lèi)號(hào)：TP391.41? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）17-0066-04

Abstract：The existing night image enhancement algorithms have the problems of high image contrast and poor dark area details. Therefore，a night image enhancement method based on multi-scale Retinex （MSR） is proposed. Firstly，the image is enhanced by MSR，transforming the enhanced image into YUV color space，and using the gamma conversion to transformed Y channel. The experimental results show that compared with the traditional MSR method，the improved algorithm can improve the contrast of the image，improve the detail performance of the dark area，and has a good visual effect.

Keywords：night image enhancement;Retinex algorithm;YUV color space

0? 引? 言

近年來(lái)，隨著城市化的進(jìn)程和車(chē)輛的增多，夜間交通事故也時(shí)有發(fā)生，對(duì)肇事車(chē)輛的識(shí)別存在著曝光過(guò)度或者光線(xiàn)不足而導(dǎo)致無(wú)法辨認(rèn)車(chē)輛的問(wèn)題，從而對(duì)廣大人民的生命和財(cái)產(chǎn)造成極大的傷害。夜間圖像自然光線(xiàn)較少，并且摻雜著各種光線(xiàn)，容易導(dǎo)致圖像質(zhì)量差，整體亮度偏低，光線(xiàn)強(qiáng)度不一;圖像亮度集中在較低或較高的范圍內(nèi)，對(duì)比度低，細(xì)節(jié)少。當(dāng)前針對(duì)圖像增強(qiáng)的算法有直方圖均值化的增強(qiáng)算法[1，2]、圖像融合算法[3]、單尺度Retinex算法及其改進(jìn)算法[4]、多尺度Retinex算法及其改進(jìn)算法[5，6]，以上算法對(duì)于夜間圖像的增強(qiáng)都有一些效果，但是未能很好地解決因光線(xiàn)不足、夜間圖像過(guò)曝等因素導(dǎo)致的細(xì)節(jié)不足、對(duì)比度差、圖像過(guò)白等問(wèn)題。

為了能夠?yàn)楹罄m(xù)夜間場(chǎng)景下的車(chē)牌識(shí)別提供幫助，提高圖像的可用價(jià)值，針對(duì)以上問(wèn)題進(jìn)行優(yōu)化，本文對(duì)MSR算法進(jìn)行改進(jìn)，提出了一種將圖像轉(zhuǎn)換到Y(jié)UV色彩空間進(jìn)行伽馬增強(qiáng)的MSR算法。通過(guò)實(shí)驗(yàn)證明，該方法能夠在亮度、對(duì)比度、暗區(qū)細(xì)節(jié)方面優(yōu)于傳統(tǒng)算法，對(duì)夜間場(chǎng)景下的車(chē)牌識(shí)別的研究具體很強(qiáng)的參考價(jià)值和使用意義。

1? Retinex理論

Retinex理論[7]是由E.Land在1963年提出的一種顏色恒常性的計(jì)算理論，他主要闡述了物體的顏色是由物體對(duì)不同波長(zhǎng)的反射能力所決定的，與外界的反射光的強(qiáng)度無(wú)關(guān)，不會(huì)受到光照不均勻等因素的影響，始終保持一致性。因此，可以認(rèn)為我們看到的圖像是物體本身的顏色R（x，y）和外界光L（x，y）的乘積，物體接受了外界光，反射到觀察者眼里或者圖像采集設(shè)備中的圖像S（x，y），則有式（1）：

Retinex理論的實(shí)質(zhì)就是為獲得夜間圖像的真實(shí)色彩，通過(guò)對(duì)夜間圖像去除外界干擾的操作得到物體原本圖像的真實(shí)信息。由于人的視覺(jué)系統(tǒng)更適應(yīng)對(duì)數(shù)函數(shù)曲線(xiàn)[8]，加上加法運(yùn)算的復(fù)雜度要低于乘法運(yùn)算，所以將兩端取對(duì)數(shù)，得到式（2）、式（3）：

這里的r（x，y）表示取對(duì)數(shù)后的物體原本的色彩。

物體原本的顏色：

已知觀察到的圖像S（x，y），若要計(jì)算出r（x，y）就要知道L（x，y），通過(guò)觀察圖像S（x，y）與高斯濾波器F（x，y）卷積則可以計(jì)算出L（x，y），計(jì)算公式如下：

其中，F(xiàn)（x，y）服從二元正態(tài)分布，且隨機(jī)變量獨(dú)立，期望為0，標(biāo)準(zhǔn)差均為σ，則有：

實(shí)驗(yàn)表明，不同的標(biāo)準(zhǔn)差會(huì)直接影響到圖像的增強(qiáng)效果，通常標(biāo)準(zhǔn)差較小的時(shí)候，能夠較好地獲取到圖像的邊緣信息，但是會(huì)丟失色彩信息;標(biāo)準(zhǔn)差較大的時(shí)候，能夠較好地保留色彩信息，但是圖像邊緣信息、對(duì)比度不夠[3]。因此，單尺度Retinex算法（SSR）則無(wú)法滿(mǎn)足實(shí)際的需求。研究人員提出了多尺度Retinex算法（MSR），在單尺度Retinex算法的基礎(chǔ)上增加多個(gè)不同尺度的單尺度Retinex算法加權(quán)平均，這樣能夠很好地解決圖像邊緣信息、對(duì)比度、色彩信息的問(wèn)題，但是計(jì)算成倍增加。為兼顧不同尺度的優(yōu)缺點(diǎn)，一般取小、中、大不同尺度的SSR算法加權(quán)平均，如下：

2? 夜間圖像增強(qiáng)算法流程

作者研究的算法首先對(duì)夜間圖像進(jìn)行三個(gè)不同尺度的Retinex算法加權(quán)，將圖像由RGB色彩空間轉(zhuǎn)換到Y(jié)UV色彩空間，對(duì)其中的Y（亮度）分量進(jìn)行伽馬變換，最后將圖像還原到RGB色彩空間，得到增強(qiáng)后的圖像，流程如圖1所示。

2.1? MSR圖像增強(qiáng)算法

本文采用了三個(gè)尺度標(biāo)準(zhǔn)差為5、80、200的三個(gè)尺度的SSR算法，以權(quán)重為? 、 、 ，運(yùn)用式（8）可得：

2.2? 色彩空間轉(zhuǎn)換

YUV色彩空間是最早的電視信號(hào)采用的顏色編碼形式，其中Y表示亮度，U、V表示色度，這種編碼形式使得亮度和色度分開(kāi)，避免互相干擾的情況，具有降低圖像亮度對(duì)色度沒(méi)有任何影響的特性，因此在夜間場(chǎng)景下燈光亮度不均勻的情況下，YUV色彩空間特別適合夜間場(chǎng)景圖像的表示，YUV轉(zhuǎn)換到RGB色彩空間的公式：

RGB轉(zhuǎn)換到Y(jié)UV色彩空間的公式：

2.3? 對(duì)Y通道增強(qiáng)

介于Y通道的改變不改變圖像色度的特點(diǎn)，本文通過(guò)伽馬變換的方式對(duì)Y亮度通道中暗區(qū)進(jìn)行增強(qiáng)，對(duì)過(guò)白區(qū)域進(jìn)行壓縮，以提高夜間圖像的對(duì)比度，降低過(guò)白、偏暗現(xiàn)象對(duì)圖像的影響，公式如下：

其中，r為輸入的灰度值，一般取值在[0，1]，C為縮放系數(shù)，這里取1。

當(dāng)γ∈（0，1）時(shí)，對(duì)灰度低的區(qū)域進(jìn)行拉伸，對(duì)灰度高的區(qū)域進(jìn)行壓縮;當(dāng)γ>1時(shí)，對(duì)灰度低區(qū)域進(jìn)行壓縮，對(duì)灰度高的區(qū)域進(jìn)行拉伸;當(dāng)γ=1時(shí)，不改變?cè)瓐D像，本文取γ=0.4。

3? 實(shí)驗(yàn)分析

因?yàn)闊艄鈼l件不佳環(huán)境下的停車(chē)場(chǎng)與夜間場(chǎng)景有很多相似之處，作者因此選取了兩幅停車(chē)場(chǎng)環(huán)境的圖片作為夜間場(chǎng)景的圖片為例，用MATLAB 7.1進(jìn)行仿真實(shí)驗(yàn)，類(lèi)似圖2（a）幾乎全黑的圖片，整體的亮度較低，對(duì)比度差，細(xì)節(jié)嚴(yán)重不足，通過(guò)原圖不能夠觀察到車(chē)輛信息;類(lèi)似圖3（a）背景很明亮而目標(biāo)整體亮底偏暗，當(dāng)前目標(biāo)信息不清晰。將分別使用HE算法、MSR算法和本文算法的圖片進(jìn)行對(duì)比，對(duì)比結(jié)果如圖2～3所示。

3.1? 主觀評(píng)價(jià)

主觀來(lái)看，圖2原圖很難看到任何細(xì)節(jié)，圖2（b）、圖2（c）能夠顯示出目標(biāo)，但是周?chē)蓴_較大，本文的方法能夠很好地顯示出目標(biāo)以及周?chē)h(huán)境的細(xì)節(jié)，對(duì)比度表現(xiàn)適中，但整體亮度低于圖2（b）、圖2（c）;圖3原圖中在燈光下的車(chē)輛完全看不清車(chē)輛信息，背景燈光很亮，圖像整體出現(xiàn)過(guò)亮和過(guò)暗的現(xiàn)象，圖3（b）中圖像的亮度較高，但是遠(yuǎn)處車(chē)輛的細(xì)節(jié)缺失嚴(yán)重，本文方法能夠在兼顧亮度的情況下提高車(chē)輛的細(xì)節(jié)以及周邊環(huán)境的細(xì)節(jié)，因此，從圖2、圖3中的各圖對(duì)比可以看出，本文算法能夠明顯提高整體圖像偏暗和圖像中出現(xiàn)過(guò)白、過(guò)暗現(xiàn)象的場(chǎng)景下的紋理特征和細(xì)節(jié)表現(xiàn)。

3.2? 客觀評(píng)價(jià)

從客觀數(shù)據(jù)來(lái)比較，本文選取了平均亮度、平均對(duì)比度、峰值信噪比（PSNR）、信息熵四個(gè)指標(biāo)進(jìn)行對(duì)比，平均亮度反映了圖像的整體的亮度和明暗程度，其均值越大，圖像越亮，在夜間增強(qiáng)上，平均亮度的提高能夠提升圖像的整體視覺(jué)效果。平均對(duì)比度能在一定程度上反映圖像的黑白反差，反映圖像的細(xì)節(jié)表現(xiàn)。峰值信噪比表示到達(dá)噪音比率的頂點(diǎn)信號(hào)，一般情況，數(shù)值越大表示圖像質(zhì)量越好。信息熵是圖像具有信息量的度量，圖像的信息熵越大，圖像所包含的信息就越多，細(xì)節(jié)就越多。將圖像歸一化后各項(xiàng)指標(biāo)如表1、表2所示。

通過(guò)實(shí)驗(yàn)結(jié)果表明，本文算法較HE算法和MSR算法在平均亮度、對(duì)比度方面能夠保持適中的亮度和很好的圖像對(duì)比度，不至于出現(xiàn)過(guò)白的情況，在峰值信噪比和信息熵上面相較對(duì)比的算法也有較大的提升，在一定程度上能夠提高圖像在類(lèi)似地下停車(chē)場(chǎng)光線(xiàn)不足的場(chǎng)景下的圖像質(zhì)量。

4? 結(jié)? 論

本文探究了一種基于多尺度Retinex的夜間圖像增強(qiáng)算法，該算法在原有的MSR算法的基礎(chǔ)上，通過(guò)對(duì)YUV色彩空間中的Y分量進(jìn)行伽馬變換進(jìn)一步地增強(qiáng)圖像。通過(guò)以上實(shí)驗(yàn)表明，與經(jīng)典的MSR算法對(duì)比，該算法能夠增強(qiáng)夜間場(chǎng)景下圖像的對(duì)比度、紋理特征和細(xì)節(jié)表現(xiàn)，能為夜間場(chǎng)景下的圖像增強(qiáng)、圖像識(shí)別的應(yīng)用提供參考和幫助。

參考文獻(xiàn)：

[1] OOI C H，KONG N S P，IBRAHIM H. Bi-histogram equalization with a plateau limit for digital image enhancement [J]. IEEE Trans. Consumer Electronics，2009，55（4）：2072-2080.

[2] SINGH K，KAPOOR R. Image enhancement using Exposure based Sub Image Histogram Equalization [J]. Pattern Recognition Letters，2014，36：10-14.

[3] ZOTIN A. Fast Algorithm of Image Enhancement based on Multi-Scale Retinex [J]. Procedia Computer Science，2018，131：6-14.

[4] LAND E H. An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision [J]. Proceedings of the National Academy of Sciences of the United States of America，1986，83（10）：3078-3080.

[5] JOBSON D J，RAHMAN Z，WOODELL G A. Properties and performance of a center/surround retinex [J]. IEEE transactions on image processing：a publication of the IEEE Signal Processing Society，1997，6（3）：451-462.

[6] JOBSON D J，RAHMAN Z，WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE transactions on image processing：a publication of the IEEE Signal Processing Society，1997，6（7）：965-976.

[7] LAND E H. The retinex theory of color vision [J]. Scientific American，1977，237（6）：108-128.

[8] 陶穎.基于Retinex的夜間彩色圖像增強(qiáng)技術(shù)的研究 [D].長(zhǎng)春：長(zhǎng)春理工大學(xué)，2018.

作者簡(jiǎn)介：牛志忠（1987—），男，漢族，江蘇淮安人，碩士研究生，助教，研究方向：圖像處理、模式識(shí)別;楊坤（1987—），男，穿青人，貴州織金人，碩士研究生，講師，研究方向：圖像處理、模式識(shí)別。