HSV空間的多尺度Retinex低照?qǐng)D像增強(qiáng)

唐 超

（廣州科技職業(yè)技術(shù)大學(xué)信息工程學(xué)院，廣州 510550）

0 引言

圖像增強(qiáng)的目的在于提升圖像的視覺(jué)效果，突出人們感興趣或者重要的部分，發(fā)掘圖像的有效信息。最初的低照?qǐng)D像增強(qiáng)方法為統(tǒng)一提升圖像的亮度，但是部分亮度較高的區(qū)域會(huì)產(chǎn)生過(guò)增強(qiáng)；直方圖均衡化以拉伸圖像的像素動(dòng)態(tài)范圍提升圖像的對(duì)比度；但是對(duì)于部分圖像會(huì)產(chǎn)生失真效果。基于Retinex 理論的增強(qiáng)方法［1-3］將圖像分解為光照?qǐng)D像和反射圖像兩部分，對(duì)光照?qǐng)D像進(jìn)行增強(qiáng)處理以提升圖像的亮度。Wang等［4］設(shè)計(jì)了亮通濾波器以用于Retinex 分解，設(shè)法在保持圖像自然度的同時(shí)增強(qiáng)低照?qǐng)D像的細(xì)節(jié)。Fu等［5］使用Sigmoid函數(shù)和自適應(yīng)直方圖均衡化對(duì)光照?qǐng)D像進(jìn)行增強(qiáng)。但是其對(duì)多種增強(qiáng)技術(shù)的融合缺乏魯棒性，難以適用于性質(zhì)不同的圖像。Guo 等［6］用R、G和B通道中的最大值作為光照?qǐng)D像的像素估計(jì)值，在初始光照?qǐng)D上施加1 個(gè)先驗(yàn)結(jié)構(gòu)來(lái)改善初始光照?qǐng)D?；隰敯舻腞etinex模型，Ren等［7］提出一種序列算法以估計(jì)分段光滑的光照?qǐng)D像和去噪的反射圖像，以增強(qiáng)低照?qǐng)D像。為提高低照?qǐng)D像的對(duì)比度和消除光暈偽影，王彥林等［8］設(shè)計(jì)一個(gè)由全局照度、局部照度和反射率乘積構(gòu)成的改進(jìn)成像模型。但是其對(duì)全局照度、局部照度和反射率進(jìn)行伽瑪校正的伽瑪因子缺乏理論依據(jù)。黃麗雯等［9］提出混合空間的增強(qiáng)方法，以增強(qiáng)低照?qǐng)D像的邊緣和細(xì)節(jié)。Li等［10］用?1范數(shù)約束光照的分段平滑度，采用保真度項(xiàng)增強(qiáng)反射圖像的結(jié)構(gòu)細(xì)節(jié)。Wang等［11］提出一種吸收光散射模型，該模型能夠從低照?qǐng)D像中再現(xiàn)隱藏的輪廓和細(xì)節(jié)。由于成像的硬件條件和環(huán)境條件較復(fù)雜，所提出的模型未必適用于性質(zhì)不同的各種圖像。為了在圖像增強(qiáng)中有效地恢復(fù)低照區(qū)域的細(xì)節(jié)，Wang 等［12］在神經(jīng)網(wǎng)絡(luò)中引入中間光照?qǐng)D像，將輸入圖像與預(yù)期的增強(qiáng)圖像進(jìn)行關(guān)聯(lián)，訓(xùn)練網(wǎng)絡(luò)使其有效地學(xué)習(xí)豐富多樣的光照條件。李志海等［13］對(duì)圖像的細(xì)節(jié)圖像和基礎(chǔ)圖像分別構(gòu)造增益系數(shù)，以解決增強(qiáng)過(guò)程中存在的光暈偽影和低對(duì)比度問(wèn)題，但是其對(duì)圖像的色調(diào)分量和飽和度分量進(jìn)行空域?yàn)V波，會(huì)破壞圖像的自然度，引入失真的效果。Gu等［14］將分?jǐn)?shù)階變分模型應(yīng)用于光照?qǐng)D像和反射圖像。黃慧等［15］結(jié)合平滑聚類(lèi)和改進(jìn)的Retinex 算法將圖像分解為基礎(chǔ)層和細(xì)節(jié)層，根據(jù)局部一致性?xún)?yōu)化光照?qǐng)D像。張江鑫等［16］用多尺度Retinex 算法和指數(shù)變換對(duì)圖像的高頻成分進(jìn)行增強(qiáng)，而線(xiàn)性拉伸低頻成分。這些方法在一定程度上改善了圖像的光照條件，提升圖像的對(duì)比度，但在一定程度上也引入了失真效果，破壞了圖像的自然效果。

為了在提升低照?qǐng)D像的光照條件的同時(shí)，提升對(duì)比度和保持圖像的自然效果，本文提出了HSV空間的多尺度Retinex 低照?qǐng)D像增強(qiáng)方法（Low Illumination Image Enhancement Based on Multiscale Retinex in HSV Space，IEMRH）。在HSV空間中，將圖像的明度分量V進(jìn)行多尺度分解，分別對(duì)其光照?qǐng)D像進(jìn)行指數(shù)矯正，然后將增強(qiáng)后的各尺度明度分量的均值圖像作為增強(qiáng)的明度分量V′，與色相分量H和飽和度分量S進(jìn)行重組得到最后的增強(qiáng)圖像。

1 HSV色彩空間

RGB顏色空間用紅色（R）、綠色（G）和藍(lán)色（B）3通道表示1 張圖像，用3 個(gè)顏色分量的線(xiàn)性組合來(lái)表示顏色。但是3 個(gè)顏色分量都與亮度密切相關(guān)，皆隨亮度的改變而改變，因此，RGB 顏色空間是1 種均勻性較差的顏色空間，適合于顯示系統(tǒng)，但不適合于圖像處理。

HSV色彩空間直觀地表達(dá)了顏色的色調(diào)、鮮艷程度和明暗程度，便于顏色的對(duì)比。HSV 表達(dá)彩色圖像的方式由3 個(gè)部分組成：Hue（色調(diào)），Saturation（飽和度）和Value（明度）。色相決定色彩偏向于紅、綠、藍(lán)的哪一方，低色調(diào)偏向紅色，中色調(diào)偏向于綠色，高色調(diào)偏向于藍(lán)色。飽和度決定顏色空間中顏色分量，飽和度越高，顏色越深，飽和度越低，說(shuō)明顏色越淺。明度決定顏色空間中顏色的明暗程度，明度越高，表示顏色越明亮鮮艷，明度起到控制RGB組合色明暗程度的作用。RGB空間轉(zhuǎn)為HSV空間的定義為［17］：

式中，R、G和B分別表示RGB圖像的紅、綠、藍(lán)3 通道圖像，其取值范圍為［0，255］。

2 Retinex理論

Retinex理論的基本內(nèi)容為：物體的顏色由物體對(duì)長(zhǎng)波（紅）、中波（綠）和短波（藍(lán)）光線(xiàn)的反射能力決定，而不是由反射光強(qiáng)度的絕對(duì)值決定。物體色彩不受光照非均勻性的影響，具有一致性，即Retinex 以色感一致性（顏色恒常性）為基礎(chǔ)［18］。Retinex 可以在動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常三個(gè)方面達(dá)到平衡，可以對(duì)各種不同類(lèi)型的圖像進(jìn)行自適應(yīng)的增強(qiáng)。

Retinex模型是根據(jù)人類(lèi)視覺(jué)感知系統(tǒng)提出的圖像分解方法，認(rèn)為圖像I可由光照?qǐng)D像L和反射圖像R兩部分組成：

光照?qǐng)D像L可用低通濾波器對(duì)圖像進(jìn)行濾波而得到；而反射圖像通過(guò)對(duì)數(shù)變換得到，

一般地，低通濾波器采用用高斯函數(shù)

式中，x和y為對(duì)應(yīng)的空間坐標(biāo)。低通濾波的效果取決于濾波器的大小，即濾波鄰域的大小。鄰域越大，濾波效果越模糊，去除的紋理和細(xì)節(jié)越多。用鄰域大小為17 ×17 的高斯濾波作為Retinex 的低通濾波器，對(duì)圖像4（a）進(jìn)行Retinex分解的效果如圖1 所示。

圖1 Retinex分解圖像

3 多尺度指數(shù)矯正的明度增強(qiáng)

單尺度的Retinex 圖像增強(qiáng)往往難以取得理想的增強(qiáng)效果，因?yàn)閱我怀叨入y以兼顧小、中和大尺度的紋理細(xì)節(jié)的保持。因此，根據(jù)高斯濾波對(duì)紋理細(xì)節(jié)的濾波效果，本文選擇r1＝5、r2＝11 和r3＝17 作為多尺度Retinex分解的高斯濾波的半徑。一般地，r1＝5 體現(xiàn)小尺度的紋理細(xì)節(jié)；r2＝11 體現(xiàn)中尺度的紋理細(xì)節(jié)；而r3＝17 體現(xiàn)大尺度的紋理細(xì)節(jié)。根據(jù)式（1）～（4），將圖像轉(zhuǎn)換到HSV色彩空間，得到H、S和V分量。將V分量進(jìn)行多尺度分解，得到光照?qǐng)D像L1、L2、L3和反射圖像R1、R2、R3。然后對(duì)光照?qǐng)D像Lx（x＝1，2，3，x為多尺度分解的序號(hào)）進(jìn)行指數(shù)矯正

將指數(shù)矯正后的光照?qǐng)D像L′x（x＝1，2，3）分別與對(duì)應(yīng)的Rx（x＝1，2，3）進(jìn)行Retinex 重構(gòu)，得到增強(qiáng)的明度分量Vx（x＝1，2，3）

將增強(qiáng)的多尺度明度分量Vx（x＝1，2，3）的均值圖像作為增強(qiáng)的明度分量

最后將增強(qiáng)的明度分量V′與H、S重組，得到最后的增強(qiáng)圖像。

多尺度Retinex指數(shù)矯正的明度增強(qiáng)的流程圖如圖2 所示。

圖2 多尺度指數(shù)矯正的明度增強(qiáng)的流程圖

指數(shù)γ對(duì)光照?qǐng)D像的亮度進(jìn)行提升或壓縮，當(dāng)γ＜1 時(shí)，提升圖像暗區(qū)的亮度，壓縮亮區(qū)的亮度。對(duì)圖像的亮度進(jìn)行自適應(yīng)的局部調(diào)整，在提升暗區(qū)亮度的同時(shí)，有效防止亮區(qū)過(guò)增強(qiáng)，如圖3 所示。在數(shù)據(jù)集Exclusively Dark［19］上運(yùn)用試錯(cuò)法進(jìn)行實(shí)驗(yàn)，一般地，用γ ＝0.28 對(duì)圖像的明度分量的光照?qǐng)D像進(jìn)行指數(shù)矯正，可以實(shí)現(xiàn)近似最優(yōu)的增強(qiáng)效果。

圖3 指數(shù)變換函數(shù)

4 實(shí)驗(yàn)分析

用Intel i5 CPU和8GB內(nèi)存的PC和Matlab 2019a作為實(shí)驗(yàn)工具，實(shí)驗(yàn)所用的低照?qǐng)D像如圖4 所示，均為選自Exclusively Dark數(shù)據(jù)集［19］。根據(jù)視覺(jué)感知、直方圖與信息熵［20］，以比較的方式評(píng)價(jià)所提出方法IEMRH的有效性。視覺(jué)感知從主觀上度量圖像的亮度適宜度和對(duì)比度等，直方圖分布從客觀上度量圖像像素分布的合理性，信息熵用分析統(tǒng)計(jì)的方法表示圖像的信息量，熵越大，圖像的紋理和細(xì)節(jié)更豐富。用作參照的方法為文獻(xiàn)［6，10，13，16］中提出的方法。

圖4 不同實(shí)驗(yàn)圖像

4.1 視覺(jué)感知

對(duì)低照?qǐng)D像Girl用5 種方法進(jìn)行增強(qiáng)的圖像如圖5 所示。文獻(xiàn)［10］中的方法雖然能提升圖像的亮度和對(duì)比度，但是效果過(guò)于鮮艷，缺乏自然度和逼真；文獻(xiàn)［13］中的方法存在對(duì)原圖像的亮區(qū)域過(guò)增強(qiáng)，而對(duì)暗區(qū)域增強(qiáng)不足的缺陷；文獻(xiàn)［16］中的方法增強(qiáng)圖像整體泛白，對(duì)比度不足以及顏色產(chǎn)生了變化；文獻(xiàn)［6］中的方法與IEMRH 的增強(qiáng)效果較好，兩者的效果不相上下，但是細(xì)心觀察可以看出，IEMRH 的增強(qiáng)圖像自然度和逼真性比文獻(xiàn)［6］要好一些。

圖5 對(duì)Girl用5種方法處理的增強(qiáng)圖像對(duì)比

對(duì)低照?qǐng)D像Columns用5 種方法進(jìn)行增強(qiáng)的圖像如圖6 所示。文獻(xiàn)［6］中的方法增強(qiáng)效果偏暗，對(duì)比度不高，部分圖像細(xì)節(jié)未能清晰顯示；文獻(xiàn)［10］中的方法增強(qiáng)效果部分失真，色彩過(guò)于鮮艷；文獻(xiàn)［13］中的方法增強(qiáng)效果亮度充足，但是存在過(guò)增強(qiáng)的缺陷，比如白色柱子的表面過(guò)于耀眼；文獻(xiàn)［16］中的方法增強(qiáng)效果泛白，亮度偏暗，對(duì)比度不高。相對(duì)地，IEMRH的增強(qiáng)效果色彩自然，對(duì)比度較高，最右邊的磚面以及最上面的屋檐的紋理都較清晰地顯示出來(lái)。

圖6 對(duì)Columns用5種方法處理的增強(qiáng)圖像對(duì)比

4.2 直方圖分布

對(duì)低照?qǐng)D像進(jìn)行增強(qiáng)，就是要在保持圖像顏色自然度的同時(shí)，一方面將所有的像素在整個(gè)像素值范圍內(nèi)分布，擴(kuò)大像素的動(dòng)態(tài)范圍；另一方面整體提升低照?qǐng)D像的亮度，將暗區(qū)的細(xì)節(jié)和紋理結(jié)構(gòu)顯示出來(lái)。

對(duì)低照?qǐng)D像OnGra用5 種方法進(jìn)行增強(qiáng)后對(duì)應(yīng)的直方圖如圖7 所示。原圖的像素動(dòng)態(tài)范圍較小，150以上的像素值幾乎沒(méi)有像素，絕大多數(shù)的像素值較小，集中于暗區(qū)；文獻(xiàn)［6］中的方法在一定程度上擴(kuò)大了像素的動(dòng)態(tài)范圍，但是像素值210 以上的像素還是極少，分布范圍不夠大，而直方圖的峰中心偏左，圖像的整體亮度偏暗；文獻(xiàn)［10］中擴(kuò)大了像素的分布范圍，但是像素值為220 以上的像素極少，分布范圍不夠大，其直方圖的峰的中心偏左，圖像的整體亮度不夠；文獻(xiàn)［13］中將像素在全部像素范圍內(nèi)進(jìn)行重分布，但其不足之處在于，像素在所有的像素級(jí)上均勻地分布，圖像的對(duì)比度稍差；文獻(xiàn)［16］中的直方圖峰中心接近中間，其整體亮度適宜，但是對(duì)于像素值200 以上的像素范圍沒(méi)有充分利用；IEMRH相對(duì)地充分利用了整個(gè)像素范圍，將像素分布于所有像素值上，并且直方圖的峰中心居中央，整體亮度較適宜，自然度較好。因此，從增強(qiáng)圖像的直方圖來(lái)看，IEMRH的增強(qiáng)效果在圖像的亮度、對(duì)比度和自然度方面都優(yōu)于現(xiàn)有方法。

圖7 對(duì)OnGra用5種方法進(jìn)行增強(qiáng)后對(duì)應(yīng)的直方圖

4.3 信息熵

圖像的信息熵越大，圖像的紋理和細(xì)節(jié)越明顯，包含的信息量越大。上述5 種方法對(duì)圖4 中各圖像進(jìn)行增強(qiáng)后對(duì)應(yīng)的信息熵如表1 所示。表1 的行標(biāo)題為圖像名，列標(biāo)題為增強(qiáng)所用的方法：對(duì)圖像Girl，文獻(xiàn)［6，10］中的方法所得到的信息熵值較高，IEMRH 得到的熵最高，比文獻(xiàn)［6，10］高出約0.06；對(duì)圖像Columns，文獻(xiàn)［13］中的方法增強(qiáng)圖像的熵較高，文獻(xiàn)［6，10］其次，IEMRH對(duì)應(yīng)的熵最高，比最好的現(xiàn)有方法高出0.6；對(duì)圖像OnGra，增強(qiáng)后所得到對(duì)應(yīng)的熵，IEMRH最高，其次是文獻(xiàn)［13，6］；對(duì)于圖像WaterC，文獻(xiàn)［6］中的增強(qiáng)圖像的熵較高，其次是文獻(xiàn)［13］的方法，IEMRH對(duì)應(yīng)的熵最高，相對(duì)較高的文獻(xiàn)［6］還高出0.21。根據(jù)對(duì)圖4 中所有圖像進(jìn)行增強(qiáng)而得到的熵可以看出，現(xiàn)有的4 種方法的相對(duì)優(yōu)劣，根據(jù)圖像的不同而不同，但是IEMRH始終保持較高的信息熵，其增強(qiáng)圖像的紋理細(xì)節(jié)較豐富，對(duì)比度較高。

表1 5 種方法對(duì)圖4 中各圖像增強(qiáng)后的信息熵

5 結(jié)語(yǔ)

為了降低增強(qiáng)圖像的失真，在提升亮度和對(duì)比度的同時(shí)保持圖像的自然度，提出了HSV空間的多尺度Retinex低照?qǐng)D像增強(qiáng)算法。在HSV 色彩空間中，將明度分量進(jìn)行多尺度Retinex分解和指數(shù)矯正，取增強(qiáng)的多尺度明度分量的均值圖像作為增強(qiáng)的明度分量，經(jīng)HSV空間重組得到增強(qiáng)圖像。主客觀的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性，相對(duì)于部分最新提出現(xiàn)有的方法，本文IEMRH的圖像增強(qiáng)效果更好，亮度和自然度更適宜。