基于Retinex 理論的低照度圖像增強(qiáng)技術(shù)*

劉 健，郭 瀟，徐鑫龍，趙牛杰，趙 騰

（北方自動(dòng)控制技術(shù)研究所，太原 030006）

0 引言

由于受環(huán)境光照不足或照度不均因素的影響，低照度圖像往往會(huì)出現(xiàn)對(duì)比度低、亮暗不均、陰影區(qū)域細(xì)節(jié)難以分辨的問(wèn)題，影響視頻會(huì)議等應(yīng)用的主觀視覺(jué)效果，給軍事偵察、視頻監(jiān)控等工作的后續(xù)處理造成很大困難。因此，低照度圖像增強(qiáng)技術(shù)有重要的研究?jī)r(jià)值。

低照度圖像增強(qiáng)技術(shù)的目的是改善圖像質(zhì)量，并獲取更多淹沒(méi)在陰影區(qū)域的細(xì)節(jié)信息，其方法主要包括基于直方圖的方法、基于小波變換的方法和基于Retinex 理論的方法［1］?；赗etinex 理論的圖像增強(qiáng)算法主要是從圖像中估計(jì)環(huán)境照度分量，并去除該分量的影響，獲取反射分量。根據(jù)照度分量的計(jì)算方法，又可分為隨機(jī)路徑算法、同態(tài)濾波算法和中心環(huán)繞算法等。其中，中心環(huán)繞算法最為經(jīng)典。典型的中心環(huán)繞算法有單尺度Retinex（SSR）［2］、多尺度Retinex（MSR）［3］與帶色彩恢復(fù)的多尺度Retinex（MSRCR）［4］。目前，基于Retinex 理論的低照度圖像增強(qiáng)算法普遍存在以下問(wèn)題：在圖像明暗變化劇烈的區(qū)域易產(chǎn)生光暈［5］；圖像暗區(qū)域存在過(guò)增強(qiáng)，導(dǎo)致該區(qū)域噪聲放大；圖像亮區(qū)域像素溢出，導(dǎo)致細(xì)節(jié)信息丟失；參數(shù)數(shù)目較多，針對(duì)不同圖像需要設(shè)置不同參數(shù)，算法自適應(yīng)性差［1］。

本文提出一種基于Retinex 理論與LIP 模型的低照度圖像增強(qiáng)方法，對(duì)照度緩慢變化與照度不均的低照度圖像進(jìn)行增強(qiáng)。在HSV 色彩空間，結(jié)合引導(dǎo)濾波與高斯平滑估計(jì)圖像V 分量的照度分量，避免了顏色失真與光暈現(xiàn)象；在圖像運(yùn)算過(guò)程中，使用LIP 模型代替?zhèn)鹘y(tǒng)的數(shù)學(xué)運(yùn)算，以避免由像素溢出造成的暗區(qū)域過(guò)增強(qiáng)的問(wèn)題，同時(shí)可以減少參數(shù)設(shè)置，增強(qiáng)算法的自適應(yīng)性；求得的反射分量經(jīng)灰度變換后作為增強(qiáng)的V 分量；經(jīng)色彩空間轉(zhuǎn)換后作為最終的增強(qiáng)圖像。

1 基于Retinex 理論的相關(guān)算法及局限性分析

人類(lèi)視覺(jué)系統(tǒng)具有顏色恒常性，當(dāng)環(huán)境照度變化時(shí)，人眼對(duì)物體顏色的感知保持相對(duì)不變。E.H.Land 基于顏色恒常性理論提出了Retinex 理論，認(rèn)為一幅圖像I（x，y）可由反射分量R（x，y）和照度分量L（x，y）的乘積表示，即

其中，照度分量決定像素的動(dòng)態(tài)范圍；反射分量反映成像物體的本質(zhì)屬性，通常為要求解的增強(qiáng)圖像。在對(duì)數(shù)域中，將照度分量從原圖像中去除，便得到反射分量。照度分量只能通過(guò)近似估計(jì)獲取。Retinex 算法一般流程如圖1 所示。

圖1 Retinex 算法一般流程

MSR 算法對(duì)原始圖像的R、G、B 3 個(gè)通道分別進(jìn)行多尺度計(jì)算，再將計(jì)算結(jié)果融合為增強(qiáng)圖像。單一通道的計(jì)算公式如式（2）表示：

式中，k 為尺度個(gè)數(shù)，ωi為尺度權(quán)重，* 表示卷積運(yùn)算，G（x，y）采用高斯中心環(huán)繞函數(shù)。使用MSR 算法處理的結(jié)果如圖2 所示。

圖2 MSR 算法處理結(jié)果

在圖2（b）中出現(xiàn)了明顯的光暈現(xiàn)象，這是由于Retinex 理論假設(shè)空間照度是緩慢變化的，在圖像明暗變化劇烈的區(qū)域，由高斯中心環(huán)繞函數(shù)估計(jì)的照度分量趨于平緩，與實(shí)際的照度不相符。因此，在增強(qiáng)圖像中易出現(xiàn)光暈。

為解決光暈問(wèn)題，文獻(xiàn)［6］提出使用具有邊緣保持特性的雙邊濾波核函數(shù)作為中心環(huán)繞函數(shù)，雙邊濾波可以準(zhǔn)確估計(jì)明暗突變的環(huán)境照度分量，但是其計(jì)算復(fù)雜度高，且存在梯度逆轉(zhuǎn)現(xiàn)象［7］。采用具有平滑與邊緣保持特性的引導(dǎo)濾波［8］估計(jì)照度分量，計(jì)算復(fù)雜度低，可以避免光暈現(xiàn)象，但引導(dǎo)濾波中使用的均值濾波沒(méi)有考慮像素空間位置對(duì)中心像素的影響，導(dǎo)致照度分量估計(jì)不準(zhǔn)確，反射分量出現(xiàn)過(guò)增強(qiáng)的問(wèn)題。使用引導(dǎo)濾波估計(jì)照度分量的Retinex 算法處理結(jié)果如圖3 所示。圖3（a）與圖3（b）的引導(dǎo)濾波參數(shù)設(shè)置分別來(lái)自文獻(xiàn)［9-10］。引導(dǎo)濾波中參數(shù)r 表示濾波模板的大小，eps 為平滑因子。eps 值較大時(shí)，引導(dǎo)濾波對(duì)圖像的操作趨于平滑，邊緣保持性差；值較小時(shí)，邊緣保持性好；值為0 時(shí)，不對(duì)圖像作任何處理。

由圖3 可以看出，使用引導(dǎo)濾波估計(jì)照度分量可以避免光暈問(wèn)題，但是最終增強(qiáng)的結(jié)果出現(xiàn)了顏色失真。對(duì)于該問(wèn)題，文獻(xiàn)［9］設(shè)計(jì)了顏色恢復(fù)函數(shù)改善反射分量，但對(duì)于含局部光源、逆光拍攝等照度不均的低照度圖像處理時(shí)，存在圖像亮區(qū)域細(xì)節(jié)丟失的問(wèn)題，且該算法參數(shù)較多，自適應(yīng)性差；文獻(xiàn)［10］在反射分量中加入校正后的照度分量，保護(hù)了亮區(qū)域細(xì)節(jié)，但存在圖像暗區(qū)域過(guò)增強(qiáng)的問(wèn)題。

2 本文算法

本文算法的結(jié)構(gòu)框圖如圖4 所示。算法首先將圖像從RGB 空間轉(zhuǎn)換到HSV 空間；分別使用引導(dǎo)濾波與高斯平滑對(duì)V 分量進(jìn)行處理，對(duì)處理的結(jié)果使用LIP 模型加法與乘法進(jìn)行融合，得到照度分量L；再由LIP 模型的減法去除照度分量，并進(jìn)行灰度變換，得到反射分量R；最后將圖像從HSV 空間轉(zhuǎn)換到RGB 空間，作為最終的增強(qiáng)圖像。

2.1 顏色空間轉(zhuǎn)換

MSR 算法對(duì)圖像R、G、B 3 個(gè)顏色通道分別做多尺度卷積運(yùn)算，算法復(fù)雜度高，并且容易改變3個(gè)顏色通道之間的比例關(guān)系，造成顏色失真［1］。因此，本文將原始圖像從RGB 空間轉(zhuǎn)換到HSV 空間，僅對(duì)V 分量進(jìn)行計(jì)算處理，減小計(jì)算復(fù)雜度，避免顏色失真；將增強(qiáng)處理后的V 分量與原H、S 分量合成并轉(zhuǎn)化到RGB 空間，作為增強(qiáng)后的圖像。

2.2 估計(jì)照度分量

為避免增強(qiáng)結(jié)果的顏色失真與光暈問(wèn)題，本文提出分別使用引導(dǎo)濾波與高斯平滑對(duì)V 分量進(jìn)行處理，再對(duì)處理的結(jié)果進(jìn)行融合。在融合過(guò)程中，若使用傳統(tǒng)的數(shù)學(xué)運(yùn)算處理圖像，可能會(huì)產(chǎn)生像素溢出的現(xiàn)象，可以通過(guò)改變?cè)鲆鎱?shù)來(lái)調(diào)節(jié)溢出像素?cái)?shù)目的多少。當(dāng)溢出像素?cái)?shù)目增多時(shí)，照度分量估計(jì)增大，反射分量減小，導(dǎo)致全局亮度降低，低照度圖像增強(qiáng)效果改善不明顯；當(dāng)溢出像素?cái)?shù)目減小時(shí)，照度分量估計(jì)減小，反射分量增大，導(dǎo)致圖像暗區(qū)域過(guò)度增強(qiáng)。因此，在該過(guò)程中，若使用傳統(tǒng)的數(shù)學(xué)運(yùn)算處理圖像，增益參數(shù)的選取與圖像自身有很大關(guān)系，難以達(dá)到自適應(yīng)處理。

本文采用LIP 模型在有界區(qū)間內(nèi)對(duì)圖像進(jìn)行操作。LIP 模型重新定義了適用于圖像處理的加法、減法、乘法等運(yùn)算，這些運(yùn)算具有封閉性，可以在避免像素溢出的同時(shí)，有效提高圖像效果，該模型也被證明與人類(lèi)視覺(jué)系統(tǒng)的處理過(guò)程相一致。LIP 模型用灰度色調(diào)函數(shù)表示圖像的強(qiáng)度，計(jì)算公式如式（3）所示：

式中，I（x，y）為輸入圖像的亮度值，f（x，y）為灰度色調(diào)函數(shù)，M 為圖像最大亮度值，在8 bit 數(shù)字圖像中，取值為256。LIP 模型的部分運(yùn)算定義如下：

將式（6）與式（3）聯(lián)立求解經(jīng)LIP 數(shù)乘運(yùn)算后得到的亮度值I3，可得計(jì)算公式如式（7）所示：

式中，I1為式（6）中f1對(duì)應(yīng)的亮度值?？梢?jiàn)，圖像的LIP 數(shù)乘運(yùn)算等價(jià)于圖像的伽馬變換，增益參數(shù)α等價(jià)于伽馬系數(shù)，本文取經(jīng)驗(yàn)值為0.3。

2.3 求取反射分量

在MSR 算法、文獻(xiàn)［9-10］算法中，反射分量的求取是在對(duì)數(shù)域中進(jìn)行的。LIP 模型本身具有對(duì)數(shù)變換的性質(zhì)，因此，將V 分量與照度分量L 作LIP模型減法，再經(jīng)灰度變換后的輸出作為反射分量。

在LIP 模型減法，即式（5）中，若f1

式中，r'為R'歸一化值，r 為反射分量R 歸一化值，bth 為溢出閾值，計(jì)算公式如式（9）所示：

式中，n 為r'中大于1 的像素?cái)?shù)目。

3 實(shí)驗(yàn)仿真與分析

為驗(yàn)證本文算法有效性，在MATLAB R2014b平臺(tái)上對(duì)多幅低照度彩色圖像進(jìn)行實(shí)驗(yàn)，將算法與文獻(xiàn)［9-10］算法進(jìn)行比較，從主觀效果與客觀指標(biāo)兩方面對(duì)算法進(jìn)行驗(yàn)證。相關(guān)參數(shù)設(shè)置如下：

1）文獻(xiàn)［9］算法：引導(dǎo)濾波參數(shù)r=4，eps=0.04，顏色恢復(fù)函數(shù)參數(shù)α=9，β=300，G=1；

2）文獻(xiàn)［10］算法：引導(dǎo)濾波參數(shù)r=8，eps=0.001；

3）本文算法：高斯尺度參數(shù)σ=180，引導(dǎo)濾波參數(shù)r=4，eps=0.04。

3.1 主觀效果對(duì)比

3 種算法進(jìn)行圖像增強(qiáng)的仿真試驗(yàn)結(jié)果如圖5～圖7 所示，圖5 為照度緩慢變化時(shí)的仿真結(jié)果，測(cè)試圖像來(lái)自于低亮度的視頻監(jiān)控圖像；圖6 為照度不均時(shí)的仿真結(jié)果，測(cè)試圖像來(lái)自于背光的視頻會(huì)議圖像，以及含局部光源的視頻監(jiān)控圖像；圖7為仿真結(jié)果局部細(xì)節(jié)對(duì)比。從圖5 中可以看出照度緩慢變化的情況，文獻(xiàn)［9］算法存在顏色失真與過(guò)飽和現(xiàn)象；文獻(xiàn)［10］算法存在暗區(qū)域過(guò)增強(qiáng)，噪聲被放大的現(xiàn)象；而本文算法在保護(hù)色彩不失真的同時(shí)，能夠恢復(fù)陰影區(qū)域的細(xì)節(jié)，并有效抑制了該區(qū)域的噪聲。從圖6 中可以看出照度不均的情況，文獻(xiàn)［9］算法存在一定的亮區(qū)域細(xì)節(jié)丟失；文獻(xiàn)［10］算法的暗區(qū)域存在過(guò)增強(qiáng)。由圖8（b）可以看出，文獻(xiàn)［9］算法存在過(guò)飽和與亮區(qū)域細(xì)節(jié)丟失的現(xiàn)象，由圖8（c）可以看出文獻(xiàn)［10］算法存在暗區(qū)域過(guò)增強(qiáng)的現(xiàn)象。本文算法在恢復(fù)暗區(qū)域細(xì)節(jié)的同時(shí)保護(hù)了亮區(qū)域的細(xì)節(jié)，主觀視覺(jué)效果較好。

3.2 客觀指標(biāo)對(duì)比

圖5 照度緩慢變化時(shí)的仿真結(jié)果

圖6 照度不均時(shí)的仿真結(jié)果

圖7 測(cè)試結(jié)果細(xì)節(jié)對(duì)比

本文采用平均梯度、信息熵與結(jié)構(gòu)相似性（SSIM）作為圖像增強(qiáng)效果的客觀評(píng)價(jià)指標(biāo)。平均梯度反映圖像的清晰度，信息熵反映圖像信息量的大小，結(jié)構(gòu)相似性用于衡量處理前后兩幅圖像的相似度，取值為0～1，值越大，結(jié)構(gòu)失真越小。下頁(yè)表1～表3 分別為增強(qiáng)圖像的平均梯度、信息熵與SSIM客觀指標(biāo)，其中，編號(hào)為1～4 的圖像為圖5 中的低照度圖像，5～8 為圖6 中的低照度圖像。由測(cè)試數(shù)據(jù)可知，本文算法的客觀指標(biāo)較文獻(xiàn)［10］算法的客觀指標(biāo)均有所提升，說(shuō)明本文算法處理的結(jié)果清晰度高、信息量大、失真少；文獻(xiàn)［9］算法在處理照度不均的低照度圖像時(shí)，信息熵反而下降，這說(shuō)明該算法在處理類(lèi)似圖像時(shí)造成了細(xì)節(jié)信息丟失。綜上所述，本文算法在處理照度緩慢變化與照度不均的低照度圖像時(shí)，能夠在提高清晰度與信息量的同時(shí)，減少細(xì)節(jié)丟失與顏色失真。

表1 平均梯度測(cè)試數(shù)據(jù)

表2 信息熵測(cè)試數(shù)據(jù)

表3 SSIM 測(cè)試數(shù)據(jù)

4 結(jié)論

為了解決低照度圖像增強(qiáng)的問(wèn)題，本文在HSV色彩空間實(shí)現(xiàn)了基于Retinex 理論與LIP 模型的低照度彩色圖像增強(qiáng)算法。本文算法在HSV 色彩空間對(duì)V 分量進(jìn)行增強(qiáng)，減少了算法復(fù)雜度；采用引導(dǎo)濾波與高斯平滑估計(jì)照度分量，避免顏色失真與光暈現(xiàn)象；算法的圖像運(yùn)算采用LIP 模型有界運(yùn)算法則，避免像素溢出、暗區(qū)域過(guò)增強(qiáng)，并減少參數(shù)的設(shè)置；算法對(duì)反射分量采用一種灰度變換策略，減少了亮區(qū)域的細(xì)節(jié)丟失。實(shí)驗(yàn)結(jié)果表明，算法可以有效恢復(fù)淹沒(méi)在陰影區(qū)域的圖像細(xì)節(jié)，并保護(hù)亮區(qū)域的細(xì)節(jié)，提高圖像的清晰度與信息量，主觀視覺(jué)效果與客觀評(píng)價(jià)指標(biāo)優(yōu)于對(duì)比算法。