基于人眼視覺(jué)的多尺度融合圖像增強(qiáng)算法

王改云，郭智超+，路皓翔，陸家卓，張 琦

(1.桂林電子科技大學(xué) 電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004；2.桂林電子科技大學(xué) 計(jì)算機(jī)與信息安全學(xué)院，廣西 桂林 541004)

0 引 言

圖像處理技術(shù)被廣泛應(yīng)用于生活的各方面[1-3]。現(xiàn)階段被廣泛應(yīng)用的圖像增強(qiáng)方法主要有兩類，直接增強(qiáng)方法和間接增強(qiáng)方法。第一類直接增強(qiáng)法將圖像的亮度通過(guò)某些指標(biāo)定量表示，并提出相應(yīng)算法來(lái)改進(jìn)這些指標(biāo)。代表算法有基于Retinex模型增強(qiáng)算法。該算法指出相機(jī)捕獲的圖像由反射分量和照明分量組成，通過(guò)去除影響原始圖像的反射分量，實(shí)現(xiàn)增強(qiáng)圖像真實(shí)影像的目的。李佳等[4]通過(guò)單尺度Retinex方法調(diào)整圖像中過(guò)曝光和欠曝光的灰度級(jí)。然后將圖像分為細(xì)節(jié)層和基本層，并用不同的直方圖處理方法進(jìn)行增強(qiáng)，從而在增強(qiáng)圖像亮度的同時(shí)增強(qiáng)了圖像細(xì)節(jié)信息。Qu J H等[5]引入多尺度Retinex算法整合圖像的空間信息，并利用基于梯度的加權(quán)融合方法融合HSI和PANI的空間細(xì)節(jié)，從而更好地模擬真實(shí)圖像的特征。第二類間接增強(qiáng)法將圖像亮度特性投影到直方圖上，并在直方圖上調(diào)整圖像的亮度。蘆碧波等[6]將RGB圖像轉(zhuǎn)換至XYZ顏色空間，提取其亮度信息，并將其分為高、中、低3個(gè)區(qū)域，利用對(duì)數(shù)色調(diào)映射對(duì)這些區(qū)域進(jìn)行直方圖均衡化處理，同時(shí)采用雙邊濾波進(jìn)行細(xì)節(jié)補(bǔ)償。該算法能在增強(qiáng)圖像細(xì)節(jié)的同時(shí)有效模擬真實(shí)場(chǎng)景的亮度特性。Acharya U K等[7]使用了兩個(gè)最優(yōu)約束參數(shù)，減少直方圖均衡過(guò)程中的信息丟失，該方法很好地構(gòu)造了原圖的亮度同時(shí)減少了其細(xì)節(jié)的丟失。

為了進(jìn)一步改善增強(qiáng)算法顏色失真和細(xì)節(jié)模糊的問(wèn)題，本算法在HSV空間上利用人眼的敏感特性增強(qiáng)圖像的亮度，從而在增強(qiáng)圖像亮度時(shí)有效地避免了顏色失真的問(wèn)題，并通過(guò)引導(dǎo)濾波在過(guò)濾圖像噪聲的同時(shí)增強(qiáng)了圖像的細(xì)節(jié)信息。

1 算法原理

圖1是算法的流程，算法總體分為顏色空間轉(zhuǎn)換、圖像亮度增強(qiáng)、圖像細(xì)節(jié)提升3部分。首先對(duì)輸入圖像進(jìn)行顏色空間轉(zhuǎn)換，將其從RGB空間轉(zhuǎn)換至HSV空間[8]，分離圖像的顏色信息和亮度信息，從而達(dá)到在改變圖像亮度時(shí)圖像顏色不會(huì)失真的目的；然后提取H、S通道的信息Image H和Image S作為增強(qiáng)權(quán)重圖對(duì)V通道的信息Image V進(jìn)行增強(qiáng)從而提升圖像的亮度；最后利用引導(dǎo)濾波[9]增強(qiáng)圖像的細(xì)節(jié)信息，并將增強(qiáng)后的Image V1和Image H、Image S轉(zhuǎn)換為細(xì)節(jié)豐富且亮度得到增強(qiáng)的RGB圖像。

圖1 算法流程

1.1 亮度增強(qiáng)

算法將從HSV空間對(duì)低照度圖像進(jìn)行增強(qiáng)，HSV模型通過(guò)H、S、V這3個(gè)通道的信息Image H、Image S、Image V來(lái)表示圖像，其中Image V描述的是圖像的亮度，Image S、Image V則描述了圖像的顏色和顏色的深淺。但是學(xué)者們利用HSV模型增強(qiáng)圖像亮度時(shí)通常會(huì)忽略H、S兩通道信息的重要性。人類通過(guò)區(qū)分顏色和辨別光照強(qiáng)弱來(lái)感知周圍的環(huán)境，當(dāng)一束光投射在人眼的視網(wǎng)膜上時(shí)，生物學(xué)將視網(wǎng)膜刺激中的模糊光譜信息與觀察者的感知聯(lián)系起來(lái)進(jìn)行研究，將人們對(duì)刺激的評(píng)判分為3種心理性向度。在此框架中，從感覺(jué)背后的物理屬性的條件概率分布中得出累積密度函數(shù)，預(yù)測(cè)經(jīng)典色度中的光譜刺激所產(chǎn)生的色調(diào)、飽和度和亮度。為了方便科學(xué)研究，光波被科研工作者賦予3種可以被量化理解的物理量，即波長(zhǎng)、波幅和純度。Fuhui Long等[10]通過(guò)對(duì)比實(shí)驗(yàn)證明色調(diào)、飽和度和亮度的感知特性是由自然界中光的物理特征的統(tǒng)計(jì)共變性決定的，從而得到了與之對(duì)應(yīng)的色彩模型為HSV色彩模型，圖2是HSV模型。其中H代表H通道的色相(Hue)，S代表S通道的飽和度(Saturation)，V代表V通道的亮度(Value)。

圖2 HSV模型

(1)色相：表征物體色彩的顏色屬性，它的取值范圍為0°～360°，其中0°代表紅色、120°為綠色、240°為藍(lán)色，它們的補(bǔ)色分別為60°的黃色、180°的青色和300°的品紅色。

(2)飽和度：是指色彩的純度，飽和度越高代表色彩越純，飽和度越低則色彩越趨近灰色，其取值范圍為0～100%。

(3)亮度：是指顏色中摻入黑色或白色的量，其取值范圍為0～100%。

RGB空間和HSV空間之間相互轉(zhuǎn)換的公式如式(1)～式(3)所示，其中R、G、B、H、S、V分別代表同一圖像在不同模型中的不同通道

V=max(R,G,B)

(1)

(2)

(3)

并且，人眼對(duì)不同顏色的敏感度不同，其主要原因是人眼在可見光譜范圍內(nèi)的視覺(jué)靈敏度分布不均勻，通過(guò)實(shí)驗(yàn)和研究[11]可以發(fā)現(xiàn)。對(duì)比敏感度函數(shù)(contrast sensitivity function，CSF)是對(duì)比度檢測(cè)閾值的倒數(shù)，是以模擬人類視覺(jué)和預(yù)測(cè)視覺(jué)表現(xiàn)為基礎(chǔ)測(cè)量的。它描述的是空間頻率和對(duì)比度靈敏度之間的關(guān)系。圖3(a)～圖3(c)分別是10只眼睛紅色、綠色和藍(lán)色機(jī)制的CSF數(shù)據(jù)。

圖3 10只眼睛對(duì)紅、綠、藍(lán)的CSFs平均值曲線

圖3中每個(gè)特殊符號(hào)代表一只眼睛，實(shí)線擬合了10只眼睛單一顏色機(jī)制中心頻率平均值的變化規(guī)律。表格縱坐標(biāo)是以對(duì)數(shù)標(biāo)度的對(duì)比敏感度，橫坐標(biāo)為空間頻率。結(jié)果表明，人眼紅色機(jī)制的CSF高于綠色機(jī)制的CSF，藍(lán)色機(jī)制的CSF在整個(gè)空間頻率上最低。紅色和綠色機(jī)制的CSF峰值出現(xiàn)在6.4 c/deg，藍(lán)色機(jī)制的CSF峰值出現(xiàn)在4.8 c/deg的較低頻率。由此表明，人眼對(duì)不同波長(zhǎng)的顏色敏感度不同。Schiller Florian等[12]通過(guò)利用7種顏色模型CIECAM02、HSV、DKL、LAB、LUV和CIE1931xyY測(cè)量了人眼對(duì)顏色空間中不同顏色在不同飽和度下的敏感度。實(shí)驗(yàn)發(fā)現(xiàn)人眼對(duì)不同飽和度的顏色敏感度不同。Fuhui Long等[10]為了預(yù)測(cè)亮度對(duì)色相和飽和度的影響函數(shù)，將圖像從RGB空間轉(zhuǎn)換至HSV空間從而統(tǒng)計(jì)圖像的色相、飽和度和亮度3個(gè)物理屬性的聯(lián)合概率分布。實(shí)驗(yàn)通過(guò)計(jì)算并均衡化亮度、色相和飽和度的物理相關(guān)共生頻率得到了：①色相和飽和度的物理相關(guān)性P(HP,SP)； ②色相和亮度的物理相關(guān)性P(HP,BP)； ③飽和度和亮度的物理相關(guān)性P(SP,BP)。 根據(jù)這些分布，直接確定每個(gè)物理屬性的一維條件概率分布，以及幾種屬性的關(guān)系。然后，通過(guò)累積相關(guān)概率值，從這些一維條件概率分布中計(jì)算用于預(yù)測(cè)色度函數(shù)和飽和度函數(shù)的累積密度函數(shù)。通過(guò)實(shí)驗(yàn)研究證明，亮度的提升能夠增強(qiáng)人眼對(duì)飽和度和不敏感波段顏色的敏感度。因此，在增強(qiáng)圖像的視覺(jué)效果時(shí)，圖像飽和度和圖像顏色兩個(gè)因素必須都要考慮。綜上所述，為了提升人眼對(duì)整體圖像的敏感度，通過(guò)對(duì)人眼不敏感區(qū)域進(jìn)行亮度增強(qiáng)，進(jìn)而更有針對(duì)性地提升人眼對(duì)整體圖像敏感度。算法利用人眼的這一特性，將低照度圖像H、S顏色通道的信息Image H和Image S作為權(quán)重圖對(duì)其V通道的信息Image V進(jìn)行增強(qiáng)，從而提升人眼對(duì)圖像的敏感度。

1.2 細(xì)節(jié)增強(qiáng)

qx=akIx+bk?x∈ωk

(4)

通過(guò)式(4)可以看出qx與Ix具有線性關(guān)系，且輸出圖像與原圖的相似程度可由ak和bk決定。式(5)描述了輸出圖像與原圖的相似程度，其中Ix代表引導(dǎo)圖像中編號(hào)為x像素的像素值，px代表輸入圖像中編號(hào)為x像素的像素值

(5)

為防止ak過(guò)大，式(5)還引入了正則化參數(shù)ε， 引導(dǎo)圖像選用原圖像時(shí)ε將被舍棄。由式(5)可知，找到合適的ak和bk就可使輸出圖像很好地還原輸入圖像，通過(guò)化簡(jiǎn)得

(6)

(7)

(8)

2 算法實(shí)現(xiàn)

2.1 亮度增強(qiáng)

由文獻(xiàn)[11]可知人眼對(duì)黃綠色的敏感度最高，對(duì)藍(lán)色光和紅色光的敏感度較差。同時(shí)人眼對(duì)飽和度低的顏色也不敏感。因此，算法通過(guò)增強(qiáng)這些人眼敏感度較低區(qū)域的圖像亮度來(lái)提升人眼對(duì)整體圖像的敏感度。具體做法為，在算法亮度提升階段將增強(qiáng)Image H中241°～360°區(qū)域的權(quán)重值即人類視覺(jué)系統(tǒng)不敏感的波長(zhǎng)區(qū)域，和Image S中40%～80%區(qū)域的權(quán)重，人類視覺(jué)系統(tǒng)不敏感的飽和度區(qū)域。并將這些圖像作為權(quán)重圖對(duì)V通道的信息Image V進(jìn)行增強(qiáng)，從而更有效地提升圖像的亮度。由于HSV模型3個(gè)通道信息互不影響，這也保證了增強(qiáng)后的圖像不會(huì)產(chǎn)生色彩的偏差。具體的步驟如圖4所示，圖中Input為輸入的RGB圖像。Image H為色相通道權(quán)重圖，其灰度值與人眼對(duì)顏色的敏感度成反比，Image S為飽和度通道權(quán)重圖，其灰度值與顏色飽和度成反比，Image V為圖像的亮度圖，Image V1為增強(qiáng)后的Image V。

圖4 亮度增強(qiáng)流程

2.2 細(xì)節(jié)增強(qiáng)

圖5 引導(dǎo)濾波使用不同參數(shù)的效果

3 增強(qiáng)效果分析

該圖像增強(qiáng)算法的實(shí)驗(yàn)環(huán)境為：CPU 3.40 GHz (4 CPUs)，Intel core i7-8 550U 1.8 GHz，內(nèi)存為8192 MB，Windows 10 操作系統(tǒng)，在Matlab 2018b軟件平臺(tái)實(shí)現(xiàn)相關(guān)算法。實(shí)驗(yàn)圖像采用同時(shí)存在過(guò)曝光和欠曝光的細(xì)節(jié)信息豐富的建筑物和目標(biāo)單一的人物RGB圖像進(jìn)行增強(qiáng)實(shí)驗(yàn)，從定量分析和定性分析兩個(gè)方面對(duì)本算法性能進(jìn)行評(píng)估，并與Patch-net(Platform：Tensorflow,CPU)[13]、FBBF(Platform:MATLAB,CPU)[14]、Zero-dce(Platform:Tensorflow,CPU)[15]、FFM(Platform:MATLAB,CPU)[16]和FBM(Platform:MATLAB,CPU)[17]增強(qiáng)算法進(jìn)行了對(duì)比，進(jìn)而驗(yàn)證了算法的優(yōu)越性。

3.1 定性分析

圖6給出了不同算法對(duì)邊緣輪廓明顯的建筑物RGB圖像增強(qiáng)的結(jié)果，圖6展示了原圖和近幾年出現(xiàn)的增強(qiáng)算法的處理結(jié)果。通過(guò)對(duì)比可看出，對(duì)比算法和優(yōu)化算法均能增強(qiáng)低照度圖像，但FBBF和Zero-dce處理后的圖像存在偽影，使得圖像輪廓信息變的模糊，Patch-net增強(qiáng)圖像的天空部分出現(xiàn)了明顯的分塊現(xiàn)象，F(xiàn)FM和FBM對(duì)圖像的亮度增強(qiáng)效果不夠明顯。本算法將圖像由RGB顏色空間轉(zhuǎn)到HSV顏色空間，將圖像的亮度和圖像的顏色完全分離，并利用HSV空間H和S通道能夠提升圖像質(zhì)量的信息Image H、Image V轉(zhuǎn)換為權(quán)值圖，對(duì)V通道的亮度信息Image V進(jìn)行增強(qiáng)，使得增強(qiáng)后的圖像更接近實(shí)際光照環(huán)境同時(shí)避免了圖像顏色失真。

圖6 不同算法對(duì)圖像的增強(qiáng)輪廓效果對(duì)比

圖7給出了細(xì)節(jié)紋理特征豐富的建筑物和人物的RGB圖像在不同算法增強(qiáng)后的效果，通過(guò)對(duì)比可看出，由Patch-net、FBBF、FFM和FBM增強(qiáng)后的圖像人物頭發(fā)紋理部分出現(xiàn)了顏色失真的現(xiàn)象，Zero-dce增強(qiáng)后圖像的對(duì)比度整體偏低，這使得人物發(fā)梢、地面部分丟失了許多細(xì)節(jié)信息。而優(yōu)化算法處理后圖像人物的面部和頭發(fā)部分的亮度、對(duì)比度均得到了提升，同時(shí)還保留了圖像原本的顏色信息，并還原了圖像的細(xì)節(jié)信息，這是由于該算法在增強(qiáng)圖像細(xì)節(jié)階段，利用引導(dǎo)濾波增強(qiáng)了圖像的細(xì)節(jié)信息。

圖7 不同算法對(duì)圖像增強(qiáng)的細(xì)節(jié)效果對(duì)比

3.2 定量分析

本文主要利用平均梯度(AG)、信息熵(EN)、熵增強(qiáng)(EME)3個(gè)衡量指標(biāo)對(duì)算法增強(qiáng)效果進(jìn)行評(píng)估。平均梯度可以評(píng)判圖像細(xì)節(jié)的豐富程度和圖像的亮度，圖像包含的細(xì)節(jié)越豐富AG的值越大，其表達(dá)式為

(9)

信息熵可以評(píng)判圖像所包含的信息量，其中i表示圖像中像素灰度值的大小，h(i) 是整幅圖像中出現(xiàn)灰度值為i像素點(diǎn)的概率。一般信息熵越大說(shuō)明圖像質(zhì)量越好，表達(dá)式為

(10)

熵增強(qiáng)能夠評(píng)判圖像中像素的最大灰度值與最小灰度值間的差異即圖像的對(duì)比度，熵增強(qiáng)的值越大圖像的對(duì)比度越大，即增強(qiáng)算法的增強(qiáng)效果越顯著，其表達(dá)式為

(11)

為驗(yàn)證算法的可行性。表1展示了10張圖像以不同取值范圍Image H作為增強(qiáng)權(quán)重增強(qiáng)Image V得到增強(qiáng)結(jié)果的平均值。隨著H通道取值角度的增加，圖像的AG值先減小后增加。當(dāng)H通道角度為1°～180°時(shí)，圖像質(zhì)量提高不明顯，對(duì)應(yīng)圖像的En也不高，當(dāng)H通道選取241°～360°時(shí)增強(qiáng)的效果最明顯，由此可以表明，增強(qiáng)Image H中241°～360°區(qū)域的權(quán)重值更能提升圖像的整體質(zhì)量。

表1 H通道不同取值范圍增強(qiáng)圖像的AG、EME和EN

從表2中可以看出，隨著S通道角度的增加，圖像的AG逐漸增加，但當(dāng)取值范圍為0～40%或80%～100%時(shí)，圖像質(zhì)量提高不明顯，對(duì)應(yīng)圖像的EN也不高，由此可以看出用不同波長(zhǎng)作為亮度增強(qiáng)的權(quán)重圖對(duì)圖像的影響也不同。為了提升圖像的整體質(zhì)量，需要提升Image S中40%～80%區(qū)域的權(quán)重。

表2 S通道不同取值范圍增強(qiáng)圖像的AG、EME和EN

綜上所述，算法在亮度提升階段，通過(guò)提升Image H中241°～360°區(qū)域(人類視覺(jué)系統(tǒng)不敏感的波長(zhǎng)區(qū)域)的權(quán)重值以及Image S中40%～80%區(qū)域(人類視覺(jué)系統(tǒng)不敏感的飽和度區(qū)域)的權(quán)重值并對(duì)Image V進(jìn)行增強(qiáng)處理，可以有效地提升圖像的亮度，同時(shí)，有效地增強(qiáng)人眼對(duì)圖像的敏感度。

為驗(yàn)證該算法的優(yōu)越性，將不同場(chǎng)景下的低照度圖像進(jìn)行了對(duì)比實(shí)驗(yàn)，表3中第一行數(shù)據(jù)為原始圖像的客觀評(píng)價(jià)值，其它行分別為通過(guò)不同增強(qiáng)算法增強(qiáng)后，圖像的各項(xiàng)客觀評(píng)價(jià)值。通過(guò)對(duì)比可以發(fā)現(xiàn)，幾種增強(qiáng)算法均可以增強(qiáng)圖像的AG、EN和EME。本算法增強(qiáng)的低照度圖像的指標(biāo)分別由原來(lái)的2.87、36.25和6.32增加到了5.58、70.50和8.20，并且增強(qiáng)效果優(yōu)于幾種傳統(tǒng)增強(qiáng)方法，由此可知該算法具有更好的增強(qiáng)效果。

表3 不同算法的增強(qiáng)效果對(duì)比

4 結(jié)束語(yǔ)

本文算法適用于增強(qiáng)含有豐富細(xì)節(jié)的低照度圖像，改善了傳統(tǒng)亮度增強(qiáng)算法增強(qiáng)結(jié)果容易出現(xiàn)顏色失真和細(xì)節(jié)增強(qiáng)不明顯的問(wèn)題。該算法利用被學(xué)者忽視的圖像的H、S通道信息Image H和Image S，結(jié)合人眼視覺(jué)對(duì)不同頻段可見光靈敏度不同的特性，將Image H和Image S作為增強(qiáng)權(quán)重對(duì)圖像的V通道信息Image V進(jìn)行增強(qiáng)。最后，算法利用引導(dǎo)濾波算法增強(qiáng)圖像的細(xì)節(jié)信息。最終達(dá)到提升圖像整體質(zhì)量的目的。由于該算法細(xì)節(jié)增強(qiáng)的增強(qiáng)系數(shù)是根據(jù)經(jīng)驗(yàn)人為設(shè)定的。因此下一階段將對(duì)算法的自適應(yīng)調(diào)參進(jìn)行優(yōu)化，進(jìn)一步提升算法的普適性。