基于HSV色彩空間的低照度圖像增強(qiáng)

劉壽鑫，龍 偉，李炎炎，程 鴻

(四川大學(xué) 機(jī)械工程學(xué)院，四川 成都 610065)

0 引 言

在攝像設(shè)備進(jìn)行圖像采取的過(guò)程中，會(huì)因?yàn)橹車(chē)h(huán)境光照不足、光源不單一等環(huán)境因素導(dǎo)致所采集到的圖像存在亮度低、色彩偏暗等問(wèn)題。

對(duì)此，有不少的低照度圖像增強(qiáng)算法被提出。從總體上來(lái)說(shuō)，低照度圖像增強(qiáng)算法分為基于物理模型的增強(qiáng)算法和非物理模型增強(qiáng)算法兩大類(lèi)[1,2]。Retinex算法[3]是使用最為廣泛的物理模型增強(qiáng)算法，該算法由Land等于1971年提出，后來(lái)以Retinex理論為基礎(chǔ)又有不少的改進(jìn)算法被提出[3,4]，如多尺度Retinex算法MSR以及針對(duì)MSR算法易出現(xiàn)色彩失真的問(wèn)題又提出了帶色彩恢復(fù)的多尺度Re-tinex算法MSRCR和自動(dòng)色階調(diào)整的MSR算法[5]、融合暗通道先驗(yàn)理論的MSRCR算法[6]，但是此類(lèi)算法的光照估計(jì)基礎(chǔ)是光照緩慢變化的，而并不是所有低照度圖像都滿(mǎn)足此假設(shè)。非物理模型算法主要有空域增強(qiáng)算法和濾波增強(qiáng)算法兩大類(lèi)，空域增強(qiáng)算法以直方圖均衡化算法及改進(jìn)算法[7]為代表，如雙邊直方圖均衡化算法[8]，限制對(duì)比度的直方圖均衡化算法，此外還有不少學(xué)者將冪律函數(shù)融入其中，提出了很多自適應(yīng)伽馬矯正增強(qiáng)算法[9-11]，但是經(jīng)該類(lèi)算法處理后的圖像色彩飽和度較低。而濾波類(lèi)的增強(qiáng)算法處理結(jié)果往往會(huì)導(dǎo)致圖像發(fā)生色彩失真和丟失細(xì)節(jié)特征[12,13]，此外，傳統(tǒng)的濾波函數(shù)還存在對(duì)圖像亮度的提升上限較低的缺陷。

對(duì)此，本文提出了一種基于HSV色彩空間的非物理模型低照度圖像增強(qiáng)算法，首先利用低照度圖像增強(qiáng)的重點(diǎn)區(qū)域?yàn)閳D像中較暗區(qū)域?yàn)橐罁?jù)，對(duì)亮度V分量進(jìn)行分層預(yù)處理，將其分為高亮度層和低亮度層；然后再使用引入自適應(yīng)權(quán)重值的巴特沃斯濾波器進(jìn)行灰度等級(jí)的拉伸，并利用本文所提出的亮度控制方法對(duì)拉伸范圍過(guò)大的灰度等級(jí)區(qū)域進(jìn)行等級(jí)重新映射，以此來(lái)防止圖像出現(xiàn)過(guò)度增強(qiáng)區(qū)域；其次對(duì)V分量的融合結(jié)果進(jìn)行卷積平滑操作；最后提出了基于權(quán)重值和映射調(diào)節(jié)系數(shù)的色彩飽和度自適應(yīng)調(diào)整函數(shù)對(duì)圖像色彩飽和度進(jìn)行調(diào)整。最終的實(shí)驗(yàn)結(jié)果表明，經(jīng)本文算法處理后的圖像亮度提升大、色彩逼真無(wú)光暈現(xiàn)象且未出現(xiàn)過(guò)度增強(qiáng)區(qū)域，圖像增強(qiáng)結(jié)果符合主觀(guān)視覺(jué)感受。

1 本文算法

HSV色彩空間的色彩三分量相互獨(dú)立，對(duì)其中任意的一個(gè)色彩分量進(jìn)行增強(qiáng)處理都不會(huì)對(duì)其它兩個(gè)分量造成任何影響[14,15]，因此相較于直接在RGB三原色色彩空間進(jìn)行低照度圖像增強(qiáng)獲得的增強(qiáng)結(jié)果圖像，經(jīng)HSV色彩空間處理后的結(jié)果圖像具有色彩失真度小、顏色更加逼真的特點(diǎn)從而更易于獲得研究人員所預(yù)期的圖像增強(qiáng)效果。故以此為基礎(chǔ)提出了一種基于HSV色彩空間的低照度圖像增強(qiáng)算法，實(shí)現(xiàn)該算法的具體流程如圖1所示。

圖1 算法流程

1.1 HSV色彩空間

H、S、V分別是色調(diào)(Hue)、飽和度(Saturation)以及亮度(Value)3個(gè)單詞的縮寫(xiě)，即HSV色彩空間是一種通過(guò)色調(diào)、飽和度以及亮度3種色彩分量來(lái)表示彩色圖像的色彩空間，它是由RGB三原色色彩模型空間衍生而來(lái)的一種面向?qū)ο蟮闹饔^(guān)色彩模型空間，因?yàn)槠渖时憩F(xiàn)比三原色色彩表現(xiàn)更加符合人眼視覺(jué)特性，近年來(lái)得到了較為廣泛的關(guān)注，HSV色彩空間的3個(gè)色彩分量與RGB三原色色彩空間的3個(gè)色彩分量的轉(zhuǎn)換關(guān)系如式(1)～式(3)所示

(1)

(2)

(3)

1.2 V分量的分層處理

相對(duì)于正常清晰的圖像灰度等級(jí)分布而言，低照度圖像的灰度等級(jí)分布主要集中分布于灰度級(jí)較低的區(qū)域，且灰度等級(jí)動(dòng)態(tài)范圍較小，因此低照度圖像增強(qiáng)算法的重點(diǎn)在于圖像中的低灰度等級(jí)區(qū)域，并使用有效的方法對(duì)灰度等級(jí)動(dòng)態(tài)范圍進(jìn)行擴(kuò)展。而利用全局增強(qiáng)算法的策略在對(duì)低灰度等級(jí)區(qū)域增強(qiáng)的同時(shí)也會(huì)對(duì)高灰度等級(jí)區(qū)域進(jìn)行增強(qiáng)處理，則易導(dǎo)致原有的高灰度等級(jí)區(qū)域出現(xiàn)過(guò)度增強(qiáng)的情況。本文算法以這一特點(diǎn)為依據(jù)，為避免原圖像的高灰度等級(jí)區(qū)域出現(xiàn)過(guò)度增強(qiáng)，在進(jìn)行V分量的增強(qiáng)處理之前，以非全局圖像增強(qiáng)處理的方式，首先對(duì)亮度V分量進(jìn)行分層預(yù)處理。以灰度值0.8為V分量分割閾值點(diǎn)，利用單次分層將V分量分為低灰度等級(jí)層VL和高灰度等級(jí)層VH兩層，V分量的分層表達(dá)式如式(4)所示

(4)

式中：VL表示低灰度等級(jí)區(qū)域，VH表示高灰度等級(jí)區(qū)域，V(i,j)表示在圖像中位于位置(i,j)處的灰度等級(jí)大小。

現(xiàn)以“Campus”圖的V分量為例來(lái)說(shuō)明本文所提算法對(duì)V分量的預(yù)處理結(jié)果，V分量分層結(jié)果如圖2所示。

圖2 V分量預(yù)處理

1.3 引入權(quán)重值的巴特沃斯低通濾波

低照度圖像的低照度區(qū)域會(huì)導(dǎo)致大量的圖像信息被黑暗所掩蓋，從而丟失實(shí)際拍攝的物體信息，低照度圖像增強(qiáng)的主要目的便在于提高低照度區(qū)域的亮度，從未使被掩蓋的圖像信息暴露。將巴特沃斯低通濾波器應(yīng)用于圖像低照度VL分量中，以此來(lái)提高圖像的灰度等級(jí)，達(dá)到圖像亮度提高的目的，但是由于傳統(tǒng)的巴特沃斯低通濾波器的增強(qiáng)上限較低，從而易導(dǎo)致增強(qiáng)效果較差。針對(duì)此問(wèn)題，本文算法基于不同低照度圖像存在灰度等級(jí)最大值與最小值互不相同以及灰度均值與梯度值大小亦不相同的思想，在傳統(tǒng)的巴特沃斯低通濾波器中引入了自適應(yīng)權(quán)重值w，以此來(lái)解決傳統(tǒng)巴特沃斯濾波器增強(qiáng)上限較低的問(wèn)題。引入權(quán)重值后的巴特沃斯低通濾波器表達(dá)式如式(5)所示

(5)

式中：符號(hào)“·”表示取乘積操作，D0為改進(jìn)后巴特沃斯低通濾波器的截止頻率，D(u,v)表示在大小為M×N的圖像中，頻率點(diǎn)(u,v)與頻域中心之間的距離，其表達(dá)式如式(6)所示，w為本文算法為解決傳統(tǒng)巴特沃斯低通濾波器存在對(duì)圖像亮度V分量提升上限較低問(wèn)題所設(shè)計(jì)的自適應(yīng)權(quán)重值，其表達(dá)式如式(7)所示

(6)

(7)

其中，Vmax表示圖像V分量中的最大灰度，Vmean表示圖像V分量的平均值，VGmax和VGmin分別表示圖像V分量的梯度最大值和最小值，VGmean表示圖像V分量的梯度平均值，b為權(quán)重值微調(diào)因子，本文此處取該因子的大小為0.085，VG表達(dá)式如式(8)所示

(8)

1.4 亮度抑制

在利用巴特沃斯濾波器對(duì)低灰度等級(jí)層VL分量進(jìn)行亮度增強(qiáng)處理時(shí)，無(wú)可避免的會(huì)造成原來(lái)的低灰度等級(jí)區(qū)域出現(xiàn)部分過(guò)度增強(qiáng)，為解決在整個(gè)算法流程中出現(xiàn)的這種局部過(guò)度增強(qiáng)的情況，提出了一種如下所述的亮度控制辦法。首先利用正弦函數(shù)的周期性，對(duì)VL增強(qiáng)結(jié)果中出現(xiàn)過(guò)度增強(qiáng)的灰度等級(jí)進(jìn)行壓縮，(若圖像VL分量中的某一像素灰度等級(jí)大于0.8，本文則認(rèn)為該點(diǎn)像素已經(jīng)出現(xiàn)了過(guò)度增強(qiáng))，經(jīng)灰度等級(jí)壓縮后的VL分量灰度等級(jí)范圍變小，有利于之后的灰度等級(jí)重新映射，此步驟中，對(duì)灰度等級(jí)的壓縮操作表達(dá)式如式(9)所示。在灰度等級(jí)壓縮之后，再利用式(10)所示的灰度等級(jí)映射函數(shù)對(duì)其進(jìn)行重新映射，由于此步驟的主要作用在于過(guò)亮抑制，即新的圖像灰度等級(jí)不能超過(guò)V分量的最大值，故新的映射函數(shù)的取值上限不能超過(guò)1。此方法的優(yōu)勢(shì)在于：在對(duì)亮度增強(qiáng)處理后的分量層實(shí)施亮度抑制操作時(shí)，能夠僅對(duì)圖像的過(guò)度增強(qiáng)區(qū)域進(jìn)行操作，不會(huì)對(duì)非過(guò)度增強(qiáng)區(qū)域產(chǎn)生任何影響，從而不會(huì)降低圖像整體的亮度

(9)

式中：VC(i,j)表示位于圖像上的位置點(diǎn)處(i,j)的灰度級(jí)壓縮結(jié)果，Vw(i,j)表示VL分量中出現(xiàn)過(guò)度增強(qiáng)像素點(diǎn)的值大小，N表示出現(xiàn)過(guò)度增強(qiáng)像素點(diǎn)的總和，當(dāng)n的取值為0時(shí)，S0=0

(10)

式中：VM表示新的灰度等級(jí)映射結(jié)果，α為灰度等級(jí)映射范圍調(diào)節(jié)系數(shù)，本文在此處取調(diào)節(jié)系數(shù)α的值為2.73。

以“Campus”圖為例，該圖像的過(guò)度增強(qiáng)區(qū)域控制對(duì)比如圖3所示，圖3(a)為出現(xiàn)過(guò)度增強(qiáng)的圖像，圖3(b)為使用所提亮度控制方法對(duì)圖像過(guò)度增強(qiáng)區(qū)域進(jìn)行亮度控制后的結(jié)果圖像，結(jié)合兩對(duì)比圖可以看出，該方法對(duì)于圖像中過(guò)度增強(qiáng)區(qū)域的處理效果較為理想，不僅能夠?qū)崿F(xiàn)對(duì)過(guò)度增強(qiáng)區(qū)域進(jìn)行有效的亮度控制而且還保持了非過(guò)度增強(qiáng)區(qū)域的原有亮度。

圖3 對(duì)過(guò)度增強(qiáng)區(qū)域的處理

1.5 平滑卷積算子

在對(duì)V分量進(jìn)行全局卷積濾波處理之前，首先利用下式，將低灰度等級(jí)VL分量的最終處理結(jié)果與原高灰度等級(jí)VH分量進(jìn)行融合，得到V分量的最終增強(qiáng)結(jié)果圖像，分量融合表達(dá)式如式(11)所示

(11)

(12)

VR=V1?H

(13)

其中，H表示卷積濾波器的卷積核，VR表示V1分量的卷積結(jié)果，符號(hào)“?”表示卷積操作。

以“Campus”圖為例，V分量的對(duì)比如圖4所示，其中圖4(a)為未處理的原始V分量，圖4(b)為V分量的最終增強(qiáng)處理結(jié)果，對(duì)比圖4(a)以及圖4(b)可以看出該低照度圖像的亮度得到了較好的改善，視覺(jué)效果提升明顯，被原較低灰度等級(jí)區(qū)域所掩蓋的圖像信息得以暴露。從圖像亮度V分量的對(duì)比圖4(c)可以看出，原V分量的灰度等級(jí)主要集中于低灰度等級(jí)，經(jīng)過(guò)本文所提算法處理后的V分量亮度有了非常明顯的提升，如圖4(d)所示，其灰度的等級(jí)分布主要集中于較高灰度等級(jí)。

圖4 初始V分量與結(jié)果V分量

1.6 色彩飽和度S分量的自適應(yīng)調(diào)整

低照度圖像除了存在整體灰度等級(jí)較低和光照不均等問(wèn)題以外，還存在其色彩飽和度值也較低的問(wèn)題，而較低的色彩飽和度值會(huì)造成圖像的色彩暗淡，逼真度較差，不符合主觀(guān)視覺(jué)感受。針對(duì)此問(wèn)題，本文設(shè)計(jì)了一種基于表達(dá)式(7)中引入的權(quán)重值w和表達(dá)式(10)中的灰度級(jí)映射調(diào)節(jié)系數(shù)α的自適應(yīng)圖像色彩飽和度值拉伸函數(shù)，該函數(shù)的表達(dá)式如式(14)所示，通過(guò)對(duì)色彩飽和度S分量進(jìn)行自適應(yīng)非線(xiàn)性拉伸來(lái)解決低照度圖像色彩飽和度較低的問(wèn)題

(14)

式中：S1表示拉伸后的圖像色彩飽和度分量，S表示原圖像色彩飽和度分量。

同樣以“Campus”圖為例來(lái)進(jìn)一步說(shuō)明該函數(shù)對(duì)S分量的作用結(jié)果，“Campus”圖的S分量拉伸結(jié)果統(tǒng)計(jì)直方圖對(duì)比如圖5所示，對(duì)比圖5(a)和圖5(b)可以看出，相較于未拉伸的原S分量，經(jīng)過(guò)自適應(yīng)函數(shù)調(diào)整后的S分量表現(xiàn)出了明顯的拉伸效果，“Campus”圖像的最終增強(qiáng)結(jié)果原始輸入圖像的對(duì)比如圖6所示，其中，圖6(a)原始輸入圖像，圖6(b)為最終的增強(qiáng)結(jié)果圖像。

圖5 初始S分量與結(jié)果S分量

圖6 輸入圖像與最終增強(qiáng)結(jié)果

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提算法的有效性與先進(jìn)性，采用了4種圖像增強(qiáng)對(duì)比算法進(jìn)行對(duì)比實(shí)驗(yàn)，所采用的4種算法分別為：具有代表性的基于冪律函數(shù)的自適應(yīng)Gamma矯正圖像增強(qiáng)算法AGCWD，位于空域直接對(duì)圖像進(jìn)行處理的基于直方圖均衡化的經(jīng)典改進(jìn)算法CLAHE，最近受到廣泛關(guān)注的新型曝光圖融合框架EFF算法以及采用了子圖像多曝光直方圖均衡化ESIHE算法[16,17]，4種對(duì)比算法與本文所提算法的最終實(shí)驗(yàn)結(jié)果對(duì)比如圖7～圖12所示。本文所提算法以及所有對(duì)比實(shí)驗(yàn)算法的實(shí)現(xiàn)均在MATLAB 2018b軟件環(huán)境下完成，實(shí)驗(yàn)平臺(tái)的操作系統(tǒng)為Windows 10，硬件系統(tǒng)運(yùn)行內(nèi)存為8 GB RAM，處理器型號(hào)為Intel(R)Core(TM)i5-5200U CPU@2.20 GHz。

圖7 Square圖增強(qiáng)結(jié)果對(duì)比

圖8 Street圖增強(qiáng)結(jié)果對(duì)比

圖9 Ornament圖增強(qiáng)結(jié)果對(duì)比

圖10 Interior圖增強(qiáng)結(jié)果對(duì)比

圖11 Coastline圖增強(qiáng)結(jié)果對(duì)比

圖12 Capmus圖增強(qiáng)結(jié)果對(duì)比

2.1 主觀(guān)評(píng)價(jià)

就所有算法的增強(qiáng)結(jié)果對(duì)比圖而言，4種對(duì)比算法和本文所提算法均取得了較好的增強(qiáng)結(jié)果，然而相較之下，AGCWD算法、CLAHE算法和ESIHE算法的亮度提升效果相對(duì)較低，其中AGCWD算法在色彩飽和度的控制方面表現(xiàn)較好，色彩失真度小，圖像增強(qiáng)結(jié)果符合第一主觀(guān)視覺(jué)感受，但是該算法對(duì)近景處的亮度提升效果不佳，經(jīng)其處理后的圖像近景處依舊存在大量的低亮度區(qū)域，該現(xiàn)象在圖7以及圖8的底部區(qū)域表現(xiàn)明顯；CLAHE算法對(duì)圖像色彩的處理效果較差，導(dǎo)致結(jié)果圖中部分色彩出現(xiàn)了少許的色差，有色彩過(guò)于濃重的視覺(jué)感受，尤其是在圖7、圖11以及圖12的天空區(qū)域，除此不足之外，在圖7和圖8的天空與建筑的相鄰部分還出現(xiàn)了光暈現(xiàn)象；而ESIHE算法在近景處的提升效果大于遠(yuǎn)景處的提升效果，但是圖像整體色彩偏灰，色調(diào)飽和度較差，圖7、圖8以及圖12的天空區(qū)域色彩失真嚴(yán)重，與原圖色彩具有較大偏差，且位于圖11右上角的天空區(qū)域還出現(xiàn)了亮度不均的現(xiàn)象。相對(duì)來(lái)說(shuō)，EFF算法與本文算法在圖像的亮度提升方面總體表現(xiàn)較好，亮度提升幅度大，將兩種算法的增強(qiáng)結(jié)果圖進(jìn)行對(duì)比可以看出，由于本文單獨(dú)對(duì)圖像的色彩飽和度進(jìn)行了調(diào)整，故經(jīng)本文所提算法處理后的圖像色彩更加飽滿(mǎn)，逼真度較高，更加貼合于圖像中所表現(xiàn)物體的原有色彩，而EFF算法的整體色彩風(fēng)格偏冷色調(diào)，色彩對(duì)比度較低。就主觀(guān)評(píng)價(jià)來(lái)說(shuō)，本文算法總體表現(xiàn)較好，其增強(qiáng)結(jié)果符合主觀(guān)視覺(jué)感受。

2.2 客觀(guān)評(píng)價(jià)

為從客觀(guān)方面進(jìn)一步驗(yàn)證本文所提算法的有效性，選取了兩種基于無(wú)參考圖像的圖像質(zhì)量評(píng)價(jià)指標(biāo)PIQE、NIQE以及圖像信息熵值ENT[18-20]共3種客觀(guān)評(píng)價(jià)指標(biāo)對(duì)本文的所有實(shí)驗(yàn)對(duì)比圖進(jìn)行質(zhì)量評(píng)價(jià)，其中，評(píng)價(jià)指標(biāo)PIQE、NIQE的測(cè)定結(jié)果值與圖像質(zhì)量成反比，即無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)PIQE、NIQE的測(cè)定結(jié)果值越小，圖像質(zhì)量越高，此兩種無(wú)參考圖像評(píng)價(jià)指標(biāo)的測(cè)定值范圍均在0～100之間；而信息熵值ENT的數(shù)值大小則與圖像質(zhì)量成正比，單幅圖像的信息熵值測(cè)定值越大，表明該圖像所包含的信息量越多，圖像質(zhì)量越高。3種圖像質(zhì)量評(píng)價(jià)指標(biāo)的測(cè)定結(jié)果見(jiàn)表1(測(cè)定結(jié)果值均保留兩位有效數(shù)字)，無(wú)參考圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)PIQE和NIQE的折線(xiàn)圖統(tǒng)計(jì)如圖13、圖14所示。

表1 客觀(guān)評(píng)價(jià)結(jié)果

圖13 NIQE折線(xiàn)圖

圖14 PIQE折線(xiàn)圖

從表1中的數(shù)據(jù)統(tǒng)計(jì)結(jié)果可以看出，本文算法增強(qiáng)結(jié)果圖像的3種評(píng)價(jià)指標(biāo)值均取得了較好的測(cè)定結(jié)果值。兩種無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)PIQE和NIQE的測(cè)定結(jié)果值表明，本文算法的圖像處理結(jié)果相對(duì)4種比較算法的處理結(jié)果來(lái)說(shuō)具有更好的數(shù)值測(cè)定結(jié)果，即本文算法的圖像增強(qiáng)結(jié)果具有更好的色彩效果和較高的亮度，圖像整體表現(xiàn)自然，更加符合人眼主觀(guān)視覺(jué)感受；結(jié)合二者的折線(xiàn)統(tǒng)計(jì)圖看來(lái)，本文所提算法結(jié)果圖像的PIQE、NIQE測(cè)定值相對(duì)波動(dòng)最小，說(shuō)明該算法對(duì)低照度圖像的增強(qiáng)效果較穩(wěn)定。除此之外，綜合所有增強(qiáng)結(jié)果圖的ENT測(cè)定值可知，本文算法的最終測(cè)定結(jié)果值相對(duì)較高，沒(méi)有位于測(cè)定結(jié)果值末尾的數(shù)據(jù)出現(xiàn)，該結(jié)果表明經(jīng)本文算法處理后的圖像相較于其它4種對(duì)比算法保有更多的圖像信息。就客觀(guān)評(píng)價(jià)而言，本文算法是一種較好的、有效的算法。

3 結(jié)束語(yǔ)

本文提出了一種類(lèi)屬于非物理模型的低照度圖像增強(qiáng)算法，并采用了4種低照度圖像增強(qiáng)算法與所提算法進(jìn)行對(duì)比實(shí)驗(yàn)，以此來(lái)驗(yàn)證所提算法的有效性。最終，對(duì)比實(shí)驗(yàn)的主觀(guān)評(píng)價(jià)結(jié)果和客觀(guān)評(píng)價(jià)結(jié)果均表明本文算法是一種對(duì)低照度圖像進(jìn)行增強(qiáng)處理行之有效的方法，經(jīng)本文算法增強(qiáng)處理后的圖像色彩逼真、亮度提升幅度大、客觀(guān)評(píng)價(jià)指標(biāo)測(cè)定值較好，增強(qiáng)結(jié)果符合人眼主觀(guān)視覺(jué)感受。相較于4種比較算法的增強(qiáng)結(jié)果，本文算法增強(qiáng)結(jié)果綜合表現(xiàn)最優(yōu)，能夠滿(mǎn)足低照度圖像的增強(qiáng)要求。