基于明度分量的Retinex-Net 圖像增強改進(jìn)方法*

張航瑛 王雪琦 王華英 曹良才?

1) (清華大學(xué)精密儀器系,精密測試技術(shù)與儀器國家重點實驗室,北京 100084)

2) (河北工程大學(xué)數(shù)理科學(xué)與工程學(xué)院,邯鄲 056038)

1 引言

現(xiàn)代生活工作中,人們無可避免會在低照度條件下獲取圖像.從原始的低照度圖像中,很難直觀地提取有效信息,不僅影響視覺效果而且對后續(xù)使用造成困難[1].因此低照度條件下的圖像增強技術(shù)一直是圖像算法中的一個具有挑戰(zhàn)性的問題[2-5].

Retinex 理論是一類有效的低照度圖像增強方法,該理論是依據(jù)成像過程而建立起來的圖像增強模型[6-8].基于顏色感知的一致性假設(shè),Retinex 理論在圖像增強技術(shù)中發(fā)揮著重要作用[9].Retinex理論的早期嘗試有單尺度Retinex 算法(single scale Retinex,SSR)[10]和多尺度Retinex 算法(multi scale Retinex,MSR)[11].SSR 算法通過高斯濾波器將光照圖像約束為一個平滑函數(shù),MSR 算法則通過多尺度高斯濾波器約束擴展了SSR 算法的功能.隨后,帶有色彩恢復(fù)的多尺度Retinex 算法(multi scale Retinex with color restoration,MSRCR)[12]被提出,使得該類算法得到了更為廣泛的關(guān)注.近年來,與經(jīng)典算法相結(jié)合的各種派生算法相繼被提出[13-15].例如,Kwon 等[16]提出了一種基于視覺亮度函數(shù)的多尺度亮度自適應(yīng)變換,用于增強渲染圖像的對比度和飽和度.Yang 等[17]利用雙邊濾波通過轉(zhuǎn)變色彩空間估計出光照圖像,實現(xiàn)了亮度的增強.Wang 等[18]提出了一種針對非均勻照明保持自然性的增強算法,一定程度上保持了圖像的自然性,但是亮度增強不明顯.Fu 等[19]提出一種加權(quán)變分模型來同時估計反射圖像和照明圖像,然后通過調(diào)整亮度來生成增強圖像.Guo 等[20]通過使用先驗結(jié)構(gòu)來細(xì)化估計光照圖像,結(jié)合相應(yīng)的反射圖像得到最終的增強結(jié)果.然而,許多實驗結(jié)果表明,上述基于 Retinex 理論的圖像增強方法仍然存在“光暈偽影”、圖像過度增強和計算效率低等缺陷[18-22].

近年來,隨著深度學(xué)習(xí)算法的進(jìn)步,低照度圖像增強也實現(xiàn)了深度處理[23-25].Lore 等[26]提出一種使用深度自編碼器學(xué)習(xí)完成低照度圖像增強的方法,證明了基于合成數(shù)據(jù)訓(xùn)練的堆疊稀疏去噪自編碼器可以同時實現(xiàn)對比度增強和圖像去噪.Wang等[27]利用全局光照感知和細(xì)節(jié)網(wǎng)絡(luò)對原始光照情況進(jìn)行估計,利用原始圖像對細(xì)節(jié)進(jìn)行補充,實現(xiàn)了低照度圖像增強.He 等[28]依據(jù)U-Net 網(wǎng)絡(luò),利用照明保護(hù)的方式來抑制過曝光及亮度增強不足的區(qū)域.Wei 等[29]利用光照一致性假設(shè)結(jié)合全變分約束理論,設(shè)計出一種深度卷積神經(jīng)網(wǎng)絡(luò)Retinex-Net,依據(jù)Retinex 原理把圖像分解為反射圖和照明圖,利用增強網(wǎng)絡(luò)提高低照度圖像照明圖的亮度,最后進(jìn)行用元素級相乘得到最終的增強圖像.然而上述基于RGB 色彩空間模型實現(xiàn)的圖像增強,在RGB 三原色相關(guān)性的影響下,增強圖像時容易出現(xiàn)色彩失真的現(xiàn)象[30-32].

為了解決網(wǎng)絡(luò)算法中RGB 三原色之間相關(guān)性引起的色彩失真問題,本文以Retinex-Net 算法為例,提出了一種在HSV 色彩空間進(jìn)行的Retinex網(wǎng)絡(luò)改進(jìn)方法.該方法首先把低照度RGB 圖像轉(zhuǎn)換到HSV 色彩空間,然后利用Retinex 分解網(wǎng)絡(luò)對明度分量進(jìn)行分解增強后,將HSV 色彩空間轉(zhuǎn)換回RGB 色彩空間,最后采用小波變換圖像融合技術(shù),與原始低照度圖像進(jìn)行融合,消除初始增強圖像中的過曝光現(xiàn)象.為簡潔起見,下文簡稱所提方法為ARN(advanced Retinex-net)方法.

2 改進(jìn)的Retinex 網(wǎng)絡(luò)方法

2.1 HSV 色彩空間和算法整體結(jié)構(gòu)

基于人眼對視覺的感知,在HSV 色彩空間中顏色由色相(hue,H),飽和度(saturation,S),明度(value,V)分量共同決定,3 個分量相互獨立,可以對各色彩分量進(jìn)行單獨的提取與變換.而在RGB 色彩空間中紅綠藍(lán)3 個分量相互耦合在一起,Retinex-Net 方法直接對RGB 圖像進(jìn)行增強處理破壞了各顏色通道之間的相互關(guān)系,致使色彩失真.在處理低照度圖像時,本文提出僅對明度分量進(jìn)行增強,這有利于在色彩增強過程中保持原本圖像的色彩信息,同時降低圖像信息處理的數(shù)據(jù)量與復(fù)雜性,增加了訓(xùn)練結(jié)果的可靠性.所以本文首先把低照度圖像轉(zhuǎn)換到HSV 色彩空間,(1)式為RGB 色彩空間轉(zhuǎn)化到HSV 色彩空間的轉(zhuǎn)化公式:

式中,R,G,B分別表示RGB 色彩空間中紅綠藍(lán)三通道各像素點的數(shù)值,Mmax和Mmin分別表示紅綠藍(lán)三通道中的最大值與最小值.

Retinex 理論的數(shù)學(xué)表達(dá)式為

式中,S代表觀測圖像,I代表照明圖像分量,R代表物體反射圖像分量.如圖1(a) 所示,Retinex 理論認(rèn)為人類所觀測的圖像由照明分布情況和物體對光的反射情況組合決定,并且物體對光的反射能力是物體本身的固有屬性,其不隨光照條件的變化而改變.這里對Retinex 的算術(shù)思想進(jìn)行一個簡單的介紹,在對(2)式進(jìn)行對數(shù)變換后,可以得到

基于對數(shù)的算術(shù)性質(zhì),通過對

進(jìn)行簡單變形即可求出反射圖像分量,整個流程如圖1(b)所示.

圖1 (a) Retinex 成像理論模型;(b) Retinex 算術(shù)思想簡介Fig.1.(a) Retinex imaging theoretical model;(b) arithmetic ideas of Retinex algorithm.

圖2 為本文所提算法的結(jié)構(gòu)框架,其中分解網(wǎng)絡(luò)依據(jù)Retinex 理論,在V分量上進(jìn)行低照度圖像到正常照度圖像之間的映射關(guān)系學(xué)習(xí),把低照度圖像的V分量分解為反射圖像和照明圖像2 個分量.增強網(wǎng)絡(luò)利用低照度圖像V分量和分解后得到的圖像分量進(jìn)行亮度增強,網(wǎng)絡(luò)采用端到端的訓(xùn)練方式.為了保持H分量,S分量與V分量的尺寸一致性,本文采用最近鄰點插值的方式提高H分量與S分量的分辨率.

圖2 改進(jìn)的Retinex 網(wǎng)絡(luò)增強算法流程圖Fig.2.Flow chart of the advanced Retinex network enhancement algorithm.

2.2 Retinex 分解網(wǎng)絡(luò)改進(jìn)

分解網(wǎng)絡(luò)采用類似于Retinex-Net 的分解網(wǎng)絡(luò)架構(gòu)設(shè)計[29],依據(jù)Retinex 原理進(jìn)行圖像分解,為了使文章表述更簡明清晰,下文中如無特殊說明,所提低照度圖像與正常照度圖像均代指低照度圖像與正常照度圖像的V分量.依據(jù)低照度圖像和正常照度圖像具有一致的反射圖像分量,以及照明圖像分量在平滑的同時需要保留一定的邊緣結(jié)構(gòu),把圖像分解為2 個部分,分別是V分量的反射圖像和V分量的照明圖像.分解網(wǎng)絡(luò)包含7 個卷積層,依次提取圖像特征信息,最后得到反射圖像分量和照明圖像分量,表1 為分解網(wǎng)絡(luò)的具體結(jié)構(gòu)框架.

表1 V 分量分解網(wǎng)絡(luò)結(jié)構(gòu)Table 1.V-component decomposition network structure.

分解網(wǎng)絡(luò)同時對低照度圖像和正常照度圖像進(jìn)行分解,由于低照度圖像和正常照度圖像的2 個圖像分量均可以用來重新構(gòu)建圖像V分量,因此重構(gòu)損失函數(shù)可表示為

式中,Rlow和Rnormal分別表示低照度圖像和正常照度圖像的反射圖像分量,Ilow和Inormal分別表示低照度圖像和正常照度圖像的照明圖像分量,Vlow和Vnormal分別表示低照度圖像V分量和正常照度圖像V分量,λij表示對應(yīng)重構(gòu)圖像的權(quán)重信息.

依據(jù)低照度圖像和正常照度圖像具有一致的反射率,構(gòu)造反射一致性損失函數(shù)如(10)式所示:

照明圖像在紋理細(xì)節(jié)方面應(yīng)該保持平滑,在物體邊緣部分應(yīng)該保持一定的結(jié)構(gòu)特性.總變分模型(total variation,TV)在計算圖像梯度方面應(yīng)用廣泛,作為損失函數(shù)能夠約束圖像保持平滑,在此基礎(chǔ)上,對圖像結(jié)構(gòu)劇烈變化的邊緣區(qū)域,應(yīng)用反射圖像分量的變分模型并增加照明圖像分量的變分模型權(quán)重,最終得到的光照平滑損失函數(shù)如(7)式所示:

式中,?包含了水平和豎直2 個方向的偏導(dǎo)數(shù),λg表示了結(jié)構(gòu)感知系數(shù).最后分解網(wǎng)絡(luò)的總損失函數(shù)為上述幾種損失函數(shù)的加權(quán)總和:

式中,λir和λis分別表示了平滑損失和重構(gòu)損失的權(quán)重信息.

2.3 Retinex 增強網(wǎng)絡(luò)改進(jìn)

增強網(wǎng)絡(luò)通過1 個編碼與解碼的整體框架來實現(xiàn),整體為1 個U 型網(wǎng)絡(luò)結(jié)構(gòu),利用低照度圖像信息及反射圖像分量和照明圖像分量,通過1 個端到端的神經(jīng)網(wǎng)絡(luò)框架,實現(xiàn)低照度圖像到正常照度圖像的映射,表2 為增強網(wǎng)絡(luò)的具體結(jié)構(gòu)框架.同上,下文中如無特殊說明,所提初步增強圖像與正常照度圖像均代指初步增強圖像與正常照度圖像的V分量.為了提高圖像整體的清晰度,恢復(fù)圖像的細(xì)節(jié)信息,首先用上采樣函數(shù)對圖像進(jìn)行上采樣提高分辨率,再經(jīng)過逐層下采樣得到圖像的全局分布信息,在上采樣過程中,引入了對應(yīng)鏡像塊,使全局上下文信息保持一致,并使用最近鄰點插值的方法增大分辨率.經(jīng)過1 個1×1 的卷積層來連接所有特征,最后用1 個3×3 的卷積層來重構(gòu)圖像的V分量.其中out3 up,de1 up,de2 up,de1 r,de2 r 分別為out3,de1,de2,de1,de2 利用最近鄰點插值方法增大分辨率之后的圖像,使同一層網(wǎng)絡(luò)的輸入端有相同的分辨率.

表2 V 分量增強網(wǎng)絡(luò)結(jié)構(gòu)Table 2.V-component enhancement network structure.

增強網(wǎng)絡(luò)的損失函數(shù)包含2 個部分,其中初步增強圖像理應(yīng)與正常照度圖像在V分量上具有一定的結(jié)構(gòu)相似性,因此,這里選用結(jié)構(gòu)相似性作為損失函數(shù)來判斷2 個圖像的相似程度:

式中,μx和μy代表了初步增強圖像和正常照度圖像的均值,σx和σy代表了初步增強圖像和正常照度圖像的方差,為避免分母為0,C1和C2是2 個極小的常數(shù),分別取0.012和0.032.

利用初步增強圖像和正常照度圖像的一致性構(gòu)建另外1 個損失函數(shù)為

式中,Vnew表示初步增強圖像的V分量,Vhigh-normal表示正常照度圖像的V分量.則增強網(wǎng)絡(luò)的總損失函數(shù)為

式中λs表示權(quán)重信息,本文中取1,得到增強后的V分量.

2.4 圖像融合

將HSV 色彩空間轉(zhuǎn)回RGB 色彩空間,得到初步增強的RGB 圖像后,本文采用小波變換融合的方法來抑制過曝光現(xiàn)象.二維小波變換是在行和列上依次進(jìn)行一維小波變換,分別為低低、低高、高低、高高頻段,在下一層分解中低低頻段再次被分解.采用sym4 函數(shù)作為小波基函數(shù),sym4 函數(shù)源自Symlet 的函數(shù)系,是一組近似對稱的緊支正交小波函數(shù),在保留Daubechies 小波系優(yōu)勢的同時,具有較好的正則性,即該小波作為稀疏基所引入的光滑誤差很小,使得信號重構(gòu)過程比較光滑,同時具有對稱性,從而在處理圖像信號時避免失真問題.sym4 函數(shù)作為沒有具體的表達(dá)式的小波基函數(shù),如圖3 所示為sym4 函數(shù)的尺度函數(shù)(scale function)和3 個小波函數(shù)(wavelet function)的示意圖.

小波變換有可以把圖像分解為不同頻段的優(yōu)勢,對不同頻段的圖像信息分別進(jìn)行融合處理[33]:

為本文采用的高頻信息(high frequency,HF)和低頻信息(low frequency,LF)融合方式與過曝光區(qū)域所占比例(ratio,R)的關(guān)系,通過融合方法能夠?qū)崿F(xiàn)圖像信息互補,去除融合前模糊不清的區(qū)域.

3 實驗結(jié)果分析

為驗證所提ARN 算法的效果,本文選取了MSRCR[12],自適應(yīng)伽馬校正(automatic gamma correction,Auto GC)[30],Retinex-Net[29]算法作為對比算法,從主觀視覺效果和客觀評價指標(biāo)2 個方面進(jìn)行了驗證分析.需要說明的是,本文ARN 算法中選用了與Retinex-Net 算法一致的數(shù)據(jù)訓(xùn)練集(low light paired dataset,LOL)[29].

3.1 主觀評價

在主觀視覺效果方面,如圖4 所示,自上而下選取了6 組不同場景的圖像,其中第1、第2 組是自然景觀圖像,第3、第4 組是人文街景圖像,第5、第6 組是室內(nèi)場景圖像.從左到右各列依次為原始低照度圖像,MSRCR 算法,Auto GC 算法,Retinex-Net 算法和ARN 算法的增強效果圖.

從圖4 中的結(jié)果可以看出,MSRCR 算法增強圖像的整體清晰度不佳,而且在圖像色彩保持上也存在一定缺陷,很多物體的顏色都偏向白色,有明顯的褪色現(xiàn)象.Auto GC 算法在提升圖像亮度方面效果不足,以至不能恢復(fù)出圖像中更多的信息.Retinex-Net 算法的增強圖像中色彩明顯失真,部分圖像有明顯的油墨感.本文所提的ARN 算法增強效果則更加可靠,整體視覺效果也更加自然真實.

圖5 為圖4 中圖像局部放大的效果圖.從圖中可進(jìn)一步看出MSRCR 算法得到的結(jié)果亮度提升明顯,但是由于缺少一致性約束,增強圖像的亮度無法與原始圖像保持一致的亮度分布特征,部分區(qū)域出現(xiàn)亮度失真,例如圖像中光源區(qū)域和天空區(qū)域.Auto GC 算法在圖像對比度提升方面表現(xiàn)不夠,存在一定的色差問題,導(dǎo)致圖像整體色彩感暗淡,而且有明顯的細(xì)節(jié)丟失問題.Retinex-Net 算法沒有考慮到紅綠藍(lán)三通道之間的相關(guān)性,增強過程中無法保持色彩自然性,而且在圖像邊緣部分出現(xiàn)細(xì)節(jié)增強過度現(xiàn)象,造成偽影的存在.本文所提的ARN 算法相比其他方法借助HSV 色彩空間的優(yōu)勢,在保持結(jié)構(gòu)的同時,保留了圖像原本的大部分信息,最大程度地避免了色彩失真.

圖4 不同算法對比效果圖Fig.4.Comparison of different algorithms.

圖5 不同算法增強效果局部放大圖Fig.5.Local enlarged view of the enhancement effect of different algorithms.

3.2 客觀評價

在客觀評價指標(biāo)方面,本文選取了NIQE 值(natural image quality evaluator,NIQE)[34],信息熵(entropy),標(biāo)準(zhǔn)差(standard deviation,SD)3 個常用的無參考指標(biāo)作為圖像質(zhì)量客觀評價的標(biāo)準(zhǔn).其中,NIQE 值是提取圖像中的自然特征擬合成1 個多元的高斯模型,利用這一模型對圖像進(jìn)行評價,本質(zhì)上是衡量1 張待測圖像在多元分布上的差異,NIQE 值越小代表圖像有更好的視覺效果,更加符合人眼的視覺習(xí)慣.信息熵是從信息論角度反映圖像信息豐富程度的一種度量方式,是圖像信息量的1 個統(tǒng)計指標(biāo),信息熵越大表示圖像攜帶的信息量越豐富,質(zhì)量也越好.標(biāo)準(zhǔn)差是圖像對比度的衡量指標(biāo),暗弱圖像的對比度比正常照度圖像的對比度會低很多.

表3 為6 組圖像的NIQE,信息熵和標(biāo)準(zhǔn)差3 組無參考指標(biāo)的數(shù)值結(jié)果.同時,為增加計算結(jié)果的可靠性,本文計算了6 組圖像的各個指標(biāo)的均值,如圖6 所示為各評價指標(biāo)均值的對比變化情況.從表3 和圖6 中可以注意到,與MSRCR 算法相比,本文所提ARN 算法的NIQE 值平均降低了29.60%,信息熵平均提高了12.00%,標(biāo)準(zhǔn)差平均提升了52.71%;與Auto GC 算法相比,本文所提ARN 算法的NIQE 值平均降低了25.43%,信息熵平均提升了14.88%,標(biāo)準(zhǔn)差平均提升了34.05%;與Retinex-Net 算法相比,本文所提ARN 算法的NIQE 值平均降低了19.49%,信息熵平均提高了3.84%,標(biāo)準(zhǔn)差平均提升了41.35%.綜上,通過3 個客觀評價指標(biāo)的比對,可以得出結(jié)論,本文所提ARN 算法在提升原始低照度圖像的對比度,保持圖像細(xì)節(jié)信息和更加自然真實的增強圖像視覺效果等方面具有明顯優(yōu)勢.

表3 不同圖像的客觀評價指標(biāo)Table 3.Objective evaluation metrics for different images.

圖6 不同方法圖像評價指標(biāo)的均值變化情況Fig.6.Changes in mean values of image evaluation metrics for different methods.

4 總結(jié)

為了解決低照度條件下圖像可見度差和色彩失真等問題,本文提出了一種改進(jìn)的Retinex 網(wǎng)絡(luò)方法.所提方法首先對RGB 圖像進(jìn)行HSV 色彩空間變換,利用Retinex 分解網(wǎng)絡(luò)僅針對HSV 色彩空間中的明度分量進(jìn)行分解增強,并通過上采樣操作增大明度分量的分辨率.然后對色相分量和飽和度分量,運用最近鄰插值增大其分辨率,結(jié)合增強的明度分量轉(zhuǎn)換回RGB 空間,得到初始增強圖像.最后采用小波變換圖像融合技術(shù),與原始低照度圖像進(jìn)行融合,消除初始增強圖像中的過曝光現(xiàn)象.通過實驗分析表明,本文所提算法在低照度圖像亮度增強與色彩恢復(fù)方面具有明顯優(yōu)勢.特別是與原Retinex 網(wǎng)絡(luò)方法相比,NIQE 值平均下降了19.49%,圖像標(biāo)準(zhǔn)差平均增加了41.35%.今后還將繼續(xù)優(yōu)化算法,進(jìn)一步提高算法對紋理細(xì)節(jié)等方面的保持能力.