基于加權(quán)結(jié)構(gòu)感知和霧天退化模型的低照度圖像增強(qiáng)方法

姚 斌， 魏玄穎， 韓 振， 何立風(fēng)，2

(1.陜西科技大學(xué) 電子信息與人工智能學(xué)院， 陜西 西安 710021； 2.日本愛知縣立大學(xué) 信息科學(xué)學(xué)院， 日本愛知縣 長(zhǎng)久手市 4801198)

0 引言

視覺是人類獲取信息的主要方式，而圖像是視覺信息的主要載體，因此，計(jì)算機(jī)視覺的主要任務(wù)之一就是從圖像中獲取有用的信息.在圖像采集過程中，由于環(huán)境光照不足或受圖像采集設(shè)備本身的制約，所得到的圖像易存在對(duì)比度低、顏色欠飽和等問題，使得很多重要信息湮沒在亮度較低的區(qū)域，這將給圖像處理系統(tǒng)后端的分類、跟蹤、識(shí)別等應(yīng)用帶來極為不利的影響.

目前，低照度圖像增強(qiáng)方法主要分為傳統(tǒng)方法和深度學(xué)習(xí)方法.傳統(tǒng)方法中，灰度變換[1]和直方圖均衡化方法[2]實(shí)現(xiàn)簡(jiǎn)單，有著較高的運(yùn)行效率；Retinex(Retina & Cortex)方法[3]以其簡(jiǎn)明的物理模型倍受研究者青睞，基于該模型的MSRCR(Multi-Scale Retinex with Color Restoration)方法及近年來的LIME[4](Low-light Image Enhancement via Illumination Map Estimation)，SRIE[5](Simultaneous Reflectance and Illumination Estimation)，SRLLIE[6](Structure-Revealing Low-Light Image Enhancement)方法在不同場(chǎng)景下各自有著較為優(yōu)秀的效果；圖像融合方法[7]通過采集多張圖像，從中分別提取有用的信息以生成高質(zhì)量的圖像.深度學(xué)習(xí)方法近年來發(fā)展迅猛，RetinexNet[8]等低照度增強(qiáng)網(wǎng)絡(luò)在部分場(chǎng)景下取得了優(yōu)異的增強(qiáng)效果.針對(duì)該類方法依賴配對(duì)數(shù)據(jù)集的問題，EnlightenGan[9]、Zero-DCE[10](Zero-reference Deep Curve Estimation)等方法通過對(duì)抗網(wǎng)絡(luò)和像素的高階映射方程，實(shí)現(xiàn)了基于深度學(xué)習(xí)網(wǎng)絡(luò)的無監(jiān)督低照度增強(qiáng)方法，避免了對(duì)配對(duì)數(shù)據(jù)集的依賴.

上述方法中，灰度變換和直方圖均衡化算法實(shí)現(xiàn)簡(jiǎn)單，對(duì)低照度圖像增強(qiáng)效果顯著.但是，此類方法容易丟失色彩細(xì)節(jié)且產(chǎn)生雜色噪聲，從而導(dǎo)致增強(qiáng)后的圖像失真；Retinex方法假設(shè)光照是緩慢變化的，這一嚴(yán)苛的先驗(yàn)條件導(dǎo)致該方法增強(qiáng)的圖像在光線驟變的區(qū)域易產(chǎn)生光暈現(xiàn)象；圖像融合方法和深度學(xué)習(xí)方法分別對(duì)圖像采集設(shè)備和圖像運(yùn)算設(shè)備有著較高的性能要求，從而導(dǎo)致該類方法適用性受限.

Dong等[11]提出了一種基于去霧方法的低照度增強(qiáng)方法.他們?cè)趯?shí)驗(yàn)中發(fā)現(xiàn)，反轉(zhuǎn)的低照度圖像在視覺效果上和直方圖上都與有霧圖像相似,因此可以使用去霧方法處理低照度圖像.

基于這一發(fā)現(xiàn)，Wei等[12]進(jìn)一步改善了算法性能，然而其透射率由Lab色彩空間的L分量計(jì)算而來，導(dǎo)致增強(qiáng)效果不足；Jiang等[13]使用濾波算子平滑透射率，在克服增強(qiáng)結(jié)果塊效應(yīng)的同時(shí)也造成了紋理細(xì)節(jié)丟失.

該類方法的核心在于針對(duì)反轉(zhuǎn)低照度擬霧圖像的去霧操作.和真實(shí)的霧天圖像不同，擬霧圖像有其固有的特點(diǎn)，例如低照度圖像反轉(zhuǎn)后會(huì)嚴(yán)重過曝、擬霧效果不均勻等.針對(duì)上述問題，本文使用遞歸四叉樹確定大氣光，結(jié)合中值濾波和邊界約束估算粗略透射率，并導(dǎo)入一個(gè)具有結(jié)構(gòu)感知性的權(quán)重算子輔助計(jì)算精細(xì)透射率，綜合上述方法，提出了一種基于霧天退化模型的低照度圖像增強(qiáng)方法.

1 去霧方法和低照度圖像增強(qiáng)的關(guān)系

當(dāng)前，圖像的去霧方法眾多.其中，基于霧天退化模型[14]的方法因其良好的物理解釋性和出眾的去霧效果而廣泛受到研究者青睞.本文提出的方法也基于霧天退化模型.

在RGB色彩空間中，低照度圖像和其反轉(zhuǎn)圖像的數(shù)學(xué)表達(dá)式為：

Ic(x)=255-Dc(x)

(1)

式(1)中：Dc(x)和Ic(x)分別是原始低照度圖像和反轉(zhuǎn)后的低照度圖像中顏色通道c的強(qiáng)度.

因此，根據(jù)Dong等[11]提出的方法，將低照度圖像反轉(zhuǎn)，獲得擬霧圖像；然后使用去霧算法對(duì)其進(jìn)行去霧處理，獲得去霧圖像；最后再反轉(zhuǎn)去霧圖像，即可得增強(qiáng)的低照度圖像.

1.1 霧天退化模型

McCartney等[15]提出的霧天退化模型是計(jì)算機(jī)視覺領(lǐng)域中最為常見的描述霧霾圖像的數(shù)學(xué)模型，該模型的表達(dá)式為：

I(x)=J(x)t(x)+A(1-t(x))

(2)

式(2)中：x為像素坐標(biāo)，I(x)和J(x)分別表示帶霧圖像和無霧圖像；A表示圖像環(huán)境中大氣光照度的數(shù)值；t(x)是像素x處值域?yàn)閇0,1]的透射率函數(shù).根據(jù)式(1)，待恢復(fù)的圖像表達(dá)式為：

(3)

式(3)中：t0是為了避免透射率過小而設(shè)的保護(hù)系數(shù)，數(shù)值一般為0.1.

由式(3)易知，基于霧天退化模型的圖像去霧操作，即是使用各類先驗(yàn)知識(shí)確定透射率t(x)和大氣光值A(chǔ)，進(jìn)而求解J(x)的過程.

1.2 暗通道先驗(yàn)理論

He等[16]所提出的暗通道先驗(yàn)理論是基于霧天退化模型的經(jīng)典去霧方法之一.這一先驗(yàn)理論用公式描述為：

(4)

式(4)中：Jc表示無霧圖像中顏色通道c的強(qiáng)度；Ω(x)表示以像素x為中心、棋盤距離為r的正方形局部鄰域；Jdark表示該正方形局部鄰域的暗通道.

根據(jù)式(3)可知，求解無霧圖像，未知因子有透射率t(x)和大氣光值A(chǔ).

在暗通道方法中，大氣光值A(chǔ)采用全局檢測(cè)的方法.但該方法易受圖像中的白色物體或高亮點(diǎn)光源的影響，使得大氣光選擇偏大，從而導(dǎo)致結(jié)果過增強(qiáng).

(5)

在真實(shí)的有霧圖像中，霧氣呈均勻分布，因此這一假設(shè)成立.而在反轉(zhuǎn)的擬霧圖像中，“霧氣”分布只與原圖明暗有關(guān).因此，暗通道方法中透射率計(jì)算的先驗(yàn)條件過于嚴(yán)苛，不適用于反轉(zhuǎn)的擬霧圖像.

進(jìn)一步地，式(5)求得的透射率為塊狀粗略透射率，直接用于去霧算法會(huì)導(dǎo)致嚴(yán)重的塊效應(yīng).常用的雙邊濾波、高斯濾波等處理手段能起到平滑透射率、降低增強(qiáng)結(jié)果塊效應(yīng)的作用，但是這類濾波算法沒有考慮圖像的結(jié)構(gòu)信息，缺乏結(jié)構(gòu)感知性，從而導(dǎo)致增強(qiáng)結(jié)果存在光暈、偽影等圖像劣化現(xiàn)象.針對(duì)這一問題，He使用軟摳圖并取得了較好的效果，隨后，他使用導(dǎo)向?yàn)V波替代軟摳圖，進(jìn)一步提升了算法效率.Meng等[17]通過使用基于上下文正則化的L1范數(shù)解決這一問題.

2 本文提出的方法

2.1 基于暗通道四叉樹的大氣光值計(jì)算

大氣光通常被認(rèn)為是圖像中最接近白色的顏色，即RGB三通道中強(qiáng)度值最高、最接近(255,255,255)的顏色.同時(shí)，有霧圖像中霧氣的顏色也呈接近(255,255,255)的趨勢(shì)，且霧氣越濃，顏色的三通道強(qiáng)度值越高.因此，現(xiàn)有算法中通常將有霧圖像中RGB三通道強(qiáng)度值最高的區(qū)域顏色視為大氣光值.Kim等[18]認(rèn)為，有霧區(qū)域像素方差值一般較小，即有霧區(qū)域內(nèi)圖像像素間的差異較小，這樣可以排除那些存在高亮像素點(diǎn)但細(xì)節(jié)較多的區(qū)域.根據(jù)此特征，Kim提出了一種稱為四叉樹子空間劃分的層次搜索方法：對(duì)原圖進(jìn)行四叉樹劃分，選擇平均亮度最高的子塊，迭代上述過程，直至塊尺寸小于預(yù)設(shè)閾值，選取塊中亮度最高的點(diǎn)作為A值.

本文受其啟發(fā)，兼顧考慮高亮像素區(qū)域?qū)Υ髿夤庥?jì)算的負(fù)面影響，提出了一種基于暗通道的四叉樹子空間劃分大氣光值計(jì)算方法，即：使用一個(gè)固定尺寸的滑動(dòng)窗口遍歷原圖獲得暗通道圖像，然后對(duì)暗通道圖像進(jìn)行四叉樹計(jì)算，獲取平均亮度最高的子塊，最后遍歷該子塊在原圖中的位置，得到最亮的像素點(diǎn)，將該點(diǎn)的RGB值用作大氣光值.

2.2 基于邊界約束和中值濾波的粗略透射率計(jì)算

由式(1)和式(2)可知，在圖像的無窮遠(yuǎn)處，即d(x)→∞時(shí)，易得I(x)=A.在圖像中其他有霧氣覆蓋的區(qū)域，受霧氣影響，其RGB通道的強(qiáng)度值也不同程度接近大氣光值A(chǔ)，即I(x)→A.因此，初始化透射率t的過程，即是根據(jù)式(2)外推J(x)的過程.

在任意RGB色彩空間的圖像中，無霧圖像J(x)的RGB強(qiáng)度值必然被限制在一個(gè)固定區(qū)間內(nèi)，即：

C0≤J(x)≤C1

(6)

該條件可看作是對(duì)圖像中任意J(x)所施加的基于RGB三通道的邊界約束，其示意圖如圖1所示.其中坐標(biāo)軸分別為RGB通道.C1和C0是兩個(gè)常數(shù)向量，分別代表約束的上值和下值，該數(shù)值需要根據(jù)實(shí)際圖像人為確定.由其圍成的6個(gè)面構(gòu)成了約束的上界和下界，約束了J(x)的取值范圍.

圖1 邊界約束示意圖

綜合式(3)和式(6)，得邊界約束反作用于透射率t(x)的兩則不等式：

(7)

(8)

式(7)、(8)中：α是一個(gè)用于避免分母為0的極小常數(shù)項(xiàng)，Ac是大氣光中對(duì)應(yīng)RGB通道的強(qiáng)度值.

暗通道先驗(yàn)方法假設(shè)局部透射率是不變的.而反轉(zhuǎn)的擬霧圖像中，“霧”的分布完全不服從物理規(guī)律，故這一前提條件在反轉(zhuǎn)的擬霧圖像中很難成立.因此，本文結(jié)合式(7)和式(8)，采用了一種基于中值濾波的粗略透射率計(jì)算方法，其表達(dá)式如下：

(9)

式(9)中：Ωr(y)和Ωr(z)分別代表以y和z為中心，棋盤距離為r的正方形窗口子塊.max為最大值操作，用于處理圖像中高亮點(diǎn)所導(dǎo)致的t(x)為負(fù)的異常情況.med為中值濾波操作，該濾波的使用避免了透射率的急劇變化，這一非線性濾波在抑制圖像噪聲的同時(shí)，還在一定程度起到了保留邊緣信息的效果.圖2為該方法計(jì)算所得的粗略透射率圖.

2.3 基于加權(quán)結(jié)構(gòu)感知的精細(xì)透射率計(jì)算

圖2 基于邊界約束和中值濾波的粗略透射率圖

精準(zhǔn)的透射率圖應(yīng)具有良好的結(jié)構(gòu)感知性，體現(xiàn)在兩方面：平滑的灰度過渡和清晰的紋理邊緣刻畫.本文導(dǎo)入了一個(gè)權(quán)重函數(shù)和保邊算子，并設(shè)計(jì)了一個(gè)精細(xì)化透射率的目標(biāo)函數(shù).通過最小化求解該目標(biāo)函數(shù)，可得到具有結(jié)構(gòu)感知性的精細(xì)化透射率t.該目標(biāo)函數(shù)如下：

(10)

該目標(biāo)函數(shù)的核心，在于導(dǎo)入了一個(gè)關(guān)于相鄰像素RGB向量強(qiáng)度平方差的權(quán)重函數(shù)：

(11)

該權(quán)重函數(shù)的設(shè)計(jì)思路是：當(dāng)相鄰的x、y兩像素差異較大時(shí)，可認(rèn)為此處存在結(jié)構(gòu)信息，則權(quán)重函數(shù)W(x,y)應(yīng)趨于0，以取消x、y兩點(diǎn)間的透射率平滑性約束，此時(shí)，x、y兩點(diǎn)透射率維持粗略計(jì)算結(jié)果，以保留結(jié)構(gòu)和紋理信息.反之，權(quán)重函數(shù)W(x,y)會(huì)根據(jù)相鄰像素的相似程度，趨于1，以施加x、y兩點(diǎn)間的透射率平滑性約束，此時(shí)，x、y兩點(diǎn)間的透射率在粗略透射率的基礎(chǔ)上趨于一致，從而起到平滑透射率的效果.

將該權(quán)重函數(shù)運(yùn)用于待求解透射率的圖像中，可得關(guān)于透射率的平滑性約束表達(dá)式：

(12)

在計(jì)算機(jī)圖形學(xué)中，通常用L1范數(shù)積分代替式(12)中的L2范數(shù)積分，故該式被改寫后的離散形式如下：

(13)

式(13)中：ω是像素鄰域索引集，°表示逐元素乘法，?表示卷積操作，Dj為微分算子，Wj為權(quán)重矩陣.

為了最大程度保留圖像邊緣信息、增強(qiáng)本方法在光照變化環(huán)境下的魯棒性，本文選用如圖3所示的LoG(Laplacian of Gaussian)算子作為本算法的微分算子.該算子通過將Gauss平滑濾波器和Laplacian銳化濾波器相結(jié)合，實(shí)現(xiàn)了一定的平滑噪聲和邊緣檢測(cè)效果.

相應(yīng)地，為了適配LoG算子，式(11)的權(quán)重函數(shù)被進(jìn)一步改寫為對(duì)應(yīng)的離散形式：

(14)

綜上，便構(gòu)建得式(10)這一關(guān)于精細(xì)化透射率的目標(biāo)函數(shù).該目標(biāo)函數(shù)可通過變量分裂法[19]求解，即引入輔助變量uj，將該目標(biāo)函數(shù)進(jìn)一步改寫成下式：

(15)

式(15)中：β是一個(gè)無窮大的權(quán)重系數(shù).對(duì)于固定的β，式(15)的最小化過程可視為關(guān)于uj和t的交替優(yōu)化過程，即首先通過固定t來求解對(duì)應(yīng)的最優(yōu)uj，然后固定這一uj以求解最優(yōu)的t.通過反復(fù)迭代上述過程，可以得到收斂的最優(yōu)解.

2.4 伽馬校正后處理

在得到精細(xì)化的透射率圖之后，即可通過式(3)對(duì)反轉(zhuǎn)的擬霧圖像進(jìn)行去霧計(jì)算，得到去霧后的圖像，再對(duì)該圖像進(jìn)行一次反轉(zhuǎn)操作，即可得到增強(qiáng)的低照度圖像.然而，反轉(zhuǎn)的低照度圖像易呈現(xiàn)過曝的視覺效果，進(jìn)而導(dǎo)致去霧處理后的圖像丟失動(dòng)態(tài)范圍和細(xì)節(jié)信息.因此，本文引入伽馬校正對(duì)初步增強(qiáng)后的低照度圖像進(jìn)行后處理，以期獲得更好的視覺效果，方法如下：

(16)

式(16)中：L是伽馬校正后的最終結(jié)果圖像，L′是初步增強(qiáng)后的低照度圖像.由于增強(qiáng)后的圖像每一個(gè)顏色通道為8位，W為255.γ為經(jīng)驗(yàn)系數(shù)，偏小的γ取值增強(qiáng)效果較弱，常用的γ=2.2易造成圖像過增強(qiáng).經(jīng)過大量實(shí)驗(yàn)，本文取γ=1.5.圖4給出了未經(jīng)伽馬校正后處理的增強(qiáng)結(jié)果以及采用不同γ取值進(jìn)行伽馬校正后處理的增強(qiáng)結(jié)果.可見，恰當(dāng)?shù)摩萌≈的苓M(jìn)一步提升增強(qiáng)效果.此外，相比于未進(jìn)行后處理的圖像，經(jīng)過恰當(dāng)γ取值作伽馬校正的圖像在燈及墻面處保留了更多的暗部細(xì)節(jié)信息，同時(shí)，亮處的樹木也有著更鮮艷的色彩，整張圖像有著更高的動(dòng)態(tài)范圍，視覺效果更佳.

圖4 伽馬校正后處理結(jié)果對(duì)比圖

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)所使用的操作系統(tǒng)為Windows10 64位，軟件環(huán)境為Python3.8.5和OpenCV4.5.2.硬件所使用的處理器AMD Ryzen R5 3600，運(yùn)行內(nèi)存16 GB.實(shí)驗(yàn)選取了三組低照度圖像：“山谷”、“玩偶”和“建筑物”，分別代表了夜間戶外低照度場(chǎng)景，室內(nèi)低照度場(chǎng)景以及日間曝光不足場(chǎng)景的圖像.實(shí)驗(yàn)使用約束下界C0=(20,20,20)，約束上界C1=(280,280,280).計(jì)算大氣光值使用滑動(dòng)窗口直徑為15，邊界約束使用窗口直徑為3，粗略透射率的保護(hù)系數(shù)α=1，目標(biāo)函數(shù)中權(quán)重函數(shù)的常量系數(shù)σ=0.2，透射率平衡約束系數(shù)λ=1.本實(shí)驗(yàn)分別與前文提及的具有代表性的圖像融合BIMEF[7](Bio-inspired Multi Exposure Fusion)方法，以及基于Retinex理論的MSRCR、LIME[4]、SRIE[5]、SRLLIE[6]方法進(jìn)行比較，對(duì)比方法的所有參數(shù)均使用原文獻(xiàn)默認(rèn)參數(shù).圖5為最終得到的增強(qiáng)結(jié)果.

圖5 不同方法在“山谷”、“玩偶”和“建筑物”圖像的增強(qiáng)結(jié)果

3.1 主觀分析

由圖5可知，所有的增強(qiáng)方法都在一定程度上改善了原圖的視覺效果.然而，BIMEF方法和SRIE方法的增強(qiáng)效果較弱，在極低亮度的區(qū)域丟失了大量暗部細(xì)節(jié)；MSRCR方法可以極大提高畫面亮度，但是導(dǎo)致了嚴(yán)重的色調(diào)偏移.通過LIME和SRLLIE方法增強(qiáng)后的圖像有著適當(dāng)?shù)牧炼群透玫纳室恢滦裕欢?，SRLLIE方法損失了圖像的動(dòng)態(tài)范圍，視覺效果欠佳.同時(shí)，LIME和SRLLIE方法均存在白平衡失調(diào)問題，所增強(qiáng)的“玩偶”圖像嚴(yán)重偏色.采用本文所提方法增強(qiáng)的圖像保留了清晰的邊緣信息和紋理細(xì)節(jié)，在大幅提升圖像亮度的同時(shí)還改善了圖像的清晰度，主觀感受更佳.

3.2 客觀評(píng)價(jià)

圖像的客觀分析即根據(jù)既定的評(píng)判標(biāo)準(zhǔn)，從數(shù)值角度對(duì)圖像質(zhì)量進(jìn)行定量評(píng)價(jià).目前，客觀圖像質(zhì)量評(píng)價(jià)方法主要有全參考、半?yún)⒖己蜔o參考方法，它們之間的主要區(qū)別在于對(duì)原始參照?qǐng)D像的依賴程度[20].現(xiàn)實(shí)情況中，絕大多數(shù)的低照度圖像都難以獲得對(duì)應(yīng)的參照?qǐng)D像，進(jìn)而導(dǎo)致全參考方法可參考性欠佳.因此，本文使用信息熵(Information Entropy，IE)、平均梯度(Average Gradient，AG)和自然圖像質(zhì)量評(píng)價(jià)[21](Natural Image Quality Evaluator，NIQE)這三個(gè)無參考方法作為客觀分析指標(biāo).

其中，信息熵反映圖像包含的信息量，數(shù)值越大說明圖像蘊(yùn)含的細(xì)節(jié)越豐富；平均梯度反映了圖像的清晰度和紋理變化，數(shù)值越大說明圖像越清晰；自然圖像質(zhì)量評(píng)價(jià)反映圖像在多元分布上的差異，數(shù)值越小說明圖像質(zhì)量越好.不同圖像的客觀評(píng)價(jià)結(jié)果如表1所示，其中最佳得分被加粗表示.從表1可以看出，本文提出的增強(qiáng)方法在過半的指標(biāo)中獲得了最佳成績(jī)，在其余指標(biāo)中也有較好的表現(xiàn).客觀評(píng)價(jià)指標(biāo)進(jìn)一步驗(yàn)證了本文提出方法的有效性.

表1 不同方法在“山谷”、“玩偶”和“建筑物”圖像 增強(qiáng)結(jié)果的客觀評(píng)價(jià)

4 結(jié)論

本文提出了一種具有結(jié)構(gòu)感知性的低照度圖像增強(qiáng)方法.通過將低照度圖像反轉(zhuǎn)為擬霧圖像，對(duì)擬霧圖像進(jìn)行去霧操作和邊緣信息增強(qiáng)，然后再對(duì)去霧結(jié)果進(jìn)行反轉(zhuǎn)和伽馬校正，最終獲得增強(qiáng)結(jié)果.實(shí)驗(yàn)結(jié)果表明，本文提出的方法在很大程度上提升了圖像暗部細(xì)節(jié)，能生成高質(zhì)量的紋理清晰且色彩自然的低照度增強(qiáng)圖像.