基于正則化高斯場(chǎng)模型的低光圖像增強(qiáng)

楊 鋒,趙維駿,顧 燕,朱 波,呂 揚(yáng),焦國(guó)力,閔超波

(1.北方夜視科技(南京)研究院有限公司,江蘇 南京 211102;2.河海大學(xué),江蘇 常州 213022)

1 引 言

目前,計(jì)算機(jī)視覺(jué)技術(shù)被廣泛應(yīng)用于多種領(lǐng)域,如夜視[1-2]、遙感[3]、工業(yè)檢測(cè)[4]和醫(yī)學(xué)成像[5]。而計(jì)算機(jī)視覺(jué)所依賴的基礎(chǔ)是各類光電成像傳感器所提供的圖像。毫無(wú)疑問(wèn),輸入圖像的質(zhì)量對(duì)機(jī)器視覺(jué)的性能起到?jīng)Q定性的作用。然而,由于成像傳感器的限制、相機(jī)參數(shù)設(shè)置不當(dāng)、或光照分布不均勻等原因,傳感器的原始圖像通常會(huì)存在亮度低、動(dòng)態(tài)范圍窄、對(duì)比度低和細(xì)節(jié)損失[6]等缺陷,從而對(duì)計(jì)算機(jī)視覺(jué)造成不利影響。因此低光增強(qiáng)是非常必要的,這也是本文的研究重點(diǎn)。

Retinex[7]分解將采集圖像視為反射層和照度層的結(jié)果,通過(guò)各種基于Retinex的模型從采集圖像中重新恢復(fù)反射層,因此在圖像增強(qiáng)中廣泛使用。單尺度Retinex(Single Scale Retinex,SSR)[8]和多尺度Retinex(Multi Scale Retinex,MSR)[9]是基于Retinex圖像增強(qiáng)的早期嘗試,它們?cè)趯?duì)比度增強(qiáng)方面表現(xiàn)良好,但很容易導(dǎo)致輸入圖像暗區(qū)域的細(xì)節(jié)丟失。一些基于Retinex的低光圖像增強(qiáng)方法,例如反射層和照度層聯(lián)合估計(jì)(Simultaneous Reflectance and Illumination Estimation,SRIE)[10]、利用亮度映射估計(jì)的低光圖像增強(qiáng)(Low-Light Image Enhancement,LIME)[11]、基于結(jié)構(gòu)恢復(fù)的低光圖像增強(qiáng)和低階正則化Retinex模型(Low-Rank Regularized Retinex Model,LR3M)[12],可以彌補(bǔ)SSR和MSR的不足。這些方法將低光增強(qiáng)轉(zhuǎn)化為一個(gè)多塊凸優(yōu)化問(wèn)題,并使用交替方向最小化技術(shù)聯(lián)合估計(jì)輸入圖像的反射層和照度層。這些基于聯(lián)合估計(jì)的方法大大提高了低光增強(qiáng)的性能,然而,也使得圖像增強(qiáng)算法的結(jié)構(gòu)越來(lái)越復(fù)雜,導(dǎo)致運(yùn)算復(fù)雜度高,工程化實(shí)現(xiàn)困難。許多研究人員已經(jīng)意識(shí)到了這個(gè)問(wèn)題,因此不少增強(qiáng)方法都提出了自己的加速策略。然而,多塊凸優(yōu)化技術(shù)的復(fù)雜性使得低光增強(qiáng)算法的實(shí)際應(yīng)用面臨巨大困難。

本文提出了一種基于正則化高斯場(chǎng)(Regularized Gaussian Fields,RGF)的優(yōu)化函數(shù),利用梯度下降算法同時(shí)估計(jì)反射層和照度層,從而提高低光增強(qiáng)的性能。該方法在正則化高斯場(chǎng)中的實(shí)現(xiàn)了Retinex分解,將反射層和照度層的聯(lián)立估計(jì)轉(zhuǎn)化為一個(gè)無(wú)約束優(yōu)化問(wèn)題。首先,構(gòu)建了基于RGF的Retinex分解模型,該模型可微,因此采用高效簡(jiǎn)單的梯度下降技術(shù)(例如擬牛頓法)進(jìn)行反射層和照度層的聯(lián)合估計(jì)。最后,構(gòu)建基于高斯核校正模型,對(duì)估計(jì)出的反射層進(jìn)行進(jìn)一步優(yōu)化,以保持增強(qiáng)圖像的細(xì)節(jié)和自然度。實(shí)驗(yàn)結(jié)果表明,與其他同類方法相比,該方法在增強(qiáng)效果和效率方面都具有一定優(yōu)勢(shì)。

2 基于正則化高斯場(chǎng)模型的低光增強(qiáng)

2.1 問(wèn)題表述

Retinex模型解釋了可見圖像的形成,如下所示:

S=R°L

(1)

其中,S表示采集圖像;R表示反射層;L表示照度層。操作°表示按元素相乘。一般來(lái)說(shuō),R中包含了場(chǎng)景中的細(xì)節(jié),L為場(chǎng)景的光照分布。在本文中,S、R和L是m×n的二維矩陣。

為了從采集圖像S中估計(jì)R和L,大多數(shù)方法將等式(1)轉(zhuǎn)換為對(duì)數(shù)域:s=r+l,其中s=ln(S),r=ln(R),l=ln(L)。因此,估算r和l的目標(biāo)函數(shù)可以寫成:

(2)

其中,‖·‖F(xiàn)表示F范數(shù)。

最小化目標(biāo)函數(shù)(2)是一個(gè)不適定問(wèn)題。這很難簡(jiǎn)單而準(zhǔn)確地解決。為了同時(shí)估計(jì)反射層和照度層將其轉(zhuǎn)化為無(wú)約束優(yōu)化問(wèn)題,構(gòu)建了基于RGF的Retinex分解優(yōu)化函數(shù),如下所示:

λΦ(fl,fr)

(3)

高斯場(chǎng)模型是連續(xù)可微的,并且在計(jì)算方便性方面具有優(yōu)勢(shì)。為了確?；赗GF的優(yōu)化函數(shù)(3)是可微的,定義反射層和照度層的映射函數(shù)如下:

(4)

(5)

其中,D是多項(xiàng)式的階數(shù);βd和αdk是多項(xiàng)式系數(shù)。本文將反射層視為采集圖像的映射。因此,使用映射函數(shù)(4)來(lái)描述從采集圖像s到反射層r的變換模式。同時(shí),場(chǎng)景中照明分布的規(guī)則模式被表示為映射函數(shù)(5)。高階多項(xiàng)式能較好地?cái)M合真實(shí)光照的平滑性和非線性。很明顯,等式(4)和(5)是可微的,因?yàn)樗鼈兪窃诙囗?xiàng)式上構(gòu)建的。此外,高階多項(xiàng)式能夠處理反射層和照度層規(guī)則模式的復(fù)雜非線性問(wèn)題。

(6)

(7)

其中,so表示通過(guò)從s中刪除奇數(shù)列而創(chuàng)建的1/2大小的輸入圖像;xo是相應(yīng)的坐標(biāo)矩陣。

(8)

其中,so表示通過(guò)從s刪除偶數(shù)列而創(chuàng)建的1/2大小的輸入圖像;xo是相應(yīng)的坐標(biāo)矩陣。顯然,se與so相似。

從等式(7)中可以發(fā)現(xiàn),由于照明層(5)的映射函數(shù)的平滑性,fl傾向于在輸入圖像so中描述的照明分布的規(guī)則模式。由于fr(so)和so之間的相關(guān)性,fr(so)比f(wàn)l(xo)對(duì)最小化等式(8)的貢獻(xiàn)更大。因此,映射函數(shù)fl主要由等式(7)確定。在這種情況下,公式(8)通過(guò)使用Retinex模型使fr(s)接近最佳反射層。因此,基于RGF的優(yōu)化函數(shù)可以同時(shí)估計(jì)反射層和照度層。

2.2 優(yōu) 化

(9)

公式(9)的相應(yīng)導(dǎo)數(shù)如下所示:

(10)

通過(guò)使用導(dǎo)數(shù)公式(10),可以使用基于梯度的數(shù)值優(yōu)化方法,如擬牛頓法,來(lái)求解最佳參數(shù)PD,然后實(shí)現(xiàn)同時(shí)估計(jì)反射層和照度層。

由于映射函數(shù)fl和fr是正則的,因此不必使用輸入圖像s的所有像素來(lái)解決基于RGF的優(yōu)化問(wèn)題。因此,可以通過(guò)sr=imresize(s,r)壓縮s的尺寸,其中imresize(s,r)返回sr,即s大小的r2倍,r介于0和1之間。然后,將sr代入基于RGF的優(yōu)化函數(shù)(9)和導(dǎo)數(shù)(10),可以估計(jì)最優(yōu)fr(s)。此步驟的優(yōu)點(diǎn)是減少優(yōu)化的時(shí)間復(fù)雜性,避免過(guò)度擬合問(wèn)題。

2.3 校 正

圖1 RGF的函數(shù)曲線

圖2 基于RGF的優(yōu)化函數(shù)直接估計(jì)反射層的示例

從圖2(b)中可知,在輸入圖像的明亮區(qū)域中存在重要的細(xì)節(jié)。因此,為了從fr(s)中恢復(fù)正確的反射層,采用以下操作:

rf=ηω(s)°fr(s)+ω(1-s)°s

(11)

其中,s和fr(s)被歸一化。通過(guò)使用高斯核ω(sij)=exp{-τ(sij)2},其中τ決定高斯核的范圍,fr(s)與輸入的圖像進(jìn)行融合。比例參數(shù)η∈(0,1)用于限制fr(s)的強(qiáng)度范圍,以避免過(guò)度曝光。校正結(jié)果如圖2(c)所示,可以看出,基于高斯核的校正可以提高增強(qiáng)圖像的細(xì)節(jié)保持和自然度。

2.4 計(jì)算復(fù)雜度分析

算法1:基于正則化高斯場(chǎng)模型的低光增強(qiáng)方法輸入:灰度圖像S,參數(shù)σ,λ,D,r,τ,η1.s=ln(S),sr=imresize(s,r);2.通過(guò)式(6)從sr中生成s^r;3.將sr和s^r代入式(9)和(10),然后用擬牛頓法估計(jì)最佳反射層模型frs();4.通過(guò)公式(11)從標(biāo)準(zhǔn)化frs()中恢復(fù)R。輸出:最終增強(qiáng)的結(jié)果rf

2.5 實(shí)現(xiàn)細(xì)節(jié)

該方法有五個(gè)參數(shù)需要設(shè)置:σ,λ,D,r,τ和η。參數(shù)σ決定了基于RGF的優(yōu)化函數(shù)中高斯場(chǎng)的范圍。參數(shù)λ用于調(diào)整優(yōu)化中數(shù)據(jù)估計(jì)與平滑度之間的權(quán)衡。參數(shù)D控制反射和照度映射函數(shù)的順序。參數(shù)r是用于PD估算中sr的縮小比例。參數(shù)τ和η用于校正fr(s),以實(shí)現(xiàn)反射層的恢復(fù)。

在增強(qiáng)性能和計(jì)算效率方面,通過(guò)多次實(shí)驗(yàn)確定的最佳設(shè)置為:σ=5,λ=0.02,D=4,r=0.2,τ=0.62和η=0.67。優(yōu)化之前,PD初始化為0。輸入圖像的灰度范圍必須壓縮至[0∶1]。

3 實(shí)驗(yàn)與討論

在本節(jié)中,定性和定量地比較了本文方法與幾種最先進(jìn)的方法,包括對(duì)比度受限自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[13]、SRIE、LIME、低照度水下圖像增強(qiáng)(Low-Light Underwater Image Enhancer,L2UWE)[14]、LR3M和半解耦分解低光圖像增強(qiáng)(Semi-Decoupled Decomposition,SDD)[15]。然后,測(cè)試了不同參數(shù)的影響,并對(duì)反射層模型進(jìn)行了消融研究。以上方法的Matlab代碼由作者提供。本文中所有實(shí)驗(yàn)都是在一臺(tái)windows10操作系統(tǒng)(64位)的計(jì)算機(jī)上進(jìn)行的,該計(jì)算機(jī)采用Intel Core i7-10750H CPU @2.60GHz,內(nèi)存16GB。本實(shí)驗(yàn)中所有增強(qiáng)結(jié)果都是在沒(méi)有任何預(yù)處理和去噪算法的情況下實(shí)現(xiàn)的。

3.1 數(shù)據(jù)集

本文測(cè)試圖像是從公開數(shù)據(jù)集MIT-Adobe FiveK Dataset[16]中選取的173幅圖像。在此數(shù)據(jù)集中,對(duì)每種場(chǎng)景的圖像利用Adobe Lightroom進(jìn)行手動(dòng)調(diào)節(jié)亮度,生成5個(gè)不同版本的圖像。選擇最暗的版本作為輸入的低光圖像,最亮的版本作為定量比較的參考。圖3顯示了數(shù)據(jù)集中的一些樣本,可以看出數(shù)據(jù)集中的大多數(shù)圖像對(duì)比度低、亮度不足、動(dòng)態(tài)范圍窄、光照不均勻,這些都增加了圖像增強(qiáng)的難度。

圖3 輸入圖像和其參考圖像的示例

3.2 RGF優(yōu)化函數(shù)的消融實(shí)驗(yàn)

圖4 用s代替的RGF優(yōu)化函數(shù)的估計(jì)結(jié)果

圖5 RGF優(yōu)化函數(shù)收斂結(jié)果示例

3.3 定性比較

在公開數(shù)據(jù)集上,本文定性測(cè)試了CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和本文方法在彩色圖像上的性能。針對(duì)RGB彩色圖像,首先將輸入圖像轉(zhuǎn)換為HSV色彩空間,然后在圖像的V通道上執(zhí)行CLAHE和本文方法,最后將處理后結(jié)果從HSV轉(zhuǎn)換回RGB色彩空間。LR3M、LIME、L2UWE和SDD可以直接增強(qiáng)彩色圖像,從而將輸入圖像作為初始值。圖6提供了通過(guò)不同方法獲得的增強(qiáng)結(jié)果之間的若干比較?？梢钥闯?所有輸入圖像的亮度分布是不均勻的,這有助于測(cè)試增強(qiáng)算法在非均勻照明下的性能。

圖6 CLAHE、LR3M、SRIE、LIME、L2UWE、SDD和

從比較中可以看出,在一定程度上,所有方法都可以從暗區(qū)域中恢復(fù)信息。就照明暗區(qū)的質(zhì)量而言,SRIE和LIME在大多數(shù)給定示例中優(yōu)于CLAHE、L2UWE、LR3M和SDD,但比本文方法差。特別是在放大的斑塊中,本文方法可以適當(dāng)?shù)乇Ａ艏?xì)節(jié),并大大提高暗區(qū)域的對(duì)比度。相比之下,LR3M和SDD在去噪方面表現(xiàn)良好,但在低光增強(qiáng)方面表現(xiàn)不佳。同時(shí),L2UWE和SRIE的結(jié)果總是存在過(guò)增強(qiáng)。與幾種最先進(jìn)的方法相比,本文方法更好地保留和增強(qiáng)了明亮區(qū)域的紋理細(xì)節(jié)信息。從圖6(a)和(d)中的水面以及圖6(b)中的建筑物可以看出,低光圖像中的亮區(qū)和暗區(qū)都得到了適當(dāng)?shù)脑鰪?qiáng),因此本文方法的增強(qiáng)結(jié)果具有優(yōu)秀的可視性和自然性。圖7顯示了本文方法的更多結(jié)果,進(jìn)一步佐證了這一點(diǎn)。

圖7 所提出方法的增強(qiáng)結(jié)果示例

3.4 定量比較和計(jì)算時(shí)間

由于單個(gè)度量不能全面反映增強(qiáng)的性能,因此本文在定量評(píng)估中使用了三個(gè)基于參考圖像的度量和一個(gè)無(wú)參考圖像質(zhì)量分?jǐn)?shù)。亮度順序誤差(Lightness Order Error,LOE)[17]表示增強(qiáng)圖像的自然度。結(jié)構(gòu)相似性(Structural Similarity,SSIM)通常用于衡量增強(qiáng)圖像與參考圖像之間的相似性?；诰植康膶?duì)比度質(zhì)量指數(shù)(Patch-Based Contrast Quality Index,PCQI)[18]可用于測(cè)量增強(qiáng)圖像的整體和局部對(duì)比度質(zhì)量。自然圖像質(zhì)量評(píng)估器(Natural Image Quality Evaluator,NIQE)[19]是一種盲圖像質(zhì)量評(píng)估模型。

本文使用的數(shù)據(jù)集定量結(jié)果報(bào)告在表1中,↓ 指示值越高表示質(zhì)量越低。↑ 指示值越低表示質(zhì)量越低。粗體顯示的值表示每個(gè)指標(biāo)中最好的三個(gè)分?jǐn)?shù)。很明顯,本文方法在數(shù)據(jù)集上通常具有最好的質(zhì)量。L2UWE的PCQI和NIQE得分高于本文方法,表明存在強(qiáng)烈的對(duì)比。這是因?yàn)長(zhǎng)2UWE通常會(huì)過(guò)度增強(qiáng)輸入的低光圖像,如圖6中L2UWE的結(jié)果所示。在所有客觀測(cè)量中,本文方法的結(jié)果都排在前三位。

表1 定量比較CLAHE、SRIE、LIME、L2UWE、LR3M、SDD和本文方法

從定性和定量比較中可以發(fā)現(xiàn):LIME的性能與本文方法相當(dāng)。然而,本文方法比LIME快得多。對(duì)于900×600的輸入圖像,LIME的平均運(yùn)行時(shí)間為35.36 s,在同樣的計(jì)算資源條件下,本文方法的平均運(yùn)行時(shí)間為15.13 s。一般來(lái)說(shuō),本文方法比LIME快約2.5倍。此外,SRIE、LR3M和SDD的平均運(yùn)行時(shí)間分別為17.3 s、366.2 s和33.8 s,均高于本文方法。這表明,與基于交替方向最小化技術(shù)的反射層估計(jì)相比,基于RGF的優(yōu)化可以更快地收斂到最優(yōu)值。

3.5 參數(shù)配置測(cè)試

該方法有五個(gè)參數(shù)需要設(shè)置:σ,λ,D,r,τ和η。從式(9)中,可以看出參數(shù)σ和D是最重要的,因?yàn)樗鼈兛梢灾苯記Q定基于RGF的優(yōu)化函數(shù)的性能。參數(shù)σ和D對(duì)基于RGF的優(yōu)化函數(shù)的影響如表2所示,↓指示值越高表示質(zhì)量越低,↑指示值越低表示質(zhì)量越低。為了分別測(cè)試不同參數(shù)的影響,我們改變一個(gè)參數(shù)的值,同時(shí)保持另一個(gè)參數(shù)不變。根據(jù)表2中的定量測(cè)量結(jié)果可以看到:σ=5和D=4時(shí),本文方法在低光增強(qiáng)方面的性能最好。

表2 參數(shù)σ和D的影響

表3顯示了本文方法在不同r下的定量結(jié)果和運(yùn)行時(shí)間,↓ 指示值越高表示質(zhì)量越低,↑ 指示值越低表示質(zhì)量越低。由于基于RGF的估計(jì)中使用的像素很少,當(dāng)r<0.2時(shí)圖像增強(qiáng)方面的性能有限。另一方面,當(dāng)r>0.2時(shí),用于優(yōu)化處理的像素更多,可以略微地提高增強(qiáng)的質(zhì)量,但本文方法的運(yùn)行時(shí)間也大幅提高。因此,r=0.2的方法在低光增強(qiáng)和計(jì)算復(fù)雜度方面都具有最佳性能。

表3 參數(shù)r的影響

4 結(jié) 論

本文提出了基于RGF的Retinex分解優(yōu)化函數(shù),利用梯度下降算法實(shí)現(xiàn)了反射層和照度層的聯(lián)合估計(jì)。并且基于高斯核對(duì)反射層進(jìn)行細(xì)化,以保持增強(qiáng)圖像的細(xì)節(jié)和自然度。該方法結(jié)構(gòu)簡(jiǎn)單,計(jì)算效率高。使用主觀和客觀評(píng)估對(duì)所提出的方法進(jìn)行了綜合實(shí)驗(yàn),與同類方法相比,該算法在計(jì)算速度和增強(qiáng)質(zhì)量方面都具有一定優(yōu)勢(shì)。