面向低照度圖像增強(qiáng)的雙曝光融合處理算法

劉婷婷，張玉金，熊士婷

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201620)

在低照度條件下拍攝的圖像通常會(huì)出現(xiàn)不同程度的質(zhì)量退化，雖然專業(yè)設(shè)備和先進(jìn)的攝影技術(shù)可以在一定程度上緩解這些退化，但固有原因產(chǎn)生的噪聲是不可避免的。由于沒(méi)有足夠的光，相機(jī)傳感器的輸出易受系統(tǒng)的固有噪聲干擾，因此輸出的圖像可能會(huì)在曝光不足的區(qū)域丟失部分重要信息，從而加大了計(jì)算機(jī)視覺任務(wù)的難度。相機(jī)的動(dòng)態(tài)范圍有限，如果增加相機(jī)曝光量來(lái)揭示曝光不足區(qū)域的信息，那么曝光良好的區(qū)域可能會(huì)出現(xiàn)過(guò)度曝光甚至飽和的現(xiàn)象。為了解決這一問(wèn)題，研究人員提出了一些有效的圖像增強(qiáng)技術(shù)[1-5]。采用這些方法雖然可以獲到良好的主觀質(zhì)量，卻不能準(zhǔn)確地反映場(chǎng)景圖像的真實(shí)亮度和對(duì)比度。

文獻(xiàn)[6]在Retinex理論的基礎(chǔ)上，提出一種新的彩色圖像增強(qiáng)算法。根據(jù)Gray World理論，引入動(dòng)態(tài)參數(shù)來(lái)提高圖像的動(dòng)態(tài)范圍，在保持增強(qiáng)彩色圖像高頻成分的同時(shí)，較好地保留了部分低頻成分。文獻(xiàn)[7]使用熵控制的灰度分配方案來(lái)分配新的輸出灰度范圍，并獲得新的閾值，在直方圖均衡處理之前重新劃分直方圖。倒置的低照度圖像與霧霾圖像類似，因此一些研究人員采用去霧方法，將去霧結(jié)果再一次轉(zhuǎn)化為增強(qiáng)結(jié)果[8]。大多數(shù)基于Retinex的方法通過(guò)去除光照部分得到增強(qiáng)結(jié)果。文獻(xiàn)[9～10]通過(guò)保持部分照明以保持自然性而獲得增強(qiáng)結(jié)果。文獻(xiàn)[11]用兩個(gè)增強(qiáng)的光照融合來(lái)調(diào)整光照分量。文獻(xiàn)[5]設(shè)計(jì)了一個(gè)用于低照度圖像增強(qiáng)的多曝光融合框架，并提出了一種雙曝光融合算法，以提供精確的對(duì)比度和亮度增強(qiáng)。

本文利用一種基于人類視覺系統(tǒng)(Human Visual System，HVS)的多曝光融合框架增強(qiáng)低照度圖像，如圖1所示，該框架主要包括兩個(gè)階段：人眼曝光調(diào)整和人腦曝光調(diào)整。第一階段模擬人眼調(diào)整曝光，生成多曝光圖像集；第二階段模擬人腦將生成的圖像融合到最終的增強(qiáng)結(jié)果中。首先，利用照度估計(jì)技術(shù)來(lái)建立圖像融合的權(quán)重矩陣；然后根據(jù)觀測(cè)結(jié)果建立攝像機(jī)的響應(yīng)模型；接著對(duì)低亮度像素和亮度分量進(jìn)行定義以計(jì)算最佳曝光率，并改善原始圖像曝光不足的區(qū)域，從而得到曝光良好的合成圖像；最后，利用權(quán)矩陣將輸入圖像與合成圖像融合，得到增強(qiáng)結(jié)果。

圖1 多曝光融合框架Figure 1. Multi-exposure fusion framework

1 多曝光融合框架

多曝光融合框架主要由4個(gè)部分組成[5]：多曝光采樣器、多曝光生成器、多曝光評(píng)估器和多曝光融合器。文中根據(jù)權(quán)重矩陣將生成的圖像融合到最終的增強(qiáng)結(jié)果中。

1.1 多曝光采樣器

在生成多曝光圖像集之前，要確定圖像數(shù)量及其曝光率。由于多曝光集中的一些圖像無(wú)法提供附加信息，因此將這些圖像考慮在內(nèi)是對(duì)計(jì)算資源的浪費(fèi)，甚至?xí)夯诤辖Y(jié)果。采樣器通過(guò)選擇合適的曝光率，可以利用較少的圖像來(lái)顯示場(chǎng)景中的所有信息。采樣器的輸出是一組曝光率{k1,k2,…,kN}，其中N是要生成的圖像數(shù)量。

1.2 多曝光生成器

如上所述，不同曝光的圖像是相關(guān)的。多曝光生成器根據(jù)指定的曝光率集將輸入圖像映射為多曝光圖像。多曝光發(fā)生器的關(guān)鍵部分是相機(jī)響應(yīng)模型，用于尋找合適的亮度變換函數(shù)(Brightness Transform Function，BTF)進(jìn)行映射。給定曝光率k和BTFg(·)，可以將輸入圖像P映射到曝光集中的第i個(gè)圖像。

Pi=g(P,ki)

(1)

1.3 多曝光評(píng)估器

為了估計(jì)生成圖像中每個(gè)像素的健康度，多曝光評(píng)估器接收一幅圖像，并輸出一個(gè)表示每個(gè)像素健康度的權(quán)重矩陣。權(quán)值矩陣對(duì)所有像素都是不均勻的，曝光好的像素權(quán)值較大，曝光差的像素權(quán)值較小。對(duì)所有圖像評(píng)估后，輸出矩陣按像素進(jìn)行歸一化，以確保每個(gè)像素的和等于1。

(2)

1.4 多曝光融合器

為了獲得所有像素均曝光良好的圖像，根據(jù)權(quán)重矩陣將這些圖像簡(jiǎn)單地融合為

(3)

其中，c是3個(gè)顏色通道的索引；R是增強(qiáng)的結(jié)果。其他融合技術(shù)如多尺度融合[12]和增強(qiáng)拉普拉斯金字塔融合[13]也可以獲得一定的融合效果。

2 雙曝光融合算法

為了減少計(jì)算復(fù)雜度，這里只生成一個(gè)適當(dāng)曝光的圖像，并通過(guò)融合輸入圖像和生成的圖像獲得增強(qiáng)結(jié)果[1]?；谇拔牡目蚣?，融合圖像被定義為[5]式(4)。

(4)

2.1 多曝光評(píng)估器

W的設(shè)計(jì)是增強(qiáng)算法的關(guān)鍵，既要增強(qiáng)曝光不足區(qū)域的低對(duì)比度，又要保持曝光良好區(qū)域的對(duì)比度，因此對(duì)不同曝光的像素賦予不同的權(quán)重值。權(quán)重矩陣與場(chǎng)景照度正相關(guān)，高照度區(qū)域有很大的曝光可能性，為它們指定較大的權(quán)重值以保持其對(duì)比度。權(quán)重矩陣計(jì)算為[5]

(5)

式中，T為場(chǎng)景照明映射；μ為控制增強(qiáng)程度的參數(shù)。當(dāng)μ=0時(shí)，得到的R等于P，即不執(zhí)行增強(qiáng)；當(dāng)μ=1時(shí)，曝光不足像素和曝光良好像素都被增強(qiáng)；當(dāng)μ>1時(shí)，像素可能飽和，并且結(jié)果R遭受細(xì)節(jié)損失。為了在保留曝光良好區(qū)域的同時(shí)進(jìn)行增強(qiáng)，經(jīng)過(guò)多次實(shí)驗(yàn)，將μ設(shè)置為0.4。通過(guò)求解一個(gè)優(yōu)化問(wèn)題來(lái)估計(jì)場(chǎng)景照明映射T。

2.1.1 優(yōu)化問(wèn)題

亮度分量可以作為場(chǎng)景照明的估計(jì)值，采用亮度分量作為照明的初始估計(jì)[5]。

(6)

對(duì)于每一個(gè)像素x，理想照明對(duì)于結(jié)構(gòu)相似的區(qū)域具有局部一致性。換句話說(shuō)，T應(yīng)該保留圖像有意義的結(jié)構(gòu)并去除紋理邊緣。通過(guò)求解以下優(yōu)化方程來(lái)優(yōu)化T[9]

(7)

M的設(shè)計(jì)對(duì)于光照?qǐng)D的精細(xì)化具有重要意義。與具有復(fù)雜圖案的紋理相比，局部窗口中的主邊緣具有更多相似方向的梯度。因此，包含有意義邊緣的窗口的權(quán)重應(yīng)小于僅包含紋理的窗口的權(quán)重。權(quán)重矩陣設(shè)計(jì)為[5]

(8)

其中，|·|是絕對(duì)值運(yùn)算符；ω(x)是以像素x為中心的局部窗口，取值為5；ε是一個(gè)非常小的常數(shù)，取值為0.001，以避免零分母。

2.1.2 閉式解

為了降低復(fù)雜度，文獻(xiàn)[9]中的方程(7)可近似為式(9)。

(9)

可以看出，這個(gè)問(wèn)題僅涉及二次項(xiàng)。設(shè)md、l、t和?dI分別表示Md、L、T和?dL的矢量化形式，通過(guò)求解以下線性函數(shù)可以得到相應(yīng)的解[5]

(10)

其中，I為單位矩陣；Diag(v)算子使用向量v構(gòu)造對(duì)角矩陣；Dd為前向差分離散梯度算子的Toeplitz矩陣。

2.2 多曝光生成器

本文利用相機(jī)響應(yīng)模型實(shí)現(xiàn)多曝光生成器。攝像機(jī)響應(yīng)模型[5]由兩部分組成：攝像機(jī)響應(yīng)函數(shù)(Camera Response Function，CRF)模型和BTF模型。CRF模型的參數(shù)僅由相機(jī)決定，而BTF模型的參數(shù)由相機(jī)和曝光率決定。本文首先介紹了基于兩幅不同曝光圖像觀測(cè)的BTF模型；然后求解比較方程得到相應(yīng)的CRF模型；最后確定模型參數(shù)并給出g的最終形式。

2.2.1 BTF估計(jì)

為了估計(jì)BTFg，選擇一對(duì)僅曝光不同的圖像P0和P1。曝光不足圖像的直方圖主要集中在低亮度區(qū)域，如果在傳統(tǒng)的gamma校正之前對(duì)像素值進(jìn)行線性放大，則得到的圖像非常接近真實(shí)曝光良好的圖像[5]。因此，使用雙參數(shù)函數(shù)將BTF模型進(jìn)行如下描述[5]

(11)

其中，β和γ是與曝光率k有關(guān)的BTF模型中的參數(shù)。對(duì)于一般相機(jī)而言，不同顏色通道因響應(yīng)曲線近似相同而具有相似的模型參數(shù)。

2.2.2 CRF估計(jì)

在BTF模型中，β和γ是由相機(jī)參數(shù)和曝光率k確定的。為了獲得它們之間的關(guān)系需要相應(yīng)的CRF模型，可通過(guò)求解如下方程(將g=βfγ代入f(kE)=g(f(E)))得到[5]

f(kE)=βf(E)γ

(12)

f的封閉形式解為

(13)

其中，a和b為γ≠1時(shí)的模型參數(shù)

(14)

c是γ=1時(shí)的模型參數(shù)。

c=logkβ

(15)

通過(guò)式(13)可以導(dǎo)出兩個(gè)CRF模型。當(dāng)γ=1時(shí)，CRF模型是冪函數(shù)，而BTF模型是簡(jiǎn)單的線性函數(shù)。有些相機(jī)制造商將f設(shè)計(jì)成gamma曲線，可以較好地?cái)M合這些相機(jī)特性。當(dāng)γ≠1時(shí)，CRF模型是一個(gè)雙參數(shù)函數(shù)，BTF模型是一個(gè)非線性函數(shù)。大多數(shù)相機(jī)的BTF是非線性的，因此主要考慮γ≠1的情況，BTFg(·)解為式(16)[5]。

g(P,k)=eb(1-ka)P(ka)

(16)

β和γ兩個(gè)模型參數(shù)由攝像機(jī)參數(shù)a、b和曝光率k計(jì)算。這里假設(shè)沒(méi)有提供關(guān)于相機(jī)的信息，使用一個(gè)固定的相機(jī)參數(shù)(a=0.329 3，b=1.125 8)，該參數(shù)可以適用于大多數(shù)相機(jī)。

2.3 多曝光采樣器

如前所述，本算法只生成一幅圖像，因此僅需要確定生成圖像的最佳曝光率。為了僅使用輸入圖像和生成的圖像來(lái)表示盡可能多的信息，需找到最佳曝光率，使合成圖像在原始圖像曝光不足的區(qū)域得到良好的曝光。

首先排除曝光良好的像素，只提取低亮度像素，得到一個(gè)整體曝光不足的圖像。圖像亮度在不同曝光量下變化較大，而顏色基本相同，因此估計(jì)g時(shí)只考慮亮度分量。低亮度像素的場(chǎng)景照明映射在各通道有不同的體現(xiàn)，為了避免因差距過(guò)大導(dǎo)致亮度分量B不夠準(zhǔn)確，將亮度分量B定義為三通道的算術(shù)平均值。同時(shí)為了避免因此帶來(lái)的亮度分量過(guò)大的情況，定義了低亮度像素Q

Q={P(x)|T(x)<0.4}

(17)

其中，Q只包含曝光不足的像素。亮度分量B表示為

(18)

其中，Qr、Qg和Qb分別為輸入圖像Q的紅色、綠色和藍(lán)色通道。曝光良好的圖像比曝光不足或曝光過(guò)度的圖像具有更高的可視性，能夠提供更豐富的信息。因此，最優(yōu)的參數(shù)k應(yīng)該提供最大的信息量。為了測(cè)量信息量，利用圖像信息熵

(19)

其中，pi為B的直方圖的第i個(gè)bin；B計(jì)算數(shù)據(jù)值在[i/N,(i+1)/N]中的數(shù)量；N是bin的數(shù)量(N通常被設(shè)置為256)。通過(guò)最大化增強(qiáng)亮度的圖像熵來(lái)計(jì)算最佳曝光率k。

(20)

3 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估本方法的性能，與近期已有的幾種方法包括多通道融合的方法(BIMEF)[5]、帶色彩恢復(fù)多尺度Retinex算法(MSRCR)[14]、自然保留增強(qiáng)算法(NPE)[10]、基于光照估計(jì)的方法(LIME)[9]、多偏差融合方法(MF)[11]、反射光照估計(jì)方法(SRIE)[15]進(jìn)行比較。本文在兩個(gè)公共數(shù)據(jù)集(LIME數(shù)據(jù)[9]和DICM數(shù)據(jù)[16])的低照度圖像上對(duì)上述方法進(jìn)行了性能評(píng)估。

3.1 算法的評(píng)價(jià)標(biāo)準(zhǔn)

本文使用亮度順序差(Lightness Order Error，LOE)來(lái)客觀地測(cè)量增強(qiáng)結(jié)果的亮度失真。LOE定義為

(21)

其中，RD(x)為像素x的原圖P與其增強(qiáng)圖P′亮度的相對(duì)順序差，定義為

(22)

其中，m是像素?cái)?shù)；⊕為異或操作；L(x)和L′(x)分別為輸入圖像和增強(qiáng)圖像在x處的亮度分量。U(p,q)的輸出結(jié)果為式(23)。

(23)

3.2 圖像增強(qiáng)與對(duì)比結(jié)果

圖2給出了不同場(chǎng)景下圖像增強(qiáng)的視覺對(duì)比結(jié)果。其中，第1列為輸入圖像，第2列～第8列分別為SRIE[15]、NPE[10]、LIME[9]、MF[11]、MSRCR[14]、BIMEF[5]以及本文方法得到的增強(qiáng)圖像。從中可以看出，各種算法均可以提高圖像內(nèi)容的可視性。其中，SRIE提升效果不如其他算法明顯；LIME和MSRCR雖能有效提升圖像亮度，卻丟失了自然性；NPE、MF、BIMEF和本文算法得到的增強(qiáng)圖像保留了圖像的自然性，在視覺上是可以接受的。

圖2 不同場(chǎng)景下的視覺對(duì)比Figure 2. Visual comparisons of different scenes

文獻(xiàn)[9～10]采用下采樣來(lái)降低LOE計(jì)算的復(fù)雜度。當(dāng)圖像下采樣到不同大小時(shí)，由于RD將隨著像素?cái)?shù)m的增加而增加，LOE可能會(huì)顯著改變。同時(shí)為了和文獻(xiàn)[5]形成對(duì)比，本文將所有的圖像下采樣到一個(gè)固定大小，即均勻地收集100行和100列，形成一個(gè)100×100的下采樣圖像。表1給出了本文算法與其他算法在亮度順序差上的定量測(cè)量結(jié)果。

表1 亮度順序差的定量測(cè)量結(jié)果

綜合圖2和表1可以發(fā)現(xiàn)：雖然NPE、MF、BIMEF和本文算法得到的增強(qiáng)圖像在視覺上相近，但本文算法具有最小的亮度失真；MSRCR的結(jié)果遭受嚴(yán)重的亮度失真；LIME的結(jié)果雖然在視覺上令人滿意，但亮度失真明顯；SRIE的結(jié)果只能在曝光良好的區(qū)域保持亮度順序差。從表1中能夠觀察出本文算法在所有數(shù)據(jù)集中均優(yōu)于其他算法，這也說(shuō)明本文算法能夠較好地保持圖像的自然性。

3.3 時(shí)間成本

實(shí)驗(yàn)使用的筆記本電腦配置如下：Windows 10操作系統(tǒng)，1.6 GHz Intel(R) Core(TM) i5-8250U 處理器和8.00 GB內(nèi)存。本文利用MATLAB 2018a軟件進(jìn)行編程仿真。

圖3 不同方法在不同圖像尺寸下的時(shí)間比較Figure 3. Time comparison among different methods with varying image sizes

圖3為不同方法在不同圖像尺寸下的時(shí)間比較結(jié)果。結(jié)合圖3和表1可以看出，雖然SRIE產(chǎn)生的亮度失真較小，但它耗時(shí)較多； MSRCR和LIME耗時(shí)較少，但是失真較大；NPE在亮度失真和時(shí)間成本上都不能讓人滿意； BIMEF和MF具有較小的亮度失真和計(jì)算成本，但本文方法得到的結(jié)果均優(yōu)于兩者，可見本文方法能夠較好地權(quán)衡亮度失真和時(shí)間代價(jià)，效率最優(yōu)。

4 結(jié)束語(yǔ)

本文提出了一種面向低照度圖像增強(qiáng)的雙曝光融合處理算法。首先，利用照度估計(jì)技術(shù)得到用于圖像融合的權(quán)重矩陣；然后，通過(guò)攝像機(jī)響應(yīng)模型合成雙曝光圖像。鑒于不同曝光量下圖像顏色基本相同，定義低亮度像素和亮度分量找到最佳曝光率，使合成圖像在原始圖像曝光不足的區(qū)域得到更好的曝光；最后，根據(jù)權(quán)重矩陣將輸入圖像與合成圖像進(jìn)行融合，得到增強(qiáng)結(jié)果。和已有算法相比，本文方法能夠獲得較小的亮度失真，且具有合理的時(shí)間開銷。由于實(shí)際環(huán)境的復(fù)雜性，對(duì)過(guò)度曝光進(jìn)行優(yōu)化建模仍是一個(gè)充滿挑戰(zhàn)性的問(wèn)題，未來(lái)將對(duì)此展開進(jìn)一步研究。