基于自適應(yīng)截?cái)嗄M曝光和無監(jiān)督融合的低照度真彩色圖像增強(qiáng)算法

韓永成，張聞文，何偉基，陳錢

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院， 南京 210094）

0 引言

在弱光環(huán)境下獲取的圖像往往會(huì)出現(xiàn)一定程度的退化，采集到的圖像會(huì)丟失大量信息，不利于后期分割、識(shí)別等高級(jí)圖像任務(wù)，圖像觀賞性也大打折扣。尤其在夜間環(huán)境和背光場(chǎng)景，甚至在不均勻光照等惡劣環(huán)境下，采集的低照度圖像與理想圖像相去甚遠(yuǎn)。低照度圖像增強(qiáng)是圖像處理領(lǐng)域的研究熱點(diǎn)，國(guó)內(nèi)外研究人員提出了很多方法，常用的增強(qiáng)算法可以分為基于直方圖均的增強(qiáng)、基于Retinex 理論的增強(qiáng)、基于圖像融合的增強(qiáng)和基于深度學(xué)習(xí)的增強(qiáng)。其中基于圖像融合的增強(qiáng)算法是在多幅圖像中提取高信息熵的區(qū)域，然后進(jìn)行互補(bǔ)融合，將具有特征優(yōu)勢(shì)的信息保留在最終增強(qiáng)結(jié)果中以此獲得內(nèi)容豐富、色彩飽滿的增強(qiáng)結(jié)果。本文主要研究?jī)?nèi)容為基于曝光融合的低照度彩色圖像增強(qiáng)算法，目的是提升待增強(qiáng)圖像的亮度和對(duì)比度，恢復(fù)圖像細(xì)節(jié)的同時(shí)保留色彩信息，使得增強(qiáng)結(jié)果具有自然感。

FU Xueyang 等［1］提出了一種基于融合的弱光照?qǐng)D像增強(qiáng)方法。該算法需要人為選擇現(xiàn)有的增強(qiáng)手段作為中間步驟，魯棒性不高。YING Zhenqiang 等［2］提出了用于微光圖像增強(qiáng)的仿生多曝光融合框架。該方法需要先驗(yàn)的相機(jī)響應(yīng)模型，只對(duì)缺失欠曝光的地方進(jìn)行補(bǔ)光增強(qiáng)。LI Zhengguo 等［3］提出了細(xì)節(jié)增強(qiáng)的多尺度曝光融合，利用加權(quán)引導(dǎo)圖像濾波器對(duì)所有低動(dòng)態(tài)范圍圖像的加權(quán)映射高斯金字塔進(jìn)行平滑處理，實(shí)現(xiàn)不同曝光程度的低動(dòng)態(tài)范圍圖像的融合。WANG Wencheng 等［4］提出了一種基于非線性泛函變換的低照度圖像校正方法，根據(jù)光照分量的分布特征自適應(yīng)調(diào)整圖像增強(qiáng)函數(shù)參數(shù)，生成中間狀態(tài)增強(qiáng)圖像，利用多尺度融合策略測(cè)提取圖像特征信息，融合后得到高質(zhì)量增強(qiáng)結(jié)果。REN Yurui 等［5］設(shè)計(jì)了類似仿生多曝光融合算法的基于相機(jī)響應(yīng)性的模擬曝光融合方案，同樣取得不錯(cuò)效果。XU Yadong 等［6］也提出了一種用于單幅低照度圖像增強(qiáng)的多尺度融合算法。該方法直接進(jìn)行亮度重映射，模擬曝光圖像不自然且存在顏色失真問題。這些方法在某些程度上可以增強(qiáng)低照度圖像，但是很容易出現(xiàn)亮部區(qū)域過度增強(qiáng)的問題，增強(qiáng)結(jié)果容易色彩失真，出現(xiàn)不自然的觀感。本文提出的自適應(yīng)模擬曝光方法和基于深度學(xué)習(xí)的融合方案可以有效避免過度增強(qiáng)現(xiàn)象，增強(qiáng)結(jié)果色彩更加真實(shí)自然。

1 理論

算法具備亮度抑制功能，首先設(shè)計(jì)了自適應(yīng)截?cái)嗄M曝光方法，然后使用無監(jiān)督網(wǎng)絡(luò)模型融合曝光序列，實(shí)現(xiàn)靈活高效地融合固定尺寸的多張曝光圖像。我們希望模擬多曝光序列中的圖像各自包含不同的良好感知區(qū)域，通過融合多張圖像便可以獲得全局性的良好曝光圖像。

1.1 自適應(yīng)截?cái)嗄M曝光

經(jīng)典的模擬曝光算法大都是直接對(duì)圖像進(jìn)行線性映射，或者使用直方圖均衡化等現(xiàn)有的增強(qiáng)算法進(jìn)行模擬。往往是人為確定模擬曝光次數(shù)，去追求盡可能多地涵蓋不同亮度等級(jí)的曝光序列，這就導(dǎo)致模擬曝光序列中存在大量冗余圖像，例如存在多個(gè)過亮區(qū)域。由于正常光照區(qū)域或亮部區(qū)域的圖像經(jīng)過增強(qiáng)后容易呈現(xiàn)過亮現(xiàn)象，這些區(qū)域極易影響融合質(zhì)量，導(dǎo)致觀感不佳。本算法首先將圖像轉(zhuǎn)到HSV 空間，對(duì)V 通道進(jìn)行處理，這樣可以節(jié)省計(jì)算量，同時(shí)不會(huì)丟失色彩信息。然后對(duì)圖像進(jìn)行高斯濾波減少噪聲的影響，使用Otsu 閾值法［7］即可獲得亮暗區(qū)域的子圖像塊Isubk。為了避免人工選擇模擬多曝光圖像，設(shè)計(jì)了亮度響應(yīng)曲線G(x)來獲得子圖像塊Isubk的平均亮度響應(yīng)f(k)，其計(jì)算方式如式（1）和（2）所示。

在獲得亮部區(qū)域和暗部區(qū)域及其平均亮度響應(yīng)后，進(jìn)行自適應(yīng)處理。相較于亮部區(qū)域，對(duì)暗部區(qū)域應(yīng)該進(jìn)行更大程度的增強(qiáng)；相較于暗部區(qū)域，對(duì)亮部區(qū)域進(jìn)行增強(qiáng)的同時(shí)應(yīng)該有所抑制，避免其產(chǎn)生過度增強(qiáng)現(xiàn)象。本文結(jié)合圖像子塊及其亮度響應(yīng)得到增強(qiáng)序列Ienk，如式（3）所示。

式中，l表示輸入圖像Iinput中每個(gè)像素的強(qiáng)度值，lmax表示最大像素強(qiáng)度值，γk為局部自適應(yīng)伽馬因子。為了在融合質(zhì)量和速度之間取得平衡，對(duì)低照度圖像進(jìn)行4 次模擬曝光，分別是針對(duì)暗部和亮部區(qū)域的一般性增強(qiáng)和亮度補(bǔ)償性增強(qiáng)。針對(duì)亮暗區(qū)域子塊的一般性伽馬因子如式（4）所示。

式中，pdf(?)為像素概率密度函數(shù)，pdfw(?)為加權(quán)概率密度函數(shù)，表示為

式中，fk與子圖像塊Isubk的平均亮度響應(yīng)有關(guān)，max(·)表示取二者中的較大者。較大的指數(shù)因子意味著更大的加權(quán)概率密度函數(shù)pdfw(?)，進(jìn)而導(dǎo)致局部自適應(yīng)伽馬因子γk更小，使得增強(qiáng)效果更加明顯。γ1，2如圖1（a）所示，其對(duì)應(yīng)的色調(diào)映射曲線如圖1（b）所示，模擬曝光結(jié)果如圖2（b）和（c）所示。

圖1 帶有截?cái)嘁蜃拥淖赃m應(yīng)伽馬校正曲線Fig. 1 Adaptive gamma correction curve with truncation factor

圖2 增強(qiáng)序列示意圖Fig. 2 Schematic diagram of enhancement sequence

為了避免過度增強(qiáng)，引入截?cái)嘁蜃?，繼續(xù)生成兩種模擬曝光圖像，如圖2（d）、2（e）所示。其對(duì)應(yīng)的局部自適應(yīng)伽馬因子γ3，4如式（6）所示。

式中，f(Isub1)表示原始低照度圖像亮部子塊Isub1的平均亮度響應(yīng)，f(Isub2)表示暗部子塊Isub2的平均亮度響應(yīng)。例如，圖1（a）中γ3曲線右側(cè)像素強(qiáng)度值較大的亮部區(qū)域呈現(xiàn)相對(duì)原曲線較大的伽馬值，即亮部子塊的平均亮度響應(yīng)f(Isub1)，這意味著對(duì)亮部區(qū)域像素進(jìn)行強(qiáng)度抑制，如圖1（b）中γ3'曲線所示。這些亮部區(qū)域像素的色調(diào)映射變化不大，只進(jìn)行了小幅度的增強(qiáng)，該方法有效保留的亮部區(qū)域的圖像信息，如圖像2（d）所示。同理，圖1（a）中γ4曲線左側(cè)像素強(qiáng)度值較小的暗部區(qū)域呈現(xiàn)相對(duì)原曲線較小的伽馬值，即亮部子塊平均亮度響應(yīng)f(Isub1)的負(fù)相關(guān)1-f(Isub1)，一定程度上提高了對(duì)暗部區(qū)域像素增強(qiáng)的程度，如圖1（b）中γ4'曲線所示。這些暗部區(qū)域像素的色調(diào)映射變化比γ1'的映射幅度更大，該方法進(jìn)一步增強(qiáng)了暗部區(qū)域的亮度水平，如圖像2（e）所示。值得注意的是，γ4對(duì)應(yīng)曲線暗部區(qū)域的數(shù)值略大于γ3對(duì)應(yīng)曲線亮部區(qū)域的數(shù)值，這是式（6）所導(dǎo)致的。若令γ4取值為數(shù)值更小的暗部子塊亮度響應(yīng)f(Isub2)，會(huì)對(duì)原始低照度圖像產(chǎn)生嚴(yán)重的過度增強(qiáng)，這種模擬的過度曝光會(huì)不可避免地引入大量噪聲，與實(shí)際情況不符合，不利于最終的融合，因此采取亮部子塊亮度響應(yīng)的負(fù)相關(guān)1-f(Isub2)來代替。實(shí)際上，本方案可以選擇生成更多的模擬曝光序列，只需要更改不同的局部自適應(yīng)伽馬因子，或者增加圖像子塊區(qū)域，同第三章中結(jié)構(gòu)提取和分割類似。但是綜合考慮融合質(zhì)量和速度，只模擬生成兩次亮度補(bǔ)償性曝光圖像。

上述步驟自適應(yīng)生成了不同曝光程度的增強(qiáng)序列，但是和實(shí)際曝光圖像存在一定差異，這是由于低照度圖像暗部區(qū)域噪聲較大，甚至部分細(xì)節(jié)已經(jīng)丟失?，F(xiàn)實(shí)中增加相機(jī)曝光時(shí)間可以有效降低噪聲，但是上述步驟僅僅提升了對(duì)比度和亮度，本文使用引導(dǎo)濾波進(jìn)行去噪［8］，分別對(duì)增強(qiáng)序列Ienk進(jìn)行去噪，將去噪結(jié)果作為最終模擬曝光圖像Iexpk。

1.2 無監(jiān)督網(wǎng)絡(luò)融合

目前針對(duì)單一低照度圖像增強(qiáng)的融合方法主要是傳統(tǒng)意義上的加權(quán)分層融合，計(jì)算量大，魯棒性低，容易產(chǎn)生光暈及接縫現(xiàn)象，而深度學(xué)習(xí)技術(shù)憑借數(shù)據(jù)驅(qū)動(dòng)的特點(diǎn)，在各個(gè)領(lǐng)域的表現(xiàn)逐漸優(yōu)于傳統(tǒng)算法。因此本文考慮使用數(shù)據(jù)驅(qū)動(dòng)的方式融合模擬曝光圖像，實(shí)現(xiàn)靈活快速地重構(gòu)出最終增強(qiáng)結(jié)果，可以高效融合任意固定尺寸和曝光數(shù)量的序列，達(dá)到令人滿意的融合和增強(qiáng)效果。

1.2.1 研究方法

基于深度學(xué)習(xí)的融合在本質(zhì)上和經(jīng)典圖像融合一樣，都是通過加權(quán)融合框架實(shí)現(xiàn)。我們希望通過卷積神經(jīng)網(wǎng)絡(luò)獲得的權(quán)重圖更加平滑，即使針對(duì)邊緣銳利的區(qū)域，權(quán)值也可以很好的過渡到平坦區(qū)域。其次針對(duì)高對(duì)比度和良好曝光的區(qū)域，權(quán)重具有較高的響應(yīng)值。最后，通過網(wǎng)絡(luò)獲得的權(quán)重圖可以更好地保留圖像整體結(jié)構(gòu)信息。這種情況下，即使不在多尺度層面進(jìn)行融合，最終處理結(jié)果也不會(huì)出現(xiàn)光暈和接縫現(xiàn)象。

此外，除了高質(zhì)量的融合結(jié)果，我們還希望網(wǎng)絡(luò)具有靈活性，可以實(shí)現(xiàn)任意固定尺寸和數(shù)量的曝光序列的端到端融合。本文采用下采樣處理和上采樣恢復(fù)的方案。首先，將曝光序列的低分辨率版本輸入到一個(gè)全卷積網(wǎng)絡(luò)中，用于權(quán)重圖預(yù)測(cè)。然后，在網(wǎng)絡(luò)內(nèi)部使用一個(gè)引導(dǎo)濾波器對(duì)權(quán)重圖進(jìn)行上采樣，這樣可以有效減少信息的丟失。最后，對(duì)全分辨率圖像加權(quán)融合得到增強(qiáng)結(jié)果。融合具體過程如圖3 所示，首先對(duì)輸入的高分辨率序列Xhk進(jìn)行下采樣得到低分辨率序列Xlk，然后通過上下文聚合網(wǎng)絡(luò)（Context Aggregation Network，CAN）獲得低分辨率權(quán)重圖Wlk，通過深度引導(dǎo)濾波（Deep Guided Filter，DGF）重構(gòu)出高分辨率權(quán)重圖Whk，對(duì)權(quán)重圖歸一化處理后加權(quán)融合。算法中存在兩個(gè)關(guān)鍵步驟，一是使用空洞卷積對(duì)權(quán)重圖進(jìn)行密集預(yù)測(cè)，可以在不犧牲分辨率的情況下擴(kuò)大感受野，該類方法也常被用于分割任務(wù)中［9］。二是引入可微的深度引導(dǎo)濾波層，對(duì)低分辨權(quán)重圖進(jìn)行聯(lián)合上采樣，實(shí)現(xiàn)端到端的圖像輸出［10］。

圖3 基于深度學(xué)習(xí)的多曝光融合過程圖Fig. 3 Multi-exposure fusion process diagram based on deep learning

1.2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本節(jié)融合算法網(wǎng)絡(luò)結(jié)構(gòu)主要包括上下文聚合網(wǎng)絡(luò)CAN 和深度引導(dǎo)濾波DGF。

1） 上下文聚合模塊

CAN 的主要優(yōu)點(diǎn)是在不犧牲空間分辨率的情況下具有較大的感受野，可以在更深層次上逐步聚合上下文信息，完成全局圖像統(tǒng)計(jì)的計(jì)算，從而更好地進(jìn)行像素級(jí)融合。本文采用鋸齒狀循環(huán)結(jié)構(gòu)進(jìn)行3×3 卷積核擴(kuò)張，這種設(shè)置下可以較好地兼顧大小分辨率物體，2 倍擴(kuò)張卷積側(cè)重鄰域內(nèi)近心區(qū)域的信息，5 倍擴(kuò)張卷積側(cè)重于外圍區(qū)域特征信息，而增加一次循環(huán)設(shè)置可以更好的均衡二者關(guān)系。本文在卷積操作之后立即使用自適應(yīng)歸一化，采用LeakyReLU 作為非線性單元，最后通過1×1 卷積輸出權(quán)重圖，無池化和非線性處理。自適應(yīng)歸一化方法如式（7）所示。

式中，γ和β為仿射系數(shù)，是可學(xué)習(xí)的標(biāo)量。x表示輸出的特征矩陣，xˉ是x的平均值，σ是其標(biāo)準(zhǔn)差，ε是一個(gè)較小值，為了避免分母為0。圖4 為本節(jié)算法網(wǎng)絡(luò)結(jié)構(gòu)示意圖，表1 給出了網(wǎng)絡(luò)結(jié)構(gòu)的具體配置，包含8 個(gè)卷積層，其輸出響應(yīng)與輸入圖像具有相同的分辨率。

表1 上下文聚合網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Context aggregation network structure

圖4 上下文聚合網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 4 Context aggregation network structure diagram

2） 深度引導(dǎo)濾波模塊

通過卷積網(wǎng)絡(luò)可以獲得低分辨率權(quán)重圖，簡(jiǎn)單進(jìn)行插值上采樣會(huì)使融合結(jié)果丟失信息。引導(dǎo)濾波是一種有效的邊緣保留算法，本文使用高分辨率曝光序列引導(dǎo)低分辨率權(quán)重圖Wlk生成高分辨率權(quán)重圖Whk，生成的Whk與Wlk具有相同的視覺特性，同時(shí)Whk會(huì)保留Xhk的邊緣特性，其關(guān)系如式（8）所示。

表2 深度引導(dǎo)濾波模塊算法步驟Table 2 Algorithm steps of depth guided filter module

圖5 引導(dǎo)濾波層Fig. 5 Guided filtering layer

為了保持網(wǎng)絡(luò)訓(xùn)練時(shí)梯度穩(wěn)定，對(duì)曝光序列中每一幅模擬曝光圖像Iexpk對(duì)應(yīng)的權(quán)重圖Whk進(jìn)行絕對(duì)值歸一化處理，這樣可以更大限度的保留真實(shí)權(quán)重信息，同時(shí)可以避免加權(quán)融合后像素溢出，如式（9）所示。加權(quán)融合后的最終結(jié)果為Y，如式（10）所示。

1.2.3 損失函數(shù)

網(wǎng)絡(luò)訓(xùn)練所使用的數(shù)據(jù)為多曝光序列，不存在配對(duì)參考圖像，因此使用無參考質(zhì)量評(píng)價(jià)函數(shù)MEFSSIM 進(jìn)行融合質(zhì)量評(píng)價(jià)［11］。在SSIM 的計(jì)算方式中，任何像素鄰域塊可以由對(duì)比度、結(jié)構(gòu)和強(qiáng)度三個(gè)部分建模組成。與之類似，MEF-SSIM 也將模擬多曝光序列Xhk的像素鄰域塊xk分解為三個(gè)獨(dú)立部分，如式（11）所示。

式中，μxk表示結(jié)構(gòu)塊xk的均值，=xk-μxk表示減去均值的結(jié)構(gòu)塊，ck、sk和lk分別表示圖像內(nèi)部結(jié)構(gòu)塊的對(duì)比度、結(jié)構(gòu)和平均強(qiáng)度。最終融合塊所期望的對(duì)比度分量?由源圖像塊的最高對(duì)比度決定，其表達(dá)式為

針對(duì)平均強(qiáng)度，局部塊的良好曝光情況和圖像平均強(qiáng)度密不可分，圖像過亮或圖像過暗都會(huì)導(dǎo)致信息的丟失，這種情況下其權(quán)重值應(yīng)該較小。而當(dāng)亮度適中時(shí)，圖像塊包含的信息較多，此時(shí)權(quán)重值應(yīng)該較大，可以利用式（14）二維高斯函數(shù)反映該關(guān)系。

式中，μk和lk分別表示圖像Xk和局部圖像塊xk的均值，σg和σl代表標(biāo)準(zhǔn)差，μc和lc為常數(shù)。表示融合后的平均強(qiáng)度的分量l?為

類似于SSIM 的表達(dá)式，MEF-SSIM 的構(gòu)造方式為

式中，σ2x?、σ2y表示給定局部塊的方差，σx?y表示局部塊的協(xié)方差，C是較小的常數(shù)。S(·)為小于1 的正數(shù)，越接近1 表明融合質(zhì)量越高。因此損失函數(shù)設(shè)置為

式中，N是輸入模擬曝光序列的總數(shù)，p表示像素鄰域塊，M是鄰域塊的總數(shù)，xk和y分別表示輸入的一組曝光序列機(jī)器融合結(jié)果。對(duì)所有鄰域塊取平均可以更好地反映融合結(jié)果和單張圖像結(jié)構(gòu)的相似性，而對(duì)所有輸入序列取平均則保證了融合結(jié)果和所有曝光序列整體結(jié)構(gòu)的一致性。

1.3 評(píng)價(jià)指標(biāo)

為了公平起見，選取了有參考圖像質(zhì)量評(píng)價(jià)指標(biāo)峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）和無參考圖像質(zhì)量評(píng)價(jià)指標(biāo)自然圖像質(zhì)量評(píng)估器（Natural Image Quality Evaluator，NIQE）等經(jīng)典的評(píng)價(jià)指標(biāo)來驗(yàn)證算法的有效性?？紤]到圖像觀感很大程度上受到人們主觀因素的影響，本文還重點(diǎn)從視覺觀感的角度分析對(duì)比了各算法的增強(qiáng)結(jié)果，進(jìn)一步驗(yàn)證所提算法的優(yōu)越性。

1.3.1 峰值信噪比PSNR

PSNR 表示圖像信號(hào)峰值與噪聲的比值，該指標(biāo)基于對(duì)應(yīng)像素點(diǎn)間的誤差，可以較好地反映圖像信號(hào)的重建質(zhì)量，單位是dB，數(shù)值越大表示圖像信號(hào)失真越小，計(jì)算方式為

式中，MSE(x，y)表示均方誤差（Mean Square Error，MSE），M和N分別表示圖像長(zhǎng)和寬，(i，j)表示像素位置，x和y分別表示輸入圖像和參考圖像。

1.3.2 結(jié)構(gòu)相似性SSIM

SSIM 一般用來衡量對(duì)比圖像結(jié)構(gòu)是否失真，通過圖像的亮度、對(duì)比度和結(jié)構(gòu)特性進(jìn)行綜合評(píng)價(jià)。SSIM 是感知模型，更符合人眼的直觀感受。結(jié)構(gòu)相似性數(shù)值結(jié)果在區(qū)間［0，1］內(nèi)，數(shù)值越大，表明兩幅圖越相似，當(dāng)亮度、對(duì)比度和結(jié)構(gòu)特性占比相同時(shí)，計(jì)算方式為

式中，μx和μy是像素值平均值，σ2x和σ2y是方差，σxy是協(xié)方差，C1和C2為常數(shù)，避免分母為零。

1.3.3 自然圖像質(zhì)量評(píng)估器NIQE

NIQE 為常用的無參考圖像質(zhì)量評(píng)價(jià)指標(biāo)，該評(píng)估方法在圖像庫中提取自然統(tǒng)計(jì)特征，這些特征源于一個(gè)高度正則化的空域模型。將測(cè)試圖像中提取的自然統(tǒng)計(jì)特征的多元高斯模型與原始圖像庫中的多元高斯模型的距離作為NIQE 的分?jǐn)?shù)，表示為［12］

式中，v1、v2、Σ1和Σ2分別是待測(cè)圖像和原始圖像庫多元高斯模型的均值向量和協(xié)方差矩陣，NIQE 得分?jǐn)?shù)值越小表明待測(cè)圖像和標(biāo)準(zhǔn)庫圖像之間多元分布差異越小，即圖像質(zhì)量越高。NIQE 不需要測(cè)試圖像的先驗(yàn)信息，可以較為客觀地表現(xiàn)圖像質(zhì)量。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境

本文收集了大量的公開低照度圖像測(cè)試數(shù)據(jù)，這些數(shù)據(jù)是由通用消費(fèi)級(jí)相機(jī)拍攝獲得，例如數(shù)碼相機(jī)和智能手機(jī)。涉及經(jīng)典的DICM［13］、MEF［11］、NPE［14］、LIME［15］以及LOL［16］數(shù)據(jù)集，包括94 張RGB 格式不同程度的低照度圖像。為了進(jìn)一步驗(yàn)證算法的魯棒性，本文在公開數(shù)據(jù)集的基礎(chǔ)上又收集了使用科研相機(jī)拍攝的低照度圖像，相機(jī)傳感器為EMCCD（Electron-Multiplying Charge-Coupled Device），型號(hào)是Onsemi KAE-02150。為了驗(yàn)證算法對(duì)色彩信息的有效保留，使用棱鏡式真彩色工業(yè)相機(jī)JAI AP-3200T-USB 采集標(biāo)準(zhǔn)比色卡的圖像進(jìn)行對(duì)比驗(yàn)證，相機(jī)傳感器型號(hào)為Sony IMX265。實(shí)驗(yàn)所涉及的環(huán)境光照度由遠(yuǎn)方PHOTO-2 000 m 弱光照度計(jì)測(cè)得，照度計(jì)量程為0.000 1 lx 至2 000 lx，測(cè)量5 次取均值作為結(jié)果。

2.2 測(cè)試集實(shí)驗(yàn)結(jié)果與分析

本算法的訓(xùn)練集選自SICE 數(shù)據(jù)集［17］中的229 組真實(shí)曝光序列，并對(duì)這些數(shù)據(jù)進(jìn)行下采樣，將低分辨率序列加入訓(xùn)練集。因此訓(xùn)練數(shù)據(jù)共包括458 組曝光序列，每組曝光序列包含7 到9 張真實(shí)曝光圖像。選取其中18 組曝光序列作為驗(yàn)證集。網(wǎng)絡(luò)的訓(xùn)練環(huán)境為Intel i9-9900K@3.6 GHz 處理器和Nvidia RTX 2080Ti 11 GB 顯卡，測(cè)試環(huán)境為Intel i7-9750H@2.6 GHz 處理器和Nvidia GTX 1 650 4 GB 顯卡。對(duì)比算法的增強(qiáng)結(jié)果均使用原作者給出的程序獲得。

2.2.1 公開數(shù)據(jù)集

為了更清晰地對(duì)比各算法的效果，將測(cè)試數(shù)據(jù)分為三類，背光場(chǎng)景低照度圖像、局部光照下微光場(chǎng)景和極低光照下場(chǎng)景。從各種場(chǎng)景中選取一幅典型圖像進(jìn)行對(duì)比，圖6 為背光環(huán)境低照度場(chǎng)景，圖7 為局部光照微光場(chǎng)景，圖8 為極低光照?qǐng)鼍啊?duì)比算法包括基于光照估計(jì)的增強(qiáng)算法LIME［15］、基于相機(jī)響應(yīng)模型的增強(qiáng)算法LECARM［5］、基于融合的低照度圖像增強(qiáng)算法FEM［1］、基于Retinex 理論的光照調(diào)節(jié)網(wǎng)絡(luò)KinD［18］、基于協(xié)作先驗(yàn)結(jié)構(gòu)搜索的RUAS 網(wǎng)絡(luò)［19］和基于零參考曲線估計(jì)Zero-DCE 網(wǎng)絡(luò)［20］。這些對(duì)比方法為現(xiàn)階段較好的低照度圖像增強(qiáng)算法，與之對(duì)比可以反映出本算法的優(yōu)越性。

圖6 背光環(huán)境下增強(qiáng)效果對(duì)比圖Fig. 6 Comparison of enhancement effects in backlight environment

圖7 局部光照微光環(huán)境增強(qiáng)效果對(duì)比Fig. 7 Comparison of enhancement effects in local light level environment

圖8 極低光照環(huán)境增強(qiáng)效果對(duì)比Fig. 8 Comparison of enhancement effects in extremely low light environment

由圖6 至8 可以發(fā)現(xiàn)，LIME 算法很難恢復(fù)出暗部區(qū)域信息，尤其是背光場(chǎng)景暗部區(qū)域和極低光照環(huán)境場(chǎng)景。例如圖6（b）中書柜場(chǎng)景難以識(shí)別圖，8（b）中拖線板無法被清晰識(shí)別。LECARM 算法相較于LIME算法可以更好地恢復(fù)出暗部區(qū)域信息，增強(qiáng)后的圖像整體亮度有所提高，但是亮部區(qū)域極易出現(xiàn)過度增強(qiáng)現(xiàn)象，如圖6（c）窗戶外面的場(chǎng)景。此外，圖7（c）中宇航員和太空車飽和度過高，增強(qiáng)結(jié)果不自然。圖8（c）中增強(qiáng)結(jié)果存在明顯噪聲，拖線板位置增強(qiáng)效果不明顯。FEM 算法整體增強(qiáng)效果較好，與本文處理結(jié)果較為接近，但其增強(qiáng)后圖像色彩飽和度有所下降，尤其是背光場(chǎng)景中亮部區(qū)域和局部光照環(huán)境下的微光圖像，如圖6（d）中窗戶外的綠植色彩不鮮艷，圖7（d）中的宇航員和太空車的色彩飽和度均不高。KinD 算法增強(qiáng)結(jié)果對(duì)比度不高，如圖7（e）中宇航員和太空車。值得注意的是，如圖8（e）可以有效提高圖像的亮度和對(duì)比圖，增強(qiáng)結(jié)果色彩真實(shí)自然，這是由于該網(wǎng)絡(luò)使用的訓(xùn)練集為L(zhǎng)OL 數(shù)據(jù)集，而圖8（a）恰好取自該數(shù)據(jù)集，與其訓(xùn)練集存在密切聯(lián)系，所以該算法增強(qiáng)效果較好，從側(cè)面體現(xiàn)出該算法魯棒性不高。RUAS 算法在對(duì)比中表現(xiàn)最不佳，明顯使得亮部區(qū)域過度增強(qiáng)，產(chǎn)生像素溢出，與此同時(shí)并未有效提高暗部區(qū)域亮度，如圖6（f）中窗戶外場(chǎng)景明顯被過度增強(qiáng)，而熱氣球和書柜均未被有效增強(qiáng)。圖7（f）中增強(qiáng)結(jié)果存在明顯色彩失真。在極低照度下，圖8（f）中圖像亮度并沒有顯著提高。Zero-DCE 算法在提高圖像整體亮度方面表現(xiàn)不錯(cuò)，但是增強(qiáng)結(jié)果存在色彩失真，圖像飽和度較低，例如圖6（g）中窗外綠植，圖7（g）中的宇航員和太空車飽和度均較低，圖8（g）中書本和訂書機(jī)色彩均不夠鮮艷。

綜合對(duì)比發(fā)現(xiàn)，本文所提算法顯著提高了圖像亮度和對(duì)比度，在恢復(fù)圖像暗部區(qū)域信息的同時(shí)，有效抑制了過度增強(qiáng)現(xiàn)象，并適當(dāng)提高了色彩飽和度，增強(qiáng)結(jié)果令人眼滿意。為了進(jìn)一步表明算法的優(yōu)越性，表3給出了各算法增強(qiáng)結(jié)果的NIQE 得分，測(cè)試圖像包含DICM 數(shù)據(jù)集［13］、MEF 數(shù)據(jù)集［11］、NPE 數(shù)據(jù)集［14］和LIME 數(shù)據(jù)集［15］，共計(jì)79 張低照度圖像。從表中可以看出，本文所提算法在MEF 和LIME 數(shù)據(jù)集上的表現(xiàn)都是最好的，在DICM 數(shù)據(jù)集上得分弱于最優(yōu)算法5.54%，在NPE 數(shù)據(jù)集上得分僅弱于最優(yōu)算法0.53%。但是從所有圖像測(cè)試結(jié)果的均值來看，本文所提算法最佳，強(qiáng)于次優(yōu)算法4.49%。結(jié)合圖6 至圖8 的主觀感受，可以有效反映出算法的優(yōu)越性。

表3 不同算法下增強(qiáng)結(jié)果的NIQE 對(duì)比Table 3 NIQE comparison of enhancement results under different algorithms

2.2.2 實(shí)驗(yàn)室環(huán)境數(shù)據(jù)集

為了進(jìn)一步驗(yàn)證算法的魯棒性，本節(jié)對(duì)使用科研相機(jī)和工業(yè)相機(jī)收集的測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)對(duì)比，部分場(chǎng)景低照度圖像和參考圖像如圖9 所示，其中第一行和第三行是原始低照度圖像，第二行和第四行是參考圖像。針對(duì)Onsemi 相機(jī)，在鏡頭前加透射率為10%中性濾光片得到的微光圖像，測(cè)試數(shù)據(jù)包括室內(nèi)場(chǎng)景、建筑內(nèi)自然光場(chǎng)景和室內(nèi)白熾燈場(chǎng)景。部分實(shí)驗(yàn)結(jié)果如圖10 和圖11 所示，圖中，數(shù)字1 表示場(chǎng)景1，數(shù)字2 表示場(chǎng)景2。

圖9 部分實(shí)驗(yàn)室環(huán)境數(shù)據(jù)集Fig. 9 Sample images of laboratory environment testing images

圖11 不同算法增強(qiáng)效果對(duì)比Fig. 11 Comparison of enhancement effects of different algorithms

從圖10 和圖11 可以發(fā)現(xiàn)本文算法可以有效提高圖像的亮度和對(duì)比度，相較于其他主流算法，本算法更好地恢復(fù)出圖像暗部區(qū)域特征，同時(shí)避免了過度增強(qiáng)現(xiàn)象，而且可以很好的保留圖像色彩信息，增強(qiáng)結(jié)果具有合適的飽和度。圖10 和圖11 中目標(biāo)場(chǎng)景的參考圖像見圖9 第一行?？梢园l(fā)現(xiàn)，LIME 算法無法有效恢復(fù)圖像暗部區(qū)域信息，如圖10（b）中的綠植和圖11（b）中的沙發(fā)無法被人眼識(shí)別，且圖10（b）中的草地和圖11（b）中的玩偶飽和度過高。LECARM 算法結(jié)果圖像對(duì)比度不高，整體亮度不高，如圖10（c）、（c）和圖11（c），且圖11（c）中大衛(wèi)鼻子處，玩偶頭部位置存在過度增強(qiáng)現(xiàn)象。從圖10 和圖11 第4 列可以發(fā)現(xiàn)RUAS 算法結(jié)果圖像亮度較低，存在明顯色差，無法有效增強(qiáng)原始圖像。Zero-DCE 算法增強(qiáng)結(jié)果較好，但是整體亮度仍低于本文所提算法，如圖10（e）中的綠植和圖11（e）中的沙發(fā)，且該算法增強(qiáng)結(jié)果對(duì)比度不高，如圖11（e）中的玩偶。綜合對(duì)比發(fā)現(xiàn)，本文所提算法增強(qiáng)效果明顯，可以有效提高圖像的亮度和對(duì)比度，同時(shí)不會(huì)產(chǎn)生過度增強(qiáng)現(xiàn)象，算法增強(qiáng)結(jié)果色彩真實(shí)自然，令人眼滿意。實(shí)驗(yàn)室環(huán)境數(shù)據(jù)集共包括13 對(duì)圖片，其中9 對(duì)圖像分辨率為1 040×772，4 對(duì)圖像分辨率為1 280×1 024，由上述Onsemi 和JAI 兩種相機(jī)拍攝獲得，輸入低照度圖像和參考圖像如圖9 所示。對(duì)各算法增強(qiáng)結(jié)果進(jìn)行了定量統(tǒng)計(jì)對(duì)比，結(jié)果如表4 所示?？梢园l(fā)現(xiàn)本文算法評(píng)價(jià)指標(biāo)取得優(yōu)秀成績(jī)，其中PSNR 指標(biāo)強(qiáng)于次優(yōu)算法4.28%，SSIM 指標(biāo)強(qiáng)于次優(yōu)算法1.94%，NIQE 指標(biāo)僅次于KinD 算法。

表4 不同算法下增強(qiáng)結(jié)果的圖像質(zhì)量評(píng)價(jià)及所用時(shí)間對(duì)比Table 4 Image quality evaluation and time spent comparison of enhancement results under different algorithms

表4 還給出了各算法運(yùn)行時(shí)間，其中LIME 算法涉及光照估計(jì)問題，需要根據(jù)優(yōu)化條件進(jìn)行大量計(jì)算，耗時(shí)最多。LECARM 和Zero-DCE 算法耗時(shí)最短，這是由于二者僅使用伽馬校正的方式，只需對(duì)圖像各個(gè)像素點(diǎn)的進(jìn)行校正，雖然速度快但處理效果也較差。KinD 算法分為圖像分解、反射率恢復(fù)和光照調(diào)節(jié)三個(gè)模塊，運(yùn)算時(shí)間也較慢。RUAS 算法引入先驗(yàn)約束，以結(jié)構(gòu)搜索為手段，是一種輕量級(jí)網(wǎng)絡(luò)，計(jì)算資源消耗少，用時(shí)較短但NIQE 的指標(biāo)較差，這是由于該算法的照明估計(jì)模塊不適用于復(fù)雜光照?qǐng)鼍?。本算法耗時(shí)中等，主要是生成模擬曝光序列耗時(shí)較多，但是綜合各項(xiàng)圖像質(zhì)量評(píng)價(jià)指標(biāo)最優(yōu)，后期將在模擬曝光和曝光融合協(xié)同部分進(jìn)行改善，以提高運(yùn)行速度。

為了進(jìn)一步評(píng)價(jià)所提算法增強(qiáng)結(jié)果的色彩質(zhì)量，在暗室環(huán)境中使用JAI 相機(jī)采集了約8.71×10-2lx（第一行）和1.02×10-2lx（第三行）兩種照度下X-Rite 標(biāo)準(zhǔn)比色卡的圖像，該相機(jī)為棱鏡式真彩色工業(yè)相機(jī)，傳感器型號(hào)為Sony IMX265，各算法的增強(qiáng)效果如圖12 所示。

圖12 不同照度比色卡圖像增強(qiáng)結(jié)果對(duì)比Fig. 12 Comparison of enhancement results of different illumination colorimetric cards

選取CIE LAB 色差對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行比較，色差定義如式（22）所示。CIE LAB 坐標(biāo)系中兩點(diǎn)的距離ΔE(x，y)可以較好地表征人眼感受到的色差，反映出待測(cè)圖像色彩與目標(biāo)參考圖像的色彩匹配程度，數(shù)值越小表明二者色彩差異越小。

式中，L2、a2、b2和L1、a1、b1分別表示目標(biāo)參考圖像和待測(cè)圖像的CIE LAB 顏色空間的明度分量L、從綠色到紅色的分量a和從藍(lán)色到黃色的分量b。選擇各個(gè)色塊中60×60 大小的區(qū)域進(jìn)行計(jì)算，分別計(jì)算24 種顏色的色差，結(jié)果取平均。各算法對(duì)比結(jié)果如表5 所示，其中最優(yōu)結(jié)果加粗顯示?？梢园l(fā)現(xiàn)，本文所提算法增強(qiáng)結(jié)果最優(yōu)，較好的保留了色彩信息，在8.71×10-2lx 下，色差優(yōu)于第二名算法14.83%，在1.02×10-2lx 下，色差優(yōu)于第二名算法3.05%。結(jié)合對(duì)圖12 的人眼觀察，本文所提算法表現(xiàn)最佳。

表5 不同照度下比色卡圖像增強(qiáng)結(jié)果色差對(duì)比Table 5 Color difference comparison of color card image enhancement results under different illuminance

3 結(jié)論

本文提出了一種基于自適應(yīng)截?cái)嗄M曝光和無監(jiān)督融合的增強(qiáng)算法。首先介紹了模擬曝光生成方法，通過閾值分割技術(shù)得到亮暗區(qū)域，然后結(jié)合亮度響應(yīng)和帶有截?cái)嘁蜃拥淖赃m應(yīng)伽馬校正，以及引導(dǎo)濾波算法得到模擬曝光序列。然后介紹了基于上下文聚合網(wǎng)絡(luò)的融合方法，包括基于空洞卷積的權(quán)重學(xué)習(xí)模塊和深度引導(dǎo)濾波上采樣模塊，實(shí)現(xiàn)加權(quán)融合獲得增強(qiáng)結(jié)果。最后使用微光夜視相機(jī)和三通道真彩色相機(jī)收集了低照度圖像測(cè)試集，并對(duì)公開數(shù)據(jù)集和實(shí)驗(yàn)室環(huán)境數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，將實(shí)驗(yàn)結(jié)果和諸多優(yōu)秀算法進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明本算法性能優(yōu)越，魯棒性較好。該算法可以有效提高圖像亮度和對(duì)比度，在恢復(fù)圖像暗部區(qū)域信息的同時(shí)有效抑制亮部區(qū)域過度增強(qiáng)現(xiàn)象，同時(shí)算法增強(qiáng)的圖像具有較好的色彩信息，結(jié)果令人滿意。