基于特征融合和一致性損失的雙目低光照增強(qiáng)

廖嘉文，龐彥偉,2，聶晶,3，孫漢卿，曹家樂

(1.天津大學(xué) 電氣自動化與信息工程學(xué)院，天津 300072；2.上海人工智能實(shí)驗(yàn)室，上海 200232；3.重慶大學(xué) 微電子與通信工程學(xué)院，重慶 401331)

在低光照條件下，圖像質(zhì)量顯著下降，存在可見度低、噪聲高的問題.低質(zhì)量的圖像不僅影響人類的視覺觀感，還影響下游目標(biāo)檢測的性能.低光照圖像增強(qiáng)旨在提升低光照圖像的質(zhì)量（如圖像亮度和對比度），可以應(yīng)用于視頻監(jiān)控、自動駕駛領(lǐng)域.

低光照圖像增強(qiáng)隨著深度學(xué)習(xí)的發(fā)展取得了巨大的進(jìn)步，它包括有監(jiān)督低光照圖像增強(qiáng)和無監(jiān)督低光照圖像增強(qiáng).有監(jiān)督低光照圖像增強(qiáng)利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低光照圖像和正常光照圖像之間的映射，如Wang 等[1]提出的流正則化模型增強(qiáng)低光照圖像；Lv 等[2]提出基于多分支卷積神經(jīng)網(wǎng)絡(luò)的端到端注意力引導(dǎo)方法，并用所提方法實(shí)現(xiàn)低光照圖像增強(qiáng)；Wang 等[3]將低光照增強(qiáng)任務(wù)轉(zhuǎn)化為求殘差的任務(wù)；Zhou 等[4]將低光照增強(qiáng)任務(wù)和去模糊任務(wù)共同進(jìn)行；Zheng 等[5]提出全局的噪聲模型估計(jì)，對圖像進(jìn)行亮度提高與去噪處理.Retinex 理論已被用于低光照圖像增強(qiáng)任務(wù)中[6-7]，核心思想是先進(jìn)行亮度增強(qiáng)，再利用增強(qiáng)后的亮度和透射率恢復(fù)圖像.無監(jiān)督低光照圖像增強(qiáng)是在沒有正常光照參考圖像的情況下進(jìn)行低光照圖像增強(qiáng)，如Guo 等[8]通過估計(jì)亮度增強(qiáng)曲線調(diào)整低光照圖像，Ma 等[9]通過級聯(lián)自標(biāo)定學(xué)習(xí)機(jī)制提升低光照圖像質(zhì)量，Zhang 等[10]將每張彩色圖像解耦為灰度圖像和顏色直方圖.為了促進(jìn)低光照圖像增強(qiáng)任務(wù)的發(fā)展，研究人員還構(gòu)建了多個(gè)低光照圖像數(shù)據(jù)集，如低光照和正常光照圖像對數(shù)據(jù)集LOL[11]、短曝光和長曝光圖像對數(shù)據(jù)集SID[12].低光照圖像增強(qiáng)的方法大部分基于單目圖像.相比于單目圖像，雙目圖像能夠提供更多有用的信息（如多視角信息和深度信息），基于這一優(yōu)勢，研究人員先后將雙目信息用于圖像去霧、去模糊、去雨等領(lǐng)域，提出雙目圖像去霧網(wǎng)絡(luò)[13]（學(xué)習(xí)雙目圖像的相關(guān)矩陣實(shí)現(xiàn)雙目圖像去霧）、深度感知和視圖聚合網(wǎng)絡(luò)[14]（聯(lián)合視差估計(jì)和雙目圖像去模糊）、成對的降雨去除網(wǎng)絡(luò)[15]（該網(wǎng)絡(luò)可以補(bǔ)充遮擋區(qū)域的信息）.此外，Huang 等[16]提出使用Retinex 的雙目增強(qiáng)方法，初步表明了雙目低光照圖像增強(qiáng)的有效性.

雙目低光照圖像增強(qiáng)技術(shù)的發(fā)展受限于大規(guī)模低光照圖像數(shù)據(jù)集的缺乏.為此，本研究構(gòu)建大規(guī)模真實(shí)場景的雙目低光照圖像數(shù)據(jù)集(stereo low light 10K, SLL10K)，提出基于特征融合和一致性損失的雙目低光照圖像增強(qiáng)網(wǎng)絡(luò)(stereo lowlight image enhancement based on feature fusion and consistency loss network, FCNet).為了比較不同方法的低光照圖像增強(qiáng)效果，在所建數(shù)據(jù)集上開展特定模塊的消融實(shí)驗(yàn)和不同方法的低光照圖像增強(qiáng)對比實(shí)驗(yàn)，并通過對雙目低光照圖像的目標(biāo)檢測實(shí)驗(yàn)驗(yàn)證FCNet 的目標(biāo)檢測效果.

1 大規(guī)模真實(shí)場景的雙目低光照圖像數(shù)據(jù)集

相比于單目圖像，雙目圖像提供的視覺信息更豐富，可以更好地恢復(fù)結(jié)構(gòu)與細(xì)節(jié)信息.SLL10K（數(shù)據(jù)集獲取鏈接為https://pan.baidu.com/s/1HJre-CV8OMMpgr7QMasUgQ?pwd=4869）以天津大學(xué)為主要采集地點(diǎn)，充分利用校園內(nèi)豐富的場景變化，歷時(shí)半年采集完成，包含傍晚和夜間的低光照圖像.數(shù)據(jù)集具有豐富的多樣性，如建筑物變化、移動目標(biāo)變化、季節(jié)變化、光照變化等，包含12 658 對室外低光照圖像和205 對室內(nèi)低光照圖像.如圖1 所示為該數(shù)據(jù)集中不同場景、不同時(shí)間的低光照代表性圖像.

圖1 SLL10K 的代表性圖像Fig.1 Some example images in SLL10K

1.1 室外低光照圖像

使用Bumblebee XB3 立體相機(jī)拍攝室外雙目低光照視頻.為了方便網(wǎng)絡(luò)訓(xùn)練，將從雙目相機(jī)中輸出的視頻分辨率縮小一半，設(shè)定為640×480像素.數(shù)據(jù)集共包含257 段雙目視頻，每10 幀抽取1 幀雙目低光圖像，得到室外雙目低光照圖像12 658 對.數(shù)據(jù)集分為訓(xùn)練集和測試集2 個(gè)部分，每個(gè)部分的場景不重復(fù)，其中訓(xùn)練集包含8 086對雙目低光照圖像，測試集包含4 572 對雙目低光照圖像.SLL10K 圖像的大部分區(qū)域?yàn)榈凸庹諈^(qū)域，存在亮度分布不均勻的問題，對實(shí)現(xiàn)高質(zhì)量的圖像增強(qiáng)具有較大挑戰(zhàn)性.如圖2 所示為SLL10K室外場景的訓(xùn)練集和測試集圖像對樣例.

圖2 SLL10K 室外場景的訓(xùn)練集和測試集圖像對樣例Fig.2 Sample image pairs for training and testing sets in outdoor scene of SLL10K

1.2 室內(nèi)低光照圖像

室外場景很難獲取低光照圖像的參考圖像.為了獲取有參考的雙目低光照圖像，選擇在室內(nèi)采集部分場景數(shù)據(jù)，共得到205 對有參考圖像的雙目低光照圖像.這些室內(nèi)圖像用于雙目低光照圖像增強(qiáng)的有參考指標(biāo)評價(jià).在室內(nèi)場景中可以采集正常光照下的參考圖像，還可以通過改變室內(nèi)場景的光照來采集參考圖像對應(yīng)的低光照圖像.為了采集不同低光照條件的雙目低光照圖像，設(shè)置不同的低光照條件，如僅有頂部暗光源、僅有角落暗光源、幾乎沒有光源等.此外，改變相機(jī)位置、視角，改變室內(nèi)場景的物品種類、位置，都能夠增加低光照數(shù)據(jù)的多樣性.如圖3 所示為雙目低光照圖像和對應(yīng)的參考圖像.

圖3 SLL10K 室內(nèi)場景的測試集低光照圖像對和參考圖像對樣例Fig.3 Sample of low-light image pairs and reference image image pairs in indoor scene of SLL10K

2 基于特征融合和一致性損失的雙目低光照圖像增強(qiáng)網(wǎng)絡(luò)

為了充分挖掘雙目提供的多視角信息用于雙目低光照圖像增強(qiáng)，本研究提出FCNet，在單目低光照圖像增強(qiáng)方法ZeroDCE++[17]的基礎(chǔ)上，添加2 個(gè)雙目相關(guān)模塊提取雙目多視角信息：雙目內(nèi)外特征融合(stereo inter-intra-feature fusion,SIIFF) 模塊和雙目一致性(stereo consistency,SC)損失函數(shù)，提升雙目低光照圖像增強(qiáng)的性能.FCNet 的整體架構(gòu)如圖4 所示.

圖4 FCNet 的結(jié)構(gòu)圖Fig.4 Structure diagram of FCNet

1）為了減少計(jì)算量，F(xiàn)CNet 將輸入的雙目圖像Il和Ir進(jìn)行2 倍下采樣(D2)，在此基礎(chǔ)上利用緊湊特征編碼(compact feature encoder, CFE)模塊分別從左右目圖像中提取深度特征Fl和Fr.

2）FCNet 利用SIIFF 模塊進(jìn)行單目內(nèi)特征和雙目間特征的深度融合，輸出融合后的左右特征Flf和Frf.具體地，單目內(nèi)特征融合主要通過提取上下文信息增強(qiáng)特征表達(dá)力，雙目間特征融合通過學(xué)習(xí)雙目間的相關(guān)信息實(shí)現(xiàn)特征增強(qiáng).

3）利用緊湊特征解碼(compact feature decoder,CFD)模塊將融合后的特征與緊湊特征編碼模塊的淺層特征進(jìn)行融合，利用上采樣模塊(U2)將特征上采樣2 倍.

4）利用亮度增強(qiáng)曲線(light-enhancement curve,LE)模塊預(yù)測RGB 三通道的亮度增強(qiáng)曲線，分別調(diào)整3 個(gè)通道的亮度，得到雙目增強(qiáng)結(jié)果圖像Ile和Ire.

2.1 緊湊特征編、解碼模塊

CFE 模塊對經(jīng)過下采樣的雙目圖像進(jìn)行深度特征提取，分別生成特征圖Fl和Fr.具體地，CFE 模塊由4 個(gè)級聯(lián)卷積層構(gòu)成，每個(gè)卷積層的卷積核大小為3×3.每個(gè)卷積后緊接1 個(gè)非線性激活層ReLU.CFD 模塊依次融合CFE 模塊不同層的特征.1）將SIIFF 模塊的輸出和CFE 模塊的第3 層特征串接，并經(jīng)過1 個(gè)卷積層進(jìn)行融合；2）將融合后的特征同CFE 模塊的第2 層特征串接和融合，依次類推得到最終的解碼特征Fld和Frd.

2.2 雙目內(nèi)外特征融合模塊

SIIFF 模塊位于CFE 模塊和CFD 模塊之間，用于提升雙目特征的表達(dá)力.如圖5 所示，SIIFF模塊由1）基于大核的單目內(nèi)融合模塊和2）基于注意力的雙目間特征融合(attention based inter feature fusion, AIF)模塊2 個(gè)部分構(gòu)成.模塊1）提取單目內(nèi)局部上下文信息，增強(qiáng)特征表達(dá)能力.為了減少計(jì)算成本，模塊1）采用2 個(gè)并行的非對稱大核卷積模塊分別從水平方向和豎直方向提取特征，卷積核大小分別為1×9 和9×1.模塊2）挖掘跨視角互補(bǔ)信息，提升雙目特征表達(dá)能力.考慮到空間中某個(gè)點(diǎn)在雙目圖像中位于同一水平線上，只需關(guān)注雙目圖像同一水平方向上不同像素間的相關(guān)性，為此設(shè)計(jì)水平注意力模塊(horizontal attention module, HAM).

圖5 雙目內(nèi)外特征融合模塊的結(jié)構(gòu)圖Fig.5 Structure diagram of stereo inter-intra-feature fusion module

獲得雙目圖像增強(qiáng)特征的具體過程如下：

1）利用HAM 生成雙目相似性圖：HAM 利用線性層Linear 將輸入的左特征圖Fl∈RB×C×H×W和右特征圖Fr∈RB×C×H×W，生成注意力模塊的左目查詢向量Ql∈RB×C×H×W和右目鍵向量Kr∈RB×C×H×W，表示為

式中：Linear 為1 ×1 卷 積層，C為輸出通道數(shù).

2）將Ql的形狀轉(zhuǎn)換為 R(BH)×W×C，將Kr的形狀轉(zhuǎn)換為 R(BH)×C×W，并利用矩陣乘法和Softmax 函數(shù)計(jì) 算二者之間的相似 性圖Sr→l∈R(BH)×W×W，表示為

得到的相似性圖反映同一水平方向上2 個(gè)點(diǎn)的相似度.與此同時(shí)，利用Linear 將右特征圖Fr∈RB×C×H×W生成右目值向量Vr∈RB×C×H×W.基于相似性矩陣Sr→l和形狀 轉(zhuǎn) 換 后的值向 量Vr∈R(BH)×W×C相 乘，得到注意力模塊的輸出Al∈R(BH)×W×C，表示為

經(jīng)過形狀轉(zhuǎn)換，得到Al∈RB×C×H×W

.類似地，利用HAM 可以分別生成右目查詢向量Qr∈RB×C×H×W和左目鍵向量Kl∈RB×C×H×W，表示為

將Qr的形 狀 轉(zhuǎn) 換為 R(BH)×W×C，將Kl的形狀 轉(zhuǎn) 換 為R(BH)×C×W，并利用矩陣乘法和Softmax 函數(shù) 計(jì)算二者之間的相似性圖Sl→r∈R(BH)×W×W，表示為

受Wang 等[18]啟發(fā)，為了減少右目中不相關(guān)的點(diǎn)對左目圖像的影響，將Sl→r沿最后一維求和，將和小于0.1 的位置置為0，大于0.1 的位置置為1，再經(jīng) 過 形 狀 轉(zhuǎn) 換，得 到 掩 模 矩 陣Ml∈RB×1×H×W.AIF 模塊將Fl、Ml和Al融合，得到雙目間的輸出特征Fla∈RB×C×H×W，表示為

式中： c at 為特征圖串接操作；Wo為1×1 的卷積層，用于特征融合.

3）SIIFF 模塊將Fla和單目內(nèi)輸出特征Flb相加得到Flf.類似地，可以得到Frf.

2.3 亮度增強(qiáng)曲線

采用單目低光照增強(qiáng)方法ZeroDCE++[17]預(yù)測RGB 的3 個(gè)通道的亮度增強(qiáng)曲線，利用亮度增強(qiáng)曲線對低光照圖像進(jìn)行增強(qiáng)，表達(dá)式為

式中： L En為迭代后的圖像，M為曲線參數(shù)映射，LEn-1為迭代前的圖像.預(yù)測得到的亮度增強(qiáng)曲線具有3 個(gè)特點(diǎn)：1）增強(qiáng)圖像的每個(gè)像素值的歸一化范圍均為[0, 1]，以避免溢出截?cái)嘣斐尚畔G失；2）曲線是單調(diào)的，以保留相鄰像素的差異；3）梯度反向傳播過程中，曲線的形式簡單且可微.

2.4 損失函數(shù)

為了充分利用增強(qiáng)前圖像的信息，更好指導(dǎo)雙目低光照圖像增強(qiáng)，使用SC 損失函數(shù)來保持雙目視覺結(jié)構(gòu)的一致性.為了讓FCNet 實(shí)現(xiàn)更好的無監(jiān)督學(xué)習(xí)，使用空間一致性(spatial consistency)損失函數(shù)、曝光控制(exposure control)損失函數(shù)、顏色恒常性(color constancy)損失函數(shù)和照明平滑性(illumination smoothness)損失函數(shù)來優(yōu)化FCNet.

一般而言，圖像增強(qiáng)前后局部區(qū)域的像素值亮度趨勢應(yīng)保持不變.雙目圖像同一位置的2 個(gè)像素點(diǎn)屬于同一局部區(qū)域，亮度相對區(qū)域應(yīng)該保持不變.因此，在網(wǎng)絡(luò)設(shè)計(jì)過程中，雙目圖像間的差異圖在增強(qiáng)前和增強(qiáng)后應(yīng)該盡可能保持一致.在圖像增強(qiáng)過程中，可能會出現(xiàn)增強(qiáng)后雙目圖像間的差異圖發(fā)生變化（如左、右目圖像增強(qiáng)程度不同），導(dǎo)致相鄰像素的亮度相對趨勢被破壞.SC 損失函數(shù)保證了增強(qiáng)前和增強(qiáng)后雙目相鄰像素的亮度趨勢盡可能一致：

為了保持空間相關(guān)性，在以區(qū)域i為中心的上、下、左、右4 個(gè)相鄰區(qū)域 Σ (i) 上，使用空間一致性損失：

式 中：A為 特 定 區(qū) 域 的 像 素 數(shù)，Vi、Vj、Ii、Ij均 為增強(qiáng)后的圖像和輸入圖像中特定區(qū)域的平均光照強(qiáng)度值.

為了避免曝光不足或過曝光，F(xiàn)CNet 利用曝光控制損失函數(shù)對增強(qiáng)圖像的局部區(qū)域進(jìn)行調(diào)整，避免增強(qiáng)圖像出現(xiàn)對比度問題.設(shè)置優(yōu)良曝光等級G=0.6.定義曝光控制損失函數(shù)為

式中：B為1 6×16 的區(qū)域，表示參與計(jì)算的不重疊的局部區(qū)域大小為 1 6×16 ；Vk為特定區(qū)域的平均光照強(qiáng)度值.

為了修正顏色偏差，在使用增強(qiáng)網(wǎng)絡(luò)對低光照圖像增強(qiáng)過程中，可以利用顏色恒常性損失對圖像的RGB 通道進(jìn)行修正：

式中：Xp為增強(qiáng)后的圖像中p通道的平均光照強(qiáng)度值； (p,q) 為通道對，為RGB 的3 個(gè)通道兩兩配對.對RGB 圖像進(jìn)行YUV 或HSB 空間轉(zhuǎn)換，雖然可以分解出亮度分量，但在空間轉(zhuǎn)換過程中會存在信息損失的情況，也無法保證顏色不出現(xiàn)偏差.

為了監(jiān)督曲線參數(shù)圖的預(yù)測，利用光照平滑度損失對曲線參數(shù)圖進(jìn)行修正：

式 中：N為 迭 代 次 數(shù)， ?x、 ?y分 別 計(jì) 算 水 平 方 向 的梯度和垂直方向的梯度，A為曲線參數(shù)圖.

根據(jù)上述損失函數(shù)，綜合得到FCNet 的損失函數(shù)為

式 中：Wsc、Wspa、Wexp、Wcol、Wtv分 別 為 對 應(yīng) 損 失函數(shù)的權(quán)重.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)細(xì)節(jié)

FCNet 是端到端的可訓(xùn)練網(wǎng)絡(luò)，無須對子模塊進(jìn)行預(yù)先訓(xùn)練.本次實(shí)驗(yàn)使用8 086 幅室外圖像訓(xùn)練FCNet，使用4 572 幅室內(nèi)圖像對和205 幅室內(nèi)圖像測試FCNet.為了便于對網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，圖像大小設(shè)定為640×480 像素.本研究在單個(gè)GeForce GTX Titan X 顯卡上使用PyTorch 實(shí)現(xiàn)提出的方法，用于訓(xùn)練的優(yōu)化器為Adam，學(xué)習(xí)率固定為0.000 1.設(shè)置本次實(shí)驗(yàn)的批大小為1，epoch 的 數(shù) 量 為50，Wspa=2、Wexp=5 、Wcol=5 、Wtv=1 900 、Wsc=1.SLL10K 的測試集分為有參考的室內(nèi)子集和無參考的室外子集.對于無參考圖像的室外子集，采用4 個(gè)無參考指標(biāo)來評價(jià)不同方法的增強(qiáng)效果，包括無參考圖像空間質(zhì)量評價(jià)器(blind/referenceless image spatial quality evaluator，BRISQUE)[19]、自然圖像質(zhì)量評價(jià)器(natural image quality evaluator, NIQE)[20]、基于感知的圖像質(zhì)量評價(jià)器(perception-based image quality evaluator,PIQE)[21]和亮度順序誤差(lightness order error,LOE)[22].對于有參考圖像的室內(nèi)子集，采用3 個(gè)有參考指標(biāo)和4 個(gè)無參考指標(biāo)來評價(jià)不同方法的增強(qiáng)效果，其中有參考指標(biāo)包括峰值信噪比(peak signal to noise ratio, PSNR)、結(jié)構(gòu)相似度(structural similarity, SSIM)和學(xué)習(xí)感知圖像塊相似度(learned perceptual image patch similarity, LPIPS)[6,23]，無參考指標(biāo)包括BRISQUE、NIQE、LOE、PIQE.指標(biāo)BRISQUE、NIQE、PIQE、LOE 和LPIPS 的數(shù)值越小表示圖像增強(qiáng)的效果越好，指標(biāo)PSNR 和SSIM 的數(shù)值越大表示圖像增強(qiáng)的效果越好.提供室內(nèi)圖像的主要目的是方便其他方法采用本數(shù)據(jù)集測試時(shí)的有參考指標(biāo)比較.

3.2 消融實(shí)驗(yàn)

為了證明FCNet 中每個(gè)模塊的有效性，對添加的模塊進(jìn)行消融研究.

3.2.1 不同模塊的作用 為了驗(yàn)證SIIFF 模塊和SC 損失函數(shù)的有效性，F(xiàn)CNet 在室內(nèi)測試集和室外測試集上對2 個(gè)模塊進(jìn)行消融研究，結(jié)果如表1 所示.表中，“√”表示使用該模塊，“×”表示不使用該模塊.在室外數(shù)據(jù)集中，添加SIIFF 模塊的FCNet，4 個(gè)指標(biāo)都有明顯改善，其中BRISQUE 下降2.138 5，PIQE 下降2.092 7；添加SC 損失函數(shù)的FCNet，4 個(gè)指標(biāo)也都有明顯改善，其中BRISQUE下降0.451 2，PIQE 下降2.364 8.這說明添加的SIIFF 模塊和SC 損失函數(shù)都對室外數(shù)據(jù)有增強(qiáng)效果.在室內(nèi)數(shù)據(jù)集中，添加SIIFF 模塊的FCNet，大部分指標(biāo)顯著改善，其中SSIM 提高0.015 2，PIQE 降低4.462 1；添加SC 損失函數(shù)的FCNet，大部分指標(biāo)顯著改善，其中SSIM 提高0.030 5，PIQE 下降2.812 2.這說明添加的SIIFF 模塊和SC 損失函數(shù)都對室內(nèi)數(shù)據(jù)有增強(qiáng)效果.

表1 FCNet 的不同模塊在2 個(gè)測試集上的消融實(shí)驗(yàn)Tab.1 Ablation experiment of FCNet’s different modules on two test sets

3.2.2 融合模塊數(shù)量的影響 為了驗(yàn)證SIIFF 模塊數(shù)量對網(wǎng)絡(luò)的影響，進(jìn)行修改SIIFF 模塊數(shù)量nm的實(shí)驗(yàn).為了得到更具有說服力的實(shí)驗(yàn)結(jié)果，該項(xiàng)實(shí)驗(yàn)在室外測試集和室內(nèi)測試集中進(jìn)行，結(jié)果如表2 所示.在室外數(shù)據(jù)集中，2 個(gè)SIIFF模塊的所有指標(biāo)都比1 個(gè)SIIFF 模塊效果好，其中BRISQUE 下降0.215，PIQE 下降0.442 1，這說明2 個(gè)SIIFF 模塊比1 個(gè)SIIFF 模塊對室外數(shù)據(jù)有更好的增強(qiáng)效果.在室內(nèi)數(shù)據(jù)集中，2 個(gè)SIIFF 模塊的所有指標(biāo)都比1 個(gè)SIIFF 模塊效果好，其中SSIM 上升0.042 5，PIQE 下降0.783 1.這說明2 個(gè)SIIFF 模塊比1 個(gè)SIIFF 模塊對室內(nèi)數(shù)據(jù)有更好的增強(qiáng)效果.

表2 FCNet 的模塊數(shù)量變化在2 個(gè)測試集上的消融實(shí)驗(yàn)Tab.2 Ablation experiment of FCNet’s module number variation on two test sets

3.2.3 添加大核卷積的影響 為了驗(yàn)證采用的大核卷積對雙目低光照圖像增強(qiáng)網(wǎng)絡(luò)的影響，將SIIFF 模塊中的大核卷積改為2 個(gè)3×3 的普通卷積，結(jié)果如表3 所示.在室外數(shù)據(jù)集中，使用1×9和9×1 的大核卷積的所有指標(biāo)都比使用3×3 的普通卷積的效果好，NIQE 下降0.612 4，PIQE 下降3.537 4.這說明使用1×9 和9×1 的大核卷積比使用3×3 的普通卷積對室外數(shù)據(jù)有更好的增強(qiáng)效果.在室內(nèi)數(shù)據(jù)集中，使用1×9 和9×1 的大核卷積的所有指標(biāo)同樣都比使用3×3 的普通卷積的效果好， PSNR 上升0.153 8 dB，PIQE 下降10.597.這說明使用1×9 和9×1 的大核卷積比使用3×3 的普通卷積對室內(nèi)數(shù)據(jù)有更好的增強(qiáng)效果.

表3 模塊卷積變化在2 個(gè)測試集上的消融實(shí)驗(yàn)Tab.3 Ablation experiment of convolution variation on two test sets

3.3 數(shù)據(jù)測試結(jié)果

3.3.1 定量比較 將FCNet 與RetinexNet[11]、ISSR[24]、GLAD[25]、DVENet[16]、ZeroDCE++[17]、RUAS[26]的單目、雙目低光照圖像增強(qiáng)方法進(jìn)行對比.其中RetinexNet、ISSR、GLAD 和DVENet 是有監(jiān)督學(xué)習(xí)方法，ZeroDCE++、RUAS 和FCNet 是無監(jiān)督學(xué)習(xí)方法；DVENet 是雙目低光照圖像增強(qiáng)方法.無監(jiān)督學(xué)習(xí)方法均在SLL10K 訓(xùn)練集上進(jìn)行訓(xùn)練，之后在測試集上得到增強(qiáng)結(jié)果；有監(jiān)督學(xué)習(xí)方法由于缺乏參考圖像，采用其論文提供的預(yù)訓(xùn)練模型在SLL10K 上進(jìn)行測試.

不同方法在SLL10K 室外、室內(nèi)測試集上的圖像增強(qiáng)指標(biāo)結(jié)果分別如表4、5 所示.由表4 可以看出， FCNet 整體上比大部分方法的效果好，各個(gè)指標(biāo)都能居于前列，在無監(jiān)督方法中表現(xiàn)最好.相比ZeroDCE++網(wǎng)絡(luò)，F(xiàn)CNet 的左目圖像BRISQUE 下降2.589 7，PIQE 下降4.457 5；右目圖像BRISQUE 下降2.870 4， PIQE 下降4.743 5.這說明對于室外低光照圖像，無論是左目圖像還是右目圖像，F(xiàn)CNet 都比對應(yīng)的單目方法ZeroDCE++的處理效果更好.由表5 可以看出， FCNet 的SSIM 指標(biāo)的數(shù)值最大，左目圖像比RUAS 高0.025 8，右目圖像比RUAS 高0.038 2.雙目圖像的BRISQUE、PIQE 和LOE 指標(biāo)較好，在無監(jiān)督方法中有4 項(xiàng)指標(biāo)取得最佳.相比對應(yīng)的單目方法ZeroDCE++，F(xiàn)CNet 方法左目圖像在BRISQUE 降低5.131 6，PIQE 降低7.274 3；右目圖像在BRISQUE 降低5.988 6，PIQE 降低8.940 3；左右目圖像的其余指標(biāo)也較好.這說明對于室內(nèi)低光照圖像，無論是左目圖像還是右目圖像， FCNet 都比對應(yīng)的單目方法ZeroDCE++的處理效果更好.

表4 不同圖像增強(qiáng)方法在SLL10K 室外數(shù)據(jù)集上的指標(biāo)對比Tab.4 Indicators comparison of different image enhancement methods on SLL10K outdoor dataset

表5 不同圖像增強(qiáng)方法在SLL10K 室內(nèi)數(shù)據(jù)集上的指標(biāo)對比Tab.5 Indicators comparison of different image enhancement methods on SLL10K indoor dataset

3.3.2 視覺對比 FCNet 是無監(jiān)督圖像增強(qiáng)方法，因此僅選擇2 個(gè)無監(jiān)督方法RUAS 和ZeroDCE++進(jìn)行可視化對比.如圖6 所示為FCNet 與ZeroDCE++、RUAS 無監(jiān)督方法在不同場景下的視覺比較.對比夜晚燈籠場景圖像可以看出，RUAS 增強(qiáng)的圖像周圍環(huán)境的色彩受到燈光區(qū)域影響嚴(yán)重，且過曝現(xiàn)象嚴(yán)重；ZeroDCE++增強(qiáng)的圖像框出區(qū)域路肩受到光照過曝，損失路肩部分細(xì)節(jié)；FCNet 增強(qiáng)的圖像保證了周圍環(huán)境的色彩，也保證了圖像對比度，還避免了過噪和過曝現(xiàn)象，相較于其他方法優(yōu)勢顯著.對比夜晚公交場景圖像可以看出，RUAS 增強(qiáng)的圖像路面和路燈過曝現(xiàn)象嚴(yán)重，損失車輛上和路面上的部分細(xì)節(jié)；ZeroDCE++增強(qiáng)的圖像框出區(qū)域車輛玻璃上的噪聲顯著，車身也略微發(fā)白；FCNet 增強(qiáng)的圖像路面和路燈沒有顯著的過曝現(xiàn)象，車輛玻璃上的噪聲也不顯著，相較于其他方法優(yōu)勢顯著.對比夜晚車輛和建筑場景圖像可以看出，RUAS 增強(qiáng)的圖像路燈過曝現(xiàn)象嚴(yán)重，損失部分細(xì)節(jié)；ZeroDCE++增強(qiáng)的圖像車身區(qū)域噪聲明顯，框出區(qū)域的路燈燈光過曝明顯；FCNet 增強(qiáng)的圖像既能降低噪聲，又避免了過曝現(xiàn)象，相較于其他方法優(yōu)勢顯著.對比夜晚樹木和建筑場景圖像可以看出，RUAS 增強(qiáng)的圖像增強(qiáng)效果不明顯，且路面和窗戶部分區(qū)域有過曝現(xiàn)象；ZeroDCE++增強(qiáng)的圖像框出區(qū)域過曝現(xiàn)象嚴(yán)重，損失部分細(xì)節(jié)；FCNet 增強(qiáng)的圖像既降低了噪聲，又避免了過曝現(xiàn)象，相較于其他方法優(yōu)勢顯著.

圖6 不同圖像增強(qiáng)方法對4 種場景圖像的處理效果對比Fig.6 Processing effects comparison of different image enhancement methods on four scene images

如圖7 所示為室內(nèi)圖像單、雙目增強(qiáng)效果對比.相較于單目方法，雙目方法可以消除部分噪聲，如在框出的皮包區(qū)域，雙目方法的噪聲比單目方法的少；在白墻部分，單目方法比雙目方法的過曝更顯著.單目方法的暗區(qū)更清楚的原因是單目方法的暗區(qū)部分存在噪聲，這些白點(diǎn)噪聲導(dǎo)致暗區(qū)稍顯變亮.

圖7 室內(nèi)圖像單、雙目增強(qiáng)效果對比Fig.7 Comparison of monocular and stereo enhancement of indoor images

3.4 目標(biāo)檢測實(shí)驗(yàn)

進(jìn)行目標(biāo)檢測實(shí)驗(yàn)，對比使用不同方法增強(qiáng)后的圖像的目標(biāo)檢測效果.本實(shí)驗(yàn)使用經(jīng)過亮度暗化處理的低光照KITTI[27]數(shù)據(jù)集，實(shí)現(xiàn)過程是將獲取的原始KITTI 數(shù)據(jù)集圖像經(jīng)過Gamma 變換[28]，通過調(diào)整亮度曲線使圖像的亮度變低[2].這種方法可以模擬類似在低光照條件下獲取到的雙目低光照圖像.該實(shí)驗(yàn)主要考察光照不充分的車輛圖像在使用不同方法進(jìn)行圖像增強(qiáng)后，是否可以標(biāo)出目標(biāo)車輛的三維檢測框.實(shí)驗(yàn)選用KITTI數(shù)據(jù)集的訓(xùn)練集圖像，其中訓(xùn)練圖像3 712 張、驗(yàn)證圖像3 769 張，圖像大小約為1 224×370 像素.目標(biāo)檢測網(wǎng)絡(luò)選用Disp-RCNN[29].Disp-RCNN 是基于實(shí)例級視差估計(jì)的雙目三維目標(biāo)檢測框架，主要由3 個(gè)部分組成：1）檢測每個(gè)輸入對象的二維邊框和實(shí)例掩碼，2）僅估計(jì)屬于對象的像素視差，3）使用三維檢測器從實(shí)例點(diǎn)云中預(yù)測出三維邊界框.具體參數(shù)使用Disp-RCNN 的默認(rèn)參數(shù)，檢測網(wǎng)絡(luò)采用官方提供的預(yù)訓(xùn)練模型，再將各種方法增強(qiáng)后的雙目圖像分別輸入檢測網(wǎng)絡(luò)，測試各自檢測結(jié)果.

如表6 所示為不同方法增強(qiáng)后圖像的目標(biāo)檢測結(jié)果，重疊度(intersection over union, IoU)取0.7，難度選擇中等.表中， A P2d為二維檢測的平均準(zhǔn)確度， A Pori為方向的平均準(zhǔn)確度， A Pbev為鳥瞰圖的平均準(zhǔn)確度， A P3d為三維檢測的平均準(zhǔn)確度.可以得到，經(jīng)過低光照處理后的KITTI數(shù)據(jù)集的目標(biāo)檢測準(zhǔn)確率顯著下降，如當(dāng)IoU=0.7時(shí)， A P3d中等難度下降16.06 個(gè)百分點(diǎn).多數(shù)的圖像增強(qiáng)方法都能讓目標(biāo)檢測準(zhǔn)確率提升.其中FCNet 的檢測準(zhǔn)確率最高， A P3d中等難度結(jié)果為45.45%，相比ZeroDCE++提升了0.47 個(gè)百分點(diǎn)，說明使用雙目方法可以有效提升對應(yīng)方法的檢測準(zhǔn)確率.如圖8 所示為單、雙目圖像增強(qiáng)方法的視差圖對比，對比各分圖框出的部分可以看出，使用雙目方法F C N e t 增強(qiáng)左右目低光照圖像通過Disp-RCNN 網(wǎng)絡(luò)獲得的視差圖，輪廓符合參考圖像視差圖的形狀，明顯優(yōu)于使用單目方法ZeroDCE++分別增強(qiáng)左、右目低光照圖像后一起通過Disp-RCNN 網(wǎng)絡(luò)獲得的視差圖.

表6 不同圖像增強(qiáng)方法的目標(biāo)檢測結(jié)果Tab.6 Object detection results of different image enhancement methods%

圖8 單、雙目圖像增強(qiáng)方法的視差圖對比Fig.8 Comparison of parallax map between monocular and stereo image enhancement methods

4 結(jié) 語

本研究提出基于特征融合和一致性損失的雙目低光照圖像增強(qiáng)網(wǎng)絡(luò)FCNet.特征融合模塊基于注意力機(jī)制和大核卷積，能夠充分融合單目內(nèi)和雙目間的信息，進(jìn)而增強(qiáng)特征.一致性損失函數(shù)保持輸入雙目圖像和輸出雙目圖像間的差異趨勢，能夠?qū)崿F(xiàn)更好的圖像增強(qiáng)效果.在SLL10K 數(shù)據(jù)集上的實(shí)驗(yàn)表明，相比單目方法，F(xiàn)CNet 能更有效提升低光照圖像增強(qiáng)的性能.在經(jīng)過暗化處理的KITTI 數(shù)據(jù)集上的實(shí)驗(yàn)表明，使用FCNet 增強(qiáng)后的圖像能獲得更好的目標(biāo)檢測效果.盡管FCNet在該數(shù)據(jù)集取得了一定的效果，但是在噪聲抑制方面仍然存在巨大的進(jìn)步空間.未來將聚焦如何利用雙目多視角的冗余信息抑制夜間噪聲.