復(fù)合殘差網(wǎng)絡(luò)在低照度圖像增強(qiáng)中的技術(shù)研究

王興瑞，樸 燕，王雨墨

（長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，吉林 長(zhǎng)春 130022）

1 引 言

隨著國(guó)內(nèi)外成像技術(shù)的發(fā)展，多模態(tài)圖像可通過(guò)各種成像設(shè)備獲取，但在暗環(huán)境下，如夜間或缺乏足量光照時(shí)，成像設(shè)備采集的圖像質(zhì)量退化嚴(yán)重，且圖像出現(xiàn)對(duì)比度低、噪聲干擾大、顏色失真等情況，對(duì)于后續(xù)視覺(jué)任務(wù)（包括目標(biāo)檢測(cè)與識(shí)別、目標(biāo)跟蹤、場(chǎng)景分割和關(guān)鍵信息提取等）造成巨大干擾。因此，國(guó)內(nèi)外學(xué)者對(duì)圖像增強(qiáng)開(kāi)展了廣泛的研究，其主要有3 種方法：（1）基 于 直 方 圖 均 衡 化（HE）的 方 法。Zuiderveld 等 人［1］提 出 了 對(duì) 比 度 受 限 的 自 適 應(yīng)直方圖均衡化方法，Ibrahim［2］提出了一種保持亮度的動(dòng)態(tài)直方圖均衡化算法。（2）以Retinex理論［3］為基礎(chǔ)的方法。如Jobson 等人提出的單尺 度Retinex（SSR）［4］算 法，多 尺 度Retinex（MSR）［5］算法，以及Retinex 的衍 生算法aMSRCR 和MSRCP 等。黃慧等人［6］在Retinex 基礎(chǔ)上添加了平滑聚類(lèi)操作對(duì)圖像做層次分離。馮維等［7］利用最小二乘濾波對(duì)多幅圖像融合以得到增強(qiáng)圖像。王衛(wèi)星和趙恒［8］通過(guò)改進(jìn)Retinex 并引入引導(dǎo)濾波對(duì)霧霾交通圖像進(jìn)行增強(qiáng)。（3）基于深度學(xué)習(xí)的方法。Cheng 等人［9］提出了深度融合網(wǎng)絡(luò)（Deep Fusion Network，DFN）來(lái)增強(qiáng)圖像。該算法雖有效提高了亮度，但在高亮和極暗的區(qū) 域 出 現(xiàn) 了 偽 影。Guo 等 人［10］提 出 了 一 種LIME 算法，該算法首先分離RGB 通道并分別找到像素最大值，用具體像素值作為指標(biāo)來(lái)單獨(dú)估計(jì)各通道各個(gè)像素的光照，然后對(duì)初始光照?qǐng)D進(jìn)行結(jié)構(gòu)細(xì)化后作為最終光照?qǐng)D。該算法在亮度提升方面有很大提高，但算法有時(shí)會(huì)出現(xiàn)圖像失真、圖像主觀(guān)感受不自然的情況。Li［11］等 人 提 出 了LightenNet 網(wǎng) 絡(luò)，該 網(wǎng) 絡(luò) 以 低 照?qǐng)D為輸入，輸出其光照?qǐng)D，再根據(jù)Retinex 理論計(jì)算增強(qiáng)圖像。該算法亮度增強(qiáng)明顯，但存在過(guò)曝光現(xiàn)象。除此之外，還有許多基于深度學(xué)習(xí)的低光照?qǐng)D像增強(qiáng)算法［12-15］。

本文提出了一種基于注意力模型和復(fù)合殘差網(wǎng)絡(luò)的CNN 模型進(jìn)行低照度圖像增強(qiáng)。該方法首先對(duì)原始圖像進(jìn)行色彩空間的轉(zhuǎn)換（RGBHSV），然后通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)亮度分量V進(jìn)行增強(qiáng)，最后通過(guò)色彩空間的轉(zhuǎn)換（HSV-RGB）得到增強(qiáng)圖像。實(shí)驗(yàn)結(jié)果表明，本文算法在保持人主觀(guān)感受的基礎(chǔ)上大幅提高了亮度與對(duì)比度，而且圖像細(xì)節(jié)豐富，色彩自然，在主觀(guān)評(píng)價(jià)與客觀(guān)指標(biāo)上均有很大提高。

2 增強(qiáng)算法實(shí)現(xiàn)

為了獲取圖像的深層特征，通常加深網(wǎng)絡(luò)的深度與寬度，但這會(huì)引發(fā)網(wǎng)絡(luò)梯度更新時(shí)的梯度消失等問(wèn)題，使得網(wǎng)絡(luò)學(xué)習(xí)能力下降。為了避免上述問(wèn)題，本文設(shè)計(jì)了一個(gè)復(fù)合殘差模塊用來(lái)解決提高網(wǎng)絡(luò)深度后產(chǎn)生的副作用。

2.1 網(wǎng)絡(luò)架構(gòu)

網(wǎng)絡(luò)整體架構(gòu)如圖1 所示，網(wǎng)絡(luò)包括3 個(gè)部分：淺層特征提取部分、深層特征提取部分、圖像重建部分。

圖1 本文網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall network structure of this paper

淺層特征提?。罕疚氖紫葘?duì)圖像進(jìn)行色彩空間轉(zhuǎn)換（RGB-HSV），然后單獨(dú)對(duì)亮度分量V進(jìn)行訓(xùn)練，轉(zhuǎn)換公式如下：

淺層特征提取模塊是一個(gè)多分支結(jié)構(gòu)，不同感受野的圖像特征可以由多尺寸卷積核卷積得到。卷積層后添加ReLU 層，ReLU 函數(shù)可以使輸入特征圖稀疏化，對(duì)特征圖不同層次特征的挖掘有顯著作用，計(jì)算公式為：

由于CNN 是一種參數(shù)量和感受野相關(guān)、交互與輸入內(nèi)容無(wú)關(guān)的操作，而自注意力是一種參數(shù)量與感受野無(wú)關(guān)、交互與輸入內(nèi)容相關(guān)的操作，且圖像的淺層特征信息往往能表征到圖像輪廓等關(guān)鍵信息，因此在模塊每個(gè)卷積層后引入CBAM［16］注意力模塊，使網(wǎng)絡(luò)對(duì)圖像中的某些關(guān)鍵特征信息加強(qiáng)學(xué)習(xí)或者對(duì)某些不重要特征信息減少學(xué)習(xí)強(qiáng)度。淺層特征提取部分的計(jì)算公式為：

其 中：XL-1為 前 層 特 征 映 射，Wl為 卷 積 核，bl為偏置，F(xiàn)為激活函數(shù)ReLU，XL為模塊輸出的特征映射。在模塊后通過(guò)Concatenate 層將多分支輸出的64 個(gè)特征圖進(jìn)行通道拼接用于后續(xù)任務(wù)。

深層特征提?。盒螤?、顏色、紋理、空間關(guān)系等由淺層特征提取模塊提取，深層特征提取模塊（Composite residual module，CRM）則用于提取圖像的高級(jí)語(yǔ)義特征（抽象特征）。模塊使用復(fù)合殘差模塊與卷積塊交替串聯(lián)構(gòu)成。圖2 是復(fù)合殘差模塊的結(jié)構(gòu)。

圖2 復(fù)合殘差模塊Fig.2 Composite residual module

復(fù)合殘差模塊主要由3 個(gè)殘差單元組成。在復(fù)合殘差模塊中使用殘差連接，殘差連接會(huì)增大特征信息傳播的流暢度，殘差結(jié)構(gòu)不僅能保證特征圖的輸出表達(dá)能力，而且在保證輸出特征圖不變的同時(shí)，提高網(wǎng)絡(luò)感受野。此外模塊借鑒Inception 結(jié) 構(gòu)［17］的 思 想，使 用 多 個(gè)1×1 卷 積 提 高網(wǎng)絡(luò)的表達(dá)能力。

殘差單元（Residual Unit）結(jié)構(gòu)如圖3 所示。其使用多個(gè)卷積層+BN 層+ReLU 層的結(jié)構(gòu)，單元兩邊使用1×1 卷積提高進(jìn)行輸入和輸出的特征融合，單元中心使用3×3 卷積進(jìn)行特征深層次提取，同時(shí)在單元外部使用融合了1×1 卷積和BN 層的殘差連接以保證輸出到輸入的梯度回傳的流暢性。

圖3 殘差單元Fig.3 Residual unit

圖像重建：圖像重建模塊將圖像的特征信息從特征空間映射到圖像空間，模塊如圖4 所示。模塊采用一個(gè)3×3×1 的卷積層用作圖像重建，模塊輸出的特征圖就是增強(qiáng)后的V通道。

圖4 圖像重建模塊Fig.4 Image reconstruction module

2.2 損失函數(shù)

本文損失函數(shù)使用深度學(xué)習(xí)領(lǐng)域常用的基于像素值的損失函數(shù)均方誤差損失（MSE），其公式表示為：

其 中：y?i為 觀(guān) 測(cè) 值，yi為 真 實(shí) 值，i為 函 數(shù)y的 索引。對(duì)圖像求MSE，公式為：

其中I、K為兩幅單通道圖像。

單獨(dú)使用MSE 損失雖會(huì)提高圖像亮度，但會(huì)造成圖像邊緣模糊，圖像細(xì)節(jié)難以把控，因此，本文在使用MSE 的基礎(chǔ)上添加了結(jié)構(gòu)相似性損失（SSIM）來(lái)對(duì)圖像細(xì)節(jié)部分做優(yōu)化。SSIM 可以衡量圖像間的相似性，公式為：

其中：X和Y是輸入的兩張圖像，μx和μy表示X和Y的平均值；δ2x和δ2y表示X和Y的方差；δxy表示X和Y的協(xié)方差，C1和C2是防止分母為0 的常數(shù)。本文總損失函數(shù)為：

其中，λ1和λ2為MSE 損失和SSIM 損失的權(quán)重。

3 實(shí)驗(yàn)準(zhǔn)備

3.1 數(shù)據(jù)集制作

自然環(huán)境下的低照度圖像與配準(zhǔn)正常照度圖像數(shù)據(jù)量稀少，為保證網(wǎng)絡(luò)訓(xùn)練性能，本文選取了LOL［18］數(shù)據(jù)集中的1 000 對(duì)配準(zhǔn)好的圖像，并對(duì)LOL 數(shù)據(jù)集中的圖像隨機(jī)進(jìn)行翻轉(zhuǎn)、平移與旋轉(zhuǎn)變換將圖像數(shù)量擴(kuò)充至15 000 張。本文訓(xùn)練集、驗(yàn)證集、測(cè)試集圖像數(shù)量比重為8∶1∶1，使用12 000 對(duì)配準(zhǔn)圖像進(jìn)行訓(xùn)練，1 500 對(duì)圖像進(jìn)行驗(yàn)證，1 500 對(duì)圖像進(jìn)行測(cè)試。本文將原始數(shù)據(jù)集384×384 的圖像尺寸統(tǒng)一縮放至128×128 大小進(jìn)行訓(xùn)練。

3.2 實(shí)驗(yàn)環(huán)境

本文在微軟Windows10 系統(tǒng)上完成所有實(shí)驗(yàn)，通過(guò)Nvidia RTX3060 顯卡對(duì)網(wǎng)絡(luò)加速訓(xùn)練，采用Python 編程語(yǔ)言并通過(guò)谷歌的TensorFlow深度學(xué)習(xí)框架的高階API Keras 來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)的搭建。為確定λ1和λ2取何值時(shí)效果最好，本文進(jìn)行了數(shù)次實(shí)驗(yàn)，圖5 和表1 展示了部分實(shí)驗(yàn)結(jié)果，圖中0.9-0.1 表 示λ1為0.9、λ2為0.1 的 實(shí) 驗(yàn) 情 況，0.1-0.9 和0.7-0.3 同理。最終確定當(dāng)總損失中的λ1為0.7，λ2為0.3 時(shí)模型效果最好。

表1 圖5 評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of evaluation indicators in Fig.5

圖5 損失權(quán)重的不同對(duì)實(shí)驗(yàn)結(jié)果的影響Fig.5 Influence of different loss weights on experimental results

本文批大小batch_size 設(shè)置為8，訓(xùn)練批次epoch 設(shè)為80。本文優(yōu)化器采用深度學(xué)習(xí)算法中最著名的Adam，學(xué)習(xí)率使用分批衰減策略，學(xué)習(xí)率初值為0.001，每20 個(gè)epoch 衰減5 倍。學(xué)習(xí)率衰減策略前期可以加速網(wǎng)絡(luò)訓(xùn)練，使網(wǎng)絡(luò)快速擬合，后期可以使網(wǎng)絡(luò)不斷逼近梯度最小值的地方，提高模型精度。

3.3 評(píng)價(jià)指標(biāo)選取

為了證明本算法的有效性，本文與現(xiàn)有的主流低照度圖像增強(qiáng)算法進(jìn)行對(duì)比實(shí)驗(yàn)，包括直方圖 均 衡 化、aMSRCR、MSRCP、LIME 算 法 和LightenNet（LNet）算法，并通過(guò)對(duì)增強(qiáng)圖像的主觀(guān)視覺(jué)評(píng)價(jià)和客觀(guān)指標(biāo)分析對(duì)各個(gè)算法的增強(qiáng)效果進(jìn)行對(duì)比，在客觀(guān)評(píng)價(jià)指標(biāo)的選取上采用峰值信噪比（PSNR）、SSIM、MSE、圖像均值和圖像標(biāo)準(zhǔn)差，PSNR 公式為：

其中MAXI表示圖像顏色的最大值。

圖像均值是表征圖像亮度大小的物理量，其值越大，亮度越高。公式為：

其中：I為圖像，i，j為像素位置索引。

圖像標(biāo)準(zhǔn)差表征圖像灰度的離散程度，其值越大，圖像質(zhì)量越好。公式為：

4 實(shí)驗(yàn)結(jié)果

4.1 合成低照度圖像實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文網(wǎng)絡(luò)在人工合成低照度圖像［14］上的效果，本文對(duì)WATERLOO［19］數(shù)據(jù)集中的1 000 張圖像進(jìn)行像素值的指數(shù)變換，通過(guò)人工的方式對(duì)圖像亮度降低，指數(shù)變換公式如下：

其中：y為輸出像素值、x為輸入像素值a為變化幅 度。本 文 對(duì)a選 擇1.05、1.1、1.15、1.2 四 種值。實(shí)驗(yàn)結(jié)果如圖6 所示。

圖6 在合成低照度圖像上的視覺(jué)主觀(guān)對(duì)比。（a）船舶；（b）室內(nèi)場(chǎng)景；（c）飛機(jī)；（d）公交車(chē)；（e）過(guò)山車(chē)。Fig.6 Visual subjective contrast on synthetic low illumination images.（a）Ship；（b）Indoor scenes；（c）Airplane；（d）Bus；（e）Roller coaste.

直觀(guān)上看，直方圖均衡化的方法對(duì)亮度提升不明顯，且在部分區(qū)域出現(xiàn)顏色失真；aMSRCR算法增強(qiáng)效果優(yōu)于HE，且對(duì)比度良好，但圖像局部出現(xiàn)了顏色失真，如圖6（b）中花瓶與路面失真較大，且在圖6（c）的飛機(jī)圖中，路面出現(xiàn)了玫紅色；MSRCP 算法過(guò)曝光現(xiàn)象明顯，圖像整體泛白且圖像信息丟失嚴(yán)重，如圖6（e）中的過(guò)山車(chē)；LIME 算法對(duì)圖像的紋理方面保持得很好，但圖像亮度增強(qiáng)不夠；LNet 算法增強(qiáng)效果不錯(cuò)，圖像細(xì)節(jié)方面保持得也很好，但與MSRCP 算法類(lèi)似，在圖像局部出現(xiàn)過(guò)曝光，如圖6（c）左上角路面處；整體來(lái)看，本文所提算法不僅在亮度和對(duì)比度方面有很大提高，而且避免了過(guò)曝光現(xiàn)象，且圖像細(xì)節(jié)部分保持很好，顏色失真現(xiàn)象也沒(méi)有發(fā)生。

在WATERLOO 數(shù)據(jù)集中，因?yàn)槭呛铣傻牡驼斩葓D像，所以存在參考圖像（正常照度圖像），因此本文使用PSNR、SSIM、MSE 三種有參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)客觀(guān)評(píng)價(jià)各算法效果。

由表2 數(shù)據(jù)可知，本文算法在各項(xiàng)指標(biāo)上，總體均優(yōu)于其他算法，LNet 算法的評(píng)價(jià)指標(biāo)與本文算法接近，但仍有差距。本文算法使得增強(qiáng)后的圖像有用信息更豐富，圖像更自然，部分圖像增強(qiáng)效果甚至超越原圖，如圖6（d）中公交車(chē)左側(cè)的墻體區(qū)域，增強(qiáng)結(jié)果比配準(zhǔn)圖更清晰，這也是導(dǎo)致圖6（d）中本文指標(biāo)不高的原因。因此圖像增強(qiáng)質(zhì)量要從主觀(guān)和客觀(guān)兩方面綜合評(píng)判。

表2 圖6 中各個(gè)圖像客觀(guān)評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of objective evaluation indexes of each image in Fig.6

4.2 真實(shí)低照度圖像實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法在自然情況下的低照度圖像增強(qiáng) 效 果，本 文 選 取 了LOL 數(shù) 據(jù) 集 和Exdark［20］數(shù)據(jù)集中的圖片進(jìn)行測(cè)試，LOL 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如圖7 所示。

實(shí)驗(yàn)結(jié)果顯示，HE 方法對(duì)于圖像亮度的提升仍不足；aMSRCR 算法出現(xiàn)顏色失真，如鐘表圖亮度增強(qiáng)后出現(xiàn)了紫色；MSRCP 算法過(guò)曝光現(xiàn)象嚴(yán)重，如樹(shù)木圖；LIME 算法增強(qiáng)效果與HE相近，但圖像細(xì)節(jié)保持較好；LNet 算法整體增強(qiáng)效果明顯，但在某些區(qū)域增強(qiáng)效果欠佳。

表3 是圖7 中各個(gè)圖像的客觀(guān)評(píng)價(jià)指標(biāo)對(duì)比。由表3 中數(shù)據(jù)可知，本文算法整體數(shù)值均優(yōu)于其他算法，但在雕塑2 指標(biāo)上，可以看出本文算法數(shù)值指標(biāo)不高，這是由于算法對(duì)低照度圖像的增強(qiáng)效果甚至超過(guò)了正常光照?qǐng)D，在原圖中的偏暗區(qū)域也能被很好地增強(qiáng)，這也凸顯了網(wǎng)絡(luò)的強(qiáng)大提升能力。

表3 圖7 中各個(gè)圖像客觀(guān)評(píng)價(jià)指標(biāo)對(duì)比Tab.3 Comparison of objective evaluation indexes of each image in Fig.7

圖7 LOL 數(shù)據(jù)集中真實(shí)低照度圖像視覺(jué)主觀(guān)對(duì)比。（a）雕塑1；（b）鐘表；（c）房屋；（d）雕塑2；（e）樹(shù)木。Fig.7 Visual subjective comparison of real low illumination images in LOL dataset.（a）Sculpture 1；（b）Clock；（c）House；（d）Sculpture 2；（e）Trees.

圖8 顯示了在Exdark 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。直觀(guān)上看，aMSRCR 和MSRCP 兩種算法顏色失真嚴(yán)重，如aMSRCR 和MSRCP 算法在龍舟上的增強(qiáng)結(jié)果出現(xiàn)了紫色像素塊，MSRCP 算法在城堡中出現(xiàn)了過(guò)曝光；HE 算法在處理夜間低光照?qǐng)D像上效果良好，但亮度仍得不到有效提高；LIME 算法增強(qiáng)效果顯著，但在某些圖像上出現(xiàn)噪聲，如馬路圖像中的天空區(qū)域多了許多噪聲；LNet 算法增強(qiáng)后的圖像依然有豐富的細(xì)節(jié)，但在某些區(qū)域的增強(qiáng)效果上出現(xiàn)退火情況，如城堡中的窗戶(hù)亮度不增反降；本文算法在處理夜間低光照?qǐng)D像方面依然有巨大優(yōu)勢(shì)。

由于夜間真實(shí)環(huán)境的低照度圖像沒(méi)有與之配準(zhǔn)的正常光照?qǐng)D像，因此選用無(wú)參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)圖像均值和圖像標(biāo)準(zhǔn)差進(jìn)行客觀(guān)評(píng)價(jià)。

表4 為圖8 中各個(gè)增強(qiáng)圖像的客觀(guān)評(píng)價(jià)指標(biāo)。從表4 中數(shù)據(jù)可以得知，本文算法圖像均值和圖像標(biāo)準(zhǔn)差優(yōu)于HE、LIME 和LNet。雖然aMSRCR 和MSRCP 的指標(biāo)優(yōu)于本文算法，但這是因?yàn)檫@兩種算法引入了許多高像素值的噪聲，且發(fā)生過(guò)曝光現(xiàn)象，因此其不可作為評(píng)判依據(jù)。

表4 圖8 中各個(gè)圖像客觀(guān)評(píng)價(jià)指標(biāo)對(duì)比Tab.4 Comparison of objective evaluation indexes of each image in Fig.8

圖8 Exdark 數(shù)據(jù)集中真實(shí)低照度圖像視覺(jué)主觀(guān)對(duì)比。（a）龍舟；（b）城堡；（c）人；（d）馬路；（e）房間。Fig.8 Visual subjective comparison of real low illumination images in Exdark dataset.（a）Dragon boat；（b）Castle；（c）People；（d）Road；（e）Room.

4.3 算法執(zhí)行時(shí)間對(duì)比

為進(jìn)一步證明網(wǎng)絡(luò)性能，從LOL、Exdark 數(shù)據(jù)集中各抽取300 張圖像，計(jì)算各個(gè)算法對(duì)這些圖像的平均處理時(shí)長(zhǎng)，表5 給出了各算法具體執(zhí)行時(shí)間。

表5 各算法平均運(yùn)行時(shí)間對(duì)比Tab.5 Comparison of average running time of each algorithm

從表5 中數(shù)據(jù)得知，本文算法所用時(shí)間多于傳統(tǒng)方法中的HE 和以Retinex 理論為基礎(chǔ)的算法，少于LIME 和LNet 算法。從文中實(shí)驗(yàn)可說(shuō)明，傳統(tǒng)方法容易出現(xiàn)過(guò)曝光和顏色失真等問(wèn)題，而圖像增強(qiáng)要在保證圖像不降質(zhì)的前提下減少算法執(zhí)行時(shí)間。

5 結(jié) 論

為了解決當(dāng)前低照度圖像增強(qiáng)算法中出現(xiàn)的各種問(wèn)題，如偽影、顏色失真、亮度提升不明顯等，本文提出了一種基于CBAM 和復(fù)合殘差網(wǎng)絡(luò)相結(jié)合的算法，通過(guò)多尺度卷積層提取不同感受野的圖像特征，并緊跟CBAM 模塊增強(qiáng)網(wǎng)絡(luò)對(duì)重要信息的關(guān)注度，此外使用復(fù)合殘差網(wǎng)絡(luò)進(jìn)行圖像深層特征的提取，最后通過(guò)一個(gè)卷積核個(gè)數(shù)為1的卷積層將圖像的特征信息從特征空間映射到圖像空間，構(gòu)建出增強(qiáng)后的圖像。實(shí)驗(yàn)結(jié)果表明，本文與其他低照度圖像增強(qiáng)的主流算法對(duì)比，圖像亮度有了明顯的提升，在顏色方面與原圖更為接近，并保留了圖像更多的紋理細(xì)節(jié)，且算法復(fù)雜度更低，所需時(shí)間成本也更低，符合生產(chǎn)生活需求。