基于雙殘差卷積網(wǎng)絡(luò)的低照度圖像增強(qiáng)

陳清江， 屈 梅

(西安建筑科技大學(xué) 理學(xué)院，陜西 西安710055)

1 引 言

在低照度環(huán)境下拍攝的圖像常存在曝光不足以及對(duì)比度低的問(wèn)題，給后續(xù)圖像處理帶來(lái)嚴(yán)峻的挑戰(zhàn)，因此低照度圖像增強(qiáng)已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)。近年來(lái)，基于直方圖的方法以及由LAND[1]提出的Retinex理論模型在低照度圖像增強(qiáng)領(lǐng)域取得了重大突破，如Pizer等人[2]和Reza等人[3]先后提出AHE算法和CLAHE算法增強(qiáng)低照度圖像，但增強(qiáng)后的圖像往往會(huì)出現(xiàn)顏色失真現(xiàn)象。Jobson等人[4]利用高斯平滑函數(shù)估計(jì)原圖像的亮度分量，提出單尺度Retinex(SSR)方法。LIN等人[5]將多個(gè)不同尺度的SSR線性加權(quán)求和，提出多尺度Retinex(MSRCR)方法。Fu等人[6]提出了一種基于融合的單背光低照度圖像增強(qiáng)算法。Ying等人[7]提出了一種雙曝光融合算法，以提高精確的對(duì)比度和亮度增強(qiáng)，從而實(shí)現(xiàn)低照度圖像增強(qiáng)。Ren等人[8]提出基于Retinex模型的弱光圖像聯(lián)合去噪與增強(qiáng)算法。雖然以上方法在低照度圖像增強(qiáng)領(lǐng)域取得了很大的進(jìn)展，但增強(qiáng)后的圖像，亮度恢復(fù)不夠，容易造成圖像的細(xì)節(jié)丟失，仍有一定的局限性。

最近，隨著深度學(xué)習(xí)的快速發(fā)展，深度學(xué)習(xí)在目標(biāo)識(shí)別[9-12]、超分辨率重建[13-14]以及圖像去雨[15-16]等方面取得優(yōu)于傳統(tǒng)算法的效果。一些學(xué)者也將深度學(xué)習(xí)應(yīng)用于圖像增強(qiáng)領(lǐng)域，如Li等人[17]通過(guò)將淺層的Lightennet網(wǎng)絡(luò)和Retinex模型結(jié)合，實(shí)現(xiàn)低照度圖像增強(qiáng)；Ma等人[18]提出深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)實(shí)現(xiàn)低照度圖像增強(qiáng)，從而獲得增強(qiáng)后的圖像。

本文提出一種與以往通過(guò)估計(jì)低照度圖像中照度分量，或?qū)GB圖像轉(zhuǎn)換到其他顏色空間不同的預(yù)處理的分解方法。將RGB圖像分解在R、G和B三個(gè)分量上，通過(guò)不同尺度卷積分別提取各分量的特征信息，分別使用雙殘差模塊進(jìn)行訓(xùn)練，重建后獲得增強(qiáng)的R、G和B三個(gè)分量的圖像，進(jìn)而得到增強(qiáng)后的RGB圖像。最終，采用雙邊濾波對(duì)其進(jìn)一步優(yōu)化。

2 Retinex 理論模型

Retinex 理論模型是LAND[1]提出的色感一致性模型，該模型認(rèn)為人眼觀察到的圖像是光照?qǐng)D像和反射率圖像的乘積。該模型可表示為：

S(x,y)=L(x,y)R(x,y)，

(1)

式中：(x,y)表示像素的空間二維坐標(biāo)，S(x,y)表示觀察到的圖像，L(x,y)表示照度分量，R(x,y)表示本身的反射分量。

Retinex模型圖如圖1所示。

圖1 Retinex模型圖

3 增強(qiáng)算法

本文所提算法，沒(méi)有直接估計(jì)照度分量或?qū)GB圖像轉(zhuǎn)換到其他顏色空間輸入到網(wǎng)絡(luò)中訓(xùn)練。經(jīng)大量實(shí)驗(yàn)統(tǒng)計(jì)發(fā)現(xiàn)，在低照度圖像的RGB色彩空間中，照度對(duì)R(紅)、G(綠)、B(藍(lán))三個(gè)分量都有顯著的影響，因此本文將低照度的RGB圖像以及正常照度的RGB圖像分別分解在R、G、B三個(gè)分量上，并構(gòu)建殘差網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得增強(qiáng)后的三個(gè)分量圖像，合成后可得到增強(qiáng)的RGB圖像。本文提出的殘差網(wǎng)絡(luò)由1個(gè)特征提取模塊、3個(gè)雙殘差模塊以及1個(gè)重建模塊三部分組成。所提的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，雙殘差模塊結(jié)構(gòu)如圖3所示。

3.1 特征提取模塊

采用多尺度的濾波器分別對(duì)R、G、B三個(gè)分量卷積，獲得大量低照度圖像的分量特征信息，進(jìn)而捕獲特征信息的設(shè)計(jì)屬性和結(jié)構(gòu)屬性。在這一模塊設(shè)置的卷積核的尺寸分別為1×1，3×3，5×5，7×7，每層卷積核的個(gè)數(shù)均為16。通過(guò)不同尺度的卷積提取特征圖，使網(wǎng)絡(luò)訓(xùn)練速度提高。該模塊的計(jì)算公式為：

圖2 本文的網(wǎng)絡(luò)結(jié)構(gòu)

圖3 雙殘差模塊結(jié)構(gòu)

Fi(Y)=Wi*Fi-1(Y)，

(2)

式中：Fi(Y)為輸出的第i層的特征圖，Wi為第i層的卷積核，F(xiàn)i-1(Y)為第i-1層的特征圖，*表示卷積操作。本文除最后一層，其余每層的末端都使用參數(shù)修正線性單元(Prelu)作為激活函數(shù)。該激活函數(shù)的計(jì)算公式為：

PRelu(xi)=max(xi,0)+aimax(0,xi)，

(3)

式中：xi為第i層的正區(qū)間輸入信號(hào)，ai為第i層的負(fù)區(qū)間的權(quán)系數(shù)。除最后一層外，其余各層最終輸出為：

Fsi(Y)=PRelu(Wsi*Y+Bs)，

(4)

式中：Bs為第s層的偏置。

3.2 雙殘差模塊

隨著網(wǎng)絡(luò)層數(shù)的加深，容易出現(xiàn)梯度彌散、特征信息丟失等問(wèn)題，本文利用雙殘差模塊來(lái)解決此問(wèn)題。采用3個(gè)相同的雙殘差模塊，每個(gè)雙殘差模塊由內(nèi)、外兩個(gè)殘差單元和一個(gè)3×3×64的卷積層構(gòu)成。其中，內(nèi)部殘差單元是由一個(gè)3×3×32的卷積層和一個(gè)擴(kuò)張率為2的擴(kuò)張卷積層組成，外部殘差單元由兩個(gè)大小分別為3×3×32和3×3×64的卷積層和內(nèi)部殘差單元組合而成。通過(guò)使用大小為3×3的卷積層以及擴(kuò)張率為2的擴(kuò)張卷積。不僅保證了特征圖的輸出表達(dá)能力，而且在不改變輸出特征圖的同時(shí)，有效提高了網(wǎng)絡(luò)的感受野。從而實(shí)現(xiàn)網(wǎng)絡(luò)的收斂速度加快和梯度的保持。

3.3 重建模塊

通過(guò)重建模塊，將圖像的特征信息從特征空間映射到圖像空間，該模塊設(shè)計(jì)1個(gè)卷積層進(jìn)行圖像重建，使用大小為3×3×1的卷積層，加快網(wǎng)絡(luò)的收斂速度，提高網(wǎng)絡(luò)的訓(xùn)練精度。該卷積層用函數(shù)表示為：

Fni(Y)=Wni*F(n-1)i(Y)+Bn，

(5)

式中：Fni表示第n層第i組的特征圖，Wni表示第n層第i組的卷積核，Y表示輸入圖像，Bn表示第n層的偏置。

利用均方誤差損失函數(shù)(Mean Square Error,MSE)來(lái)計(jì)算輸入的正常照度圖像與增強(qiáng)后的RGB圖像二者差值的平方和。其計(jì)算公式為：

(6)

式中：yi表示第i組正常照度圖像值，xi表示網(wǎng)絡(luò)的第i組輸出值，N為樣本的訓(xùn)練數(shù)目。利用自適應(yīng)矩陣估計(jì)法(Adam)和網(wǎng)絡(luò)反向傳播算法來(lái)最小化MSE的值，從而優(yōu)化網(wǎng)絡(luò)參數(shù)。

3.4 利用雙邊濾波優(yōu)化圖像

為了提高增強(qiáng)后的圖像質(zhì)量，本文采用雙邊濾波算法進(jìn)行優(yōu)化。雙邊濾波算法考慮到像素間的距離因素和灰度值因素，對(duì)二者進(jìn)行非線性組合，自適應(yīng)地濾波，因此，它對(duì)圖像具有較好邊緣保護(hù)能力，能夠保留圖像大量的細(xì)節(jié)特征。雙邊濾波的計(jì)算公式為：

(7)

式中：Js表示中心像素s經(jīng)過(guò)雙邊濾波處理的結(jié)果，Ip和Is分別表示像素p，s的亮度值，Ω為中心像素的領(lǐng)域，f，g分別為空間域和亮度域的高斯平滑函數(shù)。k(s)為歸一化函數(shù)，其表達(dá)式為：

(8)

4 實(shí)驗(yàn)與結(jié)果分析

本節(jié)描述了實(shí)驗(yàn)數(shù)據(jù)、實(shí)驗(yàn)設(shè)置及步驟。為了驗(yàn)證本文算法的效果，對(duì)合成和真實(shí)的低照度圖像數(shù)據(jù)集，在主觀和客觀上與經(jīng)典算法結(jié)果對(duì)比分析。選取的經(jīng)典對(duì)比算法主要有：Fu算法[6]、Ying算法[7]、Ren算法[8]、Dong算法[14]和Li算法[17]。

4.1 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)設(shè)置

基于Retinex理論模型，本文從數(shù)據(jù)集Berkeley Segmentation Dataset[19]中選取正常照度圖像，通過(guò)光照分量I在(0,1)隨機(jī)取值，獲取低照度圖像。將合成的140幅低照度圖像作為訓(xùn)練數(shù)據(jù)集，52幅作為測(cè)試數(shù)據(jù)集。圖4展現(xiàn)了正常照度圖像、低照度圖像以及它們分別對(duì)應(yīng)的R、G、B三個(gè)分量的圖像。

本文在軟件Matlab R2016a內(nèi)基于caffe框架進(jìn)行網(wǎng)絡(luò)訓(xùn)練并測(cè)試。在訓(xùn)練過(guò)程中，采用的學(xué)習(xí)率數(shù)值為0.000 1、動(dòng)量數(shù)值為0.9、迭代次數(shù)為2.7×105次、卷積核的初始狀態(tài)為高斯分布。該網(wǎng)絡(luò)訓(xùn)練采用少量多次的方法，批處理大小為6，使用Adam算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。本次實(shí)驗(yàn)的計(jì)算機(jī)GPU配置為Nvidia GTX 1060。

圖4 正常照度圖像、低照度圖像以及它們分別對(duì)應(yīng)的R、G、B三個(gè)分量的圖像。

實(shí)驗(yàn)步驟：

(1)獲取低照度圖像數(shù)據(jù)集：利用Retinex模型在所用的數(shù)據(jù)集上獲得低照度圖像；

(2)分解不同類型圖像：將低照度和正常照度RGB圖像同時(shí)分解在R、G、B三個(gè)分量上；

(3)訓(xùn)練不同類型圖像的分量：利用殘差網(wǎng)絡(luò)模型訓(xùn)練并測(cè)試低照度和正常照度RGB圖像的3個(gè)分量；

(4)訓(xùn)練后合成：將獲得的3個(gè)分量圖像合成為RGB圖像，即增強(qiáng)的RGB圖像；

(5)優(yōu)化圖像：利用雙邊濾波對(duì)增強(qiáng)的RGB圖像進(jìn)行優(yōu)化，獲得清晰的增強(qiáng)后的圖像；

(6)第一組參照對(duì)比：對(duì)比網(wǎng)絡(luò)訓(xùn)練后的正常照度的RGB圖像，觀察增強(qiáng)后的RGB圖像效果。

(7)第二組參照對(duì)比：對(duì)比真實(shí)的低照度圖像，觀察增強(qiáng)后的RGB圖像效果；

所提算法流程圖如圖5所示。

圖5 所提算法流程圖

4.2 對(duì)合成的低照度圖像實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文算法在處理合成的低照度圖像上的優(yōu)越性，與同等條件下的其他算法對(duì)比。從中選取3幅低照度圖像，利用不同算法處理后的效果如圖6～圖8所示。

從主觀上可以看出，F(xiàn)u算法[6]與Ren算法[8]二者對(duì)低照度圖像有一定的增強(qiáng)，但在亮度恢復(fù)上遠(yuǎn)遠(yuǎn)不夠，圖像照度較暗；Ying算法[7]使得增強(qiáng)后的圖像顏色偏白，不符合真實(shí)場(chǎng)景；而Dong算法[14]和Li算法[17]在圖像的細(xì)節(jié)紋理恢復(fù)上有明顯的提高，但在亮度上還有一些欠缺。而本文算法的增強(qiáng)效果在亮度上相比于其他算法有很大的提高，而且更完整地表達(dá)了局部細(xì)節(jié)信息。

圖6 不同算法處理低照度圖像Starfish的結(jié)果

圖7 不同算法處理低照度圖像Bridge的結(jié)果

圖8 不同算法處理低照度圖像Building的結(jié)果

從客觀上，使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、結(jié)構(gòu)相似度(Structural Similarity Index,SSIM)、均方根誤差(Root Mean Square Error,RMSE)和信息熵(Information entropy)重要的圖像評(píng)價(jià)指標(biāo)來(lái)衡量增強(qiáng)獲得最終正常照度圖像的質(zhì)量。

各個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式為：

(9)

式中：x為正常照度的圖像，y為增強(qiáng)后的圖像。峰值信噪比可以用來(lái)評(píng)價(jià)圖像質(zhì)量，其值越高，表明處理后圖像增強(qiáng)效果越好，反之效果越差。

(10)

式中：x，y分別為增強(qiáng)的圖像和參考的正常照度的清晰圖像，μx為x的平均值，μy為y的平均值，δ2x為x的方差，δ2y為y的方差，δxy為x和y的協(xié)方差。a1和a2是比較小的常數(shù)，以避免分母為0而出現(xiàn)的系統(tǒng)不穩(wěn)定現(xiàn)象，SSIM的取值在[0,1]。SSIM的值越大，意味著圖像失真越小，增強(qiáng)效果越好。

(11)

式中：Y為正常照度圖像，X為增強(qiáng)后的圖像，n為圖像像素總數(shù)。均方根誤差表示增強(qiáng)后的圖像與參考的正常照度圖像之間的差異，RMSE的值越小，表示增強(qiáng)的效果越好。

H(X)=E[log2P(X)-1]，

(12)

式中：X表示隨機(jī)變量，P(X)表示輸出概率函數(shù)。信息熵是指圖像包含信息量多少程度的物理量。其值越大，包含的信就越多，表明增強(qiáng)效果越好。如表1～表3所示。

表1 圖像Starfish采用不同算法增強(qiáng)后評(píng)價(jià)指標(biāo)結(jié)果

表2 圖像Bridge采用不同算法增強(qiáng)后評(píng)價(jià)指標(biāo)結(jié)果

表3 圖像Building采用不同算法增強(qiáng)后評(píng)價(jià)指標(biāo)結(jié)果

圖9 峰值信噪比(a)和結(jié)構(gòu)相似度(b)的對(duì)比結(jié)果

從客觀方面可以看出，根據(jù)表1～表3，以及圖9，本文所提算法在峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)、均方根誤差(RMSE)和信息熵(Information entropy)這些評(píng)價(jià)指標(biāo)都要優(yōu)于其他對(duì)比算法，說(shuō)明本文的算法對(duì)于增強(qiáng)低照度圖像有很大的提升。

為證明本文所提的雙殘差模塊在增強(qiáng)低照度圖像上的效果，運(yùn)用控制變量法，在網(wǎng)絡(luò)深度不變的前提下，將網(wǎng)絡(luò)中的雙殘差模塊分別替換為僅含有卷積層模塊和常規(guī)的殘差模塊，對(duì)模型進(jìn)行分析。采用常用的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)對(duì)3種模型進(jìn)行定量測(cè)評(píng)。表4為實(shí)驗(yàn)結(jié)果對(duì)比值。

由表4可知，本文所提的雙殘差網(wǎng)絡(luò)模型，其峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)最高可達(dá)25.931 1 dB和0.945 2，都優(yōu)于其他兩種網(wǎng)絡(luò)模型。

表4 不同模塊的PSNR(單位：分貝)和SSIM的對(duì)比結(jié)果

4.3 對(duì)真實(shí)的低照度圖像實(shí)驗(yàn)結(jié)果分析

本文算法在處理合成的低照度圖像上具有明顯的增強(qiáng)效果。為了進(jìn)一步證明本文算法的優(yōu)越性，基于真實(shí)的低照度圖像，本文算法與其他5種算法進(jìn)行對(duì)比如圖10～圖11所示。 圖10和圖11分別是Fu算法[6]和MEF[20]數(shù)據(jù)集中的真實(shí)的低照度圖像。

為驗(yàn)證本文算法處理真實(shí)低照度圖像的效果，采用盲圖像質(zhì)量評(píng)估方法(NBIQA)、圖像均值(Image average)、平均梯度(Average Gradient)和標(biāo)準(zhǔn)差(Standard Deviation)4個(gè)重要的無(wú)參考圖像的評(píng)價(jià)指標(biāo)以及算法運(yùn)行時(shí)間，對(duì)增強(qiáng)后的圖像進(jìn)行定性對(duì)比。盲圖像質(zhì)量評(píng)估的值通常在0和100之間，其值越小，表示圖像質(zhì)量越好。圖像均值表示圖像亮度大小的物理量，其值越小，其亮度越低。平均梯度表示圖像紋理細(xì)節(jié)的變化特征，其值越大，圖像越清晰。標(biāo)準(zhǔn)差表示灰度均值的離散程度，其值越大，圖像質(zhì)量越好。4個(gè)評(píng)價(jià)指標(biāo)值對(duì)比結(jié)果如表5～表6所示，運(yùn)行時(shí)間對(duì)比結(jié)果如表7所示。

圖10 不同算法處理真實(shí)的低照度圖像Pocky的結(jié)果

圖11 不同算法處理真實(shí)低照度圖像Palace的結(jié)果

一些評(píng)價(jià)指標(biāo)的計(jì)算公式為：

圖像均值：

(13)

式中：N為像素總個(gè)數(shù)。

平均梯度：

(14)

標(biāo)準(zhǔn)差：

(15)

表5 圖像Pocky采用不同算法增強(qiáng)后評(píng)價(jià)指標(biāo)結(jié)果

表6 圖像Palace采用不同算法增強(qiáng)后評(píng)價(jià)指標(biāo)結(jié)果

表7 不同算法的運(yùn)行時(shí)間對(duì)比結(jié)果(單位：s)

對(duì)于圖10～圖11，從主觀方面，F(xiàn)u算法[6]、Ying算法[7]以及Ren算法[8]對(duì)于增強(qiáng)后的圖像在亮度恢復(fù)上還不夠，增強(qiáng)后的圖像在色彩上不夠自然；而Dong 算法[14]雖然對(duì)于亮度有明顯效果，但對(duì)于Pocky圖像的部分紋理細(xì)節(jié)增強(qiáng)過(guò)度；Li算法[17]增強(qiáng)后的圖像出現(xiàn)了偽影，視覺(jué)上不清晰。本文算法增強(qiáng)后的圖像在亮度和色彩恢復(fù)上更加自然，視覺(jué)效果更佳。從客觀方面，在表5～表6中，對(duì)不同的評(píng)價(jià)指標(biāo)，總體上本文算法要優(yōu)于其他對(duì)比算法，增強(qiáng)低照度圖像效果顯著。根據(jù)表7可知，本文算法的運(yùn)行時(shí)間最短，效率最高，應(yīng)用更方便。

5 結(jié) 論

本文提出的基于雙殘差卷積網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法，改進(jìn)了傳統(tǒng)算法直接處理照度分量或直接分解到其他顏色空間。所提算法構(gòu)造雙殘差網(wǎng)絡(luò)，分別對(duì)R、G、B三個(gè)分量進(jìn)行訓(xùn)練，有效地提高了網(wǎng)絡(luò)模型的預(yù)測(cè)精度。其次，本文采用的殘差模塊改進(jìn)了常用的殘差單元，通過(guò)使用卷積層和擴(kuò)張卷積層構(gòu)成的內(nèi)外雙殘差網(wǎng)絡(luò)模塊，增大圖像的感受野，加速網(wǎng)絡(luò)的收斂。最終，再對(duì)增強(qiáng)后的RGB圖像使用雙邊濾波進(jìn)行優(yōu)化，保留了圖像更多的邊緣信息。實(shí)驗(yàn)結(jié)果表明，與其他對(duì)比算法相比，所提算法不僅有較好的增強(qiáng)效果，也加快了運(yùn)行速度，能更好地應(yīng)用于實(shí)際。