基于多尺度深度可分離卷積的低照度圖像增強(qiáng)算法*

陳清江,顧 媛

(西安建筑科技大學(xué)理學(xué)院,陜西 西安 710055)

1 引言

在圖像采集過(guò)程中,所在環(huán)境的光照條件是影響圖像質(zhì)量的重要因素之一。在弱光環(huán)境下,由于視覺(jué)質(zhì)量較低,如對(duì)比度低、顏色失真等,導(dǎo)致對(duì)觀測(cè)圖像的檢測(cè)、識(shí)別、跟蹤等工作無(wú)法有效進(jìn)行。因此,研究低照度圖像增強(qiáng)算法就顯得尤為重要。

低照度圖像增強(qiáng)算法主要分為傳統(tǒng)算法和深度學(xué)習(xí)算法2類(lèi)。在傳統(tǒng)算法中,Hummel[1]提出了直方圖均衡化HE(Histogram Equalization)方法,是圖像增強(qiáng)領(lǐng)域最簡(jiǎn)單的技術(shù)之一,但其易出現(xiàn)顏色失真的情況;Pizer等[2]提出了局部直方圖均衡化AHE(Adaptive Histogram Equalization)方法,但由于不同區(qū)域的直方圖不同,導(dǎo)致對(duì)光照不均勻的圖像增強(qiáng)效果較差;Land[3]提出了Retinex理論,將圖像分解為反射分量與光照分量?；赗etinex理論,Jobson等[4,5]提出單尺度Retinex SSR(Single Scale Retinex)算法與帶色彩恢復(fù)的多尺度Retinex MSRCR(Multi-Scale Retinex with Color Restoration)算法,將反射分量作為最終增強(qiáng)結(jié)果進(jìn)行處理,但易出現(xiàn)色偏和過(guò)度增強(qiáng)的問(wèn)題。

隨著深度學(xué)習(xí)技術(shù)在圖像修復(fù)[6]、超分辨率重建[7]等領(lǐng)域的成功應(yīng)用,基于卷積神經(jīng)網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法極大地改善了傳統(tǒng)算法中存在的顏色失真與亮度提升不佳的問(wèn)題。Wei等[8]提出了一種將Retinex理論與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法(RetinexNet),但會(huì)出現(xiàn)隨機(jī)噪聲;Zhang等[9]在RetinexNet算法的分解和重建結(jié)構(gòu)上增加了調(diào)節(jié)網(wǎng)絡(luò),提出了KinD(Kindling the Darkness)算法,在色彩恢復(fù)上有較好的效果,但存在局部細(xì)節(jié)不清晰的問(wèn)題;Lü等[10]對(duì)不同層次的特征進(jìn)行提取和融合,提出了MBLLEN(Multi-Branch Low-Light Enhancement Network)算法,但出現(xiàn)了邊緣模糊與偽影現(xiàn)象;Zhao等[11]提出了基于圖像分解網(wǎng)絡(luò)和圖像增強(qiáng)網(wǎng)絡(luò)的RISSNet(Retain low-light Image details and improve the Structural Similarity Net)算法,該算法可以應(yīng)用于任何低照度圖像;Li等[12]將低照度圖像增強(qiáng)制定為基于深度網(wǎng)絡(luò)的特定曲線估計(jì)任務(wù),提出了Zero-DCE(Zero-reference Deep Curve Estimation)算法;Lü等[13]提出了一種基于多分支卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)的端到端的注意力引導(dǎo)算法,在增強(qiáng)圖像顏色和對(duì)比圖時(shí)可以避免放大噪聲。然而,現(xiàn)有的低照度圖像增強(qiáng)算法大多在細(xì)節(jié)恢復(fù)方面不夠充分,仍存在較大的提升空間。

針對(duì)增強(qiáng)后的圖像細(xì)節(jié)恢復(fù)不充分以及不能充分利用不同尺度間的信息交流的問(wèn)題,本文提出了一種新的多尺度深度可分離卷積算法,用于低照度圖像增強(qiáng)。使用深度可分離卷積(Depthwise Separable Convolution)[14]代替標(biāo)準(zhǔn)卷積,大大減少了參數(shù)量與計(jì)算量,加快了模型收斂速度。本文的主要工作如下:

(1)提出多尺度混合空洞卷積模塊MDC(Multi-scale hybrid Dilated Convolution module),多尺度綜合獲取顏色、亮度等全局信息。為避免連續(xù)使用相同擴(kuò)張率的空洞卷積(Dilation Convolution)[15]導(dǎo)致出現(xiàn)網(wǎng)格效應(yīng)(Gridding Problem)[16]的情況,本文使用4種空洞率分別為1,2,4,8的空洞卷積,使其具有連續(xù)的感受野。

(2)提出多尺度特征提取模塊MFE(Multi-scale Feature Extraction module),使用4種不同尺寸的卷積核,提取具有不同尺度感受野的特征信息。其中,連續(xù)使用小尺寸卷積核代替大尺寸卷積核來(lái)降低計(jì)算量與參數(shù)量,并融合不同尺度的信息,綜合提取紋理細(xì)節(jié)信息。

(3)設(shè)計(jì)多尺度深度可分離卷積網(wǎng)絡(luò),對(duì)4種不同尺寸圖像進(jìn)行全局與局部信息提取,有效地獲取更加豐富的圖像特征。不同尺度間進(jìn)行參數(shù)共享,有效地降低模型參數(shù)量。

2 基本理論

2.1 深度可分離卷積

深度可分離卷積[14]不僅能夠處理空間維度,還可以處理深度維度通道的數(shù)量。這主要分為2個(gè)過(guò)程:逐通道卷積(Depthwise Convolution)和逐點(diǎn)卷積(Pointwise Convolution)。逐通道卷積的一個(gè)卷積核負(fù)責(zé)一個(gè)通道,一個(gè)通道只被一個(gè)卷積核卷積,這個(gè)過(guò)程產(chǎn)生了與輸入特征圖通道數(shù)一樣的特征圖。逐通道卷積完全是在二維平面內(nèi)進(jìn)行,卷積核的數(shù)量與上一層的通道數(shù)相同,通道和卷積核一一對(duì)應(yīng),一個(gè)三通道的圖像經(jīng)過(guò)運(yùn)算后生成了3個(gè)特征圖。逐點(diǎn)卷積是指用1×1的卷積核組合不同深度卷積的輸出,得到一組新的輸出。逐點(diǎn)卷積的運(yùn)算與標(biāo)準(zhǔn)卷積的運(yùn)算類(lèi)似,這里的卷積運(yùn)算會(huì)將上一步的特征圖在通道方向上進(jìn)行加權(quán)組合,生成新的特征圖,其目的是實(shí)現(xiàn)不同通道間特征的融合以及通道方向上的升維或降維。其計(jì)算過(guò)程如圖1所示。

Figure 1 Process of depthwise separable convolution

若輸入特征圖的大小為H×H×M,輸出特征圖的大小為H×H×N,卷積核大小為F×F,則標(biāo)準(zhǔn)卷積的計(jì)算量與參數(shù)量分別如式(1)和式(2)所示:

Jsj=H×H×M×F×F×N

(1)

Jsp=F×F×M×N

(2)

深度可分離卷積的計(jì)算量與參數(shù)量分別如式(3)和式(4)所示:

Jdj=H×H×M×F×F+H×H×M×N

(3)

Jdp=F×F×M+M×N

(4)

因此,深度可分離卷積與標(biāo)準(zhǔn)卷積的計(jì)算量之比如式(5)所示:

(5)

2.2 空洞卷積

空洞卷積(Dilation Convolution)[15]是在標(biāo)準(zhǔn)卷積核中注入空洞(補(bǔ)零),在不改變卷積參數(shù)量的情況下將卷積核尺寸變大,擴(kuò)大的幅度稱為擴(kuò)張率(Dilation Rate)。圖2給出了不同擴(kuò)張率的空洞卷積核,實(shí)現(xiàn)了在不增加參數(shù)量的基礎(chǔ)上擴(kuò)大感受野,多尺度綜合更大范圍的特征信息。

Figure 2 Dilation convolutions with different dilation rates

空洞卷積的計(jì)算過(guò)程如式(6)所示:

(6)

其中,y[i,j]為空洞卷積的輸出,x[i,j]為輸入,r為擴(kuò)張率,ω[k]為尺寸為k的卷積核。

3 本文算法

本文基于深度可分離卷積和空洞卷積,提出了多尺度混合空洞卷積模塊MDC(Multiscale hybrid Dilated Convolutional module)和多尺度特征提取模塊MFE(Multiscale Feature Extraction module)。首先,對(duì)256×256大小的輸入圖像進(jìn)行多尺度混合空洞卷積模塊操作與下采樣操作,得到4種大小的特征圖,分別為128×128,64×64,32×32,16×16,同時(shí)還提取邊緣、顏色及亮度等低層特征;其次,對(duì)4種不同大小的特征圖分別經(jīng)過(guò)多尺度特征提取模塊,提取到紋理細(xì)節(jié)高層特征;最后,不同大小的紋理細(xì)節(jié)高層特征圖再經(jīng)過(guò)多尺度混合空洞卷積模塊,并通過(guò)上采樣操作與上一尺寸的輸出融合,獲得增強(qiáng)后圖像。這樣有效地將低層特征圖的空間信息與高層特征圖的語(yǔ)義信息充分融合,獲取了更加豐富的特征信息。所提算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示:

Figure 3 Network structure of the proposed algorithm

3.1 多尺度混合空洞卷積模塊

空洞卷積雖然可以在不使用大尺寸卷積核、不增加參數(shù)量的基礎(chǔ)上實(shí)現(xiàn)指數(shù)級(jí)擴(kuò)大感受野,但由于空洞卷積的卷積核中有空洞,連續(xù)使用相同擴(kuò)張率的空洞卷積會(huì)導(dǎo)致采樣特征不連續(xù),產(chǎn)生網(wǎng)格效應(yīng)[16]。為解決網(wǎng)格效應(yīng),本文提出了多尺度混合空洞卷積模塊,并聯(lián)4個(gè)擴(kuò)張率分別為1,2,4,8的空洞卷積分支,以保證感受野的連續(xù)性,其卷積均為深度可分離卷積。多尺度混合空洞卷積模塊如圖4所示。

Figure 4 Multi-scale hybrid dilated convolution module

3.2 多尺度特征提取模塊

為獲取豐富的細(xì)節(jié)信息,設(shè)計(jì)了多尺度特征提取模塊。使用4種尺寸分別為3×3,5×5,7×7,9×9的卷積核,提取具有不同尺度感受野的特征信息,再融合不同尺度下提取的信息,多尺度綜合細(xì)節(jié)特征。多尺度特征提取模塊如圖5所示。其中5×5卷積核用2層3×3卷積核代替,7×7卷積核用3層3×3卷積核代替,9×9卷積核用4層3×3卷積核代替,且所有的卷積均為深度可分離卷積。使用連續(xù)的3×3卷積核代替更大的卷積核,以達(dá)到減少模型參數(shù)量、提高收斂速度的目的。由式(5)可知,深度可分離卷積的使用可進(jìn)一步減少網(wǎng)絡(luò)參數(shù)量,加快模型運(yùn)行速度。

Figure 5 Multi-scale feature extraction module

3.3 損失函數(shù)

本文的損失函數(shù)由結(jié)構(gòu)損失(Structural Loss)和感知損失(Perceptual Loss)2部分組成,其計(jì)算公式如式(7)所示:

L=λ1LS+λ2LP

(7)

其中,L為總損失,LS為結(jié)構(gòu)損失,LP為感知損失,λ1,λ2分別為其對(duì)應(yīng)的權(quán)重。

結(jié)構(gòu)損失(Structural Loss):為了衡量真實(shí)圖像與所提算法增強(qiáng)后的圖像之間的差異性,改善整體視覺(jué)效果,保持圖像結(jié)構(gòu),避免圖像模糊,引入結(jié)構(gòu)損失。結(jié)構(gòu)損失計(jì)算如式(8)所示:

(8)

(9)

其中,N為訓(xùn)練樣本的數(shù)量,img表示真實(shí)圖像和增強(qiáng)后圖像的集合。

感知損失(Perceptual Loss):為利用圖像的深層信息來(lái)改善視覺(jué)質(zhì)量,引入訓(xùn)練過(guò)的VGG16[17]作為特征提取器,測(cè)量重建圖像的特征和相應(yīng)真實(shí)圖像之間的差異,其計(jì)算過(guò)程如式(10)所示:

(10)

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)條件及參數(shù)配置

本文實(shí)驗(yàn)使用的是TensorFlow2.0深度學(xué)習(xí)框架,在Windows 10,Intel?i7-10750H,2.6 GHz,16 GB RAM,NVIDIA?GeForce?1660Ti GPU平臺(tái)上完成。采用Adam優(yōu)化器對(duì)模型進(jìn)行優(yōu)化;動(dòng)量參數(shù)為β1=0.9,β2=0.999;設(shè)置固定學(xué)習(xí)率lr=0.0001;損失函數(shù)的權(quán)重參數(shù)設(shè)置為:λ1=0.8,λ2=0.2;epoch設(shè)置為3 000次。

4.2 合成的低照度圖像實(shí)驗(yàn)結(jié)果分析

首先對(duì)人工合成的低照度圖像進(jìn)行實(shí)驗(yàn)。從公開(kāi)數(shù)據(jù)集Berkeley Segmentation Dataset[18]中選取330幅正常光照?qǐng)D像,利用Retinex理論[3]對(duì)光照分量隨機(jī)取值,合成330幅低照度圖像。本文算法與經(jīng)典算法、現(xiàn)階段主流算法均作了比較。對(duì)比的傳統(tǒng)算法有HE[1]、SSR[4]以及基于深度學(xué)習(xí)的RetinexNet[8]、KinD[7]、MBLLEN[10]和RISSNet[12]算法。隨機(jī)選取測(cè)試集中的4幅圖像為例進(jìn)行主觀評(píng)價(jià),對(duì)比結(jié)果如圖6所示。

Figure 6 Comparison of enhancement effects of different algorithms on synthesizing low-light images

由圖6可以看出,HE算法出現(xiàn)嚴(yán)重顏色失真問(wèn)題;相比SSR算法,增強(qiáng)后圖像的質(zhì)量有一定的提升,但存在過(guò)度曝光現(xiàn)象;MBLLEN算法雖提升了圖像的亮度及對(duì)比度,但部分區(qū)域出現(xiàn)了偽影,如圖6a中天空出現(xiàn)偏色現(xiàn)象;KinD算法從主觀效果來(lái)看很大程度地改善了低照度圖像,但在色彩恢復(fù)方面有所欠缺,如圖6c中天空出現(xiàn)了黑影;RISSNet算法在主觀視覺(jué)效果方面與所提算法較為相似;本文所提算法能有效增強(qiáng)圖像亮度及對(duì)比度,且在色彩恢復(fù)方面更接近真實(shí)圖像。

在定量對(duì)比中,參考已知圖像,選用峰值信噪比PSNR(Peak Signal-to-Noise Ratio)[19]、結(jié)構(gòu)相似度(SSIM)[20]、均方誤差MSE(Mean Squared Error)及視覺(jué)信息保真度VIF(Visual Information Fidelity)[21]4項(xiàng)評(píng)價(jià)指標(biāo)來(lái)測(cè)試本文算法的性能。PSNR是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo),其值越大表明圖像質(zhì)量越好;SSIM是一種衡量2幅圖像相似度的指標(biāo),其值越大表明增強(qiáng)圖像越接近參考圖像;MSE是一種反映2幅圖像之間差異性的指標(biāo),其值越小表明圖像失真越小;VIF是一種衡量2幅圖像之間互信息的指標(biāo),其值越大表明圖像細(xì)節(jié)信息保留得越好。不同算法在上述4幅圖像上的指標(biāo)平均值如表1所示。

Table 1 Performance of different algorithms on synthesizing low-light images

由表1可以看出,本文算法在以上指標(biāo)上的平均值均優(yōu)于其他算法的,說(shuō)明所提多尺度深度可分離卷積算法的增強(qiáng)效果最接近真實(shí)圖像。

4.3 真實(shí)的低照度圖像實(shí)驗(yàn)結(jié)果分析

本文使用LOL(LOw-Light) dataset[22]公開(kāi)數(shù)據(jù)集測(cè)試模型,LOL dataset數(shù)據(jù)集中包含500對(duì)低照度圖像和正常照度圖像。為檢驗(yàn)本文算法在真實(shí)的低照度圖像上的有效性,與現(xiàn)有的低照度圖像增強(qiáng)算法進(jìn)行對(duì)比,包括HE[1]、SSR[4]、RetinexNet[8]、KinD[7]、MBLLEN[10]以及RISSNet[12]算法。隨機(jī)選取測(cè)試集中的4幅圖像為例進(jìn)行主觀評(píng)價(jià),對(duì)比結(jié)果如圖7所示。

Figure 7 Comparison of enhancement effects of different algorithms on real low-light images

由圖7可以看出,HE算法增強(qiáng)后的圖像出現(xiàn)了顏色失真;SSR算法增強(qiáng)后的圖像亮度比真實(shí)圖像的亮度高很多,出現(xiàn)了曝光;RetinexNet算法增強(qiáng)后的圖像整體出現(xiàn)色偏,如圖7a和圖7b中出現(xiàn)了噪聲;MBLLEN算法增強(qiáng)后圖像色彩比真實(shí)圖像的深,圖像背景出現(xiàn)陰影條;與真實(shí)圖像相比,RISSNet算法在暗區(qū)域中的增強(qiáng)程度過(guò)高;KinD算法與本文所提算法在主觀視覺(jué)效果方面比較相似,但在細(xì)節(jié)與色彩恢復(fù)方面,本文算法增強(qiáng)后的圖像在視覺(jué)感官上效果更好,顯得更加自然。

在定量對(duì)比中,仍利用峰值信噪比(PSNR)、結(jié)構(gòu)相似度(SSIM)、均方誤差(MSE)及視覺(jué)信息保真度(VIF)4項(xiàng)評(píng)價(jià)指標(biāo)來(lái)驗(yàn)證本文算法的有效性。不同算法在上述4幅圖像上的指標(biāo)平均值如表2所示。

Table 2 Performance of different algorithms on real low-light images

由表2可以看出,本文算法在以上指標(biāo)上均優(yōu)于其他對(duì)比算法的,說(shuō)明本文算法增強(qiáng)后的圖像與真實(shí)圖像最接近。

4.4 無(wú)參考的低照度圖像實(shí)驗(yàn)結(jié)果分析

除了在上述有參考的真實(shí)低照度圖像上,本文算法在無(wú)參考的真實(shí)低照度圖像上的增強(qiáng)效果也較好。實(shí)驗(yàn)從低照度圖像數(shù)據(jù)庫(kù)MEF[23]的測(cè)試集中隨機(jī)選取3幅圖像為例進(jìn)行主觀評(píng)價(jià),對(duì)比結(jié)果如圖8所示。

Figure 8 Comparison of enhancement effects of different algorithms on no reference low-light images

由圖8可以看出,HE算法與SSR算法增強(qiáng)后的圖像出現(xiàn)了嚴(yán)重色偏;RetinexNet算法增強(qiáng)后的圖像亮度較高,出現(xiàn)了曝光現(xiàn)象;KinD算法增強(qiáng)后的圖像存在模糊與噪聲,如圖8a中存在不規(guī)則噪聲;MBLLEN算法增強(qiáng)后的圖像存在曝光現(xiàn)象且部分圖像有偽影,如圖8b中存在偽影;本文算法在主觀視覺(jué)方面的亮度及色彩恢復(fù)較好。

在定量對(duì)比中,由于沒(méi)有同一場(chǎng)景下正常照度的圖像作為參考,故選用無(wú)參考圖像質(zhì)量評(píng)價(jià)指標(biāo)。本文選用信息熵IE(Information Entropy)、自然圖像質(zhì)量評(píng)估NIQE(Natural Image Quality Evaluator)[24]、無(wú)參考結(jié)構(gòu)相似度NRSS(NoReference Structural Sharpness)[25]及對(duì)比度失真的無(wú)參考圖像質(zhì)量度量NIQMC(No reference Image Quality Measure of Contrast distortion)[26]對(duì)增強(qiáng)圖像進(jìn)行評(píng)價(jià)。其中,IE反映圖像信息量的大小,其值越大圖像信息越豐富;NIQE用來(lái)評(píng)估圖像的失真程度,其值越小圖像失真度越小;NRSS用來(lái)衡量圖像高頻信息的多少,其值越大圖像質(zhì)量越好;NIQMC用來(lái)衡量圖像的對(duì)比度,其值越大圖像質(zhì)量越好。不同算法在上述3幅圖像上的指標(biāo)平均值如表3所示。

Table 3 Performance of different algorithms on no reference low-light images

由表3可以看出,本文算法在IE指標(biāo)上略低于HE算法的,在NIQE、NRSS與NIQMC指標(biāo)上均優(yōu)于其他對(duì)比算法的,說(shuō)明所提算法增強(qiáng)后的圖像失真度更小,細(xì)節(jié)恢復(fù)更好,圖像更加自然。

4.5 消融實(shí)驗(yàn)

為證明本文模型中將標(biāo)準(zhǔn)卷積替換為空洞卷積的效果以及l(fā)ayer數(shù)量設(shè)計(jì)為4的作用,對(duì)各模塊進(jìn)行消融實(shí)驗(yàn)。首先,將多尺度混合空洞卷積模塊中的深度可分離卷積的擴(kuò)張率均設(shè)置為1(Model1)進(jìn)行實(shí)驗(yàn)。其次,對(duì)layer數(shù)量為1(Model2),2(Model3),3(Model4)以及5(Model6)的模型依次進(jìn)行實(shí)驗(yàn)。最后,與本文模型(Model5)進(jìn)行對(duì)比。選取上述LOL dataset數(shù)據(jù)集中的圖7d對(duì)不同模型進(jìn)行實(shí)驗(yàn),低照度圖像增強(qiáng)的主觀視覺(jué)效果如圖9所示。

Figure 9 Subjective visual comparison of low-light image enhancement with different models

由圖9可以看出,Model2與Model3增強(qiáng)后的圖像亮度過(guò)高,出現(xiàn)了曝光現(xiàn)象;Model1、Model4、Model6與本文模型的增強(qiáng)圖像在主觀視覺(jué)方面較為相似。為進(jìn)一步衡量本文模型的有效性,利用PSNR與SSIM進(jìn)行客觀評(píng)價(jià),不同模型的指標(biāo)值如表4所示。

Table 4 PSNR and SSIM of different models

由表4可以看出,空洞卷積的使用可以提高圖像的PSNR與SSIM值。layer數(shù)量由1增加到4時(shí),PSNR與SSIM值在逐漸上升,而layer數(shù)量增加到5時(shí),PSNR與SSIM值開(kāi)始下降,說(shuō)明模型性能開(kāi)始退化。故本文選用4個(gè)layer構(gòu)建網(wǎng)絡(luò)模型,以達(dá)到最佳效果。

5 結(jié)束語(yǔ)

為解決低照度圖像顏色失真、對(duì)比度低等問(wèn)題,本文提出一種新的低照度圖像增強(qiáng)算法,通過(guò)端到端的方式學(xué)習(xí)低照度圖像與正常照度圖像之間的映射關(guān)系。本文算法實(shí)現(xiàn)模型包含2個(gè)模塊,即MDC和MFE。MDC通過(guò)并聯(lián)不同擴(kuò)張率的空洞卷積進(jìn)行全局特征提取,MFE通過(guò)并聯(lián)不同尺度的卷積提取豐富的細(xì)節(jié)信息,整個(gè)網(wǎng)絡(luò)通過(guò)上采樣融合不同尺度的特征信息,恢復(fù)圖像的紋理細(xì)節(jié)。深度可分離卷積的使用在不降低網(wǎng)絡(luò)性能的基礎(chǔ)上,減少了模型參數(shù)量與計(jì)算量。實(shí)驗(yàn)結(jié)果表明,本文所提算法在真實(shí)圖像上的峰值信噪比及結(jié)構(gòu)相似度分別達(dá)到了29.631 2 dB和0.901 6,均優(yōu)于其他對(duì)比算法的。為提高本文算法的泛化性,下一步考慮擴(kuò)大數(shù)據(jù)集,將其應(yīng)用于更多的場(chǎng)景中。