雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法

陳清江， 顧 媛， 李金陽

(西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055)

1 引 言

人類感知世界的大部分信息是通過視覺系統(tǒng)獲取的，圖像是視覺系統(tǒng)最直接的體現(xiàn)。然而，在夜晚或光照不足的場景中拍攝的圖像存在視覺效果不佳、對比度低等問題，難以進行深層分析，如目標識別、目標檢測等。因此，設(shè)計有效提升圖像視覺效果的微光圖像增強算法，是一項重要任務(wù)。

目前，國內(nèi)外主流的微光圖像增強算法包含傳統(tǒng)算法與深度學(xué)習(xí)算法：(1)基于傳統(tǒng)方法，Hummel等[1]提出直方圖均衡化(HE)方法；Pizer等[2]提出局部直方圖均衡化(AHE)方法。此類方法雖然簡便快捷，但存在紋理模糊問題。隨后，基于Land等[3]提出的Retinex理論，Jobson等[4]提出單尺度Retinex(SSR)算法；林劍萍等[5]結(jié)合NSCT變換和改進的Retinex及分數(shù)階微分進行多尺度處理，獲取增強圖像。此類算法存在顏色失真，邊緣模糊問題。Guo等[6]通過在RGB通道中找每個像素的最大值來估計照明圖，設(shè)計LIME網(wǎng)絡(luò)，但該算法增強后的圖像存在對比度低及偽影問題。(2)隨著深度學(xué)習(xí)熱潮，眾多基于卷積神經(jīng)網(wǎng)絡(luò)的微光圖像增強算法被提出。Singh等[7]提出基于梯度分解的神經(jīng)網(wǎng)絡(luò)圖像融合算法，但該方法增強后圖像存在噪聲及明度分布不均勻現(xiàn)象；Tao等[8]設(shè)計了LLCNN網(wǎng)絡(luò)，使用一個模塊提取多尺度特征圖，用以增強圖像，但此方法易出現(xiàn)塊效應(yīng)和噪聲；Li等[9]設(shè)計了LightenNet網(wǎng)絡(luò)，學(xué)習(xí)微光圖像和相應(yīng)照明圖之間的映射，用以增強圖像，但增強后圖像易出現(xiàn)曝光過度問題；Jiang等[10]提出非配對訓(xùn)練的EnlightenGAN方法，利用對稱編碼的生成器網(wǎng)絡(luò)與全局-局部判別器網(wǎng)絡(luò)增強圖像，但GAN難以訓(xùn)練，在訓(xùn)練時易產(chǎn)生梯度消失或梯度爆炸等問題。

針對上述問題，本文提出一種新的微光圖像增強算法。該方法運用通道轉(zhuǎn)換與分離的思想對單通道進行增強，既降低了網(wǎng)絡(luò)參數(shù)大小提升了訓(xùn)練速度，也有效避免了使用RGB圖像進行增強后的圖像存在色彩失真及明度分布不均勻的問題。本文的主要貢獻如下：

(1)考慮到HSV顏色空間各通道相對獨立的特性，僅處理V分量。該算法與處理RGB圖像相比，不僅增強后圖像亮度提升較好、色彩自然，且模型參數(shù)較小、運行時間較快。

(2)設(shè)計了一個層級殘差模塊，該模塊提出交叉學(xué)習(xí)機制，使用不同尺度的卷積核對不同尺度的特征交叉組合相連，實現(xiàn)不同通道信息交互，再將這些特征信息通過局部與全局殘差進行自適應(yīng)特征融合，達到對V分量亮度增強的目的。

(3)在編解碼結(jié)構(gòu)中引入特征金字塔注意力模塊，使網(wǎng)絡(luò)關(guān)注不同尺度信息，保留細節(jié)，獲取深層特征信息。設(shè)計了并行雙分支網(wǎng)絡(luò)結(jié)構(gòu)，在提高圖像亮度及對比度的同時有效加強圖像特征信息，使增強后的微光圖像更好地還原圖像原有特征。

2 基本原理

HSV是由A.R.Smith提出的一種顏色空間模型，也稱六角椎體模型，包含色調(diào)(H)，飽和度(S)和亮度(V)3個參數(shù)。由于HSV顏色空間比RGB顏色空間更接近于人們對色彩的感知且具有直觀性的特點，因此本文利用HSV顏色空間對微光圖像的亮度分量V增強。由RGB顏色空間向HSV顏色空間的轉(zhuǎn)換可表示為:

V=max(R,G,B)，

(1)

(2)

(3)

(4)

其中，0≤V≤1,0≤S≤1,0≤H≤360。

3 雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法

所提算法對HSV顏色空間中的V分量采用雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法，實現(xiàn)對V分量的增強。網(wǎng)絡(luò)結(jié)構(gòu)包含兩個子網(wǎng)絡(luò)：淺層網(wǎng)絡(luò)使用4種不同尺度的卷積核提取淺層特征；深層網(wǎng)絡(luò)包含2條并行金字塔注意力分支，在增強V分量亮度的同時提取深層特征。整個網(wǎng)絡(luò)包含4個子模塊：淺層特征提取模塊，層級殘差模塊，特征金字塔注意力模塊和特征重建模塊，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 雙分支金字塔網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Two-branch pyramid model network structure

首先將微光圖像轉(zhuǎn)換到HSV空間，對V分量設(shè)計雙分支金字塔網(wǎng)絡(luò)，輸出增強后的V分量；其次將增強后的V分量與H和S分量合并，得到HSV顏色空間中的圖像；最后轉(zhuǎn)換回RGB顏色空間，整個算法流程圖如圖2所示。

圖2 算法流程圖Fig.2 Flow chart of our algorithm

3.1 淺層特征提取模塊

首先對HSV顏色空間中的亮度分量V分別使用大小1×1，3×3，5×5，7×7，個數(shù)均為16的卷積核提取具有不同尺度感受野的特征信息。4次卷積后進行concat操作，獲取更多的全局信息，給深層網(wǎng)絡(luò)提供不同尺度的特征信息，卷積計算公式如式(5)所示。

Fi(Y)=Wi*Fi-1(Y)，

(5)

其中：Y為輸入圖像，F(xiàn)i(Y)為第i層的特征圖，F(xiàn)i-1(Y)為第i-1層的特征圖，Wi為第i層的卷積核，*為卷積操作。每一層卷積均采用ReLU激活函數(shù)，其公式表示如下：

(6)

其中:xi為第i層的特征輸入。將提取到的多尺度淺層特征信息按深度方向進行疊加，用以提升信息維度。

3.2 層級殘差模塊

圖3 INT模型結(jié)構(gòu)Fig.3 INT model structure

本文結(jié)合由He等人[11]在ImageNet競賽中提出的殘差網(wǎng)絡(luò)，提出層級殘差模塊。該模塊首先采用1個INT模塊，其次采用3個INT模塊，每個INT模塊進行局部殘差后進行層間堆疊形成層級殘差模塊，最后對層級殘差模塊提取的特征信息采用1個INT模塊并進行全局殘差，形成金字塔注意力分支，實現(xiàn)對V分量的亮度增強。其中INT模塊采用交叉學(xué)習(xí)機制，利用不同大小卷積核提取到的信息交叉組合相連，將不同通道的信息交互，加速模型收斂，INT模塊結(jié)構(gòu)如圖3所示。

3.3 特征金字塔注意力模塊

利用U-Net網(wǎng)絡(luò)結(jié)構(gòu)模型，將特征金字塔注意力(FPA)[12]模塊嵌入編碼器與解碼器之間，最大程度保留細節(jié)特征。FPA模塊結(jié)構(gòu)如圖4所示，分別采用3×3，5×5，7×7大小的卷積核，形成金字塔結(jié)構(gòu)，該結(jié)構(gòu)精確整合了不同尺度的特征信息。通過1×1大小的卷積核，將原始特征與金字塔注意的特征像素相乘，有效關(guān)注全局上下文特征，提高了FPA模塊性能。

圖4 FPA模塊結(jié)構(gòu)Fig.4 FPA model structure

3.4 特征重建模塊

對上述金字塔注意力雙分支提取的深層信息進行特征融合，采用大小為1×1×1的卷積核，輸出單通道重建特征圖，其中1×1卷積核用來減少網(wǎng)絡(luò)參數(shù)，加快收斂。

3.5 損失函數(shù)

為了從微光圖像中恢復(fù)細節(jié)完整、色彩豐富的高質(zhì)量圖像，本文提出由平滑的L1損失(SmoothL1Loss)和感知損失(Perceptual Loss)組合的損失函數(shù)，即：

L=λ1LS+λ2LP，

(7)

其中:L為總損失;LS為平滑的L1損失；LP為感知損失;λ1、λ2代表權(quán)重，其中λ1=0.85,λ2=0.15。

平滑的L1損失：針對平均絕對誤差(L1Loss)在訓(xùn)練后期難以收斂到更高精度，均方誤差(L2Loss)在訓(xùn)練后期不穩(wěn)定，易產(chǎn)生梯度消失或爆炸的問題，本文采用平滑的L1損失，避免兩者的缺點，以確保最佳的網(wǎng)絡(luò)訓(xùn)練。計算公式如式(8)所示。

(8)

其中xi,j為增強圖像與真實圖像第i行第j列的像素值之差。

感知損失：為了獲得真實圖像并保留細節(jié)，引入訓(xùn)練過的VGG19[13]產(chǎn)生的特征圖計算感知損失，測量重建圖像的特征和相應(yīng)真實圖像之間的差異，計算公式如式(9)所示。

(9)

其中:φi,j表示在ImageNet數(shù)據(jù)集上預(yù)處理的VGG19[13]網(wǎng)絡(luò)φ的第i塊第j個卷積輸出的特征圖，具體是指第3塊第3個卷積的特征圖;Ih,Ig分別為增強圖像與真實圖像，Wi,j、Hi,j、Ci,j分別表示第i塊第j個卷積特征圖的寬、長及其通道數(shù)。

4 實驗結(jié)果與分析

為評估模型性能，將本文算法與其他算法分別從主觀與客觀方面進行對比，7種對比算法包括HE[1]、AHE[2]、SSR[4]、LIME[6]、LLCNN[8]、BIMEF[14]和Li[9]算法。

4.1 實驗條件及參數(shù)設(shè)置及其算法步驟

本文實驗使用的是Tensorflow2.0深度學(xué)習(xí)框架，在Windows10，Inter i7-10750H，2.6 GHz，16G RAM，Nvidia GeForce 1660Ti GPU平臺上完成。采用Adam優(yōu)化器對模型進行優(yōu)化，動量參數(shù)為β1=0.9，β2=0.999，學(xué)習(xí)率lr=0.000 1，epoch設(shè)置為3 000次。

4.2 合成微光圖像實驗

首先對人工合成的微光圖像進行實驗，從公開數(shù)據(jù)集Berkeley Segmentation Dataset[15]中選取110幅正常光照圖像。首先對110幅圖像分別進行90°與180°翻轉(zhuǎn)，將數(shù)據(jù)集擴充至330幅圖像；其次利用Retinex理論[3]將每幅正常光照圖像的光照分量在(0,1)之間隨機取值；最終合成330幅微光圖像。其中264幅圖像作為訓(xùn)練集，66幅圖像作為測試集，從測試集隨機選取4幅圖像進行主觀評價，如圖5所示。

圖5 不同算法對合成微光圖像增強效果對比Fig.5 Contrast of different methods for synthesizing low-light images enhancement

從圖5可以看出，所提算法的主觀視覺效果優(yōu)于其他算法。其中，經(jīng)AHE[2]算法處理后的圖像亮度幾乎沒有增強；經(jīng)BIMEF[14]算法處理后的圖像比AHE亮度雖有所提升，但依然偏低；經(jīng)HE[1]算法增強后的圖像，其顏色嚴重偏離真實圖像；經(jīng)LIME[6]和LLCNN[8]算法增強后的Bird圖像中出現(xiàn)不規(guī)則藍點，Scenery和Building圖像的天空中出現(xiàn)不存在的紋理；經(jīng)SSR[4]和Li[9]算法增強后的圖像出現(xiàn)過曝光現(xiàn)象，且Li增強后的Building圖像存在偽影；經(jīng)本文算法增強后的圖像真實自然，最接近原始圖像。

為進一步說明本文算法的有效性，利用峰值信噪比(PSNR)[16]與結(jié)構(gòu)相似度(SSIM)[17]兩項客觀評價指標，對上述4幅圖像進行計算。本文算法與其他7種對比算法的客觀評價指標計算結(jié)果如表1所示。

從表1可以看出，本文算法的PSNR值與SSIM值均高于其他對比算法，說明該雙分支金字字塔網(wǎng)絡(luò)的微光圖像增強算法具有明顯優(yōu)勢。

表1 合成微光圖像上不同算法的PSNR與SSIMTab.1 PSNR and SSIM of different algorithms for synthesizing low-light images

4.3 真實微光圖像實驗

在真實微光圖像上進行實驗。LOL dataset[18]公開數(shù)據(jù)集中包含500對微光圖像和正常光照圖像。選取400幅圖像作為訓(xùn)練集，100幅圖像作為測試集，從測試集中隨機選取4幅圖像進行主觀評價，評價結(jié)果如圖6所示。

從圖6可以看出，經(jīng)AHE[2]、BIMEF[14]與

圖6 不同算法對真實微光圖像增強效果對比Fig.6 Contrast of different methods for real low-light images enhancement

Li[9]算法處理后的圖像亮度較暗，尤其是經(jīng)AHE算法處理后的圖像亮度幾乎沒有得到增強；由于傳統(tǒng)的HE[1]算法泛化性能較差，對不同數(shù)據(jù)集的表現(xiàn)不同，經(jīng)HE算法處理后的圖像較圖5中HE算法處理后的圖像沒有出現(xiàn)嚴重偏色現(xiàn)象，但存在不規(guī)則噪點；經(jīng)SSR[4]算法處理后的圖像存在曝光過度，顏色失真現(xiàn)象；經(jīng)LIME[6]與LLCNN[8]算法處理后的圖像存在邊緣模糊，明度不均勻現(xiàn)象；經(jīng)文本算法處理后的圖像顏色和紋理保留相對完整，最接近原始像。

進一步對本文算法進行客觀評價，對上述4幅圖像計算PSNR與SSIM值，結(jié)果如表2所示。

表2 真實微光圖像上不同算法的PSNR與SSIMTab.2 PSNR and SSIM of different algorithms for real low-light images

從表2可以看出，本文算法的PSNR值與SSIM值明顯高于其他對比算法，說明了該算法的有效性。

4.4 無參考圖的微光圖像實驗

為進一步說明本文算法有效性，在DICM數(shù)據(jù)庫[19]中隨機選取2幅圖像進行主觀評價，如圖7所示。

從圖7可以看出，經(jīng)HE[1]算法增強后的圖像色彩失真；經(jīng)AHE[2]與BIMEF[14]算法增強后的圖像亮度不足；經(jīng)SSR[4]算法處理后的圖像出現(xiàn)過曝光；經(jīng)LIME[6]與Li[9]算法增強后的圖像出現(xiàn)明度分布不均現(xiàn)象；經(jīng)LLCNN[8]與本文算法增強后的圖像色彩恢復(fù)較好，明度分布均勻。

圖7 不同算法對無參考微光圖像增強效果對比Fig.7 Contrast of different methods for no reference low-light images enhancement

由于難以采集同一時刻的真實圖像與微光圖像，為此使用信息熵(IE)與梯度結(jié)構(gòu)相似度(NRSS)[20]兩項無參考圖像質(zhì)量評價指標，對上述2幅圖像計算其值，結(jié)果如圖8所示。其中IE值越大表明圖像信息越豐富，NRSS值越大表明圖像失真越小。

圖8 無參考微光圖像的信息熵與梯度結(jié)構(gòu)相似度Fig.8 IE and NRSS of low-light images without reference

從圖8可以看出，對無參考微光圖像增強的算法中，本文算法的IE值最大，說明所含信息最豐富。對于Image 1，本文算法的NRSS值最大，對于Image 2，LLCNN算法的NRSS值最大，但本文算法僅次于最優(yōu)值，說明圖像的色彩及細節(jié)恢復(fù)程度較好。

4.5 消融實驗

通過實驗證明所提算法的有效性，展示訓(xùn)練細節(jié)，在LOL dataset[18]的測試集中隨機選取1幅圖像，執(zhí)行消融實驗，將僅含第一分支(Model 1)、僅含第二分支(Model 2)、無層級殘差(Model 3)以及無特征金字塔注意力(FPA)模塊[12](Model 4)與本文模型(Model 5)進行對比，不同模型的主觀視覺效果如圖9所示，其客觀評價指標如表3所示。

圖9 不同模型的主觀視覺對比Fig.9 Comparison of subjective visual results of different models

從圖9可以看出，經(jīng)Model 1增強后的圖像出現(xiàn)邊緣信息丟失及偽影現(xiàn)象；經(jīng)Model 2與Model 4增強后的圖像中植物綠葉顏色失真；經(jīng)Model 3增強后的圖像背景細節(jié)不足；經(jīng)Model 5增強后的圖像色彩與細節(jié)方面最接近真實圖像。

表3 不同模型的PSNR與SSIMTab.3 PSNR and SSIM of different models

從表3可以看出，Model 1和Model 3的PSNR值與SSIM值與Model 5相比較低，說明含F(xiàn)PA的金字塔注意力分支較好地防止了特征丟失，獲取了深層信息；Model 2和Model 4的PSNR值與SSIM值與Model 5相比略低，說明含層級殘差模塊的金字塔注意力分支較好地增強了V分量的亮度；Model 5的PSNR值與SSIM值均為最高，說明所提網(wǎng)絡(luò)模型無論是在特征提取還是亮度增強方面都是最優(yōu)的。

4.6 模型時間復(fù)雜度分析

除了對模型的主客觀分析外，模型時間復(fù)雜度也是一項評測指標，運行時間越短，即模型復(fù)雜度越小。在測試集中隨機選取2幅圖像計算本文算法與其他對比算法的運行時間，每種方法分別對每幅圖像運行4次，取其均值作為最終結(jié)果，如表4所示。

表4 不同算法的運行時間Tab.4 Running time of different algorithms (s)

從表4可以看出，由于Li算法模型結(jié)構(gòu)較簡單，運行時間最短；而本文模型參數(shù)較大，因此運行時間較長，這將是下一步要優(yōu)化的問題。

5 結(jié) 論

本文提出的雙分支金字塔網(wǎng)絡(luò)的微光圖像增強算法是將微光圖像在HSV顏色空間上的V分量增強。并行雙分支網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計改進了傳統(tǒng)的殘差結(jié)構(gòu)，提出層級殘差模塊，緩解了梯度消失，實現(xiàn)了V分量的亮度增強。同時，優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，在編碼器與解碼器之間引入特征金字塔注意力模塊，獲取深層特征，整合上下文信息。實驗結(jié)果表明，所提算法在真實圖像上的峰值信噪比及結(jié)構(gòu)相似度的均值分別達到29.451 dB和0.930 1，均優(yōu)于其他對比算法。隨后將對網(wǎng)絡(luò)結(jié)構(gòu)進一步優(yōu)化，降低了模型的空間復(fù)雜度與時間復(fù)雜度，獲得更好的增強效果。