一種基于MDARNet 的低照度圖像增強方法*

江澤濤,覃露露,秦嘉奇,張少欽

1(廣西圖像圖形處理與智能處理重點實驗室(桂林電子科技大學(xué)),廣西 桂林 541004)

2(桂林信息科技學(xué)院,廣西 桂林 541004)

3(南昌航空大學(xué),江西 南昌 330063)

在照度低或逆光等光照環(huán)境差的情況下采集的圖像,稱之為低照度圖像(low-light images,簡稱LLI),此類圖像容易出現(xiàn)低質(zhì)量現(xiàn)象,例如對比度低、顏色失真和細節(jié)信息模糊等.由于其低質(zhì)現(xiàn)象,低照度圖像往往會造成目標識別、檢測和跟蹤等計算機視覺任務(wù)算法性能的降低.低照度圖像增強方法旨在通過一些技術(shù)手段和方法恢復(fù)原本低質(zhì)圖像的真實場景信息,以獲得具有完整的結(jié)構(gòu)和細節(jié)信息且視覺效果自然、清晰的圖像.低照度圖像增強方法主要分為傳統(tǒng)增強方法和基于神經(jīng)網(wǎng)絡(luò)的增強方法.

傳統(tǒng)圖像增強方法可以分為以下4 類.

1) 基于直方圖的增強方法.通過統(tǒng)計方法調(diào)整圖像中的像素值,使圖像直方圖達到均衡狀態(tài),從而對低照度圖像的亮度和對比度進行提升,如LDR[1],ERMHE[2]等.但此類方法的增強結(jié)果圖中常出現(xiàn)難以平衡圖像暗區(qū)恢復(fù)和亮區(qū)保留的問題,同時也容易出現(xiàn)色彩失真問題,具有較弱的魯棒性;

2) 基于Retinex 的傳統(tǒng)增強方法.受益于Land[3]提出的人眼視覺的亮度與色彩感知模型——Retinex 理論,眾多學(xué)者在該模型的基礎(chǔ)上提出了單尺度Retinex(SSR)、多尺度Retinex(MSR)、帶顏色恢復(fù)的MSR(MSRCR)[4]、LIME[5]、RobustRetinex[6]和JED[7]等經(jīng)典算法.此類傳統(tǒng)方法能夠有效增強圖像亮度且較好保存如邊緣和角落等高頻信息,但它們無法有效避免對比度不均勻和顏色失真等問題;

3) 基于偽霧圖的增強方法.Dong 等人[8]通過研究發(fā)現(xiàn),低照度圖像的轉(zhuǎn)置圖與霧霾圖像的特征具有很高的相似性,由此提出對此類偽霧圖應(yīng)用去霧方法實現(xiàn)低照度增強的方法(Dehaze).此類方法只能有效改善部分圖像的視覺效果,但是易產(chǎn)生邊緣效應(yīng)、光暈效應(yīng)和不實際現(xiàn)象;

4) 基于圖像融合的方法.該方法通過將多張不同照度的圖像進行融合的方式提升低照度圖像的質(zhì)量,如Ying_CAIP[9],Ying_ICCV[10]等算法.然而此類方法通常需要采集同一場景下的不同曝光程度子圖,或者通過其他技術(shù)手段獲取系列子圖才能實現(xiàn)較好的圖像融合,這局限了該方法的應(yīng)用.此外,該方法在對照度不均勻圖像進行增強的過程中,無法有效地提升較暗區(qū)域的亮度.

隨著卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像分類、目標檢測、目標跟蹤等計算機視覺領(lǐng)域取得了出色的成績,越來越多的研究人員將CNN 運用到低照度圖像增強領(lǐng)域.Shen 等人[11]通過結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與MSR 算法,提出了MSRNet 低照度增強模型,學(xué)習(xí)暗圖像到亮圖像的反射分量,很好地將基于Retinex 傳統(tǒng)方法與基于卷積神經(jīng)網(wǎng)絡(luò)的方法進行結(jié)合,增強效果顯著.但MSRNet 會出現(xiàn)圖像增強不均勻和色彩偏差的問題.Lv 等人[12]提出了一種基于深度學(xué)習(xí)的多分支微光增強網(wǎng)絡(luò)(MBLLEN),該方法提取多個不同級別的豐富特征,通過多個子網(wǎng)應(yīng)用增強功能,最后通過多分支融合生成輸出圖像.Tao 等人[13]通過卷積神經(jīng)網(wǎng)絡(luò)進行圖像去噪,利用亮度通道先驗實現(xiàn)照度增強;隨后,他們又提出LLCNN[14]實現(xiàn)端到端的低照度圖像增強網(wǎng)絡(luò).Wei 等人[15]通過聯(lián)合生成對抗網(wǎng)絡(luò)和圖像質(zhì)量評估技術(shù),實現(xiàn)低照度圖像增強方法.Wang 等人[16]提出了一個全局照明感知和細節(jié)保存網(wǎng)絡(luò)(GLADNet),首先為低光輸入計算全局照明估計,然后在估計的指導(dǎo)下調(diào)整照明,并使用與原始輸入的串聯(lián)來補充細節(jié).Zhang 等人[17]受到Retinex 理論的啟發(fā),提出了一個簡單而有效的網(wǎng)絡(luò)(KinD).該方法將圖像分解為兩個部分:一部分(照明)負責調(diào)光,另一部分(反射)負責降解.以這種方式將原圖像空間解耦為兩個較小的子空間,以更好地進行正則化和學(xué)習(xí).江澤濤等人提出一種利用改進的U-Net 生成對抗網(wǎng)絡(luò)實現(xiàn)低照度圖像轉(zhuǎn)換為正常照度圖像的網(wǎng)絡(luò)(LLEGAN)[18];隨后,該團隊將低照度增強需要解決的多重失真問題轉(zhuǎn)為兩重增強,提出了一種多重構(gòu)變分自編碼器(MRVAE)[19],通過兩個階段的增強網(wǎng)絡(luò),分別解決多重失真.雖然上述方法都能在一定程度上解決低照度圖像的低質(zhì)問題,得到較好的亮度、色彩還原度,但難于在同一個網(wǎng)絡(luò)中完全解決所有低質(zhì)問題.如果僅用簡單的卷積運算構(gòu)建低照度圖像增強模型,此時的模型是簡單利用CNN 的學(xué)習(xí)能力直接學(xué)習(xí)如何將低照度圖像映射正常照度圖像.然而普通卷積對圖像的每個像素或通道都分配以相同的學(xué)習(xí)權(quán)重,這將可能導(dǎo)致模型無法有針對性地實現(xiàn)低照度圖像增強,容易出現(xiàn)增強圖像亮度提升過于均衡、色彩失真等問題.此外,基于神經(jīng)網(wǎng)絡(luò)的方法需要大量的數(shù)據(jù)進行學(xué)習(xí)訓(xùn)練,因此,數(shù)據(jù)集的構(gòu)建效果也同樣嚴重影響著模型的最終增強性能.

為了解決上述問題,且有效實現(xiàn)低照度圖像亮度的提升、對比度的增強、色彩信息的還原以及噪聲的去除,本文將卷積神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)能力與圖像構(gòu)成模型Retinex理論相結(jié)合,提出了一種基于Retinex的低照度圖像增強網(wǎng)絡(luò)——MDARNet,其中,通過引入Attention 機制和密集卷積塊來增強網(wǎng)絡(luò)模型對圖像特征的提取能力.首先,MDARNet 利用多尺度卷積實現(xiàn)對圖像的初步特征提取;其次,通過密集卷積塊對初步特征圖進一步增強特征;然后,利用Attention 機制對特征圖進行動態(tài)分配權(quán)重,實現(xiàn)有針對性的增強;最后,利用Retinex 理論將環(huán)境光照和噪聲分量從低照度圖像中除去,得到最終的增強圖像.通過實驗對比分析,MDARNet 與其他主流算法相比較,能夠有效提升圖像的亮度、對比度和色彩還原度,同時實現(xiàn)噪聲去除.

1 相關(guān)理論

1.1 Retinex理論

Retinex 理論[8]指出,人眼視覺或攝像設(shè)備所感知的物體亮度由物體本身的反射分量和環(huán)境光照這兩個因素構(gòu)成,如圖1 所示,其數(shù)學(xué)表達式為

其中,I(x,y)表示采集圖像對應(yīng)(x,y)坐標的像素,R(x,y)表示圖像(x,y)坐標像素的反射分量,E(x,y)表示該位置的環(huán)境光照分量.

Fig.1 Form of image composition in Retinex theory圖1 Retinex 理論中的圖像構(gòu)成形式

顏色恒常性理論指出:視覺感知到的物體顏色僅僅由物體本身的反射性能所決定,在不同波長的光線下感受到不同顏色僅僅取決于物體對該波長光的反射能力,而與該環(huán)境光無關(guān).因此,若能夠近似估計出采集圖像時所處環(huán)境的光照強度分量E(x,y),我們就可以根據(jù)這一理論將環(huán)境光照對成像的影響去除,從而得到物體本身的反射分量R(x,y).為了簡化計算,將公式(1)改寫為

其中,log(·)表示對圖像進行以自然對數(shù)或10 為底的對數(shù)運算,Ic(x,y)則表示輸入圖像中第c層通道圖.

SSR 算法[9]是Jobson 提出的首個基于Retinex 理論的照度增強方法,該方法通過構(gòu)造高斯環(huán)繞函數(shù)對環(huán)境光照分量進行估計,其數(shù)學(xué)表達式為

其中,*表示兩張圖像之間進行卷積運算,F(x,y)表示估計的高斯環(huán)繞函數(shù),而F(x,y)的標準差為σ2、尺度為λ.其中,λ滿足在整個概率域上的積分為1,即滿足下式:

綜合上述分析可知,將公式(3)的等號兩邊取對數(shù)后代入公式(2)匯總,即可得到SSR 算法的最終增強結(jié)果:

其中,N表示尺度數(shù)量,Rcn表示第n個尺度下第c層通道的SSR 估計結(jié)果圖,為根據(jù)MSR 計算得到 的第c層通道的增強分量圖,wn表示第n個尺度增強圖在該層合成增強結(jié)果圖中的合成權(quán)重.

1.2 Attention機制

注意力(attention)機制因其具有捕獲長距離交互的能力被廣泛應(yīng)用于序列建模的計算模塊,如機器翻譯、自然語言處理領(lǐng)域[20].通俗而言,注意力機制就是對輸入數(shù)據(jù)的各個部分按照其對結(jié)果的影響程度分配不同權(quán)重,然后再著重對重要部分進行特征提取.注意力機制模仿的是人類的行為慣性,無論在文字閱讀還是視覺感受過程中,人們總會著重閱讀或觀察自己的感興趣的部分.自注意力機制(self-attetion)是輸入數(shù)據(jù)利用自身的特征,通過卷積運算等方式給自身各部分分配不同權(quán)重的機制[21].

近年來,許多學(xué)者在不同視覺任務(wù)的研究過程中引入注意力機制,以解決單一卷積存在的弱點.在計算機視覺中引入注意力機制的根本目的,是讓網(wǎng)絡(luò)學(xué)會在學(xué)習(xí)過程中給圖像的不同信息分配不同的注意力,做到忽略無關(guān)信息,重點關(guān)注有用信息[22].在視覺任務(wù)中的注意力機制通常是通過使用注意力圖(Attention map)的形式實現(xiàn),通過構(gòu)建的注意力模塊學(xué)習(xí)到特征圖中的關(guān)鍵特征,并形成Attention Map,然后再將輸入的特征圖與Attention Map 進行乘積運算,突出關(guān)鍵區(qū)域特征,完成對特征的區(qū)域關(guān)注[23].Hu 等人[24]提出了一種全新的圖像識別結(jié)構(gòu)SENet,該網(wǎng)絡(luò)利用注意力機制對特征通道間的相關(guān)性進行建模,通過降低無關(guān)信息的影響和強化重要區(qū)域的特征,實現(xiàn)準確率的顯著提升.Chen 等人[25]提出了基于通道注意的定向感知功能(SISR-CAOA)融合模塊,采用通道注意力機制,自適應(yīng)地將從不同通道中提取到的特征進行融合,從而實現(xiàn)了恢復(fù)精度和計算效率都更高的超分辨率模型.

在針對低照度圖像增強的研究任務(wù)中,也有不少學(xué)者通過在CNN 增強網(wǎng)絡(luò)中嵌入注意力機制的方式增強模型的性能.該方式促使模型更有效地處理低照度圖像中多種導(dǎo)致圖像低質(zhì)的因素,包括亮度、對比度、色彩、噪聲等.Wang 等人[26]在CNN 增強網(wǎng)絡(luò)的基礎(chǔ)上,考慮到特征通道及多層特征的重要性,構(gòu)建了具有特征提取模塊和特征融合模塊兩部分的增強網(wǎng)絡(luò).然而,該模型并未從像素的角度考慮圖像中不同區(qū)域存在的照度、噪聲不均等問題.Lv 等人[27]利用CNN 構(gòu)建了兩個注意力網(wǎng)絡(luò),分別學(xué)習(xí)獲取用于引導(dǎo)亮度增強和去噪任務(wù)的掩膜(mask),通過mask 對亮度不均的區(qū)域和噪聲分布不均的區(qū)域進行針對性的指導(dǎo)增強.然而,該模型在得到mask之后組建了多個分支子網(wǎng)絡(luò)實現(xiàn)增強,網(wǎng)絡(luò)結(jié)構(gòu)相對龐大,且其將原本存在聯(lián)系的圖像亮度及噪聲分開考慮的處理方式欠妥.

2 基于MDARNet 圖像增強方法

2.1 基于Retinex的圖像增強問題描述

為了能利用Retinex 實現(xiàn)低照度圖像的增強,設(shè)X∈Rw×h為低照度圖像,Y∈Rw×h為與之對應(yīng)的正常照度圖像,則根據(jù)公式(6)和公式(7)知,增強圖像可表示為

當N=1 時,表示SSR 算法;當N>1 時,表示MSR 算法.若令:

則最終增強圖像可表示為

傳統(tǒng)的Retinex 算法通常根據(jù)先驗知識直接構(gòu)建一個高斯環(huán)繞函數(shù),與低照度圖像X進行卷積運算后,得到 環(huán)境光照分量的估計圖.然而在實際的應(yīng)用中,通過先驗知識進行估計運算的方法往往魯棒性較差.因此,本文借助卷積神經(jīng)網(wǎng)絡(luò)能夠很好地學(xué)習(xí)數(shù)據(jù)特征的特性,用于代替估計的傳統(tǒng)方法[28].

2.2 MDARNET模型設(shè)計

針對上述基于Retinex 的圖像增強問題,本文利用卷積神經(jīng)網(wǎng)絡(luò)對Retinex 理論中的分量進行估計.通過在網(wǎng)絡(luò)中引入Attention 機制與DenseNet[29]模塊,增強對圖像有用特征的提取和降低干擾特征的影響.提出一種基于Retinex 與Attention 相結(jié)合的低照度圖像增強網(wǎng)絡(luò)——MDARNet(multiscale dense Attention Retinex network),該網(wǎng)絡(luò)能夠有效地對低照度圖像的亮度、對比度以及色彩實現(xiàn)增強,當圖像存在噪聲時,同樣能進行有效的降噪.MDARNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.

Fig.2 Network structure of low illumination image enhancement method based on Retinex and Attention圖2 基于Retinex 與Attention 的低照度圖像增強方法的網(wǎng)絡(luò)結(jié)構(gòu)

MDARNet 模型分為fMS,fDense,fgaussions這3 個子模塊,分別進行多尺度特征提取、密集特征提取、環(huán)境光照與噪聲分量估計.

首先,fMS通過將多個不同尺寸和形狀的卷積核直接用于對原始輸入的低照度圖像進行多尺度特征提取,并將得到的多尺度特征進行連接;接著,利用像素注意模塊(pixel-wise Attention,簡稱PA)進行特征篩選,得到初步圖像特征fMS(X);其次,fDense利用多個跳躍連接對fMS(X)做進一步的特征提取,并將不同階段輸出的特征進行連接和通道壓縮,得到特征圖fDense(fMS(X));然后,通過構(gòu)建的通道注意模塊(channel-wise Attention,簡稱CA)和像素注意模塊對特征進行篩選,再通過一個1×1 卷積將多通道特征圖進行通道壓縮,隨后進行對數(shù)運算即可得到輸 入圖像的環(huán)境光照與噪聲分量;最后,根據(jù)公式(10)計算得到增強結(jié)果圖.

2.2.1 非對稱卷積

Ding 等人[30]證明了:采用非對稱卷積可以顯著增強標準方形卷積核的表示能力,并且可以有效減小運算的復(fù)雜度.因此,本文采用如圖3 所示的非對稱卷積方式代替部分的普通卷積.MDARNet 將一個非線性映射(nonlinear mapping,簡稱NLM)運算H(·)定義為一個卷積運算和一個ReLU激活函數(shù)的組合,為了能夠最大限度地保留圖像的信息,本文均不采用批量歸一化,即:

其中,W,b 分別表示該非線性映射層的權(quán)重與偏置,k×k表示卷積核的尺寸.由此,非對稱卷積AConv(·)可表示為

Fig.3 Asymmetric convolution AConv structure diagram圖3 非對稱卷積AConv 結(jié)構(gòu)示意圖

2.2.2 特征注意力機制

在絕大多數(shù)低照度圖像增強網(wǎng)絡(luò)中,將圖像或提取到的特征圖中每一個通道或像素對最終增強結(jié)果的貢獻都視為是平均的.為了避免在低照度圖像增強過程中常出現(xiàn)的局部亮度增強不足或過度增強、色彩失真、噪聲放大等現(xiàn)象,本文通過增加基于像素和通道的兩種注意力模塊,分別對不同圖像的特征情況給不同的像素區(qū)域或特征通道分配不同的學(xué)習(xí)權(quán)重,從而使得模型能夠靈活的對特征進行取舍,避免上述失真問題.

1) 像素注意模塊(PA)

像素注意模塊是指對不同的像素點賦予不同的學(xué)習(xí)權(quán)重,從而使網(wǎng)絡(luò)能夠有針對性地應(yīng)對低照度圖像中光照不均勻及存在噪聲的問題.如圖4 的Pixel Attention-AConv 所示,PA 模塊首先利用兩個AConv對圖像進行特征學(xué)習(xí),然后利用一個Sigmoid激活函數(shù)將結(jié)果映射到(0,1),由此得到與輸入尺寸相同的權(quán)重圖(PAMap):

其中,S(·)表示Sigmoid函數(shù).最后,將得到的PAMap與輸入xin進行元素相乘,即可得到像素注意模塊的輸出為:

Fig.4 Characteristic attention mechanism network structure diagram圖4 特征注意力機制的網(wǎng)絡(luò)結(jié)構(gòu)圖

2) 通道注意模塊(CA)

在提取到的特征圖中,每張?zhí)卣鲌D所提取到的特征不盡相同,且所提取到的特征不一定都有利于進行照度增強.因此,本文引入了通道注意模塊,其目的是通過學(xué)習(xí)給不同的特征圖賦予合適的權(quán)重,從而提升具有明顯特征的特征圖所占的比例,降低對噪聲等特征的學(xué)習(xí).CA 結(jié)構(gòu)如圖4 的Channels Attention-AConv 所示.

首先,CA 對輸入H×W×C大小的xin進行全局平均池化,實現(xiàn)對每一層通道的空間信息壓縮,從而得到一個1×1×C向量vector:

然后,利用兩個AConv對向量進行權(quán)重學(xué)習(xí),同樣采用Sigmoid激活函數(shù)將結(jié)果映射到(0,1),得到權(quán)重向量(CAVector):

最后,將得到的基于通道的權(quán)重向量與輸入xin的各個通道層進行相乘,即可得到通道注意結(jié)果為

2.2.3 多尺度特征提取模塊

由于卷積操作的感受野有限,因此,采用固定尺度大小的單個卷積核對圖像進行特征提取也局限了特征提取的結(jié)果.為了能夠更好地提取到圖像的特征,本文采用3 個不同尺度的卷積核分別對圖像進行特征提取,然后將多個尺度的卷積結(jié)果進行通道拼接,如圖2 的fMS所示.本文利用非對稱卷積的優(yōu)點,將多尺度卷積設(shè)計為二維的方塊形卷積與一維的卷積相結(jié)合的形式,實現(xiàn)對圖像的多維特征提取.由于此模塊對原始圖像進行初步特征提取,因此一維卷積采用大尺寸的卷積核,即,此處多尺度卷積核大小分別為一個3×3,一個1×5 和一個5×1.其次,為了能夠最大限度地利用提取到的特征,此處將3 個不同尺度提取到的特征圖進行通道連接:

然后,利用像素注意模塊對該多尺度特征圖FMS進行加權(quán)學(xué)習(xí),由此獲得多尺度特征提取模塊的輸出結(jié)果XMS可表示為

2.2.4 密集特征提取模塊

密集卷積神經(jīng)網(wǎng)絡(luò)(DenseNet)是Huang 等人[28]為了克服隨著CNN 深度的增加而出現(xiàn)梯度彌散的問題而提出的一種網(wǎng)絡(luò)結(jié)構(gòu),它確保了網(wǎng)絡(luò)中各層之間的最大信息流,且能夠有效緩解梯度消失問題、增強特征傳播,大大減少了參數(shù)量,同時能夠增強網(wǎng)絡(luò)的泛化能力.本文設(shè)計的密集跳躍結(jié)構(gòu)設(shè)計如圖2 中的fDense模塊所示,實現(xiàn)在多尺度特征提取模塊的結(jié)果提取到更豐富、更高階的特征,為后續(xù)的環(huán)境光照與噪聲分量估計奠定特征基礎(chǔ).首先,為了更好地定義密集特征提取模塊,將跳躍卷積單元(skip conv unit,簡稱SConv)定義為兩個非線性運算和一個拼接層:

然后,fDense由N個跳躍卷積單元構(gòu)成,且所有的跳躍卷積單元輸出結(jié)果將被連接在一起,即:

其中,SConvi表示第i個跳躍卷積單元的輸出結(jié)果.最后,用一個非線性映射對進行降維,得到密集特征提取模塊fDense的輸出結(jié)果:

公式(22)輸出的結(jié)果XDense通過密集卷積進一步提取特征之后,具有比XMS更加豐富的特征.

2.2.5 環(huán)境光照與噪聲分量估計模塊

在密集特征提取結(jié)果XDense上,環(huán)境光照估計模塊先通過一個通道注意模塊和像素注意模塊對特征圖進行權(quán)重學(xué)習(xí).通過基于通道注意力和像素注意力的結(jié)合,實現(xiàn)對特征圖中不同通道和不同像素區(qū)域的關(guān)注學(xué)習(xí),能夠有效提取特征中的環(huán)境光照和噪聲信息.然后,利用1×1 非線性映射對特征進行降維,得到三通道特征圖后進行取對數(shù)運算,得到輸入圖像X的環(huán)境光照與噪聲的估計為

由此,根據(jù)公式(23)可以得到環(huán)境光照與噪聲信息的估計圖.最后,結(jié)合公式(10)和公式(23)即可得到增強結(jié)果圖.但為了避免在網(wǎng)絡(luò)傳播過程中出現(xiàn)像素點的值超出(0,1)范圍,本文在輸出結(jié)果圖之前,使用Sigmoid函數(shù)進行像素值的映射,即:

2.3 MDARNet的損失函數(shù)

MDARNet 網(wǎng)絡(luò)模型的訓(xùn)練目的是,將輸入低照度圖像X送入網(wǎng)絡(luò)得到照度增強圖像與對應(yīng)的正常照度圖像Y盡可能接近.目前,機器視覺任務(wù)中用于度量圖像對應(yīng)像素點之間差異的損失函數(shù)中,運用較為廣泛的有均方誤差(mean square error,簡稱MSE)損失函數(shù)和平均絕對誤差(mean absolute error,簡稱MAE)損失函數(shù):

其中,p表示像素點索引,P 則表示整張圖像切片,N表示圖像切片中像素總數(shù),而分別表示正常照度圖像Y和網(wǎng)絡(luò)輸出的照度增強圖像在像素點p的值.雖然LMSE能夠很好地度量兩張圖像像素之間的差距,但是LMAE能夠更準確地反映實際預(yù)測誤差的大小.在圖像增強方面,由于LMAE不會過度懲罰圖像的差距,因此在對比度、亮度方面效果要優(yōu)于LMSE.

雖然直接使用LMSE或LMAE度量與Y之間差異的計算很簡單方便,但是它并不符合人眼視覺的主觀感受,因此,有學(xué)者提出將基于人眼視覺系統(tǒng)啟發(fā)的結(jié)構(gòu)相似度(structural similarity,簡稱SSIM)評價標準作為損失函數(shù).像素級的SSIM數(shù)學(xué)表達式為

其中:μX,μY分別表示圖像X與圖像Y的像素平均值;則分別對應(yīng)于圖像的方差;σXY為兩幅圖像的協(xié)方差;C1=(k1L)2和C2=(k2L)2是兩個用于維持函數(shù)穩(wěn)定的常數(shù),能夠防止分母出現(xiàn)0 的情況,其中,L為像素值的動態(tài)范圍,且k1=0.01,k2=0.03.

由此,基于SSIM 構(gòu)建的損失函數(shù)可定義為

而根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的性質(zhì),本文將上式改寫為

由于SSIM 對圖像質(zhì)量的度量結(jié)合了圖像結(jié)構(gòu)失真與人眼感知兩個方面,因此,基于SSIM 的損失函數(shù)的引入,能夠更好地恢復(fù)圖像的結(jié)構(gòu)與細節(jié).但是由于SSIM 對均值的偏差不敏感,因此得到的增強圖像亮度與顏色的變換在視覺效果上偏暗.

其中,λMSE,λMAE和λSSIM表示用于調(diào)整LMSE,LMAE與LSSIM損失權(quán)重的參數(shù).采用不同訓(xùn)練的數(shù)據(jù)集不同時,可能會影響λMSE,λMAE和λSSIM的取值,但是其取值是平衡不同部分損失函數(shù)的量級和收斂速度,一般來說,先使用超參調(diào)整損失到同一量級,而本文的取值為λMSE=1,λMAE=2 和λSSIM=2.

2.4 伽馬校正與Retinex理論構(gòu)建數(shù)據(jù)集

無論是簡單的線性降低圖像亮度,還是單一的非線性伽馬校正調(diào)整圖像的亮度,都無法很好地模擬真實低照度圖像的低亮度、低對比度.文獻[27]對不同曝光程度的圖像進行研究,提出將線性變換與伽馬變換同時應(yīng)用于合成亮度、對比度更逼近于真實低照度圖像的合成圖像,其數(shù)學(xué)表達式為

其中,α和β用于對圖像進行線性變換,Iγ表示對圖像I進行伽馬變換,且這3 個參數(shù)服從均勻分布:α~U(0.9,1.0),β~U(0.5,1.0),γ~U(1.5,5.0).此外,本文分別通過對圖像進行高斯模糊、添加噪聲和伽馬校正的方法來模擬真實低照度圖像的特性,可表示為

其中,BG(μB,σB)表示用于模糊圖像的高斯濾波器,NG(μN,σN)表示向圖像中添加噪聲的高斯函數(shù).上述兩個高斯函數(shù)的參數(shù)取值為:μB=0,σB~(0.8,1.6),μN=0,σN~(0,20).

綜上,為了能夠合成“低照度-正常照度圖像”數(shù)據(jù)集,本文首先采用公式(31)實現(xiàn)低照度圖像的亮度、對比度合成,然后采用公式(32)對圖像進行高斯模糊和添加高斯模糊,實現(xiàn)對低照度圖像出現(xiàn)模糊和存在噪聲問題的仿真,合成過程如圖5 所示.

Fig.5 Synthesizing process of synthesizing low-illuminance image data sets圖5 合成低照度圖像數(shù)據(jù)集的合成過程

為了更直觀地顯示合成數(shù)據(jù)集的合成效果,將正常照度圖像與合成低照度圖像在YCbCr 中的Y通道進行主觀視覺效果比較并顯示其直方圖信息,如圖6 所示.

Fig.6 Visual comparison and histogram of Y channel in normal illumination image and synthesized low illumination image in YCbCr圖6 正常照度圖像與合成低照度圖像在YCbCr 中Y 通道的視覺比較和直方圖

為了使模型學(xué)習(xí)到更好的圖像增強效果,需保證訓(xùn)練圖像的正常照度圖像的質(zhì)量.因此,本文從MSCOCO數(shù)據(jù)集和NIR-RGB 數(shù)據(jù)集中選取了1 800 張具有適當?shù)牧炼?、豐富的色彩、細節(jié)豐富清晰的圖像,將其中的 1 400 張圖像用于合成訓(xùn)練集,余下400 張則用于合成測試集.針對訓(xùn)練集圖像進行40 次隨機切片為128×128大小的圖像切片,構(gòu)建包含56 000 對圖像的訓(xùn)練集(GLN-trian).此外,為了使圖像增強過程中能夠得到更好的色彩還原,本文在訓(xùn)練集中增加16 對純黑到純黑、純白到純白的特殊圖像對.而針對訓(xùn)練集進行一次隨機切片出512×512 的圖像切片,構(gòu)建包含400 對的測試集(GLN-test).

3 實驗結(jié)果及分析

3.1 實驗參數(shù)設(shè)置

本文模型使用Tensorflow 框架實現(xiàn),并在Windows10+NVIDIA GTX 960 GPU 的計算機上對網(wǎng)絡(luò)模型進行訓(xùn)練.訓(xùn)練網(wǎng)絡(luò)模型的實驗將BatchSize 設(shè)為16,一共迭代10 個epoch,并在訓(xùn)練過程使用學(xué)習(xí)率為10-4的Adam優(yōu)化器對訓(xùn)練過程進行參數(shù)優(yōu)化.

3.2 網(wǎng)絡(luò)結(jié)構(gòu)評估

為了驗證多尺度特征提取(MS)、跳躍連接結(jié)構(gòu)(Dense)、光照與噪聲分量的估計(Gaussions)及注意力機制(Att)的應(yīng)用是否能夠有利于提升圖像增強結(jié)果,本文設(shè)計了多個不同的模型,分別對MS 和Dense 模塊的設(shè)計單元進行評估實驗,如圖7 所示,對比模型在某些模塊的不同設(shè)計以進行消融實驗.用于對比評估的模型中,除圖7所示的模塊不同外,其余部分的模型設(shè)計和實驗設(shè)置不變.這些模型訓(xùn)練后,對測試集(GLN-test)進行測試,得到的客觀評價指標結(jié)果見表1,其中,MDARNet w/o PACA 表示在MDARNet 模型中去掉所有注意力機制.

Fig.7 Multi-scale feature extraction and evaluation model of jump connection structure圖7 多尺度特征提取和跳躍連接結(jié)構(gòu)的評估模型

Tabel 1 Objective evaluation indicators of different network structure enhancement effects表1 不同網(wǎng)絡(luò)結(jié)構(gòu)增強效果的客觀評價指標

如表1 結(jié)果顯示:當對MS 模塊評價時,無論是去除MS 模塊、去除MS 中的PC 單元還是在MS 模塊的基礎(chǔ)上增加CA 單元,都降低了增強圖像的PSNR,SSIM,MSE 指標.對Dense 模塊評估時,通過去除跳躍連接(w/o skip)和增強跳躍連接構(gòu)建兩種對比模型與本文的跳躍設(shè)計進行性能對比分析,可以看出,沒有跳躍連接的增強結(jié)果在各項評價指標得分上均差于MDARNet.雖然增加密集的跳躍連接的方式能夠得到更高的SSIM 和MS- SSIM 值,但其PSNR 和MSE 的得分明顯差于MDARNet,此外還增加了計算消耗.在Gaussions 模塊的消融實驗中可以看出:像素注意力和通道注意力的應(yīng)用能夠更有利于對圖像環(huán)境光照和噪聲分量的估計,能有效提升增強結(jié)果圖的各項評價指標.通過對整個網(wǎng)絡(luò)的注意力機制單元進行消融實驗發(fā)現(xiàn):注意力機制能夠彌補簡單卷積運算的缺陷,從而顯著提升增強圖像的質(zhì)量.

3.3 聯(lián)合損失函數(shù)評估

通過多組實驗對聯(lián)合損失函數(shù)的組合方式進行對比分析,實驗結(jié)果見表2.

Tabel 2 Objective evaluation indexes of different joint loss function enhancement effects表2 不同聯(lián)合損失函數(shù)增強效果的客觀評價指標

可以看出:當只采用LMSE或LMAE時,可以得到很高的PSNR和MSE 值,但是SSIM 和MS-SSIM 值較低;而只采用LSSIM時,得到的評價指標則正好相反.此外,無論是LMSE,LMAE和LSSIM的哪兩種損失函數(shù)的兩兩組合,得到的增強結(jié)果都比三者的組合效果差.雖然λMSE·LMSE+λSSIM·LSSIM的組合在 SSIM 和 MS-SSIM 的得分與λMSE·LMSE+λMAE·LMAE+λSSIM·LSSIM存在可忽略的差異,但在 PSNR 和 MSE 指標上的測試結(jié)果要明顯比λMSE·LMSE+λMAE·LMAE+λSSIM·LSSIM的效果差.

3.4 不同照度增強方法評估

為了驗證MDARNet 能夠有效實現(xiàn)低照度圖像增強,本文分別對通過合成低照度圖像測試集和真實低照度圖像測試集進行測試實驗和對比分析.實驗通過與一些流行低照度圖像增強算法進行增強對比,包括非基于學(xué)習(xí)的LDR[1],LIME[5],RobustRetinex[6],JED[7],Dehaze[8],Ying-CAIP[9],Ying-ICCV[10]方法,基于學(xué)習(xí)的MSRNet[11],MBLLEN[12],LLCNN[13],GLADNet[16],KinD[17],LLEGAN[18]和MRVAE[19]方法.上述所有基于學(xué)習(xí)的增強方法均采用同MDARNet 相同的數(shù)據(jù)集和實驗設(shè)置進行訓(xùn)練和測試.

3.4.1 合成低照度圖像測試集增強結(jié)果對比

采用第2.4 節(jié)的合成低照度圖像測試集(GLN-test)進行驗證實驗,其增強結(jié)果如圖8 和表3 所示,表中數(shù)據(jù)為400 對測試結(jié)果的平均值.

Fig.8 Test result graph of the learning-based enhanced algorithm on GLN-test圖8 基于學(xué)習(xí)的增強算法在GLN-test 上的測試結(jié)果圖

Tabel 3 Objective evaluation indexes of different methods in synthetic test set表3 不同方法在合成測試集的客觀評價指標

從圖8、表3 的結(jié)果可以看出:每一種照度增強方法均能對低照度圖像實現(xiàn)照度上的增強,但也都分別存在不足之處.從細節(jié)圖像可以看出,MSRNet,MRVAE,LLEGAN 和GLADNet 方法的增強效果存在不同程度的降噪效果差的問題.由于原始模型沒有考慮圖像的噪聲問題,因此MSRNet 的去噪效果最差;此外,增強的圖像細節(jié)不夠清晰、出現(xiàn)圖像整體泛黃的色彩失衡問題.雖然KinD 能夠有效去噪,但是照度提升有限,故其各項客觀評價指標也最差.MBLLEN 方法的細節(jié)與色彩信息恢復(fù)較KinD 更好,但是仍然欠佳.LLEGAN 和MRVAE 方法的噪聲較少,但背景的還原效果與真實情況存在偏差,且客觀評價得分較低.LLCNN,GLADNet 和MDARNet 在該測試集中的還原效果比較接近,且與對應(yīng)的真實圖像在視覺效果相差無幾.但是MDARNet 在各項客觀評價指標的得分均優(yōu)于LLCNN,GLADNet,說明在客觀評價方面,MDARNet 的增強結(jié)果更加接近于原始正常照度圖像.綜上所述,在相同的條件下,MDARNet 的增強結(jié)果相較于這幾種增強方法,能得到更好增強圖像.

3.4.2 真實低照度圖像增強結(jié)果對比

為了進一步驗證MDARNet 對真實低照度圖像的增強效果,本文從圖像數(shù)據(jù)庫DICM[31],TID2013[32],VV[33],RGB-NIR[34],ExDark[35]中選取多張經(jīng)典圖像進行增強測試,其增強結(jié)果分別對應(yīng)圖9~圖13.

Fig.9 Subjective visual contrast effect of different algorithms on DICM data set圖9 不同算法在DICM 數(shù)據(jù)集上的主觀視覺對比效果

Fig.10 Subjective visual contrast effect of different algorithms on TID2013 data set圖10 不同算法在TID2013 數(shù)據(jù)集上的主觀視覺對比效果

Fig.11 Subjective visual contrast effect of different algorithms on VV data set圖11 不同算法在VV 數(shù)據(jù)集上的主觀視覺對比效果

Fig.12 Subjective visual contrast effect of different algorithms on RGB-NIR data set圖12 不同算法在RGB-NIR 數(shù)據(jù)集上的主觀視覺對比效果

從圖中對比結(jié)果可以看出,LDR 方法的增強效果較差,不僅亮度得不到明顯的增強,而且圖像細節(jié)丟失、色彩還原度差.LIME 方法的增強效果圖在亮度、對比度方面表現(xiàn)很好,但是存在色彩增強過于鮮艷,且還原細節(jié)不夠清晰的問題.Dehaze 方法會出現(xiàn)亮度不足,尤其是光照不均的圖像中的逆光區(qū)域無法得到有效的亮度提升,但是Dehaze 在針對平均亮度較暗的圖像進行增強時能得到較好的對比度.RobustRetinex 和JED 方法均有相近的增強性能,雖然亮度、對比度得到了一定在增強,但是色彩還原度出現(xiàn)比LIME 更嚴重的過度增強.Ying-CAIP增強的亮度不足,且細節(jié)還原度不夠.Ying-ICCV 的增強結(jié)果是非學(xué)習(xí)類方法中性能最佳的,其增強結(jié)果圖的亮度、對比度和色彩均從視覺效果上有很好的效果,但是在對亮度較低的超低照度圖像的增強時,存在亮度增強不足的情況.從圖中可以發(fā)現(xiàn):傳統(tǒng)方法的增強結(jié)果圖在對比度方面均優(yōu)于基于學(xué)習(xí)的方法,且在對逆光圖像進行增強時,傳統(tǒng)方法不會破壞圖像背景的亮度、色彩等信息,如圖9 和圖11 的天空,但是傳統(tǒng)方法增強的整體圖像亮度低于基于神經(jīng)網(wǎng)絡(luò)的方法.

在基于神經(jīng)網(wǎng)絡(luò)的方法中,KinD 方法的增強結(jié)果圖亮度增強效果最差,但其對比度較好,且在天空等區(qū)域的恢復(fù)與傳統(tǒng)方法更接近.MSRNet 的增強效果圖像亮度增強較好,但細節(jié)較模糊,且出現(xiàn)了色彩失真.MRVAE增強的亮度和細節(jié)較好,但存在對比度不足、噪聲放大和偽影等現(xiàn)象,如圖11 的人臉和圖13 的房子.MBLLEN,LLCNN,GLADNet 方法的增強結(jié)果都較好,能夠很好地提升圖像的亮度、對比度和還原圖像細節(jié)信息.但是MBLLEN 的增強結(jié)果亮度比MDARNet 低,且從圖10 的細節(jié)圖和圖11 的天空看,色彩不夠鮮艷;LLCNN 在逆光圖像的亮光區(qū)域增強時色彩丟失更嚴重,且對比度欠佳于MDARNet 方法;而從圖9 和圖10 的細節(jié)圖可以看出:GLADNet 在細節(jié)的亮度增強方面欠佳于MDARNet,且圖11 中,GLADNet 的增強結(jié)果圖的手臂上出現(xiàn)了偽影.LLEGAN 方法的增強結(jié)果圖整體對比度較低,且在圖13 的天空出現(xiàn)偽影.經(jīng)過多組測試圖像的對比分析可知:從整體圖像的亮度、對比度、色彩、圖像細節(jié)等多方面衡量,MDARNet 得到了比其他方法更好的增強效果.

4 結(jié) 論

針對低照度增強中亮度、色彩及噪聲的增強問題,本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)、Retinex 理論、Attention 機制和密集卷積塊,提出了一種基于Retinex 和Attention 的低照度圖像增強網(wǎng)絡(luò)——MDARNet.首先,MDARNet 利用非對稱卷積和像素注意力模塊對圖像進行的多尺度卷積和特征融合得到多維度特征圖,隨后利用密集卷積塊對特征圖進一步提取特征,然后利用注意力機制在通道和空間維度上獨立地完善卷積特征,最后根據(jù)Retinex理論將估計到的環(huán)境光照和噪聲分量從低照度圖像中減去,由此得到增強結(jié)果圖.實驗結(jié)果表明:MDARNet 能夠有效地提升低照度圖像的亮度、對比度,并得到與真實圖像更接近的色彩增強和噪聲抑制效果.從視覺主觀效果和多項客觀指標的結(jié)果可以看出,MDARNet 方法的增強效果優(yōu)于一些主流經(jīng)典的低照度圖像增強算法.