基于圖像自身信息感知的無參考低光照?qǐng)D像增強(qiáng)

吳建斌，牛玉貞，張宇杰

(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福州 350000)

E-mail:yuzhenniu@gmail.com

1 引 言

隨著拍攝設(shè)備越來越普及且便攜，人們可以拍攝到視覺效果好的圖像.但是在光線不足的場(chǎng)景下，如夜景或昏暗的室內(nèi)，要得到視覺效果良好的攝影圖像仍然是十分困難的.如圖1所示，由于場(chǎng)景光線不足或背光拍攝，捕獲到的圖像會(huì)呈現(xiàn)曝光不足，這類圖像被稱作低光照?qǐng)D像.低光照?qǐng)D像中的某些的區(qū)域幾乎看不到圖像細(xì)節(jié)，如圖1中的第1列圖像所示.此外，低光照?qǐng)D像中的對(duì)比度普遍低.低光照?qǐng)D像不僅呈現(xiàn)較低視覺效果，而且會(huì)影響許多基本的計(jì)算機(jī)視覺和圖像處理方法的性能，如圖像分類、圖像顯著性檢測(cè)、對(duì)象檢測(cè)和識(shí)別等.

為了解決低光照?qǐng)D像的上述問題，研究者們提出了對(duì)低光照?qǐng)D像增強(qiáng)方法進(jìn)行研究，提出了很多方法，包括傳統(tǒng)的方法和基于機(jī)器學(xué)習(xí)的方法.目前，基于深度學(xué)習(xí)的圖像增強(qiáng)方法通常能獲得比其它方法更好的結(jié)果.但是基于深度學(xué)習(xí)的圖像增強(qiáng)方法，如圖像去雨[1]、圖像去霧[2]，普遍需要使用成對(duì)的圖像對(duì)進(jìn)行訓(xùn)練.

然而，在低光照?qǐng)D像增強(qiáng)問題上，獲得可用于深度學(xué)習(xí)模型訓(xùn)練的成對(duì)數(shù)據(jù)集是很困難的[3].首先，捕獲同一個(gè)時(shí)刻場(chǎng)景下的低光照?qǐng)D像和正常光照?qǐng)D像是非常困難甚至是不可行的.其次，使用正常光照?qǐng)D像來合成的低光照?qǐng)D像和真實(shí)場(chǎng)景下的低光照?qǐng)D像往往存在差異，這將導(dǎo)致使用合成數(shù)據(jù)集訓(xùn)練出來的模型在應(yīng)用于真實(shí)低光照?qǐng)D像時(shí)產(chǎn)生偽影.最后，由于場(chǎng)景亮度的變化是復(fù)雜多樣的，對(duì)于特定的低光照?qǐng)D像，難以定義與其對(duì)應(yīng)的唯一的正常光照?qǐng)D像.而在強(qiáng)監(jiān)督的訓(xùn)練方法中，每個(gè)訓(xùn)練樣本都有其唯一的參考標(biāo)簽.

受到無監(jiān)督的圖像到圖像轉(zhuǎn)換方法[3-5]的啟發(fā)，本文采用生成對(duì)抗網(wǎng)絡(luò)(GenerativeAdversarial Network，GAN)來解決低光照?qǐng)D像到正常光照?qǐng)D像的增強(qiáng)問題，這樣可以避免使用依賴于成對(duì)的圖像來進(jìn)行訓(xùn)練.對(duì)于無參考低光照?qǐng)D像增強(qiáng)任務(wù)，不僅需要恢復(fù)出低光照?qǐng)D像中難以觀察到的結(jié)構(gòu)信息，還需要生成正常光照?qǐng)鼍跋伦匀坏念伾畔?為此，本文使用改進(jìn)了的基于空間和通道的自注意力融合模塊和結(jié)合低光照?qǐng)D像全局信息的自適應(yīng)實(shí)例歸一化模塊來恢復(fù)圖像的結(jié)構(gòu)和細(xì)節(jié)信息，并且提出自顏色損失用于還原低光照?qǐng)D像的顏色，進(jìn)一步提升了低光照?qǐng)D像增強(qiáng)的性能.

圖1 本文方法結(jié)果圖.第1列為輸入的低光照?qǐng)D像，第2列為增強(qiáng)結(jié)果圖像Fig.1 Results of our proposed method.The first column shows some input low light images,and the second column shows the enhancement results

實(shí)驗(yàn)結(jié)果顯示，本文提出的方法能夠較好的還原低光照?qǐng)D像到正常光照?qǐng)D像，并且在圖像的視覺效果和無參考自然圖像指標(biāo)(Natural Image Quality Evaluator,NIQE)上的表現(xiàn)均比已有的低光圖像增強(qiáng)方法有提升.圖1給出了本文提出的無參考低光照?qǐng)D像增強(qiáng)方法的結(jié)果.

2 相關(guān)工作

2.1 傳統(tǒng)方法

低光照?qǐng)D像增強(qiáng)問題作為圖像處理的問題之一，已經(jīng)有許多方法被提出來.有一些經(jīng)典方法，比如，通過限制圖像的直方圖分布讓其趨于均勻分布來提高原始圖像對(duì)比度的直方圖均衡化法(Histogram Equalization)，以及后續(xù)發(fā)展的自適應(yīng)直方圖均衡方法(Adaptive Hisogram Equalization).再有基于Retinex 的方法[6],通過合理的先驗(yàn)假設(shè)將輸入圖像分解為反射圖和光照?qǐng)D，然后分別調(diào)整反射圖和光照?qǐng)D來增強(qiáng)圖像.文獻(xiàn)[7]提出了一種簡(jiǎn)單而有效的低光圖像增強(qiáng)(Low-light image enhancement via Illumination Map Estimation，LIME)，其使用RGB通道中的最大值來估計(jì)每個(gè)像素的照度，然后施加結(jié)構(gòu)先驗(yàn)來調(diào)整光照?qǐng)D來實(shí)現(xiàn)圖像增強(qiáng).在使用對(duì)數(shù)操作對(duì)圖像進(jìn)行Retinex分解時(shí),對(duì)數(shù)域下低光區(qū)域的梯度會(huì)被放大而導(dǎo)致圖像增強(qiáng)結(jié)果不真實(shí).對(duì)此文獻(xiàn)[8](aweighted variational model for Simultaneous Reflectance and Illumination Estimation，SRIE)提出了補(bǔ)償方法來彌補(bǔ)低光區(qū)域梯度放大問題,使得增強(qiáng)結(jié)果更加真實(shí).文獻(xiàn)[9](Naturalness Preserved Enhancement algorithm for non-uniform illumination images，NPE)使用亮度濾波對(duì)圖像進(jìn)行Retinex分解，再使用對(duì)數(shù)雙邊變換調(diào)整光照?qǐng)D以增強(qiáng)圖像細(xì)節(jié)同時(shí)保留圖像的真實(shí)性.

2.2 基于機(jī)器學(xué)習(xí)的方法

最近越來越多的研究者提出使用基于機(jī)器學(xué)習(xí)的方法來解決低光照?qǐng)D像的增強(qiáng)問題.例如，Bychkovsky等人[10]創(chuàng)建了第1個(gè)同時(shí)最大的數(shù)據(jù)集MIT-Adobe FiveK，其中包含了原始低光照?qǐng)D像和專家增強(qiáng)后圖像的圖像對(duì).Yan等人[11]提出了一種機(jī)器學(xué)習(xí)的排序方法，用于自動(dòng)增強(qiáng)照片中的色彩.文獻(xiàn)[12]構(gòu)造了語義圖以實(shí)現(xiàn)語義感知的圖像增強(qiáng).

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域許多任務(wù)上取得了較大的性能提升，基于深度學(xué)習(xí)的低光照?qǐng)D像增強(qiáng)方法也被提出.Retinex-Net[13]將Retinex理論和深度網(wǎng)絡(luò)相結(jié)合，通過深度卷積網(wǎng)絡(luò)來模擬圖像的Retinex分解，再分別對(duì)反射圖和光照?qǐng)D進(jìn)行去噪和增強(qiáng)，然后合成增強(qiáng)后的正常光照?qǐng)D像.HDR-Net[14]將深層網(wǎng)絡(luò)與雙邊網(wǎng)格處理結(jié)合，在低分辨率下使用網(wǎng)絡(luò)學(xué)習(xí)雙邊網(wǎng)格參數(shù)，再對(duì)原始分辨率圖像進(jìn)行仿射變化實(shí)現(xiàn)了實(shí)時(shí)的低光照?qǐng)D像增強(qiáng).Chen等人[15]通過直接處理相機(jī)攝影時(shí)得到的原始傳感器數(shù)據(jù)實(shí)現(xiàn)了高質(zhì)量低光照?qǐng)D像增強(qiáng).但是以上方法都需要使用成對(duì)的低光照?qǐng)D像和正常光照?qǐng)D像進(jìn)行訓(xùn)練.

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[16]是深度學(xué)習(xí)中的一種特殊模型，與普通的深度學(xué)習(xí)框架不同，生成對(duì)抗網(wǎng)絡(luò)中包含生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，生成器用于產(chǎn)生于目標(biāo)數(shù)據(jù)分布相同的真實(shí)數(shù)據(jù)，而判別器則用于區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，一般情況下二者交替訓(xùn)練且最終收斂到納什平衡.生成對(duì)抗網(wǎng)絡(luò)已被廣泛的用于各類計(jì)算機(jī)視覺任務(wù)[17-19]，然而多數(shù)現(xiàn)有的方法使用成對(duì)的訓(xùn)練數(shù)據(jù)，例如超分辨率方法[20]，單圖像去模糊方法[21]，去雨方法[22]和去霧方法[23].對(duì)于缺少成對(duì)訓(xùn)練數(shù)據(jù)集的計(jì)算機(jī)視覺任務(wù)，文獻(xiàn)[4,5]采用雙向GAN訓(xùn)練方式，其使用兩對(duì)生成器和判別器分別完成兩個(gè)相反方向的域轉(zhuǎn)換，并且使用生成對(duì)抗損失和提出的循環(huán)一致?lián)p失來同時(shí)訓(xùn)練這兩對(duì)生成器和判別器.

雙向GAN的訓(xùn)練方式雖然能在無成對(duì)數(shù)據(jù)集上進(jìn)行學(xué)習(xí)，但是其成倍增加了訓(xùn)練的時(shí)間成本和硬件成本，同時(shí)引入了額外的不穩(wěn)定性.EnlightenGAN[3]提出使用單個(gè)生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)無參考圖的低光照?qǐng)D像增強(qiáng)方法，其通過提出的自特征保留損失實(shí)現(xiàn)增強(qiáng)結(jié)果域輸入低光照?qǐng)D像內(nèi)容上的一致性.與EnlightenGAN不同，本文提出的方法使用生成對(duì)抗損失來增強(qiáng)低光照?qǐng)D像中難以觀察到的結(jié)構(gòu)內(nèi)容,并且進(jìn)一步提出自顏色損失來還原低光照?qǐng)鼍爸械念伾畔?，使得生成結(jié)果更加真實(shí)自然.

3 本文方法

本文所提出的基于生成對(duì)抗網(wǎng)絡(luò)的無參考低光照?qǐng)D像增強(qiáng)模型框架如圖2所示，其包含一個(gè)基于U-Net[24]的生成器網(wǎng)絡(luò)和一個(gè)全局判別器網(wǎng)絡(luò)、一個(gè)局部判別器網(wǎng)絡(luò).生成器接受低光照?qǐng)D像作為輸入，不依賴正常光照?qǐng)D像，輸出對(duì)應(yīng)的增強(qiáng)結(jié)果，判別器則訓(xùn)練區(qū)分樣本是真實(shí)正常光照?qǐng)D像或是生成器的增強(qiáng)結(jié)果圖像.

圖2 模型框架圖Fig.2 Model framework

3.1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

本文采用基于U-Net結(jié)構(gòu)的生成器.如圖3所示，生成器可以分為編碼器和解碼器兩部分，分別包含3次下采樣提取圖像特征和3次上采樣還原輸出圖像，并將各尺度的編碼器特征跳連到解碼器部分對(duì)應(yīng)層輸入中，從而充分利用多尺度特征來合成高質(zhì)量圖像.其中編碼器的下采樣由步長(zhǎng)為2、卷積核大小為3×3的卷積操作完成，解碼器的上采樣則由最近鄰插值的方式進(jìn)行.在編碼器部分，使用卷積、批歸一化和Leaky ReLU 激活進(jìn)行圖像特征提取.在解碼器中，本文使用卷積、層歸一化和Leaky ReLU激活函數(shù)和上采樣操作來還原增強(qiáng)圖像.此外，如圖3所示，本文還通過卷積子網(wǎng)絡(luò)f(.)將輸入的低光照?qǐng)D像編碼成潛在編碼，用于對(duì)生成器中最小尺度特征進(jìn)行自適應(yīng)實(shí)例歸一化，并且引入多尺度權(quán)重圖在解碼器部分引入自注意力融合模塊.本文將在后面對(duì)二者進(jìn)行詳細(xì)的介紹.

圖3 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Generator network styucture

a)自適應(yīng)實(shí)例歸一化(Self-Adaptive Instance Normalization,SAdaIN)

由于不同低光照?qǐng)D像之間的亮度存在差異且同一張低光照?qǐng)D像內(nèi)不同區(qū)域之間也存在復(fù)雜的亮度變化，因此對(duì)不同低光照?qǐng)D像，其需要增強(qiáng)的程度也不同.受到Huang等人[25]的啟發(fā)，本文使用改進(jìn)的自適應(yīng)的實(shí)例歸一化(SAdaIN)，其定義如公式(1)所示：

(1)

其中μ(x)和σ(x)分別表示輸入特征x在寬、高維度的均值和標(biāo)準(zhǔn)差，μf(.)和σf(.)是由全連接層學(xué)習(xí)出的特征變化系數(shù)，f(.)則是一個(gè)卷積子網(wǎng)絡(luò)，其由五個(gè)串聯(lián)的步長(zhǎng)為2卷積核大小為4×4的卷積層、LeakyReLU激活函和一個(gè)全連接層數(shù)組成，用于將輸入的低光照?qǐng)D像I轉(zhuǎn)換為一維的潛在編碼.SAdaIN模塊使用根據(jù)輸入的低光照?qǐng)D像學(xué)習(xí)到的特征變換系數(shù)對(duì)歸一化后的特征進(jìn)行變換，以適應(yīng)不同亮度程度的低光照?qǐng)D像.如圖3所示，本文在生成器模型的中間部分插入SAdaIN 模塊來調(diào)整圖像特征.

b)自注意力融合模塊(Self-Attention Merge，SAM)

在解碼器部分，受到文獻(xiàn)[3,26]的啟發(fā)，本文使用改進(jìn)了的基于空間和通道的自注意力融合模塊(SAM).如圖4所示，通過將輸入圖像I中每個(gè)RGB像素視為三維向量并計(jì)算其歐幾里德范數(shù)(Euclidean norm)得到一張權(quán)重圖M,對(duì)權(quán)重圖M使用卷積操作，為該模塊的輸入特征fc的每個(gè)通道學(xué)習(xí)一個(gè)空間權(quán)重圖得到Mc，再將fc和Mc進(jìn)行點(diǎn)乘得到fc′,將fc′進(jìn)行全局平均池化得到一維向量，使用全連接層進(jìn)行壓縮和擴(kuò)張得到通道注意力向量Vc,再將通道注意向量Vc點(diǎn)乘回fc′作為輸出.如圖3所示，本文通過對(duì)原始輸入圖像的權(quán)重圖M進(jìn)行不同尺度的縮小，在解碼器的各個(gè)尺度上引入自注意力融合模塊.

圖4 自注意力融合模塊Fig.4 Self attention merge module

3.2 判別器網(wǎng)絡(luò)結(jié)構(gòu)

判別器用于判別輸入圖像是真實(shí)的正常光照?qǐng)D像或是生成器輸出的增強(qiáng)圖像.本文使用了全局判別器和局部判別器來充分利用輸入圖像全局信息和局部塊信息,其詳細(xì)結(jié)構(gòu)如圖5所示.

圖5 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of discriminators

全局判別器含有5層步長(zhǎng)為2，卷積核大小為4×4的串聯(lián)卷積層，串聯(lián)的卷積層逐步降低輸入圖像的分辨率，從128×128降到4×4的空間大小，再經(jīng)過展平(Flatten)后使用串聯(lián)的全連接層和Leaky ReLU層合并全局圖像信息，最后使用一個(gè)全連接層預(yù)測(cè)判別結(jié)果.

相似地，局部判別器使用5層串聯(lián)的步長(zhǎng)為2，卷積核大小為4×4的卷積層，將輸入圖像轉(zhuǎn)變成特征矩陣，并在最后使用全連接層將該特征矩陣變換為輸出的預(yù)測(cè)矩陣.通過計(jì)算卷積操作的接受域大小可知，局部判別器的預(yù)測(cè)矩陣中每個(gè)位置的值對(duì)應(yīng)于的原始輸入中94×94大小的像素塊，故預(yù)測(cè)矩陣中的每個(gè)值表示對(duì)輸入圖中對(duì)應(yīng)位置塊的判別結(jié)果.兩個(gè)判別器中均使用LeakyReLU作為激活函數(shù).

3.3 損失函數(shù)

本文優(yōu)化Hinge版本的生成對(duì)抗損失[27]來訓(xùn)練生成器和兩個(gè)判別器，如公式(2)所示：

LD=Ex～P[max(0,1-D(x))]+Ez～Q[max(0,1+D(G(z)))],
LG=-Ez～Q[D(G(z))]

(2)

其中z表示低光照?qǐng)D像，x表示正常光照?qǐng)D像,G為生成器網(wǎng)絡(luò)，D為判別器網(wǎng)絡(luò).由于本文采用了雙判別器結(jié)構(gòu)，所以對(duì)于全局判別器和局部判別器分別有相同形式的損失函數(shù)LDglobal、LGglobal和LDlocal、LGlocal.

由于本文提出的無參考方法無法獲得參考圖像的顏色信息，為了對(duì)增強(qiáng)后的圖像的顏色進(jìn)行約束，本文提出自顏色損失函數(shù).首先本文發(fā)現(xiàn)，如圖6所示，將低光照?qǐng)D像的像素值線性縮放到[-1,1]區(qū)域后，通過對(duì)整張低光照?qǐng)D像計(jì)算均值和標(biāo)準(zhǔn)差，再使用該均值和標(biāo)準(zhǔn)差歸一化RGB 3個(gè)通道的像素值能夠明顯的還原出圖像中的顏色信息.根據(jù)此發(fā)現(xiàn)，本文提出自顏色損失Lsc，通過約束生成圖像和歸一化低光照?qǐng)D像中對(duì)應(yīng)位置上RGB像素的向量夾角使生成圖像能夠復(fù)原出輸入的低光照?qǐng)D像的色彩，同時(shí)限制生成圖像的顏色變化和歸一化圖像的顏色變化相似.如公式(3)所示.

圖6 使用歸一化還原低光照?qǐng)D像中的顏色實(shí)例.左半部分為歸一化后的圖像，右半部分為原始的低光照?qǐng)D像Fig.6 An example of using normalization to restore colors in a low-light image.The left half is the normalized image,and the right half is the original low-light image

(3)

由于低光照?qǐng)D像往往存在噪聲，而噪聲圖像的總變分往往比正常的自然圖像要高，故本文使用總變分損失來抑制生成的增強(qiáng)圖像的噪聲，其定義為：

(4)

綜上所述，本文使用的總損失函數(shù)為：

(5)

其中λ1、λ2、λ3和λ4為各項(xiàng)損失平衡系數(shù).

4 實(shí) 驗(yàn)

4.1 實(shí)現(xiàn)細(xì)節(jié)

本文使用文獻(xiàn)[3]給出的不成對(duì)的數(shù)據(jù)集，其中包含914張低光照?qǐng)D像和1016張正常光照?qǐng)D像.訓(xùn)練時(shí)，首先從完整圖像中隨機(jī)裁剪出n×n(128≤n≤320)大小的圖像塊，然后統(tǒng)一將圖像塊縮放到128×128大小，同時(shí)使用了隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)操作作為數(shù)據(jù)增強(qiáng)，將這些圖像塊作為訓(xùn)練的輸入圖像.本文使用了四個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)集進(jìn)行測(cè)試來衡量方法的效果，包括DICM(DIgitalCaMeras)[28]，LIME(Low-light IMageEnhancement data)[7],MEF(Multi-Exposure image Fusion)[29]和NPE(Naturalness Preserved Enhancement data)[9]數(shù)據(jù)集，它們分別包含有64、11、17和8幅不同程度的低光照?qǐng)D像，場(chǎng)景覆蓋了室內(nèi)、戶外、建筑和自然景觀等，且圖像大小不一.

本文方法使用Tensorflow深度學(xué)習(xí)框架實(shí)現(xiàn)，使用2張NVIDIA P100 GPU進(jìn)行訓(xùn)練.在訓(xùn)練模型時(shí)，分別將超參數(shù)λ1、λ2、λ3和λ4設(shè)置為1、1、10和0.0001，對(duì)于超參數(shù)λsc為0.5.訓(xùn)練時(shí)采用Adam優(yōu)化器[30]并且設(shè)置優(yōu)化器的學(xué)習(xí)率為0.0001,beta1為0.5和beta2為0.999，訓(xùn)練的批大小為48，epoch為300.

4.2 與其他方法對(duì)比

為了驗(yàn)證本文方法的有效性，將本文方法和五種低光照?qǐng)D像增強(qiáng)方法進(jìn)行比較，包含RetinexNet[13]、LIME[7]、SRIE[8]、NPE[9]和EnlightenGAN[3].方法對(duì)比包含結(jié)果圖的視覺對(duì)比和客觀評(píng)價(jià)指標(biāo).由于測(cè)試數(shù)據(jù)集內(nèi)不含有可用于參考的正常光照?qǐng)D像，本文采用無參考圖像質(zhì)量評(píng)價(jià)指標(biāo)，自然圖像質(zhì)量評(píng)估(Natural Image Quality Evaluator,NIQE)[31]作為對(duì)比的客觀評(píng)價(jià)指標(biāo).NIQE能在沒有參考圖的情況下給出定量的評(píng)估結(jié)果.

各方法的增強(qiáng)效果如圖7所示.由圖7可見，盡管6個(gè)低光照?qǐng)D像增強(qiáng)方法都能增強(qiáng)低光照輸入圖像，但效果存在差異.如輸入圖像(a),在光照特別低的情況下，LIME方法、SRIE方法和EnlightenGAN方法只能恢復(fù)出少許的燈光，而本文方法的增強(qiáng)結(jié)果中能明顯看出場(chǎng)景的結(jié)構(gòu)信息.對(duì)于輸入圖像(A)，可以看出RetinexNet方法、NPE方法和EnlightenGAN方法的增強(qiáng)結(jié)果中存在顏色退化問題，即黑色的背景色在其增強(qiáng)后出現(xiàn)了不同程度上的色偏，而本文方法的增強(qiáng)結(jié)果則更加自然.同樣對(duì)于輸入圖像(H),LIME方法的增強(qiáng)效果十分有限，SRIE方法和EnlightenGAN方法則只能增強(qiáng)窗戶周圍的區(qū)域，只有RetinexNet方法、NPE方法和本文的方法能夠增強(qiáng)光照更低的區(qū)域，而RetinexNet方法和NPE方法的增強(qiáng)結(jié)果顏色卻不自然.由此對(duì)比可見，本文的方法不僅能夠增強(qiáng)光照極低情況的輸入圖像，而且能夠復(fù)原出合理和自然的顏色.

圖7 測(cè)試集中不同圖像的增強(qiáng)結(jié)果對(duì)比Fig.7 Comparison of the enhancement results of different test images

表1給出了4個(gè)測(cè)試數(shù)據(jù)集上原始輸入和各個(gè)方法增強(qiáng)結(jié)果的NIQE指標(biāo)，該指標(biāo)數(shù)值越低表示方法性能越好.如表1所示，本文的方法在DICM和LIME測(cè)試數(shù)據(jù)集上的表現(xiàn)優(yōu)于所對(duì)比的其它低光照?qǐng)D像增強(qiáng)方法，在MEF測(cè)試集上的表現(xiàn)略低于EnlightenGAN，在NPE測(cè)試集上的表現(xiàn)略低于NPE和SRIE.綜合4個(gè)數(shù)據(jù)集，本文方法的性能優(yōu)于已有方法.

表1 在測(cè)試數(shù)據(jù)集上NIQE的實(shí)驗(yàn)結(jié)果Table 1 NIEQ results on testing datasets

4.3 消融對(duì)比

為了驗(yàn)證本文方法中網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的有效性，在相同數(shù)據(jù)集和訓(xùn)練參數(shù)的設(shè)置下，進(jìn)行了消融實(shí)驗(yàn)來對(duì)比驗(yàn)證自適應(yīng)實(shí)例歸一化(SAdaIN)、自注意力融合模塊(SAM)和自顏色損失對(duì)低光圖像增強(qiáng)的效果.對(duì)于自適應(yīng)實(shí)例歸一化，本文通過使用實(shí)例歸一化代替來進(jìn)行對(duì)比試驗(yàn).通過計(jì)算消融實(shí)驗(yàn)設(shè)置下模型的NIQE指標(biāo)，來定量分析各模塊和自顏色損失的有效性.

如表2所示，在不使用自顏色損失的情況下，模型在4個(gè)測(cè)試數(shù)據(jù)集中的NIQE均明顯變差，這是由于只使用生成對(duì)抗損失和總變分損失的時(shí)候，生成的圖像出現(xiàn)嚴(yán)重的顏色退化導(dǎo)致其于自然圖像差異較大.而缺少自適應(yīng)實(shí)例化模塊和自注意力融合模塊的時(shí)候，模型在DICM和LIME兩個(gè)測(cè)試數(shù)據(jù)集上均出現(xiàn)一定程度的退化.這進(jìn)一步驗(yàn)證了自適應(yīng)實(shí)例化模塊和自注意力融合模塊的有效性.

表2 各消融實(shí)驗(yàn)的NIQE結(jié)果Table 2 NIQE results of each ablation experiment

本文進(jìn)一步通過比較各個(gè)消融設(shè)置下模型的增強(qiáng)結(jié)果圖，來驗(yàn)證提出方法的有效性.如圖8所示，在不使用自顏色損失函數(shù)的情況下，增強(qiáng)結(jié)果(b)、(g)雖然能夠恢復(fù)出低光照?qǐng)鼍跋碌慕Y(jié)構(gòu)信息，但是其顏色出現(xiàn)明顯的退化，導(dǎo)致其于自然圖像不符；在使用實(shí)例歸一化替代自適應(yīng)實(shí)例歸一化的情況下，由于其缺少整幅圖像的光照信息，模型的增強(qiáng)結(jié)果出現(xiàn)一定程度的顏色退化，表現(xiàn)在(h)中黑色背景部分出現(xiàn)輕微的色偏情況；而在不使用自注意力融合模塊的情況下，模型對(duì)結(jié)構(gòu)細(xì)節(jié)的恢復(fù)效果下降，表現(xiàn)在(d)中柱子部分細(xì)節(jié)丟失.綜合上述消融實(shí)驗(yàn)的結(jié)果，驗(yàn)證了本文提出和改進(jìn)的自顏色損失、自適應(yīng)實(shí)例歸一化、自注意力融合模塊對(duì)于低光圖像增強(qiáng)問題的有效性.

圖8 消融實(shí)驗(yàn)效果圖Fig.8 Effect of ablation experiment

4.4 討 論

圖9展示了一個(gè)失敗的例子，該例子為一個(gè)熟知的室內(nèi)場(chǎng)景.本文提出的方法以及其他對(duì)比方法都無法對(duì)該場(chǎng)景產(chǎn)生視覺上令人滿意的結(jié)果.具體表現(xiàn)為對(duì)低光照?qǐng)D像的色彩還原不夠理想，出現(xiàn)色偏且飽和度較低.此外，對(duì)比方法的結(jié)果中還在墻壁上呈現(xiàn)出不同程度的噪聲放大.這是因?yàn)榈凸庹請(qǐng)D像增強(qiáng)方法難以把握適當(dāng)?shù)脑鰪?qiáng)幅度，過度的增強(qiáng)容易出現(xiàn)噪聲放大問題，不恰當(dāng)?shù)脑鰪?qiáng)幅度也導(dǎo)致了顏色恢復(fù)不足.因此提高方法對(duì)場(chǎng)景的識(shí)別能力和顏色復(fù)原能力是未來工作的目標(biāo).

圖9 失敗的低光照?qǐng)D像增強(qiáng)例子Fig.9 Failure case of low-light image enhancement

5 結(jié)束語

本文提出了基于生成對(duì)抗網(wǎng)絡(luò)的低光照?qǐng)D像增強(qiáng)方法，利用生成對(duì)抗網(wǎng)絡(luò)損失、自顏色損失和總變分損失能夠在無正常光照的參考圖像下訓(xùn)練模型進(jìn)行低光照?qǐng)D像增強(qiáng).在基于U-Net結(jié)構(gòu)的生成器基礎(chǔ)，使用改進(jìn)了的自適應(yīng)實(shí)例歸一化來根據(jù)輸入的低光照?qǐng)D像的全局信息調(diào)整特征圖像，并且在解碼器部分引入了改進(jìn)的基于空間和通道的自注意力融合模塊，提升模型在低光照增強(qiáng)中對(duì)細(xì)節(jié)的保留，并且恢復(fù)低光照?qǐng)鼍跋碌念伾畔?實(shí)驗(yàn)結(jié)果表明，本文方法在低光照增強(qiáng)的視覺效果和無參考自然圖像指標(biāo)NIQE上相對(duì)已有方法均有提升.