融合門(mén)控變換機(jī)制和GAN 的低光照?qǐng)D像增強(qiáng)方法

何銀銀，胡靜，陳志泊，張榮國(guó)

（1.太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030024；2.北京林業(yè)大學(xué)信息學(xué)院，北京 100083）

0 引言

低光照?qǐng)鼍跋屡臄z的圖像受成像環(huán)境影響，具有整體較暗、細(xì)節(jié)丟失和噪聲干擾等質(zhì)量問(wèn)題，嚴(yán)重影響了物體檢測(cè)、語(yǔ)義分割和圖像分類等下游高級(jí)視覺(jué)任務(wù)的性能。為提高該類圖像的質(zhì)量，低光照?qǐng)D像增強(qiáng)算法變得尤為重要。

傳統(tǒng)低光照?qǐng)D像增強(qiáng)算法主要?dú)w納為兩類［1-2］：

1）基于直方圖均衡化（HE）的方法［3］。該方法通過(guò)對(duì)圖像進(jìn)行非線性拉伸，使得一定范圍內(nèi)的像素達(dá)到近似均勻化分布的狀態(tài)，從而達(dá)到圖像亮度和對(duì)比度提升的目的。但增強(qiáng)后的圖像往往存在顏色失真現(xiàn)象。

2）基于Retinex 的增強(qiáng)方法［4］。該方法將圖像分解為反射率和照度兩個(gè)分量，其中反射率描述了物體的內(nèi)在固有屬性，照度表述了物體的亮暗程度。該方法通過(guò)消除光照對(duì)圖像的影響提升圖像的整體亮度，但增強(qiáng)后的圖像會(huì)產(chǎn)生曝光不足、噪聲明顯的現(xiàn)象。

近年來(lái)，隨著深度學(xué)習(xí)的蓬勃發(fā)展，越來(lái)越多科研人員將深度學(xué)習(xí)相關(guān)算法應(yīng)用到低光照?qǐng)D像增強(qiáng)領(lǐng)域中，并展現(xiàn)其優(yōu)越的性能。目前，基于深度學(xué)習(xí)的低光照?qǐng)D像增強(qiáng)方法大多需要大批量配對(duì)數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)。WEI 等［5］將Retinex 理論與深度學(xué)習(xí)算法相結(jié)合，提出了低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)RetinexNet。該網(wǎng)絡(luò)由分解、增強(qiáng)和重建三個(gè)步驟組成，分解網(wǎng)絡(luò)將圖像分解為反射率和照度，增強(qiáng)網(wǎng)絡(luò)利用編碼-解碼框架提取多尺度全局上下文信息，最后對(duì)調(diào)整后的反射率和照度進(jìn)行逐像素相乘輸出增強(qiáng)圖像，但增強(qiáng)圖像容易出現(xiàn)顏色失真、噪聲信息放大的現(xiàn)象。ZHANG 等［6］提出了一種簡(jiǎn)易高效的低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)KinD。該網(wǎng)絡(luò)結(jié)合雙分支結(jié)構(gòu)，在亮度調(diào)節(jié)的同時(shí)抑制低光照?qǐng)D像增強(qiáng)過(guò)程中放大隱藏的退化，但增強(qiáng)圖像會(huì)產(chǎn)生未知偽影。LV 等［7］提出了MBLLEN，通過(guò)特征提取網(wǎng)絡(luò)提取不同尺度的細(xì)節(jié)特征，并通過(guò)不同子網(wǎng)進(jìn)行增強(qiáng)，最后通過(guò)多分支結(jié)構(gòu)融合輸出增強(qiáng)結(jié)果，但增強(qiáng)后的圖像仍存在顏色失真、偽影現(xiàn)象。REN 等［8］提出一種基于內(nèi)容流和邊緣流的混合神經(jīng)網(wǎng)絡(luò)架構(gòu)，內(nèi)容流用于增強(qiáng)低光照輸入的可見(jiàn)性并學(xué)習(xí)場(chǎng)景內(nèi)容的整體估計(jì)，邊緣流基于改進(jìn)的空間變換網(wǎng)絡(luò)對(duì)邊緣細(xì)節(jié)進(jìn)行建模，并引入感知損失和對(duì)抗損失進(jìn)一步提高增強(qiáng)圖像的視覺(jué)質(zhì)量，但增強(qiáng)后的圖像存在過(guò)度增強(qiáng)問(wèn)題。ZHANG 等［9］提出利用靜態(tài)圖像實(shí)現(xiàn)低光視頻增強(qiáng)方法StableLLVE，通過(guò)光流來(lái)模擬全局和局部的動(dòng)態(tài)場(chǎng)景運(yùn)動(dòng)，使用原始圖像和變形圖像對(duì)進(jìn)行訓(xùn)練，并在輸出圖像對(duì)之間強(qiáng)制執(zhí)行一致性，提高了時(shí)間穩(wěn)定性，但增強(qiáng)圖像整體偏白、模糊。上述基于深度學(xué)習(xí)的低光照?qǐng)D像增強(qiáng)算法均依賴于配對(duì)的低光圖像和正常光圖像數(shù)據(jù)集。然而在現(xiàn)實(shí)世界中，捕獲同一場(chǎng)景下的低/正常圖像對(duì)是非常困難的?，F(xiàn)有的方法大多通過(guò)合成技術(shù)來(lái)獲得低/正常光照?qǐng)D像對(duì)來(lái)解決網(wǎng)絡(luò)訓(xùn)練時(shí)的配對(duì)數(shù)據(jù)需求，然而利用合成數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)，當(dāng)用于真實(shí)世界的微光圖像增強(qiáng)時(shí)，仍會(huì)產(chǎn)生未知偽影。

為了解決配對(duì)數(shù)據(jù)的依賴問(wèn)題，LIU 等［10］提出一種基于最優(yōu)加權(quán)多曝光融合機(jī)制的低曝光圖像增強(qiáng)方法，以從單個(gè)低照度圖像生成多曝光圖像序列，并使用能量函數(shù)計(jì)算局部對(duì)比度、飽和度和曝光度的最優(yōu)權(quán)重，增強(qiáng)圖像雖然提升了亮度和對(duì)比度，且最大程度保留了細(xì)節(jié)信息，但仍存在明顯的噪聲偽影。GUO 等［11］提出Zero-DCE 網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用無(wú)監(jiān)督方式進(jìn)行訓(xùn)練，通過(guò)設(shè)計(jì)深度曲線估計(jì)網(wǎng)絡(luò)（DCE-Net）獲得輸入圖像的最佳擬合光增強(qiáng)曲線（LE-Curves），然后通過(guò)迭代應(yīng)用曲線映射輸入RGB通道的所有像素，以獲得最終的增強(qiáng)圖像，但增強(qiáng)圖像會(huì)出現(xiàn)細(xì)節(jié)丟失和未知偽影。JIANG 等［12］提出了一種基于生成對(duì)抗網(wǎng)絡(luò)（GAN）［13］的無(wú)監(jiān)督低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)EnlightenGAN，其中生成器采用注意力引導(dǎo)的U-Net［14］網(wǎng)絡(luò)以得到增強(qiáng)圖像，并通過(guò)全局-局部判別器以辨別增強(qiáng)圖像和輸入正常光圖像的真?zhèn)?，但增?qiáng)后的圖像易出現(xiàn)噪聲放大現(xiàn)象。

目前，基于深度學(xué)習(xí)的低光照?qǐng)D像增強(qiáng)算法大多都需要配對(duì)的圖像數(shù)據(jù)集，基于無(wú)監(jiān)督的增強(qiáng)算法雖然解決了配對(duì)數(shù)據(jù)依賴問(wèn)題，但噪聲抑制能力較弱，甚至?xí)霈F(xiàn)圖像細(xì)節(jié)丟失和色彩失真現(xiàn)象?；谝陨戏治觯疚幕谏蓪?duì)抗網(wǎng)絡(luò)，結(jié)合門(mén)控通道變換（GCT）單元［15］、注意力機(jī)制、卷積殘差結(jié)構(gòu)，提出一種無(wú)監(jiān)督低光照?qǐng)D像增強(qiáng)方法AGR-GAN。首先，設(shè)計(jì)由多個(gè)基于GCT 單元的多尺度卷積殘差模塊（GCTRM）構(gòu)成的特征提取網(wǎng)絡(luò)，在此基礎(chǔ)上，引入卷積殘差結(jié)構(gòu)，減少網(wǎng)絡(luò)傳播過(guò)程中的信息丟失，提取輸入圖像的全局上下文特征和多尺度局部特征信息，在特征融合網(wǎng)絡(luò)中將提取的深淺層特征進(jìn)行充分融合以獲取豐富的細(xì)節(jié)信息，獲得最終的增強(qiáng)圖像；然后，使用雙判別器結(jié)構(gòu)改善低光照?qǐng)D像局部亮度分布不均的問(wèn)題，避免過(guò)曝/曝光不足現(xiàn)象；最后，引入聯(lián)合損失函數(shù)指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，抑制圖像噪聲，提升增強(qiáng)圖像的色彩還原質(zhì)量。

1 相關(guān)理論

GAN 由相互抗衡的生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D組成：G通過(guò)一系列非線性計(jì)算捕獲真實(shí)數(shù)據(jù)的潛在分布，生成模擬圖像；D是一個(gè)二元分類器，其目的是判斷輸入數(shù)據(jù)是生成圖像還是正常光照輸入圖像。G和D相互博弈，當(dāng)D無(wú)法判別輸入圖像的真?zhèn)螘r(shí)，說(shuō)明G生成的圖像分布最大程度相似于真實(shí)圖像，即獲得最優(yōu)的生成圖像。優(yōu)化函數(shù)如式（1）所示：

其中：x～Pdata(x)源于真實(shí)圖像分布規(guī)律；z～Pz(x)表示含噪聲z的輸入數(shù)據(jù)。目標(biāo)函數(shù)的作用是使Pz(x)的數(shù)據(jù)分布與Pdata(x)盡可能相似。

2 本文模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

為使增強(qiáng)后圖像的細(xì)節(jié)信息最大程度保留，同時(shí)更好地抑制噪聲和還原色彩，本文基于門(mén)控通道變換單元和GAN 結(jié)構(gòu)提出無(wú)監(jiān)督低光照?qǐng)D像增強(qiáng)方法（AGR-GAN），該方法由生成網(wǎng)絡(luò)和雙判別網(wǎng)絡(luò)結(jié)構(gòu)組成：生成網(wǎng)絡(luò)主要包括特征提取網(wǎng)絡(luò)（FAN）和特征融合網(wǎng)絡(luò)（FFN）兩部分，分別用于輸入圖像細(xì)節(jié)特征提取和深淺層特征充分融合；雙判別網(wǎng)絡(luò)結(jié)構(gòu)用來(lái)改善低光照?qǐng)D像局部亮度分布不均的問(wèn)題，避免增強(qiáng)后的圖像出現(xiàn)局部曝光不足/過(guò)曝現(xiàn)象。AGR-GAN 方法的整體結(jié)構(gòu)如圖1 所示（彩色效果見(jiàn)《計(jì)算機(jī)工程》官網(wǎng)HTML 版，下同）。

圖1 AGR-GAN 整體結(jié)構(gòu)Fig.1 Overall structure of AGR-GAN

2.2 生成網(wǎng)絡(luò)模型

U-Net 網(wǎng)絡(luò)是一種完全對(duì)稱的編碼-解碼結(jié)構(gòu)，編碼結(jié)構(gòu)將輸入圖像的特征信息進(jìn)行壓縮，再經(jīng)由解碼結(jié)構(gòu)恢復(fù)原始圖像分辨率，獲得最終增強(qiáng)圖像。為了防止分辨率變化導(dǎo)致特征信息丟失，編碼-解碼的相對(duì)稱層之間添加了橫向連接，保留了豐富的圖像紋理信息。借鑒U-Net 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)思路，生成網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖2 所示。

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of generate network

2.2.1 特征提取網(wǎng)絡(luò)

FAN 由GCTRM 和最大池化層構(gòu)成，用以提取輸入圖像的全局上下文特征和多尺度局部特征信息。FAN 結(jié)構(gòu)如圖2（a）所示。

每個(gè)GCTRM 均由GCT 模塊、卷積層、批量歸一化層（BatchNorm）、LeakyReLU 激活函數(shù)和卷積殘差結(jié)構(gòu)構(gòu)成。GCTRM 結(jié)構(gòu)如圖2（c）所示。由于卷積操作感受野受限，所有通道上提取的特征本質(zhì)上都是局部的，導(dǎo)致增強(qiáng)后的圖像存在嚴(yán)重的細(xì)節(jié)丟失問(wèn)題。對(duì)此：首先，將GCT 模塊放在首位以提取全局上下文信息并對(duì)通道進(jìn)行建模，實(shí)現(xiàn)全局上下文信息的聚合和利用；其次，利用批量歸一化層將數(shù)據(jù)壓縮到［0，1］區(qū)間，加快網(wǎng)絡(luò)的收斂速度；然后，利用LeakyReLU 非線性激活函數(shù)提升網(wǎng)絡(luò)對(duì)圖像特征的提取能力；最后，引入卷積殘差結(jié)構(gòu)抑制模型過(guò)擬合，并促進(jìn)淺層提取的低頻特征和較深層次高頻特征的融合，避免網(wǎng)絡(luò)前向傳播過(guò)程丟失有用特征信息，保留豐富的細(xì)節(jié)特征。每個(gè)GCTRM 模塊后接最大池化層實(shí)現(xiàn)降采樣操作，將獲取的特征進(jìn)行壓縮，降低特征圖維度并保留有效信息。

2.2.2 特征融合網(wǎng)絡(luò)

FFN 采用與FAN 完全對(duì)稱的結(jié)構(gòu)充分融合提取的淺層細(xì)節(jié)特征和高層語(yǔ)義特征，恢復(fù)圖像原始分辨率，獲得增強(qiáng)后的圖像。FFN 由雙線性插值算法、卷積殘差塊和橫向跳躍連接結(jié)構(gòu)構(gòu)成。FNN 結(jié)構(gòu)如圖2（b）所示。雙線性插值算法用以恢復(fù)特征圖的原始分辨率，避免上采樣過(guò)程中圖像出現(xiàn)棋盤(pán)效應(yīng)；卷積殘差塊用以促進(jìn)低高層特征的充分融合，防止有用信息丟失，確保上下文信息的完整性。為了使圖像恢復(fù)效果更好，在FAN 和FNN 的相對(duì)稱層之間添加橫向跳躍連接結(jié)構(gòu)，進(jìn)一步促進(jìn)特征信息拼接融合，保留更豐富的細(xì)節(jié)特征。

受低光照?qǐng)D像成像環(huán)境的影響，采集的圖像存在光照不均的問(wèn)題，局部區(qū)域容易出現(xiàn)過(guò)亮現(xiàn)象，如果對(duì)這部分區(qū)域不做特殊處理，那么增強(qiáng)后的圖像容易出現(xiàn)局部過(guò)曝、顏色失真問(wèn)題。為了讓生成網(wǎng)絡(luò)重點(diǎn)增強(qiáng)圖像中較暗區(qū)域，對(duì)局部較亮區(qū)域不做二次增強(qiáng)，本文借鑒EnlightenGAN 中的的自特征注意力機(jī)制，提取輸入彩色低光照?qǐng)D像的照明通道，并將其歸一化到［0，1］區(qū)間得到灰度圖PGray［計(jì)算方法如式（2）所示］，再利用1-PGray作為自特征注意力圖。最后，調(diào)整自特征注意力圖大小，與特征提取網(wǎng)絡(luò)得到的特征圖逐像素相乘，促使生成網(wǎng)絡(luò)在圖像增強(qiáng)過(guò)程中重點(diǎn)關(guān)注圖像中較暗區(qū)域，對(duì)于亮區(qū)域分配較少權(quán)重，使得最終增強(qiáng)圖像整體色彩更勻稱。

2.3 判別網(wǎng)絡(luò)模型

判別網(wǎng)絡(luò)采用雙判別器結(jié)構(gòu)，均使用PatchGAN［16］網(wǎng)絡(luò)，如圖3 所示。其中：全局判別器以整幅圖像作為輸入來(lái)改善圖像的整體色彩強(qiáng)度，提升圖像的整體亮度和對(duì)比度；局部判別器分別從增強(qiáng)圖像和輸入正常光照?qǐng)D像上隨機(jī)裁剪5個(gè)等尺寸的圖像塊作為輸入來(lái)改善增強(qiáng)圖像局部光照不均的問(wèn)題。采用雙判別器結(jié)構(gòu)能在提升低照度圖像全局亮度的同時(shí)自適應(yīng)增強(qiáng)局部暗光區(qū)域，避免增強(qiáng)圖像出現(xiàn)局部曝光過(guò)度或曝光不足的現(xiàn)象。

圖3 雙判別器結(jié)構(gòu)Fig.3 Structure of double discriminator

2.4 損失函數(shù)

AGR-GAN 將低光照?qǐng)D像輸入生成網(wǎng)絡(luò)G得到增強(qiáng)圖像，使用判別網(wǎng)絡(luò)來(lái)辨別增強(qiáng)圖像和正常光照?qǐng)D像的真?zhèn)?，通過(guò)生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的多次對(duì)抗迭代，最終使得增強(qiáng)后的圖像與正常光照?qǐng)D像分布盡可能相近。為了使增強(qiáng)后的圖像質(zhì)量更好，本文引入聯(lián)合損失函數(shù)，包含生成網(wǎng)絡(luò)損失LGen和判別網(wǎng)絡(luò)損失LDis兩部分，如式（3）所示：

2.4.1 生成網(wǎng)絡(luò)損失

生成網(wǎng)絡(luò)G的整體損失由對(duì)抗損失、感知損失、全變分損失（TV Loss）和顏色恒定損失（Col Loss）組成。

1）對(duì)抗損失。計(jì)算增強(qiáng)圖像與正常光照?qǐng)D像的像素變化的損失，如L1 Loss、MSE，但較多關(guān)注像素之間的差異，增強(qiáng)后的圖像容易產(chǎn)生模糊現(xiàn)象，故采用對(duì)抗損失使得增強(qiáng)圖像和正常圖像的分布盡可能相似，獲得清晰的增強(qiáng)圖像，如式（4）所示：

其中：Preal代表正常光照?qǐng)D像的特征映射；Pfake代表增強(qiáng)圖像的特征映射；x和xf分別是抽樣于Preal和Pfake的部分樣本；Pfake-patches和Preal-patches分別代表從增強(qiáng)圖像和正常光照?qǐng)D像中隨機(jī)裁剪的圖像塊特征分布。

2）感知損失。感知損失［17］通過(guò)采用預(yù)訓(xùn)練的VGG［18］網(wǎng)絡(luò)來(lái)建模增強(qiáng)圖像和正常光照?qǐng)D像之間的歐氏距離，本文使用該損失來(lái)約束輸入低照度圖像與增強(qiáng)圖像之間的特征距離，使網(wǎng)絡(luò)關(guān)注圖像內(nèi)容，保證增強(qiáng)前后的圖像細(xì)節(jié)特征近似一致，如式（7）所示：

其中：i表示第i個(gè)最大池化層；j表示第j層卷積層；Ci，j、Hi，j、Wi，j表示第i個(gè) 最大池化后的第j層卷積提取的特征圖的維度；IL代表輸入的低照度圖像；G(·)表示生成器輸出圖像；φi，j表示在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的VGG-16 模型提取的特征分布映射。

3）全變分損失。受成像環(huán)境影響，低光照?qǐng)D像含有的噪聲信息容易在圖像增強(qiáng)過(guò)程中被放大，嚴(yán)重影響增強(qiáng)圖像的質(zhì)量。本文采用全變分損失［19］在不丟失細(xì)節(jié)特征的基礎(chǔ)上抑制圖像噪聲信息，如式（8）所示：

其中：C、H、W表示輸入低照度圖像的通道數(shù)、高度和寬度；?x和?y分別代表水平和豎直方向的梯度運(yùn)算。

4）顏色恒定損失。低照度圖像局部光照分布不均，本文使用顏色恒定損失［11］來(lái)控制局部亮度提升程度，從而校正增強(qiáng)圖像潛在的顏色偏差，如式（9）所示：

其中：R、G、B代表輸入圖像不同顏色通道；Jp表示增強(qiáng)圖像p通道的平均值；(p，q)代表通道對(duì)。

生成網(wǎng)絡(luò)損失如式（10）所示：

其中：ωα、ωβ、ωχ、ωγ分別為損失Ladv、Lper、Ltv、Lcol的權(quán)重參數(shù)，取值均為1.0。

2.4.2 判別網(wǎng)絡(luò)損失

判別網(wǎng)絡(luò)損失由全局判別器損失和局部判別器損失組成。

1）全局判別器損失。全局判別器損失采用基于最小二乘GAN（LSGAN）［20］的相對(duì)論判別器［21］，用以估計(jì)正常圖像比增強(qiáng)后的圖像更真實(shí)的概率，如式（11）所示：

2）局部判別器損失。局部判別器損失采用LS-GAN作為損失函數(shù)，用以解決梯度消失問(wèn)題，使得網(wǎng)絡(luò)訓(xùn)練過(guò)程更加穩(wěn)定，如式（12）所示：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

訓(xùn)練集選用EnlightenGAN［12］算法提供的非配對(duì)圖像數(shù)據(jù)集，包含914 幅低光照?qǐng)D像和1 016 幅不成對(duì)的正常光照?qǐng)D像。測(cè)試集選用國(guó)內(nèi)外公共低光照數(shù)據(jù) 集DICM［22］、MEF［23］、NPE［24］、VV［25］、Exclusively Dark［26］（下文簡(jiǎn)稱ExDark），其中，ExDark數(shù)據(jù)集中只包含隨機(jī)挑選的157 幅圖像。為了驗(yàn)證所提方法在配對(duì)圖像數(shù)據(jù)集上的性能，從獲取訓(xùn)練數(shù)據(jù)所使用的數(shù)據(jù)集中，隨機(jī)挑選148 對(duì)低光照/正常光照?qǐng)D像對(duì)，將數(shù)據(jù)集命名為T(mén)est-ImageSet 來(lái)驗(yàn)證本文所提方法，其中，所有圖像尺寸均被調(diào)整為600×400 像素。

3.2 實(shí)驗(yàn)條件與訓(xùn)練細(xì)節(jié)

本文實(shí)驗(yàn)基于PyTorch 深度學(xué)習(xí)框架，CPU 配置為Intel?Xeon?Gold 5320，GPU 配置為RTX A4000，共訓(xùn)練200 個(gè)周期。在訓(xùn)練過(guò)程中，前100 次迭代學(xué)習(xí)率設(shè)置為0.000 4，后100 次迭代采用線性衰減策略，學(xué)習(xí)率逐步降低至0。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)均使用Adam 優(yōu)化器，batch size 設(shè)置為32。

3.3 評(píng)價(jià)指標(biāo)

選用圖像處理領(lǐng)域最常用的峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）［27］和無(wú)參考圖像評(píng)價(jià)指標(biāo)（NIQE）［28］作為增強(qiáng)圖像質(zhì)量評(píng)價(jià)指標(biāo)。其中：PSNR 通過(guò)對(duì)各像素點(diǎn)間的差異進(jìn)行評(píng)估，PSNR 值越大，表明增強(qiáng)圖像的質(zhì)量越高；SSIM 用來(lái)衡量?jī)煞鶊D像的相似程度，SSIM 值越大，說(shuō)明增強(qiáng)后的圖像更好地保持了原始圖像的結(jié)構(gòu)細(xì)節(jié)特征；NIQE不需要任何參考圖像，其值越大，表示增強(qiáng)圖像的質(zhì)量越差，反之，圖像質(zhì)量越高。

3.4 結(jié)果分析

本文選擇低光照?qǐng)D像增強(qiáng)領(lǐng)域中6 種經(jīng)典的方法與本文所提AGR-GAN 方法進(jìn)行對(duì)比實(shí)驗(yàn)，分別為RetinexNet［5］、KinD［6］、MBLLEN［7］、StableLLVE［9］、Zero-DCE［11］、EnlightenGAN［12］，從主觀 視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)兩方面評(píng)估各方法的增強(qiáng)圖像質(zhì)量。

3.4.1 主觀視覺(jué)效果分析

在DICM、MEF、NPE、VV、ExDark 5 個(gè)數(shù)據(jù)集上使用上述各方法進(jìn)行實(shí)驗(yàn)，主觀視覺(jué)效果對(duì)比如圖4 所示。通過(guò)觀察增強(qiáng)圖像可知：RetinexNet 和Zero-DCE 方法增強(qiáng)圖像存在顏色整體偏黃、顏色失真問(wèn)題；StableLLVE 方法增強(qiáng)圖像整體泛白、內(nèi)容模糊；MBLLEN 方法增強(qiáng)圖像出現(xiàn)未知偽影；EnlightenGAN 方法增強(qiáng)圖像出現(xiàn)未知偽影并存在細(xì)節(jié)丟失問(wèn)題；其他方法增強(qiáng)效果較好，能夠有效提升原始圖像的亮度和對(duì)比度。

圖4 不同方法在5 個(gè)低光照數(shù)據(jù)集上的增強(qiáng)效果對(duì)比Fig.4 Comparison of enhancement effects of different methods on five low-light datasets

在Test-ImageSet 數(shù)據(jù)集上應(yīng)用上述各方法進(jìn)行實(shí)驗(yàn)，主觀視覺(jué)效果對(duì)比如圖5 所示。通過(guò)觀察增強(qiáng)圖像可知：各方法的增強(qiáng)圖像相比于原始輸入低光照?qǐng)D像，亮度和對(duì)比度有了顯著提升，但KinD 方法增強(qiáng)圖像顏色整體偏白，圖像色彩存在一定程度的失真；MBLLEN 和Zero-DCE 方法增強(qiáng)圖像都存在畫(huà)面顏色過(guò)深的現(xiàn)象；StableLLVE 方法增強(qiáng)圖像細(xì)節(jié)丟失嚴(yán)重、整體泛白；RetinexNet 和EnlightenGAN 方法增強(qiáng)圖像色彩不真實(shí)且存在噪聲放大現(xiàn)象；本文方法增強(qiáng)圖像的色彩更接近真實(shí)圖像，細(xì)節(jié)恢復(fù)更好，極大程度減弱了噪聲信息。

圖5 不同方法在Test-ImageSet 數(shù)據(jù)集上的增強(qiáng)效果對(duì)比Fig.5 Comparison of enhancement effects of different methods on Test-ImageSet dataset

綜上分析，AGR-GAN 在不同數(shù)據(jù)集上增強(qiáng)后的圖像曝光程度適宜，圖像色彩分布均勻，抑制噪聲信息的同時(shí)保留了圖像的細(xì)節(jié)紋理，增強(qiáng)圖像與真實(shí)光照?qǐng)D像更為貼切。

3.4.2 客觀指標(biāo)評(píng)價(jià)

除了分析主觀視覺(jué)效果之外，本文還使用PSNR、SSIM 和NIQE 3 種評(píng)價(jià)指標(biāo)客觀評(píng)估AGRGAN 方法的性能。

由于數(shù)據(jù)集DICM、MEF、NPE、VV、ExDark 中都只包含低光照?qǐng)D像，無(wú)同一場(chǎng)景下正常光照的配對(duì)圖像，因此使用NIQE 來(lái)評(píng)價(jià)各方法的性能，具體結(jié)果如表1 所示（加粗表示最佳結(jié)果，下同）?？梢钥闯?，本文方法在DICM、NPE 和ExDark 數(shù)據(jù)集上的NIQE 值最低，在VV 數(shù)據(jù)集排名第二，均值第一，增強(qiáng)圖像質(zhì)量整體最高。

表1 不同方法在5 個(gè)低光照數(shù)據(jù)集上的NIQE 值Table 1 NIQE values of different methods on five low-light datasets

由于Test-ImageSet 為配對(duì)圖像數(shù)據(jù)集，因此本文使用有參考圖像評(píng)價(jià)指標(biāo)PSNR 和SSIM 來(lái)評(píng)估各方法的性能，具體結(jié)果如表2 所示?？梢钥闯?，本文方法相較于其他方法PSNR 和SSIM 值最高，表明增強(qiáng)圖像和真實(shí)圖像分布最接近，增強(qiáng)圖像質(zhì)量最高。

表2 不同方法在Test-ImageSet數(shù)據(jù)集上的客觀評(píng)價(jià)結(jié)果Table 2 Objective evaluation results of different methods on Test-ImageSet dataset

3.5 消融實(shí)驗(yàn)

本節(jié)分析FAN、FFN、TV Loss 和Col Loss 對(duì)實(shí)驗(yàn)結(jié)果的影響。消融實(shí)驗(yàn)具體設(shè)置如下：

F1：使用FAN+FFN+TV Loss+Col Loss；

F2：生成網(wǎng)絡(luò)替換為U-Net 結(jié)構(gòu)，其他不改變；

F3：移除Col Loss，其他不改變；

F4：移除TV Loss，其他不改變；

F5：移除TV Loss 和Col Loss，其他不改變。

上述各組合的主觀視覺(jué)效果對(duì)比如圖6 所示?？梢钥闯觯寒?dāng)使用U-Net 網(wǎng)絡(luò)作為生成網(wǎng)絡(luò)的主干時(shí)，增強(qiáng)圖像明顯存在未知偽影、曝光過(guò)度問(wèn)題，如圖6 中F2 所示；當(dāng)移除Col Loss 之后，增強(qiáng)圖像局部色差較大，明暗界限明顯，如圖6 中F3 所示；當(dāng)移除TV Loss 之后，增強(qiáng)圖像中的路面存在明顯噪聲信息，如圖6 中F4 所示；同時(shí)移除上述兩個(gè)損失函數(shù)之后，增強(qiáng)圖像存在顏色失真和噪聲放大現(xiàn)象，如圖6中F5 所示；采用本文方法增強(qiáng)后的圖像，原始亮區(qū)域未出現(xiàn)曝光過(guò)度問(wèn)題，較暗區(qū)域亮度明顯提升，同時(shí)增強(qiáng)圖像邊界清晰，未出現(xiàn)噪聲放大現(xiàn)象，如圖6中F1 所示。

圖6 消融結(jié)果可視化對(duì)比Fig.6 Visual comparison of ablation results

定量結(jié)果如表3 所示，由實(shí)驗(yàn)F1、F2 可得，在DICM、MEF、NPE、VV 4個(gè)低光照數(shù)據(jù)集上AGR-GAN的NIQE 值最小，在ExDark 上排名第二，整體均值第一，驗(yàn)證了FAN 網(wǎng)絡(luò)和FFN 網(wǎng)絡(luò)能有效提高增強(qiáng)圖像的質(zhì)量。由實(shí)驗(yàn)F3、F4、F5 可得，缺少圖像平滑函數(shù)和顏色一致性損失函數(shù)之后，NIQE 值明顯增大，增強(qiáng)圖像的質(zhì)量降低。

表3 消融結(jié)果基于NIQE 基準(zhǔn)的定量比較 Table 3 Quantitative comparison of ablation results based on NIQE benchmarks

4 結(jié)束語(yǔ)

針對(duì)低光照?qǐng)D像增強(qiáng)過(guò)程中存在的問(wèn)題，本文提出低光照?qǐng)D像增強(qiáng)方法AGR-GAN。設(shè)計(jì)基于GCTRM 模塊的FAN，以提取輸入圖像的全局上下文特征和多尺度局部特征信息，并在FNN 中將提取的深淺層特征進(jìn)行充分融合以獲取豐富的細(xì)節(jié)信息，獲得最終的增強(qiáng)圖像。在此基礎(chǔ)上，改進(jìn)網(wǎng)絡(luò)的損失函數(shù)，起到圖像降噪的效果，使增強(qiáng)圖像色彩均勻且真實(shí)。在多個(gè)低光照?qǐng)D像數(shù)據(jù)集上與該領(lǐng)域經(jīng)典的算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，AGR-GAN 方法能有效提高低光照?qǐng)D像的亮度和對(duì)比度，減弱圖像噪聲信息，較對(duì)比方法增強(qiáng)圖像更清晰、細(xì)節(jié)更豐富且色彩更真實(shí)，圖像質(zhì)量更高。下一步將把AGR-GAN低光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)嵌入目標(biāo)檢測(cè)框架中，完成低照度場(chǎng)景下的特定目標(biāo)識(shí)別定位任務(wù)。