基于GAN 和U-Net 的低光照圖像增強(qiáng)算法①

李晨曦, 李 健

1(中國科學(xué)院 計算機(jī)網(wǎng)絡(luò)信息中心, 北京 100190)

2(中國科學(xué)院大學(xué), 北京 100049)

目前, 基于深度學(xué)習(xí)的計算機(jī)視覺算法通過強(qiáng)大的圖像特征學(xué)習(xí)能力, 在圖像識別、目標(biāo)檢測等領(lǐng)域取得巨大成功. 深度卷積神經(jīng)網(wǎng)絡(luò)能夠很好的提取圖像中的關(guān)鍵信息, 理解圖像語義, 但這依靠于高質(zhì)量的圖像數(shù)據(jù). 光線不足的環(huán)境下產(chǎn)生的圖像數(shù)據(jù), 往往存在亮度和對比度低、細(xì)節(jié)丟失、噪聲多等現(xiàn)象[1], 這類低光照圖像不但影響人類的主觀感受, 而且對上游的視覺算法任務(wù)造成阻礙. 所以, 不依賴于昂貴的圖像采集設(shè)備的圖像增強(qiáng)算法[2]具有非常重要的研究意義和應(yīng)用價值. 本文著手于提高低光照圖像的亮度、對比度, 改善圖像感知質(zhì)量, 展開相關(guān)算法研究, 共分為6 個章節(jié): 第1 節(jié)對相關(guān)工作展開調(diào)研和分析. 第2 節(jié)介紹生成對抗網(wǎng)絡(luò)算法基本原理. 第3 節(jié)提出了一種基于生成對抗網(wǎng)絡(luò)的增強(qiáng)算法, 設(shè)計了帶有混合注意力模塊的U-Net 作為生成器, 基于PatchGAN 的全卷積網(wǎng)絡(luò)作為判別器. 第4 節(jié)通過大量實驗來證明所提出模型的有效性. 第5 節(jié)通過消融實驗證明本文所提出的模型組件和加權(quán)融合損失函數(shù)對提高圖像質(zhì)量有積極的影響. 第6 節(jié)總結(jié)本文的工作, 展望未來的工作方向.

1 相關(guān)工作

低光照圖像增強(qiáng)方法分為傳統(tǒng)圖像處理方法和基于深度學(xué)習(xí)的圖像增強(qiáng)方法. 傳統(tǒng)方法中直方圖均衡化[3]方法通過均勻拉伸灰度直方圖, 擴(kuò)展圖像灰度級的動態(tài)范圍, 來增加對比度. 限制對比度自適應(yīng)直方圖均衡化[4]算法把圖像劃分為多個不重疊區(qū)域, 并對區(qū)域內(nèi)灰度直方圖最大值進(jìn)行限定, 超出最大值的像素均勻分配到其余灰度級, 之后再進(jìn)行直方圖均衡化,能夠有效抑制區(qū)域內(nèi)噪聲放大和局部區(qū)域過度增強(qiáng),但仍不能有效處理噪聲, 恢復(fù)圖像細(xì)節(jié). Retinex 理論[5]模擬人類視網(wǎng)膜成像原理, 將圖像分解為入射分量和反射分量, 入射分量決定了像素的動態(tài)范圍, 反射分量則反映了圖像中物體的本質(zhì)內(nèi)容. 通過估計兩種分量, 去除入射分量, 只保留圖像中物體的反射屬性, 得到不受光照影響的圖像內(nèi)容, 從而實現(xiàn)圖像增強(qiáng). 根據(jù)這一理論出現(xiàn)了單尺度Retinex (SSR)[5], 多尺度Retinex(MSR)[6]等方法. SSR 用高斯函數(shù)與圖像進(jìn)行卷積, 近似估計入射分量, 從而求得反射分量. MSR 使用不同尺度的高斯核函數(shù), 可以看作多個不同尺度的單尺度Retinex 線性加權(quán)求和. 帶彩色恢復(fù)的多尺度Retinex算法(MSRCR)[6]引入顏色恢復(fù)因子, 彌補圖像局部區(qū)域?qū)Ρ榷仍鰪?qiáng)而導(dǎo)致的圖像顏色失真的缺陷. 此外,NPE[7]利用亮度濾波分解圖像將反射分量限制在[0, 1],并結(jié)合log 雙邊轉(zhuǎn)換平衡光照分量對細(xì)節(jié)和自然度的增強(qiáng), 避免過度增強(qiáng). LIME[8]首先估計亮度圖, 再根據(jù)Retinex 公式反推出反射分量, 同時使用BM3D 算法進(jìn)行去噪. BIMEF[9]引入相機(jī)響應(yīng)模型加強(qiáng)圖像曝光度, 并通過光照估計加權(quán)融合得到增強(qiáng)圖像.

近年來, 深度學(xué)習(xí)憑借強(qiáng)大的圖像理解能力在一些低級的圖像視覺任務(wù), 如超分辨率, 去噪去霧等中獲得成功, LLNet[10]將深度學(xué)習(xí)引入低光照圖像增強(qiáng)任務(wù), 構(gòu)建了堆疊稀疏去噪自編碼器, 并人工合成低光照數(shù)據(jù), 模擬低光照環(huán)境, 對低光照有噪聲圖像進(jìn)行增強(qiáng)和去噪. 相比傳統(tǒng)算法增強(qiáng)圖像質(zhì)量明顯提升, 但模型結(jié)構(gòu)簡單, 沒有完全利用深度學(xué)習(xí)的優(yōu)勢, 仍有巨大的進(jìn)步空間. MBLLEN[11]提出多分支網(wǎng)絡(luò), 分別對應(yīng)圖像增強(qiáng)中亮度增強(qiáng)、對比度增強(qiáng)、去噪去偽影等多種功能需求, 并對不同層次的特征進(jìn)行融合, 達(dá)到多方面提高圖像質(zhì)量的效果. ALIE[12]提出了一種注意力機(jī)制引導(dǎo)的增強(qiáng)方法和多分支網(wǎng)絡(luò)結(jié)合的體系結(jié)構(gòu), 通過生成注意力圖和噪聲圖來引導(dǎo)區(qū)域自適應(yīng)性的弱光增強(qiáng)和去噪. Wang 等[13]將Retinex 理論和神經(jīng)網(wǎng)絡(luò)相結(jié)合, 通過卷積神經(jīng)網(wǎng)絡(luò)估計光照分量, 調(diào)整曝光程度,得到期望的正常曝光圖像, 并加入平滑損失提高對比度、三通道顏色損失提高鮮艷程度. EnlightenGAN[14]首創(chuàng)地在低光領(lǐng)域使用GAN 技術(shù), 即使不成對的數(shù)據(jù)也能進(jìn)行訓(xùn)練學(xué)習(xí), 并利用局部和全局判別器處理局部和全局的光照條件. 基于深度學(xué)習(xí)的方法通過改變網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)不同類型特征以及優(yōu)化損失函數(shù)等多元化的手段可以顯著提高增強(qiáng)效果, 但對于圖像質(zhì)量和細(xì)節(jié)的恢復(fù)還有很大提升空間.

2 生成對抗網(wǎng)絡(luò)原理

本文針對傳統(tǒng)增強(qiáng)方法的不足和現(xiàn)有基于深度學(xué)習(xí)算法的特點, 提出使用生成對抗網(wǎng)絡(luò)作為模型框架進(jìn)行低光照圖像增強(qiáng)的方法. 本節(jié)介紹生成對抗網(wǎng)絡(luò)的基本原理, 及目前主流的PatchGAN 思想.

2.1 生成器和判別器

生成對抗網(wǎng)絡(luò)由生成器G和判別器D[2]組成, 生成器學(xué)習(xí)真實數(shù)據(jù)的潛在分布, 產(chǎn)生生成數(shù)據(jù). 判別器本質(zhì)是一個二分類器, 判斷輸入數(shù)據(jù)是生成數(shù)據(jù)還是真實數(shù)據(jù). 兩個模型訓(xùn)練過程中相互博弈, 使得生成器的生成數(shù)據(jù)不斷接近真實數(shù)據(jù), 判別器無法判斷其真假, 最終達(dá)到生成器和判別器的動態(tài)平衡. GAN 的優(yōu)化屬于極大極小博弈問題[2], 其目標(biāo)函數(shù)公式如下.

算法1. GAN 算法的訓(xùn)練流程for number of training epochs do for k steps do抽樣m 個來自噪聲分布的樣本 ;{x1,x2,···,xm}{z1,z2,···,zm}抽樣m 個來自真實分布的樣本 ;D(G(zi))噪聲樣本經(jīng)過生成器和判別器得到輸出 ;D(yi)真實樣本經(jīng)過判別器得到輸出 ;Ld計算判別器損失函數(shù) :Ld= 1 m∑m i=1[-logD(yi)-log(1-D(G(zi)))]通過Adam 梯度下降算法優(yōu)化判別器的參數(shù):θd=Adam(?θd(Ld),θd)計算生成器損失函數(shù) :Lg= 1 Lg m∑m i=1[log(1-D(G(zi)))]通過Adam 梯度下降算法優(yōu)化判別器的參數(shù):θg=Adam(?θg(Lg),θg)end for end for

2.2 PatchGAN 方法

普通二分類判別器采用基于CNN 的分類模型, 將輸入數(shù)據(jù)映射為二維向量, 表示該數(shù)據(jù)為真實數(shù)據(jù)和生成數(shù)據(jù)的概率, 研究表明該方法在低光照圖像增強(qiáng)領(lǐng)域并不適用, 因為圖像增強(qiáng)不僅是一個整體的二分類問題, 而且還需要對圖像中不同區(qū)域進(jìn)行調(diào)整. Patch-GAN 是一種關(guān)注局部圖像特征的判別器框架[15], 思想是使用全卷積網(wǎng)絡(luò)提取高級圖像特征, 輸出為一個N×N的矩陣, 其中每一個元素表示一個感受野, 能夠表示出原圖像中對應(yīng)區(qū)域的圖像特征.

3 主要方法

本文提出的模型基于GAN 架構(gòu), 生成器采用帶有混合注意力機(jī)制的U-Net, 輸入為低光照圖像, 輸出為同尺寸的增強(qiáng)圖像. 判別器借鑒PatchGAN 的思想, 采用全卷積網(wǎng)絡(luò), 輸出為矩陣張量. 具體結(jié)構(gòu)如圖1 所示.

圖1 GAN 框架模型圖

3.1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

生成器是GAN 的核心, 主要作用是進(jìn)行圖像增強(qiáng)、去噪和細(xì)節(jié)恢復(fù). U-Net[16]在圖像分割領(lǐng)域應(yīng)用廣泛, 是由編碼器、解碼器和跳躍連接[17]組成的卷積神經(jīng)網(wǎng)絡(luò). 編碼器使用3 次最大池化層縮小特征圖尺寸,獲得感受野更大的特征圖. 解碼器使用3 次反卷積從高級語義特征恢復(fù)到高分辨率圖像, 跳躍連接將編碼器和解碼器對應(yīng)層次的特征圖進(jìn)行疊加, 避免了網(wǎng)絡(luò)深度加深造成的淺層特征丟失, 同時聚合多層特征合成高質(zhì)量圖像. 本文提出的生成器網(wǎng)絡(luò)在U-Net 的基礎(chǔ)上進(jìn)行改進(jìn), 在網(wǎng)絡(luò)頭部提取注意力圖, 在編碼器部分加入混合注意力模塊MixAttBlock, 在解碼器部分加入注意力卷積模塊ConvAttBlock, 提高網(wǎng)絡(luò)的特征表示能力, 有助于恢復(fù)圖像細(xì)節(jié). 生成器網(wǎng)絡(luò)具體結(jié)構(gòu)如圖2所示.

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

注意力卷積模塊: SENet[18]提出的通道注意力機(jī)制, 通過全局平均池化獲得每個通道的代表值, 再使用全連接層及激活函數(shù)學(xué)習(xí)通道間的關(guān)系, 獲得通道的權(quán)值. 注意力機(jī)制能夠引導(dǎo)網(wǎng)絡(luò)關(guān)注更重要的特征, UNet 的解碼器階段特征圖通道數(shù)逐層減少, 直至恢復(fù)至三通道, 我們在此引入通道注意力, 形成注意力卷積模塊(ConvAttBlock), 在通道恢復(fù)時有助于保留重要特征, 其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示.

圖3 ConvAttBlock 結(jié)構(gòu)圖

非對稱的non-local 模塊: 卷積層只在局部像素范圍進(jìn)行卷積運算, 因此需要堆疊大量卷積層才能獲得較大感受野, 同時也增加了網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)優(yōu)化難度.Non-local[19]旨在通過計算特征圖任意像素位置之間的遠(yuǎn)程依賴的方式代替堆疊大量卷積層, 來提高感受野.

其通用公式為式(2), 其中,xi表 示特征圖上任意位置,f是相似度函數(shù),g是映射函數(shù), 將點映射成向量, 即求任意位置的特征表示,C(x)表示歸一化. Non-local的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4(a)所示, 其中, θ 和 φ 兩個卷積用于壓縮通道數(shù), 矩陣乘法用于計算相似度, Softmax 進(jìn)行歸一化, γ卷積即為映射函數(shù).

圖4 Non-local 和ANN 模塊結(jié)構(gòu)圖

Non-local 引導(dǎo)網(wǎng)絡(luò)利用更大范圍的信息這一特性, 使得低光照圖像增強(qiáng)時能夠保留更豐富的信息. 同時, 該模塊計算過程中會產(chǎn)生的大型的矩陣張量, 導(dǎo)致內(nèi)存占用量和計算量激增. 為進(jìn)一步優(yōu)化網(wǎng)絡(luò)性能, 我們采用了非對稱的non-local 模塊(asymmetric nonlocal, ANN)[20], 在 φ 和 γ卷積后面引入金字塔池化層, 結(jié)構(gòu)如圖4(c)所示. 多尺度的池化可以在減小特征圖尺寸的同時, 不會丟失過多的特征信息. ANN 的具體結(jié)構(gòu)如圖4(b)所示, 其中,N=H×W, 且S?N.

表1 Non-local 與ANN 內(nèi)存和乘加計算量對比

圖5 MixAttBlock 結(jié)構(gòu)圖

3.2 判別器網(wǎng)絡(luò)結(jié)構(gòu)

本文的判別器采用13 層全卷積網(wǎng)絡(luò), 均使用3×3 的卷積核, 除最后的卷積層外, 其余卷積層后均使用LeakReLU 激活函數(shù). 全卷積網(wǎng)絡(luò)提取高層圖像特征, 并輸出一個1×4×4 的矩陣張量, 充分考慮圖像不同區(qū)域的影響, 注重圖像全局質(zhì)量和局部細(xì)節(jié)的提升. 網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示.

圖6 判別器網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 損失函數(shù)

3.3.1 生成器損失函數(shù)

這類損失只能使生成圖像與對應(yīng)的標(biāo)簽圖像像素值絕對誤差減小, 沒有考慮圖像的內(nèi)容相關(guān)性. 為了能夠更好的恢復(fù)圖像細(xì)節(jié), 我們采用了多損失加權(quán)融合的方法, 加入對抗損失、結(jié)構(gòu)損失和感知損失, 構(gòu)造新的生成器損失函數(shù), 公式如下:

對抗損失: 該損失基于生成器和判別器的對抗機(jī)制[17], 引導(dǎo)生成器網(wǎng)絡(luò)學(xué)習(xí)正常光照圖像的亮度、對比度、紋理等特征. 對抗損失定義為生成圖像輸入判別器得到結(jié)果矩陣, 與相同尺寸的全1 矩陣張量的均方誤差值(mean square error,MSE). 當(dāng)結(jié)果矩陣每個元素都接近1, 則判別器不能判斷其是否為生成圖像, 從而達(dá)到生成器和判別器的動態(tài)平衡. 計算公式如式(7),其中,G表示生成器網(wǎng)絡(luò)輸出,D表示判別器網(wǎng)絡(luò)輸出,Ione表示全1 矩陣張量.

結(jié)構(gòu)損失[22]: 該損失旨在通過衡量生成圖像和標(biāo)簽圖像的結(jié)構(gòu)差異性, 提高生成圖像的整體視覺質(zhì)量.該損失根據(jù)常用的圖像質(zhì)量評估指標(biāo)結(jié)構(gòu)相似性(structural similarity, SSIM)[23]和多尺度結(jié)構(gòu)相似性(multi-scale structural similarity, MS-SSIM)[24]構(gòu)成.SSIM 從亮度、對比度、結(jié)構(gòu)3 方面度量圖像相似性,計算公式如式(8)所示. 亮度、對比度、結(jié)構(gòu)度量函數(shù)表達(dá)式分別為式(9)、式(10)、式(11). 其中, μx和 μy分別表示圖像x和y的均值, σx和 σy分別表示圖像x和y的方差, σxy表 示圖像x和y的協(xié)方差,C1、C2和C3是常數(shù). 實際計算時, 使用高斯加權(quán)滑動窗口將圖像劃分為多個局部區(qū)域, 整張圖像的SSIM取所有區(qū)域的均值.

感知損失:Lpix、Lstr等指標(biāo)只關(guān)注了圖像中的底層信息, 而沒有考慮高層特征信息. 我們認(rèn)為越相似的圖像, 通過通用特征提取器獲得的特征圖也越相似, 而高層特征圖也是提高圖像視覺質(zhì)量的重要標(biāo)準(zhǔn), 這在SRGAN[25]中定義為感知損失. 由于VGG19 網(wǎng)絡(luò)在圖像特征提取上有著良好的表現(xiàn), 我們采用ImageNet 上預(yù)訓(xùn)練的VGG19 模型作為特征提取器[1], 提取其第2 和第5 個池化層的輸出構(gòu)成特征圖, 計算特征圖的均方誤差作為感知損失, 通用公式如下,

3.3.2 判別器損失函數(shù)

生成圖像和正常光照圖像輸入判別器時, 生成圖像應(yīng)該判別為假, 而正常光照圖像應(yīng)該判別為真, 又由于判別器的輸出為1×4×4 的矩陣張量, 則使用全0 和全1 矩陣張量分別與生成圖像和正常光照圖像的輸出矩陣計算MSE, 損失函數(shù)定義為:

4 實驗分析

4.1 實驗環(huán)境

本文實驗環(huán)境為Ubuntu 18.04, Intel Xeon E5-2630@ 2.20 GHz, 32 GB RAM, TITAN RTX 24 GB, PyTorch深度學(xué)習(xí)框架.

4.2 數(shù)據(jù)集

真實環(huán)境下很難捕捉到成對的低光照和正常光照圖像, 根據(jù)之前的研究, 本文采用MBLLEN 提供的基于PASCAL VOC 圖像數(shù)據(jù)集的合成數(shù)據(jù)集[11], 該數(shù)據(jù)集通過對每個通道隨機(jī)伽馬非線性調(diào)整產(chǎn)生低光照圖像, 公式表達(dá)為:

4.3 實驗指標(biāo)

圖像增強(qiáng)通常采用峰值信噪比(peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性 (SSIM)作為定量指標(biāo)[26].PSNR通過評估生成增強(qiáng)圖像與正常光照圖像間像素差異來衡量整體增強(qiáng)效果, 單位是分貝(dB), 公式如下:

4.4 參數(shù)細(xì)節(jié)

本文采用 Adam 優(yōu)化器, 初始學(xué)習(xí)率為 1E-3, 并使用學(xué)習(xí)率衰減, 每個epoch 衰減1%. 網(wǎng)絡(luò)訓(xùn)練的epoch設(shè)置為100, batch-size 設(shè)置為16. 采用隨機(jī)裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)擴(kuò)充數(shù)據(jù), 并指定輸入尺寸為256×256. 金字塔池化層輸出尺寸設(shè)置為[2, 6, 8], 損失函數(shù)權(quán)值(λ1,λ2,λ3,λ4)設(shè)置為(0.006, 0.85, 0.14, 0.004).

4.5 實驗評估

實驗網(wǎng)絡(luò)模型訓(xùn)練損失隨迭代的收斂曲線如圖7所示, 其中, 圖7(a)是生成器訓(xùn)練損失曲線, 圖7(b)是判別器訓(xùn)練損失曲線. 可以看出, 模型在100 epoch 后接近收斂.

圖7 訓(xùn)練損失曲線

本文提出的模型與一些經(jīng)典算法在VocDark 測試集上的對比結(jié)果如表2 所示. 其中, 加粗字體表示最高值, 下劃線表示次高值. 實驗通過客觀指標(biāo)對比證明本文算法要優(yōu)于其他算法, 說明基于U-Net 的生成對抗網(wǎng)絡(luò)在低光照圖像增強(qiáng)任務(wù)中具有比較明顯的優(yōu)勢.

表2 與經(jīng)典算法的對比結(jié)果

測試集的直觀增強(qiáng)效果如圖8 所示, MSRCR 算法的結(jié)果存在顏色失真, 曝光過度的問題. NPE 算法一定程度上緩解了顏色失真的問題, 但亮度提升不足, 且局部區(qū)域模糊. LIME 算法的結(jié)果色彩不自然, 亮度、對比度過高, 如Image 1 中沙發(fā)偏藍(lán), Image 2 中狗的毛色過亮. BIMEF 算法結(jié)果偏暗, 如Image 4 和Image 5 整體亮度增強(qiáng)效果不明顯. MBLLEN 算法的效果較好,但局部區(qū)域較暗, 且與自然光照圖像存在偏差, 如Image4中羊腿下的區(qū)域和Image 5 中車底的區(qū)域較暗. 本文算法的結(jié)果與自然光照圖像非常接近, 并且本文算法在增強(qiáng)整體的亮度、對比度的同時, 細(xì)節(jié)恢復(fù)上也更加出色, 如Image 1 中地面光線輪廓更真實, Image 2 中地面、Image 4 中羊嘴和Image 5 中車牌的細(xì)節(jié)更加明顯. 從人眼視覺感知效果上可以看出, 本文算法的增強(qiáng)圖像質(zhì)量高于其他算法.

圖8 測試集效果對比

5 消融實驗

本文通過消融實驗驗證提出的網(wǎng)絡(luò)模型中每個組件的有效性. 實驗通過逐步添加各類組件來比較指標(biāo)的變化. 在這些實驗中, 均保持訓(xùn)練過程中的超參數(shù)設(shè)置不變, 將所有網(wǎng)絡(luò)訓(xùn)練100 epoch 達(dá)到收斂狀態(tài), 選擇PSNR、SSIM作為衡量不同模塊對網(wǎng)絡(luò)性能影響的指標(biāo).

首先選擇U-Net 作為骨干網(wǎng)絡(luò), 分別加入ConvAtt-Block、MixAttBlock 以及其組合, 結(jié)果如表3 所示, 說明本文所提模塊組合后能夠取得最佳效果.

表3 不同模塊組合結(jié)果對比

圖9 展示了添加不同模塊的效果, 通過視覺對比可以發(fā)現(xiàn), U-Net 作為骨干網(wǎng)絡(luò)在低光照圖像增強(qiáng)中能取得較好的效果, 但仍存在亮度、對比度提升不足, 邊緣細(xì)節(jié)模糊的問題. 加入ConvAttBlock 后增強(qiáng)效果不明顯, 加入MixAttBlock 后局部區(qū)域提升明顯, 如Image 1中羊毛顏色和細(xì)節(jié)得到恢復(fù), Image 5 中人臉細(xì)節(jié)更加明顯. 本文所提方法產(chǎn)生的增強(qiáng)圖像視覺效果最好, 說明這些模塊有助于恢復(fù)低光圖像各方面屬性, 使其成為清晰真實的自然光照圖像.

圖9 模塊消融實驗效果對比

其次, 本文對多種損失的組合進(jìn)行對比, 測試集結(jié)果如表4 所示, 其中, *號表示選中該損失參與加權(quán)融合, 組成新的生成器損失函數(shù). 可以看出同時使用Lpix和Lstr能夠顯著增強(qiáng)圖像的PSNR, 說明該損失能夠正確引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)低光照圖像到自然光照圖像的映射關(guān)系. 并且Lp的加入有助于提高增強(qiáng)圖像質(zhì)量.

表4 不同損失組合結(jié)果對比

6 總結(jié)

本文針對低光照圖像增強(qiáng)的問題, 提出了一種基于U-Net 生成對抗網(wǎng)絡(luò)的低光照圖像增強(qiáng)算法. 生成器采用帶有混合注意力的U-Net 網(wǎng)絡(luò), 該方法利用非對稱的non-local 模塊減少網(wǎng)絡(luò)復(fù)雜度的同時提高感受野, 與通道注意力結(jié)合, 獲得更豐富的特征表示. 判別器借鑒PatchGAN 的思想, 從普通的二分類網(wǎng)絡(luò)改為輸出為矩陣的全卷積網(wǎng)絡(luò), 以考慮圖像局部區(qū)域差異,提高生成器的增強(qiáng)效果. 實驗證明本文的方法能夠獲得高對比度、高亮度、噪聲和顏色失真較小、細(xì)節(jié)更顯著的增強(qiáng)圖像. 并且, 通過在公開數(shù)據(jù)集上對PSNR、SSIM等評價指標(biāo)的客觀比較, 證明本文所提方法具有更好的效果. 最后, 通過消融實驗證明本文提出的算法及參數(shù)配置能夠取得最佳的效果. 在今后的工作中, 我們將從兩個方向繼續(xù)探索和應(yīng)用低光照圖像增強(qiáng)技術(shù):一是結(jié)合圖像分類、目標(biāo)檢測等上游任務(wù), 提高其在低光照領(lǐng)域的可行性和準(zhǔn)確性; 二是進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法, 解決GAN 難訓(xùn)練, 容易出現(xiàn)梯度消失和梯度爆炸的問題.