結(jié)合深度殘差神經(jīng)網(wǎng)絡(luò)與Retinex理論的低照度圖像增強(qiáng)

李 淼，周冬明，劉琰煜，謝詩(shī)冬，王長(zhǎng)城，衛(wèi)依雪

(云南大學(xué) 信息學(xué)院，云南 昆明 650500)

圖像增強(qiáng)一直以來都是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，通常情況下由于相機(jī)曝光度或室內(nèi)光線不足等原因，容易導(dǎo)致監(jiān)控?cái)z像頭或者個(gè)人相機(jī)拍攝的圖像出現(xiàn)局部甚至整體黑暗的情況，影響人們對(duì)圖像的進(jìn)一步的使用.特別是在極端低照度的情況下，靠人眼來識(shí)別圖像細(xì)節(jié)幾乎是不可能的.因此對(duì)低照度圖像進(jìn)行光照增強(qiáng)，能夠?qū)D像細(xì)節(jié)效果更好地提升，有利于讓人們對(duì)圖像進(jìn)一步地處理使用.

低照度圖像增強(qiáng)[1]方法主要分為傳統(tǒng)算法和深度學(xué)習(xí)方法兩類.傳統(tǒng)方法中，通過利用紅外圖像和可見光圖像的融合[2]也能捕捉圖像的細(xì)節(jié)，但是紅外圖像僅僅能夠捕捉熱源信息，不能對(duì)細(xì)節(jié)進(jìn)行更好的描述.另外，基于暗通道先驗(yàn)的算法[3]能夠很好地對(duì)圖像進(jìn)行去模糊和重構(gòu)，在細(xì)節(jié)方面保持較好，由于其先驗(yàn)理論是假設(shè)暗通道的灰度值趨向于零，而一般圖像的天空區(qū)域的暗通道往往不為零，所以增強(qiáng)的圖片容易產(chǎn)生光圈效應(yīng).Retinex 理論[4]20 世紀(jì)60 年代由Edwin.H.Land 提出，基于該理論的方法一直以來在圖像增強(qiáng)方面有著顯著的效果.通過Retinex 理論也衍生出了多種不同的傳統(tǒng)模型方法，其中主要是基于路徑的Retinex 算法.基于迭代的McCann Retinex 算法[5]和McCann99 Retinex 算法[6]分別采用螺旋式路徑和圖像金字塔的方式處理像素，利用多次迭代緩解了原始Retinex算法在光照估計(jì)上的不足，但是由于該類方法依舊是根據(jù)像素點(diǎn)對(duì)光照映射進(jìn)行估計(jì)，從而容易導(dǎo)致圖像結(jié)構(gòu)模糊.在此基礎(chǔ)上，發(fā)展出了單尺度[7]、多尺度[8]的Retinex 算法，以及帶有色彩恢復(fù)的多尺度Retinex 方法，均在低照度圖像增強(qiáng)方面有著良好的效果.2011 年提出的Dong 算法[9]算法將圖像反轉(zhuǎn)后，利用去霧的方式進(jìn)行增強(qiáng)，取得了一定的效果，但是圖像邊緣痕跡突出，使物體和背景有所分割.2013 年提出一種NPE 算法[10]，同樣利用Retinex 理論，得到了不錯(cuò)的效果，但是圖像的顏色深度較差，增強(qiáng)圖像的色彩不夠豐富.2017 年提出了BIMEF 算法[11]和LIME 算法[12]，BIMEF 算法設(shè)計(jì)了一個(gè)多曝光圖像的融合框架，根據(jù)這個(gè)框架來實(shí)現(xiàn)低光照?qǐng)D像增強(qiáng)，有效緩解了過度增強(qiáng)作用，很好地恢復(fù)了增強(qiáng)圖像的對(duì)比度和亮度.LIME方法首先優(yōu)化低光照?qǐng)D像的亮通道部分，從而得到細(xì)節(jié)較好的光照映射圖，然后再將光照度進(jìn)行一系列的變換最終得到增強(qiáng)的圖像，同樣取得了不錯(cuò)的效果.但是這些基于傳統(tǒng)方式所構(gòu)建的算法模型是對(duì)圖像不同通道分別處理，容易引起色彩失真.

卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)以來，基于神經(jīng)網(wǎng)絡(luò)的低照度圖像增強(qiáng)算法極大地改善了圖像處理中的色彩失真和隨機(jī)噪聲.LLNet 方法[13]利用堆疊稀疏的深度自編碼器對(duì)圖像進(jìn)行對(duì)比度增強(qiáng)和去噪，依舊會(huì)有色彩恢復(fù)不足的情況.RetinexNet[14]是基于Retinex 理論的深度學(xué)習(xí)方法，盡管其增強(qiáng)效果進(jìn)一步提升同時(shí)一定程度上保持了色彩，但是增強(qiáng)圖像會(huì)有一定程度上的模糊.Zhang 等[15]提出一種新的深度學(xué)習(xí)算法KinD 方法，在圖像增強(qiáng)算法中有著很好的競(jìng)爭(zhēng)力，在色彩恢復(fù)亮度調(diào)整上雖也有著優(yōu)秀的效果，不過仍然存在圖像銳化過度和局部細(xì)節(jié)不清晰的問題.

針對(duì)以上問題，本文通過引進(jìn)深度殘差網(wǎng)絡(luò)，彌補(bǔ)已有方法的特征提取不足的缺點(diǎn).在分解網(wǎng)絡(luò)中，使用改進(jìn)的U-net 網(wǎng)絡(luò)來提取圖像的反射分量;在重建網(wǎng)絡(luò)中，利用深度殘差網(wǎng)絡(luò)對(duì)得到的光照分量和反射分量進(jìn)行重建；最終再次結(jié)合對(duì)光照分量的增強(qiáng)，得到增強(qiáng)圖像.從而構(gòu)建出一套有效的低照度圖像增強(qiáng)模型，一定程度上減少了細(xì)節(jié)的丟失，增強(qiáng)了對(duì)比度，并且保留了色彩.

1 相關(guān)理論

1.1 Retinex 理論Retinex 理論認(rèn)為物體多樣的色彩決定于物體自身的反射屬性，我們通?？吹降木吧怯捎诟鱾€(gè)物體本身反射不同，從而顯得多彩繽紛，其色彩和光照強(qiáng)度無(wú)關(guān).對(duì)于物體本身的反射屬性來說是固有屬性，無(wú)論是低照度圖像還是正常亮度圖像，同一物體的反射分量應(yīng)當(dāng)是相同的.所以，基于Retinex 理論的圖像增強(qiáng)首要任務(wù)就是更好地提取物體的反射分量和光照分量.Retinex理論的數(shù)學(xué)模型為

其中，R(x,y)表示圖像的反射分量，L(x,y)是人眼看到的圖像，I(x,y)是光照分量，其理論圖如圖1所 示.

圖1 Retinex 理論Fig.1 Retinex theory

1.2 SSR 和MSR 算法由Retinex 理論發(fā)展出來的單尺度Retinex 算法SSR（Single Scale Retinex）[7]理論是通過高斯模糊器聯(lián)合對(duì)圖像做卷積運(yùn)算求出光照分量，以此分解圖像.數(shù)學(xué)模型如下：

其中，σ 是算法中的尺度，稱為高斯環(huán)繞尺度也就是高斯模糊器函數(shù)的標(biāo)準(zhǔn)差，χ2是圖像中位置的二次型表示，即

多尺度Retinex 算法MSR（Multi-Scale Retinex）[8]主要就是三尺度算法，即選擇大、中和小3 種尺度，對(duì)色彩保持效果較好.一般情況下，小尺度能夠更好地提取到圖像的邊緣信息，中尺度處理能夠使一定程度上的色彩信息得以保留，大尺度處理可以更好地平衡圖像的色彩，在使用過程中可以人為地調(diào)整尺度的權(quán)重，方便得到不同場(chǎng)景下想要的結(jié)果.其數(shù)學(xué)模型為

式中，N表示算法的尺度，αk表示在多尺度算法中每個(gè)尺度占有的權(quán)重，i表示圖像的第i個(gè)通道.為了更好地保留MSR 算法的優(yōu)點(diǎn)，尺度數(shù)量一般取3，即在大、中和小尺度上的作用均能有效結(jié)合.其中，權(quán)重 αk應(yīng)滿足

1.3 U-net 型網(wǎng)絡(luò)U-net 網(wǎng)絡(luò)[16]能夠有效地提取圖像的特征信息，最大的特點(diǎn)就是其U 型結(jié)構(gòu)和跳躍連接.這種特殊的結(jié)構(gòu)能更好地提取圖像中的高級(jí)和低級(jí)的語(yǔ)義信息，在圖像分割、特征提取領(lǐng)域有著出色的能力.網(wǎng)絡(luò)中的卷積層和池化層后使用非線性激活函數(shù)，一般是Relu 函數(shù).

由于光照分量包含著圖像的低頻特征，本文使用包含3 層跳躍連接的U-net 網(wǎng)絡(luò)，相較于KinD網(wǎng)絡(luò)適當(dāng)增加了特征提取深度，使得到的光照分量在保留圖像細(xì)節(jié)的同時(shí)盡可能地平滑均勻.具體對(duì)比如圖2 所示，從圖中可以看出，本文所改進(jìn)方法提取光照分量保留了較少的高頻信息，特征提取的更充分.

圖2 圖像反射分量和光照分量對(duì)比Fig.2 Comparison of the reflection map and illumination map

1.4 殘差網(wǎng)絡(luò)隨著模型中卷積層的層數(shù)加深，過擬合和梯度消失的問題越來越突出，雖然訓(xùn)練中可以擴(kuò)展數(shù)據(jù)集或者添加正則化來緩解上述問題，但是實(shí)際上隨著深度的增加，模型的效果反而越來越差，淺層網(wǎng)絡(luò)甚至強(qiáng)于深層神經(jīng)網(wǎng)絡(luò)，即出現(xiàn)了“模型退化”現(xiàn)象.由一系列的殘差塊所構(gòu)成的殘差網(wǎng)絡(luò)（ResNet[17]）能夠很好地解決以上問題，殘差網(wǎng)絡(luò)已經(jīng)發(fā)展成了一種最為重要的特征提取方法.殘差塊的數(shù)學(xué)模型如下：

式中，xl和xl+1分別為殘差塊的輸入和輸出特征圖的映射，F(xiàn)(xl,Wl) 表示殘差部分的運(yùn)算過程，f(?)表示激活函數(shù).一般情況下，殘差塊由若干少數(shù)的卷積操作組成，每次卷積帶有非線性激活函數(shù).

圖3 表示殘差塊的結(jié)構(gòu)模型，其中特征映射xl輸入到殘差塊中，經(jīng)過殘差塊的卷積操作和激活操作，與輸入映射xl進(jìn)行單位加操作，得到殘差塊的輸出.一般每個(gè)殘差塊有兩到三層卷積，這樣可以保留上下文的特征信息，有效地緩解過擬合和模型退 化的問題.

圖3 殘差塊模型結(jié)構(gòu)Fig.3 The model structure of the Res-block

2 本文算法

本文基于Retinex 理論，利用改進(jìn)的U-net 網(wǎng)絡(luò)以及殘差網(wǎng)絡(luò)構(gòu)建分解、重建網(wǎng)絡(luò)模塊.分解模塊利用正常亮度圖像和低照度圖像的反射分量相一致的先驗(yàn)理論.將正常光照?qǐng)D像的反射映射圖作為重構(gòu)圖像的對(duì)照?qǐng)D，將正常圖像的亮度映射作為低照度圖像亮度信息增強(qiáng)的對(duì)照.

2.1 模型結(jié)構(gòu)本文網(wǎng)絡(luò)結(jié)構(gòu)主要由分解和重構(gòu)兩部分構(gòu)成.分解網(wǎng)絡(luò)采用包含跳躍連接的端到端神經(jīng)網(wǎng)絡(luò)，重構(gòu)網(wǎng)絡(luò)利用多層殘差塊進(jìn)行重建圖像.具體步驟如下：

步驟1將成對(duì)的低光照、正常亮度圖像送入改進(jìn)的分解模型中，分別得到兩組反射圖和光照?qǐng)DRl、Il、Rh和Ih.

步驟2利用分解模型中光照?qǐng)D生成網(wǎng)絡(luò)進(jìn)一步對(duì)光照?qǐng)D進(jìn)行訓(xùn)練，得到含亮度信息的Il′.

步驟3將未增強(qiáng)的亮度映射Il和反射映射Rl送入設(shè)計(jì)的殘差網(wǎng)絡(luò)中，得到復(fù)原的圖像G_sample′.

步驟4將增強(qiáng)的亮度圖像按照一定的權(quán)重融合復(fù)原圖像，以便進(jìn)一步提高亮度信息，最終得到圖像G_sample，G_sample 即是最終增強(qiáng)后的結(jié)果.

如圖4 所示，分解網(wǎng)絡(luò)首先輸入暗光或者正常光照?qǐng)D像，經(jīng)過一系列的卷積和池化，卷積操作增加圖像的維度，可以更有效地提取圖像信息.池化操作減小圖像每一維度的尺寸，達(dá)到提取特征的目的，最終圖像每一維度的大小降低至原圖像的1/8，圖像深度最高增加到128 深度層數(shù).分解模型后半部分是上采樣和復(fù)制鏈接部分，一共有3 次上采樣過程和3 次復(fù)制鏈接過程.每次上采樣都會(huì)擴(kuò)大圖像每一維的尺寸大小，同時(shí)將特征圖的維度深度減半，上采樣之后會(huì)將分解模型前半段中的特征映射復(fù)制過來，形成新的特征圖，然后再進(jìn)行卷積操作，從而減小維度，最后得到圖像維度為3 的反射分量.圖像的光照分量結(jié)構(gòu)簡(jiǎn)單，光照分量維度只有一層，本文中僅將原圖像進(jìn)行3 次卷積來特征提取，在第2 次卷積操作時(shí)，將上一步提取反射分量的過程中同維度的反射映射圖復(fù)制鏈接到光照特征圖中，以便使光照分量能夠在一定程度上表達(dá)圖像的細(xì)節(jié)信息.最后，反射映射和光照映射均需通過sigmoid 非線性激活函數(shù)進(jìn)行激活，最終得到分解之后的光照分量和反射分量映射圖.

圖4 提出的網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.4 Network structure of the proposed model

重建網(wǎng)絡(luò)是將低照度圖像分解后的光照分量和反射分量送入重建模型中，區(qū)別于傳統(tǒng)的圖像融合方法例如多聚焦圖像融合算法[18]等，本文首先將圖像合并在一起，然后進(jìn)行3 次卷積運(yùn)算.第一次步長(zhǎng)為1，不改變圖像尺寸，后兩次步長(zhǎng)為2，即將每一維度的尺寸大小減半.隨后通過一系列的殘差塊，利用上采樣恢復(fù)圖像的尺寸以及維度.由于低光照?qǐng)D像的光照分量亮度較低，需要對(duì)光照分量進(jìn)行增強(qiáng)以達(dá)到更好的視覺效果，然后將增強(qiáng)后的光照分量和重構(gòu)的圖像進(jìn)行合并，最終得到增強(qiáng)后的高亮度圖像.

2.2 損失函數(shù)對(duì)于物體本身來說，其反射部分是固有屬性，無(wú)論是低照度圖像還是正常亮度圖像，同一物體的反射分量應(yīng)當(dāng)是相同的.分解模塊的損失函數(shù)我們采用已有的損失函數(shù)模型，主要由兩部分組成.第一部分中，分解模型得到的反射圖和光照?qǐng)D組合起來，然后同未分解圖像計(jì)算L1損失，同時(shí)將低照度的反射圖和正常光照的反射圖進(jìn)行計(jì)算L1損失，即

式中，下標(biāo)x和y分別表示按照?qǐng)D像的水平和垂直方向，μ和τ分別為水平和垂直方向梯度損失的系數(shù)，I表示圖像的光照分量，L表示標(biāo)簽圖像，? 表示的梯度算子，包含二維圖像的兩個(gè)維度方向.通過對(duì)梯度信息的優(yōu)化，極大地保留分解圖的邊緣信息和平滑一致性.

重建網(wǎng)絡(luò)的損失函數(shù)也包含兩部分，由于生成的是增強(qiáng)圖像，需要保持與對(duì)應(yīng)的低照度圖像的一致性，依舊使用梯度損失.由于生成重建圖是三通道RGB 圖像，因此需要先將其轉(zhuǎn)化為灰度圖像.數(shù)學(xué)模型如下：

式中，上標(biāo)表示對(duì)灰度圖像的x和y方向上所求的梯度.第二部分使用L2損失以及優(yōu)化結(jié)構(gòu)性損失ssim，以便于使生成圖像更接近原始圖，數(shù)學(xué)模型如下：

式中，Lr表示重構(gòu)模型生成增強(qiáng)后的圖像，k表示圖像通道，對(duì)于生成圖像和反射圖像取值為3，ssim是 利用結(jié)構(gòu)相似性算法構(gòu)造的損失函數(shù).

3 實(shí)驗(yàn)及結(jié)果分析

3.1 訓(xùn)練數(shù)據(jù)集本文使用的訓(xùn)練數(shù)據(jù)集為采用Retinex-Net[15]方法構(gòu)建的LOL-dataset，該數(shù)據(jù)集包含485 對(duì)低光照/正常光照訓(xùn)練圖像和5 幅低照度測(cè)試圖像.測(cè)試數(shù)據(jù)集選用Brighting Train 和LOL-dataset，其中Brighting Train 包含1 000 對(duì)低光照和正常光照?qǐng)D像，LOL-dataset 中包含15 幅低照 度測(cè)試圖片.

3.2 訓(xùn)練及結(jié)果分析實(shí)驗(yàn)在Intel i7 9700kF 3.6 GHz，32GB RAM，Nvidia 2080Ti GPU 平 臺(tái)，tensorflow1.15 框架上完成.權(quán)重參數(shù)設(shè)置為：α=1，β=1，γ=0.01，μ=τ=0.15，重建網(wǎng)絡(luò)殘差塊為n=6，分解網(wǎng)絡(luò)訓(xùn)練次數(shù)為1 000 次，重建網(wǎng)絡(luò)訓(xùn)練次數(shù)為2 000 次.本文方法與經(jīng)典的算法和現(xiàn)階段主流的算法均做了比較，對(duì)比算法有MSRCR[19]、LIME[12]、BIMEF[11]、NPE[10]、MF[20]、Dong[9]以及深度學(xué)習(xí)算法Retinex-Net[14]、KinD-Retinex[15]，對(duì)比結(jié)果如圖5 所示.

圖5 不同方法在 Brighting Train 上實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of different methods on Brighting Train

圖5 中，MSRCR 提升了一定的亮度，但是造成了一定程度的色彩缺失，邊緣信息也有所丟失.Dong、RetinexNet 邊緣過于突出，圖像細(xì)節(jié)的輪廓線明顯被加粗，物體與背景信息分割嚴(yán)重.LIME方法一定程度上緩解了Dong 的邊緣突出問題，但曝光度有所加重，導(dǎo)致天空背景區(qū)域過亮，并且色彩保持不夠充分，色彩深度也有所減弱.KinD、NPE 以及BIMEF 與本文效果相似，都有著比較出色的結(jié)果，很好地實(shí)現(xiàn)了圖像增強(qiáng).但是BIMEF和NPE 在色彩深度上有所欠缺，某些區(qū)域例如天空背景上的對(duì)比度較低.

由于本文使用的是深度學(xué)習(xí)框架，對(duì)比算法中深度學(xué)習(xí)算法KinD 的結(jié)果與本文較為相似.相較于KinD，本文的細(xì)節(jié)描述如圖6 所示.擴(kuò)大的“雕像”圖像上部的小鳥，羽毛的顏色深度和色彩比較，本文算法效果更好，且本文算法在背景天空中的烏云顏色和云縫的對(duì)比度較高，烏云細(xì)節(jié)輪廓也更為清晰.右側(cè)建筑圖中，本文算法門洞處明顯消除了模糊，相比于KinD 本文方法的細(xì)節(jié)更為清晰，輪廓邊緣可分辨度更高.

圖6 本文方法和KinD 的結(jié)果細(xì)節(jié)對(duì)比Fig.6 The detailed comparison between our method and KinD

除了主觀視覺上的效果，測(cè)試結(jié)果還采用了均方誤差（MSE）、峰值信噪比（PSNR[21]）、結(jié)構(gòu)性檢驗(yàn)標(biāo)準(zhǔn)（SSIM[22]）等指標(biāo)客觀評(píng)價(jià)結(jié)果.SSIM 表示了一種全參考的圖像評(píng)價(jià)質(zhì)量指標(biāo)，代表是的結(jié)構(gòu)相似性指標(biāo)，包括亮度對(duì)比度以及圖像具體的結(jié)構(gòu)3 個(gè)部分.PSNR 是峰值信噪比指標(biāo).MSE 表示圖像的均方誤差.

如表1 所示，本文方法在3 組增強(qiáng)圖片的客觀指標(biāo)對(duì)比中均處于優(yōu)勢(shì).對(duì)于“雕像”圖像，傳統(tǒng)的BIMEF 算法同樣有著明顯的效果，其SSIM 與本文方法較為接近，但也略低于本文方法.對(duì)于“建筑1”和“建筑2”，本文方法相較于對(duì)比算法均有著良好的優(yōu)勢(shì).

表1 Brighting Train 實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation index of experimental results on Brighting Train

此外，本文還使用LOL-dataset 來測(cè)試模型，在數(shù)據(jù)集中任意選取3 幅低照度圖像進(jìn)行實(shí)驗(yàn)對(duì)比.如圖7 所示，MSRCR 和LIME 依舊是最亮的，但是圖像變得很模糊，細(xì)節(jié)顏色突變明顯，雖然能夠看到圖像中物體的具體輪廓，但是很大程度上缺失了平滑度，導(dǎo)致了圖像的失真.RetinexNet、Dong 以及NPE 具有同樣的問題，并且細(xì)節(jié)表現(xiàn)上受噪聲干擾明顯，不能自然地顯示物體的平滑輪廓.BIMEF和KinD 與本文相近，并且取得了比較好的結(jié)果.但本文算法在色彩還原度上更勝一籌，在細(xì)節(jié)輪廓清晰度和色彩上有一定的優(yōu)勢(shì).

圖7 本文算法和其他算法在LOL-dataset 上的實(shí)驗(yàn)結(jié)果對(duì)比Fig.7 The experimental results of our algorithm and other algorithms on LOL-dataset

在LOL-dataset 上的客觀指標(biāo)如表2～4 所示，選用PSNR、SSIM 和MSE 客觀指標(biāo)，其中最優(yōu)的方法用粗體標(biāo)出，次優(yōu)的方法用下劃線標(biāo)出.表中，“衣柜”圖像效果的結(jié)構(gòu)性指標(biāo)SSIM 排名第二，PSNR 和MSE 指標(biāo)與KinD 算法相當(dāng)，略低于BIMEF算法.“游泳池”和“體育館”客觀指標(biāo)效果顯著，除了“體育館”的SSIM 指標(biāo)為0.242 1 略低于KinD方法的0.244 6 外，其余指標(biāo)均優(yōu)于其他對(duì)比方法.

從表2 可以看出本文方法在客觀指標(biāo)上略低于BIMEF 算法，對(duì)于這種情況本文測(cè)試了LOLdataset 中所給出的所有標(biāo)準(zhǔn)測(cè)試圖像的客觀結(jié)果，其中LOL-dataset 中測(cè)試圖像12 組，所得到的詳細(xì)結(jié)果如表3 所示.文中用黑體字標(biāo)出指標(biāo)低于BIMEF 的結(jié)果，可以看出，PSNR 指標(biāo)中有4 組數(shù)據(jù)略低于BIMEF 方法，而SSIM 指標(biāo)中僅有一組數(shù)據(jù)低于該結(jié)果.本文方法平均指標(biāo)高于BIMEF算法.

表2 LOL-dataset 增強(qiáng)結(jié)果圖像評(píng)價(jià)指標(biāo)Tab.2 Image evaluation index of enhancement results on LOL-dataset

表3 LOL-dataset 測(cè)試圖像客觀指標(biāo)Tab.3 Objective index of test image on LOL-dataset

在深度學(xué)習(xí)算法中，本文選取Retinex 還有較為優(yōu)秀的KinD 進(jìn)行比較.此外，使用LOE 指標(biāo)進(jìn)行客觀分析，盡管在LIME13 中已經(jīng)證明將低光照?qǐng)D片作為對(duì)比輸入是不合適的，并且深度學(xué)習(xí)算法KinD 在LOE 指標(biāo)上同樣并沒有達(dá)到最優(yōu)結(jié)果，但是仍可作為一種客觀的評(píng)價(jià)方式.特別是針對(duì)現(xiàn)有的深度學(xué)習(xí)算法,本文方法的LOE指標(biāo)仍然會(huì)有一定的優(yōu)勢(shì).如表2 中所示，LOE 指標(biāo)本文方法的結(jié)果并未達(dá)到最優(yōu)，但是相對(duì)于深度學(xué)習(xí)算法KinD 和RetinexNet，展現(xiàn)出更優(yōu)的性能.此外，對(duì)于BIMEF 和Dong，基于深度學(xué)習(xí)的方法盡管LOE指標(biāo)上有所劣勢(shì)，但在具體細(xì)節(jié)表達(dá)上以及去噪方面，傳統(tǒng)算法仍展現(xiàn)出部分不足.

3.3 優(yōu)化比較本文基于深度模型框架進(jìn)行優(yōu)化，主要針對(duì)現(xiàn)階段已有的深度模型進(jìn)行優(yōu)化，因此選取KinD 方法進(jìn)行對(duì)比.并且由于殘差塊的出現(xiàn)，使得深度神經(jīng)網(wǎng)絡(luò)變得容易實(shí)現(xiàn)且應(yīng)用廣泛，殘差網(wǎng)絡(luò)在特征提取上的優(yōu)秀表現(xiàn)同時(shí)也體現(xiàn)在網(wǎng)絡(luò)層數(shù)上.于是本文跟據(jù)殘差塊數(shù)量的不同，進(jìn)行了額外的對(duì)比，分別選取殘差塊數(shù)為6、10、12 和14進(jìn)行對(duì)比實(shí)驗(yàn).此外，評(píng)價(jià)指標(biāo)額外使用圖像自然統(tǒng)計(jì)特性（NIQE[23]）指標(biāo)，NIQE 是一種無(wú)參考評(píng)價(jià)指標(biāo)，值越小越接近自然圖像，越能夠反映圖像增強(qiáng)后的真實(shí)度，選取該方法原因是比較深度學(xué)習(xí)算法對(duì)圖像的還原度.

實(shí)驗(yàn)結(jié)果中，主觀方面如圖8 所示，隨著殘差塊數(shù)量的不同，細(xì)節(jié)描繪也有所不同.隨著重建網(wǎng)絡(luò)深度的增加，在訓(xùn)練1 000 次的情況下，雕像面部的粗糙部分被明顯的加重，表現(xiàn)出一種過擬合的現(xiàn)象.在4 種模型對(duì)比中，Res-6 相較于其余方法，在色彩保持的基礎(chǔ)上得到的結(jié)果圖像更加平滑，而Res-10 已經(jīng)開始顯示出雕像面部的粗糙，隨著殘差塊數(shù)增加，主觀感受上顯得比較模糊，圖像的平滑一致性有所下降.

圖8 不同殘差網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果細(xì)節(jié)比較Fig.8 Comparison of experimental details of different residual networks

客觀指標(biāo)方面，選取圖片“雕像”、“建筑1”和“建筑2”進(jìn)行實(shí)驗(yàn)對(duì)比，具體指標(biāo)如表2 所示.其中PSNR、SSIM 和MSE 指標(biāo)本文方法較為優(yōu)秀，因此表中殘差塊為6 層整體效果最好，但是NIQE指標(biāo)未能達(dá)到最優(yōu).隨著網(wǎng)絡(luò)深度增加，NIQE 指標(biāo)逐漸變好的同時(shí)，PSNR、SSIM 和MSE 指標(biāo)并未明顯劣于KinD 算法，所以一定程度的增加重建模型深度可以提高NIQE 指標(biāo)效果.隨著深度的增加，盡管殘差網(wǎng)絡(luò)的特征提取能力有所上升，但也會(huì)使訓(xùn)練更為復(fù)雜，鑒于設(shè)備計(jì)算能力的限制和時(shí)間消耗，選取殘差塊為6 層的殘差網(wǎng)絡(luò)作為重建模型是最好的選擇，而此時(shí)重建網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)層數(shù)是24 層.表4 列出了消融實(shí)驗(yàn)的結(jié)果和KinD 算法的比較，在表中當(dāng)殘差塊數(shù)量為6 時(shí)效果明顯較優(yōu)，NIQE 指標(biāo)是隨著網(wǎng)絡(luò)的加深稍有著很小的領(lǐng)先.因此我們選取殘差塊數(shù)量為6 作為我們最終的模型 參數(shù).

表4 不同殘差層實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)Tab.4 Evaluation index of experimental results in different residual layers

4 結(jié)束語(yǔ)

本文利用深度學(xué)習(xí)的方法，對(duì)低光照的圖片進(jìn)行增強(qiáng)，達(dá)到比較理想的效果.采用Retinex 理論，使用包含卷積和上采樣的多層U-net 網(wǎng)絡(luò)對(duì)圖像進(jìn)行分解，得到光照映射圖和反射映射圖，結(jié)合多層殘差網(wǎng)絡(luò)對(duì)分解后的圖像進(jìn)行重建，達(dá)到增強(qiáng)的目的，同時(shí)在多個(gè)數(shù)據(jù)集上進(jìn)行了檢驗(yàn).實(shí)驗(yàn)結(jié)果表明，相較于傳統(tǒng)的圖像增強(qiáng)算法，由殘差塊所組成的殘差網(wǎng)絡(luò)實(shí)現(xiàn)較少的實(shí)驗(yàn)操作難度，得到的結(jié)果細(xì)節(jié)描述更準(zhǔn)確，色彩深度更豐富，局部對(duì)比度更強(qiáng)，主觀視覺上效果較好，在主觀上和客觀評(píng)價(jià)指標(biāo)中都優(yōu)于對(duì)比算法.