改進(jìn)零參考深度曲線低照度圖像增強(qiáng)算法

陳從平,張 力,江高勇,凌 陽,戴國(guó)洪

(1.常州大學(xué) 機(jī)械與軌道交通學(xué)院,江蘇 常州 213164;2.常州大學(xué) 材料科學(xué)與工程學(xué)院,江蘇 常州 213164)

0 引言

低照度環(huán)境下獲得的圖像會(huì)包含較高的噪聲，且圖像存在對(duì)比度低，色彩還原不正確，細(xì)節(jié)丟失等問題，不僅會(huì)影響視覺觀感，也給后續(xù)圖像處理帶來困難，尤其在機(jī)器視覺在線識(shí)別、檢測(cè)、測(cè)量等應(yīng)用場(chǎng)合，所獲取的低照度圖像因其質(zhì)量退化會(huì)嚴(yán)重影響應(yīng)用精度，因而需要對(duì)低照度圖像增強(qiáng)。

目前圖像增強(qiáng)方法主要有直方圖均衡化及其改進(jìn)算法、Retinex及其改進(jìn)算法，基于深度學(xué)習(xí)的圖像增強(qiáng)方法等。其中，王智奇等人[1]提出的基于同態(tài)濾波和直方圖均衡化的圖像增強(qiáng)算法，在頻域通過一種單參數(shù)的濾波算法，校正了光照，之后通過自適應(yīng)直方圖均衡化算法對(duì)HSV色彩空間的調(diào)整，提高圖像對(duì)比度，該方法雖抑制了圖像的噪聲，提高了亮度，但圖像暗部像素信息丟失嚴(yán)重，導(dǎo)致圖像信息熵下降；為此，王利娟等人[2]提出了一種基于加權(quán)直方圖均衡化彩色圖像增強(qiáng)算法，通過增加權(quán)重參數(shù)實(shí)現(xiàn)自適應(yīng)調(diào)節(jié)圖像像素信息，該方法較好的保留了圖像的像素信息，但亮度信息恢復(fù)不足。趙征鵬等人[3]提出的改進(jìn)的Retinex低照度圖像清晰化算法，將低照度圖像從RGB 通道轉(zhuǎn)換到HSV通道，對(duì)飽和度分量進(jìn)行拉伸，對(duì)亮度分量進(jìn)行基于BLPF的改進(jìn)Retinex增強(qiáng)，該方法注重提高圖像的對(duì)比度和亮度，而忽略了噪聲對(duì)于圖像細(xì)節(jié)的影響，甚至放大了噪聲。翟海祥等人[4-6]提出的改進(jìn)Retinex算法雖然在一定程度上降低了圖像增強(qiáng)后噪聲的影響，但在亮度和色彩信息恢復(fù)方面仍存在問題。Ignatov等人[7]提出了一種基于GAN的圖像增強(qiáng)方法，通過學(xué)習(xí)一對(duì)內(nèi)容相同而照度不同圖像之間的映射關(guān)系來得到增強(qiáng)圖像，取得了較好的效果，但成對(duì)的圖像較少，圖像數(shù)據(jù)集獲取困難。因此，Kobyshev等人[8]在前者基礎(chǔ)上改進(jìn)，提出了一種基于GAN的網(wǎng)絡(luò)模型WESPE，該模型不需要輸入圖像內(nèi)容上的對(duì)應(yīng)，而是通過學(xué)習(xí)低照度與正常圖像之間的照度映射關(guān)系來增強(qiáng)圖像，該方法雖然降低了數(shù)據(jù)集的獲取難度，但其對(duì)圖像增強(qiáng)的效果比Ignatov等人的方法差。

近年來，弱監(jiān)督學(xué)習(xí)被廣泛應(yīng)用在圖像增強(qiáng)領(lǐng)域，它不需要輸入圖像內(nèi)容上的一致，只需圖像數(shù)據(jù)集中包含不同照度的圖像，降低了數(shù)據(jù)集的獲取難度。CHUN LeGuo等人[9]提出了基于零參考深度曲線的弱監(jiān)督圖像增強(qiáng)方法Zero-Reference Deep Curve Estimation(Zero-DCE)。它利用卷積網(wǎng)絡(luò)構(gòu)建一個(gè)輕量級(jí)的深度曲線網(wǎng)絡(luò)Deep Curve Estimation Network(DCE-Net)來訓(xùn)練像素級(jí)的高階光增強(qiáng)曲線Light-Enhancement Curve-s(LE-curves)，通過LE-curves對(duì)低照度圖像像素的動(dòng)態(tài)范圍調(diào)整來增強(qiáng)圖像，增強(qiáng)效果優(yōu)于Kobyshev和Ignatov等人的方法。但由于它是逐像素對(duì)低照度圖像調(diào)整的，因此計(jì)算量較大，又因其網(wǎng)絡(luò)的損失函數(shù)固定且網(wǎng)絡(luò)較淺，在非均勻、低照度情況下對(duì)圖像增強(qiáng)效果較差。

本文旨在改進(jìn)Zero-DCE，通過使用輕量化網(wǎng)絡(luò)MobileNetV2[10]改進(jìn)其網(wǎng)絡(luò)結(jié)構(gòu)，在增加網(wǎng)絡(luò)深度，增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力的同時(shí)降低了計(jì)算復(fù)雜度；通過將空間一致性損失值與輸入圖像的尺寸相關(guān)聯(lián)，統(tǒng)一了不同尺寸圖像的增強(qiáng)效果，將顏色一致?lián)p失，照明平滑損失值與輸入圖像的類型相關(guān)聯(lián)，使其在非均勻、低照度情況下達(dá)到更好的增強(qiáng)效果；通過使用對(duì)稱式的卷積結(jié)構(gòu)，對(duì)LE-curves訓(xùn)練前后的圖像進(jìn)行處理，解決了圖像增強(qiáng)計(jì)算量過大的問題。

1 Zero-DCE

1.1 DCE-Net與LE-curves

DCE-Net網(wǎng)絡(luò)如圖1所示，其由7個(gè)卷積層通過對(duì)稱連接組成簡(jiǎn)單的卷積網(wǎng)絡(luò)，每層由32個(gè)大小為的卷積核組成。通過輸入低照度圖像，經(jīng)過DCE-Net網(wǎng)絡(luò)訓(xùn)練，后經(jīng)迭代獲得一組高階的最佳擬合LE-curves，用于調(diào)整圖像每一像素的動(dòng)態(tài)范圍，從而將低照度圖像增強(qiáng)到其正常光照的水平。

圖1 深度曲線估計(jì)網(wǎng)絡(luò)

Zero-DCE提出了一種能夠自動(dòng)將低照度圖像映射到其正常光照的LE-curves，并滿足以下條件：1)增強(qiáng)圖像的每個(gè)像素值歸一化后在的數(shù)值范圍內(nèi)；2)曲線是單調(diào)的；3)形式簡(jiǎn)單，并在梯度反向傳播過程中可微分，即：

LE(I(x);α)=I(x)+αI(x)(1-I(x))

(1)

其中:x為像素坐標(biāo)，LE(I(x);α)為輸入I(x)增強(qiáng)后的值，α∈[-1,1]為可訓(xùn)練的曲線參數(shù)，用于調(diào)整LE-curves的幅度，并控制曝光。LE-curves分別作用于RGB三通道，更好的保留圖像原有的色彩，并降低飽和度過高的風(fēng)險(xiǎn)。式(1)可按式(2)進(jìn)行迭代以提高增強(qiáng)效果：

LEn(x)=LEn-1(x)+An(x)LEn-1(x)(1-LEn-1(x))

(2)

其中:n為迭代次數(shù)，An是與輸入圖像尺寸相同的參數(shù)圖。設(shè)局部區(qū)域中的像素具有相同的強(qiáng)度和相同的調(diào)整曲線。

1.2 零參考損失函數(shù)

零參考深度曲線低照度圖像增強(qiáng)算法通過提出可微分的零參考損失函數(shù)用來評(píng)估增強(qiáng)圖像的質(zhì)量，實(shí)現(xiàn)了在DCE-Net中零參考學(xué)習(xí)。零參考損失函數(shù)包含空間一致性損失函數(shù)、曝光控制損失函數(shù)、顏色恒定性損失函數(shù)和照明平滑度損失函數(shù)。其中， 通過空間一致性損失函數(shù)Lspa可控制增強(qiáng)后的圖像與輸入的低照度圖像在空間上保持一致性：

(3)

其中:K是局部區(qū)域的個(gè)數(shù)，Ω(i)是以區(qū)域I為中心的四鄰域，Y為增強(qiáng)后圖像局部區(qū)域像素的平均強(qiáng)度值，I為輸入圖像中局部區(qū)域像素的平均強(qiáng)度值。

通過曝光損失函數(shù)Lexp來控制圖像中曝光不足的部分：

(4)

其中:M為不重疊部分區(qū)域的個(gè)數(shù),Y是增強(qiáng)圖像中部分區(qū)域的像素平均強(qiáng)度值，E為正常曝光水平像素的強(qiáng)度值[11-12]。

每個(gè)傳感器通道中的顏色在整個(gè)圖像上平均值為灰色[13]。通過制定顏色恒定性損失函數(shù)Lcol來校正增強(qiáng)后的圖像中可能存在的顏色偏差，此損失分別作用于彩色圖像的3個(gè)通道：

Lcol=Σ?(p,q)∈ε(Jp-Jq)2,ε={(R,G),(R,B),(G,B)}

(5)

其中:Jp表示增強(qiáng)圖像中p通道像素值的平均強(qiáng)度值，(p,q)為一對(duì)通道。

通過照明平滑度損失函數(shù)LtvA以保持相鄰像素之間的單調(diào)性關(guān)系，使圖像亮度平滑：

(6)

其中:N為迭代次數(shù)，▽x和▽y分別表示水平和垂直梯度運(yùn)算。

2 改進(jìn)算法

原DCE-Net由七個(gè)卷積層組成簡(jiǎn)單的CNN,網(wǎng)絡(luò)層數(shù)較淺，雖然在一定程度上降低了網(wǎng)絡(luò)訓(xùn)練的成本，但較淺的網(wǎng)絡(luò)學(xué)習(xí)能力有限，導(dǎo)致對(duì)光線復(fù)雜的圖像增強(qiáng)效果差。而若過度地增加網(wǎng)絡(luò)深度，易使網(wǎng)絡(luò)過擬合且浪費(fèi)大量的計(jì)算資源。MobileNetV2 輕量化網(wǎng)絡(luò)的優(yōu)勢(shì)在于將普通卷積替換為深度可分離卷積，同時(shí)加入了線性瓶頸和倒殘差結(jié)構(gòu)來避免信息損失。極大降低模型參數(shù)量和計(jì)算量，提高了模型精度，增強(qiáng)了網(wǎng)絡(luò)的泛化能力。本文將輕量化網(wǎng)絡(luò)MobileNetV2與DCE-Net融合并優(yōu)化參數(shù)：將深度可分離卷積和點(diǎn)卷積替換掉傳統(tǒng)卷積，使得減少網(wǎng)絡(luò)模型計(jì)算復(fù)雜度的同時(shí)保證模型精確性。

2.1 MobileNetV2-DCE

與傳統(tǒng)卷積方式不同，深度可分離卷積是一種可分解的卷積操作，其可以分解為深度卷積和點(diǎn)卷積兩種更小的卷積，其中，深度卷積通過在各個(gè)輸入通道使用不同類型的卷積核，相比標(biāo)準(zhǔn)卷積將卷積核作用在全部的輸入通道的方式，其卷積效率明顯提升；逐點(diǎn)卷積與普通卷積相同，但其卷積核大小始終為1×1。融合深度可分離卷積后的輕量化深度曲線估計(jì)網(wǎng)絡(luò)(MobileNetV2-DCE)結(jié)構(gòu)，它包含11個(gè)卷積層，具有對(duì)稱跳躍式連接，每層均使用大小為3×3的卷積核。

本文通過將MobileNetV2[15]的瓶頸層擴(kuò)張系數(shù)t的圍限制在1～6，而不是原本的固定值6，實(shí)現(xiàn)了較好的控制網(wǎng)絡(luò)規(guī)模，使得網(wǎng)絡(luò)結(jié)構(gòu)更加靈活，避免了因?yàn)楣潭ǖ臄U(kuò)張系數(shù)導(dǎo)致瓶頸層輸出通道可能過多，使得網(wǎng)絡(luò)計(jì)算量過大和參數(shù)增加過快的情況出現(xiàn)。圖2為本文的MobileNetV2的瓶頸結(jié)構(gòu)。

圖3 改進(jìn)網(wǎng)絡(luò)參數(shù)圖

圖2 改進(jìn)的MobileNetV2的瓶頸結(jié)構(gòu)

圖3展示了MobileNetV2-DCE的詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置。它包含11個(gè)卷積層，具有對(duì)稱跳躍式連接，每層均使用大小為 的卷積核。其中Conv_1，Conv_10由64個(gè)卷積核構(gòu)成，Conv_2，Conv_9由128個(gè)卷積核構(gòu)成，Conv_3，Conv_7，Conv_4，Conv_8由256個(gè)卷積核構(gòu)成，Conv_5，Conv_6由512個(gè)的卷積核構(gòu)成，第11個(gè)卷積層由24個(gè)卷積核和Linear激活函數(shù)構(gòu)成且步長(zhǎng)為1，它為迭代生成曲線參數(shù)映射，每次迭代需要3個(gè)3通道的曲線參數(shù)映射(即RGB通道)，當(dāng)輸入為灰度圖像時(shí)將只計(jì)算一個(gè)通道的值。其中，第零層為下采樣層，不參與圖像的特征提取，僅控制輸入MobileNetV2-DCE圖像大小的一致性。生成LE-curves后，利用和第零層具有相同大小卷積核的反卷積結(jié)構(gòu)，將高階曲線特征圖映射到輸入圖像的大小，使得LE-curves可直接作用于輸入圖像。此對(duì)稱式卷積結(jié)構(gòu)避免了過度卷積使得原圖細(xì)節(jié)丟失，也解決了原算法增強(qiáng)大尺寸低照度圖像計(jì)算量過大的問題。

從Conv_1到Conv_11為MobileNetV2-DCE的11個(gè)卷積層， Conv_12卷積層用于獲取更多圖像參數(shù)特征?？紤]到深度可分離卷積DW(Depth-wise)卷積只能用于提取特征，沒有改變通道數(shù)的能力。在前一層通道數(shù)較少的情況下，DW卷積只能在有限的低維空間提取有限的圖像特征，容易過擬合，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)效果差。而點(diǎn)卷積PW(Point-wise)能夠提升通道數(shù)，使得DW卷積能夠在相對(duì)高維的空間提取特征，提高特征的提取率和效果。因此本文通過在Conv_1,Conv_3,Conv_4,Conv_6,Conv_7,Conv_9層中搭配使用DW-PW的卷積方式，改善了特征的提取效果。并且本文通過在Conv_2, Conv_5, Conv_8, Conv_9, Conv_10層用PW-DW-PW的卷積方式，在提升高低為空間特征提取的同時(shí)，避免了在PW卷積降維后使用ReLU6激活函數(shù)破壞特征。

2.2 改進(jìn)零參考損失函數(shù)

圖像經(jīng)下采樣卷積后尺寸減少，卷積后圖像的每一像素值對(duì)于原圖像像素值是在卷積核作用下加權(quán)的結(jié)果，故每一像素值所占權(quán)重減小。且不同大小的卷積核會(huì)導(dǎo)致不同的增強(qiáng)效果，因此本文將空間一致性損失函數(shù)式(3)更改如下，統(tǒng)一了不同尺寸圖像的增強(qiáng)效果。

(7)

其中:d為卷積核的大小。

通過將式(3)按式(8)修改，降低了卷積后單個(gè)像素值對(duì)空間一致性損失函數(shù)的影響。同時(shí)通過引入?yún)?shù)d，將卷積核的大小考慮進(jìn)空間一致性損失內(nèi)，避免了因?yàn)椴捎貌煌笮【矸e核而導(dǎo)致的效果差異。

卷積后的圖像，整體圖像的灰度級(jí)并未改變，因此本文保留式(4)曝光控制損失函數(shù)的定義。同時(shí)CHUN LeGuo等人[9]在實(shí)驗(yàn)中發(fā)現(xiàn)通過將E設(shè)置在[0.4，0.7]內(nèi)，無明顯性能差異，因此本文將E設(shè)置為中間值0.6。曝光控制損函數(shù)為:

(8)

為了更好的適應(yīng)復(fù)雜色彩圖像下的細(xì)節(jié)還原與不同圖像數(shù)據(jù)輸入，經(jīng)實(shí)驗(yàn)后本文將顏色不變損失調(diào)整為：

Lcol=∑?(p,q)∈ε(Jp-Jq)c，ε={(R,G),(R,B),(G,B)}

(9)

其中:C∈[0,3]為控制參數(shù)，通過控制C的大小，能夠更好的還原復(fù)雜彩色圖像的細(xì)節(jié)；而對(duì)于灰度圖像，調(diào)節(jié)C的取值，可以在圖像灰度值大小和細(xì)節(jié)還原上達(dá)到更好的平衡。p和q在灰度圖像中變成同一像素點(diǎn)。

考慮到增強(qiáng)后的圖像的應(yīng)用場(chǎng)合，如目標(biāo)檢測(cè)，圖像識(shí)別等，需要更多的細(xì)節(jié)紋理信息。因此通過將照明平滑度損失改為可調(diào)的如下，以適應(yīng)不同的任務(wù)需求。

(10)

其中:t為可調(diào)參數(shù)，經(jīng)實(shí)驗(yàn)后，本文將其限制在(1,3]。

總的損失可表示為：

Ltotal=Lspa+Lexp+WcolLcol+WtvALtvA

(11)

其中:Wcol和WtvA是損失權(quán)重參數(shù)。

在MobileNetV2-DCE網(wǎng)絡(luò)訓(xùn)練的過程中，通過網(wǎng)格搜索法來確定各損失函數(shù)中的可調(diào)參數(shù)的值，并將搜索的步長(zhǎng)設(shè)置為0.2，達(dá)到消耗計(jì)算資源與增強(qiáng)效果上的平衡。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在Inter(R)Core(TM) i9-9900k CPU @3.6 GHz，內(nèi)存為32 GB，顯卡為Nvidia RTX 2080Ti，操作系統(tǒng)為Windows10教育版(中文)的平臺(tái)上進(jìn)行。本文算法以及對(duì)比算法均采用Python編程實(shí)現(xiàn)，編程軟件PyCharm采用Community2021.2版本。實(shí)驗(yàn)所用的圖像數(shù)據(jù)集選取LOL(Low-Light Dataset)，它由500個(gè)低照度和正常光照?qǐng)D像對(duì)組成。

3.1 實(shí)驗(yàn)驗(yàn)證與分析

3.1.1 增強(qiáng)效果一致性實(shí)驗(yàn)

本文通過對(duì)比同一圖像的不同尺寸樣本在增強(qiáng)前后差異，來驗(yàn)證改進(jìn)后空間一致性函數(shù)對(duì)不同尺寸圖像增強(qiáng)效果的一致性，如圖4所示。

圖4 不同尺寸圖像的增強(qiáng)效果對(duì)比

其中，a(1)為像素的圖像，a(2)為像素的圖像，其內(nèi)容相同。b(1)和b(2)分別為a(1)和a(2)在MobileNet-DCE + 式(3)增強(qiáng)后的圖像，c(1)和c(2) 分別為a(1)和a(2)在MobileNet-DCE + 式(7)增強(qiáng)后的圖像。表1更直觀的展示了空間一致性損失函數(shù)改進(jìn)前后圖像增強(qiáng)效果的差異。

表1 改進(jìn)前后各樣本增強(qiáng)效果對(duì)比

改進(jìn)前b(1)和b(2)在信息熵、峰值信噪比(PSNR)和對(duì)比度差的絕對(duì)值分別為0.099 2，0.168 9，0.000 7，改進(jìn)后c(1)和c(2)在信息熵、PSNR和對(duì)比度差的絕對(duì)值分別為0.021,0.001 3,0.000 2。對(duì)不同尺寸增強(qiáng)效果的差異性在3個(gè)參數(shù)化評(píng)價(jià)指標(biāo)上分別降低了78.8%,99.2%,71.4%。表明了改進(jìn)后的空間一致性函數(shù)對(duì)不同尺寸圖像增強(qiáng)效果的一致性要優(yōu)于改進(jìn)前。

3.1.2 計(jì)算復(fù)雜度實(shí)驗(yàn)

本文通過使用MobileNetV2輕量化網(wǎng)絡(luò) Zero-DCE進(jìn)行優(yōu)化，將深度可分離卷積和點(diǎn)卷積替換掉傳統(tǒng)卷積，減少網(wǎng)絡(luò)模型計(jì)算復(fù)雜度，按式(12)計(jì)算深度卷積與普通卷積在計(jì)算量上的比值：

(12)

其中:DK×DK為卷積核的尺寸，M為輸入通道大小，N為輸出通道大小，DF為特征圖的高和寬。輸入特征圖尺寸為DF×DF×M，輸出特征圖尺寸為DF×DF×N，輸入與輸出特征圖尺寸一致。當(dāng)DK=3，M=512，N=512，DF=14時(shí)，表2為普通卷積與深度可分離卷積的計(jì)算量對(duì)比。深度可分離卷積相較于普通卷積每層計(jì)算加法減少約88.7%,參數(shù)量減少約88.6%。

表2 普通卷積與深度可分離卷積的計(jì)算量對(duì)比

訓(xùn)練時(shí)結(jié)合遷移學(xué)習(xí)[14]技術(shù)對(duì)MobileNetV2-DCE模型進(jìn)行訓(xùn)練，預(yù)先加載在LOL(low light dataset)數(shù)據(jù)集上訓(xùn)練好的DCE模型權(quán)重作為MobileNetV2-DCE模型前4層的初始值，模型后6層參數(shù)進(jìn)行隨機(jī)初始化。DCE模型訓(xùn)練時(shí)占用顯存為2 783 M，本文算法模型訓(xùn)練時(shí)占用顯存為367 M，顯存占用減少約88.6%。

3.2 可視化分析

從公開低照度圖像數(shù)據(jù)集LOL數(shù)據(jù)集中選取四幅低照度圖像，數(shù)據(jù)集包含500個(gè)低光和正常光圖像對(duì)組成，圖像分辨率為400×600。選用直方圖均衡化算法[16-18]，多尺度Retinex圖像增強(qiáng)算法[19-22]，零參考深度曲線低照度圖像增強(qiáng)算法(以下簡(jiǎn)稱深度曲線算法)和本文算法在圖像增強(qiáng)可視化效果上進(jìn)行對(duì)比，可視化結(jié)果如圖5所示。

圖5 各算法圖像增強(qiáng)可視化效果對(duì)比

由圖6所示，本文選取了四幅不同照度的低照度圖像，從樣本一到樣本四圖像的照度依次提升。樣本一為室內(nèi)書房圖。該圖像整體色彩單一，以黑白為主色調(diào)，場(chǎng)景最簡(jiǎn)單，主要考察各個(gè)算法對(duì)圖像整體照度的還原情況。可以明顯看出直方圖均衡化算法存色彩嚴(yán)重偏移,失真問題，而多尺度Retinex過度的增強(qiáng)了圖像對(duì)比度，使得圖像噪點(diǎn)較多，也存在較為嚴(yán)重的偏色，深度曲線算法較多尺度Retinex算法整體色彩還原準(zhǔn)確，但整體畫面亮度不足，本文算法整體明亮,墻壁、空調(diào)、書畫容易觀察到,包含的信息更多,亮度也更好。

樣本二為低照度廚房圖。該圖像整體色彩單一，場(chǎng)景簡(jiǎn)單，但廚具部分在原圖中幾乎消失不可見，和暗光環(huán)境融為一體，主要考察各個(gè)算法對(duì)圖像暗部照度的還原情況。可以明顯看出直方圖均衡化算法依然存在嚴(yán)重的偏色問題,圖像整體偏暗，灶臺(tái)細(xì)節(jié)未能還原,多尺度Retinex 算法亮度提升不錯(cuò)，但也增加了過多的噪點(diǎn)，深度曲線算法雖然改善了圖片視覺效果,整體符合人眼特性顏色還原較為準(zhǔn)確,但整體仍偏暗,細(xì)節(jié)顯示不夠清晰，本文算法顏色還原較好，圖像整體亮度適中，灶臺(tái)暗部細(xì)節(jié)得到還原。

樣本三為家具圖。該圖色彩簡(jiǎn)單，場(chǎng)景較為簡(jiǎn)單，照度相較于樣本一和樣本二有所提升，但家具上的紋理較為復(fù)雜，主要考察各個(gè)算法對(duì)圖像暗部細(xì)節(jié)與色彩的還原情況?？梢悦黠@看出直方圖均衡化算法依然偏色,噪聲很大,多尺度Retinex 算法,強(qiáng)調(diào)了局部,整體細(xì)節(jié)沒有顯示，且圖像曝光度過高，出現(xiàn)了光暈，深度曲線算法圖像色彩和細(xì)節(jié)得到還原，但亮度過低，部分暗部區(qū)域增強(qiáng)效果不明顯，細(xì)節(jié)沒有還原，本文算法整體亮度提高,色彩和細(xì)節(jié)也被體現(xiàn)出來，但在這幅圖像中存在少許偏色。

樣本四為桌面的一角。該圖色彩復(fù)雜，場(chǎng)景復(fù)雜，但照度相對(duì)較好一些，主要考察各個(gè)算法對(duì)圖像暗部細(xì)節(jié)與色彩的還原情況?？梢悦黠@看出直方圖均衡化算法處理后圖像中間亮度提高，邊緣較暗，整體亮度不足,視覺效果不佳,對(duì)于多尺度Retinex算法,玩偶和其他物品細(xì)節(jié)有所體現(xiàn),但亮度過于增強(qiáng)導(dǎo)致圖像泛白，色彩退化嚴(yán)重，深度曲線算法色彩還原較好，但亮度過暗，雖保留了玩偶色彩但部分暗部細(xì)節(jié)丟失，而本文算法在色彩和亮度上的到了折中的表現(xiàn)，即色彩還原校準(zhǔn)，亮度增強(qiáng)合適，暗部細(xì)節(jié)也得到了還原。

總之，算法一(直方圖均衡化算法)顏色信息恢復(fù)不準(zhǔn)確，其增強(qiáng)的樣本一和二顏色整體偏綠，而算法二(多尺度Retinex)過度的增強(qiáng)了圖像對(duì)比度，導(dǎo)致其增強(qiáng)的樣本二和三噪點(diǎn)較多。算法三(深度曲線算法)較多尺度Retinex算法色彩還原準(zhǔn)確，但整體畫面亮度不足，其增強(qiáng)的樣本在亮度信息上恢復(fù)不準(zhǔn)確。經(jīng)本文算法增強(qiáng)后的樣本整體明亮, 包含的信息更多,亮度信息也更好，例如樣本一中的墻壁、空調(diào)顏色信息恢復(fù)準(zhǔn)確,樣本三中凳子的暗部細(xì)節(jié)和樣本四中毛絨玩具的顏色都得到了較好的恢復(fù)。

3.3 參數(shù)化分析

采用信息熵、PSNR和對(duì)比度3個(gè)參數(shù)化評(píng)價(jià)指標(biāo)將本文算法與另3種算法進(jìn)行對(duì)比，處理對(duì)象依然為圖6所述四類樣本。圖6直觀的展示了本文改進(jìn)算法在信息熵，PSNR和對(duì)比度上較直方圖均衡化算法，多尺度Retinex和深度曲線算法的優(yōu)勢(shì)。

圖6 各算法圖像增強(qiáng)后信息熵、PSNR、對(duì)比度的值

為了更直觀的比較本文算法較其他3種算法在信息熵，PSNR和對(duì)比度上的數(shù)值提升，表3計(jì)算了4種算法在四類樣本上的平均增強(qiáng)效果。

表3 各算法增強(qiáng)效果在四類樣本上的平均值

由表3可以看出,本文算法在信息熵，PSNR和對(duì)比度比3個(gè)重要評(píng)價(jià)指標(biāo)上都優(yōu)于其他3種算法。其中，本文算法較深度曲線算法信息熵提高了0.860 8，表明本文算法處理后的結(jié)果還原了原圖像更多的信息；峰值信噪比提高了3.430 4，表明降噪明顯；對(duì)比度提高了0.002 9,表明整體圖像更清晰。本文算法較好的還原了低照度圖像的丟失的細(xì)節(jié)，色彩，亮度，說明了本文對(duì)原有深度曲線算法改進(jìn)的有效性。

3.4 增強(qiáng)圖像在目標(biāo)檢測(cè)中的表現(xiàn)

本文選取了兩幅待檢測(cè)的低照度圖像，分別用直方圖均衡化算法、多尺度Retinex算法、深度曲線算法和本文算法對(duì)其增強(qiáng)，通過在不同增強(qiáng)算法下檢測(cè)出的目標(biāo)個(gè)數(shù)的差異來評(píng)價(jià)增強(qiáng)算法的優(yōu)劣。目標(biāo)檢測(cè)算法采用YOLOV3，訓(xùn)練集選用VOC2007數(shù)據(jù)集，目標(biāo)檢測(cè)結(jié)果如圖7。

圖7 各算法圖像增強(qiáng)后目標(biāo)檢測(cè)效果

表4列出了樣本五和六在YOLOV3目標(biāo)檢測(cè)算法下檢測(cè)出的目標(biāo)數(shù)。

表4 各算法檢測(cè)出的目標(biāo)數(shù)

圖7可以看出,樣本五中的手機(jī)、鬧鐘等小物體和樣本六中馬路邊緣的行人，遠(yuǎn)處的車輛因圖像亮度較低，且包含較多的噪點(diǎn)，未能被檢測(cè)出，經(jīng)各算法增強(qiáng)后目標(biāo)檢測(cè)數(shù)均得到提高，而本文算法檢測(cè)出的目標(biāo)數(shù)優(yōu)于其他3種算法，說明了本文算法在實(shí)際應(yīng)用中的優(yōu)勢(shì)。

4 結(jié)束語

本文基于零參考深度曲線網(wǎng)絡(luò)改進(jìn)的低照度圖像增強(qiáng)算法。通過使用輕量化網(wǎng)絡(luò)MobileNetV2改進(jìn)其網(wǎng)絡(luò)結(jié)構(gòu)，在增加網(wǎng)絡(luò)深度、增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力的同時(shí)降低了計(jì)算復(fù)雜度；通過改進(jìn)損失函數(shù)，使其在峰值信噪比、對(duì)比度上和信息熵上達(dá)到了更好的增強(qiáng)效果；通過使用對(duì)稱式的卷積結(jié)構(gòu)，使其在面對(duì)大尺寸低照度圖像時(shí)也能有較好的表現(xiàn)，對(duì)比分析實(shí)驗(yàn)證了本文對(duì)原算法改進(jìn)的有效性。