摘 要:低光照圖像增強的目的是優(yōu)化在光線不足的環(huán)境中捕獲的圖像,提升其亮度和對比度。目前,深度學習在低光照圖像增強領域已成為主要方法,因此,有必要對基于深度學習的方法進行綜述。首先,將傳統(tǒng)低光照圖像增強方法進行分類,并分析與總結(jié)其優(yōu)缺點。接著,重點介紹基于深度學習的方法,將其分為有監(jiān)督和無監(jiān)督兩大類,分別總結(jié)其優(yōu)缺點,隨后總結(jié)應用在深度學習下的損失函數(shù)。其次,對常用的數(shù)據(jù)集和評價指標進行簡要總結(jié),使用信息熵對傳統(tǒng)方法進行量化比較,采用峰值信噪比和結(jié)構(gòu)相似性對基于深度學習的方法進行客觀評價。最后,總結(jié)目前方法存在的不足,并對未來的研究方向進行展望。
關鍵詞:低光照圖像增強;深度學習;有監(jiān)督;特征提??;無監(jiān)督
中圖分類號:TP391"" 文獻標志碼:A"" 文章編號:1001-3695(2025)01-003-0019-09
doi: 10.19734/j.issn.1001-3695.2024.06.0176
Review of low light image enhancement based on deep learning
Abstract: The aim of low-light image enhancement is to optimize images captured in low-light environments by improving their brightness and contrast. Currently, deep learning has become the main method in the field of low-light image enhancement, necessitating a review of deep learning-based methods. First, this paper classified traditional methods of low-light image enhancement and analyzed and summarized their advantages and disadvantages. Then, this paper focused on deep learning-based methods, classified them into supervised and unsupervised categories, and summarized their respective advantages and disadvantages. This paper also summarized the loss functions applied in deep learning approaches. Next, this paper briefly summarized the commonly used datasets and evaluation metrics, using information entropy to quantitatively compare traditional me-thods, and employing peak signal-to-noise ratio and structural similarity to objectively evaluate deep learning-based methods. Finally, this paper summarized the shortcomings of current methods and prospect future research directions.
Key words:low-light image enhancement; deep learning; supervised; feature extraction; unsupervised
0 引言
圖像是信息傳遞的關鍵媒介。然而,在夜間或光照不足的環(huán)境中拍攝的圖像通常存在亮度差、噪聲多和對比度低等問題。這些問題尤其會對視覺任務產(chǎn)生負面影響,如目標檢測、人臉識別、自動駕駛以及智能安防等[1]。因此,提升低光照下圖像的質(zhì)量具有重要意義。低光照圖像增強的目的是提高圖像亮度、保留更多細節(jié)、減少噪聲以及消除干擾信息等[2]。提升低光照環(huán)境下圖像的質(zhì)量通常有硬件和軟件兩種解決策略[3]。硬件方面,通過提升相機傳感器的靈敏度和優(yōu)化傳感器與處理器之間的協(xié)同工作來改善圖像質(zhì)量。但這種方法成本較高,因此軟件解決方案逐漸成為低光照圖像增強領域的主流。軟件方法主要分為傳統(tǒng)方法和基于深度學習的方法。傳統(tǒng)方法通過像素值的映射來增強低光照圖像的對比度,但存在增強效果不足的問題。在深度學習方法中,分為有監(jiān)督學習和無監(jiān)督學習兩大類。有監(jiān)督方法通過網(wǎng)絡學習低光照圖像與正常光照圖像之間的映射關系,從而提升低光照圖像的質(zhì)量。而無監(jiān)督學習方法則通過挖掘正常光照圖像與低光照圖像之間的內(nèi)在聯(lián)系來增強圖像。
總體而言,低光照圖像增強已成為當前研究的熱點,涉及方法也日益多樣化。盡管該領域取得了一定進展,但仍有諸多挑戰(zhàn)亟待克服。因此,對目前采用的低光照圖像增強方法進行歸納總結(jié)和分析顯得尤為必要。低光照圖像增強方法總結(jié)如圖1所示。
1 傳統(tǒng)的增強方法
傳統(tǒng)的低光照圖像增強方法通??蓺w為基于分布映射的和基于模型優(yōu)化的方法兩大類。
在低光照圖像增強傳統(tǒng)方法中,基于分布映射的方法涵蓋了一系列技術,包括直方圖均衡化[4~7]、伽馬校正[8~10]以及色調(diào)映射[11~13]。他們的核心在于調(diào)整圖像的像素值分布,以達到增強圖像視覺效果的目的。直方圖均衡化通過重新分配像素強度來增強圖像的全局或局部對比度。伽馬校正通過非線性變換圖像的灰度值來提升亮度和對比度。色調(diào)映射通過改善動態(tài)范圍來優(yōu)化圖像的亮度和對比度,包括全局和局部兩種方法。全局色調(diào)映射不考慮原始圖像中像素的位置,通過計算全局平均亮度和最大亮度值來調(diào)整像素的亮度值。局部映射算法在原始圖像中不同的區(qū)域采用不同的轉(zhuǎn)換函數(shù)。
基于模型優(yōu)化的圖像增強方法側(cè)重于建立和優(yōu)化數(shù)學模型來描述圖像的特性和退化過程,其主要包括Retinex算法[14~19]和暗通道先驗[20~22]。Retinex算法是一種基于光照和反射率分離的模型,它通過估計圖像的光照分量來增強低光照條件下的圖像。暗通道先驗則是根據(jù)一個圖像至少存在一些區(qū)域沒有被光照或者光照很弱,而這些區(qū)域在圖像中表現(xiàn)為暗通道,利用暗通道來估計全局大氣光并恢復圖像的細節(jié)。通過估計圖像中的散射光和透射光的比例,進而分離出原始圖像的顏色和結(jié)構(gòu)。
上述傳統(tǒng)增強方法的應用及對比分析如表1所示。傳統(tǒng)的低光照圖像增強方法雖然在提升圖像質(zhì)量方面取得了一定的成效,但仍存在一些局限:
a)在增強圖像過程中會在暗區(qū)域增加噪聲;
b)在提高亮度和對比度的過程中,會犧牲圖像的細節(jié)信息和紋理信息;
c)無法充分擴展圖像的動態(tài)范圍,導致高光區(qū)域細節(jié)丟失。
2 基于深度學習的增強方法
隨著計算機硬件的發(fā)展,深度學習開始在計算機視覺領域得到廣泛應用[23]。借此技術浪潮,研究者們開始探索將深度學習應用于低光照圖像增強問題。深度學習技術在低光照圖像增強任務中主要采用有監(jiān)督學習和無監(jiān)督學習兩種策略。
2.1 有監(jiān)督的方法
基于有監(jiān)督的低光照圖像增強方法,網(wǎng)絡通過學習正常光照與低光照之間的映射關系來增強圖像。
Lore等人[24]第一個提出基于深度學習的低光照圖像增強神經(jīng)網(wǎng)絡LLNet,開創(chuàng)了使用端到端網(wǎng)絡進行低光照圖像增強的新方法。該方法通過一個堆疊稀疏去噪自編碼器來增強亮度和去噪,雖然提升了圖像亮度,但恢復后的圖像出現(xiàn)大量偽影?;赗etinex理論,Park等人[25]結(jié)合堆疊自編碼器和卷積自編碼器來實現(xiàn)增強。使用堆疊自編碼器壓縮圖像特征平滑照明分量,使用卷積自編碼器處理2D圖像信息來減少亮度增強過程中的噪聲。文獻[24,25]都考慮到了噪聲問題,但他們增強亮度的能力較弱。針對此問題,Chen等人[26]提出了Retinex-Net網(wǎng)絡,該網(wǎng)絡由兩個子網(wǎng)絡組成。其中分解子網(wǎng)絡負責將成對圖像分解為光照分量和反射分量;另一個增強子網(wǎng)絡則用于調(diào)整照明效果,對分離出低光照圖像的光照分量和反射分量合并進行增強得到處理后的光照分量。此外,采用了平均絕對損失(mean absolute loss,L1 loss)作為結(jié)構(gòu)感知平滑損失函數(shù)來對深度圖像分解進行約束,同時結(jié)合多尺度照明調(diào)整策略,來確保全局照明的一致性和局部光照的細節(jié)處理,其網(wǎng)絡結(jié)構(gòu)如圖2所示。盡管Retinex-Net能夠提升低光照圖像的亮度,但是會出現(xiàn)偽影和細節(jié)丟失問題。為了解決這種問題,Zhang等人[27]提出了KinD網(wǎng)絡模型。其使用均方誤差損失(mean squared error loss,MSE Loss)作為圖像內(nèi)容保真度損失來減少恢復后的圖像與正常光照圖像的光照一致;使用結(jié)構(gòu)相似指數(shù)損失(structu-ral similarity index measure loss,SSIM Loss)作為結(jié)構(gòu)相似性損失來保證輸出圖像與正常光照圖像的結(jié)構(gòu)相似;定義平滑一致性損失來減少與目標圖像之間的差距,從而提高低光照圖像的質(zhì)量。但KinD在增強圖像的過程中會出現(xiàn)過曝的問題,因此文獻[28]在原先KinD的基礎上提出了KinD++神經(jīng)網(wǎng)絡。該網(wǎng)絡在KinD的基礎上引入了多尺度照明注意力機制和數(shù)據(jù)對齊策略,使處理后的低光照圖像具有更高的視覺質(zhì)量。Wang等人[29]使用具有跳躍鏈接的編碼器-解碼器來生成照明的全局先驗知識來提取圖像中的細節(jié)信息。文獻[30]通過模擬低光照與正常曝光圖像之間的一對多網(wǎng)絡LLFlow,通過條件歸一化流來模擬正常曝光圖像的條件分布,從而約束增強圖像的流形,由Retinex理論啟發(fā)的照明不變顏色圖作為低光照圖像增強任務的先驗,豐富顏色飽和度的同時減少了色彩失真。
上述方法在網(wǎng)絡設計上考慮到了噪聲對圖像質(zhì)量的影響,但是沒有很好解決圖像的細節(jié)丟失。為了解決細節(jié)丟失問題,Cai等人[31]提出了SICE網(wǎng)絡模型,利用Retinex理論將低光照圖像分解為光照圖和反射圖,同時對兩者進行增強。其網(wǎng)絡架構(gòu)由兩部分組成,第一部分特征提取網(wǎng)絡分為U-Net分支[32]和殘差網(wǎng)絡分支,具有較大感受野的U-Net網(wǎng)絡提取圖像的特征來提高對比度,殘差網(wǎng)絡分支學習并保留更多的細節(jié)特征,第二部分對增強后的結(jié)果進行合并。損失函數(shù)采用L1 loss約束訓練過程中產(chǎn)生的偽影,采用MSE loss來減少增強后的光照圖存在的噪聲和增強模型的魯棒性,采用定義的DSSIM損失來使增強后的圖像與正常光照圖像保持一致的結(jié)構(gòu),其網(wǎng)絡結(jié)構(gòu)如圖3所示。Yang等人[33]提出將兩個CNN網(wǎng)絡用于圖像增強。網(wǎng)絡分別由高動態(tài)范圍網(wǎng)絡和低動態(tài)范圍網(wǎng)絡組成,采用色調(diào)映射的方式保留細節(jié)信息,基于MSE loss設計的損失函數(shù)來衡量目標圖像與正常光照圖像差異的平衡。當用戶希望圖像具有不一樣的色調(diào)風格時,單一網(wǎng)絡模型難以滿足要求?;谶@種問題,Ko等人[34]提出了IceNet,通過用戶給出全局亮度控制參數(shù)來估計出像素級的伽馬校正圖,進而滿足用戶的需求。
盡管現(xiàn)有方法在提升圖像質(zhì)量方面取得了進展,但卻普遍存在泛化能力不足的問題。針對這種問題,Wu等人[35]提出了URetinex-Net網(wǎng)絡模型,該模型在Retinex理論的基礎上使用迭代增強來優(yōu)化結(jié)果,以此來實現(xiàn)噪聲的抑制和細節(jié)的保留。進一步地,文獻[36]提出了一種結(jié)合語義信息來實現(xiàn)低光照的圖像增強。使用轉(zhuǎn)置注意力機制來獲得注意力圖改造圖像特征,結(jié)合語義引導的顏色直方圖損失和對抗損失來保持色彩一致性和更自然的紋理。Hai等人[37]認為,僅在空間域提取信息而忽略頻域中的豐富信息,可能會對圖像質(zhì)量產(chǎn)生不利影響。因此,在光照恢復子網(wǎng)絡中,通過應用傅里葉變換和復數(shù)域卷積來提取圖像在頻域中的信息。通過結(jié)合頻域信息與空間域信息,顯著提高了低光照圖像的質(zhì)量。Liu等人[38]提出了名為RAUNA的神經(jīng)網(wǎng)絡。其網(wǎng)絡通過引入一個自監(jiān)督微調(diào)策略來使網(wǎng)絡自動地調(diào)整最佳的超參數(shù),同時網(wǎng)絡學習全局-局部的亮度信息來提升圖像亮度。雖然圖像的亮度得到了增強,但是卻產(chǎn)生了偽影。因此,Li等人[39]設計了一個輕量級亮度感知金字塔網(wǎng)絡,通過并行的粗特征提取和亮度感知細化,以及輔助子網(wǎng)絡來學習亮度映射。利用通道分割策略和對比注意力機制,使網(wǎng)絡能夠提取并融合多尺度特征,并通過漸進式亮度調(diào)整,可以有效地恢復圖像的自然色彩和細節(jié)。
Xu等人[40]提出了一種基于頻率分解和增強的網(wǎng)絡,使用注意力上下文編碼來自適應地對低頻信息中的噪聲進行去除,接著再對高頻信息進行保留來增強細節(jié),使用多尺度的頻率特征處理進行噪聲抑制和細節(jié)保留來避免噪聲對圖像的影響。Wang等人[41]提出了一種漸進式Retinex網(wǎng)絡,通過相互加強的策略來感知低光照圖像中的光照和噪聲。使用兩個全點卷積網(wǎng)絡,分別對環(huán)境光和圖像噪聲的統(tǒng)計規(guī)律進行建模,并使用基于相機成像模型機制來合成圖像,以生成受光照依賴噪聲影響的彩色圖像。但是,該方法僅僅考慮了像素的統(tǒng)計分布,而忽略了圖像的結(jié)構(gòu)屬性,造成增強后的圖像質(zhì)量提升不明顯。
文獻[42]創(chuàng)新性地將Retinex理論與Transformer模型相結(jié)合,增強后的圖像質(zhì)量明顯得到提升。為了解決低光照圖像增強在應用場景存在參數(shù)量大的問題,Cui等人[43]提出了參數(shù)量為90 k的光照自適應Transformer輕量級網(wǎng)絡。該網(wǎng)絡基于一個雙分支的Transformer模型,包括使用像素級局部分支和全局信號處理分支,并在局部分支中使用深度卷積代替自注意力機制來實現(xiàn)輕量化。Brateanu等人[44]提出了一種名為LYT-Net輕量級網(wǎng)絡,其參數(shù)量僅為45 k,采用雙路徑的方法,分別處理色度和亮度。通過在亮度層和色度層應用多頭自注意力來實現(xiàn)網(wǎng)絡對圖像特征的提取?;謴秃蟮膱D像與目標圖像在內(nèi)容上保持一致對圖像質(zhì)量有著重要的作用,文獻[45]設計了一種可學習的光照過濾器來縮減不同光照條件之間的光照風格差異,以特征圖計算的Gram矩陣作為輸入,來從圖像的整體風格中提取光照風格相關的信息,從而減少圖像內(nèi)容信息上的損失。
有監(jiān)督的學習要求成對的正常光照和低光照圖像數(shù)據(jù)集來訓練。網(wǎng)絡通過學習正常光照圖像的特征來映射到低光照圖像上,以此實現(xiàn)低光照圖像的增強?,F(xiàn)有基于有監(jiān)督學習方法的優(yōu)缺點匯總在表2中。盡管這些方法在恢復效果上表現(xiàn)出色,但它們也存在一些局限性,具體缺點概述如下:
a)依賴成對的數(shù)據(jù)集進行訓練,但成對的數(shù)據(jù)集難以在短時間內(nèi)獲??;
b)有監(jiān)督的學習嚴重依賴于數(shù)據(jù)集中包含的圖像,導致泛化能力不足。
2.2 無監(jiān)督的方法
為了解決有監(jiān)督學習依賴成對數(shù)據(jù)集進行訓練的局限,研究者們提出了無須成對數(shù)據(jù)集訓練的無監(jiān)督學習方法。這些方法能夠在缺乏配對訓練樣本的情況下有效地進行圖像增強任務。
文獻[46]提出了一種通過零參考深度曲線估計的網(wǎng)絡,采用迭代優(yōu)化局部亮度調(diào)節(jié)來改善低光照圖像,網(wǎng)絡包含7個具有對稱跳躍連接的卷積層,將圖像分割為多個子區(qū)域并使用迭代優(yōu)化逐步地獲得高階曲線,接著采用無參考的損失函數(shù)來估計增強圖像的質(zhì)量,其網(wǎng)絡結(jié)構(gòu)如圖4所示。接著,Li等人[47]在文獻[46]的基礎上進行了改進,提出了Zero-DCE++網(wǎng)絡模型。這一模型以僅有10 k的網(wǎng)絡參數(shù)量,極大地提高了在終端設備上應用低光照圖像增強的可行性。Zero-DCE++不僅保持了原模型的性能,還實現(xiàn)了更快的處理速度。Zhu等人[48]提出了RRDNet網(wǎng)絡模型,旨在擴大圖像對比度的同時抑制噪聲。其由三個子網(wǎng)絡組成,這些子網(wǎng)絡分別將輸入圖像分解為反射率圖、光照圖和噪聲圖。通過迭代最小化損失函數(shù)來更新網(wǎng)絡權重,另外該模型無須依賴先驗知識來進行訓練。大多數(shù)現(xiàn)有方法都是在RGB顏色空間進行增強圖像,Jiang等人[49]提出了一種基于Retinex理論的深度自規(guī)范低光照圖像增強的無監(jiān)督方法,其通過將輸入圖像顏色空間轉(zhuǎn)換到HSV色彩空間中,并將其分解為色調(diào)、飽和度和亮度三分量。設計了一種新穎的隨機亮度擾動方法,結(jié)合原始亮度和擾動后的亮度通過卷積神經(jīng)網(wǎng)絡來估計相同的反射率。通過特定設計的反射一致性、曝光控制損失、光照平滑損失和空間結(jié)構(gòu)損失來組成損失函數(shù)估計出光照分量的反射率,將色調(diào)、飽和度和反射率進行拼接來合成最后的增強圖像。大多數(shù)現(xiàn)有方法沒有考慮到圖像中的全局結(jié)構(gòu)和局部細節(jié)紋理對圖像的質(zhì)量有著重要的作用。因此,Xu等人[50]提出一種新的方法STANet,其通過尺度輪廓圖引導濾波器將圖像分解為結(jié)構(gòu)分量和紋理分量,在結(jié)構(gòu)子網(wǎng)絡中,借鑒了U-Net[32]網(wǎng)絡,并在下采樣階段融入了殘差鏈接,以此增強網(wǎng)絡對全局特征的捕捉能力。對于紋理子網(wǎng)絡,通過一個無下采樣操作的網(wǎng)絡,以保留圖像細節(jié)。采用通道注意力機制和空間注意力機制來構(gòu)造混合子網(wǎng)絡,應用殘差學習來生成最終的增強圖像。
為了利用生成對抗網(wǎng)絡在生成圖像方面的能力,研究者們開始將其應用于低光照圖像增強領域?;谏墒綄咕W(wǎng)絡,Jiang等人[51]提出了EnlightenGAN網(wǎng)絡模型,其生成器是由注意力機制引導U-Net網(wǎng)絡[32],共包含8個卷積塊,每個卷積塊由2個卷積核為3×3的卷積層所組成,結(jié)合全局-局部鑒別器來區(qū)分真實與偽造圖像,以解決增強后的圖像出現(xiàn)局部過曝或欠曝問題,創(chuàng)新性地加入局部判別器來指導生成器生成更真實的偽圖像,采用VGG-16[52]的改進損失來作為自特征保留損失,使圖像內(nèi)容特征在增強前后保持不變,其網(wǎng)絡結(jié)構(gòu)如圖5所示。雖然圖像質(zhì)量得到提升,但卻存在著色偏問題。Fu等人[53]提出了一種基于生成式對抗網(wǎng)絡的低光照圖像增強網(wǎng)絡LE-GAN,網(wǎng)絡使用空間照明注意力機制和全局照明注意力機制來提取圖像特征,使用L1 loss作為特性不變損失來解決增強圖像的過曝問題。Wang等人[54]提出了MAGAN網(wǎng)絡模型,通過混合注意力模塊來模擬低光照圖像像素與特征之間的關系,從而在增強低光照圖像的同時去除噪聲。Zheng等人[55]通過將網(wǎng)絡學習低光照圖像中的語義退化感知引導來提升低光照圖像的質(zhì)量。Liang等人[56]基于Retinex理論和神經(jīng)網(wǎng)絡的生成能力提出了一種新的方法,使用自監(jiān)督去噪層根據(jù)照明強度自適應地調(diào)整空間變化特性,通過一個可微的直方圖平衡損失,最大化地增強圖像的質(zhì)量。Yu等人[57]提出了一種新的生成式對抗網(wǎng)絡,該網(wǎng)絡的生成器包含殘差層、混合注意力層和并行擴張卷積層,用于提取圖像特征,并使用一種改進的像素損失函數(shù)來約束網(wǎng)絡學習低光照圖像的信息。Zhen等人[58]提出了一種循環(huán)生成注意力對抗網(wǎng)絡,通過引入一種新的注意力層來區(qū)別相應特征的重要性,使用特定的風格區(qū)域損失函數(shù)來消除噪聲對圖像的影響,使用新的歸一化函數(shù)來指導網(wǎng)絡恢復細節(jié)信息。Ma等人[59]提出了SCI網(wǎng)絡模型,該網(wǎng)絡基于Retinex理論,提出了一個自校準模塊,通過權重共享來加速不同階段結(jié)果的收斂,結(jié)合保真度損失和平滑損失組成無監(jiān)督損失函數(shù)來提升模型的泛化性。
無監(jiān)督學習方法擺脫了對成對低光照和正常光照圖像數(shù)據(jù)集的依賴,通過挖掘低光照圖像和正常光照圖像之間的內(nèi)在關系來進行增強,而不是依賴于圖像的直接映射。通過結(jié)合前沿的網(wǎng)絡架構(gòu)、損失函數(shù)和優(yōu)化策略,無監(jiān)督學習能夠在無須成對數(shù)據(jù)集的情況下提高低光照圖像的質(zhì)量。但無監(jiān)督學習方法也存在著一些缺點,比如增強后的圖像存在偽影和細節(jié)缺失等問題[60]。無監(jiān)督學習方法總結(jié)如表3所示。
基于上述方法,對從有監(jiān)督到無監(jiān)督的低光照圖像增強方法進行分析和總結(jié)。有監(jiān)督的方法網(wǎng)絡學習正常光照圖像的特征,并將其特征映射到低光照圖像上,其核心在于特征提取。而無監(jiān)督的方法則著眼于探索低光照圖像與正常光照圖像之間的內(nèi)在聯(lián)系,以此來增強低光照圖像,其中關鍵在于巧妙設計的損失函數(shù),用以最小化增強圖像與原始低光照圖像之間的差異。
2.3 損失函數(shù)
損失函數(shù)在基于深度學習的低光照圖像增強模型中起著至關重要的作用。損失函數(shù)通過衡量模型輸出與真實圖像之間存在的差異,指導模型在訓練過程中的不斷優(yōu)化。在低光照圖像增強任務中,損失函數(shù)的選擇和設計直接影響到模型對圖像細節(jié)的恢復能力和整體質(zhì)量的提升?;谏疃葘W習的低光照圖像增強領域中常用到的損失函數(shù)包括平均絕對損失(mean absolute loss,L1 loss)、結(jié)構(gòu)相似指數(shù)損失(structural similarity index measure loss,SSIM loss)、平滑度損失(smoothness loss)、顏色損失(color constancy loss)、感知損失(perceptual loss)、曝光損失(exposure loss)、均方誤差損失(mean squared error loss,MSE loss)、對抗損失(adversarial loss)[61]和總變差損失(total variation loss)[62]。
a)L1 loss用于衡量模型輸出與真實圖像之間的平均絕對誤差。在低光照圖像增強中,平均絕對損失有助于減少增強圖像與真實圖像之間的誤差并且使模型具有較強的魯棒性。其計算公式如下:
其中:N是樣本數(shù)量或圖像中的像素總數(shù);Oi和Ii分別表述的是模型預測的第i個值和實際的第i個值。
b)SSIM loss是一種衡量恢復后的圖像與正常光照圖像在亮度、對比度和結(jié)構(gòu)信息上的差異,能夠較好地反映人眼對圖像質(zhì)量的感知。其計算公式如下:
其中:μI和μJ分別是圖像I和J的亮度均值;σI和σJ分別是圖像I和J的對比度標準差;σIJ是圖像I和J的亮度協(xié)方差;c1和c2為很小的常數(shù)。
c)平滑度損失是一種正則化損失,鼓勵生成的圖像具有平滑的區(qū)域,保持與正常圖像的局部光滑特性相一致。其計算公式如下:
其中:N是迭代次數(shù);Δx和Δy分別代表圖像在水平和垂直方向上的梯度值;img代表的是一張圖像。
d)顏色損失用于糾正輸出圖像中的潛在色偏,用于保證和正常光照圖像之間的色彩一致,盡可能避免色調(diào)失真的問題。其計算公式如下:
其中:Jp表述的是增強圖像中p通道的平均值;(p,q)表述的是一對顏色通道。
e)感知損失是一種基于神經(jīng)網(wǎng)絡特征的損失函數(shù),用來增強結(jié)果圖像與正常光照圖像在高層特征圖上的差異,以此度量圖像的相似性,特征表示通常是從ImageNet數(shù)據(jù)集上預訓練的VGG[52]網(wǎng)絡中提取。其計算公式如下:
其中:CjHjWj表述的是第j層特征圖的大小;G和I分別表述的是正常光照圖像和增強后的圖像;φ表述的是VGG網(wǎng)絡。
f)曝光損失基于圖像的亮度統(tǒng)計,用來調(diào)整圖像的亮度或曝光水平,抑制曝光較差的區(qū)域。其計算公式如下:
其中:M表述的是分塊區(qū)域的個數(shù);out_imgk表述的是在第k塊區(qū)域上的平均強度值;E=0.6。
g)MSE loss測量模型預測值與實際值之間差異的平方平均值,可用于圖像的亮度調(diào)整。其計算公式如下:
其中:N是樣本數(shù)量或圖像中的像素總數(shù);Oi表述的是模型預測的第i個值;Ii表述的是實際的第i個值。
h)對抗損失[61]訓練一個判別器網(wǎng)絡來判斷生成圖像的真假,同時訓練一個生成器來欺騙判別器,有助于生成器學習如何生成在視覺上與真實圖像不可區(qū)分的增強圖像,從而提高增強圖像的質(zhì)量。其計算公式為
i)總變差損失[62]是一種正則化損失,用來鼓勵生成的圖像具有較小的像素級梯度,從而減少噪聲并保持圖像的平滑性。其計算公式如下:
其中:I表述的是輸入圖像;(x,y)表述的是圖像中像素的位置;I(x+1,y)與I(x,y+1)分別表述的是圖像在水平和垂直方向上相鄰像素的位置。
3 數(shù)據(jù)集及評價標準
3.1 數(shù)據(jù)集
網(wǎng)絡的學習能力與訓練數(shù)據(jù)集之間有著至關重要的關系。低光照圖像增強常用的配對數(shù)據(jù)集有LOL[26]、SID[63]、LSRW[37]、SICE[31]、DRV[64]和MIT-Adobe FiveK[65]。常用的無配對數(shù)據(jù)集有HDR[66]、Exclusive Dark[67]。常用的數(shù)據(jù)集總結(jié)如表4所示。
a)LOL[26]由500對弱光和正常光圖像組成,分為485對訓練圖像和15對驗證圖像。圖像的分辨率為400×600。
b)SID[63]包含了5 094張短曝光原始圖像,及其對應的長曝光參考圖像。數(shù)據(jù)集包含了室內(nèi)和室外的圖像,其中室外場景照度在0.2~5 lux,室內(nèi)場景照度在0.03~0.3 lux,短曝光時間設定為1/30~1/10 s。
c)LSRW[37]將低光照下的ISO固定為50,正常光照條件下固定為100。LSRW一共有5 650對圖像,5 600對用于訓練,50對用于評估。
d)SICE[31]包含589個高分辨率圖像,總共包含4 413張圖像。其中的參考圖像使用13種多曝光圖像融合技術和基于堆疊的高動態(tài)范圍成像算法得來。
e)DRV[64]被用于在低光照下的視頻處理研究。使用Sony RX100 VI相機進行拍攝,其包含202個靜態(tài)原始視頻,其中每個視頻都有相應的長時間曝光的真實圖像,包含室內(nèi)和室外場景。視頻圖像的分辨率為3 672×5 496。
f)MIT-Adobe FiveK[65]有5 000張RAW格式的原始圖像及分別由五個專業(yè)人員經(jīng)過修飾后的圖像。
g)HDR[66]使用Canon EOS-5D Mark III相機以RAW格式捕獲圖像,分辨率為5 760×3 840,為了減少靜態(tài)圖像集中的潛在錯位,其所有圖像被下采樣到1 500×1 000。
h)ExDARK[67]包含7 363張低光照圖像,涵蓋12個目標類別。
3.2 評價指標
3.2.1 主觀評價
當對恢復后的圖像進行主觀評價時,會組織一些評價者來對增強后的圖像進行打分,通過打分的高低體現(xiàn)增強后圖像的質(zhì)量。由于評價者可能會對圖像有著不同的偏好,所以會影響評價的好壞,僅僅用主觀評價不足以對增強后圖像進行評判。
3.2.2 客觀評價
對低光照圖像增強的客觀評價是使用定量的圖像質(zhì)量評價指標來衡量增強后的效果。常見的客觀評價有:均方誤差(mean squared error,MSE)、峰值信噪比(peak signal to noise ration,PSNR)、結(jié)構(gòu)相似性(structural similarity,SSIM)和信息熵(information entropy,IE)。
a)均方誤差計算原始圖像與增強圖像之間的像素強度差異平方的平均值來評估增強的效果,其值越小,說明圖像越相似。MSE的計算公式如下:
其中:M和N代表圖像的長和寬;I(i, j)和K(i, j)分別代表的是處理后的圖像和原始圖像。
b)峰值信噪比是基于MSE計算得來的,用來衡量原始圖像與處理后的圖像之間的質(zhì)量差異。其值越高,表示圖像的質(zhì)量越好,失真越小。其計算公式如下:
其中:MAXI當像素值大小為0~255時取值為255,當像素值大小為0~1時其值為1。
c)結(jié)構(gòu)相似一致性是用于衡量兩個圖像之間相似度的指標。其值的范圍為-1~1,其中1表示兩張圖像完全相同,其值越高越反映處理后的圖像與原始圖像在結(jié)構(gòu)上越相似。SSIM的公式如下:
其中:μx是x的平均值;σ2x是x的方差;μy是y的平均值;σ2y是y的方差;σxy是x和y的協(xié)方差;c1和c2為很小的常數(shù)。
d)信息熵表示圖像的信息量,其值越大,信息越豐富。其中公式如下:
其中:X為一個事件;P(x)為該事件發(fā)生的概率。
4 低光照圖像增強方法性能對比
4.1 傳統(tǒng)的低光照圖像增強方法性能對比
在傳統(tǒng)的低光照圖像增強方法性能對比中,采用LOL驗證集[26]下的同一張低光照圖像來測試,并使用信息熵對增強后的圖像進行量化比較,結(jié)果如圖6所示?;谛畔㈧卦u價指標對各個傳統(tǒng)的低光照圖像增強方法進行對比分析,結(jié)果如表5所示。其中基于Retinex算法的IE值最高,其值為6.871,明顯比其他傳統(tǒng)算法要好。
其中傳統(tǒng)方法中,直方圖均衡化的IE值最小,為5.406?;赗etinex算法的IE值最高,為6.871,相比于直方圖均衡化提高了27.09%?;诎低ǖ老闰灥腎E值為6.668,相比于直方圖均衡化提高了23.34%。基于伽馬校正的IE值為6.521,相比于直方圖均衡化提高了20.62%?;谏{(diào)映射的IE值為6.818,相比于直方圖均衡化提高了26.11%??偟膩碚f,基于Retinex算法的IE值最高的原因主要是因為Retinex理論結(jié)合了顏色的恒常性,處理后的圖像含有更多的信息。
4.2 基于深度學習的低光照圖像增強方法對比
基于深度學習的增強方法使用GPU NVIDIA 3070在LOL驗證集[26]上進行測試。使用PSNR和SSIM評價指標來衡量增強的效果,PSNR越高,說明恢復后的圖像質(zhì)量越高;SSIM越接近于1,說明恢復后的圖像與參考圖像的結(jié)構(gòu)越相似。以上基于深度學習方法的定量比較如表6所示。其中文獻[42]的PSNR和SSIM的值最大,PSNR和SSIM分別為28.486 9和0.937 4。其通過將Retinex理論與Transformer模型相結(jié)合,使恢復后圖像質(zhì)量更符合人類視覺效果。為了更好地比較基于深度學習下增強的效果,在LOL驗證集[26]上選擇一張低光照圖像進行視覺比較。采用文獻[24,26,37,42,51,53]分別代表基于有監(jiān)督和無監(jiān)督下的低光照圖像增強方法進行展示,如圖7所示。
其中圖7(a)為LOL驗證集[26]中的一張低光照圖像;圖(b)的PSNR=17.278 4、SSIM=0.852 0;圖(c)的PSNR=17.684 5、SSIM=0.634 4;圖(d)的PSNR=20.309 1、SSIM=0.848 8;圖(e)的PSNR=29.143 2、SSIM=0.911 9;圖(f)的PSNR=20.187 2、SSIM=0.794 1;圖(g)的PSNR=28.448 5、SSIM=0.908 0??偟膩碚f,文獻[42]在量化結(jié)果比較上PSNR和SSIM的結(jié)果在6種方法中為最高,視覺質(zhì)量也是最佳。
5 結(jié)束語
本文分析與總結(jié)了低光照圖像增強領域中的傳統(tǒng)方法和基于深度學習方法。首先,簡要概述了低光照圖像增強中傳統(tǒng)方法的優(yōu)缺點。其次,將基于深度學習方法分為有監(jiān)督和無監(jiān)督兩大類,并分別概述了它們的優(yōu)勢與不足,同時總結(jié)基于深度學習下低光照圖像增強中常用的損失函數(shù)。之后介紹了該領域中常用的數(shù)據(jù)集和評價指標,并通過信息熵(IE)對傳統(tǒng)方法進行了定量比較,使用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)對基于深度學習的方法進行了客觀評估。通過深入閱讀文獻,得出現(xiàn)有低光照圖像增強領域中的方法在圖像細節(jié)保留、色彩還原以及噪聲抑制方面存在不足。分析當前低光照圖像增強技術所面臨的挑戰(zhàn),未來研究可在以下方向進行深入探索。
1)提高低光照圖像增強算法的魯棒性和自適應能力
傳統(tǒng)監(jiān)督學習方法依賴于成對的數(shù)據(jù)集進行訓練,這不僅限制了它們的應用范圍,還可能引發(fā)過擬合的問題。相比之下,zero-shot學習[46~48,68]在真實場景中具有更強的魯棒性。這種學習范式不要求成對的訓練數(shù)據(jù),而是通過精心設計的損失函數(shù)和網(wǎng)絡架構(gòu)來增強模型的泛化能力和魯棒性。因此,zero-shot學習無疑是一個充滿潛力且值得深入研究的領域。
2)輕量化的網(wǎng)絡模型設計
當前,基于深度學習方法中的網(wǎng)絡模型參數(shù)量較大,對于硬件設備要求較高,這些問題不利于實現(xiàn)圖像的實時增強。輕量化的網(wǎng)絡模型設計更符合應用在一些移動設備。一些輕量級網(wǎng)絡模型的提出為實時低光照圖像增強的實現(xiàn)提供了可能[69, 70]。文獻[71]證明了實時圖像增強的可能性。因此,輕量化的模型設計也是低光照圖像增強的熱點研究方向。
3)使用特定任務評價指標
低光照圖像增強中常用到的評價指標雖然能在一定程度上反映圖像質(zhì)量,但其評估標準存在一定的局限性。比如,難以量化恢復后的圖像存在的噪聲和偽影的程度,僅通過肉眼判斷難以具有說服性,對后續(xù)的圖像任務造成一定的影響。因此,開發(fā)更準確和特定任務的評價指標也是未來低光照圖像增強領域的一個研究方向。
參考文獻:
[1]馬龍, 馬騰宇, 劉日升. 低光照圖像增強算法綜述[J]. 中國圖象圖形學報, 2022, 27(5): 1392-409. (Ma Long, Ma Tengyu, Liu Risheng. The review of low-light image enhancement[J]. Journal of Image and Graphics, 2022, 27(5): 1392-409.)
[2]彭大鑫, 甄彤, 李智慧. 低光照圖像增強研究方法綜述[J]. 計算機工程與應用, 2023, 59(18): 14-27. (Peng Daxin, Zhen Tong, Li Zhihui. Survey of research methods for low light image enhancement[J]. Computer Engineering and Applications, 2023, 59(18): 14-27.)
[3]Wang Wencheng, Wu Xiaojin, Yuan Xiaohui, et al. An experiment-based review of low-light image enhancement methods[J]. IEEE Access, 2020, 8: 87884-87917.
[4]Jhne B. Digital image processing[M]. Cham: Springer, 2005.
[5]Dale-Jones R, Tjahjadi T. A study and modification of the local histogram equalization algorithm[J]. Pattern Recognition, 1993, 26(9): 1373-1381.
[6]Rao B S. Dynamic histogram equalization for contrast enhancement for digital images[J]. Applied Soft Computing, 2020, 89: 106114.
[7]康利娟, 陳先橋. 基于多級直方圖形狀分割的圖像對比度增強技術[J]. 計算機應用與軟件, 2022, 39(3): 207-212, 321. (Kang Lijuan, Chen Xianqiao. Image contrast enhancement technology based on multi-level histogram shape segmentation[J]. Journal of Computer Applications and Software, 2022, 39(3): 207-212, 321.)
[8]Li Changli, Tang Shiqiang, Yan Jingwen, et al. Low-light image enhancement via pair of complementary gamma functions by fusion[J]. IEEE Access, 2020, 8: 169887-169896.
[9]Li Xiangsheng, Liu Manlu, Ling Qiang. Pixel-wise gamma correction mapping for low-light image enhancement[J]. IEEE Trans on Circuits and Systems for Video Technology, 2023, 34(2): 681-694.
[10]Jeon J J, Park J Y, Eom I K. Low-light image enhancement using gamma correction prior in mixed color spaces[J]. Pattern Recognition, 2024, 146: 110001.
[11]Ok J, Lee C. HDR tone mapping algorithm based on difference compression with adaptive reference values[J]. Journal of Visual Communication and Image Representation, 2017, 43(C): 61-76.
[12]趙海法, 朱榮, 杜長青. 全局色調(diào)映射和局部對比度處理相結(jié)合的圖像增強算法[J]. 武漢大學學報: 理學版, 2020, 66(6): 597-604. (Zhao Haifa, Zhu Rong, Du Changqing. Image enhancement algorithm combining global tone mapping and local contrast processing[J]. Journal of Wuhan University: Science Edition, 2020, 66(6): 597-604.)
[13]馮維, 劉紅帝, 吳貴銘, 等. 基于顏色校正模型的梯度域自適應色調(diào)映射算法[J]. 激光與光電子學進展, 2020, 57(8): 77-83. (Feng Wei, Liu Hongdi, Wu Guiming, et al. Gradient domain adaptive tone mapping algorithm based on color correction model[J]. Laser and Optoelectronics Progress, 2020, 57(8): 77-83.)
[14]Land E H, McCann J J. Lightness and retinex theory[J]. Josa, 1971, 61(1): 1-11.
[15]沈豐, 趙宇明. 基于實時Retinex與雙邊濾波的圖像增強算法[J]. 計算機應用與軟件, 2009, 26(11): 234-238, 258. (Shen Feng, Zhao Yuming. Image enhancement algorithm based on real-time Retinex and bilateral filtering[J]. Journal of Computer Applications and Software, 2009, 26(11): 234-238, 258.)
[16]田會娟, 蔡敏鵬, 關濤, 等. 基于YCbCr顏色空間的Retinex低照度圖像增強方法研究[J]. 光子學報, 2020, 49(2): 173-184. (Tian Huijuan, Cai Minpeng, Guan Tao, et al. Low-light image enhancement method using Retinex method based on YCbCr color space[J]. Acta Photonica Sinica, 2020, 49(2): 173-184.)
[17]孫峰, 李博, 高紫俊, 等. 一種基于Retinex理論礦井下圖像增強算法[J]. 大連工業(yè)大學學報, 2023, 42(2): 151-156. (Sun Feng, Li Bo, Gao Zijun, et al. A mine image enhancement algorithm based on Retinex theory[J]. Journal of Dalian Polytechnic University, 2023, 42(2): 151-156.)
[18]Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround Retinex[J]. IEEE Trans on Image Processing, 1997, 6: 451-462.
[19]Rahman Z, Jobson D J, Woodell G A. Multi-scale retinex for color image enhancement[C]// Proc of the 3rd IEEE International Confe-rence on Image Processing. Piscataway, NJ: IEEE Press, 1996: 1003-1006.
[20]Dong Xuan, Pang Yi, Wen Jiangtao. Fast efficient algorithm for enhancement of low lighting video [C]// Proc of IEEE International Conference on Multimedia and Expo. Piscataway, NJ: IEEE Press, 2011: 1-6.
[21]劉洋, 潘靜, 龐彥偉. 一種基于暗原色先驗的低照度視頻增強算法[J]. 電子測量技術, 2013, 36(10): 55-57, 77. (Liu Yang, Pan Jing, Pang Yanwei. Low lighting video enhancement algorithm based on dark channel prior[J]. Electronic Measurement Technology, 2013, 36(10): 55-57, 77.)
[22]Li Dan, Shi Hanqin, Wang Hongdong, et al. Image enhancement method based on dark channel prior[C]// Proc of International Conference on Computer Engineering and Artificial Intelligence. Pisca-taway, NJ: IEEE Press, 2022: 200-204.
[23]LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[24]Lore K G, Akintayo A, Sarkar S. LLNet: a deep autoencoder app-roach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662.
[25]Park S, Yu S, Kim M, et al. Dual autoencoder network for Retinex-based low-light image enhancement[J]. IEEE Access, 2018, 6: 22084-22093.
[26]Chen Wei, Wang Wenjing, Yang Wenhan, et al. Deep Retinex decomposition for low-light enhancement [EB/OL]. (2018-08-14). https://arxiv.org/abs/1808.04560.
[27]Zhang Yonghua, Zhang Jiawan, Guo Xiaojie. Kindling the darkness: a practical low-light image enhancer[C]// Proc of the 27th ACM International Conference on Multimedia. New York: ACM Press, 2019: 1632-1640.
[28]Zhang Yonghua, Guo Xiaojie, Ma Jiayi, et al. Beyond brightening low-light images[J]. International Journal of Computer Vision, 2021, 129: 1013-1037.
[29]Wang Wenjing, Wei Chen, Yang Wenhan, et al. GLADNet: low-light enhancement network with global awareness[C]// Proc of the 13th IEEE International Conference on Automatic Face amp; Gesture Recognition. Piscataway, NJ: IEEE Press, 2018: 751-755.
[30]Wang Yufei, Wan Renjie, Yang Wenhan, et al. Low-light image enhancement with normalizing flow[C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2022: 2604-2612.
[31]Cai Jianrui, Gu Shuhang, Zhang Lei. Learning a deep single image contrast enhancer from multi-exposure images[J]. IEEE Trans on Image Processing, 2018, 27(4): 2049-2062.
[32]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]// Proc of the 18th Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241.
[33]Yang Xin, Xu Ke, Song Yibing, et al. Image correction via deep reciprocating HDR transformation[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2018: 1798-1807.
[34]Ko K, Kim C S. IceNet for interactive contrast enhancement[J]. IEEE Access, 2021, 9: 168342-168354.
[35]Wu Wenhui, Weng Jian, Zhang Pingping, et al. Uretinex-Net: Retinex-based deep unfolding network for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2022: 5901-5910.
[36]Wu Yuhui, Pan Chen, Wang Guoqing, et al. Learning semantic-aware knowledge guidance for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway, NJ: IEEE Press, 2023: 1662-1671.
[37]Hai Jiang, Xuan Zhu, Yang Ren, et al. R2RNet: low-light image enhancement via real-low to real-normal network[J]. Journal of Visual Communication and Image Representation, 2023, 90: 103712.
[38]Liu Xinyi, Xie Qi, Zhao Qian, et al. Low-light image enhancement by Retinex-based algorithm unrolling and adjustment[J/OL]. IEEE Trans on Neural Networks and Learning Systems. (2023-07-06). https://doi.org/10.1109/TNNLS.2023.3289626.
[39]Li Jiaqian, Li Juncheng, Fang Faming, et al. Luminance-aware pyramid network for low-light image enhancement[J]. IEEE Trans on Multimedia, 2020, 23: 3153-3165.
[40]Xu Ke, Yang Xin, Yin Baocai, et al. Learning to restore low-light images via decomposition-and-enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 2281-2290.
[41]Wang Yang, Cao Yang, Zha Zhengjun, et al. Progressive Retinex: mutually reinforced illumination-noise perception network for low-light image enhancement[C]// Proc of the 27th ACM International Confe-rence on Multimedia. New York: ACM Press, 2019: 2015-2023.
[42]Cai Yuanhao, Bian Hao, Lin Jing, et al. RetinexFormer: one-stage Retinex-based Transformer for low-light image enhancement[C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2023: 12504-12513.
[43]Cui Ziteng, Li Kunchang, Gu Lin, et al. You only need 90k parameters to adapt light: a light weight transformer for image enhancement and exposure correction [EB/OL]. (2022-05-30). https://arxiv. org/abs/2205.14871.
[44]Brateanu A, Balmez R, Avram A, et al. LYT-NET: lightweight YUV Transformer-based network for low-light image enhancement[EB/OL]. (2024-01-16). https://arxiv.org/abs/2401.15204.
[45]羅俊, 宣士斌, 劉家林. 噪聲指導下過濾光照風格實現(xiàn)低光照場景的語義分割[J]. 計算機應用研究, 2024, 41(1): 314-320. (Luo Jun, Xuan Shibin, Liu Jialin. Filtering illumination style under guidance of noise to achieve semantic segmentation of low-light scenes[J]. Application Research of Computers, 2024, 41(1): 314-320.)
[46]Guo Chunle, Li Chongyi, Guo Jichang, et al. Zero-reference deep curve estimation for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Rcognition. Piscataway, NJ: IEEE Press, 2020: 1780-1789.
[47]Li Chongyi, Guo Chunle, Loy C C. Learning to enhance low-light ima-ge via zero-reference deep curve estimation[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2021, 44(8): 4225-4238.
[48]Zhu Anqi, Zhang Lin, Shen Ying, et al. Zero-shot restoration of underexposed images via robust Retinex decomposition[C]// Proc of IEEE International Conference on Multimedia and Expo. Piscataway, NJ: IEEE Press, 2020: 1-6.
[49]Jiang Zhuqing, Li Haotian, Liu Liangjie, et al. A switched view of Retinex: deep self-regularized low-light image enhancement [J]. Neurocomputing, 2021, 454: 361-372.
[50]Xu Kai, Chen Huaian, Xu Chunmei, et al. Structure-texture aware network for low-light image enhancement[J]. IEEE Trans on Circuits and Systems for Video Technology, 2022, 32(8): 4983-4996.
[51]Jiang Yifan, Gong Xinyu, Liu Ding, et al. EnlightenGAN: deep light enhancement without paired supervision[J]. IEEE Trans on Image Processing, 2021, 30: 2340-2349.
[52]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-09-04). https://arxiv.org/abs/1409.1556.
[53]Fu Ying, Hong Yang, Chen Linwei, et al. LE-GAN: unsupervised low-light image enhancement network using attention module and identity invariant loss[J]. Knowledge-Based Systems, 2022, 240: 108010.
[54]Wang Renjun, Jiang Bin, Yang Chao, et al. MAGAN: unsupervised low-light image enhancement guided by mixed-attention[J]. Big Data Mining and Analytics, 2022, 5(2): 110-119.
[55]Zheng Naishan, Huang Jie, Zhou Man, et al. Learning semantic degradation-aware guidance for recognition-driven unsupervised low-light image enhancement[C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2023: 3678-3686.
[56]Liang Jinxiu, Xu Yong, Quan Yuhui, et al. Self-supervised low-light image enhancement using discrepant untrained network priors[J]. IEEE Trans on Circuits and Systems for Video Technology, 2022, 32(11): 7332-7345.
[57]Yu Wenshuo, Zhao Liquan, Zhong Tie. Unsupervised low-light image enhancement based on generative adversarial network[J]. Entropy, 2023, 25(6): 932.
[58]Zhen Tong, Peng Daxin, Li Zhihui. Cyclic generative attention-adversarial network for low-light image enhancement[J]. Sensors, 2023, 23(15): 6990.
[59]Ma Long, Ma Tengyu, Liu Risheng, et al. Toward fast, flexible, and robust low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2022: 5637-5646.
[60]Mukherjee S, Agarwala A, Agarwala R. A review on generative adversarial networks[J/OL]. Machine Learning and Internet of Things for Societal Issues. (2022-02-25). https://doi.org/10.1007/978-981-16-5090-1_1.
[61]Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.
[62]Chan S H, Khoshabeh R, Gibson K B, et al. An augmented Lagrangian method for total variation video restoration[J]. IEEE Trans on Image Processing, 2011, 20(11): 3097-3111.
[63]Chen Chen, Chen Qifeng, Xu Jia, et al. Learning to see in the dark[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2018: 3291-3300.
[64]Chen Chen, Chen Qifeng, Do M N, et al. Seeing motion in the dark[C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2019: 3185-3194.
[65]Bychkovsky V, Paris S, Chan E, et al. Learning photographic global tonal adjustment with a database of input/output image pairs[C]// Proc of Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2011: 97-104.
[66]Kalantari N K, Ramamoorthi R. Deep high dynamic range imaging of dynamic scenes[J]. ACM Trans Graph, 2017, 36(4): 144:1-144: 12.
[67]Loh Y P, Chan C S. Getting to know low-light images with the exclusively dark dataset[J]. Computer Vision and Image Understan-ding, 2019, 178: 30-42.
[68]Liu Risheng, Ma Long, Zhang Jiaao, et al. Retinex-inspired unrol-ling with cooperative prior architecture search for low-light image enhancement[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2021: 10561-10570.
[69]Howard A G, Zhu Menglong, Chen Bo, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17). https://arxiv.org/abs/1704.04861.
[70]Sandler M, Howard A, Zhu Menglong, et al. MobileNetv2: inverted residuals and linear bottlenecks[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2018: 4510-4520.
[71]Sun Long, Liu Zhenbing, Sun Xiyan, et al. Lightweight image super-resolution via weighted multi-scale residual network[J]. IEEE/CAA Journal of Automatica Sinica, 2021, 8(7): 1271-1280.