基于深度學習的低照度圖像增強技術研究綜述

燕雨潔，張煜朋，賈珍珠，蘇紅旗

（中國礦業(yè)大學（北京），北京 100083）

0 引言

生活中，光線暗，照度低、曝光不足會導致圖片整體亮度偏低，噪聲大，邊緣細節(jié)信息丟失嚴重，影響圖像視覺效果，因此對低照度圖像進行處理是極有必要的。

早年間，主要采用直方圖均衡化、伽馬變換、Retinex理論[1]等方法對低照度圖像進行增強。雖然這些方法在一些程度上可以提高圖像的亮度，增強圖像的可讀性，但同樣存在一些棘手的問題無法解決，如：增強后的圖像色彩不均，顏色失真，圖像有大量光暈出現。后來，隨著深度學習在不同領域的應用取得不錯成果后，大量學者開始將目光投向于用深度學習的方法增強低照度圖像。

目前，經過大量實驗證明，基于深度學習的方法在低照度圖像增強上具有可行性。增強后圖像無論從主觀的視覺體驗還是客觀的圖像質量評價方面的表現都十分出色。

1 傳統(tǒng)的低照度圖像增強算法

目前，應用比較廣泛的傳統(tǒng)的低照度圖像增強算法主要分為4類，分別是基于色調映射算法、基于背景融合算法、基于直方圖均衡化算法和基于模型算法[2]。

1.1 基于色調映射算法

色調映射技術產生于20世紀90年代，主要通過擴展低照度圖像的動態(tài)范圍，提高圖像的亮度，改善圖像的光照不均勻性。色調映射方法可以大致分為兩類：全局方法與局部方法。

全局方法對圖像的動態(tài)范圍變換中的每個像素應用相同的變換曲線，選擇不同的曲線可以達到不同的視覺效果。這種算法計算簡單，實現容易。但是由于對圖像中所有像素的變換相同，得到的圖像在色度、亮度和細節(jié)方面都有一定的損失。局部色調映射算法的實質是圖像中每個像素的映射曲線都是同鄰域像素信息相關的，其優(yōu)勢在于通過對圖像局部特征進行處理，彌補了全局算法不能保留局部特征的缺點。

1.2 基于背景融合算法

背景融合類算法是將白天的亮度信息融合到夜間的圖像中，利用白天背景的亮度來增強夜間圖像的像素，從而達到增強人眼視覺的效果。侯雷等人曾采用平均K幀的方法獲取白天背景，再利用Retinex理論提取了白天背景和夜間視頻幀的亮度，采用幀差法提取了夜間視頻幀的移動物，將相同場景的白天背景亮度融合夜間幀的視頻以達到圖像增強的目的[3]。

1.3 基于直方圖均衡化算法

直方圖均衡化算法是圖像增強空域法中最常用的圖像增強的方法，其基本思想是將圖像的灰度直方圖從較為集中的某灰度區(qū)間拉伸至全部灰度范圍內，擴大圖像灰度值的范圍，提升圖像對比度并突出部分細節(jié)效果。直方圖法能有效提高對比度，處理速度快，但容易出現色差，灰度合并會丟失細節(jié)信息。

1.4 基于模型算法

基于模型的低照度圖像增強算法常見的有基于Retinex模型和基于大氣散射模型。Retinex模型是由Land等人提出的一種模仿人類視覺系統(tǒng)感知圖像的亮度和真實色彩的模型。根據該理論可知人眼感知到的物體的顏色和亮度是由物體表面的反射特性決定的，與投射到人眼上的光譜特性無關。大氣散射模型是因為反演后的低照度圖像與濃霧條件下得到的圖像相似，因此可以利用除霧算法對反演后的低照度圖像進行處理和增強。

雖然基于模型的算法可以增強低照度圖像的整體信息，但算法結構不靈活，局部信息增強效果不好，算法的可擴展性不佳。

2 基于深度學習的低照度圖像增強方法

近年來人工智能技術飛速發(fā)展，深度學習作為其重要的分支，在語音識別、圖像識別等領域均取得了不錯的成就。目前，雖然低照度圖像的技術在不斷更新，但是傳統(tǒng)的方法依舊有難以解決的弊端，故眾多學者將研究的思路轉向了深度學習技術上。目前處理低照度圖像常用的深度學習模型主要可以分為兩類：深度生成式模型和深度判別式模型。判別式模型是完全根據數據得出結果，而生成式模型會有人為設定的條件建立模型，再通過利用假設建立的模型得出結果。

2.1 深度生成式模型

2.1.1 自編碼器

自編碼器是一種利用反向傳播算法使輸出值等于輸入值的神經網絡。它首先將輸入壓縮成潛在空間表征，然后通過這種表征來重構輸出。自編碼器由編碼器和解碼器組成。編碼器將輸入壓縮為潛在空間表征，解碼器重建潛在空間表征的輸入。

2017年，Lore等[4]最早提出了將LLNet網絡用于處理低照度圖像的想法，并通過實驗證明了其可行性，由此拉開了深度學習在圖像增強領域應用的序幕。Lore利用LLNet網絡將低亮度、低噪聲的圖像輸入編碼器進行訓練，由于自編碼器具有去噪的能力，低光圖像通過自動編碼器訓練后，圖像中的基礎信號特征被學習，然后對信號特征進行重構，得到明亮的圖像，從而達到對低照度圖像自適應增亮和去噪的效果。但是在實際場景下將LLNet網絡對彩色圖像進行處理時會產生較多的冗余參數。因此王萬良、楊小涵等[5]人在LLNet網絡基礎上提出了卷積自編碼器的圖像增強方法。將LLNet網絡中進行低光處理的模塊加入到整體網絡框架中，將卷積操作當作自編碼器的編碼運算，得到低光圖像的低維特征表示。此時網絡學習到低光圖像的隱藏特征，然后進行反卷積，得到重構明亮圖像。該方法能夠有效節(jié)約時間成本，減少網絡參數，提高網絡訓練效率，得到更好的圖像低維表示。

2.1.2 生成式對抗網絡

生成對抗網絡(Generative Adversarial Networks ，GAN)[6]是一種無監(jiān)督的深度學習模型。該模型包括生成器和判別器，其原理是用生成器生成的數據來“欺騙”判別器。判別器用來判斷樣本的真實度，而生成器則不斷加強自己的能力，使生成的樣本越來越接近真實的樣本。通過不斷迭代，直至判別器區(qū)分不出接收的樣本到底是來自真實樣本還是來自生成的樣本。

GAN與其他生成模型相比，只使用反向傳播，不需要復雜的馬爾科夫鏈，可以生成清晰真實的樣本。2017年Ignatov等[7]提出了一種基于GAN模型的圖像增強方法。該模型雖然具有一定的圖像增強效果，但由于原始圖像與目標圖像之間有很強的對應匹配關系，是一個強監(jiān)督過程，算法的通用性不強。后來，作者在此基礎上進行改進，采用弱監(jiān)督網絡模型WESPE[8]，使輸入數據和輸出數據分別是低質量圖像和高質量圖像，使得內容上不再需要對應。為了保證圖像內容的一致性，采用VGG19網絡計算內容損失，避免了原圖像與目標圖像之間強烈的對應匹配關系。

此外，為了解決低照度圖像視覺感知差、圖像內容分辨率難等問題，黃鐄等[9]采用卷積網絡作為生成網絡，加入具有二元分類功能的卷積神經網絡（Convolutional Neural Networks，CNN）作為判別模型，使圖像的亮度、清晰度和色彩恢復都有了很大的提高。陳清江，曲梅[10]先后提出了一種基于級聯殘差產生對抗網絡的低照度增強算法，利用Retinex理論將RGB圖像轉換為HSV空間，并對亮度分量進行處理。該模型中的生成網絡是一個級聯殘差網絡，它可以建立低照度圖像和正常圖像之間的亮度映射關系，并通過反向傳播算法訓練網絡的權值，以提高生成網絡正常圖像的能力。

2.2 深度判別式模型

2.2.1 卷積神經網絡模型

卷積神經網絡是一種常用的深度學習模型。典型的卷積神經網絡由卷積層、池化層和全連接層三部分組成，卷積層負責提取圖像的局部特征，池化層用于降低參數的量級，全連接層負責輸出期望的結果。

由于卷積神經網絡具有局部連接和權值共享的特性，減少了訓練參數，降低了網絡模型的復雜性，因此被提出用于低照度圖像的增強。Shen等[11]在arxiv上發(fā)表的低光照圖像增強的文章中提出了一個新穎的觀點：傳統(tǒng)的多尺度Retinex方法等效于有著不同高斯卷積核的前饋神經網絡。隨后提出了包含多尺度的對數變換、差分卷積和色彩復原函數這三部分組成的MSR-Net網絡，直接學習暗圖像到亮圖像端到端的映射。但是由于該模型中接收的圖像畫面有限，會受到光暈效應的影響，使光滑區(qū)域（例如晴朗的天空）具有halo現象。2018年，Li等[12]提出了卷積神經網絡弱光照圖像增強算法(LNET) ，該方法利用Retinex模型，使用卷積神經網絡來估計光照圖像，利用用引導濾波優(yōu)化光照圖像，最后獲得增強后圖像。為了避免增強后的圖像顏色失真，馬紅強等[13]提出了基于深度卷積神經網絡（DCNN）的低照度增強的算法。首先將圖像由RGB空間轉換成HIS顏色空間。保持色度和飽和度分量不變，然后將亮度分量通過DCNN網絡進行增強，最后再把合成后的圖像轉換回RGB空間。與其他算法相比，此方法明顯改善了強增強現象，在主觀感受和客觀評價方面表現很好。

目前大多學者均是將卷積網絡與Retinex模型結合起來估計光照圖像或者反射圖像進行處理。而程宇等[14]另辟蹊徑，將弱光圖像利用限制對比度自適應直方圖均衡、伽馬變換、對數變換、亮通道增強的方法首先生成四張派生圖，然后將弱光圖像同四張派生圖一起輸入到CNN網絡中輸出增強圖像。該方法通過在合成數據集上的訓練，成功學習到了映射規(guī)律，直接端到端地實現了圖像的增強，效果很好。

2.2.2 循環(huán)神經網絡

循環(huán)神經網絡（Recurrent Neural Network，RNN）的原理比較簡單，它跟傳統(tǒng)神經網絡最大的區(qū)別在于每次都會將前一次的輸出結果，帶到下一次的隱藏層中一起訓練。

循環(huán)神經網絡可以與其他網絡相結合組成混合網絡對圖像進行訓練，以此增強低照度圖像的可見性。Ren[15]便利用循環(huán)神經網絡提出了深度混合網絡來增強低光照圖像，該網絡包括對內容和細節(jié)處理兩部分，對內容的處理主要是用來預測輸入圖片的場景信息，是一個編解碼結構，以此達到增亮場景的效果。但是，內容部分在處理過程中，編碼器往往會丟失一些結構細節(jié)，故在處理細節(jié)部分時提出了一種空間變體的RNN結構，在另一個自動編碼器的指導下對邊緣細節(jié)進行建模，引入兩個權重g和p作為輸入特征加入到RNN的隱含層狀態(tài)中，增強RNN結構獲取的圖像邊緣，更好地預測結構化信息。

3 數據集與圖像評價標準

3.1 數據集介紹

深度學習的背后是深度神經網絡，它需要以大量的數據樣本訓練作為支撐，使最終的訓練模型具有泛化性。所以，數據量的大小對于深度學習來說非常重要。目前對于低照度增強可使用的數據集有SID Dataset，MIT-Adobe FiveK Dataset等。SID Dataset數據集包含5 094張短曝光圖像及其對應的長曝光參考圖像。數據集包含了室內和室外的圖像，其中室外場景照度在0.2 lux～5 lux，室內場景照度在0.03 lux～0.3 lux。MIT-Adobe FiveK dataset數據集是用單反相機拍攝的5 000張RAW格式照片，并在后期請專門的修圖人員進行調整照片的色調得到的數據集，是現在很多做圖像增強與圖像修飾方面研究的人員經常會使用到的數據庫。

此外，也有一些學者在進行實驗前，自己構建數據集，如Ignatov等人用不同的拍攝設備在相同條件下拍攝多張圖片構建了一個大型的數據集用于模型訓練。

3.2 圖像評價標準

3.2.1 主觀評價

主觀評價是從視覺效果上對比增強后的圖像與低照度圖像的區(qū)別。即：對相同的低光照圖片，用不同的算法進行處理，然后找其他人來做評價，選出最好的算法，但是人為評價會受到很大外界因素的影響，如：觀察者對色彩的審美不同，觀察角度不同等。這些因素導致了主觀評價很難有一個固定的標準，不具有科學性。

3.2.2 客觀評價

客觀評價是將增強前后的圖片通過使用數學模型給出量化值，計算某些指標來對圖像的好壞進行判斷。目前常用的評價指標有峰值信噪比（Peak Signal-to-noise Ratio，PSNR），結構相似性（Structural Similarity，SSIM）和自然圖像質量評估（Natural Image Quality Evaluator，NIQE）。

PSNR是一種評價圖像的客觀標準。它是原圖像與被處理圖像之間的均方誤差相對于的對數值(n是每個采樣值的比特數)。PSNR的值越大，就代表失真越少，圖像的質量越好。

SSIM是一種衡量兩幅圖像相似度的指標，它把與物體結構相關的亮度和對比度作為圖像中結構信息的定義。用均值作為亮度的估計，標準差作為對比度的估計，協(xié)方差作為結構相似程度的度量。其值越大越好，最大為1。

NIQE提取自然景觀中的特征來對測試圖像進行測試，并且將這些特征用于擬合一個多元的高斯模型。這個模型實際上是衡量一張待測圖像在多元分布上的差異，這個分布是由一系列的正常的自然圖像中提取的這些特征所構建的。

4 問題及展望

目前基于深度學習的方法在低照度圖像增強領域應用十分廣泛，它能夠解決傳統(tǒng)方法需要不斷進行實驗對參數進行調節(jié)的問題，同時增強后的圖片在色彩上更加協(xié)調，邊緣細節(jié)十分突出，圖片中含有的噪聲也得到了抑制。但是目前該方法依舊存在許多問題。由于訓練時必須要給出大量同樣場景下照度不同的圖片，但是目前該種類的數據庫資源不豐富，缺乏訓練樣本，在實施上帶來了一定的困難。此外，對增強后的圖像評價標準也存在一定的問題，比如若使用PSNR作為評價指標，但由于人眼的視覺對于誤差的敏感度并不是絕對的，PSNR 的分數無法和人眼看到的視覺品質完全一致，有可能 PSNR 較高者看起來反而比 PSNR 較低者差。而NIQE是一個對圖像的全局判斷方法，在某些場合也并不十分合適，無法方便地拓展到對圖像局部的判斷。但是這些不足以影響該方法對于低照度圖像增強的使用，相信隨著更加深入的研究，基于深度學習的低照度圖像增強方法會有更加完美的表現。