夜晚圖像增強(qiáng)方法綜述

姜雪松 姚鴻勛

摘要：夜晚圖像增強(qiáng)作為圖像增強(qiáng)領(lǐng)域的一個(gè)重要分支，一直受到學(xué)者們的關(guān)注。夜晚圖像增強(qiáng)的目標(biāo)是提升夜晚圖像的整體質(zhì)量，包括提升亮度和細(xì)節(jié)可見度、抑制噪聲等方面。本文收集了大量真實(shí)夜晚圖像，并通過(guò)人工合成大量低照度圖像，使用這些數(shù)據(jù)對(duì)多種夜晚圖像增強(qiáng)方法進(jìn)行分析，比較各種方法在夜晚圖像增強(qiáng)任務(wù)中的表現(xiàn)，對(duì)這些方法的原理、優(yōu)點(diǎn)和存在的不足加以分析。研究使用主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種圖像質(zhì)量評(píng)價(jià)方法同時(shí)評(píng)價(jià)不同方法的性能，主觀評(píng)價(jià)從視覺感知方向直接評(píng)價(jià)增強(qiáng)圖像的質(zhì)量，客觀評(píng)價(jià)方法則分為有參考的圖像質(zhì)量評(píng)價(jià)和無(wú)參考的圖像質(zhì)量評(píng)價(jià)，本文分別使用生成低照度圖像和真實(shí)夜晚圖像測(cè)試所有算法性能，為了保證對(duì)比實(shí)驗(yàn)的公正性，所有算法的參數(shù)都按照原論文參數(shù)設(shè)置。分析和實(shí)驗(yàn)結(jié)果表明，基于圖像處理方法的夜晚圖像增強(qiáng)方法能夠有效提升圖像亮度，但也發(fā)現(xiàn)了傳統(tǒng)圖像處理在夜晚圖像增強(qiáng)問題中存在的瓶頸，而基于機(jī)器學(xué)習(xí)的夜晚圖像增強(qiáng)方法能夠改變夜晚圖像的亮度分布情況，更好地提升夜晚圖像質(zhì)量，夜晚圖像增強(qiáng)的進(jìn)一步發(fā)展必然使用機(jī)器學(xué)習(xí)方法。

關(guān)鍵詞： 夜晚圖像增強(qiáng); 圖像處理; Retinex模型; 圖像分解; 深度學(xué)習(xí)

【Abstract】 Nighttime image enhancement， as an important branch of image enhancement， has attracted the attention of researchers. The goal of nighttime image enhancement is to improve the overall quality of night image， including enhancing brightness and detail visibility， suppressing noise and so on. Firstly， this paper collects a large number of real night images and synthesizes a large number of low-light images artificially. Then， the paper uses these data to analyze various nighttime image enhancement methods， compares their performance， and analyzes the principles， advantages and disadvantages of these methods. After that， the paper uses subjective evaluation and objective evaluation to evaluate the performance of different methods at the same time. Subjective evaluation directly evaluates the quality of enhanced images from the direction of visual perception. The objective evaluation methods are divided into reference image quality evaluation and non-reference image quality evaluation.Low-light is used respectively. Degree image and real night image test the performance of all algorithms. In order to ensure the fairness of the contrast experiment， all the parameters of the algorithms are applied to set according to the parameters of the original paper. The analysis and experimental results show that the night image enhancement method based on image processing method can effectively improve the brightness of the image， but it also finds the bottleneck of the traditional image processing in the night image enhancement. The night image enhancement method based on machine learning can change the brightness distribution of the night image and improve the night image quality better. The further development of night image enhancement will inevitably use machine learning method.

【Key words】 ?nighttime image enhancement; image processing; Retinex model; image decomposition; deep learning

0 引 言

在人們的日常生活、生產(chǎn)過(guò)程中，難免會(huì)在夜晚采集數(shù)字圖像，以獲得當(dāng)時(shí)的信息;或者在夜間場(chǎng)景下工作，與場(chǎng)景中的物體產(chǎn)生互動(dòng)。而這些都需要在夜晚環(huán)境中采集圖像或視頻（本文將視頻視為圖像序列，后文將僅就單幅圖像進(jìn)行分析，事實(shí)上，夜間視頻因包含更多信息比單幅夜晚圖像更容易處理），這就讓夜晚圖像增強(qiáng)算法的研究有很高的應(yīng)用價(jià)值和科研價(jià)值。

在夜晚環(huán)境中采集的圖像，由于夜間照明的特殊性，光源來(lái)源復(fù)雜，強(qiáng)弱不一，使得夜間環(huán)境或者光線亮度不足（如黯淡月光、星光、燭光等），拍攝的圖像亮度值極低，可見度和對(duì)比度嚴(yán)重下降，并伴隨著大量的隨機(jī)噪聲;或者光照分布不均勻（局部有光源照射，如車燈、路燈、日光燈等），使部分區(qū)域照明充足而周邊區(qū)域亮度極低，影響這些區(qū)域的細(xì)節(jié)可見度和局部對(duì)比度，并在較暗區(qū)域產(chǎn)生比其他區(qū)域更復(fù)雜的噪聲分布;抑或因?yàn)楣庠磥?lái)源復(fù)雜（如鈉燈、霓虹燈等），產(chǎn)生的光照本身并非白色光照，改變場(chǎng)景內(nèi)物體表面的色彩，使拍攝得到的圖像出現(xiàn)色彩偏差。而夜晚增強(qiáng)算法針對(duì)的是夜晚環(huán)境的特點(diǎn)，提升夜晚圖像的質(zhì)量，包括提升亮度和對(duì)比度，增強(qiáng)圖像細(xì)節(jié)的可見度，抑制噪聲等級(jí)以及校正出現(xiàn)的色彩偏差問題等等。

綜上所述，夜晚圖像增強(qiáng)面臨的問題復(fù)雜，幾個(gè)問題之間相互關(guān)聯(lián)影響，在設(shè)計(jì)圖像增強(qiáng)算法時(shí)很難逐一解決上述問題，往往需要借助各種假設(shè)和先驗(yàn)簡(jiǎn)化問題難度，或者將所有問題構(gòu)建在統(tǒng)一的增強(qiáng)算法框架中。因此，增強(qiáng)夜晚圖像相比有目標(biāo)導(dǎo)向的增強(qiáng)普通圖像更難找到合適的方法。針對(duì)上述難題，研究者們提出了不同的假設(shè)和先驗(yàn)，在一個(gè)方法中解決一個(gè)或多個(gè)問題。

1 夜晚圖像增強(qiáng)算法

1.1 基于底層圖像處理的夜晚圖像增強(qiáng)方法

夜晚圖像最顯著的特點(diǎn)就是圖像亮度和對(duì)比度低，細(xì)節(jié)的辨識(shí)程度差，從這個(gè)問題分析，提升圖像亮度最簡(jiǎn)單直接的方法就是使用線性函數(shù)放大圖像亮度，然而這一方法缺點(diǎn)明顯，因?yàn)榉椒ㄖ胁捎玫氖侨痔嵘炼鹊奶幚矸绞?，不考慮圖像內(nèi)亮度的空間分布，使增強(qiáng)后的結(jié)果在亮度高的區(qū)域出現(xiàn)不可避免的過(guò)飽和現(xiàn)象，細(xì)節(jié)丟失嚴(yán)重。為了避免這一現(xiàn)象出現(xiàn)，非線性單調(diào)映射函數(shù)更適合提升圖像的亮度，如冪律函數(shù)（Power-law function）[1]、對(duì)數(shù)函數(shù)（logarithm function）[2]、伽馬函數(shù)（gamma function）[3]等。這些非線性函數(shù)通過(guò)調(diào)整參數(shù)改變圖像亮度的增強(qiáng)幅度，利用非線性函數(shù)的特點(diǎn)避免亮度較高區(qū)域和低亮度區(qū)域增強(qiáng)相同幅度引起的失真，保持增強(qiáng)結(jié)果的圖像質(zhì)量。其中，伽馬函數(shù)的應(yīng)用較為廣泛，配合其他圖像處理方法能夠合理地提升圖像亮度，這些方法都屬于全局的圖像增強(qiáng)算法。直方圖均衡化（Histogram equalization，HE）[4]也是全局圖像處理方法之一，也能夠增強(qiáng)圖像亮度。HE能夠拉伸圖像的直方圖的空間分布，提升部分像素的亮度值，增大圖像對(duì)比度，雖然同樣不考慮像素點(diǎn)的空間分布信息，但是由于其算法簡(jiǎn)單，可用性強(qiáng)，現(xiàn)已廣泛地使用到多種圖像處理領(lǐng)域。HE的許多擴(kuò)展算法也被用來(lái)增強(qiáng)低照度圖像，加入亮度限制[5-7]、對(duì)比度限制[8]、圖像金字塔[9]都能提升HE的性能。但是全局增強(qiáng)方法并不考慮圖像內(nèi)的亮度分布信息和細(xì)節(jié)丟失，提升亮度的映射函數(shù)兼顧全局的同時(shí)無(wú)法保證圖像所有區(qū)域都得到有效的提升，難以保證圖像質(zhì)量。

全局夜晚圖像增強(qiáng)算法不考慮圖像內(nèi)亮度和細(xì)節(jié)的空間分布，使用統(tǒng)一的參數(shù)和模式提升圖像亮度，總是帶來(lái)不可避免的副效應(yīng)。學(xué)者們將目光投向了局部圖像處理方法。對(duì)全局圖像增強(qiáng)算法最直接的改進(jìn)是局部直方圖均衡化方法（Local histogram equalization，LHE）[10-12]，使用滑動(dòng)窗口策略調(diào)整局部圖像塊的直方圖來(lái)增強(qiáng)圖像塊的對(duì)比度，通?？梢苑譃閳D像分塊算法（即滑動(dòng)窗口無(wú)重疊）、滑動(dòng)窗口重疊算法和滑動(dòng)窗口部分重疊算法，三者各有優(yōu)劣，圖像分塊算法計(jì)算速度快，細(xì)節(jié)增強(qiáng)充分，但是各圖像塊之間直方圖均衡函數(shù)差異較大，容易產(chǎn)生塊效應(yīng);滑動(dòng)窗口重疊算法便利圖像所有像素，能夠有效避免塊效應(yīng)，但是算法效率低，計(jì)算消耗資源多;滑動(dòng)窗口部分重疊算法綜合上述二者特點(diǎn)，采用更大的移動(dòng)步長(zhǎng)，平均多次均衡的像素灰度值作為最終輸出圖像的灰度值。此外，還存在大量的基于局部直方圖均衡化的變種算法，但大體框架如上，這在里不做一一贅述。

一些研究者將全局圖像增強(qiáng)和局部圖像增強(qiáng)算法的特點(diǎn)融合，采用多種增強(qiáng)算法疊加的策略增強(qiáng)低照度圖像。這些方法通常不采用單一的非線性函數(shù)或直方圖均衡化方法，而是通過(guò)變換色彩空間，分別處理圖像的亮度、飽和度和對(duì)比度等信息，使用全局色調(diào)映射、局部色調(diào)映射、全局與局部直方圖處理等方法組合在一起，構(gòu)建復(fù)雜的色彩與亮度調(diào)整方法 [13-17]。如文獻(xiàn)[13]中采用的方式，使用圖像亮度計(jì)算非線性映射的參數(shù)，通過(guò)多次全局色調(diào)映射、照明估計(jì)、直方圖調(diào)整、紋理提取和主成分分析（Principal component analysis，PCA）一系列算法，組成了復(fù)雜的圖像增強(qiáng)策略，實(shí)驗(yàn)效果良好，針對(duì)低照度圖像有明顯的亮度提升功效，同時(shí)避免了較亮區(qū)域的失真，其更適用于HDR圖像的增強(qiáng)。但是這一類方法結(jié)構(gòu)復(fù)雜，且難以控制實(shí)驗(yàn)結(jié)果，固定的參數(shù)不具有普適性，難以應(yīng)對(duì)夜晚圖像增強(qiáng)面臨的復(fù)雜問題。

1.2 基于底層圖像處理的夜晚圖像增強(qiáng)方法

基于圖像處理的夜晚圖像增強(qiáng)方法從提升圖像亮度的角度出發(fā)，利用線性或非線性函數(shù)將低照度圖像的亮度向更大的方向拉伸，只是單純從數(shù)學(xué)的角度出發(fā)，并不考慮夜晚圖像成像過(guò)程的物理模型，導(dǎo)致部分情況下增強(qiáng)結(jié)果無(wú)法滿足人們的需求。

Retinex理論[18-19]是人類視覺的一種顏色感知模型，反映人類色覺的基礎(chǔ)機(jī)制，既取決于視網(wǎng)膜感光細(xì)胞（Retina）的捕捉，也取決于這些信號(hào)在大腦皮層（Cortex）的解釋。其基本思想是人感知到某點(diǎn)的顏色和亮度并不僅僅取決于該點(diǎn)進(jìn)入人眼的絕對(duì)光線，還和其周圍的顏色和亮度有關(guān)。Retinex理論建立在3個(gè)假設(shè)之上，即：真實(shí)世界沒有顏色，對(duì)顏色的感知是由光與物質(zhì)的相互作用產(chǎn)生的;每個(gè)顏色區(qū)域可以由固定波長(zhǎng)的紅、綠、藍(lán)三原色構(gòu)成;上述三原色決定每個(gè)像素的色彩。

Retinex理論基礎(chǔ)是物體顏色由物體對(duì)不同波長(zhǎng)光線的反射能力決定，而非反射光線的強(qiáng)度，物體的色彩不會(huì)被光照的非均勻性影響，具有一致性，即Retinex以顏色恒常性為基礎(chǔ)。也就是說(shuō)，在Retinex模型當(dāng)中，光照強(qiáng)度和物體顏色是不相關(guān)的。一般來(lái)說(shuō)，Retinex可以表示為：

I = S·R，[JY]（1）

其中，I表示人眼或攝像設(shè)備能接收到的反射光圖像;S表示入射光圖像，其強(qiáng)度決定了圖像像素值能達(dá)到的動(dòng)態(tài)范圍，反映場(chǎng)景內(nèi)光照信息，因此也被稱為照度分量（或照明圖，Illumination map）;R表示場(chǎng)景內(nèi)物體的反射性質(zhì)圖像，這是物體的固有屬性，不隨光照的變化而改變，也被稱為反射圖（Reflectance map）。

這里如果能夠分離S和R，那么通過(guò)調(diào)整S的強(qiáng)度，就可以實(shí)現(xiàn)對(duì)I的亮度、對(duì)比度提升。不難看出，Retinex需要將一幅圖像分解成2幅圖像，這在數(shù)學(xué)領(lǐng)域?qū)儆凇安B(tài)”問題，因?yàn)閱我坏南袼刂当磉_(dá)了照度信息和圖像內(nèi)容雙重含義，這種情況下要想準(zhǔn)確地估計(jì)照明圖只能依靠計(jì)算像素本身和圖像中其它像素的關(guān)系。Retinex模型的可視化模型如圖1所示，照明圖為灰度圖，色彩信息都包含在反射圖中，而得到的圖像的亮度則受到照明圖的影響，部分區(qū)域變暗。

針對(duì)能夠穩(wěn)定提供多幅同場(chǎng)景不同時(shí)間的圖像或者同一場(chǎng)景一段時(shí)間內(nèi)的多幅圖像的情況，或者可以提供其他種類的場(chǎng)景信息來(lái)源的情形，基于圖像融合的夜晚圖像增強(qiáng)算法能夠取得更優(yōu)異的增強(qiáng)結(jié)果。

最容易得到同一場(chǎng)景不同時(shí)段的多幅圖像就是監(jiān)控場(chǎng)景[35-38]。在監(jiān)控視頻的應(yīng)用場(chǎng)景中，因?yàn)閿z像機(jī)固定，所以可以假設(shè)其拍攝的圖像的背景信息不變。將白天時(shí)拍攝的清晰圖像與夜晚拍攝的降質(zhì)圖像作為算法輸入，提取圖像中不變的物體作為圖像背景，將白天圖像中的背景與夜晚圖像中的前景進(jìn)行融合，得到最終的輸出圖像。這種算法的增強(qiáng)結(jié)果背景亮度值較高，背景保真度也很不錯(cuò)，但是由于沒有合適的增強(qiáng)前景目標(biāo)的方法，使得圖像出現(xiàn)很強(qiáng)的不和諧的感覺，圖像自然性差。而且前景與背景分離的時(shí)候很難把握二者之間的尺度，容易出現(xiàn)失真和二者之間的亮度、色彩過(guò)渡地區(qū)的失真。部分算法考慮的前景的處理問題，對(duì)其進(jìn)行了亮度和對(duì)比度提升，但是由于前景與背景的增強(qiáng)方式區(qū)別很大，過(guò)渡區(qū)域的失真問題仍難以解決。另外存在的問題就是監(jiān)控設(shè)備的穩(wěn)定性問題，因?yàn)楝F(xiàn)實(shí)場(chǎng)景存在震動(dòng)、風(fēng)等多種外在干擾，監(jiān)控設(shè)備的位置會(huì)受到影響，在一定程度上移動(dòng)了監(jiān)控設(shè)備對(duì)準(zhǔn)的位置，即不同時(shí)間拍攝的圖像難以保證是像素對(duì)齊的，這樣融合的時(shí)候產(chǎn)生的結(jié)果質(zhì)量難以保證。而采用圖像匹配方法會(huì)增加計(jì)算消耗，同時(shí)不同照明環(huán)境下的同一物體梯度信息和紋理信息相差較大，很難保證像素間對(duì)齊的準(zhǔn)確率，進(jìn)而影響增強(qiáng)結(jié)果。

目前針對(duì)這一問題，一些其他的方法被提出來(lái)。首先比較直接的做法便是采集同一場(chǎng)景內(nèi)一段時(shí)間內(nèi)的低照度視頻，對(duì)齊進(jìn)行融合得到提升亮度的圖像。這類方法[39-43]等同于在拍照時(shí)延長(zhǎng)曝光時(shí)間，常用于移動(dòng)攝影設(shè)備，如智能手機(jī)、智能相機(jī)等的夜間拍照模式。不難判斷，這一類方法需要場(chǎng)景內(nèi)不存在運(yùn)動(dòng)物體，攝像設(shè)備盡量保持穩(wěn)定以降低融合時(shí)像素偏移造成的干擾。除了使用多幅圖像融合外，研究者們還使用單幅低照度圖像生成多幅關(guān)注不同信息的圖像來(lái)融合成最終的增強(qiáng)結(jié)果。受到HDR圖像融合方法[44-45]的啟發(fā)，使用輸入的低照度圖像的亮度圖生成不同虛擬曝光程度的亮度圖，然后將亮度圖在融合如輸入圖像的色調(diào)、飽和度信息以得到增強(qiáng)結(jié)果。文獻(xiàn)[46-47]的作者都采用了相同的融合方法，即給定初始的照明圖，采用不同的非線性函數(shù)提升照明圖亮度，而后從中提取拉普拉斯圖像金字塔和作為權(quán)重的圖像高斯金字塔，將多幅不同曝光的照明圖融合得到提升亮度的照明圖，最后得到增強(qiáng)結(jié)果。2個(gè)方法的唯一不同之處在于計(jì)算初始照明圖的方法不同，文獻(xiàn)[46]采用HSV色彩空間的明度通道作為初始照明圖，而文獻(xiàn)[47]采用使用指導(dǎo)濾波器[48]的圖像分解方法提取初始照明圖。Ma等人[49]通過(guò)分析低曝光圖像和正常曝光圖像之間的區(qū)別，統(tǒng)計(jì)模擬函數(shù)模擬圖像的曝光過(guò)程，改變參數(shù)即可得到不同曝光程度的圖像，然后將多幅虛擬曝光圖像通過(guò)評(píng)估結(jié)果進(jìn)行像素融合，得到最終的增強(qiáng)圖像，實(shí)驗(yàn)結(jié)果說(shuō)明這類方法提升亮度明顯，色彩保持更鮮艷，保真度較高。

此外，融合不同種類的圖像也能夠提升夜晚圖像的質(zhì)量。最常用的就是融合紅外圖像和可見光圖像以提升圖像質(zhì)量[50-54]?？梢姽鈹z像設(shè)備和紅外攝像設(shè)備放置在同一位置，去除夾角影響后，可見光攝像設(shè)備拍攝場(chǎng)景中物體的顏色信息和照明光變化，紅外攝像設(shè)備不受照明光變化的影響，反映場(chǎng)景內(nèi)物體的的溫度差或輻射差，能夠拍攝出物體的輪廓差異，可以有助于分別背景和目標(biāo)?？梢姽鈭D像與紅外圖像的融合可以從3個(gè)層次進(jìn)行：像素級(jí)、特征級(jí)和決策級(jí)。像素級(jí)圖像融合是最低層次的融合，作為另外兩個(gè)層次的圖像融合方式的基礎(chǔ)，直接對(duì)2幅或多幅圖像中的對(duì)應(yīng)像素點(diǎn)進(jìn)行信息綜合處理。特征級(jí)圖像融合使用在2幅或多幅圖像中提取的特征向量進(jìn)行融合，主要提取圖像中的邊緣、形狀、方向等底層特征，確保圖像之間的特征的對(duì)應(yīng)性。決策級(jí)圖像融合是針對(duì)圖像內(nèi)信息進(jìn)行屬性提取和描述，而后將不同圖像中提取的重要性息融合在一起，最后一種融合得到的屬性作為決策依據(jù)。針對(duì)不同的融合層次，也有不同的融合方法與之相對(duì)應(yīng)。可見光圖像和紅外圖像的融合方法中，常有的方法有基于變換域的融合方法、基于成像模型的融合方法、基于線性加權(quán)的融合方法、基于多尺度分解的融合方法、貝葉斯估計(jì)法、熵法、模糊聚類法等。

但是融合可見光圖像和紅外圖像的時(shí)候，仍然有很多問題?？梢姽鈭D像和紅外圖像之間存在巨大差異，二者成像原理有很大差別，分辨率相差較大，圖像內(nèi)灰度、紋理、邊緣特征、像素關(guān)聯(lián)都有很大差別，這些差別一方面保證了融合2種圖像能夠得到更多信息，另一方面卻增加了融合兩者的難度，參數(shù)設(shè)置、色彩保持、邊緣保持、運(yùn)動(dòng)目標(biāo)與背景的分離等都有很大難度，增強(qiáng)后的圖像結(jié)果難以保證。另外，額外的紅外攝像設(shè)備即增加了硬件資源開銷，也需要對(duì)應(yīng)的軟件開發(fā)需求，限制了這種方法的應(yīng)用空間和應(yīng)用前景。

1.3 基于機(jī)器學(xué)習(xí)的夜晚圖像增強(qiáng)方法

機(jī)器學(xué)習(xí)方法在計(jì)算機(jī)視覺中有很廣泛的應(yīng)用，在底層圖像處理中也能夠取得不錯(cuò)的成績(jī)?；跈C(jī)器學(xué)習(xí)的夜晚圖像增強(qiáng)算法最大的障礙就是數(shù)據(jù)集的收集，在同一場(chǎng)景采集白天和夜晚的圖像，既要場(chǎng)景內(nèi)沒有隨時(shí)間變化出現(xiàn)物體位移、出現(xiàn)和消失，又要保證數(shù)據(jù)量充足，能夠滿足訓(xùn)練過(guò)程的需要。為了克服這一問題，研究者們或者借用HDR圖像數(shù)據(jù)集，將低曝光度的圖像作為夜晚圖像，正常曝光度的圖像作為標(biāo)簽圖像;又或通過(guò)非線性函數(shù)或人工處理的方式將正常圖像亮度降低，模擬夜晚圖像。但是這樣產(chǎn)生的樣本與夜晚圖像有一定差別，而且相同的亮度降低操作也降低了模型學(xué)習(xí)的難度，無(wú)法保證方法在真實(shí)夜晚圖像的作用。

比較早的基于機(jī)器學(xué)習(xí)的夜晚圖像增強(qiáng)方法使用的是稀疏表示來(lái)學(xué)習(xí)模型[55]。稀疏表示是前些年圖像處理和計(jì)算機(jī)視覺領(lǐng)域最常用的機(jī)器學(xué)習(xí)方法，通過(guò)為普通稠密表達(dá)的樣本學(xué)習(xí)過(guò)完備字典（亦成為過(guò)完備基），將樣本轉(zhuǎn)化為合適的稀疏表達(dá)模式，降低模型復(fù)雜度，也被稱為“稀疏編碼”。文獻(xiàn)[55]學(xué)習(xí)低照度圖像和正常圖像兩個(gè)字典，給定輸入夜晚圖像能夠在低照度圖像字典中使用少量特征向量重構(gòu)，那么對(duì)應(yīng)的向量在正常圖像字典中就能夠重構(gòu)出增強(qiáng)結(jié)果。

深度學(xué)習(xí)方法已經(jīng)成為了機(jī)器學(xué)習(xí)領(lǐng)域最熱門的方法，在自然語(yǔ)言處理、圖像處理和計(jì)算機(jī)視覺領(lǐng)域都取得了可觀的研究成果，在性能上遠(yuǎn)遠(yuǎn)超過(guò)了此前的一些機(jī)器學(xué)習(xí)方法。Lore等人[55]使用深度自編碼器增強(qiáng)低亮度圖像，將亮度提升和噪聲抑制同時(shí)放在一個(gè)模型當(dāng)中學(xué)習(xí)出來(lái)，通過(guò)一定量數(shù)據(jù)的學(xué)習(xí)，能夠得到不錯(cuò)的效果，但是由于自編碼器本身對(duì)于輸入圖像的尺寸有要求，而且參數(shù)較多，導(dǎo)致了本方法提供的實(shí)驗(yàn)數(shù)據(jù)都是小尺寸的圖像，很難確定其在真實(shí)夜晚圖像的表現(xiàn)情況。

深度卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域中比自編碼器應(yīng)用得更廣，其共享參數(shù)的卷積網(wǎng)絡(luò)模式能夠?qū)W習(xí)更復(fù)雜的像素映射，因此在圖像去噪、超分辨率和圖像去霧等底層圖像處理任務(wù)中都表現(xiàn)優(yōu)異。Wei等人[56]使用深度神經(jīng)網(wǎng)絡(luò)模擬Retinex模型（RetinexNet），讓低照度圖像和正常圖像共享網(wǎng)絡(luò)參數(shù)，分解得到相同的反射圖，以確保二者照明圖的不同，然后基于分解結(jié)果訓(xùn)練網(wǎng)絡(luò)增強(qiáng)照明圖，增強(qiáng)結(jié)果亮度提升明顯。但是在處理真實(shí)的夜晚圖像時(shí)，特別是包含噪聲多的夜晚圖像，增強(qiáng)結(jié)果出現(xiàn)了嚴(yán)重的色彩失真，噪聲被明顯放大。

HDR-Net[57]同時(shí)訓(xùn)練2個(gè)并行的網(wǎng)絡(luò)結(jié)構(gòu)，與RetinexNet不同的是，其目標(biāo)并不是將圖像分解，而是從圖像中計(jì)算出對(duì)應(yīng)像素值的變換系數(shù)，同時(shí)兼顧圖像的全局特征和局部特征，再使用另一個(gè)神經(jīng)網(wǎng)絡(luò)計(jì)算求得的變換系數(shù)對(duì)應(yīng)的像素位置，然后計(jì)算得到增強(qiáng)結(jié)果。該方法相當(dāng)于在有指導(dǎo)圖像的情況下融合多個(gè)線性增強(qiáng)后的圖像，能夠保證圖像不會(huì)出現(xiàn)大范圍失真。

MSR-Net[58]使用傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)，將輸入的夜晚圖像進(jìn)行尺度對(duì)數(shù)變換，得到亮度被提升不同等級(jí)的圖像，然后將這些圖像輸入神經(jīng)網(wǎng)絡(luò)得到增強(qiáng)結(jié)果。MSR-Net與HDR-Net同樣采用融合圖像的思想，不同之處在于二者的網(wǎng)絡(luò)結(jié)構(gòu)，MSR-Net人工設(shè)定了幾個(gè)亮度提升等級(jí)，而HDR-Net通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到。但是在輸入圖像的平滑區(qū)域如果存在噪聲，例如夜晚的天空，卷積神經(jīng)網(wǎng)絡(luò)通常會(huì)產(chǎn)生類似塊效應(yīng)的模糊效果，會(huì)降低圖像質(zhì)量。之所以造成這種現(xiàn)象，除了深度神經(jīng)網(wǎng)絡(luò)本身的特性外，數(shù)據(jù)量不足、損失函數(shù)缺少有效約束也有一定的原因。

LSID[17]不針對(duì)已經(jīng)采集得到的圖像，轉(zhuǎn)而針對(duì)相機(jī)端的原始數(shù)據(jù)（例如RAW，RAF格式等）進(jìn)行增強(qiáng)處理。相機(jī)端采集的數(shù)據(jù)未經(jīng)處理和存儲(chǔ)，包含的圖像信息更多，在進(jìn)行圖像增強(qiáng)時(shí)能夠給深度神經(jīng)網(wǎng)絡(luò)提供更多的信息。在LSID中，作者采用不同的曝光時(shí)長(zhǎng)模擬不同亮度的圖像，其輸入的短曝光時(shí)長(zhǎng)數(shù)據(jù)可以使用其他的圖像處理函數(shù)直接提升亮度，和該方法設(shè)計(jì)的網(wǎng)絡(luò)提升的亮度基本一致。但是使用圖像處理函數(shù)得到的增強(qiáng)圖像包含很多的噪聲，尤其是因曝光時(shí)長(zhǎng)過(guò)短產(chǎn)生的各種噪聲明顯影響圖像質(zhì)量，而使用Chen等人提出的深度神經(jīng)網(wǎng)絡(luò)處理的短曝光圖像則很平滑，可見該方法的主要作用在于抑制短曝光圖像的噪聲等級(jí)隨著圖像亮度提升而提升。

2 對(duì)比實(shí)驗(yàn)

在本節(jié)，使用大量夜晚圖像測(cè)試提出夜晚圖像增強(qiáng)方法，和其他的夜晚圖像增強(qiáng)方法進(jìn)行對(duì)比試驗(yàn)，從主觀評(píng)價(jià)和客觀評(píng)價(jià)兩個(gè)方面評(píng)測(cè)方法的性能。本文使用之前方法常用的夜晚圖像和Exdark[59]數(shù)據(jù)集測(cè)試本文提出的增強(qiáng)方法，并人工生成一定數(shù)量夜晚圖像，使用有參考的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)測(cè)試增強(qiáng)方法性能，這樣測(cè)試數(shù)據(jù)集可以大致分為14個(gè)類別，分別包含不同數(shù)量的夜間圖像或生成夜間圖像，自然夜間圖像每種類別有500～800張圖像，生成圖像包含由1 100張正常圖像合成的5 500張低照度圖像。在此基礎(chǔ)上又將增強(qiáng)方法應(yīng)用到實(shí)施拍攝的夜晚視頻中測(cè)試增強(qiáng)效果。

2.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)是評(píng)價(jià)圖像處理算法性能最常用的評(píng)價(jià)方式，通過(guò)提供列舉不同類型的圖像和對(duì)應(yīng)結(jié)果，讓使用者直接觀察圖像，從視覺感官的主觀感受出發(fā)評(píng)價(jià)圖像質(zhì)量，能夠更直觀地感受到不同方法在同一圖像處理問題上得到的性能差異。夜晚圖像增強(qiáng)結(jié)果比較見圖3。

由圖3可以看出使用物理模型對(duì)圖像進(jìn)行建模的方法在保持圖像自然性方面更有優(yōu)勢(shì)，能夠避免增強(qiáng)圖像內(nèi)出現(xiàn)過(guò)度增強(qiáng)現(xiàn)象。不同夜晚圖像增強(qiáng)方法的結(jié)果見圖4。

由圖4可以看出LIME和NEID能夠得到亮度提升最明顯的增強(qiáng)結(jié)果，但是NEID增加了噪聲抑制處理，增強(qiáng)結(jié)果看起來(lái)更平滑，圖像質(zhì)量有所提升。 Retinex-net和HDR-net增強(qiáng)結(jié)果比較見圖5。

由圖5可以看出Retinex-net在增強(qiáng)夜晚圖像時(shí)，出現(xiàn)了明顯的過(guò)度增強(qiáng)現(xiàn)象，嚴(yán)重影響了增強(qiáng)結(jié)果質(zhì)量，而HDR-net能夠保持圖像原本的光照分布，但是也無(wú)法達(dá)到夜晚圖像白晝化，原因主要在于訓(xùn)練數(shù)據(jù)的缺乏。LSID得到的增強(qiáng)結(jié)果見圖6。

由圖6可以看出其與使用相機(jī)自帶的圖像處理函數(shù)得到的結(jié)果差別在于噪聲被抑制，與長(zhǎng)曝光圖像的色彩也有所不同，說(shuō)明LSID具有一定的圖像白平衡作用。但是和使用相機(jī)函數(shù)增強(qiáng)的結(jié)果相比，說(shuō)明LSID在夜晚圖像在噪聲抑制方向更有優(yōu)勢(shì)，其對(duì)于圖像亮度的提升效果如圖7所示。

2.2 客觀評(píng)價(jià)

夜晚圖像增強(qiáng)方法關(guān)注圖像的整體質(zhì)量，除了直觀的主觀視覺感知評(píng)價(jià)之外，還使用多種客觀評(píng)價(jià)方法測(cè)試提出的增強(qiáng)方法的性能。研究不僅使用圖像標(biāo)準(zhǔn)差（STD）、平均梯度（MG）和圖像信息熵（IE）這三種能夠直接反映圖像內(nèi)紋理、梯度等信息的衡量方法，同時(shí)也使用基于自然圖像統(tǒng)計(jì)特性提出的幾種圖像質(zhì)量衡量方法，包括NIQE （Natural image quality evaluator）[60]，ARIS （Autoregressive-based image sharpness metric）[61]， BLIIND （blind image quality assessment by DCT statistics model）[62]和OG-I（Relative gradient statistics and adaBoosting neural network）[63]。這幾種無(wú)參考圖像質(zhì)量評(píng)價(jià)方法各有側(cè)重，從不同角度評(píng)價(jià)圖像質(zhì)量，反映各種夜晚圖像增強(qiáng)方法的性能。同時(shí)研究合成了不同亮度的夜晚圖像用于有參考的圖像質(zhì)量評(píng)價(jià)，包括MSE、PSNR和SSIM[63]圖像質(zhì)量評(píng)價(jià)方法。本次研究主要測(cè)試了時(shí)下各種具有代表性的方法，即：SRIE、FEWI、LIME、JIEP、Dong、FSBI、NPEA、NEID、BIMEF和OpenCE。不同夜晚圖像增強(qiáng)方法的無(wú)參考圖像的圖像質(zhì)量客觀評(píng)價(jià)見表1。

由表1可以看出LIME在使用圖像內(nèi)部梯度信息計(jì)算的評(píng)分評(píng)價(jià)較高，而NEID在其他基于自然圖像統(tǒng)計(jì)特性的評(píng)價(jià)取得評(píng)分較高，究其原因在于二者都能大幅度提升夜晚圖像的亮度，但是LIME不考慮噪聲問題，NEID增加了噪聲抑制。OpenCE使用相機(jī)響應(yīng)函數(shù)提升圖像亮度，得到的增強(qiáng)結(jié)果亮度也比一般的圖像增強(qiáng)方法高。而NPEA并不適用于夜晚突襲中的HDR場(chǎng)景，增強(qiáng)結(jié)果的光源總是出現(xiàn)失真，這些方法的增強(qiáng)圖像的直接比較結(jié)果如圖8所示。

進(jìn)一步，研究給出了有參考的圖像質(zhì)量評(píng)價(jià)結(jié)果見表2。其中，NEID在MSE評(píng)價(jià)和PSNR兩項(xiàng)評(píng)分最佳，主要在于該方法在提升亮度時(shí)抑制噪聲，因此LIME在MSE上取得了次優(yōu)的成績(jī)，OpenCE基于像素點(diǎn)計(jì)算圖像亮度提升使用的參數(shù)，得到的增強(qiáng)結(jié)果對(duì)圖像結(jié)構(gòu)保持較好，所以在SSIM評(píng)價(jià)上取得了最優(yōu)評(píng)價(jià)。

3 結(jié)束語(yǔ)

本文通過(guò)大量實(shí)驗(yàn)，測(cè)試了不同的夜晚圖像增強(qiáng)方法的性能，并對(duì)這些方法加以分析，說(shuō)明其偏重的方向、優(yōu)勢(shì)、和不足。通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)基于底層圖像處理在夜晚圖像增強(qiáng)中瓶頸，并分析了幾種基于機(jī)器學(xué)習(xí)的夜晚圖像增強(qiáng)方法的原理和性能，得出了以下結(jié)論：底層圖像處理能夠提升夜晚圖像亮度，但無(wú)法改變夜晚圖像質(zhì)量降低的本質(zhì)，基于機(jī)器學(xué)習(xí)的方法具有實(shí)現(xiàn)夜晚圖像白晝化潛力，但目前因數(shù)據(jù)收集的困難無(wú)法實(shí)現(xiàn)。因此，目前夜晚圖像增強(qiáng)方法面臨的較突出問題就是數(shù)據(jù)問題，如何收集對(duì)應(yīng)的夜晚圖像和正常圖像對(duì)將是后續(xù)重點(diǎn)研究方向。

參考文獻(xiàn)

[1] ?BEGHDADI A， NEGRATE A L. Contrast enhancement technique based on local detection of edges[J]. Computer Vision Graphics and Image Processing， 1989， 46（2）：162.

[2]PELI E. Contrast in complex images[J]. Journal of the Optical Society of America A-optics ?and Image Science & Vision， 1990， 7（10）：2032.

[3]GONZALEZ R， WOODS R. Digital image processing[M]. 3rd ed. Upper Saddle River， NJ：Pearson prentice hall， 2008.

[4]JAIN A K. Fundamentals of digital image processing[M]. New Jersey：Prentice-Hall， Inc.， 1989.

[5]IBRAHIM H， KONG N S P . Brightness preserving dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics， 2008， 53（4）：1752.

[6]WANG Chao， YE Zhongfu. Brightness preserving histogram equalization with maximum entropy： A variational perspective[J]. IEEE Transactions on Consumer Electronics， 2005， 51（4）：1326.

[7]CHEN S D， RAMLI A R. Minimum mean brightness error Bi-histogram equalization in contrast enhancement[J]. IEEE Transactions on Consumer Electronics， 2003， 49（4）：1310.

[8]REZA A M. Realization of the contrast limited adaptive histogram equalization （CLAHE） for real-time image enhancement[J]. Journal of VLSI Signal Processing Systems for Signal， Image， and， Video Technology， 2004， 38（1）：35.

[9]YUN S H， KIM J H， KIM S . Image enhancement using a fusion framework of histogram equalization and laplacian pyramid[J]. IEEE Transactions on Consumer Electronics， 2010， 56（4）：2763.

[10]ABDULLAH-AL-WADUD M， KABIR M H， DEWAN M A A， et al. A dynamic histogram equalization for image contrast enhancement[J]. IEEE Transactions on Consumer Electronics， 2007， 53（2）：593.

[11]STARK J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing：A publication of the IEEE Signal Processing Society， 2000， 9（5）：889.

[12]WANG Xuewen， CHEN Lixia. Contrast enhancement using feature-preserving bi-histogram equalization[J]. Signal Image & Video Processing， 2018， 12（4）：685.

[13]CHEN S， BEGHDADI A. Natural enhancement of color image[J]. EURASIP Journal on Image and Video Processing， 2010， 2010（1）：175203.

[14]FANG Fang， LIN Meirong， LI Yingjie， et al. Color image saturation enhancement[J]. Proceedings of SPIE - The International Society for Optical Engineering， 2000.

[15]NACCARI F， BATTIATO S， BRUNA A R， et al. Natural scenes enhancement by adaptive color correction[C]// International Symposium on Consumer Electronics. Reading， UK：IEEE， 2004： 320.

[16]MOREL J， PETRO A B， SBERT C， et al. Toward a natural local color image enhancement[C]// International Conference on Computer Graphics， Imaging and Visualisation. Washington， DC：IEEE， 2012： 211.

[17]WANG Shuhang， LUO Gang. Naturalness preserved image enhancement using a priori multi-layer lightness statistics [J]. IEEE Transactions on Image Processing， 2018， 27（2）： 938.

[18]LAND E H. The Retinex[J]. American Scientist， 1964， 52（2）：247.

[19]LAND E H， MCCANN J J. Lightness and Retinex theory[J]. The Journal of the Optical Society of America， 1971， 61（1）：1.

[20]JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center / surround Retinex[J]. IEEE Transactions on Image Processing， 1997， 6（3）： 451.

[21]JOBSON D J， RAHMAN Z， WOODELL G A . A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing， 1997， 6（7）：965.

[22]KIMMEL R， ELAD M， SHAKED D， et al. A variational framework for Retinex[J]. International Journal of Computer Vision， 2003， 52（1）：7.

[23]Ma W， Osher S. A TV Bregman iterative model of Retinex theory[R]. Los Angeles：University of California， 2010.

[24]NG M K， WANG Wei. A total variation model for Retinex[J]. SIAM Journal on Imaging Sciences， 2011， 4（1）： 345.

[25]CHEN T， YIN W， ZHOU X S， et al. Total variation models for variable lighting face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（9）： 1519.

[26]FU X， ZENG D ， HUANG Y ， et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]// Proceedings of the 2016 IEEE Computer Vision & Pattern Recognition. Piscataway， NJ：IEEE， 2016：2782.

[27]PARK S， MOON B ， KO S. Low-light image restoration using bright channel prior-based variational Retinex model[J]. EURASIP Journal on Image and Video Processing， 2017， 2017（1）：44.

[28]PARK S ， YU S ， MOON B ， et al. Low-light image enhancement using variational optimization-based Retinex model[J]. IEEE Transactions on Consumer Electronics， 2017， 63（2）：178.

[29]GUO Xiaojie， LI Yu， LING Haibin. LIME： Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing， 2017， 26（2）：982.

[30]CAI Bolun， XU Xianming， GUO Kailing， et al. A joint intrinsic-extrinsic prior model for Retinex [C]// IEEE International Conference on Computer Vision. Venice， Italy：IEEE， 2017： 4020.

[31]HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2011， 33（12）：2341.

[32]DONG Xuan， WANG Guan， PANG Yi， et al. Fast efficient algorithm for enhancement of low lighting video[C]// 2011 IEEE International Conference on Multimedia and Expo. Barcelona：IEEE， 201：1.

[33]YING Zhenqiang， LI Ge， REN Yurui， et al. A new low-light image enhancement algorithm using camera response model[C]//2017 IEEE International Conference on Computer Vision Workshop.Venice， Italy：IEEE ， 2017： 3015.

[34]JIANG Xuesong， YAO Hongxun， LIU Dilin. Nighttime image enhancement based on image decomposition[J]. Signal Image and Video Processing， 2019，13（1）： 189.

[35]CAI Y， HUANG K， TAN T， et al. Context enhancement of nighttime surveillance by image fusion[C]// International Conference on Pattern Recognition.Hongkong：IEEE， 2006： 980.

[36]KAO W C， HSU C C， KAO C C， et al. Adaptive exposure control and real-time image fusion for surveillance systems[C]// IEEE International Symposium on Circuits & Systems. Island of Kos， Greece：IEEE，2006： 935.

[37]RAO Yunbo， LIN Weiyao， CHEN Leiting. Image-based fusion for video enhancement of night-time surveillance[J]. Optical Engineering， 2010， 49（12）： 120501.

[38]BHATNAGAR G， LIU Zheng. A novel image fusion framework for night-vision navigation and surveillance[J]. Signal Image & Video Processing， 2015， 9（S1）：165.

[39]BENNETT E P， MCMILLAN L. Video enhancement using per-pixel virtual exposures[J]. ACM Transactions on Graphics， 2005， 24（3）：845.

[40]MALM H， OSKARSSON M， WARRANT E， et al. Adaptive enhancement and noise reduction in very low light-level video[C]// IEEE International Conference on Computer Vision. Rio deJaneiro：IEEE， 2007： 1395.

[41]REMPEL A G， TRENTACOSTE M， SEETZEN H， et al. Ldr2Hdr： on-the-fly reverse tone mapping of legacy video and photographs[J]. ACM Transactions on Graphics， 2007， 26（99）：39.

[42]BANTERLE F， LEDDA P， DEBATTISTA K， et al. Inverse tone mapping[C]// International Conference on Computer Graphics & Interactive Techniques in Australasia & Southeast Asia.[S.l.]： ACM， 2006： 349.

[43]LI S， KANG X. Fast multi-exposure image fusion with median filter and recursive filter[J]. IEEE Transactions on Consumer Electronics， 2012， 58（2）：626.

[44]LI Shutao， KANG Xudong， FANG Leyuan， et al. Pixel-level image fusion： A survey of the state of the art[J]. Information Fusion， 2017， 33： 100.

[45]WANG Qiuhong， FU Xueyang， ZHANG Xiaoping， et al. A fusion-based method for single backlit image enhancement[C]// IEEE International Conference on Image Processing（ICIP）. Phoenix， AX， USA： IEEE， 2016： 4077.

[46]FU Xuegang， ZENG Delu， HUANG Yue， et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing， 2016，129： 82.

[47]HE Kaiming， SUN Jian， TANG Xiao'ou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013， 35（6）：1397.

[48]YING Zhenqiang， LI Ge， GAO Wen. A bio-inspired multi-exposure fusion framework for low-light image enhancement[J]. arXiv preprint arXiv：1711.00591， 2017.

[49]MA Jiayi， MA Yong， LI Chang . Infrared and visible image fusion methods and applications： A survey[J]. Information Fusion， 2018，45： 153.

[50]TSAGARIS V， ANASTASSOPOULOS V. Fusion of visible and infrared imagery for night color vision[J]. Displays， 2005， 26（4-5）：191.

[51]ZHOU Z， DONG M， XIE X， et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics， 2016， 55（23）：6480.

[52]WANG Y， SHI X， LI F， et al. An effective color image fusion algorithm of visual and infrared night images[C]// 2014 26th Chinese Control and Decision Conference. Changsha：IEEE， 2014： 2974.

[53]SAVOYE E D， SEIBERT M C， CARRICK J E， et al. Color night vision： Opponent processing in the fusion of visible and IR imagery[J]. Neural Networks：The official Journal of the International Neural Network Society， 1997， 10（1）：1.

[54]FOTIADOU K， TSAGKATAKIS G， TSAKALIDES P， et al. Low light image enhancement via sparse representations[M]// CAMPILHO A， KAMEL M.ICIAR 2014， Part I， LINS 8814. Switzerland：Springer， 2014： 84.

[55]LORE K G， AKINTAYO A， SARKAR S. LLNet： A deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition， 2015， 61：650.

[56]WEI Chen， WANG Wenjing， YANG Wenhan， et al. Deep Retinex decomposition for low-light enhancement[C]//British Machine Vision Conference 2018（BMVC 2018）. Newcasle：Northumbria Unviersity， 2018.

[57]SHEN Liang， YUE Zihan， FENG Fan， et al. MSR-net： Low-light image enhancement using deep convolutional network[J]. arXiv preprint arXiv： 1711.02488， 2017.

[58]CHEN Chen， CHEN Qifeng， XU Jjia， et al. Learning to see in the dark[J]. Computer Vision and Pattern Recognition， 2018： 3291.

[59]LOH Y P， CHAN C S. Getting to know low-light images with the exclusively dark dataset[J]. Computer Vision and Image Understanding， 2019（178）： 30.

[60]MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a 'completely blind' image quality analyzer[J]. IEEE Signal Processing Letters， 2013， 20（3）：209.

[61]GU Ke， ZHAI Guangtao， LIN Wei， et al. No-reference image sharpness assessment in autoregressive parameter space[J]. IEEE Transactions on Image Processing：A publication of the IEEE Signal Processing， 2015， 24（10）：3218.

[62]SAAD M A， BOVIK A C， CHARRIER C. Blind image quality assessment： A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing， 2012， 21（8）：3339.

[63]LIU Lixiong， HUA Yi， ZHAO Qingjie， et al. Blind image quality assessment by relative gradient statistics and AdaBoosting neural network[J]. Signal Processing Image Communication， 2015， 40（C）：1.

[64]GHARBI M， CHEN Jiawen， BARRON J T ， et al. Deep bilateral learning for real-time image enhancement[J]. ACM Transactions on Graphics， 2017， 36（4）：118.

[65]WANG Z， BOVIK A C， SHEIKH H R ， et al. Image quality assessment： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600.