低照度視頻圖像增強算法綜述

方明，李洪娜，雷立宏，梁銘

（1.長春理工大學　計算機科學技術(shù)學院，長春　130022；2.長春理工大學　機電工程學院，長春　130022）

低照度視頻圖像增強算法綜述

方明1，李洪娜1，雷立宏1，梁銘2

（1.長春理工大學計算機科學技術(shù)學院，長春130022；2.長春理工大學機電工程學院，長春130022）

圖像傳感器在光照不足的環(huán)境下成像，會造成視頻圖像噪聲大、對比度低、大量細節(jié)信息無法表現(xiàn)等問題，這些不足嚴重影響人們對視頻圖像內(nèi)容的判讀和理解。分析了低照度視頻圖像的不足，總結(jié)了近年來針對這些不足提出的有代表性的一些低照度視頻圖像增強策略及它們的衍生算法。根據(jù)這些算法的亮度增強原理將它們分為基于色調(diào)映射、背景融合、模型、直方圖等幾大類，并對比分析了它們各自的適用場合、算法優(yōu)勢、局限性等。

低照度；視頻圖像；圖像增強

良好的光照是保證視頻圖像質(zhì)量的一個重要條件，但在視頻圖像的拍攝過程中，理想的光照條件往往很難得到滿足。在低照度環(huán)境下獲取的視頻圖像通常存在亮度低、噪聲大、對比度低等不足。針對低照度視頻圖像的這些特點，一般的低照度圖像增強算法都會采用提亮、去噪、提高對比度相結(jié)合的方法對低照度圖像進行增強。為了獲得視覺效果良好的低照度視頻圖像，許多研究者提出了一些經(jīng)典的算法，但是這些算法往往只在某一個方面擁有較好的效果，而無法兼顧各個方面。隨著圖像增強技術(shù)的發(fā)展，通過簡單的經(jīng)典算法的組合對低照度圖像處理得到的圖像，在質(zhì)量上已不能滿足人們的要求。因此國內(nèi)外出現(xiàn)了許多經(jīng)典算法的改進算法，并利用改進的算法進行組合以達到對低照度圖像增強的目的。本文首先分析了低照度圖像的特點，總結(jié)了基于這些特點的視頻圖像后呈現(xiàn)該方法，最后重點分析了幾條典型案例。

1　低照度視頻圖像特點分析

低照度視頻圖像中的灰度值總體偏小，使視頻圖像整體偏暗。各個相鄰的像素之間的相關(guān)性大，相似的像素值分布集中，輪廓等邊緣像素對應的灰度值與非邊緣的鄰域像素對應的灰度值差異較小，細節(jié)信息弱化。低照度視頻圖像的這種弱化現(xiàn)象在圖像增強過程中容易造成信息的丟失。彩色圖像的色彩是由圖像各個通道的像素對應的灰度值的差異關(guān)系決定的，低照度下的視頻圖像各個通道之間對應像素灰度差值變小，雖然在數(shù)值上可以看到不同，但對于人類視覺而言仍不能分辨出這些細微的色彩差別，視頻圖像的顏色均偏暗色，整體的色彩層產(chǎn)生偏差，由于色彩不同而造成邊緣信息弱化。低照度環(huán)境下獲取的視頻圖像因受光照不均的影響，易產(chǎn)生噪聲和局部欠曝光等現(xiàn)象，這也容易造成在增強過程中產(chǎn)生光暈、欠曝光、過度曝光等問題。

低照度視頻圖像的增強與單一低照度圖像的增強不同，在低照度視頻圖像的增強過程中，不但要考慮每幀圖像的增強效果，還要考慮視頻幀之間圖像的銜接是否平滑，若相鄰幀圖像銜接不自然，增強后的視頻圖像易產(chǎn)生運動模糊等現(xiàn)象。低照度視頻圖像比單一圖像的參考信息豐富，在運動場景中，當前幀圖像可以參考鄰幀圖像的信息進行圖像增強，在固定場景中（例如監(jiān)控視頻），當前幀圖像可以參考背景清晰幀的信息進行圖像增強。

2　經(jīng)典低照度視頻圖像的噪聲去除與亮度增強算法

人們對低照度視頻內(nèi)容的判讀受很多情況的影響，其中圖像噪聲和圖像亮度是影響人們對圖像內(nèi)容判讀的主要因素?，F(xiàn)有的一些圖像噪聲去除和亮度增強算法不但效果良好，而且能很好的保持圖像的細節(jié)信息，這些算法均是在經(jīng)典算法的基礎(chǔ)之上衍生出來的。下面是對去噪和亮度增強的兩類經(jīng)典算法的總結(jié)。

2.1去噪類算法

低照度視頻圖像除了光照影響產(chǎn)生的光量子噪聲外，在處理過程中也容易引入的高斯噪聲、瑞利噪聲和脈沖噪聲等。對去除這些噪聲的經(jīng)典濾波算法的優(yōu)缺點進行總結(jié)，如表1所示。

表1　經(jīng)典去噪算法優(yōu)缺點對比

2.2亮度增強類算法

低照度視頻圖像會出現(xiàn)光照不均，圖像過暗等不足。為了能更好的在不同的場景中選擇適當?shù)牧炼仍鰪姺椒ǎ瑢α炼仍鰪娝惴ǖ膬?yōu)缺點進行總結(jié)，如表2所示。

表2　經(jīng)典亮度增強算法優(yōu)缺點對比

3　低照度圖像的典型算法分類

國內(nèi)外學者提出了很多針對低曝光的視頻圖像的增強算法，這些算法對低照度視頻圖像的改善各有側(cè)重。由于光照條件一直是低照度視頻圖像質(zhì)量的主要限制因素，本文將按照算法對亮度的增強方式對近幾年發(fā)表的效果比較好的一些算法進行分類和總結(jié)。算法的分類如圖1所示。

圖1　亮度增強方法分類

圖1中，色調(diào)映射類是通過色調(diào)映射函數(shù)對圖像的亮度進行增強；背景融合類是通過借助曝光良好的背景對圖像的亮度進行增強；基于模型類是基于現(xiàn)有的模型，例如大氣物理模型等對圖像亮度進行增強；直方圖類是基于直方圖均衡化的思想對圖像的亮度進行增強。

3.1色調(diào)映射類算法

色調(diào)映射（Tone Mapping）簡稱TM，是由Drago F［1］等在2003年模仿人類對光的反應提出的一種實驗效果良好的用于顯示高對比度場景的自適應映射函數(shù)，即將低動態(tài)范圍的圖像近似顯示為高動態(tài)范圍圖像的一項計算機圖形學技術(shù)。該方法可以拓展低照度圖像的動態(tài)范圍，改善圖像的亮度并改善圖像光照不均的不足，但這種動態(tài)范圍的拓展常常會以衰減對比度為代價。TM經(jīng)過眾多研究者的逐步改善，其在拓展圖像動態(tài)范圍上已經(jīng)取得了比較好的效果。圖2為TM算法與各種去噪算法組合的低照度視頻圖像增強算法示意圖。

圖2　色調(diào)映射算法發(fā)展示意圖

圖2中，箭頭方向為算法的提出順序，算法1為TM與雙邊濾波的組合；算法2為TM與非局域均值濾波的組合；算法3為TM與基于時空的雙邊濾波算法的組合；算法4為TM與基于時空的非局域均值濾波算法的組合；算法5為TM與非局域均值濾波和卡爾曼濾波的組合；算法6為TM與各向異性濾波的組合。

按照色調(diào)映射算法發(fā)展的示意圖，本文將對每個階段的典型算法進行簡單的概述。Bennett Eric P，McMillan Leonard［2］等將色調(diào)映射函數(shù)較早地應用到低照度視頻增強算法上。他們提出了一種利用逐像素虛擬曝光的視頻增強方法。該算法的亮度增強部分在基于Drago F等提出的映射函數(shù)的基礎(chǔ)上提出了一個對數(shù)映射方程，該映射方法［1］對低動態(tài)曝光不足的視頻進行動態(tài)擴展和亮度提升，在亮度增強過程中增加了細節(jié)增強部分，減少了圖像對比度的衰減，用濾波后的圖像與原圖相減得到的邊緣值對圖像細節(jié)部分進行增強，然后利用色調(diào)映射方法對兩部分同時進行縮放，只是在縮放時選用了不同的參數(shù)，將細節(jié)和亮度同時增強。在去除噪聲過程中，該文提出了一種自適應時空濾波方法（ASTA），該濾波算法借助當前像素與鄰幀對應像素的相似度和距離決定其對當前像素貢獻的權(quán)值，再對圖像進行整合得到增強后的圖像。該方法減少了色調(diào)映射方法對細節(jié)信息的損失，但在去噪方面卻不是很理想。針對這一問題姜海琳［3］在其碩士論文中提出了基于NLM和Tone Mapping的低亮度視頻去噪、增強的算法。該算法在去噪方面對ASTA算法進行改進，提出自適應時空加權(quán)平均（Adaptive-Spatio-TemporalAverageNLM （ASTA-NLM））的新的濾波算法，由ASTA中雙邊濾波［4］改成空間局域均值濾波，該算法將ASTA算法中以鄰幀對應點為參考變?yōu)橐脏弾瑢獕K為參考，從而使其鄰域從二維擴展到三維。在細節(jié)和亮度增強部分，采用圖形學上的色調(diào)映射對濾波后的視頻進行映射，根據(jù)當前處理點的亮度與它所在區(qū)域的平均亮度的差值來衡量該點與周圍點的亮度對比情況來矯正最后的映射曲線，拉伸動態(tài)范圍，最后再對視頻圖像的Y通道進行濾波的操作。該算法在運動邊緣保持，細節(jié)保持和噪聲去除上略優(yōu)于Bennett Eric P，Leonard McMillan等提出的算法，但是計算量增加了許多。

上述算法參考鄰幀信息時，均未考慮運動產(chǎn)生的誤差。針對這個問題，Minjae Kim，Dubok［5］等提出了一種極低光視頻去噪和增強的新方法。該方法在時域濾波中利用卡爾曼濾波［6］對最小化運動模糊進行估計，找到對應區(qū)域，應用動態(tài)非局域均值去噪方法對對應區(qū)域進行去噪，減少了運動誤差。在時域去噪完成后實施色調(diào)映射操作，在色調(diào)映射過程中增強了圖像的亮度，但同時也不可避免地增強了之前殘留的噪聲，最后利用非局域均值去噪方法對色調(diào)映射后的圖像進行增強。色調(diào)映射中對于每種參數(shù)，均有曝光良好與曝光欠佳的區(qū)域。對此Zhang Qing，Nie Yongwei［7］等提出了一種新的有效的視覺驅(qū)動漸進融合方法。對于輸入的低曝光視頻，利用一系列試探性的色調(diào)映射曲線對每個視頻幀進行色調(diào)映射，得到原始視頻的多重曝光序列，在不同曝光等級的視頻幀序列中通過對比度、飽和度和曝光度選擇曝光良好的區(qū)域集成為一個良好的曝光視頻幀，最后將視頻前后幀曝光良好的視頻幀通過高斯和拉普拉斯金字塔分解，進行多尺度融合，即感知驅(qū)動漸進融合方法。然后利用Knn（k-nearest neighbors algorithm）［8］方法找到鄰幀中當前被處理像素的匹配塊，再進行有效的紋理保持的時空濾波，以獲得去噪后的增強圖像。該算法得到的增強圖像曝光均勻，細節(jié)良好，保持了時間協(xié)調(diào)性，避免了視覺假象。比較而言，雖然上述算法增強效果很好，但是算法結(jié)構(gòu)復雜，計算量大，為了能得到實時的視頻圖像，Malm Henrik［9］等提出了極低光級視頻的自適應增強和降噪方法，該方法對彩色視頻圖像采用HSV顏色空間進行處理，提取出亮度圖像，將結(jié)構(gòu)張量和二階矩結(jié)合結(jié)構(gòu)自適應各向異性濾波方法在時空上進行拓展，形成了新的濾波算法，即自適應時空濾波算法，然后通過該濾波算法對視頻的灰度圖像進行平滑，采用快速濾波器對圖像邊緣進行銳化，減輕濾波對圖像細節(jié)的影響，最后利用色調(diào)映射解決低曝光和曝光不均勻的問題。該論文提出的算法可獨立進行并行處理，提高視頻圖像的處理速度。

TM類低照度視頻增強算法的基本流程如下：

（1）視頻圖像去噪

基于TM類的低照度視頻增強算法首先對視頻的亮度分量和整體做去除噪聲操作，在去除噪聲和亮度映射過程中均會損失圖像的細節(jié)信息，因此通常選取保邊去噪效果比較好的時空濾波去除視頻圖像中的噪聲，公式一般如下所示：

其中 temporalfilter（x，y，t）為幀間的濾波操作，temporalfilter（x，y，t）為當前幀的濾波操作，λ為增益系數(shù)，g（0，δ）為高斯核函數(shù)，n為雙邊濾波的分子，d為雙邊濾波的分母。

（2）亮度增強

低照度視頻圖像的亮度整體偏低，且局部呈現(xiàn)低動態(tài)，因此在亮度增強部分采用TM函數(shù)對低照度視頻圖像的亮度分量進行映射，拓展視頻圖像的局部動態(tài)范圍，在全局范圍內(nèi)提升視頻圖像的亮度。表達式一般如下所示：

其中x為當前處理的像素值，xMax為整幅圖像的最大值，ψ為曲線參數(shù)。

TM類算法基本為去噪算法與色調(diào)映射算法結(jié)合的模式，該類算法結(jié)構(gòu)適用于變化的場景，算法靈活性比較好，適宜拓展。但算法比較繁瑣，計算量較大，這些造成了算法的實用性降低。

3.2背景融合類算法

背景融合是視頻圖像亮度增強的另一種方法，該類方法主要是指關(guān)于同一目標圖像的多種形式的信息數(shù)據(jù)經(jīng)過處理，最大限度的提取各種形式中的有利信息，最后整合成高質(zhì)量的圖像。

在低照度圖像融合中，常常借助曝光良好的視頻圖像與需要增強的圖像進行亮度融合，以得到適合人類觀察的增強后的圖像。如圖3所示利用曝光良好的背景圖像（a）對低曝光圖像（b）的背景進行增強。在實際融合過程當中，基于背景融合的低照度視頻圖像增強的方法有很多，該類算法的原理［10-13］如圖4所示，其中長方形框內(nèi)為亮度融合部分。

圖像融合技術(shù)在視頻監(jiān)控領(lǐng)域得到了很好的應用，與紅外圖像增強算法［14-15］不同，圖像融合類算法可以通過借助同一曝光良好的場景視頻圖像信息，恢復當前圖像損失的細節(jié)、顏色等信息，對圖像的背景部分恢復效果較好。但背景融合也有缺點，即不能用于移動的場景，對移動物體的增強效果欠佳。

圖4　亮度融合算法原理

圖4中，首先將低照度圖像的灰度層與彩色層進行分離，并從灰度圖像中提取出圖像的亮度分量，同理獲取曝光良好的圖像的亮度分量并對低照度圖像的亮度進行增強（即黑框內(nèi)的部分），最后將增強的亮度與低照度圖像的反射分量和彩色層進行重建，得到增強圖像。

基于背景融合的低照度視頻圖像增強的方法有很多，其中Li Jing［16］等比較早地將圖像融合思想應用到夜間視頻監(jiān)控圖像的增強中，并提出了一種低照度視頻圖像背景增強的方法。該方法通過對比白天的光照對夜間背景光照強度進行分割，以獲得高光和低光區(qū)域。高光區(qū)的像素將被直接發(fā)送到最后的融合模塊。同時按光照強度對夜間背景圖像進行分區(qū)，并基于背景的運動估計與亮度的直方圖均衡化在各級分區(qū)中使用不同的閾值提取出運動物體。最后，結(jié)合移動物體的提取結(jié)果和光照區(qū)域提出了一種基于多分辨率的融合方法，有效的增強了強光區(qū)域或低對比度的移動物體。該算法具有較好的提取和保持重要信息的能力，但在噪聲去除方面不佳。在圖像融合的基礎(chǔ)上，Yamasaki Akito［17］等提出的Denighting夜間監(jiān)控視頻圖像增強算法比較好的解決了這一問題，該算法總體分為實時和非實時兩部分。非實時部分為背景提取，將純凈的白天背景和當前處理的夜晚背景進行亮度顏色分離，對亮度圖像進行雙邊濾波處理后利用Retinex方法提取其照度信息，計算出白天和夜晚的照度比值；實時部分是將當前處理的夜間圖像進行顏色亮度分離，對亮度圖像進行雙邊濾波去噪，利用Retinex理論對去除噪聲后的圖像進行照度分量和反射分量分離，根據(jù)照度比值對當前的照度信息進行增強處理，最后將圖像重建。該算法引進了去噪部分，改善了視頻圖像的質(zhì)量并且該算法不需要進行運動物體區(qū)域分割。但該算法同樣存在著不足，即通過白天與黑天的亮度比例對夜間圖像的亮度增強，可能會導致圖像靜態(tài)區(qū)亮區(qū)欠增強，亮度比例增強不協(xié)調(diào)等問題。

為了改善上述夜間融合算法中出現(xiàn)的問題，饒云波［18］在其博士論文里提出了亮度融合權(quán)重的思想來改善此問題的夜間視頻增強方法，即基于Term（亮度增強權(quán)重與日夜背景亮度差的乘積）的視頻增強算法。該算法對夜間和白天的視頻分別取相鄰若干幀圖像求其平均幀進行背景估計，對圖像的灰度與顏色分量進行分割，利用雙邊濾波對照度分量進行亮度評估，并結(jié)合背景更新、背景差分法獲取二值圖像，再采用形態(tài)學操作消除隨機噪聲并完善運動物體區(qū)域，通過Term的夜間視頻幀亮度計算亮度增強的權(quán)重，利用白天的背景亮度信息對夜間圖像進行亮度增強。田旺和陶青川［19］提出了基于融合的夜間視頻圖像增強算法，該算法對饒云波提出的算法中的亮度增強權(quán)重部分做了改進。該算法基于運動的背景估計，應用高斯背景建模將目標從夜間視頻中提出，用直方圖均衡方法對目標進行增強，然后在融合之前對夜間圖像進行多尺度增強，從夜間視頻單幀圖像中獲取亮度信息，改進了白天背景和夜晚視頻圖像的融合權(quán)重的計算方法，將圖像進行歸一化處理，以夜間視頻同一場景的白天圖像和夜間圖像融合以后的圖像作為最后目標圖像的新背景，最后基于平移不變的小波變換［20］方法將處理后的新背景和目標融合就得到了最終的增強圖像。雖然該算法對夜間單幅圖像的增強效果良好，但在夜間移動物體的影子增強上仍存在不足。為了改善視頻圖像幀間協(xié)調(diào)性，樸燕和劉磊［21］等提出了基于圖像加權(quán)融合方法對靜態(tài)背景的夜間視頻圖像進行融合。該算法采用基于幀間差分的背景建模方法將灰度化的相鄰兩幀圖像做幀間差分獲得二值圖像，用形態(tài)學區(qū)域填充法對幀間差分后得到的內(nèi)部有黑色孔洞的連通區(qū)域進行填充，對非運動區(qū)域進行累加迭代，通過求平均獲得白天和夜間的同一地點背景圖像。并利用運動物體提取技術(shù)根據(jù)夜間圖像的亮度分布采用不同的閾值進行運動物體的分割，同時采用Retinex理論進行亮度估計，使用高斯低通濾波器估計亮度特征，結(jié)合指數(shù)映射函數(shù)對同一地點不同時間拍攝的圖像進行加權(quán)融合。

夜間圖像融合增強算法除以上方式外，還存在一種檢索匹配式增強算法，Dong Xianshu［22］等提出了一種新的稀疏編碼融合（SCF）的夜間視頻圖像增強方法。該算法首先收集足夠的同一場景的白天和夜間視頻樣本，分別獲得一個白天字典和夜間字典（MCL），這兩個字典用于融合和提取執(zhí)行背景增強后的背景。此外，該方法重建夜間字典，以獲得將被應用在運動提取中的夜間背景。再將移動的對象添加到增強的背景中。實驗結(jié)果表明該算法可以復原一個高度全面描述的視頻幀，使許多普通的公共視頻數(shù)據(jù)集的表現(xiàn)效果得到改善。朱婧雅和王中元［23］利用相似原理提出了一種基于相似場景的低照度監(jiān)控圖像增強算法，該算法首先獲取良好光照條件下，與低照度監(jiān)控圖像場景相似的圖像，以圖像的像素差值作為標準建立圖像庫。通過對RGB三個通道進行直方圖匹配的方法，對低照度圖像進行增強，并用迭代增強的方法將增強后的圖像進行上述操作不斷提高圖像的清晰度，直到當本次搜索到的參考圖像與上次搜索到的參考圖像相同時，該增強圖像即為得到最終增強后的低照度監(jiān)控圖像。該方法改善了圖像的視覺效果，提高了圖像的亮度和對比度。

3.3基于模型類算法

（1）大氣物理散射模型

低曝光視頻圖像的反向圖與霧天圖像相似，利用這種相似性，低曝光視頻圖像可以借助大氣散射物理模型進行增強，將去霧算法應用于低照度視頻圖像增強過程中。由于偽霧圖與真實霧天圖像非常相似，故可借助大氣物理散射模型對偽霧圖進行增強。

圖5　圖像清晰度對比

根據(jù)夜間視頻圖像與霧天圖像的關(guān)系，Ding X［24］等提出了一種基于圖像去霧算法的夜間圖像增強方法。該方法利用了夜晚圖像的亮度特點，根據(jù)反轉(zhuǎn)圖像的直方圖分布與霧天圖像十分相似這一特點，設(shè)計出一種算法。該算法效果良好，能夠做到實時的增強夜間視頻圖像，但在一些細節(jié)區(qū)域，仍存在過度增強的現(xiàn)象。姜雪松［25］基于夜間圖像的這一亮度特征，提出了一種新的夜間圖像和視頻的實時增強算法，該算法能夠保證圖像的細節(jié)可見性和自然性，避免了過度增強現(xiàn)象的出現(xiàn)。該算法首先將夜間圖像反轉(zhuǎn)求得與霧天相似的偽霧圖，對偽霧圖像進行中值濾波，在濾波后的圖像頂部四分之一的部分找到灰度值最大的50個位置，在未濾波的偽霧圖中找到對應位置的像素值，將最大值視為大氣光的亮度值，通過改進的暗通道先驗模型，對暗通道先驗模型［26-29］的約束條件進行放松得到暗通道圖像，再進行金字塔分解和多尺度中值濾波，利用優(yōu)化的暗通道圖來計算透射函數(shù)，再用大氣散射物理模型［30］對其增強，最后對增強后的視頻圖像求反，得到夜間圖像。該方法增強夜晚圖像與視頻的細節(jié)可見度和整體亮度，同時保持了增強結(jié)果的自然性，避免過度增強。低照度圖像增強過程中顏色信息也很容易丟失，對此遆曉光和曲悠楊［31］提出了一種改進的色彩保持低照度圖像增強方法，該方法基于圖像去霧領(lǐng)域的暗通道先驗方法，提出了一種基于暗通道先驗的低照度圖像增強方法。該算法首先將輸入圖像轉(zhuǎn)換到RGB顏色空間，獲得圖像的RGB三個通道，將RGB三通道中的最小值作為輸入圖像的暗通道圖像，對圖像中的白色區(qū)域進行判定，并修改白色區(qū)域像素的暗通道數(shù)值，得到初始光照強度分布圖，對修改后的暗通道圖像進行線性平滑，得到平滑后的光照強度分布圖，根據(jù)像素點在平滑后光照強度圖像上的灰度與期望光照強度的比例關(guān)系，對圖像上不同像素點的RGB三個通道進行增強，以提高圖像質(zhì)量。該方法能較好恢復低照度圖像的顏色信息。為了提升算法效率，王小元和張紅英［32］等提出了基于物理模型的低照度圖像增強算法，該算法將低照度圖像反轉(zhuǎn)后得到與霧天圖像相似的偽霧圖，應用大氣散射物理模型對偽霧圖像進行增強，再對增強后圖像求反得到夜間增強的圖像。在該算法中，首先采用暗原色先驗規(guī)律對偽霧圖的環(huán)境光值進行估計，并基于亮度分量對透射率進行估計；然后，基于大氣散射模型還原出無霧圖像；最后，對無霧圖像反轉(zhuǎn)得到低照度圖像的增強結(jié)果，并對該結(jié)果進行細節(jié)補償?shù)玫阶罱K的增強圖像。

基于大氣散射物理模型的低照度增強算法的過程通常如下：

①首先對低照度圖像求反，得到其偽霧圖，轉(zhuǎn)化公式為：

其中J（x）為低照度圖像，Jinv（x）為偽霧圖。

②應用大氣散射物理模型對偽霧圖像進行增強。表達式如下：

其中，A為大氣光值，t（x）為透射函數(shù)。

③將增強的圖像的反轉(zhuǎn)圖，即圖像的最終增強結(jié)果。

（2）Retinex理論模型

Retinex理論是另一種可以應用到低照度視頻圖像增強中的模型，學者們從人類的視覺系統(tǒng)發(fā)展了Retinex理論。從單尺度Retinex算法（single scale retinex，SSR）改進成多尺度加權(quán)平均的Retinex算法（multi-scale retinex，MSR），再發(fā)展成帶彩色恢復的多尺度Retinex算法［33-36］（multi-scale retinex with color restoration，MSRCR）。Retinex理論模型表達式為：

S（x，y）為原始圖像，L（x，y）為入射分量，R（x，y）為反射分量。Retinex理論可將光照分量獨立的提取出來，利用Retinex理論可以在不影響圖像其他屬性的情況下對圖像的亮度進行調(diào)整，這樣在圖像增強的操作過程中可以避免增加或減弱圖像的其他屬性信息，從而間接地篡改了圖像。

利用Retinex理論的優(yōu)點，學者們將其利用到低照度視頻圖像增強中，例如2011年Jin Huixia［37］等提出了基于Retinex理論的夜間視頻圖像增強方法。該算法首先利用Retinex理論在兩組不同的參數(shù)下對圖像進行增強并進行特征分析，然后根據(jù)離散小波變換的融合算法，將增強的圖像融合在一起。仿真結(jié)果表明，增強后的圖像具有更大的亮度、對比度和更清晰的邊緣，圖像的視覺效果得到明顯改善。為了增強彩色圖像而不引起色彩失真，一些學者們將Retinex理論在圖像的不同的顏色空間進行應用［38，39］，例如李小霞和李鋮果［40］等提出了一種新的低照度彩色圖像增強算法，該算法首先將圖像轉(zhuǎn)換到HSV顏色空間中，并保持色相不變，采用分段對數(shù)變換增強飽和度，對色調(diào)分量進行多尺度Retinex變換，對變換后的圖像采用銳化處理和高斯平滑處理，利用色調(diào)分量迭加的方法增強色調(diào)邊緣。該方法主要在保持圖像顏色和圖像細節(jié)方面有較好的效果。為解決多尺度Retinex算法中出現(xiàn)的顏色失真問題，在程芳瑾［41］等發(fā)表的基于Retinex的低照度圖像增強方法中，提出了根據(jù)夾角余弦值對MSR結(jié)果進行調(diào)整的余弦色彩恢復函數(shù)，使之與原始圖像的顏色更加接近。在該算法中，首先計算原始圖像與單尺度處理結(jié)果圖像的夾角余弦值，當處理后圖像像素矢量與原始圖像像素矢量夾角較小時，說明顏色改變不大，因此只進行小幅度調(diào)整；當夾角較大時，說明處理后顏色失真很大。根據(jù)實際實驗觀察，這現(xiàn)象往往體現(xiàn)在亮度上，因而要大幅度調(diào)整其亮度以及顏色。除了以上直接利用Retinex理論對圖像進行增強的算法外，也有利用Retinex理論將圖像中的亮度分量進行分解，對分解后的分量進行處理的算法。陳喆和蔣羽超［42］等提出的利用β函數(shù)映射與幀間信息融合的低照度視頻圖像增強方法，便是利用Retinex理論將其亮度分量分解為反射分量與照度分量；根據(jù)照度值映射關(guān)系利用β函數(shù)映射來增強照度分量；利用反射分量及增強后的照度分量來重建亮度層，最終重建RGB圖像。幀間信息融合增強將視頻第一幀圖像作為標準幀，計算其增強參數(shù)；比較第二幀圖像與標準幀圖像的直方圖，若歐式距離小于閾值，則使用標準幀的增強參數(shù)處理第二幀圖像；否則，將第二幀圖像作為標準幀并重新計算其增強參數(shù)，重復上述步驟，直至整個視頻增強過程結(jié)束。戴巖［43］等提出的基于梯度零范數(shù)最小化濾波的Retinex夜間圖像增強方法，也是利用Retinex理論將亮度分量分解成光照信息與反射信息兩部分。對亮度信息進行降采樣后，利用梯度零范數(shù)最小化濾波對光照圖像進行估計，再生成采樣，完成照度圖像估計，對反射圖像進行改進的r校正，校正后的圖像與照度圖像融合成亮度信息圖像，得到最后的彩色增強圖像?；诟倪M的CEM（Color Estimation Model）模型及細節(jié)增強的夜間彩色圖像增強方法中，結(jié)合改進的r變換方法和CEM模型相結(jié)合，提出改進的CEM方法對輸入圖像的RGB三個通道分別進行增強，最后通過引導濾波對亮度提升后的圖像進行去噪處理，以得到最后的增強圖像。

基于模型的算法能對視頻圖像中的整體信息進行增強，但算法結(jié)構(gòu)不靈活，局部信息的增強效果不佳且算法的可拓展性不好。

3.4基于直方圖類算法

在圖像處理中，直方圖均衡法是一種非常經(jīng)典的函數(shù)映射類的方法。在低照度視頻增強中，基于直方圖均衡的改進方法有很多，其中有些方法直接根據(jù)直方圖均衡進行視頻圖像增強方法，如張宇和王希勤［44］等提出的一種用于夜間圖像增強的算法。為了提高夜間捕獲圖像的清晰度，該算法首先用直接對比度增強的方法增強圖像的局部對比度，再用直方圖均衡對圖像的全局進行增強。該方法可以使用局部和全局的信息，是一種適合處理暗區(qū)圖像的對比度變換函數(shù)，可以實時實現(xiàn)。實驗證明新方法在處理夜視圖像時表現(xiàn)出了良好的性能。也有些是基于直方圖均衡的視頻圖像算法。有些時候傳統(tǒng)的直方圖均衡方法無法滿足現(xiàn)實狀況的要求，所以有很多學者提出了改進的直方圖均衡方法，例如何畏［45］提出的基于改進直方圖的低照度圖像增強算法，該算法首先利用函數(shù)映射增強局部信息的對比度，然后用改進的直方圖均衡化方法對圖像進行全局的增強處理，根據(jù)其位置修正灰度級，拓展其輸出圖像的動態(tài)范圍與灰度級數(shù)，保證細節(jié)不會因為直方圖均衡化而丟失。該算法對局部細節(jié)對比度增強的效果較好。為了在不損失圖像細節(jié)的情況下使算法能達到很好的噪聲去除效果，冷露［46］等提出了將邊緣細節(jié)與局部信息結(jié)合的直方圖均衡方法，該方法具有較強的抗噪性。為了使夜視圖像曝光均勻，Ernesto Zamora Ramos［47］提出了夜間視覺的亮度加權(quán)直方圖均衡化算法，該文探討了利用直方圖均衡化擴大惡劣的照明條件下拍攝的圖像的直方圖的動態(tài)范圍的可能性，有效地增強夜間圖像的對比度［48-49］。夜視圖像的標準直方圖均衡主要是對聚集的低像素值周圍進行曝光，而增強亮度權(quán)重直方圖均衡化是結(jié)合每個像素值亮度的歸一化權(quán)重計算和擴散的直方圖值填充差距，減少噪聲的高頻變化。這項技術(shù)可以應用到新的視頻捕獲設(shè)備，檢測低照度的光照強度的加權(quán)直方圖均衡，以利于低光的視頻捕獲。

如圖6中的（c）、（d）所示，直方圖均衡主要將灰度集中的圖像進行拉伸，使其灰度均勻分布。圖（c）中直方圖可知，像素值主要集中在0-50，對應的圖像亮度較暗，圖（d）中像素值相對圖（c）分布均勻，對應的圖像亮度提升。

由圖6中的（a）、（b）效果圖對比可知，傳統(tǒng)直方圖均衡方法提升了圖像的亮度，并調(diào)節(jié)了圖像中亮度不均的問題，但損失了圖像中大量的細節(jié)信息，因此將傳統(tǒng)的直方圖均衡方法單獨應用到低照度圖像增強過程中效果不是很理想?；谝陨戏治觯狈綀D均衡方法需要結(jié)合圖像細節(jié)信息增強算法增強圖像的亮度，也可以在傳統(tǒng)直方圖算法之上引入權(quán)重思想，對直方圖均衡算法的自身進行調(diào)整，使其減少對圖像紋理的損失。

圖6　直方圖均衡前后對比圖

4　結(jié)語

實際的應用需求促進了低照度視頻圖像增強的研究與發(fā)展，近十年來，國內(nèi)外涌現(xiàn)出許多關(guān)于低照度視頻圖像增強算法，本文對這些算法進行了分類并對每類增強算法中的典型算法進行了概述。當前的算法在很大程度上改進了低照度視頻圖像的質(zhì)量，但在具體應用中仍存在許多不足。例如在視頻圖像增強過程中，很難兼顧算法的實時性、自適應性、視頻圖像的細節(jié)信息和顏色信息等。低照度視頻圖像增強算法在未來的研究與發(fā)展中，不僅要考慮算法在保持邊緣和去除噪聲方面的效果，還要注重算法的實時性與自適應性。只有具備良好的增強效果且滿足實時性的算法才能得到廣泛的應用。

［1］Drago F，Myszkowski K，Annen T，et al.Adaptive logarithmicmappingfordisplayinghighcontrast scenes［J］.Computer Graphics Forum，2003，22（3）：419-426.

［2］Bennett E P，Mcmillan L.Video enhancement using per-pixel virtual exposures［J］.Acm Transactions on Graphics，2005，24（3）：845-852.

［3］姜海琳.基于NLM和Tone Mapping的低亮度視頻去噪、增強［D］.天津：天津大學，2010.

［4］Durand Fr，Dorsey J.Fast bilateral filtering for the displayofhigh-dynamic-rangeimages［J］.Acm Transactions on Graphics，2002，21（3）：257-266.

［5］Kim M，Park D，Han D，et al.A novel approach for denoising and enhancement of extremely low-light video［J］.IEEE Transactions on Consumer Electronics，2015，61（1）：72-80.

［6］谷欣超，劉俊杰，才華，等.基于Kalman濾波器的運動目標跟蹤算法［J］.長春理工大學學報：自然科學版，2015，38（5）：136-139.

［7］Zhang Q，Nie Y，Zhang L，et al.Underexposed video enhancement via perception-driven progressive fusion ［J］.IEEE Transactions on Visualization&Computer Graphics，2015：1.

［8］Barnes C，Shechtman E，Dan B G，et al.The generalized patchmatch correspondence algorithm［C］.Proceedings of the 11th European conference on computer vision conference on Computer vision：Part III. Springer-Verlag，2010：29-43.

［9］Malm H，Oskarsson M，Warrant E，et al.Adaptive enhancementandnoisereductioninverylow light-level video［C］.IEEE 11th International Conference on，Computer Vision，2007：1-8.

［10］姜濤，王彩玲.融合多幀信息的Retinex監(jiān)控視頻增強算法［J］.桂林理工大學學報，2015（2）：402-407.

［11］張軍，戴霞.基于圖像變形融合時空濾波的視頻細微運動增強算法［J］.計算機科學，2015，42（z1）.

［12］侯雷，饒云波.一種亮度融合的視頻增強方法［J］.光電工程，2011，38（8）：132-138.

［13］Liang W，Murari K，Zhang Y Y，et al.Image-based fusion for video enhancement of night-time surveillance［J］.OpticalEngineering，2010，49（12）：120501-120501-3.

［14］朱秋旭，李俊山，朱英宏，等.Retinex理論下的自適應紅外圖像增強［J］.微電子學與計算機，2013，30（4）：22-25.

［15］姜勇，劉廣文，趙丹培，等.基于FPGA的圖像增強以及濾波技術(shù)［J］.長春理工大學學報：自然科學版，2002，25（4）：20-22.

［16］Li J，Li S Z，Pan Q，et al.Illumination and motion-based video enhancement for night surveillance ［C］.Visual Surveillance and Performance Evaluation of Tracking and Surveillance，2005.2nd Joint IEEEInternationalWorkshopon.IEEE，2005：169-175.

［17］Yamasaki A，Takauji H，Kaneko S，et al.Denighting：enhancement of nighttime images for a surveillance camera［C］.Pattern Recognition，2008.ICPR 2008. 19th International Conference on.IEEE，2009：1-4.

［18］饒云波.夜間視頻增強的關(guān)鍵技術(shù)研究［D］.成都：電子科技大學，2012.

［19］田旺，陶青川.基于融合的夜間視頻圖像增強算法［J］.計算機安全，2013（10）：43-46.

［20］李慶忠，劉清.基于小波變換的低照度圖像自適應增強算法［J］.中國激光，2015（2）：272-278.

［21］樸燕，劉磊，劉笑宇.低照度環(huán)境下視頻增強技術(shù)［J］.紅外與激光工程，2014（6）：2021-2026.

［22］Dong X，Wang G，Pang Y，et al.Fast efficient algorithm for enhancement of low lighting video［C］. IEEEInternationalConferenceonMultimedia& Expo.IEEE Computer Society，2011：1-6.

［23］朱婧雅，王中元.基于相似場景的低照度監(jiān)控圖像增強［J］.計算機應用與軟件，2015，32（1）：203-205.

［24］Ding X，Lei H，Rao Y.Sparse codes fusion for contextenhancementofnightvideosurveillance［J］. Multimedia Tools&Applications，2015：1-19.

［25］姜雪松.不足光照條件下的圖像與視頻增強［D］.哈爾濱：哈爾濱工業(yè)大學，2013.

［26］張麗媛，楊華民，蔣振剛，等.結(jié)合金字塔技術(shù)的暗原色先驗快速去霧方法［J］.長春理工大學學報：自然科學版，2015，38（2）：121-124.

［27］黃華，蔣永馨，王孝通，等.一種基于Ardely分割算法的夜間圖像增強方法［C］.第十四屆全國圖象圖形學學術(shù)會議論文集，2008.

［28］甘玉泉，高偉.一種基于圖像分區(qū)的自動曝光算法［J］.微計算機信息，2009，25（12）：303-304.

［29］禹晶，李大鵬，廖慶敏.基于顏色恒常性的低照度圖像視見度增強［J］.自動化學報，2011，37（8）：923-931.

［30］趙長霞，段錦，李光明，等.基于大氣散射模型的偏振圖像去霧方法［J］.長春理工大學學報：自然科學版，2015，38（3）：107-111.

［31］遆曉光，曲悠楊.一種改進的色彩保持低照度圖像增強方法［J］.哈爾濱工業(yè)大學學報，2014，46（3）：1-7.

［32］王小元，張紅英，吳亞東，等.基于物理模型的低照度圖像增強算法［J］.計算機應用，2015，35（8）：2301-2304.

［33］Rahman Z U，Jobson D J，Woodell G A.Multiscale retinex for color image enhancement［C］.International Conference on Image Processing.IEEE，1996（3）：1003-1006.

［34］Jobson D J，Rahman Z，Woodell G A.A multiscale retinex for bridging the gap between color images andthehumanobservationofscenes.［J］.Image ProcessingIEEETransactionson，1997，6（7）：965-76.

［35］Zia-Ur R，Daniel J J，Glenn A W.A Multiscale Retinexforcolorrenditionanddynamicrange compression［J］.Proceedings of SPIE-The InternationalSocietyforOpticalEngineering，2010，2847：183-191.

［36］謝斌斌.基于Retinex技術(shù)的圖像增強算法及實現(xiàn)［D］.北京：中國科學院大學，2013.

［37］Jin H，Tu L，Deng X.Night image enhancement algorithmbasedonretinextheory［J］.International Journal of Advancements in Computing Technology，2011，3（10）：291-298.

［38］雷美榮，楊進華，張金泉.基于Retinex理論的紅外圖像的邊緣增強算法［J］.長春理工大學學報：自然科學版，2008，31（2）：11-13.

［39］張紅穎，袁曉鵬.基于YUV色彩空間的Retinex間圖像增強算法［J］.科學技術(shù)與工程，2014，14（30）.

［40］李小霞，李鋮果，鄒建華，等.一種新的低照度彩色圖像增強算法［J］.計算機應用研究，2011，28（9）：3554-3555.

［41］程芳瑾，杜曉駿，馬麗，等.基于Retinex的低照度圖像增強［J］.電視技術(shù)，2013，37（15）：4-6.

［42］陳喆，蔣羽超，殷福亮.利用β函數(shù)映射與幀間信息融合的低照度視頻圖像增強方法［C］.第十六屆全國信號處理學術(shù)年會及產(chǎn)業(yè)發(fā)展大會，2013.

［43］戴巖，趙宏宇，肖創(chuàng)柏，等.基于梯度零范數(shù)最小化的Retinex夜間圖像增強方法：CN，CN 103413275 A ［P］.2013.

［44］張宇，王希勤.一種用于夜間圖像增強的算法［J］.清華大學學報：自然科學版，1999，39（9）：79-80.

［45］何畏.基于改進直方圖的低照度圖像增強算法［J］.計算機科學，2015，42（6）：241-242.

［46］冷璐，黎明，張家樹.結(jié)合邊緣細節(jié)局部自適應增強的直方圖均衡化［J］.微電子學與計算機，2010，27（1）：38-41.

［47］Ramos E Z.Intensity weighted histogram equalization method for night vision［J］.Advances in Image and Video Processing，2015，3（3）：18.

［48］Chen S D，Ramli A R.Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation［J］.IEEE TransactionsonConsumerElectronics，2003，49（4）：1301-1309.

［49］Kim Y T.Contrast enhancement using brightness preserving bi-histogram equalization［J］.IEEE Transactions on Consumer Electronics，1997，43（1）：1-8.

A Review on Low Light Video Image Enhancement Algorithms

FANG Ming1，LI Hongna1，LEI Lihong1，LIANG Ming2

（1.School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022；2.School of Mechatronical Engineering，Changchun University of Science and Technology，Changchun 130022）

Imaging under the condition of insufficient illumination with the image sensor will cause the video image noise，low contrast and a lot of details cannot be expressed etc.，these problems seriously affect people to understand and interpret the content of the video image.This paper analyzes the characteristics of low-light video images，and summarizing representative of some of the low-light image enhancement algorithm strategies and their derivatives based on the characteristics in recent years.The algorithms are divided into Tone Mapping，background fusion，model，mapping function according to the principal of light enhancement，and their respective applications，algorithm advantages and limitations are also analyzed by comparing them.

low-light；video image；image enhancement

TP391.4

A

1672-9870（2016）03-0056-09

2016-02-16

吉林省科技攻關(guān)項目（20140204047GX）；吉林省自然科學基金項目（2013010105450）

方明（1977-），男，博士，副教授，E-mail：fangming@cust.edu.cn