像素級自適應(yīng)融合的夜間圖像增強

王 成 張艷超

(1.中國人民解放軍91245部隊，遼寧 葫蘆島 125001;2.中國科學院長春光學精密機械與物理研究所，吉林 長春 130033)

1 引 言

隨著平安城市系統(tǒng)、智慧城市系統(tǒng)的大規(guī)模建設(shè)，積累了大量的視頻監(jiān)控數(shù)據(jù)，為刑偵影像分析提供了大量影像數(shù)據(jù)。但是由于各監(jiān)控系統(tǒng)性能差異較大，常常存在夜間時段采集的圖像質(zhì)量整體亮度低、像質(zhì)退化嚴重的現(xiàn)象，大大降低了圖像的應(yīng)用價值[1]。因此，對于夜間圖像增強技術(shù)的研究具有重要意義。

圖像增強是通過采取某種變換手段，突出圖像中的目標細節(jié)，濾除無用信息，以便使處理后的圖像能夠更好地符合人眼的視覺特性。傳統(tǒng)的圖像增強法大體分為兩類[2-3]：空域法和頻域法?？沼蚍ㄊ侵苯訉D像像素進行操作；頻域法在圖像的某個變換域內(nèi)進行操作，再通過逆變換進行圖像增強。常見的空域法主要有灰度變換(指數(shù)變換、對數(shù)變換、伽馬變換等)、直方圖均衡、直方圖規(guī)定化等。頻域法主要有高通濾波、低通濾波、帶通濾波、同態(tài)濾波、小波變換等。隨著研究的不斷深入，衍生出了多種算法[4-11]，如基于色彩恒常性理論的Retinex方法、暗原色方法、偏微分方程法等。

夜間圖像的主要特點是圖像整體亮度較低，噪聲干擾大，圖像細節(jié)多淹沒在較低灰度范圍的背景中?；叶茸儞Q法雖然具有較好的實時性，但常常存在邊緣細節(jié)與信噪比之間的矛盾。尤其對于夜間圖像，由于含有較大的噪聲干擾，在放大細節(jié)的同時也會導致隱含噪聲隨之放大。直方圖均衡法是將灰度值以相等的概率分布在直方圖上來擴展直方圖的分布范圍，然而它容易產(chǎn)生過增強，使圖像過亮而使微弱信息丟失[12]?；赗etinex理論增強算法、暗原色方法、偏微分方程等方法，在算法的實時性和普適性方面受到了較大限制[13-14]?；陬l域濾波的方法，既能有效地濾除掉不需要的低頻背景，又不會影響圖像的高頻細節(jié)，更不會造成噪聲放大。因此，本文將基于頻域的高通濾波作為夜間圖像細節(jié)增強的基礎(chǔ)方法。為了更好地滿足人眼的視覺特點，本文還在濾波圖像的基礎(chǔ)上，與原始圖像進行了像素級的權(quán)值自適應(yīng)加權(quán)融合，使之在增強原有圖像細節(jié)的同時又進一步增強了圖像的整體對比度，顯著提高了夜間圖像的成像質(zhì)量，且其良好的實時性，也使得整體提高安防監(jiān)控水平成為可能。

2 算法原理

2.1 基于高通濾波的細節(jié)增強

夜間圖像的大部分細節(jié)多淹沒在低頻暗背景中，為了進一步突出圖像細節(jié)，而不至于擴大暗背景噪聲，本文首先選用高斯高通濾波器進行暗背景濾除。高斯濾波器的傳遞函數(shù)如式(1)所示[15]。

(1)

式中：H(u,v)為高斯濾波器頻域傳遞函數(shù)，D0為截止頻率，D(u,v)為頻率域中點(u,v)與頻率矩形中心的距離。

濾波前后效果對比圖如圖1所示。

(a)原始圖像(a)Original image

(b)濾波后圖像(b) Filtered image圖1 高通濾波前后效果對比圖Fig.1 Comparison of original and high pass filtering images

由圖1可以看出，濾除低頻背景后的圖像展現(xiàn)出了更多的圖像細節(jié)(如圖(b)中標示出的圓形區(qū)域內(nèi)的車輛，以及其他若干背景車輛)。但是，從整體上看，濾波后圖像的視覺對比度較差。這是因為，由于圖像整體亮度較暗，目標灰度與背景灰度較為接近，即使進行了濾波處理，也不能將暗目標與背景完全區(qū)分開，導致濾波后的圖像被整體“沖淡”，因此需要對圖像作進一步的對比度增強。

2.2 基于自適應(yīng)融合的對比度增強

如上節(jié)所述，由于夜間圖像暗目標與背景灰度較為接近，常規(guī)的對比度增強方法[15](如對數(shù)變換、伽馬變換、直方圖均衡等)可在加深背景的同時拉低目標亮度，也可在增加目標亮度的同時使背景灰度級隨之增大。鑒于此，本文提出了一種基于像素級加權(quán)系數(shù)自適應(yīng)的融合增強算法。

該算法將原始圖像暗背景像素點與濾波圖像的亮目標多細節(jié)像素點進行加權(quán)融合，即在平滑暗背景圖像上進行有選擇的增強目標的疊加，如式(2)所示。

G(x,y)=w1·GA1(x,y)+w2·GA2(x,y)，

(2)

式中：G(x,y)為融合后像素點(x,y)的灰度值；GA1(x,y)為原始圖像中像素點(x,y)的灰度值；GA2(x,y)為濾波圖像中像素點(x,y)的灰度值；w1為GA1(x,y)的權(quán)重系數(shù)，w2為GA2(x,y)的權(quán)重系數(shù)，w1和w2均為0到1之間的小數(shù)，且二者的和為1。

由于GA1(x,y)與GA2(x,y)可以從圖像中直接獲取，那么權(quán)重系數(shù)w1和w2的合理選取將直接決定了最終的圖像效果。

w1和w2選取的指導思想是，像素點(x,y)灰度值越接近背景灰度，則原始圖像對應(yīng)像素點(x,y)值貢獻應(yīng)加大，其相應(yīng)的權(quán)值w1越大；而濾波圖像對應(yīng)像素點(x,y)貢獻應(yīng)削弱，其相應(yīng)的權(quán)值w2越小。像素點(x,y)灰度值越接近目標灰度時，則相反。由于夜間圖像多數(shù)為暗背景亮目標圖像，那么就可以將w1表征為隨灰度增強單調(diào)遞減的函數(shù)，而w2則表征為隨灰度增加單調(diào)遞增的函數(shù)，且始終保證二者的和為1。

最簡單的單調(diào)遞增或遞減函數(shù)是線性函數(shù)，由于線性函數(shù)會導致背景和暗目標同比例放大或縮小，因此不能較好地進行目標背景區(qū)分。而對數(shù)變換函數(shù)能夠?qū)⑤^窄的低灰度值映射為較寬范圍的灰度值[15]，進而能更好地區(qū)分暗背景和隱藏在暗背景中的較低灰度目標。因此，本文選取灰度值的對數(shù)歸一化函數(shù)作為權(quán)重系數(shù)的變換公式。需要說明的是，為了避免GA2(x,y)=0時，對數(shù)變換為負無窮大的情況，取對數(shù)時在原有灰度的基礎(chǔ)上加上了偏置1，如式(3)、式(4)所示，其變換曲線如圖2所示。

(3)

w1=1-w2，

(4)

其中：Gmax為最大灰度值加1，如8位圖像，最大灰度值為255，則Gmax取值為256。r為指數(shù)常數(shù)，經(jīng)過實驗效果比較，本文取值為2。

圖3為高通濾波圖像與融合后效果對比圖。從該對比圖可以看出，融合后的圖像對比度有所提高，但是由于濾波后圖像整體亮度偏暗，導致整體對比度提升效果不夠顯著。因此，在融合過程中，應(yīng)進一步提升濾波后圖像在融合過程中的比例。將式(2)做進一步修正，得到式(5)。

(a)濾波后圖像(a)Filtered image

(b)融合后圖像(b)Fusion image圖3 融合效果對比圖Fig.3 Comparison of filtered and fusion images

(5)

式中，E為微調(diào)修正系數(shù)，一般選取大于1的數(shù)。此參量的選取應(yīng)既能保證較好的圖像對比度，又不至于出現(xiàn)大量的飽和區(qū)域，該參數(shù)可根據(jù)圖像的飽和區(qū)域面積統(tǒng)計動態(tài)調(diào)整。本文中參數(shù)E取值為4，修正后的效果對比圖如圖4所示。

從效果對比圖可以看出，修正后的融合圖像與濾波后圖像相比，對比度得到明顯提升。與圖1中原始圖相比，在圖像細節(jié)和對比度方面均得到了顯著提升，且邊緣過渡平滑。

(a)濾波后圖像(a) Filtered image

(b)融合修正后圖像(b)Modified fusion image圖4 融合修正效果對比圖Fig.4 Comparison of filtered modified fusion images

3 實驗結(jié)果與分析

3.1 灰度圖像增強效果主觀評價

由于較常見的局部直方圖均衡、直方圖規(guī)定化、伽馬校正等方法，其處理結(jié)果與具體的增強策略、規(guī)定函數(shù)、參數(shù)選取的不同而存在較大差異，難以一一比較。因此，為了更好地驗證融合增強算法的有效性，本節(jié)將該算法與典型的直方圖均衡和對數(shù)變換算法進行比較。同時，除了上述較為常見的傳統(tǒng)圖像增強方法外，也有學者提出將圖像利用不同技術(shù)手段分別進行處理，而進行圖像融合，并最終實現(xiàn)圖像增強的方法。為了更好地驗證融合增強算法的性能，本節(jié)將與林曉春所提出的基于圖像融合的圖像增強手段進行比較[16]，對比效果圖如圖5和圖6所示。

從圖5和圖6可以看出，直方圖均衡、對數(shù)變換和融合增強都使原始圖在對比度和目標細節(jié)方面得到了明顯改善，但是經(jīng)過直方圖均衡和對數(shù)變換后的圖像都出現(xiàn)了明顯的邊緣效應(yīng)，圖像灰度變換不夠細膩平滑，整體增強效果不夠理想，而林曉春提出的算法增強效果在對比度方面較差，對于夜視環(huán)境下的圖像處理能力較為有限。因此，從主觀評價角度看，融合增強的增強效果較為顯著。

(a)原始圖像(a)Original image

(b)直方圖均衡(b)Histogram equalization

(c)對數(shù)變換(c)Logarithmic transformation

(d)融合增強(本文提出)(d)Fusion enhancement propesed in this paper

(e)融合增強(林曉春提出)(e)Fusion enhancement proposed by Prof. Lin圖5 場景一增強效果對比Fig.5 Comparison of enhancement in Scene 1

(a)原始圖像(a)Original image

(b)直方圖均衡(b)Histogram equalization

(c)對數(shù)變換(c)Logarithmic transformation

(d)融合增強(本文提出)(d)Fusion enhancement proposed in this paper

(e)融合增強(林曉春提出)(e)Fusion enhancement proposed by Prof. Lin圖6 場景二增強效果對比Fig.6 Comparison of enhancement in Scene 2

3.2 灰度圖像增強效果客觀評價

常用的圖像增強質(zhì)量評價方法有對比度、信噪比、信息熵[3]。由于信噪比在計算過程中要區(qū)分感興趣的目標區(qū)域和背景區(qū)域，而對于不同應(yīng)用場景(尤其是復雜場景)目標區(qū)域與背景區(qū)域較難定義，因此本節(jié)只采用圖像的對比度和信息熵兩項評價指標進行圖像增強質(zhì)量評價。

圖像對比度的計算公式如下：

(6)

式中：Ii,j為中心像素點的灰度值，N為圖像局部塊內(nèi)像素點的個數(shù)，Ci,j為像素點(i,j)的局部對比度，全局對比度為Ci,j均值。

圖像信息熵計算公式如下：

(7)

式中：p(k)為灰度級k的概率密度，L為最大灰度級。

分別采用式(6)、式(7)計算圖5中場景一和圖6中場景二圖像的對比度和信息熵指標，計算結(jié)果如表1和表2所示。

從表1和表2結(jié)果看出，相較于原始圖像，傳統(tǒng)的幾種增強算法在對比度上都得到了明顯提高，而和其他的融合增強算法進行比較，本文所提出的融合增強算法對比度數(shù)值更高。結(jié)合圖5和圖6可以看出，融合增強算法對比度從數(shù)值上略低于直方圖均衡和對數(shù)變換，主要是因為前兩種變換算法在變換后出現(xiàn)了明顯的邊緣效應(yīng)，導致局部對比度明顯升高，進而造成對比度數(shù)值上的提高。這說明本文提出的融合增強算法更適用于夜間條件。而從信息熵評價結(jié)果看，直方圖均衡和對數(shù)變換基本沒有明顯變化，而融合增強算法卻得到了顯著改善，但效果不如林曉春所提出的融合算法?？傮w上看，客觀評價結(jié)果與3.1節(jié)的主觀評價結(jié)果相吻合。

表1 場景一不同算法的圖像質(zhì)量評價結(jié)果

Tab.1 Results of image qualify evaluation with different algorithms in Scene 1

圖像對比度信息熵原始圖像0.734.09直方圖均衡8.804.07對數(shù)變換5.164.09融合增強(本文)3.674.60融合增強(林)0.522.34

表2 場景二不同算法的圖像質(zhì)量評價結(jié)果

Tab.2 Results of image qualify evaluation with different algorithms in Scene 2

圖像對比度信息熵原始圖像1.114.97直方圖均衡5.924.92對數(shù)變換1.794.96融合增強(本文)2.905.63融合增強(林)2.043.22

3.3 灰度圖像實時性評價

對于在線圖像處理設(shè)備，為了滿足實際工程需要，算法的實時性也是衡量一種算法的重要指標。采用融合增強算法進行圖像增強，對于320×256分辨率的灰度圖像，CPU主頻為3.0 GHz硬件環(huán)境下處理時間約為9.5 ms，足以滿足標準的25 frame/s的視頻輸出間隔。且若要進一步提高算法實時性，可考慮提高計算機性能或采用GPU進行并行加速的解決辦法。而與之相對應(yīng)，對于同等條件下，林曉春所提出的圖像融合算法的處理時間為7.1 ms，其圖像處理效率快于本文所提出的圖像融合增強算法。

3.4 彩色圖像處理能力評價

由于夜視環(huán)境下，灰度圖像更易進行處理，因此被廣泛應(yīng)用于監(jiān)控系統(tǒng)中。本文上述內(nèi)容也主要針對灰度圖像進行分析。但彩色圖像在監(jiān)控系統(tǒng)中也有應(yīng)用，針對彩色圖像的夜視圖片，本文針對融合算法的處理能力進行了簡單的探索和研究論證。在CPU主頻為3.0 GHz硬件環(huán)境下，本文針對320×256分辨率的夜視監(jiān)控彩色圖像進行了處理，處理效果如圖7所示。

(a)原始圖像(a)Original image

(b) 融合增強(本文提出)(b) Fusion enhancement proposed in this paper

(c)融合增強(林曉春提出)(c)Fusion enhancement proposed by Prof. Lin圖7 彩色圖像增強效果Fig.7 Enhancement of color image

由圖7可見，本文提出的方法在對彩色圖像進行處理時，能夠較好地保證圖像色彩不失真，圖像灰度過度自然細膩，圖像對比度明顯。與林曉春提出的增強算法相比，本算法增強效果更加顯著。經(jīng)融合增強處理后，圖像的暗區(qū)域細節(jié)可見程度明顯增加，對比度也明顯提升。

彩色圖像處理具體量化指標如表3所示。

表3 彩色圖像質(zhì)量評價結(jié)果Tab.3 Results of color image enhancement

由表3可知，經(jīng)融合增強算法處理后的彩色圖像和原圖像相比對比度有明顯提升，而信息熵則與原圖像處理結(jié)果相比基本持平，這也進一步證實了本算法在處理彩色圖像時能夠有效提升對比度，對圖像暗區(qū)域細節(jié)具有較好的展示能力，適用于夜間圖像曝光不足情況的處理。

3.5 擴展性評價

從算法的實現(xiàn)原理可知，本文提出的融合增強方法還可將其中的高頻濾波部分替換為其他符合處理要求的增強算法進行自適應(yīng)圖像融合，以進一步提高算法的增強效果。

4 結(jié) 論

針對夜間圖像曝光不足、對比度低的圖像特點，本文提出了結(jié)合高通濾波和像素級權(quán)重系數(shù)自適應(yīng)融合的方式進行圖像增強的方法。該方法在對圖像進行高通濾波的基礎(chǔ)上，與原圖進行變權(quán)重系數(shù)加權(quán)融合，既有效增強了圖像細節(jié)又使圖像對比度得到了顯著提高。且圖像對比度和信息熵兩項評價指標均得到了明顯改善，與主觀評價趨勢相符合。在算法的實時性方面，對于320×256分辨率的灰度圖像，CPU主頻為3.0 GHz硬件環(huán)境下，本文的融合增強算法處理時間約為9.5 ms，足以滿足一般監(jiān)控設(shè)備處理需求。此外，本算法還可將高頻濾波替換為其他符合處理要求的增強算法，從而實現(xiàn)變系數(shù)融合增強，以適應(yīng)不同圖像場景和對處理時間的優(yōu)化。因此，本算法的融合增強思想具有一定的靈活性和擴展性。