視頻增強(qiáng)中亮度閃爍問題的研究及解決

侯天峰, 葉長青, 曾舒婷

(南京大學(xué)金陵學(xué)院, 信息科學(xué)與工程學(xué)院, 南京 210000)

0 引言

攝像機(jī)拍攝時(shí)，光照是影響視頻質(zhì)量的重要外在因素。夜間、暗光條件下、存在光源遮擋或強(qiáng)光源時(shí)，捕獲的圖像會(huì)相應(yīng)出現(xiàn)亮度不足、光照不均及高光等情況，會(huì)使圖像部分區(qū)域的細(xì)節(jié)信息丟失。對于監(jiān)控視頻，可能會(huì)導(dǎo)致人臉及車牌等關(guān)鍵信息提取及識別失敗，對于消費(fèi)設(shè)備的影音照片，則無法呈現(xiàn)良好的主觀效果，同時(shí)對后續(xù)編輯及處理造成較大困難。

以上種種不良光照因素造成的細(xì)節(jié)丟失影響，可以通過圖像增強(qiáng)算法改善質(zhì)量。常常采用的算法主要有:同態(tài)濾波[1]、灰度變換法[2]、小波變換增強(qiáng)[3]、Retinex算法[4]等等。其中基于Retinex理論的增強(qiáng)方法發(fā)展和應(yīng)用尤為廣泛，其具有細(xì)節(jié)增強(qiáng)和動(dòng)態(tài)范圍壓縮等優(yōu)點(diǎn)。從一開始的單尺度Retinex，到后來出現(xiàn)了多尺度算法以及帶顏色恢復(fù)的Retinex算法等等。文獻(xiàn)[5]中引入雙邊濾波器來代替?zhèn)鹘y(tǒng)高斯環(huán)繞濾波，在消除“光暈”方面有了一定的效果且對邊緣處的增強(qiáng)效果也較好，因?yàn)殡p邊濾波具有邊緣保持特性。文獻(xiàn)[6]引入導(dǎo)向?yàn)V波器進(jìn)行照度分量計(jì)算，相較于雙邊濾波器效果更優(yōu)，不存在梯度反轉(zhuǎn)，而且時(shí)間復(fù)雜度和濾波半徑無關(guān)。Bo Sun提出一種亮度修正的Retinex算法，將Canny算子和Retinex算法結(jié)合起來，首先分析入射分量，接著采用Canny算子檢測圖像邊緣信息[7]，可以有效的消除“光暈”。邵振峰等人[8]提出將輸入圖像轉(zhuǎn)換到HIS空間，再對飽和度及亮度進(jìn)行處理，同時(shí)增強(qiáng)圖像邊緣處細(xì)節(jié)特征。

目前基于Retinex理論的研究主要集中于于消除算法“光暈”問題、更快速有效的照度計(jì)算濾波器、對比度的提升以及邊緣細(xì)節(jié)的增強(qiáng)，但是忽略了實(shí)際應(yīng)用中對多幀視頻處理的需求以及過處理所造成的亮度閃爍、色彩失真等問題。本文對基于Retinex理論的算法進(jìn)行研究，考慮日常影視及移動(dòng)設(shè)備拍攝及播放視頻的增強(qiáng)處理要求，在大量實(shí)驗(yàn)基礎(chǔ)上，發(fā)現(xiàn)增強(qiáng)多幀時(shí)幀間存在亮度閃爍問題，從而引入的閃爍度量指標(biāo)，提出一種消除閃爍的光照補(bǔ)償算法，在增強(qiáng)視頻的同時(shí)，有效消除亮度閃爍。第3、4部分的分析和實(shí)驗(yàn)表明本文算法是切實(shí)有效的。

1 Retinex理論

Retinex算法認(rèn)為原圖像可分解為反射部分和入射部分。入射分量表征環(huán)境光照影響，亦稱照射分量，而反射分量決定圖像的內(nèi)在性質(zhì)，因此可通過一定的方法估計(jì)出圖像的低頻的光照信息，進(jìn)而提取出圖像的反射分量，即圖像的細(xì)節(jié)信息，就可還原物體原來景象，從而達(dá)到增強(qiáng)圖像的目的。

算法數(shù)學(xué)模型通常表示為式(1)。

S(x,y)=R(x,y)*L(x,y)

(1)

式(1)中，S是觀察到的原始圖像，R為反射分量，反映物體真實(shí)信息，L表示照射分量。

實(shí)際計(jì)算時(shí)需要將(1)式變換到對數(shù)域處理，對(1)式兩邊取對數(shù)得式(2)。

log(S(x,y))=log(R(x,y))+log(L(x,y))

(2)

從原始圖像直接獲得物體的反射分量較困難，但可以先估計(jì)出照射分量，然后利用(2)式計(jì)算得到反射分量。不同的文獻(xiàn)和算法對照度圖像估計(jì)的處理方式不同，通常都是用低通濾波器對原始圖像進(jìn)行卷積來估計(jì)照度分量圖像，高斯濾波是常用濾波器之一，可以得到較好的增強(qiáng)效果為式(3)。

(3)

式(3)中為c尺度參數(shù)，c的大小可以用來調(diào)節(jié)圖像增強(qiáng)效果。

2 幀間閃爍現(xiàn)象分析

通過大量實(shí)驗(yàn)觀察，Retinex對連續(xù)多幀圖像進(jìn)行處理時(shí)，增強(qiáng)后圖像幀之間存在較明顯亮度閃爍問題，明顯影響播放的主觀視覺效果。究其原因，一方面在于Retinex增強(qiáng)過程其實(shí)是一種非線性操作，原本幀間相差無幾的亮度經(jīng)非線性處理后差異存在被放大的可能；另一方面，從人眼視覺特性的角度來說，低亮度時(shí)的差異不易被觀察，而中高亮度時(shí)的灰度值差異更易被察覺，以致人眼能夠明顯感覺到閃爍的存在。

2.1 亮度差異感知的視覺特性

兩組手動(dòng)生成的純色測試圖像，如圖1所示：

都是256級灰色圖，第一組的兩張圖像像素值分別為15和20，第二組為195和200，通過長時(shí)間多次主觀觀察的對比，可以發(fā)現(xiàn)第二組的差異較第一組更容易被察覺及感知。

造成上述主觀感受差異的原因在于人眼的視覺特性。人眼視力隨著被觀測物體的亮度變化是非常顯著的，一般情況下視力隨亮度的增加而提高。亮度與視力關(guān)系曲線，如圖2所示。

圖2 視力與亮度關(guān)系曲線

橫軸為亮度(單位尼特)，縱軸為蘭道爾環(huán)視力?？梢钥吹剑钡?000尼特左右，視力都在隨亮度而上升，0.01尼特以下的亮度視力會(huì)變得很差，而且從0.1至300尼特的亮度范圍內(nèi)，視力與亮度的對數(shù)成正比，符合費(fèi)希納定律所述。

這種特性同時(shí)反映在不同亮度基準(zhǔn)下對差異識別的影響。把兩個(gè)不同亮度的圖像放在一起，為了區(qū)分它們的不同，其亮度應(yīng)該有一定的差異，小于這個(gè)差異，人眼就很難區(qū)分出來，此即韋柏提出的“最小可覺差”。根據(jù)韋柏定律，即感覺的差別隨原來刺激量的變化而變化，而且表現(xiàn)為一定的規(guī)律性，用公式來表示為式(4)。

(4)

其中I為原刺激量，ΔI為此時(shí)的差別閾限，K為常數(shù)，又稱為韋柏率。文獻(xiàn)[10]認(rèn)為：K<0.05，一般取K=0.02。對于圖1的兩組相鄰幀圖像，ΔI分別為：

ΔI1=K*I1=0.02*15=0.3

ΔI2=K*I2=0.02*195=3.9

因此圖1中(b)組中兩幅純色灰度圖人眼感知到的差異會(huì)比第一組明顯，而圖像增強(qiáng)算法會(huì)提高原圖像中暗區(qū)域亮度。由此得出第一個(gè)結(jié)論：Retinex增強(qiáng)圖像亮度后人眼更容易感受到幀間亮度的差異，即閃爍的存在。

2.2 Retinex增強(qiáng)的差異放大特性

Retinex處理過程中存在log、exp以及數(shù)據(jù)映射等非線性操作，由此存在放大原始幀之間亮度差異的可能，如圖3所示。

圖3(a)為原視頻截取的相鄰兩幀圖像，為同一場景，對應(yīng)的增強(qiáng)后結(jié)果見圖3(b)。圖3(c)為處理前后第1、2幀間亮度差異對比，藍(lán)色曲線表示原始幀間亮度差，紅色曲線表示增強(qiáng)圖像幀間亮度差。從圖3(c)可以看出處理后明顯放大了原始幀間同區(qū)域的亮度差異。由此文章得出第二個(gè)結(jié)

(c) 亮度差異曲線

論：Retinex算法處理過程會(huì)使原本微弱的差異變得更加明顯，從而導(dǎo)致閃爍。

2.3 閃爍因子

為了更好地分析和說明亮度閃爍問題，本文引入閃爍因子概念，用gc來表示，用以定量描述同場景幀間同一區(qū)域人眼感知到的亮度差異。根據(jù)費(fèi)希納定律：感覺強(qiáng)度與刺激強(qiáng)度的對數(shù)成正比[10]，因此本文定義為式(5)。

(5)

其中，Icur為當(dāng)前幀處理結(jié)果，Iref為上一幀處理結(jié)果，Ω為亮度比較區(qū)域，本文Ω選為整幅圖像區(qū)域，N為該區(qū)域內(nèi)像素?cái)?shù)量。閃爍因子可以描述對視頻進(jìn)行光照增強(qiáng)時(shí)人眼感受到的相鄰幀閃爍的劇烈程度，以更好地反映觀察者接受到的主觀刺激差異，從而定量衡量增強(qiáng)算法優(yōu)劣。

3 修正閃爍的Retinex算法

觀察者觀察到的視頻閃爍效果是從一幀圖像到下一幀圖像的全局亮度變化，其前后幀亮度關(guān)系基本數(shù)學(xué)模型[9]為式(6)。

In+1(x,y)=fn,n+1(In(x,y),x,y)=

an,n+1(x,y)·In(x,y)+bn,n+1(x,y)

(6)

上式中，In(x,y)是第n幀圖像的亮度信息;an,n+1(x,y)為第n幀與第n+1幀之間亮度變化的乘性因子；bn,n+1(x,y)為第n幀與第n+1幀圖像之間亮度變化的加性因子。

為了簡化起見，文章忽略加性因子只計(jì)算乘性因子，同時(shí)因?yàn)殚W爍的大面積覆蓋特性，因此可以假設(shè)在一個(gè)較小區(qū)域內(nèi)乘性因子保持不變，即在局部區(qū)域內(nèi)皆為常數(shù)。由此，式(6)變成為式(7)

In+1(x,y)=an,n+1,Ωk·In(x,y)

(7)

對Ωk內(nèi)所有像素點(diǎn)都有上式成立，求和可得式(8)。

(8)

解得式(9)。

(9)

為防止分母為0的極端情況，分母加上一個(gè)很小的數(shù)以作修正為式(10)。

(10)

整幅圖像所有區(qū)域的an,n+1,Ωk可構(gòu)成一個(gè)矩陣An,n+1。視頻閃爍雖然在時(shí)域上造成各幀亮度急劇變化的效果，但對單幅圖像來說，即使被閃爍影響產(chǎn)生失真，其亮度在空間域上還是連續(xù)變化的，所以前后幀變化參數(shù)矩陣An,n+1也應(yīng)該在空間域上呈現(xiàn)平緩變化，因此An,n+1應(yīng)具有空間平滑特性，故需對根據(jù)式(10)求出的變化參數(shù)進(jìn)行低通濾波，本文選擇尺寸為3×3的高斯濾波器。

基于以上研究和描述，提出一種改進(jìn)的Retinex增強(qiáng)算法，修正算法處理過程為式(11)。

(11)

a、根據(jù)式(2)逐幀計(jì)算反射分量；

b、根據(jù)(10)式計(jì)算前一幀與當(dāng)前幀之間的亮度變化參數(shù)；

c、對亮度變化參數(shù)矩陣進(jìn)行平滑濾波；

d、依據(jù)下式修正當(dāng)前幀反射分量

需要提醒的是，以上算法適合固定場景的增強(qiáng)處理，如果幀間存在場景變化，需要先對原圖像進(jìn)行幀間運(yùn)動(dòng)估計(jì)，矯正像素坐標(biāo)后再計(jì)算亮度變化參數(shù)，可選取視頻編碼中廣泛應(yīng)用的塊匹配方法。

4 實(shí)驗(yàn)

文中所有實(shí)驗(yàn)圖像均來自影視片段，轉(zhuǎn)換到Y(jié)UV格式進(jìn)行處理，尺寸為640×336。利用Matlab進(jìn)行算法編程和運(yùn)算。所有算法均調(diào)整至最佳效果。計(jì)算亮度差異參數(shù)an,n+1,Ωk時(shí)，選擇的區(qū)域尺寸為4×4。

為了充分驗(yàn)證所提算法有效性，文章進(jìn)行了大量實(shí)驗(yàn)。下面選取2組進(jìn)行對比評價(jià)。第一組圖像為靜態(tài)電影片段，場景保持不變，共計(jì)31幀，如圖4所示。

圖4(a)為視頻序列中的第一幀，圖4(b)為相應(yīng)的增強(qiáng)圖像，圖4(c)為31幀圖像處理前后的30組閃爍因子的對比，藍(lán)色為原始圖像幀間的閃爍因子曲線，綠色為傳統(tǒng)Retinex算法處理的閃爍因子曲線，紅色為本文改進(jìn)算法的閃爍因子曲線?？梢钥闯鲈紟捎诹炼群艿?，根據(jù)人眼視覺特性，感受到的亮度差異很小，播放時(shí)幾乎觀察不到閃爍的存在，但經(jīng)過傳統(tǒng)Retinex算法處理后，基于亮度差異感知的視覺特性和非線性處理的差異放大特性，導(dǎo)致閃爍變得非常明顯，而由本文提出的改進(jìn)措施有效抑制了閃爍，gc曲線幅度明顯降低。

第二組圖像為動(dòng)態(tài)電影片段，共計(jì)8幀，場景存在小范圍偏移，此時(shí)需要在計(jì)算亮度差異參數(shù)之前對原始圖像做運(yùn)動(dòng)補(bǔ)償，本文選取塊匹配方法，如圖5所示。

(a)原始圖像(b)增強(qiáng)圖像

(c) 閃爍因子曲線

(c) 閃爍因子曲線

圖5 第二組實(shí)驗(yàn)

圖5(a)為序列中的第一幀，圖5(b)為相應(yīng)的增強(qiáng)圖像，圖4(c)為閃爍因子gc對比圖，藍(lán)色為原始幀間的閃爍因子曲線，綠色為Retinex增強(qiáng)結(jié)果的閃爍因子曲線，紅色為修正算法的閃爍因子曲線，同樣抑制效果明顯。

5 總結(jié)

文章著眼于視頻光照增強(qiáng)處理的實(shí)際觀看需求，在大量實(shí)驗(yàn)中發(fā)現(xiàn)了Retinex算法存在的閃爍問題，基于人眼視覺特性及Retinex非線性特性進(jìn)行分析和解釋，提出閃爍因子，將人眼觀察到的亮度閃爍程度數(shù)值化以便捷度量算法優(yōu)劣；同時(shí)改進(jìn)傳統(tǒng)算法，修正了處理過程。理論分析及實(shí)驗(yàn)表明本文所提量化指標(biāo)及改進(jìn)算法是客觀有效的。下一步工作將致力于研究在極低光照條件下，如果提高圖像細(xì)節(jié)的增強(qiáng)及恢復(fù)能力。

[1] 焦竹青. 基于同態(tài)濾波的彩色圖像光照補(bǔ)償方法[J]. 光電子激光. 2010,21(4): 602-605.

[2] 梁琳,何衛(wèi)千,雷蕾等. 光照不均圖像增強(qiáng)方法綜述[J]. 計(jì)算機(jī)應(yīng)用研究. 2010,27(5): 1625-1628.

[3] Zafar I M, Abdul G, Masood S A. Satellite Image Resolution Enhancement Using Dual-Tree Complex Wavelet Transform and Nonlocal Means[J]. IEEE Geoscience and Remote Sensing Letters, 2013,10(3):451-455.

[4] 蔣永馨,王孝通,徐曉剛,等. 一種基于光照補(bǔ)償?shù)膱D像增強(qiáng)算法[J]. 電子學(xué)報(bào). 2009,37(4A):151-155.

[5] Michael Elad. Retinex by Two Bilateral Filters[J]. The Computer Science Department,Scale-Space. 2005:217-229.

[6] Kaiming He, Jian Sun, Xiaoou Tang. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2013.

[7] Bo Sun,Weifang Chen,Hongyu Li,et al. Modified Luminance Based Adaptive MSR[C]∥Fourth International Conference on Image and Graphics. 2007:116-120.

[8] 邵振峰, 白云, 周熙然. 改進(jìn)多尺度Retinex理論的低照度遙感影像增強(qiáng)方法[J]. 武漢大學(xué)學(xué)報(bào). 2015,40(1):32-39.

[9] YM Kim, KT Park, DS Lee. Video dehazing without flicker artifacts using adaptive temporal average[C]∥The 18th IEEE International Symposium on Consumer Electronics,2014:1-2.

[10] 尹芹.提高工業(yè)數(shù)字射線圖像對比度及信噪比的工藝措施[J]. 無損檢測, 2011, 33(1): 58-61.