實時視頻圖像的清晰度檢測算法研究

陳曉娟，陳淑榮

(上海海事大學(xué) 信息工程學(xué)院，上海 200135)

實時視頻圖像的質(zhì)量分析已成為眾多應(yīng)用領(lǐng)域性能好壞的關(guān)鍵因素之一，因此實時視頻圖像的清晰度檢測變得尤為重要。目前針對實時視頻圖像清晰度檢測的研究較少，圖像清晰度檢測算法的研究對象主要針對靜止的圖像?，F(xiàn)有的圖像清晰度檢測算法大致分為空域和頻域兩類。在空域中多采用基于梯度的算法，如拉普拉斯(Laplace)算法、差分平方和(SPSMD)算法、Sobel算子等。此類算法計算簡潔、快速、抗噪性能好、可靠性較高。在頻域中多采用圖像的FFT變換(或其他變換)，如功率譜(Power-spectra)算法等[1-2]。此類算法的檢測效果好，但計算復(fù)雜度高、計算時間長，不適合應(yīng)用在基于軟件實現(xiàn)的實時檢測系統(tǒng)中。

當(dāng)前對實時視頻圖像的一種重要應(yīng)用是對運動目標(biāo)的檢測，常用的目標(biāo)檢測方法有幀差法、背景減法、光流法及運動能量法[3]，其中最簡單而又快捷的方法是背景差法。其基本思想是通過對輸入圖像與背景圖像進(jìn)行比較來分割運動目標(biāo)，關(guān)鍵環(huán)節(jié)是背景圖像的提取。目前常用的背景提取方法有多幀圖像平均法、灰度統(tǒng)計法、中值濾波法、基于幀差的選擇方法、單高斯建模等。參考文獻(xiàn)[4]中對以上算法做了充分的研究。

本文是針對實時視頻圖像的清晰度檢測，基于實時視頻圖像背景基本保持不變的環(huán)境。通過比較上述算法，針對實時視頻圖像的特點，提出一種基于背景提取與Sobel算子相結(jié)合的實時視頻圖像的清晰度檢測算法。

1 實時視頻圖像的清晰度檢測算法原理

當(dāng)視頻播放畫面超過24幀/s時，根據(jù)視覺暫留原理，人眼無法辨別每幅單獨的靜態(tài)畫面，看上去是平滑連續(xù)的視覺效果。視頻中的事物通常分為靜止和運動兩類，連續(xù)多幀畫面中保持靜止的物體可視為靜止的背景，連續(xù)多幀畫面中位置變化的物體可視為運動的前景。因此，實時視頻圖像中的每幀圖像都可以劃分為靜止的背景和運動的前景兩類區(qū)域。由于視頻序列圖像中運動的前景區(qū)域隨機(jī)變化，引起圖像像素點梯度值的隨機(jī)改變，使得實時視頻圖像的清晰度檢測較難實現(xiàn)。因此，本文的算法是利用實時視頻圖像中靜止的背景區(qū)域檢測視頻序列圖像的清晰度，即由背景提取和清晰度檢測兩部分組成。

1.1 實時視頻圖像的背景提取

[5]可知，視頻序列中幀圖像的靜止背景區(qū)域由灰度值變化較小的像素點構(gòu)成，每個像素點都有一個對應(yīng)的像素值，這個值在一段時間內(nèi)保持不變；運動的前景區(qū)域由灰度值變化較大的像素點構(gòu)成，各像素點在不同的幀圖像中的位置改變，形成運動軌跡。背景提取的目標(biāo)就是根據(jù)實時視頻圖像中像素值的上述特點，找出圖像中背景像素點的值。采用多幀圖像累加平均的方法來獲取圖像的背景，從統(tǒng)計學(xué)角度，運動物體可視為隨機(jī)噪聲，而均值可以降噪，采用多幀圖像累加取均值可消除運動物體，獲得靜止的背景圖片。背景圖像的計算公式為：

式中，N為視頻序列中截取的圖片幀數(shù)，gi(x，y)表示圖像像素(x，y)的灰度值。隨著疊加幀數(shù)N的增加，靜止的背景不變，運動的物體逐漸消失。幀數(shù)越多，獲得的背景效果越好。在實際的處理中，25幀圖像迭代可得到較好的結(jié)果。

1.2 Sobel算子清晰度檢測

當(dāng)幀圖像模糊時，邊界不清晰，因此利用邊界檢測理論來檢測圖像清晰度。圖像越模糊，圖像的梯度值越小。經(jīng)典的邊界檢測方法(如Sobel梯度算子、Robert梯度算子等)是構(gòu)造對像素灰度級階躍變化敏感的微分算子。本文采用經(jīng)典的Sobel算子，利用3×3的方向模板與圖像中每個點進(jìn)行鄰域卷積來完成，避免了在像素之間內(nèi)插點上計算梯度[5]。Sobel算子為：

式中，f(x，y)為圖像灰度，gx和 gy可以用卷積模板來實現(xiàn)，如圖1所示。

圖1 Sobel算子卷積模板

傳統(tǒng)的邊緣檢測中，Sobel算子利用如圖1的水平和垂直兩個方向的模板，但實際情況中的梯度方向是未知的，因此利用兩個方向計算出來的結(jié)果存在一定的誤差。為了提高梯度計算精度，將模板的數(shù)量增加到4個，如圖2 所示，即 0°、45°、90°、135°4 個方向。 雖然繼續(xù)增加模板的數(shù)量可以進(jìn)一步提高計算精度，但考慮到計算效率，模板數(shù)量不宜過多。

2 算法描述

本算法大致分為三步：

圖2 4個方向的Sobel算子卷積模板

(1)截取一段實時視頻圖像，獲取初始背景圖像。

(2)利用當(dāng)前實時視頻圖像更新初始背景，獲得待檢測的背景圖像。

(3)根據(jù)Sobel算子計算背景圖像的邊緣梯度值之和，根據(jù)閾值判斷背景圖像的清晰度，得到實時視頻圖像的清晰度評價值。

算法描述如下：

從實時視頻圖像中截取一段時長為1 min的視頻圖像，每5 s進(jìn)行1次采樣，共得到12幀圖像。為減少計算量，將采樣得到的12幀圖像由RGB空間轉(zhuǎn)換到灰度空間。對圖像中每個像素點的灰度值f(x，y)累加求平均，得到實時視頻圖像的初始背景圖像。計算公式為：

為了達(dá)到實時檢測的目的，需要利用實時視頻圖像中當(dāng)前幀圖像不斷更新背景圖像。背景更新的計算公式為：

式中，Image(n+1)為實時視頻圖像中最新的幀圖像，Background(n)和Background(n+1)分別為更新前和更新后的背景圖像。

根據(jù)背景圖像中像素點的灰度值，采用Sobel算子檢測圖像邊緣，完成實時視頻圖像清晰度的檢測，檢測過程如下：

(1)根據(jù)Sobel算子的邊緣檢測理論和如圖2所示的4個方向模板 si(i=1，2，3，4)，對圖像中每個像素點進(jìn)行鄰域卷積計算，提取像素點4個方向的邊緣成分，即：

圖像中每個像素點的梯度值為：

(2)將|F|與閾值 TN進(jìn)行比較：若|F|≥TN，則此像素點為邊緣點；若|F|

式中，n為邊緣點的個數(shù)。將value與清晰的實時視頻圖像背景的清晰度檢測范圍值(經(jīng)大量的實時視頻圖像實驗得到)比較，若 value∈T(α1，α2)，則實時視頻圖像是清晰的；若 value?T(α1，α2)，則實時視頻圖像是模糊的。

3 實驗結(jié)果與分析

目前，大部分的攝像系統(tǒng)都是基于RGB顏色空間，每個像素點在RGB空間中是一個三維矢量。為了減少計算量，使用灰度圖像序列，即將彩色視頻序列轉(zhuǎn)換成灰度視頻序列，基于灰度視頻圖像完成提取背景及實時視頻圖像的清晰度檢測。

實驗程序在PC機(jī)上運行，編程軟件是Matlab R2007b，采用的是 24位 RGB視頻序列，30幀/s，每幀圖片的分辨率是320×240。從實時視頻圖像中提取背景圖像后，本文分別采用Sobel算子、平方梯度法和快速檢測法三種算法對圖像的清晰度進(jìn)行檢測。

實驗拍攝的視頻圖如圖3所示。視頻中杯子為移動的物體，杯子由視野的右側(cè)移動到視野的左側(cè)，背景物體基本保持不變。圖3中的圖片1和圖片2分別是從實驗視頻中截取的圖片，杯子的位置不斷改變，圖片3為清晰的實時視頻圖像的背景圖像，其像素梯度值作為判斷視頻序列圖像清晰度的參考閾值，如表1所示。圖3中的圖征4～9分別是從6段不同的實時視頻圖像中提取的背景圖片。6段視頻序列圖像的清晰度逐漸減弱，其背景圖像也越來越模糊?；谏鲜霰尘皥D，本文采用了三種算法：Sobel算子清晰度檢測、平方梯度算法和快速檢測法。其中Sobel算子清晰度檢測如文中所述，平方梯度算法將微分值平方，計算公式為：

式中，圖像大小為 M×N，f(x，y)表示(x，y)處的灰度值[6]?？焖贆z測法是先求圖像的灰度均值，分別計算灰度值大于和小于圖像灰度均值的像素點的均值H和L，然后利用評價因子F=(H-L)/(H+L)來檢測實時視頻圖像的清晰度。

三種算法對實時視頻圖像的清晰度檢測結(jié)果如表1所示。清晰度評價值經(jīng)過歸一化處理，便于算法準(zhǔn)確度性能的比較。由表1可知，Sobel算子清晰度檢測和平方梯度算法的清晰度評價值的變化趨勢與幅度和肉眼觀測到的事實基本相符，視頻序列圖像越模糊，清晰度評價值越小，即實時視頻圖像1、2、3的清晰度評價值在評價范圍內(nèi)，實時視頻圖像是清晰的，實時視頻圖像4、5、6的清晰度評價值在評價范圍之外，實時視頻圖像是模糊的?？焖贆z測算法對清晰度的敏感度低，視頻很模糊時，評價值仍然較大，不能很好地衡量清晰度的變化幅度。表2比較了三種算法的時間性能，可知Sobel算子清晰度檢測算法與快速算法計算時間較為接近，平方梯度算法計算時間最長。綜上所述，平方梯度算法評價效果較好，但實時性較差；快速算子計算速率高，但對模糊的靈敏度低；Sobel算子的評價效果好，實時性也符合系統(tǒng)的要求。

表1 清晰度比較

表2 算法計算時間比較

為了對實時視頻圖像的清晰度進(jìn)行實時檢測，針對實時視頻圖像的特點，本文提出了采用背景提取和Sobel算子相結(jié)合的清晰度檢測算法，該算法在幀圖像清晰度檢測時計算效率高，能夠自動實時地完成實時視頻圖像的清晰度檢測。但目前此算法僅適用于實時視頻圖像中背景基本不變或微小變化的場景。如果背景圖像變化幅度較大，需要調(diào)整判斷視頻清晰度的評價范圍作為新的評價標(biāo)準(zhǔn)，這也是后續(xù)工作的研究重點，以使該算法在更多的場景中應(yīng)用。

參考文獻(xiàn)

[1]MENG Bo， ZHU Ming， CAI Chang Jin.Design of video auto focusing based on image processing[J].Optical Information Processing， 2006，6027(2)∶501-509.

[2]LI Feng，JIN Hong.A fast auto-focusing method for digital still camera[C].Proceeding of the Fourth International Conference on Machine Learning and Cybernetics.Guangzhou∶Proceeding of the 2005 IEEE， 2005∶5001-5005.

[3]袁偉才，徐向民.一種有效的動態(tài)背景提取及更新方法[J].計算機(jī)工程與應(yīng)用，2010，46(4)∶191-192.

[4]孟苑.復(fù)雜背景下運動目標(biāo)的檢測[D].陜西：西安電子科技大學(xué)，2009.

[5]邢軍.基于Sobel算子數(shù)字圖像的邊緣檢測[J].微機(jī)發(fā)展，2005，15(9)∶48-52.

[6]李奇.數(shù)字自動對焦技術(shù)的理論及實現(xiàn)方法研究[D].浙江：浙江大學(xué)，2004.