監(jiān)控視頻異常檢測與質(zhì)量診斷

夏裕建 　孫　涵

(南京航空航天大學計算機科學與技術(shù)學院　江蘇 南京 210016)

?

監(jiān)控視頻異常檢測與質(zhì)量診斷

夏裕建 孫涵

(南京航空航天大學計算機科學與技術(shù)學院江蘇 南京 210016)

摘要監(jiān)控視頻可能會出現(xiàn)一系列影響視頻質(zhì)量的異常情況，如清晰度、亮度異?；蛘咭曨l畫面存在噪聲、偏色、畫面凍結(jié)、水波紋、以及水平雜波等故障的情況。針對這些情況，提出監(jiān)控視頻異常檢測與質(zhì)量診斷算法。算法分析上述各種異常情況，利用圖像的灰度統(tǒng)計信息、梯度信息，結(jié)合圖像的中值濾波和幀間差異分析，完成相應(yīng)的異常檢測與質(zhì)量診斷。實驗結(jié)果表明，該方法可以有效地對監(jiān)控視頻進行異常檢測與質(zhì)量診斷。

關(guān)鍵詞異常檢測質(zhì)量診斷灰度統(tǒng)計信息梯度信息中值濾波幀間差異

0引言

視頻監(jiān)控是安防系統(tǒng)的重要組成部分，它具有直觀、準確、及時等優(yōu)勢，被廣泛應(yīng)用在生產(chǎn)管理、商場監(jiān)控、智能交通等各種場景中。視頻質(zhì)量是視頻監(jiān)控系統(tǒng)的重要技術(shù)指標，影響監(jiān)控視頻質(zhì)量的因素有很多，例如攝像機鏡頭狀況、傳輸線路狀況以及人為干擾等。因此，對監(jiān)控視頻進行異常檢測與質(zhì)量診斷是視頻監(jiān)控中的一個重要環(huán)節(jié)。

視頻質(zhì)量診斷方法可以分為主觀方法[1]和客觀方法[2]。主觀方法由于繁復(fù)耗時而不便在視頻監(jiān)控場景中應(yīng)用，所以在視頻監(jiān)控場景中對視頻質(zhì)量進行診斷使用的大多是客觀方法。視頻質(zhì)量診斷的客觀方法可以代替其主觀方法，對視頻質(zhì)量進行迅速、有效的診斷，且其診斷結(jié)果可以提供給視頻接收端，用來進行傳輸參數(shù)的優(yōu)化，從而最大地利用傳輸帶寬并達到傳輸?shù)囊曨l質(zhì)量最佳。

由于視頻質(zhì)量診斷在諸多領(lǐng)域發(fā)揮著重要作用，越來越多的公司開始研究相關(guān)技術(shù)[3]。Sarnoff公司開發(fā)了基于人類視覺系統(tǒng)HVS(HumanVisualSystem)的JNDmetrixTM模型用于視頻質(zhì)量診斷。Tektronix公司在1997年推出圖像質(zhì)量分析產(chǎn)品—PQA200之后，又推出了PQA300和PQA500等一系列圖像與視頻質(zhì)量診斷產(chǎn)品。VideoClarity開發(fā)的ClearView系列提供完整的軟硬件設(shè)備，采用全參考的影像評價方法，可提供數(shù)字對數(shù)字、模擬對模擬的動態(tài)影像評分及糾錯。Symmetricom公司的QoEAssuranceDivision為IPTV領(lǐng)域的運營商、有線電視運營商、服務(wù)提供商和企業(yè)等提供了端到端的在線視頻質(zhì)量檢測、在線故障診斷等產(chǎn)品。Opticom公司推出的PEVQ系列產(chǎn)品基于HVS的概念，提供了一整套可重復(fù)的客觀視頻質(zhì)量診斷方案。Semaca公司致力于影像智能技術(shù)和測試設(shè)備的研發(fā)和開發(fā)，其推出的VQLab軟件能為用戶提供高效、可靠的視頻質(zhì)量診斷。

上述各公司推出的產(chǎn)品在特定的應(yīng)用環(huán)境中可以有效地發(fā)揮作用，但是都只是采用了全參考模型的視頻質(zhì)量診斷方法。本文提出的監(jiān)控視頻異常檢測與質(zhì)量診斷方法基于無參考模型[4]，無需提供參考視頻，評價結(jié)果更接近人類視覺感知結(jié)果，使用范圍更加廣泛。本文方法考慮了多種視頻異常情況，包括視頻清晰度、亮度異常，視頻畫面存在噪聲、偏色、畫面凍結(jié)、水波紋以及水平雜波等故障的異常情況。本文對上述各種異常情況進行分析，基于圖像的灰度統(tǒng)計信息提出監(jiān)控視頻圖像亮度異常的檢測與評價方法；基于圖像的梯度信息提出監(jiān)控視頻圖像清晰度異常以及畫面存在水平雜波異常的檢測與評價方法；基于幀間差異分析提出監(jiān)控視頻圖像存在畫面凍結(jié)與水波紋異常的檢測與評價方法；基于中值濾波分析提出監(jiān)控視頻畫面存在噪聲異常的檢測與評價方法；結(jié)合監(jiān)控視頻畫面偏色異常檢測與評價方法，實現(xiàn)對監(jiān)控視頻的各種異常的檢測與質(zhì)量評價。實驗證明，本文提出的方法可以有效地對監(jiān)控視頻進行異常檢測與質(zhì)量診斷。

1監(jiān)控視頻異常檢測與質(zhì)量診斷

本文對監(jiān)控視頻中容易出現(xiàn)的異常情況進行了分析，包括視頻清晰度或亮度異常，視頻畫面存在噪聲、偏色、畫面凍結(jié)、水波紋以及水平雜波等故障的異常情況。利用圖像的灰度統(tǒng)計信息、梯度信息，結(jié)合圖像的中值濾波和幀間差異的分析，針對上述異常情況分別設(shè)計了異常檢測與質(zhì)量診斷的方法。

1.1基于圖像灰度統(tǒng)計信息的監(jiān)控視頻異常檢測與質(zhì)量診斷

1.1.1圖像的灰度統(tǒng)計信息

在圖像處理中經(jīng)常需要把彩色圖像轉(zhuǎn)化成灰度圖像，這個過程叫做圖像的灰度化處理[5]。灰度值的均值和方差是可以通過灰度圖像直接計算，也可以通過灰度圖像的直方圖來進行計算。為了降低計算的復(fù)雜度，本文采取了下式對彩色圖像進行灰度化處理:

Y=R×0.3+G×0.59+B×0.11

(1)

灰度圖像的直方圖是圖像灰度級的函數(shù)，它表示圖像中具有某種灰度級的像素的個數(shù)。直方圖統(tǒng)計是常用的圖像處理技術(shù)之一，本文中很多的圖像統(tǒng)計數(shù)據(jù)并不是直接利用圖像計算得到的，而是先求圖像的直方圖。然后統(tǒng)計直方圖得到的相關(guān)數(shù)據(jù)，例如本文中灰度圖像灰度值的均值和方差就是使用了直方圖統(tǒng)計的方法來計算的。

灰度圖像的均值與方差在本文方法中出現(xiàn)了多次，灰度圖像的均值與方差有其對應(yīng)的物理意義。均值是一組數(shù)據(jù)的平均值，灰度圖像的均值大小反映了圖像的平均亮度的高低，圖像的均值越大，圖像的平均亮度越高。方差是用來描述一組數(shù)據(jù)波動程度的量，灰度圖像的方差則反映了圖像高頻部分的分量，圖像方差越大，其信息量越大，能量越大，從而圖像的對比度也越大。

1.1.2亮度異常檢測與質(zhì)量診斷

視頻的亮度信息是衡量圖像質(zhì)量的重要指標之一。攝像機故障、增益控制紊亂、照明條件異常等原因可能引起視頻畫面過亮或過暗的視頻亮度異常。人眼對于亮度異常非常敏感，亮度異常故障會嚴重影響視頻的質(zhì)量，對視頻的亮度異常進行檢測和診斷是非常必要的。

本文對監(jiān)控視頻圖像的亮度信息進行評價的主要方法是平均灰度的方法，使用視頻圖像的平均灰度來代表亮度信息，然后根據(jù)事先預(yù)設(shè)的閾值來判斷視頻圖像是否存在亮度異常，給出視頻質(zhì)量診斷結(jié)果。

具體亮度評價步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)計算灰度圖像的直方圖；(3)根據(jù)直方圖計算灰度圖像的均值和方差；(4)利用均值計算出亮度的評價值如下所示：

GrayValue=(μ×100/255)

(2)

其中μ是第三步中計算得到的灰度圖像的均值。式中先乘以100再除以255是為了將亮度評價值映射到0～100之間，做歸一化處理，下文中類似的歸一化處理過程將不再特意說明。

最后將計算得到的亮度評價值與預(yù)設(shè)的參考值進行對比。如果亮度評價值大于過亮參考值，就認為視頻圖像偏亮；如果亮度評價值小于過暗參考值，就認為視頻圖像偏暗，視頻存在亮度異常故障。

1.2 基于圖像梯度信息的監(jiān)控視頻異常檢測與質(zhì)量診斷

1.2.1圖像的梯度信息

梯度[6]是圖像灰度的變化情況，圖像在邊緣處灰度值發(fā)生明顯的變化，所以圖像的梯度可以用來提取圖像的邊緣。圖像的平均梯度反映了圖像細節(jié)變化的速率，可以用來反映圖像的清晰程度。

本文求梯度強度的方法就是將圖像各像素與這兩個方向的算子作卷積，然后選擇其中較大的值作為求得的梯度值的。

1.2.2清晰度異常檢測與質(zhì)量評價

視頻清晰度是衡量視頻質(zhì)量最主要、直接的因素，也是人類感知圖像質(zhì)量最主要的特征。監(jiān)控視頻由于聚焦不當、鏡頭損壞等原因引起視野主體部分圖像模糊，出現(xiàn)視頻內(nèi)容中高頻區(qū)域內(nèi)空間細節(jié)丟失和邊緣清晰度減弱等情況，這就是視頻清晰度異常的表現(xiàn)。

隨著數(shù)字圖像處理技術(shù)的發(fā)展，人們在空域、時域等多方面對圖像清晰度進行研究[7-9]。目前主要有基于空域的梯度函數(shù)算法、基于頻域的頻域變換算法以及基于圖像信息的熵函數(shù)評價算法。本文的清晰度評價方法是對視頻圖像在空域進行運算，計算得到圖像的梯度信息，最終采用平均梯度強度作為圖像清晰度的評價準則。

具體清晰度評價步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)通過水平與垂直Sobel算子計算灰度圖像的水平與垂直方向的梯度值，并選取其中較大值作為圖像的梯度值；(3)計算梯度圖像的直方圖，并濾除不能代表邊緣信息的低梯度值；(4)計算剩余梯度值的均值和方差；(5)利用均值和方差計算出清晰度的評價值如下所示：

(3)

(4)

最后將計算得到的清晰度評價值與預(yù)設(shè)的參考值進行對比。如果清晰度評價值小于參考值，就認為視頻圖像不清晰，視頻存在清晰度異常故障。

1.2.3水平雜波異常檢測與質(zhì)量評價

監(jiān)控視頻經(jīng)常會出現(xiàn)無信號的故障，本文提到的水平雜波故障是其中的一種。監(jiān)控視頻圖像中出現(xiàn)白色的噪點以及黑白色的條紋，伴隨著水平雜波，沿著垂直方向緩慢運動。出現(xiàn)這種無信號水平雜波大多是因為視頻傳輸環(huán)節(jié)出現(xiàn)了問題。監(jiān)控視頻出現(xiàn)無信號故障，但是視頻畫面還在運動，普通的視頻質(zhì)量診斷方法無法診斷這種異常情況，所以實現(xiàn)對這種無信號水平雜波的異常情況進行檢測與質(zhì)量評價是本文的一個重要創(chuàng)新。

現(xiàn)有視頻質(zhì)量診斷研究對于視頻圖像無信號水平雜波這種情況的研究基本是空白，而本文注意到自然圖像中沒有如此密集的梯度。所以采用統(tǒng)計通過水平Sobel算子濾波后的圖像中梯度的密集程度的方法來判斷視頻中是否存在無信號水平雜波故障。

具體無信號水平雜波評價步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)對視頻做Y方向的Sobel算子濾波，得到水平方向的梯度值；(3)統(tǒng)計Y方向上Sobel算子濾波后的圖像的直方圖，并統(tǒng)計梯度值小于閾值的像素點個數(shù)；(4)利用上一步中計算的像素點個數(shù)計算得出無信號水平雜波的評價值如下所示：

(5)

(6)

其中nSum為統(tǒng)計得到的梯度值小于閾值t=50的像素點個數(shù)，nSum值越小則說明梯度圖像中高梯度越密集，越可能存在無信號水平雜波異常，m×n為圖像像素個數(shù)。

最后將計算得到的無信號水平雜波的評價值與預(yù)設(shè)的參考值進行比較。如果無信號水平雜波評價值小于參考值，就認為視頻圖像存在無信號水平雜波的故障。

1.3基于幀間差異的視頻異常檢測與質(zhì)量評價算法

1.3.1視頻幀間差異分析

監(jiān)控視頻相鄰兩幀的幀間差異在本文方法中多次被用到，而求幀間差異采用的是求圖像差值的技術(shù)。求兩幅圖像的差值圖像是在兩幅圖像對應(yīng)的位置處的像素之間進行運算，并將其結(jié)果賦給輸出圖像中對應(yīng)位置的像素點。本文求幀間差異的方法是求相鄰兩幀圖像對應(yīng)位置像素點灰度值之差的絕對值，這樣可以確保新的灰度值不會超出原圖像允許的動態(tài)范圍。具體公式如下所示：

Δf(x,y)=|f(x,y,t)-f(x,y,t-1)|

(7)

求差值圖像在圖像處理中一般用以消除背景，是圖像處理中經(jīng)常使用的一種技術(shù)。對運動視頻兩幅相鄰的視頻圖像求差值圖像，可以求得視頻中的運動目標的位置和形狀。本文中多次使用了求差值圖像的技術(shù)，不僅有求相鄰兩幀圖像的幀間差異來求目標圖像的應(yīng)用，還有求對應(yīng)圖像與其中值濾波后的圖像的差值圖像的應(yīng)用。

1.3.2畫面凍結(jié)異常檢測與質(zhì)量評價

監(jiān)控視頻有一種異常情況是出現(xiàn)信號缺失和畫面凍結(jié)故障。信號缺失和畫面凍結(jié)一般表現(xiàn)為監(jiān)控畫面為純色藍屏或黑屏，監(jiān)控畫面始終保持在同一幀畫面上，不會隨著時間的變化而改變。引起這些故障的原因可能是前端攝像機損壞、傳輸線路老化或者人為因素等。

上述監(jiān)控視頻無信號和畫面凍結(jié)的異常情況有一個特征，即當監(jiān)控視頻出現(xiàn)信號缺失或者畫面凍結(jié)的故障時，視頻圖像相鄰兩幀內(nèi)容不變。本文檢測視頻信號缺失和畫面凍結(jié)的方法就是根據(jù)上述特征來設(shè)計的。

具體畫面凍結(jié)評價步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)通過當前圖像與歷史圖像的差圖像計算幀間差異；(3)計算差圖像的直方圖；(4)根據(jù)直方圖統(tǒng)計差值小于特定閾值的像素個數(shù)；(5)利用差值小于特定閾值的像素個數(shù)計算得出畫面凍結(jié)的評價值如下所示：

(8)

(9)

其中countchange為統(tǒng)計得到的差值小于閾值t=5的像素個數(shù)。

最后將計算得到的畫面凍結(jié)的評價值與預(yù)設(shè)的參考值進行比較。如果畫面凍結(jié)的評價值小于參考值，就認為視頻圖像存在畫面凍結(jié)的故障。

1.3.3水波紋異常檢測與質(zhì)量評價

監(jiān)控視頻畫面中有時會出現(xiàn)水波紋干擾，水波紋在圖像中是模糊的帶狀干擾，并且隨著運動軌跡運動。水波紋運動的像素點通道值變化較小，且運動有一定的方向性。監(jiān)控視頻信號水波紋故障產(chǎn)生的原因有視頻傳輸線質(zhì)量不好、供電系統(tǒng)電源問題、附近有很強的干擾源等。水波紋干擾嚴重時會出現(xiàn)監(jiān)控視頻圖像無法觀看的問題，對水波紋故障的檢測和評價是很有必要的。

如上所述，求監(jiān)控視頻相鄰兩幀的差值圖像即幀間差異可以求得視頻的運動目標及其運動軌跡，水波紋的痕跡也可以通過求幀間差異的方法來求得。本文采用的檢測視頻水波紋故障的方法就是基于視頻相鄰幀的幀間差異來設(shè)計的。

具體水波紋的評價步驟如下：(1)把采集到的相鄰兩幅圖像轉(zhuǎn)為灰度圖像；(2)通過當前圖像與歷史圖像的差圖像計算幀間差異，得到運動物體與水波紋；(3)計算差圖像的直方圖；(4)根據(jù)直方圖統(tǒng)計并利用合適的閾值找出符合水波紋特征的像素；(5)利用上一步中的像素個數(shù)計算得出水波紋的評價值如下所示：

(10)

(11)

其中couontripple為符合水波紋特征的像素點的個數(shù)，是差值大于t1=5小于等于t2=10的像素個數(shù)。

最后將計算得到的水波紋的評價值與預(yù)設(shè)的參考值進行比較。如果水波紋的評價值大于參考值，就認為視頻圖像存在水波紋的故障。

1.4基于中值濾波的視頻異常檢測與質(zhì)量診斷

1.4.1圖像的中值濾波分析

中值濾波是一種非線性平滑技術(shù)[10]，它用處于按灰度值排序后的窗口的中間位置的灰度值來代替原來窗口中心的灰度值，常用的窗口大小有3×3或者5×5。中值濾波具有非常好的抗噪性能，且不會造成圖像邊緣模糊，在消除圖像中噪聲點的應(yīng)用中非常受歡迎。

本文對視頻圖像進行中值濾波采用了快速中值濾波的技術(shù)，利用了直方圖的統(tǒng)計特性來計算。對圖像的每一行，僅對一個待處理的像素進行領(lǐng)域像素直方圖求取，并計算其中值。當窗口模板往右移動時，觀察當前中值左右像素個數(shù)的變化情況，并進行判斷：如果當前左右像素個數(shù)無變化，則當前的中值仍滿足條件，中值無變化；如果當前左邊的像素個數(shù)多余總個數(shù)的一半，則當前中值左移；如果當前左邊的像素個數(shù)少于總個數(shù)的一半，則當前中值右移。這樣的處理方式在有效地消除了噪聲點之外還降低了中值濾波的計算復(fù)雜度，減少了中值濾波需要的時間，具有很高的應(yīng)用價值。

1.4.2噪聲異常檢測與質(zhì)量評價

視頻圖像中出現(xiàn)的雜亂的飛點、刺、線狀等干擾，被稱為噪聲現(xiàn)象。線路老化、傳輸故障、接觸不良、電磁干擾等因素會造成視頻圖像出現(xiàn)干擾的故障。噪聲的出現(xiàn)嚴重影響了人們對于圖像的感受，對于圖像質(zhì)量的影響是非常大的，故本文也考慮到了對噪聲的檢測和評價。

目前，對于噪聲的檢測可以在頻域計算圖像的信噪比[11]，但是計算圖像信噪比需要計算功率譜，而功率譜的計算比較困難。故本文采取的是基于空域中相鄰兩幀圖像求差運算分析而設(shè)計出的檢測視頻圖像噪聲異常方法。

具體噪聲評價步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像;(2)對灰度圖像進行中值濾波，濾去圖像中的噪聲點；(3)用灰度圖像減去中值濾波后的圖像得到差圖像;(4)計算差圖像的直方圖；(5)根據(jù)直方圖統(tǒng)計計算得到差圖像的均值和方差；(6)利用上一步得到的方差計算得出噪聲的評價值如下所示：

(12)

其中σdiff為計算得到的差值圖像的方差。

最后將計算得到的噪聲的評價值與預(yù)設(shè)的參考值進行比較。如果噪聲的評價值小于參考值，就認為視頻圖像存在噪聲故障。

1.5偏色視頻異常檢測與質(zhì)量診斷

圖像的顏色是圖像非常重要的特征，監(jiān)控視頻的圖像可能會出現(xiàn)全屏單一偏色或者多種顏色混雜的帶狀偏色故障，這是由監(jiān)控系統(tǒng)線路接觸不良、外部干擾或者攝像頭故障等原因造成的。偏色故障會干擾人們對監(jiān)控視頻內(nèi)容的判斷，且對于基于監(jiān)控系統(tǒng)的后續(xù)視頻圖像處理例如目標檢測、圖像分割等研究有很大的阻礙，所以監(jiān)控視頻的偏色異常檢測和評價也是非常有必要的。

現(xiàn)有的檢測視頻圖形偏色故障的方法主要有直方圖統(tǒng)計法、灰度世界法和白色區(qū)域法。直方圖統(tǒng)計法對于大面積單一顏色的自然圖像無法準確判斷；灰度世界法對于環(huán)境過暗或者過量的場景無法準確判斷；白色區(qū)域法適用于存在鏡面反射的圖像，但是對于沒有白色或高光成飛存在的圖像是無法準確判斷的。本文采取的方法是基于文獻[12]中提出的基于圖像色度的平均值和色度分布特性的圖像偏色檢測算法。

具體偏色的評價步驟如下：(1)將輸入圖像轉(zhuǎn)到Lab空間；(2)分別求色度a和b的均值和方差；(3)計算出圖像平均色度D和色度中心距M的比值K作為評價值，具體如下所示：

D=sqrt(aMeana×Mean+bMean×bMean)

(13)

M=sqrt(aVar×aVar+bVar×bVar)+c

(14)

ColorErrorValue=D/M

(15)

其中aMean和bMean為色度a和b的均值，aVar和bVar為色度a和b的方差。式(14)中c是一個很小的正數(shù)，是為了防止公式(15)中出現(xiàn)除0的情況。

最后將計算得到的偏色的評價值與預(yù)設(shè)的參考值進行比較。如果偏色評價值大于參考值，就認為視頻圖像存在偏色故障。

2實驗結(jié)果與分析

本文選取了8段監(jiān)控視頻來進行實驗，圖1—圖8分別為其截圖。

圖1　清晰度異常視頻1　　　　圖2　亮度異常視頻2

圖3　噪聲異常視頻3　　　圖4　畫面凍結(jié)異常視頻4

圖5　偏色異常視頻5　　　　圖6　水波紋異常視頻6

圖7　無信號水平雜波異常視頻7　　　圖8　無異常視頻8

由于本文的實驗對象是大量的監(jiān)控視頻，基于單幀或者相鄰幾幀圖像計算所得到的結(jié)果容易產(chǎn)生誤差。為了避免單幀檢測結(jié)果的誤報，給出統(tǒng)計意義上的結(jié)果，本文實驗采用了求多幀圖像結(jié)果保存到隊列，然后返回隊列中值的方法。

本文設(shè)置了隊列長度為100，在當前幀號小于隊列長度值時不返回任何消息，若當前幀號大于隊列長度值，將當前隊列中計算得到的所有評價值的中間值返回。具體計算所有評價值中間值采用的是類似直方圖統(tǒng)計的方法，對于當前隊列中計算得到的所有評價值，統(tǒng)計其出現(xiàn)的次數(shù)。然后按照從小到大排序，計算從最小評價值到當前評價值出現(xiàn)次數(shù)的總和。當最小評價值到當前評價值出現(xiàn)次數(shù)的總和大于等于當前隊列長度值的一半時，就可以確定當前評價值是當前隊列的評價值的中值。

為了驗證本文方法的有效性，本文選取的8段視頻分別對應(yīng)清晰度、亮度異常以及視頻畫面出現(xiàn)噪聲、畫面凍結(jié)、偏色、水波紋以及水平雜波故障的異常視頻。最后一段視頻為正常視頻，是為了與異常視頻進行對比實驗，具體實驗結(jié)果如表1所示。

表1　本文方法各視頻評分結(jié)果

本文視頻亮度評價方法是基于圖像的灰度統(tǒng)計信息的。本文選取的亮度參考值為20和80，視頻亮度評價值高于80說明視頻圖像亮度偏高，評價值低于20說明視頻亮度越低，只有視頻亮度評價值處于適當?shù)姆秶鷥?nèi)才可以認為視頻亮度正常。本文實驗中視頻2的亮度評價值為16，相比其他測試視頻亮度評價值明顯偏低，所以存在亮度偏低異常。

本文視頻清晰度和無信號水平雜波評價方法是基于圖像的梯度信息的。關(guān)于清晰度異常情況，本文選取的清晰度參考值為80，視頻清晰度評價值越高，說明視頻圖像越清晰，當視頻清晰度評價值小于80時，則認為該視頻存在清晰度異常。例如實驗中視頻1和視頻3，其清晰度評價值分別為57和63，明顯比其他視頻清晰度評價值低，所以存在清晰度異常。關(guān)于無信號水平雜波情況，本文選的無信號水平雜波參考值為60，這是本文考慮到的一種特殊情況。水平雜波評價值越大，則說明是無信號水平雜波的可能性越小，而當水平雜波評價值小于60時，則可以判斷視頻發(fā)生了水平雜波故障。例如本文中視頻7，其無信號水平雜波值只有11，相比于其他視頻，明顯的偏小，所以存在水平雜波故障。

本文視頻畫面凍結(jié)和水波紋評價方法是基于圖像的幀間差異分析的。關(guān)于畫面凍結(jié)情況，本文選取的畫面凍結(jié)參考值為10，視頻畫面凍結(jié)評價值越高說明畫面越?jīng)]有凍結(jié)的可能性，當畫面凍結(jié)評價值低于10的時候，則認為視頻出現(xiàn)畫面凍結(jié)故障。例如本文測試的視頻4，由于為純黑屏的視頻，所以計算得到的值為0，遠遠小于其他視頻對應(yīng)的數(shù)值，表示視頻發(fā)生了畫面凍結(jié)的故障。由于是純黑屏的視頻，所以其他評價值也為0或100，可以認為清晰度、亮度也有異常。關(guān)于水波紋故障的情況，本文選取的水波紋參考值為10，水波紋評價值越高說明視頻存在水波紋的可能越大，當水波紋評價值大于10時，可以判斷視頻發(fā)生了水波紋故障。例如本文中的視頻6，其水波紋評價值達到43，明顯比其他視頻的評價值大，所以存在水波紋異常。

本文視頻噪聲評價方法是基于圖像的中值濾波分析的。對于噪聲異常的情況，本文選取的參考值為80，噪聲評價值越大說明圖像越趨向于沒有噪聲，當圖像噪聲評價值超過小于80時，則認為圖像存在噪聲故障。例如本文實驗中的視頻1和視頻3，其噪聲評價值為67和76，與其他視頻相比偏小，可以看到存在噪聲干擾故障的判斷。

關(guān)于偏色的情況，本文選取偏色參考值為40，評價值越大則越有可能存在偏色故障，計算得到的偏色評價值大于40時，則認為視頻圖像發(fā)生偏色故障。例如本文中視頻5，其偏色評價值為68，明顯大于其它視頻的偏色評價值，所以存在偏色異常。

最后，視頻8是本文特意選擇的一段沒有質(zhì)量異常的視頻，用以跟其他視頻進行對比。在這里可以看到，計算得到的各個評價值都在安全范圍內(nèi)，沒有輸出異常警告，可見本文的監(jiān)控視頻異常檢測方法確實是有效的。關(guān)于參考值的設(shè)定，本文加入?yún)⒖贾档脑O(shè)定是為了便于讓視頻質(zhì)量評價的結(jié)果與人工主觀判斷一致，具體參考值可以根據(jù)實際應(yīng)用場景進行微調(diào)。

為了進一步驗證本文方法的有效性，選用了無參考圖像質(zhì)量評價方法NIQE[13]來與本文算法進行對比試驗。NIQE算法對圖像的評分越高，圖像質(zhì)量越好，評分越低說明圖像有質(zhì)量問題。

由于NIQE算法不考慮圖像的彩色信息，而視頻畫面凍結(jié)故障體現(xiàn)不出視頻圖像質(zhì)量問題，故這里只對上文中視頻1-視頻3、視頻6-視頻8進行實驗。這里截取相應(yīng)視頻中相鄰的若干幀圖像，利用NIQE算法與本文算法分別對其進行質(zhì)量評價，取其平均值作為最終評價結(jié)果，最終結(jié)果如表2所示。

表2　本文算法與NIQE算法結(jié)果對比

結(jié)合表1與表2可以看出，本文算法得到的評價值與NIQE算法得到的評價值具有很好的相關(guān)性，對NIQE算法認為質(zhì)量低下的圖像本文算法也檢測出其存在各種故障，且本文算法計算復(fù)雜度較低。

3結(jié)語

本文針對監(jiān)控視頻這一特殊的視頻內(nèi)容，考慮了監(jiān)控視頻經(jīng)常遇到的故障以及造成的視頻質(zhì)量問題。針對各種情況分別分析其特征，利用圖像的灰度統(tǒng)計信息、梯度信息，結(jié)合圖像的中值濾波和幀間差異分析，提出了相應(yīng)的異常檢測與質(zhì)量診斷方法。本文提出的監(jiān)控視頻異常檢測與質(zhì)量診斷方法只需要提供待測試的監(jiān)控視頻，無需參考視頻或者其相關(guān)信息的提供，屬于無參考的視頻質(zhì)量診斷模型。實驗證明，本文提出的監(jiān)控視頻異常檢測與質(zhì)量診斷方法可以有效地對監(jiān)控視頻進行異常檢測與質(zhì)量診斷。

參考文獻

[1]BITelecommunication.ITU-TR.800:Methodsforsubjectivedeterminationoftransmissionquality[R].InternationalTelecommunicationUnion-TelecommunicationStandardisationSector(ITU-T),1996.

[2]WangZ,BovikAC,SheikhHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].ImageProcessing,IEEETransactionson,2004,13(4):600-612.

[3] 高新波，路文．視覺信息質(zhì)量評價方法[M]． 西安：西安電子科技大學出版社，2011.

[4]WangZ,BovikAC.Modernimagequalityassessment[J].SynthesisLecturesonImage,Video,andMultimediaProcessing,2006,2(1):156.

[5]KimY,JangC,DemouthJ,etal.Robustcolor-to-grayvianonlinearglobalmapping[C]//ACMTransactionsonGraphics(TOG).ACM,2009:161.

[6]FattalR,LischinskiD,WermanM.Gradientdomainhighdynamicrangecompression[C]//ACMTransactionsonGraphics(TOG).ACM,2002:249-256.

[7]CaviedesJ,ObertiF.Anewsharpnessmetricbasedonlocalkurtosis,edgeandenergyinformation[J].SignalProcessing:ImageCommunication,2004,19(2):147-161.

[8]CaviedesJ,GurbuzS.No-referencesharpnessmetricbasedonlocaledgekurtosis[C]//ImageProcessing.2002.Proceedings.2002InternationalConferenceon.IEEE,2002:53-56.

[9]SchmidC,MohrR.Localgrayvalueinvariantsforimageretrieval[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(5):530-534.

[10]ChenT,MaKK,ChenLH.Tri-statemedianfilterforimagedenoising[J].ImageProcessing,IEEETransactionson,1999,8(12):1834-1838.

[11]PetrovicNI,CrnojevicV.Universalimpulsenoisefilterbasedongeneticprogramming[J].ImageProcessing,IEEETransactionson,2008,17(7):1109-1120.

[12] 莊自超.面向視頻監(jiān)控的視頻質(zhì)量檢測系統(tǒng)的設(shè)計與開發(fā)[D].華中師范大學,2011.

[13]MittalA,SoundararajanR,BovikAC.Makinga“completelyblind”imagequalityanalyzer[J].SignalProcessingLetters,IEEE,2013,20(3):209-212.

ANOMALY DETECTION AND QUALITY DIAGNOSIS OF SURVEILLANCE VIDEO

Xia YujianSun Han

(School of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,Jiangsu,China)

AbstractA series of anomalies that affect video quality may occur in surveillance videos,such as sharpness and brightness anomalies.And there may be the failures of noises,colour cast,picture freezing,water ripples,or horizontal noise waves,etc.,existing in video pictures as well.In view of this,we propose an anomaly detection and quality diagnosis algorithm for surveillance videos.This algorithm analyses the anomalies mentioned above,uses grayscale statistical information and gradient information of the image,combines with image’s median filtering and inter-frame difference analysis,and completes the corresponding anomaly detection and quality diagnosis.Experimental results show that the method proposed can effectively do anomaly detection and quality diagnosis on the surveillance video.

KeywordsAnomaly detectionQuality diagnosisGrayscale statistical informationGradient informationMedian filteringInter-frame difference

收稿日期：2014-12-04。國家自然科學基金項目(61203246,61375021);江蘇省自然科學基金項目(SBK201322136)。夏裕建，碩士生，主研領(lǐng)域：數(shù)字圖像處理，視頻質(zhì)量診斷。孫涵，副教授。

中圖分類號TP391.41

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.040