利用背景差分法檢測(cè)監(jiān)控視頻中的關(guān)鍵幀＊

孫鵬 張洪君 楊洪臣 中國(guó)刑警學(xué)院

一、導(dǎo)言

視頻偵查是指根據(jù)案件偵破的需要，通過(guò)對(duì)案發(fā)現(xiàn)場(chǎng)及周邊視頻監(jiān)控視頻的采集、回放、分析和研判，綜合運(yùn)用視頻監(jiān)控技術(shù)、關(guān)鍵幀提取技術(shù)、圖像處理與內(nèi)容識(shí)別技術(shù)等多種現(xiàn)代信息技術(shù)手段與傳統(tǒng)偵查措施相結(jié)合，深入挖掘案件相關(guān)線索、追蹤犯罪嫌疑人體貌特征、行為特征與行動(dòng)軌跡，形成一種空間綜合、時(shí)間綜合、信息綜合的以實(shí)現(xiàn)打擊和防控刑事犯罪為目的的方法體系[1]。目前實(shí)施視頻偵查的主要方式是依賴案發(fā)后視頻偵查員采取人工瀏覽視頻監(jiān)控視頻的方式來(lái)找尋案件相關(guān)信息。根據(jù)視頻偵查的要求，需要在案發(fā)現(xiàn)場(chǎng)周圍多個(gè)監(jiān)控點(diǎn)采集案發(fā)前后幾天甚至幾個(gè)星期的監(jiān)控錄像，視頻數(shù)據(jù)量一般都會(huì)達(dá)到幾TB甚至幾十TB（1TB=1024GB），導(dǎo)致這種基于人工處理的視頻偵查方式容易出現(xiàn)以下一些問(wèn)題：工作強(qiáng)度大，持續(xù)時(shí)間長(zhǎng)，容易對(duì)視頻偵查員的健康造成影響；工作效率低，與犯罪相關(guān)的關(guān)鍵信息獲取實(shí)時(shí)性差，犯罪分子有充分的時(shí)間逃逸甚至二次作案；長(zhǎng)時(shí)間高強(qiáng)度、高壓力下，視頻偵查員注意力難以集中，容易出現(xiàn)重要信息的遺漏或誤判現(xiàn)象。

本文首先提出了適合于視頻偵查應(yīng)用的監(jiān)控視頻關(guān)鍵幀的概念，然后將圖像處理技術(shù)、視頻監(jiān)控技術(shù)與視頻檢索技術(shù)相結(jié)合，研究了一種基于背景差分法的監(jiān)控視頻關(guān)鍵幀檢測(cè)方法。實(shí)驗(yàn)表明，本文提出的在監(jiān)控視頻中檢測(cè)關(guān)鍵幀的方法能夠準(zhǔn)確識(shí)別監(jiān)控視頻中的關(guān)鍵幀，大大提高了視頻偵查的效率與準(zhǔn)確度。

二、關(guān)鍵幀定義與特性分析

監(jiān)控視頻可以看作是一段連續(xù)的圖像序列，如果令V表示一段監(jiān)控視頻，f (St) 表示視頻中的圖像幀，則存在下面的形式：

其中T表示監(jiān)控視頻的最大幀數(shù)。監(jiān)控視頻中包含很多圖像幀，其中一些圖像幀的內(nèi)容相同或相近，甚至毫無(wú)意義，導(dǎo)致監(jiān)控視頻中存在大量的冗余信息。為了區(qū)別于這樣的圖像幀，通常使用關(guān)鍵幀來(lái)定義監(jiān)控視頻中圖像序列內(nèi)容發(fā)生明顯變化的圖像幀，即包含了關(guān)鍵內(nèi)容的圖像幀。關(guān)鍵幀具有如下特點(diǎn)：

（1）關(guān)鍵幀能夠反映監(jiān)控視頻中主要事件的相關(guān)信息。

（2）關(guān)鍵幀是靜態(tài)圖像，反映了監(jiān)控視頻內(nèi)容的動(dòng)態(tài)變化。

（3）一段監(jiān)控視頻中可以包含一個(gè)或多個(gè)關(guān)鍵幀。

根據(jù)上面對(duì)一般意義的關(guān)鍵幀的描述，我們將視頻偵查中使用的關(guān)鍵幀定義為：監(jiān)控視頻中與案件密切相關(guān)，包含有犯罪嫌疑人、車輛等物品體貌特征、行為特征及行動(dòng)軌跡的圖像幀。圖1所示為在一例交通肇事案件中獲取的一段監(jiān)控視頻中的背景幀與關(guān)鍵幀實(shí)例，從圖中可以觀察到，圖1（b）所示的關(guān)鍵幀相對(duì)于圖1（a）所示的背景幀具有更加明顯的內(nèi)容變化，能夠與監(jiān)控視頻中的其它關(guān)鍵幀共同反映通過(guò)該監(jiān)控區(qū)域的所有車輛的外形特征、車牌特征與運(yùn)動(dòng)軌跡。

三、基于背景差分法的關(guān)鍵幀檢測(cè)技術(shù)

背景差分法是目前視頻檢索領(lǐng)域常用的方法之一，其基本原理是通過(guò)對(duì)包含目標(biāo)的前景幀與不包含目標(biāo)的背景幀之間的差分運(yùn)算來(lái)檢測(cè)視頻中的運(yùn)動(dòng)目標(biāo)[2-4]。背景差分法首先將當(dāng)前幀圖像與背景圖像差分相減得到差分圖像，然后對(duì)差分圖像進(jìn)行二值化，若差值大于某一關(guān)鍵閾值，則認(rèn)為當(dāng)前幀為關(guān)鍵幀。圖2所示為背景差分法檢測(cè)關(guān)鍵幀的原理框圖。

如果令fb(S)表示背景幀，f(S1)表示構(gòu)成監(jiān)控視頻的圖像幀，則背景差分法檢測(cè)關(guān)鍵幀的過(guò)程可以簡(jiǎn)要描述如下：

其中，bin[L]表示對(duì)差分圖像進(jìn)行二值化處理；fk(Si) ,i=1,2,L nk表示從監(jiān)控視頻中檢測(cè)到的關(guān)鍵幀序列。從算法描述中可以看出，背景幀fb(S)和關(guān)鍵閾值Tdk的選取直接決定了背景差分法的精度和效率?？梢愿鶕?jù)監(jiān)控區(qū)域的特點(diǎn)、要求靈活地選擇適合的背景幀和關(guān)鍵閾值。

與一般的視頻資料不同，監(jiān)控視頻往往具有固定的監(jiān)控區(qū)域，視頻內(nèi)容特征也相對(duì)穩(wěn)定。圖1所示的監(jiān)控實(shí)例中背景幀的內(nèi)容比較固定，那么，就可以利用背景差分算法來(lái)檢測(cè)監(jiān)控視頻中存在的內(nèi)容變化，實(shí)現(xiàn)對(duì)監(jiān)控視頻中關(guān)鍵幀的檢測(cè)與定位。從上面對(duì)背景差分法的簡(jiǎn)要描述可知，下面的公式（2）是判斷當(dāng)前幀是否為關(guān)鍵幀的重要依據(jù)：

其本質(zhì)就是判斷連續(xù)出現(xiàn)的圖像幀中是否存在一些較大的內(nèi)容變化，如果存在則判斷為關(guān)鍵幀。在實(shí)施過(guò)程中，可以根據(jù)關(guān)鍵幀檢測(cè)的具體要求，將差值圖像中亮度變化程度與亮度發(fā)生變化的像素?cái)?shù)目作為判斷圖像內(nèi)容變化的參考依據(jù)。具體做法是分別計(jì)算差值圖像中亮度的累加和或差值圖像二值化處理之后所有前景像素?cái)?shù)目（二值圖像中取值為1的像素?cái)?shù)目），然后與設(shè)定的關(guān)鍵閾值進(jìn)行比對(duì)，最后根據(jù)比對(duì)的結(jié)果判斷參與運(yùn)算的當(dāng)前圖像幀是否為關(guān)鍵幀。

令fr(x, y)表示差值圖像，它滿足下面的關(guān)系式：

可以利用下面的公式計(jì)算差值圖像中像素亮度的累積和：

其中Isum表示大小為M×N的差值圖像的亮度累加和。

可以根據(jù)下面的算法步驟進(jìn)行計(jì)算：

最后，將差值fr(x, y)圖像中像素亮度的累積和Isum和二值圖像x, y)中所有前景像素?cái)?shù)目與事先根據(jù)經(jīng)驗(yàn)設(shè)定的關(guān)鍵閾值Tdk進(jìn) 行比較，根據(jù)比較結(jié)果即可判斷當(dāng)前圖像幀是否為關(guān)鍵幀。

四、仿真實(shí)驗(yàn)

根據(jù)前面提出的基于背景差分法的關(guān)鍵幀檢測(cè)技術(shù)，利用Photoshop CS4對(duì)圖1(a)、圖1 (b)所示的背景幀與關(guān)鍵幀進(jìn)行圖像差值運(yùn)算的仿真實(shí)驗(yàn)，基本的運(yùn)算過(guò)程如圖3和圖4所示。

通過(guò)圖像的差值運(yùn)算，得到如圖5所示的差值圖像和圖6所示的二值化處理后的差值圖像。由于案件發(fā)生于北方冬季凌晨3∶45左右，采集得到的監(jiān)控視頻畫(huà)面整體偏暗，因此采用了二值化圖像中的前景像素?cái)?shù)目作為關(guān)鍵幀檢測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行閾值比對(duì)。

只要關(guān)鍵閾值設(shè)置合理，那么就可以利用上述過(guò)程實(shí)現(xiàn)背景差分法，從而檢測(cè)監(jiān)控視頻中存在的關(guān)鍵幀。通過(guò)對(duì)上面得到的實(shí)驗(yàn)圖像進(jìn)行分析可知，二值化處理可以增強(qiáng)差分圖像的前景效果，提高關(guān)鍵幀檢測(cè)的準(zhǔn)確率。

五、結(jié)論

本文提出了一種利用背景差分法進(jìn)行檢測(cè)視頻中關(guān)鍵幀的方法，并給出了算法的詳細(xì)步驟。最終的實(shí)驗(yàn)結(jié)果表明，本文提出的監(jiān)控視頻關(guān)鍵幀檢測(cè)方法能夠精確識(shí)別監(jiān)控視頻中的關(guān)鍵幀，進(jìn)一步提高視頻偵查的實(shí)時(shí)性與準(zhǔn)確性。