基于互信息量的視頻關(guān)鍵幀提取方法

王志強(qiáng)，樊景峰

(1.濟(jì)源職業(yè)技術(shù)學(xué)院 信息工程系，河南 濟(jì)源 459000；2.河南衛(wèi)生健康干部學(xué)院 人事處，河南 鄭州 450000)

視頻數(shù)據(jù)作為一種可儲(chǔ)存的數(shù)字媒體，被廣泛應(yīng)用于信息領(lǐng)域。運(yùn)動(dòng)目標(biāo)檢測(cè)作為視頻數(shù)據(jù)分析的重要技術(shù)之一，也已被應(yīng)用于道路交通監(jiān)控、犯罪偵查等工作中[1]。幀間差分法和背景差分法是進(jìn)行視頻數(shù)據(jù)中運(yùn)動(dòng)目標(biāo)輪廓檢測(cè)的常用方法。背景差分法由于背景模型的建立和背景更新，產(chǎn)生的噪聲比幀間差分法少，檢測(cè)到的輪廓更為清晰[2]。但是，背景差分法需要對(duì)視頻數(shù)據(jù)中的每一幀進(jìn)行分析檢測(cè)，才能得到準(zhǔn)確的檢測(cè)結(jié)果。對(duì)于一段視頻文件而言，如果將其分成眾多的圖像幀，那么必然會(huì)有很多極其相似的相鄰幀，同時(shí)出現(xiàn)大量冗余信息，導(dǎo)致監(jiān)控視頻的儲(chǔ)存及檢測(cè)分析非常不便[3-8]。因此，提取視頻中的關(guān)鍵幀進(jìn)行存儲(chǔ)，可大大精簡(jiǎn)視頻信息。本研究采用背景差分法對(duì)監(jiān)控視頻進(jìn)行運(yùn)動(dòng)目標(biāo)幀檢測(cè)，并對(duì)出現(xiàn)運(yùn)動(dòng)目標(biāo)的關(guān)鍵視頻段提取關(guān)鍵幀。如果視頻文件中存在運(yùn)動(dòng)物體，則將視頻分割成運(yùn)動(dòng)目標(biāo)圖像幀，通過(guò)關(guān)鍵幀提取技術(shù)完成運(yùn)動(dòng)目標(biāo)起始幀和結(jié)束幀的提取。

1 背景差分法和關(guān)鍵幀提取技術(shù)

1.1 背景差分法

背景差分法用數(shù)學(xué)語(yǔ)言描述如下：

Dt(x,y)=|It(x,y)-Bt(x,y)|，

(1)

(2)

式中：It(x,y)為視頻圖像序列中第t幀圖像；Bt(x,y)為第t幀的背景；T為門限值；Mt(x,y)為二值化后的第t幀圖像。

圖1 算法流程Fig.1 Algorithm flow chart

背景差分法檢測(cè)分為預(yù)處理、背景建模、前景檢測(cè)、后處理4個(gè)部分(圖1)。預(yù)處理是對(duì)數(shù)字圖像進(jìn)行相對(duì)簡(jiǎn)單的空間或者時(shí)間濾波，用來(lái)消除一些瞬間環(huán)境噪聲，如攝像機(jī)噪聲等；背景建模分為建立一個(gè)背景圖像和搭建一個(gè)模型作為背景圖像，是算法的核心；前景檢測(cè)其實(shí)是閾值分割；后處理是消除不存在于運(yùn)動(dòng)物體的準(zhǔn)確參考像素，以獲得移動(dòng)物體的準(zhǔn)確前景。

1.2 關(guān)鍵幀提取

傳統(tǒng)的幀差法在關(guān)鍵幀提取上一般采用基于互信息量的方式判斷圖像間的差異，盡管提取算法具有較好的穩(wěn)健性，但在相似類別數(shù)據(jù)的處理上仍然存在大量的數(shù)據(jù)冗余。本研究在傳統(tǒng)的幀差法基礎(chǔ)上引入了聚類分析，同時(shí)在圖像聚類之后再次基于互信息關(guān)鍵幀提取算法對(duì)不同類別圖像進(jìn)行差異化分析，計(jì)算各個(gè)類別中Max和Min圖像幀的差值，如果差值>視頻頻率，則選擇這兩幀作為關(guān)鍵幀。監(jiān)控視頻的關(guān)鍵幀提取流程如圖2所示。

圖2 關(guān)鍵幀提取流程Fig.2 Process of extracting key frames

(1)根據(jù)視頻的幀速率將運(yùn)動(dòng)目標(biāo)視頻段分成圖像幀F(xiàn)1，F(xiàn)2，F(xiàn)3，…，F(xiàn)n。例如視頻約8 s，幀速率為20幀/s，則視頻可分為164幀圖像。利用背景差分法對(duì)圖像幀進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，記錄起始幀F(xiàn)1和結(jié)束幀F(xiàn)n。

(2)對(duì)視頻文件的圖像幀序列F1，F(xiàn)2，F(xiàn)3，…，F(xiàn)n進(jìn)行解析，通過(guò)互信息量I(t,t+1)<θ1(θ1為局部最小值提取的變化范圍閾值)對(duì)關(guān)鍵視頻段進(jìn)行分類處理，共得到N類視頻段，即S={S1,S2,S3,…,SN}。圖像間的互信息量越大表示其共有的信息越多，即圖像越相似。圖像Ft和Ft+1間的互信息量計(jì)算公式如下：

(3)

式中：Pt,t+1(i,j)為Ft和Ft+1的聯(lián)合概率密度；Pt(i)和Pt+1(j)為圖像Ft和Ft+1的邊緣概率密度；N為圖像的灰度級(jí)數(shù)。

(3)假設(shè)類Ci:{Si}，計(jì)算相鄰類間的互信息量的差值ICi,Ci+1(Ci，Ci+1)。

(4)計(jì)算各類別中互信息量的平均值Ii，以閾值θ2(θ2表示各類別圖像中局部最小值提取的變化范圍閾值)判斷類間的相似度，如果ICi,Ci+1(Ci，Ci+1)>θ2且i=i+1，則直接轉(zhuǎn)E；如果ICi,Ci+1(Ci，Ci+1)<θ2，則將Ci和Ci+1合并成新類，轉(zhuǎn)C。

(5)對(duì)閾值θ2重新分類的圖像幀進(jìn)行聚類分析，同時(shí)對(duì)各個(gè)新類別進(jìn)行關(guān)鍵幀提取。

(6)再次對(duì)各類中關(guān)鍵幀提取出的Max和Min圖像幀及接近平均值的圖像幀進(jìn)行匯總，并標(biāo)記為K。

(7)計(jì)算各個(gè)類別中Max和Min圖像幀的差值，如果差值>視頻頻率，則選擇這兩幀作為關(guān)鍵幀；如果差值≤視頻頻率，則選擇最接近類中平均值的圖像幀作為關(guān)鍵幀。

1.3 實(shí)驗(yàn)設(shè)計(jì)

以一段道路監(jiān)控視頻為實(shí)驗(yàn)對(duì)象，該視頻約8 s，數(shù)據(jù)傳輸速率為273 Kbps，幀速率為20幀/s。這段視頻共有164幀，圖3為該視頻段中的部分內(nèi)容。在MATLAB軟件環(huán)境下，利用背景差分法對(duì)該視頻進(jìn)行運(yùn)動(dòng)物體檢測(cè)，記錄視頻中的起始幀和結(jié)束幀。在互信息量的基礎(chǔ)上運(yùn)用關(guān)鍵幀提取技術(shù)進(jìn)行實(shí)驗(yàn)。

圖3 視頻主要內(nèi)容幀F(xiàn)ig.3 Main content frames of video

2 結(jié)果與討論

2.1 采用背景差分法處理圖像結(jié)果

采用背景差分法對(duì)圖像進(jìn)行處理，結(jié)果如圖4所示。圖像經(jīng)過(guò)背景摳除和二值化處理后能夠準(zhǔn)確判斷出運(yùn)動(dòng)車輛出現(xiàn)和結(jié)束的狀態(tài)，車輛在第85幀出現(xiàn)，在第145幀結(jié)束。

圖4 背景差分處理效果圖Fig.4 Background differential processing effect diagram

2.2 圖像關(guān)鍵幀提取結(jié)果

利用提取關(guān)鍵幀的方法對(duì)運(yùn)動(dòng)幀視頻進(jìn)行圖像提取，可以得到關(guān)鍵幀(起始幀和結(jié)束幀)，結(jié)果如圖5所示。

圖5 關(guān)鍵幀提取結(jié)果Fig.5 Results from extracting key frame

對(duì)比圖3和圖5可以看出，該視頻片段提取了2幀作為關(guān)鍵幀，足以表達(dá)出視頻的主要內(nèi)容。此外，該視頻段提取關(guān)鍵幀的存儲(chǔ)量為32 KB，與原有視頻存儲(chǔ)量(2 624 KB)相比，下降了98.78%，說(shuō)明運(yùn)用本方法達(dá)到了壓縮原視頻的目的，方便在實(shí)際應(yīng)用中快速瀏覽，同時(shí)也節(jié)約了儲(chǔ)存空間。

3 結(jié)語(yǔ)

本研究運(yùn)用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)，在監(jiān)控視頻中檢測(cè)到運(yùn)動(dòng)目標(biāo)的情況下，對(duì)出現(xiàn)運(yùn)動(dòng)目標(biāo)的視頻片段進(jìn)行關(guān)鍵幀提取。關(guān)鍵幀能夠代表整段視頻的信息，大大精簡(jiǎn)了視頻信息，壓縮了視頻內(nèi)容，方便使用者快速查閱到有用信息。