針對對象移除視頻的空時域聯(lián)合檢測算法

王 斌,王讓定

(寧波大學(xué) 信息科學(xué)與工程學(xué)院,浙江 寧波 315211)

0 概述

隨著數(shù)字多媒體技術(shù)和網(wǎng)絡(luò)的發(fā)展,越來越多的視頻及圖像編輯軟件被廣泛使用,這在給人們帶來樂趣與便捷的同時,也意味著真實的視頻文件容易被篡改,以至于給多媒體內(nèi)容的權(quán)威性[1]帶來極大的挑戰(zhàn)性。如果將篡改后的視頻進行肆意傳播,那么會給社會帶來巨大的負面影響。同時,圖像篡改檢測[2]方法相對成熟,與之對應(yīng)視頻偽造檢測的研究亦得到了業(yè)界的廣泛重視。

對象移除篡改是視頻偽造中較常見的一種惡意操作。因其相對于雙重壓縮[3-5]、幀操作[6-7]、合成篡改[8-9]等行為,對象移除篡改更能直接影響對視頻內(nèi)容的理解和認(rèn)知。對象移除篡改的研究主要分為塊匹配法[10-12]和提取運動殘留法。塊匹配方法主要通過分析篡改軟件的運行原理,得出篡改區(qū)域與相鄰背景區(qū)域之間存在復(fù)制粘貼的關(guān)系,文獻[10]即利用此原理尋找匹配塊,以達到檢測目的,但是此種方法對于量化噪聲的魯棒性較低,文獻[11]針對這一缺點引入了量化噪聲影響因子來修正時間域匹配準(zhǔn)則以消除視頻壓縮帶來的噪聲干擾,但效果并不太理想,文獻[12]通過引入了統(tǒng)計矩特征和歸一化互相關(guān)因子取得了一定效果。提取運動殘留法又可分為時域殘留法[13-15]和空域殘留法[16-17]。文獻[13]以刪除運動對象會造成運動矢量方向混亂為依據(jù),通過計算運動矢量方向的方差并設(shè)定閾值來判斷該位置是否發(fā)生篡改;文獻[14]在文獻[13]的基礎(chǔ)上,通過檢測篡改區(qū)域的光流不一致性來確定是否發(fā)生篡改;文獻[16]利用篡改區(qū)域邊緣異常,通過檢測邊緣點,來達到定位篡改區(qū)域的目的;文獻[17]依據(jù)對象移除使篡改幀高頻分量比重降低的思想提出了檢測算法,但該方法以幀為最小單位,對于小目標(biāo)篡改基本無效。

本文分別從時域、空域2個角度挖掘篡改殘留互補特征,提出針對對象移除視頻的空時域聯(lián)合檢測算法。在提取時域殘留信息時,從視頻剖面圖的角度分析篡改區(qū)域,更好地凸顯了偽造痕跡,將三維視頻的研究轉(zhuǎn)化到二維圖像上,使得研究方法更加豐富。

1 視頻對象移除引發(fā)的殘留痕跡

視頻的固有統(tǒng)計特性可分為2類:幀內(nèi)特性和幀間特性,前者描述空間特征,后者描述時間特征。當(dāng)篡改發(fā)生時,視頻的2種固有特性必然會隨之改變。

1.1 篡改操作引發(fā)的時域遺留痕跡

視頻中的每幀都包括兩部分:運動部分和靜態(tài)部分。靜態(tài)部分在局部時間窗口內(nèi)基本保持不變,而運動部分則是在局部時間窗口內(nèi)發(fā)生變化。運動部分包含了視頻的時間特征,雖然篡改時會將運動物體抹除,但依舊會留下少量殘留運動信息,因此,它們成為本文主要尋找和分析的對象。

設(shè)待檢測視頻V表示為:

V?{F(1),F(2),…,F(T)},T∈Z

(1)

其中,V為X×Y分辨率并已灰度化的視頻,T為視頻的總幀數(shù)。依次提取所有視頻幀第k列元素,如圖1所示,得到矩陣P,用P(k)表示由每幀視頻的第k列組成的矩陣。用F(i,k)(t)表示視頻的第t幀中坐標(biāo)為(i,k)的像素值。

P(k)= [(F(1,k)(1),F(2,k)(1),…,F(i,k)(1),…,F(X,k)(1));

?

(F(1,k)(t),F(2,k)(t),…,F(i,k)(t),…,F(X,k)(t));

(F(1,k)(T),F(2,k)(T),…,F(i,k)(T),…,F(X,k)(T))],

i∈(1,2,…,X),k∈(1,2,…,Y)

(2)

圖1 視頻切割方向示意圖

篡改視頻前后的對比示意圖如圖2所示。P(k)是一個T×X的圖像,如圖2(c)、如圖2(d)所示?？梢詮膱D2中觀察出,該剖面圖在背景區(qū)域具有橫向紋理一致的特征,這是由于該視頻為監(jiān)控視頻,背景區(qū)域在時間軸上波動性較小。但圖2(d)存在輕微混亂現(xiàn)象,對比圖2(c)可知,此區(qū)域正是被抹除的運動對象所在的區(qū)域,因此,可將此現(xiàn)象認(rèn)定為篡改遺留的時域痕跡。此時,對視頻的檢測便轉(zhuǎn)移到了對剖面圖的檢測,視頻的時域信息被映射到了二維圖像上,從而達到了降維的目的。

圖2 篡改視頻前后的對比示意圖

灰度共生矩陣是一種常用的描述紋理方法,它是像素距離和角度的矩陣函數(shù),通過計算圖像中一定距離和一定方向的兩點灰度之間的相關(guān)性,來反映圖像在方向、間隔、變化幅度及快慢上的綜合信息。因其在表征紋理時可設(shè)定方向,本文采用此方法來檢測在橫向紋理背景下圖像中的紋理不一致性問題。

1.2 篡改操作引發(fā)的空域遺留痕跡

由于視頻具有比較強的連貫性,因此當(dāng)運動對象被移除時,篡改軟件會對篡改區(qū)域做模糊處理,從而使得該區(qū)域的高頻分量損失。選取視頻集內(nèi)一幀篡改圖像,將其分為100個互不重疊的小塊。然后進行小波變換,提取HH分量,將每個位置塊內(nèi)HH高頻系數(shù)求和,各位置處高頻分量和如圖3所示。篡改對象所在位置正是高頻分量值下降區(qū)域,因此,可將此現(xiàn)象認(rèn)定為篡改遺留的空域痕跡。

圖3 篡改后該幀高頻分量分布

2 視頻篡改檢測算法

在對篡改圖像進行檢測時,通常將其分為多個互不重疊的圖像塊,此種方法能夠較好地避免噪聲點的干擾。同理,在對篡改視頻進行檢測時,由于操作對象由二維轉(zhuǎn)化為三維,因此將視頻分為多個互不重疊的小立方塊。每個小立方塊都可通過圖4所示的方式,在q所在剖面圖獲得時域篡改殘留信息,在p所在剖面圖獲得空域篡改殘留信息。檢測流程如圖5所示。

圖4 空時域關(guān)系示意圖

圖5 檢測流程

2.1 時域運動殘留檢測器

在剖面圖中,對象移除的區(qū)域,紋理會出現(xiàn)混亂?？沼蜻\動殘留檢測器主要是將殘留痕跡定量分析,即為每個立方塊求得一個表征篡改的數(shù)值。步驟如下:

1)將分辨率為X×Y,幀數(shù)為T的視頻V分為20×10×(T/5)個互不重疊的小立方塊如圖6所示,每個立方塊包括(X/20)×(Y/10)×5個像素值,每個小立方塊的空間位置用(x,y,t)表示,x∈(1,2,…,20),y∈(1,2,…,10),t∈(1,2,…,T/5)。過任一空間位置為(x,y,t)的小立方塊的中心點作視頻V沿時間軸的切面,即沿第(Y/10)×y-Y/20列元素對視頻進行切割,得到剖面圖P((Y/10)×y-Y/20)。

圖6 視頻分割示意圖

2)剖面圖P((Y/10)×y-Y/20)分為了20×(T/5)個互不重疊的圖像塊。如圖7所示,該剖面圖橫軸為幀數(shù)。以每個圖像塊的紋理特征近似表征其所在小立方體的篡改時域遺留信息。由于此剖面圖具有橫向紋理一致,縱向溝壑分明的特性,因此每一塊分別經(jīng)過0°掃描和90°掃描生成k階灰度共生矩陣G0、G90[18-19],其中,k為剖面圖的灰度級數(shù)。0°掃描所得k階灰度共生矩陣G0的熵ENT和90°掃描所得k階灰度共生矩陣G90(i,j)的對比度CON分別為:

(3)

(4)

圖7 視頻剖面

當(dāng)共生矩陣G0中元素值接近時,熵較小;反之,熵較大。因剖面圖具有橫向一致性,在0°掃描所得的灰度共生矩陣中值分布較集中,固具有較小的熵。而在篡改區(qū)域出現(xiàn)混亂,熵則較大。對比度反映了圖像的清晰度和紋理溝壑深淺的程度。紋理溝壑越深,其對比度越大,視覺效果越清晰;反之,對比度小,則溝壑淺、效果模糊。所以,相比篡改區(qū)域,非篡改區(qū)域具有較大的縱向?qū)Ρ榷取＞C上,篡改可疑度與熵成正比關(guān)系,與對比度成反比關(guān)系。因此,可以定義篡改可疑度AD為:

AD=ENT/CON

(5)

相較篡改塊,運動物體所在塊的AD值更大,需先將其去除。通過實驗設(shè)定閾值K:

(6)

如果AD(x,y,t)>K(x,y),那么該塊為運動物體塊,標(biāo)記為運動物體,其AD值改為所在行的AD均值;反之保留。然后定義時域可疑度TAD為式(7),其值表征篡改遺留的時域信息,值越大,篡改可能性越大。

(7)

2.2 空域運動殘留檢測器

在對象移除的區(qū)域,高頻分量會出現(xiàn)缺失。空域運動殘留檢測器主要是將空域殘留痕跡定量分析。過任一空間位置為(x,y,t)的小立方塊的中心點作視頻V沿時間軸的垂直方向的切面,得到第(5×t- 2)幀視頻,即F(5×t-2)。每一幀圖像都被分為了20×10個互不重疊的圖像塊,以每個圖像塊的高頻系數(shù)和近似表征其所在小立方體的篡改空域遺留信息。用s表示所在圖像塊內(nèi)高頻系數(shù)和,篡改區(qū)域處s值較小,非篡改處s值較大。為避免個別噪聲點對s值的影響,空域篡改遺留信息可由周圍(2×c+1)×(2×c+1)大小的塊窗口表征,如圖8所示。因此,定義空域可疑度SAD為式(8),其值表征篡改遺留的空域信息,值越大,篡改可能性越小。

(8)

圖8 空域位置示意圖

c值決定了計算SAD時窗口的大小。如果c值太小,窗口小于運動物體,那么有可能出現(xiàn)窗口完全在物體內(nèi),此時,計算得到的SAD值偏大,易造成誤檢;如果c太大,會引入過多干擾。所以,c的選取將依據(jù)待檢測視頻內(nèi)容而定,通過比較本文所用實驗樣本內(nèi)運動物體大小,得出c為2。此時,既能做到窗口大于運動物體,又能減少引入過多干擾。

2.3 空時域聯(lián)合檢測方法

每個小立方塊都可分別求得TAD值、SAD值,TAD越大,SAD越小,該立方體的篡改可能性越大。又因為時域運動殘留提取器對篡改對象邊緣檢測較弱,而空域提取器恰好相反,越是邊緣部分周圍部分塊的高頻分量值越大,其SAD值也就越小,篡改可能性越大,兩者在區(qū)域判定上具有差異性從而起到了互補的作用。所以,定義聯(lián)合可疑度UAD如式(9)所示,不同系數(shù)會對檢測結(jié)果產(chǎn)生影響。通過實驗得出a=1.2,閾值為0.02。如果UAD大于閾值時,該小立方體被認(rèn)定為發(fā)生篡改;反之為未篡改。每個小立方體都被標(biāo)記為篡改或非篡改,也即達到了對整個視頻的檢測的目的。

UAD=TAD-a×SAD

(9)

3 實驗結(jié)果與分析

本文算法在Matlab R2012a平臺上進行實驗,視頻篡改軟件Mokey V4.0,視頻拍攝設(shè)備Samsung WB200F和Panasonic Lumix DMC—GM1k。視頻測試樣本為20個,其中,5個來源于SULFA數(shù)據(jù)庫,分辨率為240像素×320像素,15個為自拍攝視頻,分辨率480像素×640像素。20段視頻共計5 324幀,幀率統(tǒng)一為30 frame/s,并且所有視頻經(jīng)過篡改后,都在H.264編碼標(biāo)準(zhǔn)下進行了壓縮。因為本文算法是將視頻分為小立方塊,以每個小立方塊為最小檢測單位,與先前算法不在同一檢測體系,所以較難做對比實驗。

本文為了確定其中系數(shù)a,進行了如下實驗:將每段視頻分為20×10×(T/5)個立方體,從中分別選取1 000個篡改區(qū)域立方塊,1 000個非篡改區(qū)域立方塊。a取不同值時的可疑度值如圖9所示,其中,灰色點為篡改塊,黑色點為非篡改塊,可疑度為比值。

圖9 篡改塊與非篡改塊分布

TT為類別為非篡改的樣本被系統(tǒng)判為非篡改的數(shù)量,FT為類別為非篡改的樣本被系統(tǒng)判為篡改的數(shù)量。

準(zhǔn)確率=(TT+FF)/(T+F)

漏警率=FT/(TT+FT)

虛警率=TF/(TT+TF)

(10)

由表1可知,在a=1.2時,準(zhǔn)確率達到最大。所以,空時域聯(lián)合可疑度UAD=TAD-1.2×SAD,此時,閾值T=0.02。除此之外,塊的大小同樣是影響檢測效果的重要因素,所以,又進行了如下實驗:將20段視頻分別分為5×10×(T/5)、10×10×(T/5)、15×10×(T/5)、20×10×(T/5)、30×10×(T/5)個互不重疊立方塊,從中分別選取500、1 000、1 500、2 000、3 000個篡改與非篡改等量的樣本。

表1 不同系數(shù)下的準(zhǔn)確率 %

如表2所示,隨著塊的減小,檢測效果有明顯的提高。這是因為塊越小對于邊緣區(qū)域的檢測精確度越高。但是并不是塊越小越好,塊太小不僅使得算法復(fù)雜度大幅提高,還使得虛警率增加較多。因為當(dāng)塊較小時,某些塊內(nèi)的噪聲占比將會較大,從而影響檢測效果。

表2 不同分塊數(shù)量下的檢測效果 %

4 結(jié)束語

本文提出一種針對視頻對象刪除的空時域聯(lián)合檢測算法。該算法提供了全新的觀察角度,通過對視頻剖面的分析來實現(xiàn)對視頻篡改遺留痕跡的提取。實驗結(jié)果表明,該算法取得了較好的檢測效果。但是,當(dāng)前該算法僅限于對視頻垂直切割,下一步將嘗試從不同方向和角度切割視頻,來提高算法針對不同環(huán)境下的適應(yīng)能力。

[1] FARID H.Seeing is not believing[J].IEEE Spectrum,2009,46(8):44-51.

[2] LI Jian,LI Xiaolong,YANG Bin,et al.Segmentation-based image copy-move forgery detection scheme[J].IEEE Transactions on Information Forensics & Security,2015,10(3):507-518.

[3] JIANG Xinghao,WANG Wan,SUN Tanfeng,et al.Detection of double compression in MPEG-4 videos based on markov statistics[J].IEEE Signal Processing Letters,2013,20(5):447-450.

[4] HE Peisong,JIANG Xinghao,SUN Tanfeng,et al.Double compression detection based on local motion vector field analysis in static-background videos[J].Journal of Visual Communication & Image Representation,2016,35:55-66.

[5] 黃美玲,王讓定,徐 健,等.基于DCT系數(shù)統(tǒng)計特性的HEVC視頻雙壓縮檢測算法[J].光電子·激光,2015(4):733-739.

[6] SHANABLEH T.Detection of frame deletion for digital video forensics[J].Digital Investigation,2013,10(4):350-360.

[7] ZHANG Zhenzhen,HOU Jianjun,MA Qinglong,et al.Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames[J].Security & Communication Networks,2015,8(2):311-320.

[8] 李曉梅.基于殘留噪聲相關(guān)性的視頻篡改檢測算法[J].信息技術(shù),2013(10):103-105.

[9] 苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學(xué)報,2009,30(4):857-861.

[10] 楊 婧,任延珍,汪肇翔,等.基于差異能量的監(jiān)控視頻篡改檢測算法[J].信息網(wǎng)絡(luò)安全,2013(9):55-59.

[11] 宋 怡.基于空時域聯(lián)合匹配的視頻篡改檢測算法[D].天津:天津大學(xué),2012.

[12] MATHAI M,RAJAN D,EMMANUEL S.Video forgery detection and localization using normalized cross-correlation of moment features[C]//Proceedings of Image Analysis and Interpretation.Washington D.C.,USA:IEEE Press,2016:149-152.

[13] LI L,WANG X,ZHANG W,et al.Detecting removed object from video with stationary background[C]//Proceedings of International Conference on Digital Forensics and Watermaking.Berlin,Germany:Spinger-Verlay,2012:242-252.

[14] 李 倩,王讓定,徐達文.基于視頻修復(fù)的運動目標(biāo)刪除篡改行為的檢測算法[J].光電子·激光,2016(2):182-190.

[15] 王嘉萱,蘇育挺.基于時序特征聚類的對象刪除篡改檢測[Z].2012.

[16] 袁秀娟,黃添強,蘇立超,等.基于邊緣異常與壓縮跟蹤的視頻摳像篡改檢測[J].計算機工程,2014,40(7):267-271.

[17] 劉雨青,黃添強.基于時空域能量可疑度的視頻篡改檢測與篡改區(qū)域定位[J].南京大學(xué)學(xué)報(自然科學(xué)),2014(1):61-71.

[18] 鄭 紅,李 釗,李 俊.灰度共生矩陣的快速實現(xiàn)和優(yōu)化方法研究[J].儀器儀表學(xué)報,2012,33(11):2509-2515.

[19] 薄 華,馬縛龍,焦李成.圖像紋理的灰度共生矩陣計算問題的分析[J].電子學(xué)報,2006,34(1):155-158.