基于邊緣異常與壓縮跟蹤的視頻摳像篡改檢測(cè)

袁秀娟a，黃添強(qiáng)a,b，蘇立超a，陳智文a，吳鐵浩a

(福建師范大學(xué) a.數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院；b.網(wǎng)絡(luò)安全與密碼技術(shù)福建省高校重點(diǎn)實(shí)驗(yàn)室，福州 350007)

1 概述

在網(wǎng)絡(luò)和多媒體技術(shù)迅速發(fā)展的今天，圖片、音視頻等多媒體文件的傳播變得更加快捷。數(shù)字時(shí)代高品質(zhì)成像設(shè)備和先進(jìn)多媒體編輯軟件的出現(xiàn)，也使得對(duì)這類數(shù)據(jù)的編輯篡改更加容易。技術(shù)的進(jìn)步給人們帶來(lái)方便的同時(shí)，也帶來(lái)了某些方面不利的影響。被惡意篡改的視頻通過(guò)網(wǎng)絡(luò)的傳播混淆視聽，傳播虛假信息，也有不法分子通過(guò)對(duì)視頻的篡改毀滅證據(jù)，這些無(wú)疑在一定程度上影響了社會(huì)的穩(wěn)定。因此，在信息安全領(lǐng)域，對(duì)視頻的篡改檢測(cè)技術(shù)已經(jīng)成為一個(gè)研究的熱點(diǎn)。本文引入目標(biāo)跟蹤的思想，對(duì)第一幀或者前幾幀進(jìn)行邊緣異常判斷檢測(cè)出可疑對(duì)象之后，利用目標(biāo)跟蹤進(jìn)行自動(dòng)化處理，提高檢測(cè)效率。

2 相關(guān)背景

視頻的篡改方式主要分為時(shí)域篡改和空域篡改，時(shí)域篡改包括對(duì)幀的插入、刪除、復(fù)制，空域篡改指的是對(duì)視頻幀區(qū)域內(nèi)容的篡改，如幀內(nèi)對(duì)象的復(fù)制粘貼、Logo的去除、摳像合成等。摳像合成篡改是當(dāng)今應(yīng)用比較普遍的篡改方式，常用摳像方法有亮度摳像和度摳像，亮度摳像一般應(yīng)用于畫面明暗度反差較大的前景與背景的素材處理，如果前景與背景的色度差異較大則使用色度摳像。在影視節(jié)目以及藝術(shù)照片的拍攝中都廣泛使用色度摳像技術(shù)。

針對(duì)多種多樣的視頻篡改方式，國(guó)內(nèi)外也相繼取得了一系列研究成果。美國(guó)Dartmouth大學(xué)的Farid研究小組先后提出了MPEG格式視頻二次壓縮檢測(cè)[1]、隔行掃描視頻和非隔行掃描視頻篡改檢測(cè)[2]、基于灰度級(jí)向量協(xié)方差的視頻幀復(fù)制和區(qū)域復(fù)制檢測(cè)[3]、視頻雙重MPEG壓縮過(guò)程中雙重量化存在的特征判斷篡改[4]等檢測(cè)方法。國(guó)外Hsu基于視頻圖像的噪音殘差相關(guān)性分布模型，提出一種視頻偽造區(qū)域查找算法[5]。國(guó)內(nèi)關(guān)于視頻被動(dòng)認(rèn)證的研究也相繼展開，文獻(xiàn)[6]利用篡改前后運(yùn)動(dòng)誤差的周期性變化檢測(cè)幀的插入或刪除，文獻(xiàn)[7]利用運(yùn)動(dòng)矢量檢測(cè)視頻運(yùn)動(dòng)對(duì)象在時(shí)間軸上的篡改，文獻(xiàn)[8]基于統(tǒng)計(jì)相關(guān)性原理，通過(guò)計(jì)算模式噪聲與待檢測(cè)幀的噪聲相關(guān)性確定篡改位置。數(shù)字視頻盲取證技術(shù)在不斷發(fā)展中，各種檢測(cè)算法不斷出現(xiàn)。

文獻(xiàn)[9]針對(duì)視頻的藍(lán)屏摳像合成篡改，提出一種檢測(cè)算法。對(duì)于拼接合成的對(duì)象，邊緣像素點(diǎn)的鄰域相關(guān)性遭到破壞。它通過(guò)計(jì)算邊緣點(diǎn)的可疑因子判斷是否篡改。通過(guò)大量實(shí)驗(yàn)觀察邊緣像素點(diǎn)的特征，正常的邊緣點(diǎn)其實(shí)并不是絕對(duì)地位于左右點(diǎn)的中間位置，只是偏離得不是那么明顯。而篡改對(duì)象的邊緣點(diǎn)與背景之間沒(méi)有經(jīng)過(guò)CFA插值，破壞了像素點(diǎn)的鄰域相關(guān)性，會(huì)過(guò)度地偏向一方。對(duì)邊緣點(diǎn)的鄰域相關(guān)性進(jìn)行描述量化，將插值和未插值的邊緣點(diǎn)像素鄰域一致性進(jìn)行比較，判斷是否被篡改。文獻(xiàn)[9]只計(jì)算了2個(gè)方向的可疑因子，且檢測(cè)過(guò)程是針對(duì)所有幀一幀一幀進(jìn)行人工判斷。

3 CFA插值

在數(shù)碼相機(jī)成像過(guò)程中，自然景物反射的自然光通過(guò)鏡頭進(jìn)入相機(jī)，被感光器件電荷藕合器件或者互補(bǔ)金屬氧化物半導(dǎo)體接收感知，將光學(xué)信號(hào)轉(zhuǎn)化為電流信號(hào)，通過(guò)A/D轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，再經(jīng)過(guò)一些后續(xù)處理，繼而存儲(chǔ)為數(shù)字圖像。為了節(jié)約數(shù)碼相機(jī)制造成本，人們研究了新的解決方案，在感光器件前端放置一個(gè)顏色濾波陣列(CFA)，對(duì)于每一個(gè)像素點(diǎn)，僅采集三基色RGB的一個(gè)分量，用一個(gè)感光器件陣列接收濾波陣列過(guò)濾出的顏色分量，通過(guò)顏色插值(CFA插值)計(jì)算得到其余2個(gè)顏色分量。然后經(jīng)過(guò)白平衡、伽馬校正等后續(xù)處理最后形成數(shù)字圖像。如今多數(shù)數(shù)碼相機(jī)以及攝像機(jī)都是采用圖1所示的模型。

圖1 相機(jī)成像模型

顏色濾波陣列有多種排列方式，最經(jīng)典、使用最廣泛的是拜爾濾波陣列，即Bayer CFA。如圖2所示，在一個(gè)2×2的基本單元中，綠色像素占總像素?cái)?shù)的1/2，紅色和藍(lán)色各占1/4。因?yàn)槿搜垡曈X(jué)系統(tǒng)對(duì)綠色更為敏感，能分辨更多細(xì)節(jié)。

圖2 Bayer CFA

由于濾波陣列在每個(gè)像素點(diǎn)只采集了一個(gè)顏色分量，為了獲得R,G,B這3個(gè)色彩信息，就要對(duì)其進(jìn)行插值，即CFA插值過(guò)程。不同型號(hào)的數(shù)碼相機(jī)會(huì)根據(jù)其采用的CFA模式的不同以及相機(jī)內(nèi)部硬件的差異選擇合適的CFA插值方法。CFA插值算法主要分為2類：(1)單個(gè)顏色通道獨(dú)立插值算法，不考慮圖像特性，采用同一種方法插值，是非自適應(yīng)的；(2)利用多通道之間的相關(guān)性進(jìn)行插值，是自適應(yīng)的插值算法，結(jié)合了對(duì)圖像細(xì)節(jié)的分析以及顏色通道間的相關(guān)性。

4 篡改檢測(cè)算法

正常情況下因?yàn)镃FA插值的存在，像素具有鄰域相關(guān)性，在垂直于邊緣的方向上，邊緣點(diǎn)像素值與兩側(cè)的像素值的偏差不會(huì)相差太大，而如果是經(jīng)過(guò)篡改拼接的邊緣點(diǎn)，會(huì)帶來(lái)像素值偏向異常，即過(guò)度偏向于一方。已有的算法計(jì)算了邊緣像素點(diǎn)水平和豎直方向上的鄰域相關(guān)性，為了全方位考慮，另外再計(jì)算2個(gè)對(duì)角方向上的相關(guān)性，通過(guò)檢測(cè)這種異常來(lái)定位拼接點(diǎn)。

檢測(cè)流程如圖3所示，實(shí)驗(yàn)檢測(cè)的是視頻中某個(gè)目標(biāo)的存在是否真實(shí)。步驟如下：

(1)將視頻轉(zhuǎn)換為圖像序列，輸入目標(biāo)出現(xiàn)的第一幀，進(jìn)行Sobel邊緣檢測(cè)，獲取圖像的邊緣點(diǎn)。

(2)通過(guò)對(duì)邊緣點(diǎn)鄰域相關(guān)特征的描述量化，挖掘正常邊緣與異常邊緣的特征差異，計(jì)算邊緣點(diǎn)4個(gè)方向上的偏差，找出篡改點(diǎn)，定位篡改區(qū)域。

(3)學(xué)習(xí)檢測(cè)到的篡改區(qū)域，輸入整個(gè)視頻序列，用目標(biāo)跟蹤算法查找時(shí)域上幀的篡改范圍。當(dāng)所跟蹤的目標(biāo)消失，跟蹤結(jié)束，此目標(biāo)出現(xiàn)的幀均為篡改幀。

(4)目標(biāo)消失跟蹤結(jié)束之后，在目標(biāo)出現(xiàn)的最后一幀再次進(jìn)行異常邊緣的檢測(cè)，與最初檢測(cè)到的異常區(qū)域?qū)Ρ?，看檢測(cè)結(jié)果是否一致。

(5)在結(jié)束跟蹤后面的幀，若有新的可疑目標(biāo)出現(xiàn)，再次進(jìn)行步驟(1)～步驟(4)的檢測(cè)。

圖3 視頻目標(biāo)檢測(cè)流程

4.1 邊緣檢測(cè)

圖像的連續(xù)像素點(diǎn)如果出現(xiàn)不連續(xù)的灰度值，就意味著局部的不連續(xù)，這個(gè)不連續(xù)的局部成為邊緣元。如果能夠?qū)⑾噜彽倪吘壴仄淝芯€方向連接成為一條線段，則稱這條線段為邊界。邊界反映了圖像中物體或區(qū)域所占的物理限度，是一個(gè)有用的重要特征。

拼接篡改引入了新的對(duì)象，也相應(yīng)地引入了新的邊緣。目的是檢測(cè)拼接合成的邊緣，首先對(duì)其進(jìn)行邊緣檢測(cè)。邊緣檢測(cè)的方法很多，主流的算子有Canny算子、Log算子、Sobel算子、Prewitt算子等。圖4是4種算子的檢測(cè)效果。

圖4 不同邊緣檢測(cè)算子效果

Canny算子和Log算子邊緣檢測(cè)的效果較為細(xì)致，物體內(nèi)部的細(xì)小邊緣都被檢測(cè)。但本文的目的只需檢測(cè)物體外部的邊緣。Sobel算子和Prewitt算子類似，都能檢測(cè)到物體的大致輪廓，兩者只是權(quán)值有所變化，但兩者實(shí)現(xiàn)起來(lái)功能還是有差距的，Sobel算子引入了類似局部平均的運(yùn)算，對(duì)噪聲具有平滑作用，能很好地消除噪聲的影響。參考實(shí)驗(yàn)效果以及相關(guān)文獻(xiàn)得知，Sobel要比Prewitt更能準(zhǔn)確地檢測(cè)圖像邊緣。因此，對(duì)比各種算子的優(yōu)缺點(diǎn)、計(jì)算復(fù)雜度，最后選用Sobel算子進(jìn)行檢測(cè)忽略沒(méi)用的細(xì)節(jié)。

4.2 邊緣特征異常檢測(cè)

假設(shè)I(i,j)為邊緣點(diǎn)，用下式描述該邊緣點(diǎn)像素值與鄰域點(diǎn)像素值之間的偏差：

對(duì)正常的邊緣點(diǎn)，兩側(cè)偏差相差不明顯，邊緣點(diǎn)兩側(cè)的差值比值較小，那么計(jì)算的因子的值相應(yīng)較小，而對(duì)于篡改的邊緣點(diǎn)，邊緣點(diǎn)兩側(cè)偏向異常，邊緣點(diǎn)過(guò)于偏向一側(cè)，相應(yīng)計(jì)算得到的因子的值會(huì)較大，如圖5所示。計(jì)算邊緣點(diǎn)4個(gè)方向上的因子，如有一個(gè)因子的值大于閾值T，則認(rèn)為是可疑邊緣點(diǎn)。閾值T是通過(guò)大量實(shí)驗(yàn)得到的經(jīng)驗(yàn)值。

圖5 像素點(diǎn)坐標(biāo)示意圖

4.3 目標(biāo)跟蹤檢測(cè)

已有的視頻篡改檢測(cè)方法基本上都是對(duì)視頻的每一幀進(jìn)行檢測(cè)，使得檢測(cè)效率不高，引入目標(biāo)跟蹤的思想提高檢測(cè)效率。因?yàn)橐话闱闆r下篡改的對(duì)象目標(biāo)較大，對(duì)于目標(biāo)跟蹤算法的魯棒性要求不是很高，為了更精確地檢測(cè)，采用目標(biāo)跟蹤領(lǐng)域優(yōu)秀的Real-time Compressive Tracking算法實(shí)現(xiàn)對(duì)篡改對(duì)象的跟蹤[10]。這是一種簡(jiǎn)單高效的基于壓縮感知的跟蹤算法。算法的主要思想是利用符合壓縮感知RIP條件的隨機(jī)矩陣對(duì)多尺度圖像特征進(jìn)行降維，然后在降維后的特征上采用簡(jiǎn)單的樸素貝葉斯分類器進(jìn)行分類。和一般的模式分類模型一樣：先提取圖像的特征，再通過(guò)分類器對(duì)其分類，不同在于這里特征提取采用壓縮感知，分類器采用樸素貝葉斯。然后每幀通過(guò)在線學(xué)習(xí)更新分類器。

4.3.1 壓縮感知算法應(yīng)用

壓縮感知理論[11]是近年來(lái)信號(hào)處理領(lǐng)域誕生的一種全新的信號(hào)處理理論。壓縮感知以信號(hào)稀疏性為前提，如果信號(hào)在某一個(gè)正交空間具有稀疏性(即可壓縮性)，就能以較低的頻率(遠(yuǎn)低于奈奎斯特采樣頻率)采樣該信號(hào)，得到信號(hào)的稀疏表示，并且能夠很大程度上精確重建該信號(hào)。主要步驟包括信號(hào)的稀疏表示、設(shè)計(jì)測(cè)量矩陣和信號(hào)的重構(gòu)。

信號(hào)的稀疏性是壓縮感知的重要前提，設(shè)X為長(zhǎng)度為N的一維信號(hào)，存在一個(gè)N×N的正交基Ψ和一個(gè)N維向量S滿足X=ΨS。當(dāng)X在某個(gè)基Ψ上僅有k<

其中，Y是M維向量；Φ為M×N的矩陣，X到Y(jié)的轉(zhuǎn)換使得信號(hào)從N維降到M維。當(dāng)測(cè)量矩陣與稀疏基矩陣的乘積滿足RIP性質(zhì)，即有限等距性質(zhì)時(shí)，壓縮感知理論通過(guò)對(duì)上式的逆問(wèn)題先求解稀疏系數(shù)S，然后將稀疏度為k的信號(hào)X從M維的測(cè)量投影值Y中正確地恢復(fù)出來(lái)。

RIP性質(zhì)：

RIP性質(zhì)保證了k個(gè)系數(shù)從M個(gè)測(cè)量值準(zhǔn)確重構(gòu)。

求解的最直接方法是通過(guò)l0范數(shù)求解最優(yōu)化問(wèn)題：s.t.Y=ΦΨ α ，得到稀疏系數(shù)S的估計(jì) S'，原信號(hào) X'=ΨS'。l0范數(shù)的求解是個(gè)NP問(wèn)題，由于l1最小范數(shù)在一定條件下和l0最小范數(shù)具有等價(jià)性，因此轉(zhuǎn)化為l1范數(shù)求解，從而實(shí)現(xiàn)重構(gòu)。

4.3.2 實(shí)時(shí)壓縮跟蹤

通過(guò)壓縮感知理論可知，找到一個(gè)滿足RIP準(zhǔn)則的稀疏觀測(cè)矩陣，利用其對(duì)原圖像特征空間進(jìn)行降維，而且降維后的壓縮特征仍然可以很好地保留原圖像特征空間的信息。所以這里利用稀疏觀測(cè)矩陣分別提取前景(所要跟蹤的目標(biāo))和背景的特征，作為在線學(xué)習(xí)更新分類器的正樣本和負(fù)樣本，然后用更新后的樸素貝葉斯分類器分類下一幀待測(cè)圖像，如圖6所示。

圖6 目標(biāo)跟蹤流程

目標(biāo)跟蹤步驟如下：

(1)第t幀，通過(guò)采樣得到若干張前景(正樣本)和背景(負(fù)樣本)的圖像塊，對(duì)圖像塊進(jìn)行多尺度變換，提取圖像塊的特征，通過(guò)一個(gè)稀疏觀測(cè)矩陣對(duì)多尺度圖像特征進(jìn)行降維，利用降維后的特征二分類去訓(xùn)練樸素貝葉斯分類器。

(2)第t+1幀，在前一幀所跟蹤到的目標(biāo)位置周圍進(jìn)行采樣，采樣得到n個(gè)圖像塊(避免去掃描整幅圖像)，利用同樣的稀疏觀測(cè)矩陣對(duì)這n個(gè)圖像塊特征進(jìn)行降維，得到壓縮后的圖像特征，用上一幀訓(xùn)練好的樸素貝葉斯分類器進(jìn)行分類，分類分?jǐn)?shù)最大的窗口就認(rèn)為是所要跟蹤的目標(biāo)窗口。這樣就實(shí)現(xiàn)了從t幀到t+1幀的目標(biāo)跟蹤。

5 實(shí)驗(yàn)分析

實(shí)驗(yàn)所用視頻animal1.mpg、animal2.mpg、woman.mpg是在bestgreenscreen網(wǎng)站下載的原始高清綠色背景視頻，分辨率為1280×720，拍攝視頻分別采用型號(hào)Canon IXUS 120IS和CanonA60，分辨率為640×480和320×240這 2種。

視頻編輯篡改使用軟件為Adobe Premiere Pro CS4，將animal.mp4分別與自己拍攝的5個(gè)不同視頻進(jìn)行合成。實(shí)驗(yàn)所用計(jì)算機(jī)配置Intel Pentium CPU G640@2.80 GHz、4 GB內(nèi)存、Win7系統(tǒng)，利用MatlabR2011a實(shí)現(xiàn)算法，個(gè)別地方用到VS2010及OpenCV。實(shí)驗(yàn)所用視頻如圖7、圖8所示。

圖7 原始綠色背景視頻

圖8 幀篡改前后及檢測(cè)結(jié)果示意圖

確定篡改對(duì)象之后，對(duì)這一幀的篡改區(qū)域進(jìn)行學(xué)習(xí)，此后的所有幀利用上文所述的目標(biāo)追蹤算法，目標(biāo)消失時(shí)結(jié)束追蹤，輸出幀序列號(hào)，忽略視頻時(shí)域上的篡改，可以判定從目標(biāo)出現(xiàn)的第一幀到結(jié)束的幀均為合成篡改得到。然后對(duì)結(jié)束的幀再次進(jìn)行異常邊緣的檢測(cè)，看得到的異常區(qū)域是否與之前的檢測(cè)一致。但不能說(shuō)明后面的視頻就是原始的，如果后面又有新的目標(biāo)出現(xiàn)，那么對(duì)新目標(biāo)出現(xiàn)的第一幀重新利用邊緣異常檢測(cè)判斷，若為篡改，再進(jìn)行追蹤。利用目標(biāo)追蹤的優(yōu)點(diǎn)在于避免了每一幀都進(jìn)行邊緣異常判斷的繁瑣，實(shí)時(shí)壓縮跟蹤利用了壓縮感知，大大縮減了運(yùn)行的時(shí)間復(fù)雜度，對(duì)于630幀分辨率為640×480的視頻序列時(shí)間為45 s，追蹤效果如圖9所示。

圖9 目標(biāo)追蹤示例

6 結(jié)束語(yǔ)

本文通過(guò)計(jì)算邊緣點(diǎn)4個(gè)方向的偏差檢測(cè)邊緣點(diǎn)的可疑，判斷是否為篡改對(duì)象的邊緣，然后結(jié)合目標(biāo)追蹤算法大大提高了檢測(cè)效率，實(shí)驗(yàn)檢測(cè)效果比較理想。但如果視頻同時(shí)進(jìn)行了時(shí)域上的篡改，一個(gè)運(yùn)動(dòng)的對(duì)象前一段為摳像合成，后一段為原始視頻，通過(guò)時(shí)域上更加精細(xì)的篡改使之銜接，這種情況下目標(biāo)追蹤的算法不適用。不過(guò)這種篡改太過(guò)復(fù)雜，一般較少出現(xiàn)。本文算法適用于單目標(biāo)的篡改檢測(cè)與追蹤，對(duì)于多目標(biāo)的追蹤還要進(jìn)一步深入研究。另外可以借鑒多特征融合的圖像檢測(cè)方法[12]，融合多種視頻特征、綜合多種篡改檢測(cè)方法進(jìn)行研究。

[1]Wang Weihong,Farid H.Exposing Digital Forgeries in Video by Detecting Double MPEG Compression[C]//Proc.of the 8th Workshop on Multimedia and Security.New York,USA:ACM Press,2006:37-47.

[2]Wang Weihong,Farid H.Exposing Digital Forgeries in Interlaced and De-interlaced Video[J].IEEE Transactions on Information Forensics and Security,2007,2(3):438-449.

[3]Wang Weihong,Farid H.Exposing Digital Forgeries in Video by Detecting Duplication[C]//Proc.of the 9th Workshop on Multimedia and Security.New York,USA:ACM Press,2007:35-42.

[4]Wang Weihong,Farid H.Exposing Digital Forgeries in Video by Detecting Double Quantization[C]//Proc.of the 11th ACM Workshop on Multimedia and Security.Princeton,USA:ACM Press,2009:39-48.

[5]Hsu C C,Hung T Y,Lin C W,et al.Video Forgery Detection Using Correlation of Noise Residue[C]//Proc.of the l0th Workshop on Multimedia Signal Processing.Cairns,Australia:IEEE Computer Society,2008:170-174.

[6]熊 瀟,黃 征,徐 徹,等.基于預(yù)測(cè)殘差檢測(cè)的數(shù)字視頻篡改鑒定[J].信息安全與通信保密,2008,(12):128-130.

[7]秦運(yùn)龍,孫廣玲,張新鵬.利用運(yùn)動(dòng)矢量進(jìn)行視頻篡改檢測(cè)[J].計(jì)算機(jī)研究與發(fā)展,2009,46(z1):227-233.

[8]王俊文,劉光杰,張 湛,等.基于模式噪聲的數(shù)字視頻篡改取證[J].東南大學(xué)學(xué)報(bào):自然科學(xué)版,2008,38(z2):13-17.

[9]Su Yuting,Han Yu,Zhang Chengqian.Detection of Blue Screen Based on Edge Features[C]//Proc.of the 6th IEEE Joint International Conference on Information Technology and Artificial Intelligence.[S.l.]:IEEE Press,2011:469-472.

[10]Zhang Kaihua,Zhang Lei,Yang M H.Real-time Compressive Tracking[C]//Proc.of the 12th European Conference on Computer Vision.[S.l.]:IEEE Press,2012:864-877.

[11]Donoho D L.Compressed Sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[12]Chetty G,Singh M,White M.Blind Image Tamper Detection Based on Multimodal Fusion[C]//Proc. of the 17th International Conference on Neural Information Processing:Models and Applications.Sydney,Australia:Springer-Verlag,2010:557-564.