融合彩色信息與SIFT特征的幀內(nèi)復(fù)制粘貼篡改檢測(cè)①

李小琛, 黃添強(qiáng)

(福建師范大學(xué)數(shù)學(xué)與信息學(xué)院, 福州 350117)

(福建省公共服務(wù)大數(shù)據(jù)挖掘與應(yīng)用工程技術(shù)研究中心, 福州 350117)

數(shù)字視頻作為一種重要的多媒體數(shù)據(jù)現(xiàn)廣泛應(yīng)用于人們工作生活的各個(gè)領(lǐng)域中, 不乏某些不法分子為達(dá)到某些目的而對(duì)視頻進(jìn)行惡意的篡改, 所以如何準(zhǔn)確高效的辨別視頻真?zhèn)我殉蔀橐粋€(gè)亟待解決的問(wèn)題[1].現(xiàn)在視頻篡改的種類按照篡改方式可以大致分為3種:1) 幀內(nèi)篡改, 包括視頻幀內(nèi)對(duì)象添加與刪除等篡改方式, 也稱空域篡改, 本文檢測(cè)的視頻同源復(fù)制粘貼篡改行為是指復(fù)制一幀內(nèi)的物體并粘貼到同一幀內(nèi)的另一區(qū)域, 也屬于幀內(nèi)篡改的一種方式[2]; 2) 幀間篡改, 也稱為時(shí)域篡改, 可進(jìn)一步劃分為對(duì)整幀的插入、復(fù)制或刪除等多種篡改方式; 3) 視頻屬性篡改, 如幀率轉(zhuǎn)換、比特率轉(zhuǎn)換等.

近年來(lái)針對(duì)視頻幀內(nèi)復(fù)制粘貼篡改檢測(cè), 很多檢測(cè)方法被提出, 并取得一定效果, 例如文獻(xiàn)[3]利用HOG (Histogram Of Gradient, 方向梯度直方圖)特征進(jìn)行視頻篡改檢測(cè), 該特征能較好的檢測(cè)幀內(nèi)復(fù)制粘貼篡改, 對(duì)某些時(shí)域的篡改也具有一定的檢測(cè)效果, 但不能檢測(cè)旋轉(zhuǎn)、縮放后的粘貼區(qū)域; 文獻(xiàn)[4,5]利用視頻被篡改后需經(jīng)過(guò)二次壓縮這一原理, 檢測(cè)二次壓縮的痕跡以判斷視頻是否經(jīng)過(guò)篡改, 這種方法在一定壓縮率下是魯棒的; 文獻(xiàn)[6]通過(guò)篡改區(qū)域周圍的紋理特征來(lái)檢測(cè)篡改; 文獻(xiàn)[7]總結(jié)了利用噪聲檢測(cè)視頻篡改的方法; 文獻(xiàn)[8,9]通過(guò)提取SIFT (Scale Invariant Feature Transform, 尺度不變特征變換)特征來(lái)檢測(cè)篡改, 也取得了一定的效果.

SIFT算法作為一種提取特征點(diǎn)與特征向量的經(jīng)典方法, 已被廣泛應(yīng)用于圖像、視頻處理的各個(gè)領(lǐng)域中,尤其在圖像篡改檢測(cè)領(lǐng)域, 檢測(cè)效果比較理想[10,11]. 然而在視頻篡改檢測(cè)領(lǐng)域中, 由于提取SIFT特征點(diǎn)較復(fù)雜, 造成檢測(cè)的效率不高, 并且灰度化造成的信息損失使得匹配時(shí)存在一定的誤匹配比率, 降低了檢測(cè)準(zhǔn)確率. 因此本文利用一種彩色信息的尺度不變特征更精確地定位特征點(diǎn), 在更加精確地檢測(cè)篡改位置的同時(shí),大大降低了視頻篡改檢測(cè)的時(shí)間復(fù)雜度. 傳統(tǒng)的SIFT主要提取步驟是: 首先灰度化圖片, 在尺度空間上檢測(cè)極值點(diǎn), 然后選擇穩(wěn)定的特征點(diǎn)并精確定位; 接著為特征點(diǎn)分配方向值; 最后生成特征描述子. 因?yàn)樵赟ITF方法第一步中, 對(duì)圖片進(jìn)行了灰度化處理, 所以特征點(diǎn)損失了一部分的彩色信息, 增大了誤匹配概率. 故本文引用一種結(jié)合彩色信息與SIFT方法的特征點(diǎn)提取方法——CSIFT[12](基于彩色不變量信息的尺度不變特征變換, a SIFT descriptor with color invariant characteristics),將彩色信息與SIFT方法相結(jié)合, 更精確地提取特征點(diǎn)與特征向量, 減少誤匹配點(diǎn)對(duì)的數(shù)量, 并結(jié)合結(jié)構(gòu)相似度與目標(biāo)追蹤等方法, 提高了視頻檢測(cè)的效率, 優(yōu)化了檢測(cè)的效果. 較文獻(xiàn)[3,8]等中的方法, 檢測(cè)速率更快,準(zhǔn)確性更高.

1 CSIFT

現(xiàn)在多數(shù)特征提取的算法都是先將彩色圖像轉(zhuǎn)化為灰度圖像后再進(jìn)行配準(zhǔn), 色彩信息的丟失可能會(huì)引起誤匹配[13], 比如某些對(duì)象之間灰度分布相似, 但顏色分量不同, 如果僅用SIFT特征可能就會(huì)造成誤匹配.文獻(xiàn)[12]提出的CSIFT顏色不變量特征, 正好彌補(bǔ)了這一缺陷.

1.1 光反射模型

CSIFT用到的顏色不變量模型是Geusebroek基于文獻(xiàn)[15]和[16]中傳統(tǒng)的Kubelka-Munk理論建立的,該理論描述了物體的光譜輻射特性, 其模型稱為光反射模型, 可以表達(dá)成下式:

1.2 CSIFT顏色不變量特征

這里H是不依賴于點(diǎn)位置、反射面朝向、光照方向、光強(qiáng)大小以及菲涅耳反射系數(shù)的一種反射屬性,也是顏色不變量的一種表達(dá)形式.

通過(guò)以上公式計(jì)算得到顏色不變量H后, 將H代替原始SIFT算法中的灰度圖像函數(shù)I(x, y), 進(jìn)行尺度空間極值檢測(cè). 值得注意的是, 原始SIFT算法中根據(jù)σ的值計(jì)算出高斯模板矩陣的大小, 這里σ值越大則卷積的模板就越大, 模板越大與原圖像做卷積時(shí)耗費(fèi)的時(shí)間就越多, 故本文實(shí)驗(yàn)部分設(shè)置的σ值與文獻(xiàn)[17]中設(shè)置的SIFT算法中的σ值保持一致, 以保證顏色不變量與SIFT的效率對(duì)比更客觀, 不受σ參數(shù)的影響.

CSIFT是基于彩色圖像的顏色不變量信息的尺度不變特征變換的一種圖像特征點(diǎn)提取和匹配方法. 與SIFT相比, 改進(jìn)的CSIFT方法選用顏色不變量代替圖像的灰度值進(jìn)行計(jì)算, 算法復(fù)雜度并沒(méi)有很明顯的增加. 灰度值的計(jì)算公式如下所示:

而顏色不變量的計(jì)算方法如公式(5)所示, 通過(guò)比較可見(jiàn), 增加的計(jì)算量是線性的, 幾乎可以忽略不計(jì). 但基于彩色圖像的顏色不變量信息的尺度不變特征變換卻減少了由于特征灰度化造成的彩色信息丟失而引起的特征點(diǎn)誤匹配現(xiàn)象.

2 基于CSIFT的視頻復(fù)制粘貼篡改檢測(cè)

本文的檢測(cè)算法利用上述顏色不變量信息的尺度不變特征, 同時(shí)結(jié)合K-means聚類方法和目標(biāo)追蹤的方法檢測(cè)復(fù)制粘貼篡改行為. 算法主要步驟如圖1算法框圖和圖2算法具體流程圖所示, 首先通過(guò)比較相鄰和相近幀之間的結(jié)構(gòu)相似度, 將視頻分段, 相似度高的相鄰幀分為同一段, 然后提取每段的第一幀作為關(guān)鍵幀; 接著對(duì)關(guān)鍵幀提取該幀CSIFT特征點(diǎn), 并匹配特征點(diǎn); 然后通過(guò)匹配的特征點(diǎn)對(duì)定位復(fù)制粘貼區(qū)域; 最后利用目標(biāo)跟蹤算法在后續(xù)幀中追蹤篡改區(qū)域, 提高算法效率.

2.1 提取關(guān)鍵幀

算法第一步, 將待檢測(cè)視頻轉(zhuǎn)換為幀序列, 比較相鄰和相近幀之間的結(jié)構(gòu)相似度, 相似度高且連續(xù)的幀序列作為一個(gè)視頻分段, 提取每一分段的第一幀作為關(guān)鍵幀, 對(duì)關(guān)鍵幀進(jìn)行進(jìn)一步的檢測(cè).

圖1 本文算法框架

在這一步驟中使用的分段策略是比較幀間的結(jié)構(gòu)相似度(Structural SIMilarity, SSIM)[18], 這是一種經(jīng)典的衡量?jī)煞鶊D像相似度的指標(biāo), 于2004年由德州大學(xué)奧斯丁分校的圖像和視頻工程實(shí)驗(yàn)室提出, 提取SSIM的計(jì)算圖像x和圖像y的SSIM系數(shù), 主要分為三個(gè)部分: 亮度比較函數(shù)l(x,y)的計(jì)算, 對(duì)比度比較函數(shù)c(x,y)的計(jì)算, 以及結(jié)構(gòu)比較函數(shù)s(x,y)的計(jì)算.SSIM計(jì)算公式由以上三個(gè)部分合并組成, 如下式:

其中,

μx、σx分別表示圖像 x 的均值和方差, μy、σy分別表示圖像y的均值和方差, σxy則表示兩幅圖像x與y的協(xié)方差. C1、C2、C3都取非常小的數(shù)值, 目的是為了防止發(fā)生分母為0的情況.是用來(lái)調(diào)整三個(gè)分量l(x,y)、c(x,y)和s(x,y)的比重. 為使計(jì)算更簡(jiǎn)單, Wang等人[18]將都設(shè)為1, 另外設(shè)置C3=C2/2, 于是得到一個(gè)特殊的SSIM系數(shù)計(jì)算公式:

圖2 算法流程圖

SSIM的值在0到1之間分布, 越接近1表示越相似, 越接近0表示越不相似. 在實(shí)際應(yīng)用中, 將兩幅圖像分別都分割成若干個(gè)11×11像素大小的分塊, 總共分成N塊, i是塊號(hào)(i=1～N), 分別計(jì)算兩幅圖像對(duì)應(yīng)位置的兩個(gè)塊的SSIM系數(shù), 最后取平均SSIM系數(shù):

通過(guò)上述介紹的SSIM指標(biāo)對(duì)原始視頻序列進(jìn)行分段: 從視頻第一幀開(kāi)始, 將當(dāng)前幀F(xiàn)與其后續(xù)每一幀計(jì)算SSIM值, 當(dāng)?shù)贔幀與當(dāng)前幀的SSIM值大于閾值T1時(shí), 當(dāng)前幀被判定為與F幀同一個(gè)視頻分段; 當(dāng)小于T1時(shí), 當(dāng)前幀的前一幀被判定為該視頻分段的結(jié)尾,當(dāng)前幀則設(shè)定為下一個(gè)視頻分段的開(kāi)始. 這里設(shè)定每個(gè)分段長(zhǎng)度不超過(guò)24幀, 如圖2算法流程如所示, 當(dāng)分段長(zhǎng)度n≥24時(shí), 不論SSIM值的大小, 該分段結(jié)束.

2.2 利用CSIFT檢測(cè)復(fù)制粘貼篡改行為

對(duì)關(guān)鍵幀進(jìn)行檢測(cè). 首先提取關(guān)鍵幀F(xiàn)的CSIFT特征點(diǎn)以及特征向量, 然后進(jìn)行特征點(diǎn)匹配. 在同一關(guān)鍵幀內(nèi), 匹配上的點(diǎn)對(duì)少于閾值T2對(duì), 則認(rèn)為該幀未經(jīng)過(guò)幀內(nèi)復(fù)制粘貼篡改, 該關(guān)鍵幀代表的分段都未被篡改, 然后對(duì)下一個(gè)分段的關(guān)鍵幀進(jìn)行檢測(cè), 直到整個(gè)視頻結(jié)束; 如果匹配點(diǎn)對(duì)大于等于T2對(duì), 則認(rèn)定該幀被篡改過(guò), 進(jìn)行下一步篡改區(qū)域定位.

2.3 K-means聚類定位復(fù)制粘貼區(qū)域

對(duì)被判定為篡改幀中的特征點(diǎn)進(jìn)行K-means聚類, 分類結(jié)果為兩個(gè)簇, 這兩個(gè)簇分別代表復(fù)制粘貼篡改的源區(qū)域和目標(biāo)區(qū)域. 聚類時(shí)隨機(jī)選擇一對(duì)已經(jīng)匹配的特征點(diǎn)對(duì)作為初始中心, 進(jìn)行聚類. 雖然K-means聚類方法對(duì)初始值較為敏感, 但是本文算法在聚類前對(duì)特征點(diǎn)進(jìn)行了匹配, 且本文所用CSIFT方法較其它方法更為合理準(zhǔn)確, 其誤匹配的點(diǎn)對(duì)比率很小. 故本文選擇已匹配的特征點(diǎn)對(duì)作為初始中心.

K-means是一種經(jīng)典、快速的聚類算法, 使用該方法能進(jìn)一步提高檢測(cè)的整體時(shí)間效率.

2.4 追蹤篡改區(qū)域

本文使用RCT (Real-time Compressive Tracking,實(shí)時(shí)壓縮追蹤)方法分別對(duì)源區(qū)域和篡改區(qū)域進(jìn)行學(xué)習(xí), 并追蹤這兩個(gè)區(qū)域在視頻后續(xù)幀中的位置. 因RCT是一種單目標(biāo)跟蹤算法, 故我們需要對(duì)發(fā)現(xiàn)篡改區(qū)域的首幀中聚類產(chǎn)生的兩個(gè)簇——代表源區(qū)域和復(fù)制粘貼區(qū)域的兩個(gè)簇分別進(jìn)行追蹤. 首先做一個(gè)包含簇中所有元素的外接矩形框, 該矩形框即為追蹤窗口或目標(biāo)區(qū)域. RCT算法會(huì)對(duì)該目標(biāo)(正樣本)以及背景(負(fù)樣本)分別進(jìn)行學(xué)習(xí)并建立針對(duì)該幀的分類器. 然后通過(guò)該分類器對(duì)后一幀進(jìn)行分類, 找出目標(biāo)區(qū)域. 接著對(duì)這后一幀也進(jìn)行類似的學(xué)習(xí)和建模, 利用新的分類器找出其后一幀的目標(biāo)區(qū)域位置, 循環(huán)這一操作直至該目標(biāo)消失或視頻結(jié)束.

外接矩形框的大小根據(jù)簇的大小和簇中特征點(diǎn)所在高斯金字塔的層共同決定, 方法如下:步驟一. 先對(duì)該簇作一個(gè)包含簇中所有特征點(diǎn)的最小矩形框, 如圖3中的矩形框ABCD. 中矩形框內(nèi)的若干點(diǎn)代表特征點(diǎn), 矩形EFGH代表作為初始目標(biāo)的外接矩形框, IJ代表矩形ABCD的四條邊到矩形EFGH的四條邊的距離.

圖3 外接矩形框EFGH

步驟二. 對(duì)最小外接矩形框ABCD進(jìn)行向外擴(kuò)張,擴(kuò)張距離IJ的長(zhǎng)度由該簇中特征點(diǎn)處于高斯金字塔的第幾個(gè)octave決定, 如圖4所示, 如果P和Q是匹配的特征點(diǎn), 且他們處于高斯金字塔的不同octave, 如果Q處于自上往下第n個(gè)octave, 則Q所在簇的IJ的長(zhǎng)度設(shè)置為:

圖4 特征點(diǎn)所處不同的octave

本文實(shí)驗(yàn)中, 根據(jù)高斯金字塔的octave數(shù), 我們?cè)O(shè)置M為64,Lenth_IJ取值在4至64這一范圍. 外接矩形框EFGH即為RCT的初始輸入, 用于后續(xù)跟蹤.

RCT是一種壓縮追蹤算法, 實(shí)時(shí)性好, 適合應(yīng)用于視頻檢測(cè), 提高了算法整體的運(yùn)行速率; 另一方面,RCT也是魯棒性較高的一種算法, 能抵抗縮放、模糊、抖動(dòng)、遮擋等多種干擾因素.

RCT是一種壓縮追蹤算法, 實(shí)時(shí)性好, 適合應(yīng)用于視頻檢測(cè), 提高了算法整體的運(yùn)行速率; 另一方面,RCT也是魯棒性較高的一種算法, 能抵抗縮放、模糊、抖動(dòng)、遮擋等多種干擾因素.

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)環(huán)境及本文方法實(shí)驗(yàn)結(jié)果

本次實(shí)驗(yàn)的視頻來(lái)源于SULFA (Surrey University Library for Forensic Analysis)數(shù)據(jù)庫(kù)和其他網(wǎng)絡(luò)下載,以及部分用Canon EOS 6D相機(jī)拍攝的視頻, 視頻篡改的軟件為Adobe Photoshop CS3和Imagineer Systems Mokey V4.1.4. 進(jìn)行篡改檢測(cè)的軟件環(huán)境: Matlab 2013;硬件環(huán)境: 奔騰E6600的CPU, 3 G內(nèi)存, Windows 7操作系統(tǒng). 實(shí)驗(yàn)檢測(cè)視頻數(shù)量為12個(gè), 總共分為4種類型的篡改: 1) 復(fù)制區(qū)域?yàn)殪o止區(qū)域; 2) 復(fù)制區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域; 3) 復(fù)制區(qū)域進(jìn)行縮放操作; 4) 復(fù)制區(qū)域進(jìn)行了變形扭曲. 針對(duì)以上4種類型的篡改, 本文算法的部分實(shí)驗(yàn)結(jié)果如以圖5至8所示, 其中紅色方形框與紅色方形區(qū)域代表復(fù)制粘貼的源區(qū)域與篡改區(qū)域.

(1) 復(fù)制區(qū)域?yàn)殪o止區(qū)域

圖5 復(fù)制區(qū)域?yàn)殪o止區(qū)域的視頻的檢測(cè)結(jié)果

(2) 復(fù)制區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域

圖6 復(fù)制區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域的視頻的檢測(cè)結(jié)果

(3)復(fù)制區(qū)域進(jìn)行縮放

圖7 復(fù)制區(qū)域進(jìn)行了縮放操作的視頻的檢測(cè)結(jié)果

圖8 復(fù)制區(qū)域進(jìn)行變形扭曲的視頻的檢測(cè)結(jié)果

通過(guò)上述實(shí)驗(yàn)可以看出本文算法具有一定的魯棒性, 對(duì)復(fù)制粘貼區(qū)域?yàn)殪o止和運(yùn)動(dòng)的情況都有很好的檢測(cè)效果, 并且也能較好的檢測(cè)出復(fù)制區(qū)域進(jìn)行了縮放以及變形扭曲的篡改視頻. 根據(jù)本文實(shí)驗(yàn), 設(shè)定閾值T1=0.97,T2=5.

3.2 CSIFT與SIFT特征提取比較

圖9和圖10分別為CSIFT和SIFT方法在Video1的第267幀上提取和匹配特征點(diǎn)時(shí)的效果圖, 可以看出SIFT方法存在一定的誤匹配點(diǎn)對(duì), 而CSIFT方法更準(zhǔn)確.

3.3 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果如表1和表2所示, 表1為檢測(cè)的準(zhǔn)確率和召回率對(duì)比, 表2為算法檢測(cè)總時(shí)間的對(duì)比. 因文獻(xiàn)[3,19]不能檢測(cè)復(fù)制粘貼區(qū)域旋轉(zhuǎn)縮放等情況, 故本文與文獻(xiàn)[3,19]的比較只針對(duì)于復(fù)制粘貼區(qū)域完全相同的視頻. 表2中“/”代表該方法不能檢測(cè)對(duì)應(yīng)的篡改視頻, 故沒(méi)有檢測(cè)時(shí)間; 表1中的準(zhǔn)確率和召回率也只計(jì)算了檢測(cè)復(fù)制粘貼區(qū)域完全相同的篡改視頻所得到的實(shí)驗(yàn)結(jié)果. Video1–Video8為進(jìn)行了復(fù)制粘貼篡改的視頻, Video9–Video12為未被篡改的視頻.

圖9 特征點(diǎn)匹配(CSIFT)

圖10 特征點(diǎn)匹配(SIFT)

為了評(píng)估算法性能, 本文使用準(zhǔn)確率和召回率對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析, 準(zhǔn)確率Precision, 召回率Recall定義如下:

其中,Nc為正確檢測(cè)出復(fù)制粘貼篡改行為的幀數(shù),Nf為錯(cuò)誤檢測(cè)的幀數(shù), 即原始幀被檢測(cè)為篡改幀的數(shù)目,Nm為誤認(rèn)為是原始幀的篡改幀數(shù), 即漏檢的幀數(shù).

通過(guò)分析表2可以得出結(jié)論, 本文與文獻(xiàn)[6]算法因先提取了視頻的關(guān)鍵幀, 并僅對(duì)關(guān)鍵幀進(jìn)行了檢測(cè),故在時(shí)間效率上具有一定優(yōu)勢(shì), 大大提高了效率. 而文獻(xiàn)[19]的方法由于對(duì)篡改視頻幀視頻進(jìn)行了16×16重疊分塊, 并兩兩比較, 故計(jì)算量最大、速度最慢, 而當(dāng)待測(cè)視頻被判定為原始視頻時(shí)無(wú)需分塊比較, 故速度較快, 甚至在部分實(shí)驗(yàn)如檢測(cè)Video12時(shí)檢測(cè)速度超過(guò)了本文與文獻(xiàn)[8]. 另外在準(zhǔn)確率和召回率方面, 本文表現(xiàn)較好, 文獻(xiàn)[3]雖然在召回率上略高于本文算法, 但該方法僅針對(duì)沒(méi)有旋轉(zhuǎn)和縮放造作的復(fù)制粘貼篡改視頻, 所以總體上看, 本文算法檢測(cè)效果最佳.

表1 本文算法與其它文獻(xiàn)的準(zhǔn)確率和召回率對(duì)比(單位: %)

表2 本文算法與其它文獻(xiàn)算法的單幀平均運(yùn)行時(shí)間對(duì)比

4 結(jié)束語(yǔ)

本文算法使用了保留圖像顏色信息的CSIFT特征提取方法, 算法首先通過(guò)比較結(jié)構(gòu)相似度將視頻分段并提取每段第一幀為關(guān)鍵幀; 然后提取關(guān)鍵幀的CSIFT特征點(diǎn)并匹配點(diǎn)對(duì); 匹配點(diǎn)對(duì)數(shù)目大于閾值的關(guān)鍵幀判定為被篡改幀, 最后定位篡改幀中的復(fù)制粘貼區(qū)域, 并利用RCT目標(biāo)跟蹤算法跟蹤篡改區(qū)域在關(guān)鍵幀后續(xù)的其它幀上的位置. 通過(guò)實(shí)驗(yàn)結(jié)果可以看出,算法具有一定的魯棒性, 能夠檢測(cè)經(jīng)過(guò)了旋轉(zhuǎn)、縮放、變形等后續(xù)操作的復(fù)制粘貼區(qū)域. CSIFT特征提取方法, 與傳統(tǒng)算法相比速度更快, 準(zhǔn)確性更高. 再結(jié)合目標(biāo)追蹤算法, 不需要每一幀都提取CSIFT特征并定位篡改區(qū)域, 進(jìn)一步提高了檢測(cè)效率.