基于本底噪聲馬爾科夫轉(zhuǎn)移矩陣法的視頻連續(xù)性檢驗(yàn)

栗赫遙 包 清 鄧 南

（1 上海公安學(xué)院治安系 上海 200137；2 上海市公安局刑事偵查總隊(duì) 上海 200083；3 上海理工大學(xué)光電信息和工程學(xué)院 上海 200093）

1 引言

隨著數(shù)字化攝錄設(shè)備的普及，視聽資料在各種案件中出現(xiàn)的頻率不斷上升。相對(duì)保守的法庭科學(xué)，在一定的條件下把新興的數(shù)字化的數(shù)據(jù)逐漸納入到線索和證據(jù)之中[1-2]。由于數(shù)字化的視聽資料具有易于修改和難以留痕的特點(diǎn)，經(jīng)編輯的視聽資料作為線索或是證據(jù)存在瑕疵。目前，數(shù)字化視聽資料的檢驗(yàn)主要集中在單張圖片的檢驗(yàn)[3-4]，通過檢驗(yàn)單張圖片的原始性來評(píng)判圖片是否經(jīng)過編輯，據(jù)此判斷圖片是否可以被采信[5]。其中利用背景噪聲檢驗(yàn)方法主要有張弛等人提出的通過邊緣算子提取邊緣后比較內(nèi)外的噪聲差異[6]，劉麗娟等人提出的圖像分割后基于偏度統(tǒng)計(jì)的噪聲識(shí)別方法，識(shí)別出異常噪聲區(qū)域以達(dá)到檢驗(yàn)拼接區(qū)域的目的[7]，盧燕飛等人提出了基于估計(jì)信道信噪比高階統(tǒng)計(jì)量分割圖像檢驗(yàn)異常區(qū)域的方法[8]，張暉等人提出了利用噪聲的高階統(tǒng)計(jì)特征檢驗(yàn)圖片是否拼接形成[9]。上述方法均是通過背景噪聲的統(tǒng)計(jì)性參數(shù)，檢驗(yàn)單張圖像的原始性。

根據(jù)中華人民共和國公安部在2014年頒布的標(biāo)準(zhǔn)，法庭科學(xué)中視聽資料連續(xù)性檢驗(yàn)鑒定規(guī)范（GA/T 1199-2014）將視頻資料連續(xù)性檢驗(yàn)分成了兩個(gè)部分，即客觀評(píng)價(jià)體系和主觀評(píng)價(jià)體系?？陀^評(píng)價(jià)體系包括藍(lán)屏/黑屏的有無；場景分辨率是否變化；鏡頭切換的有無；畫面重復(fù)的有無；關(guān)鍵幀信息是否一致。主觀評(píng)價(jià)體系包括景深關(guān)系是否合理；畫面噪聲分布是否合理；畫面質(zhì)量是否一致；目標(biāo)運(yùn)動(dòng)是否合理；內(nèi)容變化是否合理；壓縮程度是否合理。

參照公安部標(biāo)準(zhǔn)，視頻資料連續(xù)性檢驗(yàn)的客觀標(biāo)準(zhǔn)易被剪輯者規(guī)避，檢驗(yàn)主要依賴檢驗(yàn)人員的經(jīng)驗(yàn)和細(xì)致。有的學(xué)者也提出了一些相對(duì)客觀的檢驗(yàn)方法與標(biāo)準(zhǔn)，如Qi Wang等人提出了使用支持向量機(jī)通過灰度值的相關(guān)系數(shù)衡量幀間的穩(wěn)定性[10]，Lu Zheng等人提出了利用亮度比值的連續(xù)性衡量幀間的連續(xù)性[11]，但上述方法適用范圍小，效果并不顯著。視頻中的本底噪聲作為十萬甚至是百萬的數(shù)量級(jí)的感光元件的耦合作用結(jié)果，是在錄制過程中無法避免的。聲學(xué)角度的本底噪聲高斯模型已發(fā)展成熟[12]，利用本底噪聲之間在特征上的差異可建立起聲音環(huán)境識(shí)別[13]。依據(jù)現(xiàn)有刑事技術(shù)學(xué)的理論，視頻中的本底噪聲被認(rèn)為是有自身連續(xù)性的[14]，從理論上說利用本底噪聲檢驗(yàn)視頻的連續(xù)性是可行的，但客觀、定量的連續(xù)性檢驗(yàn)尚無成熟的方法。

本文提出了一種通過濾波提取視頻中本底噪聲后，計(jì)算幀間轉(zhuǎn)移矩陣距離差值的算法，能夠客觀、數(shù)值化地衡量本底噪聲的差異。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)原理

馬爾科夫過程指的是一個(gè)系統(tǒng)狀態(tài)轉(zhuǎn)化過程中第n次轉(zhuǎn)換的狀態(tài)決定于前一次，即第n-1次的狀態(tài)結(jié)果。對(duì)于一段連續(xù)錄制的錄像，假設(shè)錄制的是一段靜穩(wěn)場景，那么任意t時(shí)刻第k幀視頻中的本底噪聲，是由第k-1幀時(shí)的噪聲經(jīng)過衰減再疊加過程中產(chǎn)生的隨機(jī)噪聲而得到的，t時(shí)刻第k幀視頻中本底噪聲與第k-1幀時(shí)的噪聲存在一定的相關(guān)性。視頻中本底噪聲大量存在，所以將本底噪聲的轉(zhuǎn)移過程建立成矩陣后，在統(tǒng)計(jì)上存在穩(wěn)定性。當(dāng)視頻經(jīng)過剪輯后，雖然場景沒有變化但本底噪聲轉(zhuǎn)移矩陣之間的連續(xù)性遭到破壞，通過檢驗(yàn)轉(zhuǎn)移矩陣之間的連續(xù)性判斷視頻是否經(jīng)過剪輯。

檢驗(yàn)主要包括兩個(gè)部分，第一部分是本底噪聲的提取，采用梯度算法得到圖像的梯度分布強(qiáng)度后利用濾波得到圖像中的本底噪聲，將提取出的本底噪聲與周圍小鄰域的均值做差，即可以得到該點(diǎn)處本底噪聲的強(qiáng)度；第二部分是轉(zhuǎn)移矩陣的建立和矩陣間距離的計(jì)算，將相同一點(diǎn)(x,y)第k-1幀和第k幀的本底噪聲強(qiáng)度進(jìn)行統(tǒng)計(jì)建立轉(zhuǎn)移矩陣，用兩個(gè)矩陣之間的歐式距離衡量轉(zhuǎn)移矩陣之間的相似性。

2.2 實(shí)驗(yàn)過程

使用型號(hào)為PMW-EX1的錄像機(jī)開機(jī)5min后，錄制一段時(shí)長為40s的視頻，原始視頻中有人員進(jìn)入和離開的場景，使用專門的視頻編輯軟件對(duì)視頻進(jìn)行剪輯，把反映人員活動(dòng)的幀剪輯掉，再將視頻拼接起來，經(jīng)肉眼觀察剪輯后的整段視頻均未發(fā)現(xiàn)明顯異常。視頻的剪輯點(diǎn)位于視頻的24.8s處，即第620幀（每秒25幀）處，視頻中被剪輯前有人員進(jìn)出的場景和被剪輯拼接后的場景，如圖1所示。按照傳統(tǒng)方法對(duì)視頻進(jìn)行檢驗(yàn)，由于無法發(fā)現(xiàn)剪輯痕跡，該視頻將被認(rèn)定為未經(jīng)處理的原始視頻。

2.2.1 本底噪聲的提取

本次實(shí)驗(yàn)對(duì)于本底噪聲的提取主要是基于梯度算法。記P（i，j）為點(diǎn)（i，j）處的灰度值，記T（i，j）=max（（P（i，j）－P（i，j-1）），（P（i，j）－P（i-1，j）））為點(diǎn)（i，j）處的梯度強(qiáng)度值。將原始圖像轉(zhuǎn)化為灰度圖像后使用梯度算法得到梯度強(qiáng)度分布圖像，如圖2所示。

圖2 梯度強(qiáng)度分布示例圖

相對(duì)于本底噪聲，圖像2中物體的輪廓與邊緣有兩個(gè)特點(diǎn)：①圖像中物體的輪廓與邊緣的梯度強(qiáng)度遠(yuǎn)大于本底噪聲；②圖像中物體的輪廓與邊緣相對(duì)于分布雜亂無章的本底噪聲，在一個(gè)局部小鄰域內(nèi)容易呈現(xiàn)出比較明顯的線性特征。利用上述兩個(gè)特點(diǎn)對(duì)圖像進(jìn)行濾波，即可得到去除物體輪廓與邊緣的灰度圖像，如圖3所示。

圖3 去輪廓灰度示例圖

圖像3中，當(dāng)提取點(diǎn)滿足去輪廓條件，即提取點(diǎn)不屬于輪廓，并且在包含提取點(diǎn)的3*3的鄰域內(nèi)不屬于輪廓點(diǎn)的計(jì)數(shù)大于4，則計(jì)算該點(diǎn)的本底噪聲強(qiáng)度，并記錄下該點(diǎn)的本底噪聲強(qiáng)度Ixy，坐標(biāo)位置(x，y)于集合D。Ixy=I-(Σ(Ic)/n)，其中，Ixy為計(jì)算后所提取出點(diǎn)的本底噪聲強(qiáng)度，I為所提取出點(diǎn)的梯度強(qiáng)度值，Σ(Ic)為所提取出點(diǎn)的3*3鄰域內(nèi)不屬于輪廓點(diǎn)的梯度強(qiáng)度值的和，n為所提取出點(diǎn)的3*3鄰域內(nèi)不屬于輪廓點(diǎn)的計(jì)數(shù)，得到本底噪聲強(qiáng)度分布，如圖4所示。

圖4 本底噪聲強(qiáng)度分布色階示例圖

2.2.2 轉(zhuǎn)移矩陣的提取與計(jì)算

對(duì)于單張本底噪聲圖片，提取每一個(gè)已經(jīng)計(jì)算得到的本底噪聲點(diǎn)的噪聲強(qiáng)度I，坐標(biāo)位置(x，y)，即可得到灰度分布。利用兩張本底噪聲圖片，即可求得本底噪聲轉(zhuǎn)移矩陣。Cij=Nij/Ni，其中Cij為轉(zhuǎn)移矩陣第i行j列的元素值，Nij為噪聲強(qiáng)度由i變化到j(luò)的總點(diǎn)數(shù)，Ni為噪聲強(qiáng)度為i的總點(diǎn)數(shù)。使用該方法即可得到本底噪聲的轉(zhuǎn)移矩陣，如圖5所示。

圖5 轉(zhuǎn)移矩陣結(jié)果示例圖

在獲得本底噪聲轉(zhuǎn)移矩陣的基礎(chǔ)上，繼續(xù)計(jì)算轉(zhuǎn)移矩陣間的距離來衡量兩個(gè)轉(zhuǎn)移矩陣之間的相似性其中 為轉(zhuǎn)移矩陣距離，Aij為第k幀的轉(zhuǎn)移矩陣的第i行j列的元素值，Bij為第k-1幀的轉(zhuǎn)移矩陣的第i行j列的元素值，越大時(shí)相似性越低，反之則越高。

經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)轉(zhuǎn)移矩陣的維度并不是恒定的，而是會(huì)隨著時(shí)間的改變而發(fā)生變化，如圖6所示。

圖6 維度分布統(tǒng)計(jì)圖

相同數(shù)值的轉(zhuǎn)移矩陣距離的結(jié)果，在不同的維度下的偏差程度是不同的，所以需要對(duì)結(jié)果進(jìn)行歸一化消除。對(duì)于一個(gè)n階的轉(zhuǎn)移矩陣方陣假定后續(xù)幀完全由前序幀決定和后續(xù)幀完全隨機(jī)的兩種極限情況下，對(duì)應(yīng)的極限轉(zhuǎn)移矩陣分別為單位矩陣和每個(gè)元素均為1/n的n階矩陣，將這兩種極限情況歸一化需要把矩陣乘以一個(gè)調(diào)節(jié)系數(shù)因?yàn)閺膶?shí)驗(yàn)結(jié)果來看n的值較大，所以可以把歸一化結(jié)果近似地看成乘以一個(gè)調(diào)節(jié)系數(shù)

3 結(jié)果

按照上文實(shí)驗(yàn)過程中的步驟，調(diào)整后的轉(zhuǎn)移矩陣距離的變化值，如圖7所示，圖中黑色箭頭為視頻中的剪輯點(diǎn)處。剪輯點(diǎn)附近鄰域的結(jié)果數(shù)值，如圖8所示（依次為618-622幀結(jié)果）。

圖7 轉(zhuǎn)移矩陣距離結(jié)果

圖8 剪輯點(diǎn)附近鄰域處轉(zhuǎn)移矩陣距離結(jié)果

4 討論與分析

根據(jù)噪聲提取結(jié)果，梯度方法提取圖像中的本底噪聲時(shí)，結(jié)合去輪廓濾波，能夠在保留圖像中穩(wěn)定區(qū)域提取到大量本底噪聲的同時(shí)，消除掉圖像中輪廓和邊緣的干擾，完全與預(yù)期相吻合。

模擬實(shí)驗(yàn)轉(zhuǎn)移矩陣距離結(jié)果的數(shù)值約為0.45，明顯高于絕大多數(shù)連續(xù)幀之間計(jì)算的結(jié)果（超過了99%），在1000幀中排到了第3高位，在這個(gè)高點(diǎn)，之后又出現(xiàn)了一個(gè)約為0.36高點(diǎn)，連續(xù)兩個(gè)高點(diǎn)是剪輯視頻的特異性特征，與理論分析相匹配。大量的連續(xù)幀之間的計(jì)算結(jié)果集中在[0.1-0.2]之間，與非連續(xù)幀之間計(jì)算的結(jié)果0.45存在著顯著的差異。該結(jié)果還可以使用機(jī)器學(xué)習(xí)的方法進(jìn)行后續(xù)優(yōu)化，因?yàn)樵谟?jì)算轉(zhuǎn)移矩陣距離時(shí)，矩陣中的每個(gè)元素計(jì)算得到的結(jié)果均被賦予了相同的權(quán)重。從實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，部分元素在連續(xù)幀和非連續(xù)幀兩種情況下變化較大，其他元素沒有這樣的性質(zhì)?？梢酝ㄟ^機(jī)器學(xué)習(xí)的方法構(gòu)建了一個(gè)帶有反饋的加權(quán)矩陣，將轉(zhuǎn)移矩陣中不同位置的元素賦予不同的權(quán)重。

5 結(jié)論

本次實(shí)驗(yàn)結(jié)果是在錄制機(jī)器固定不動(dòng)、光照條件相對(duì)穩(wěn)定，畫面中穩(wěn)定區(qū)域較多的情況下獲得的。經(jīng)過實(shí)驗(yàn)的測試與驗(yàn)證，基于本底噪聲馬爾科夫轉(zhuǎn)移矩陣的分析方法，在檢驗(yàn)視頻連續(xù)性與傳統(tǒng)方法相比有著明顯的優(yōu)勢：①能夠使用客觀的計(jì)算結(jié)果，直觀地把整段視頻的疑似剪輯處鎖定到一個(gè)很小的范圍內(nèi)，減少需要人工觀看和檢驗(yàn)的視頻區(qū)間，減少了工作量；②改變視頻連續(xù)性檢驗(yàn)依賴主觀和經(jīng)驗(yàn)，為確定疑似剪輯處提供了客觀、直觀的數(shù)據(jù)支撐。綜上所述，基于本底噪聲馬爾科夫轉(zhuǎn)移矩陣的分析方法，可以作為分析視頻連續(xù)性的一種有效的輔助手段。