多特征決策融合的音頻copy-move篡改檢測與定位

張國富，肖銳，蘇兆品*，廉晨思，岳峰,4

1. 合肥工業(yè)大學計算機與信息學院，合肥 230601; 2. 大數據知識工程教育部重點實驗室(合肥工業(yè)大學)，合肥 230601;3. 智能互聯系統(tǒng)安徽省實驗室(合肥工業(yè)大學)，合肥 230009; 4. 工業(yè)安全應急技術安徽省重點實驗室 (合肥工業(yè)大學), 合肥 230601; 5. 安徽省公安廳物證鑒定管理處，合肥 230000

0 引 言

隨著數字音頻技術的發(fā)展，社交軟件如微信、QQ和米聊等均提供語音和實時語聊功能。這些語音功能不僅可用于日常交流，還經常用于買賣、租賃和借貸等商業(yè)活動(楊鵬 等，2015)。當發(fā)生侵權糾紛時，語音可作為證據在法庭上使用。但是，根據2016年最高人民法院、最高人民檢察院和公安部聯合印發(fā)的《關于辦理刑事案件收集提取和審查判斷電子數據若干問題的規(guī)定》，當電子數據系篡改、偽造或者無法確定真?zhèn)?，或者電子數據有增加、刪除和修改等影響電子數據真實性的情形，電子數據則不得作為定案的根據。因此，音頻真實性鑒別是音頻能否作為法庭證據的一個基本前提，是音頻取證迫切需要解決的一個現實問題。

通常，音頻篡改操作包括對音頻文件進行插入、刪除、復制粘貼和拼接等，以破壞、扭曲或者偽造新的語義，達到斷章取義、掩蓋細節(jié)的目的。其中，copy-move篡改是指將部分語音片段復制并粘貼到同一音頻文件中的其他位置，以改變在原始音頻文件中發(fā)生的事件或對話。這些操作可以通過各種功能強大的音頻編輯軟件輕松實現且很難發(fā)現。與其他音頻篡改類型(如拼接和合成偽造)不同，在copy-move篡改中，音頻源片段和目標片段都來自同一音頻文件。因此，許多基本的特性，例如振幅、頻率、長度、噪聲、音調甚至速度，都可以在偽造片段和音頻文件之間很好地匹配，尤其當偽造片段是持續(xù)時間很短的話語，這大大增加了盲音頻篡改檢測的難度。因此，copy-move篡改檢測是音頻鑒真面臨的一個極具挑戰(zhàn)性的課題，已成為音頻取證領域中的一個研究熱點。

1 相關工作

針對copy-move篡改檢測，當前主流的方法大都基于語音端點檢測(voice activity detection, VAD)技術將音頻文件劃分成若干有聲段和靜音段，然后通過計算所有有聲段或字節(jié)之間的相似性來判斷是否存在copy-move篡改。VAD旨在從復雜語音信號中區(qū)分有聲片段和靜音片段，并確定每個有聲片段的起始位置，是語音檢測、語音識別和語音增強等領域的一種重要技術。VAD通常包括特征提取和判決兩個方面，常用的特征參數有譜熵、短時能量和短時過零率等，判別方法有單/雙門限、統(tǒng)計模型和機器學習等。

Xiao等人(2014)利用快速卷積算法將完整的音頻文件按時間跨度劃分為固定等長的片段，然后計算任意兩個片段之間波形的相似程度。Wang等人(2017)計算每個有聲段的離散余弦變換系數，并采用奇異值分解算法得到奇異向量特征，使用歐氏距離來衡量有聲段的相似性。Imran等人(2017)通過局部二值模式編碼提取每個有聲段的特征，然后將均方誤差(mean square error, MSE)和能量比率結合使用計算相似性。Yan等人(2015)首先使用歸一化低頻能量比(normalized low frequency energy ratio, NLFER)方法區(qū)分靜音段和有聲段，然后提取每個有聲段的YAAPT(yet another algorithm for pitch tracking)特征(Kasi和Zahorian，2002)，最后綜合使用皮爾遜相關系數(Pearson correlation coefficients, PCC)和均方差值(average difference, AD)來衡量有聲段的相似度。

需要指出的是，上述研究雖然能夠發(fā)現音頻文件存在copy-move篡改，但往往很難準確定位到copy-move篡改的具體位置，難以滿足實際司法取證需求。例如，在實際的音頻鑒真中，經常會出現對一個有聲片段內的某一個字或幾個字被復制粘貼。例如，將“我沒做”篡改成“我有做”。在這種情況下，不僅需要確定是否發(fā)生了篡改，還需要準確指出篡改的位置，即哪個字是偽造的。已有研究大都只能檢測出整個有聲片段是否發(fā)生了copy-move篡改，而很難準確指出哪個字是偽造的，即很難準確給出偽造字節(jié)所在的位置。

基于上述背景，本文在充分調研和總結分析已有工作的基礎上，首先利用VAD技術劃分出音頻文件中的每個字節(jié)，從頻域、空間域和時域角度分別提取一種特征。對于音頻文件中的任意兩個字節(jié)，根據每個特征計算一個相似度，然而基于多特征決策融合(multi-feature decision fusion, MFDF)準確定位copy-move篡改位置，最后基于相關數據集(Wang和Zhang，2015)對所提方法進行測試和驗證。

2 基于MFDF的copy-move篡改檢測與定位方法

本文所提的音頻copy-move篡改檢測與定位方法MFDF總體流程如圖1所示。首先利用VAD技術將音頻分為靜音段和有聲段，并進一步對有聲段進行字節(jié)分割，然后提取每個字節(jié)的基音頻率特征、顏色自相關圖特征和短時能量特征。對于音頻文件中任意兩個字節(jié)，利用DTW距離計算其在基音頻率特征上的相似度，利用余弦距離計算其在顏色自相關圖特征上的相似度，利用短時能量和差值計算其在短時能量特征上的相似度，然后基于多特征決策融合確定copy-move篡改的具體位置。

圖1 本文MFDF方法整體框架Fig.1 Block diagram of the proposed MFDF

為了更加清晰地說明圖1所示的copy-move篡改檢測與定位MFDF方法，詳細介紹框架中的一些關鍵步驟。

2.1 預處理

為了盡可能減少噪聲和靜音段的影響，需要將待測音頻文件進行音量標準化、分幀和加窗，并利用基于譜熵法的VAD技術(Jin和Cheng，2010)將音頻劃分為若干有聲段和靜音段。圖2為一段待檢測的音頻，圖3是利用VAD分割的結果?？梢钥吹?，預處理后，可以把整個音頻文件分割成許多的有聲段和靜音段，從而為下一步的字節(jié)分割打下基礎。

圖2 一段待測音頻Fig.2 Waveform of a pending audio recording

圖3 基于VAD預處理后的分割結果Fig.3 Segmentation results from VAD on the audio recording

2.2 字節(jié)分割

為了提高copy-move篡改檢測和定位的準確度，本文基于能熵比方法(Wang和Tasi，2008)進一步對劃分出的有聲段進行字節(jié)分割，以實現每個字節(jié)包含一個完整的漢字。假設對音頻信號分割后的有聲段信號為x，則字節(jié)分割步驟描述如下：

1)首先對x加窗分幀，得到若干幀信號xc(c=1,2,…)，并對每一幀xc進行快速傅里葉變換(fast Fourier transform, FFT)，得到系數Xc，其中含有q條譜線。計算第c幀的短時能量Ec和短時譜熵Hc

(1)

(2)

2)計算第c幀對應的能熵比EEFc，即

(3)

3)將EEFc與閾值L1進行比較。如果任意連續(xù)L2幀的能熵比均滿足EEFc≥L1，則認為L2長度的音頻幀為一個字節(jié)。

經過上述處理后，有聲段信號x可分割為若干個字節(jié){S1,S2,…,Sn}，Si表示第i個語音字節(jié)，1≤i≤n，n為字節(jié)數。圖4和圖5分別為圖2所示音頻的能熵比示意圖和字節(jié)分割結果圖。可以看出，在圖3的有聲段基礎上，基于能熵比方法可以進一步把長時有聲段細分為若干短時字節(jié)。如圖5所示，圖2所給的音頻最終被分割成37個字節(jié)。

圖4 待測音頻的能熵比示意圖Fig.4 Energy to entropy ratio of the audio recording

圖5 待測音頻的字節(jié)分割結果Fig.5 Syllable segmentation results of the audio recording

2.3 多特征提取與相似度計算

為了保證音頻復制粘貼檢測高準確率的同時，進一步降低檢測誤檢率，本文從音頻的頻域、空間域和時域3個域出發(fā)分別提取基音頻率、顏色自相關圖特征和短時能量。在頻域，說話人聲帶振動頻率即為基音頻率，作為音頻頻域具有代表性的特征能有效準確地體現說話人不同字節(jié)的差距。在空間域，語譜圖的出現對語音分析起到了十分關鍵的作用，包含了豐富的語音信息。顏色自相關圖不僅包含了顏色像素在同一幅圖像中所占比例，還包含了空間關系信息。在時域，說話人語音都會攜帶能量，短時能量作為經典的時域特征，已廣泛用于語音信號處理中。本文將這3種不同域的典型特征綜合起來考慮，以期全面感知音頻信號的細微變化。

2.3.1 基音頻率特征

基音頻率是音頻頻域常用特征之一，常用于識別發(fā)音源。對于分割得到的任一字節(jié)Si，對其包含的每一幀Sia(a=1,2,…,ni，ni為Si包含的幀數)提取基音頻率特征(Zahorian和Hu，2008)，具體步驟如下：

1)計算幀Sia的短時自相關函數Ria(v)和平均幅度差函數Dia(v)，即

(4)

(5)

式中，Sia(l)為幀Sia中的每個采樣點，l=1,…,N，N為每幀的幀長，v∈[min,max]為時間延遲量，min、max分別為基音周期的最小和最大閾值。

2)計算幀Sia短時自相關函數和平均幅度差函數的比值Qia(v)，即

(6)

3)在v∈[min,max]區(qū)間內搜索Qia(v)的最大值，將最大值對應的v作為Sia語音幀的基音頻率fia。

按照上述步驟，可以求得任一字節(jié)Si的基音頻率向量Fi=(fi1,fi2,…,fir,…,fini)?；诖耍止?jié)之間的相似性可用DTW距離進行度量。對任一兩個字節(jié)Si和Sj，其DTW距離為

dtw(fir,fjq)=dist(fir,fjq)+min[dtw(fir-1,fjq),
dtw(fir-1,fjq-1),dtw(fir,fjq-1)]

(7)

dist(fir,fjq)=|fir-fjq|

(8)

式中，r=1,2,…,ni，q=1,2,…,nj，nj為Sj包含的幀數。經過以上迭代計算，最終求得的dtw(fini,fjnj)即為兩個字節(jié)Si和Sj之間的DTW距離DTWi,j。

2.3.2 顏色自相關圖特征

以可視化形式反映語音信號頻譜特性的方式，可以觀察語音不同頻段的信號強度隨時間的變化情況，反映了音頻的空間域特征。對于任一字節(jié)Si，本文從其語譜圖中提取顏色自相關圖特征(Huang等，1997)，具體步驟如下：

1)首先生成語音字節(jié)Si的語譜圖Ik。

2)將語譜圖Ik量化成64種顏色，對于任意兩個像素點pU1,V1和pU2,V2(U1、V1、U2、V2為空間坐標)，計算兩者之間的距離

t(pU1,V1,pU2,V2)=|pU1,V1-pU2,V2|=
max{|U1-U2|,|V1-V2|}

(9)

3)假設ωr表示64種顏色中的任意一個顏色，則根據式(10)計算語譜圖Ik的顏色自相關系數δωr，表示顏色均為ωr的兩個像素之間距離為z的概率，即

δωr=Pr[t(pU1,V1,pU2,V2)=z]

(10)

式中，Pr表示求顏色均為ωr的兩個像素之間距離為z的概率運算。顯然，由語譜圖Ik可得到64個顏色的自相關系數，可作為字節(jié)Si的顏色自相關圖特征向量Pi=[δi,1,δi,2,…,δi,64]?；诖?，字節(jié)之間的相似性可采用余弦距離進行度量。對任一兩個字節(jié)Si和Sj，其余弦距離cosi,j計算為

(11)

2.3.3 短時能量特征

語音短時能量指的是一幀時間內的語音能量，是語音信號典型的時域特征，通常作為輔助的特征參數用于語音識別。對于任一字節(jié)Si，首先利用提取其包含的每一幀Sia的短時能量Eia，即

(12)

式中，y(l)為語音幀Sia中第l個采樣點幅值。進一步地，字節(jié)Si的短時能量和Ei為

(13)

基于此，字節(jié)之間的相似性可采用短時能量和的差值進行度量。對任一兩個字節(jié)Si和Sj，其短時能量和的差值Δi,j計算為

Δi,j=Ei-Ej

(14)

2.4 決策融合

為了提高copy-move篡改檢測與定位的準確性，本文基于多特征決策融合(譚等泰 等，2020)設計了一種MFDF方法，主要步驟如下：

1)對于一個待測音頻文件，根據第2.3.1、2.3.2和2.3.3節(jié)的方法計算音頻中任意兩個字節(jié)Si和Sj之間的3種特征的相似度DTWi,j、cosi,j和Δi,j。

2)將計算出的特征相似度分別與其設定的閾值T1、T2和T3進行比較，如果同時滿足DTWi,j≤T1、cosi,j≤T2和Δi,j≤T3，則判定這兩個字節(jié)為copy-move字節(jié)對，并根據字節(jié)位置初步定位出篡改的大致位置；否則，這兩個字節(jié)為非copy-move字節(jié)對。繼續(xù)選擇其他未檢測的兩個字節(jié)進行檢查，直到所有兩兩字節(jié)檢查完畢。

3)對于每一個copy-move字節(jié)對，分別首尾各擴展一幀構成新的兩個字節(jié)，計算新的兩個字節(jié)3個特征的相似度并繼續(xù)與閾值進行比較。

4)如果仍然同時滿足DTWi,j≤T1、cosi,j≤T2和Δi,j≤T3，則轉至步驟3)，直至DTWi,j≤T1、cosi,j≤T2和Δi,j≤T3這3個條件中有一個條件不滿足為止，則此時的兩個字節(jié)位置就是最終的篡改位置。

需要指出的是，本文基于MFDF方法進行copy-move篡改判定，所以在設置閾值時盡可能設置較低的閾值以確保低誤檢率。同時，非copy-move字節(jié)要想滿足MFDF的判定條件十分困難，因為需要3個特征值相似度同時滿足各自的閾值。因此，本文可以將閾值稍微放大一點，預留一定的判斷緩沖空間，而不會影響判定結果。此時，只要兩個字節(jié)其中某個特征值相似度大于所設置的閾值，則直接判定為非copy-move字節(jié)對，這樣處理可以在一定程度上增加MFDF方法對常規(guī)信號處理攻擊的抵抗能力。

3 實驗結果與分析

3.1 數據集與參數設置

采用實驗法, 即結合已有工作并基于數據集通過大量測試獲得結果相對較好的閾值, 這也是目前常用的確定參數的方法。其中，MFDF方法的相似度閾值為T1=50、T2=0.015、T3=5，PF-DTW的閾值為100，DFT-PCC的閾值為0.98，LBP-MSE的閾值為60。

所有方法的代碼均基于MATLAB編寫，并在Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz、RAM 8.0 GB、Windows 7操作系統(tǒng)的個人PC上進行測試。

(15)

(16)

式中，p和r分別為精確率(precision)和召回率(recall)。TP表示正確檢測出來的copy-move篡改音頻數量，FP表示誤檢為copy-move篡改音頻的原始音頻數量，FN表示未檢測出來的copy-move篡改音頻數量。precision又稱查準率，即真正正確地占所有預測為正的比例。recall又稱查全率，即真正正確地占所有實際為正的比例。

采用絕對誤差值來衡量不同方法在copy-move篡改定位上的精準度。

3.2 MFDF的有效性

圖6—圖8分別給出了兩兩不同字節(jié)之間的相似度指標值(即DTW距離、余弦距離、短時能量和差值)的3維Mesh平面視角圖。因為同一對字節(jié)之間的相似度一致，例如字節(jié)1和7之間的相似度與字節(jié)7和1之間的相似度值相同，所以只繪制了上半區(qū)域。其中，圖片下方的橫線指的是設定的相似度閾值，以觀察有多少字節(jié)對之間的相似度在閾值以下。從圖6可以看出，有7對字節(jié)的DTW距離小于閾值50，分別為第2和第10字節(jié)、第2和第36字節(jié)、第4和第36字節(jié)、第6和第13字節(jié)、第10和第35字節(jié)、第15和第27字節(jié)、第22和第37字節(jié)。從圖7可以看出，有28對字節(jié)的余弦距離小于閾值0.015，和DTW結果重疊的只有2對字節(jié)：第15和第27字節(jié)、第22和第37字節(jié)。從圖8可以看出，有13對字節(jié)的短時能量和差值小于閾值5，和DTW結果、余弦距離重疊的只有1對字節(jié)：第22和第37字節(jié)。

圖6 所有字節(jié)對之間的DTW距離Fig.6 DTW distances between each pair of syllables

圖7 所有字節(jié)對之間的余弦距離Fig.7 Cosine distances between each pair of syllables

圖8 所有字節(jié)對之間的短時能量和差值Fig.8 Difference of the short-time energy sum between each pair of syllables

表1給出了MFDF方法在全庫上的消融實驗。從表中可以看出，當只利用單個特征進行篡改檢測，雖然未被檢測出來的樣本數很少，但是檢測的精確率很低，誤檢率太高。當利用兩個特征進行篡改檢測，精確率有所提升，但誤檢率依然很高。當利用MFDF方法(利用3個特征)進行篡改檢測，不僅保持了較高的召回率，而且獲得了較高的精確率，大大降低了誤檢率。

表1 MFDF方法的全庫消融實驗結果Table 1 Ablation experimental results of MFDF /%

3.3 與已有方法的對比

表2給出了4種方法的檢測結果。可以看出，本文MFDF方法在精確率和召回率上均優(yōu)于其他方法，均達到了97%以上，而其他3種方法均在90%以下。具體來說，相比于PF-DTW、DFT-PCC和LBP-MSE，精確率分別提升了約12%、11%和26%，平均提升約16%；召回率分別提升了約26%、28%和33%，平均提升約29%。上述實驗結果表明，本文MFDF方法對copy-move篡改具有更好的檢測效果。

表2 不同方法的copy-move篡改檢測結果Table 2 Experimental results of different methods to copy-move forgery detection /%

為了進一步對比4種方法定位的精準度，從4種方法均檢測正確的篡改音頻中隨機挑取了100條進行分析。首先根據MFDF的定位絕對誤差值將這100條篡改音頻按照升序進行排列，并統(tǒng)計排序后對應音頻序號在PF-DTW、DFT-PCC和LBP-MSE上的定位絕對誤差值。其中，由于PF-DTW和LBP-MSE采用相同的分段方法，因此其定位絕對誤差值相同。圖9給出了4種方法在100條篡改音頻上的定位絕對誤差值。從圖中可以看出，在100條音頻中，MFDF在89條音頻上的定位絕對誤差值均小于等于其他方法。

圖9 不同方法的定位絕對誤差值Fig.9 Absolute error of different methods to copy-move forgery localization

表3給出了4種方法在100條篡改音頻上的定位平均絕對誤差值。從表中可以看出，相比于PF-DTW、LBP-MSE和DFT-PCC，MFDF的定位精準度分別提升約43%、43%和49%，平均提升約45%。上述實驗結果表明，本文MFDF方法在copy-move篡改定位的精準度上要顯著優(yōu)于已有方法，能夠定位到更加精準的copy-move篡改區(qū)域。

表3 不同方法的定位平均絕對誤差值Table 3 Average absolute error of different methods to copy-move forgery localization

3.4 魯棒性分析

在實際的音頻鑒真活動中，音頻篡改操作常常附加一些常規(guī)信號處理攻擊(Su等，2018)，以掩蓋篡改的痕跡，例如，1)加噪：對音頻添加30 dB的高斯白噪聲；2)濾波：對音頻進行中值濾波；3)上采樣：對音頻分別進行頻率18 kHz的上采樣；4)下采樣：對音頻分別進行14 kHz的下采樣；5)MP3壓縮：對音頻進行MP3壓縮，比特率160 kbps，采樣率保持不變。

為了測試4種方法對上述常規(guī)信號處理攻擊的魯棒性，對于1 000條音頻，依次采用一種信號處理進行攻擊，共產生5 000條攻擊音頻。表4和表5分別給出了4種方法在攻擊音頻數據集上的檢測精確率和召回率?？梢钥闯?，經過5種常規(guī)信號處理攻擊后，4種方法的精確率和召回率均有所下降，但本文MFDF方法在精確率和召回率上依然優(yōu)于對比方法，且平均值達到了94%以上，而其他3種方法均在85%以下。具體來說，相比于PF-DTW、DFT-PCC和LBP-MSE，平均精確率提升了約16%，平均召回率提升了約31%。這是因為，本文MFDF方法分別從頻域、空間域和時域3個不同域提取最典型的特征，可以在一定程度上保證單特征的檢測準確率，然后基于多特征決策融合可進一步提高檢測和定位的精準度，并有效降低誤檢率。上述實驗結果表明，本文MFDF方法具有很好的魯棒性，可以更好地適應一些常規(guī)信號處理攻擊。

表4 本文MFDF方法在信號處理攻擊音頻數據集上的檢測精確率Table 4 Detection precision of MFDF on the dataset attacked by common signal processing /%

表5 本文MFDF方法在信號處理攻擊音頻數據集上的檢測召回率Table 5 Detection recall of MFDF on the dataset attacked by common signal processing /%

4 結 論

音頻真實性鑒別是音頻能否作為法庭證據的一個重要前提，是目前音頻取證領域一個亟待解決的問題。其中，copy-move篡改將部分語音片段復制并粘貼到同一音頻文件中的其他位置，由于音頻源片段和目標片段均來自同一音頻文件，給盲音頻篡改檢測帶來了極大挑戰(zhàn)。傳統(tǒng)方法擅長檢測周期較長的有聲分段，而在面向短復制片段時，檢測和定位精度均不夠理想，難以滿足音頻鑒真的實際需求。為此，本文綜合考慮音頻信號的頻域、空間域和時域特性，提取音頻信號的基音頻率特征、顏色自相關圖特征和短時能量特征，并通過全庫消融實驗驗證了多特征相較單特征有著更高的精準率和召回率，誤檢率得到顯著降低。提出一種多特征決策融合(MFDF)的copy-move篡改檢測和定位方法。在清華大學開源中文語料庫上的測試結果表明，本文MFDF方法在檢測的精確率和召回率上，以及定位的精準度上均顯著優(yōu)于已有方法，且對常規(guī)信號處理攻擊具有很好的魯棒性。不過，本文只是針對音頻copy-move篡改檢測和定位研究的一個初步嘗試，在未來仍有許多工作需要深入研究。首先，需要考慮引入更多的特征，以期進一步提升MFDF的檢測性能。其次，還需要考慮一種更加通用的MFDF方法，以便能夠檢測和定位各種音頻篡改操作，拓展MFDF檢測方法的普適性。

致 謝本文對比方法DFT-PCC(Liu和Lu，2017)和PF-DTW(Yan等，2019)的源代碼由中山大學計算機學院盧偉教授和深圳大學信息工程學院黃繼武教授提供，在此表示感謝。