基于數(shù)字音頻指紋的廣播廣告檢測方法研究

申海娟，王翾

(中國傳媒大學 廣播電視數(shù)字化教育部工程研究中心，北京 100024)

?

基于數(shù)字音頻指紋的廣播廣告檢測方法研究

申海娟，王翾

(中國傳媒大學 廣播電視數(shù)字化教育部工程研究中心，北京 100024)

音頻信息的檢索是多媒體檢索技術(shù)中的一個重要方面，本文基于數(shù)字音頻指紋的快速檢索算法提出了一種廣告檢測技術(shù)，該算法將音頻流分塊提取數(shù)字音頻指紋，然后在廣告音頻指紋庫中粗檢索，檢索過程中同時得到相似廣告的時間偏移及廣告長度信息，進而進行完整匹配，實現(xiàn)了廣告信息快速完整檢索。為了消除音頻指紋檢索受采樣率誤差的影響，精細匹配時提出了分割匹配的方法。實驗證明，該方法具有檢索速度快、受采樣率誤差影響小的特點。

音頻指紋；廣告檢測；采樣率誤差

1　引言

隨著廣播技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，多媒體信息傳播渠道快速擴張，每時每刻增長的海量多媒體內(nèi)容對多媒體信息內(nèi)容監(jiān)管帶來巨大壓力。利用計算機進行音頻內(nèi)容識別匹配，對關(guān)鍵內(nèi)容進行預(yù)警為內(nèi)容監(jiān)管提供了一個可行的技術(shù)。

根據(jù)音頻片段從海量音頻數(shù)據(jù)庫中快速找到與其相對應(yīng)的音頻信息，即音頻識別，音頻識別算法的研究是一個具有挑戰(zhàn)性的研究課題。音頻識別可以將任意格式的一段未知音頻文件，轉(zhuǎn)化為數(shù)字音頻指紋后，可以在數(shù)據(jù)庫中搜索并進行完整匹配，從而得到對應(yīng)的元數(shù)據(jù)，實現(xiàn)從海量音頻信息中得到對應(yīng)音頻的相關(guān)信息。由于音頻指紋可能受到各種影響而產(chǎn)生一定程度的失真，并且音頻數(shù)據(jù)是海量的，所以如何提高被提取指紋的魯棒性和不同音頻文件的指紋之間的可區(qū)別性是研究的重點。

本文提出了數(shù)字音頻指紋的提取和檢索方法，進行相關(guān)實驗，驗證在廣播電臺廣告內(nèi)容快速定位和檢索工作中的可行性。實驗證明，以此算法為基礎(chǔ)可以實現(xiàn)互聯(lián)網(wǎng)和廣播音頻內(nèi)容自動監(jiān)管，大大降低了監(jiān)管人員的工作壓力。

2　數(shù)字音頻指紋的特征

音頻指紋是音頻對象簡短的摘要。音頻指紋識別時，只須在兩個相似的音頻對象之間建立一種知覺平等的有效的機制，無需通過比較相對較大的音頻對象本身，而是通過比較相關(guān)的指紋。因此，數(shù)字音頻指紋必須具備以下性質(zhì)：

(1)感知相關(guān)性。指紋中應(yīng)盡可能多地包含感知相關(guān)的數(shù)據(jù)，盡可能清除感知不相關(guān)的數(shù)據(jù)，減少匹配計算復(fù)雜度和數(shù)據(jù)庫容量。

(2)高效性。以相對較小的數(shù)字音頻指紋實現(xiàn)高效的音頻檢索。

(3)魯棒性。相似的音頻應(yīng)具有相似的數(shù)字音頻指紋，并且應(yīng)該有較強的抗干擾能力，音頻文件可能會存在變調(diào)、MP3 與GSM 等有損壓縮、由于剪切或錯位引起的失真、噪聲(傳輸噪聲或加背景噪聲)等。

(4)區(qū)分性。是指不同音頻之間的數(shù)字音頻指紋應(yīng)該具有較大的差異性，不同版本相同內(nèi)容的音頻之間的指紋應(yīng)該只存在微弱的差異性。

(5)準確性。正確識別的概率，在一定外界干擾存在下實現(xiàn)正確檢索的比例。

3　基于數(shù)字音頻指紋的音頻檢測

3.1音頻識別和檢索

一個音頻識別和檢索系統(tǒng)主要包括兩個模塊，數(shù)字音頻指紋提取模塊和識別模塊，圖1為音頻識別系統(tǒng)結(jié)構(gòu)圖。

圖1　音頻識別系統(tǒng)結(jié)構(gòu)圖

3.2音頻指紋的提取算法

數(shù)字音頻指紋是音頻識別的重要部分，是決定整個音頻識別系統(tǒng)正確率的關(guān)鍵因素，數(shù)字音頻指紋的提取包括音頻特征的選定和音頻特征的數(shù)字化。音頻的特征分為時域特征、頻域特征和時頻域特征。

時域特征提取包括短時平均能量、短時平均幅度、短時平均過零率。短時平均能量反應(yīng)的是音頻信號的強度，適用于靜音信號的識別和檢測。短時平均幅度，用于計算加權(quán)的信號絕對值之和來代替平方和，也只使用于靜音的檢測。短時平均過零率是指單位時間內(nèi)信號值通過零值的平均次數(shù)，它說明了平均信號頻率.當離散的時間信號相鄰的兩個取樣具有不同的符號時，便出現(xiàn)“過零”現(xiàn)象.對于窄帶信號，平均過零率可以比較精確的反映其特征，而在寬帶情況下比較粗略，所以都不適用于語音廣播電臺的廣告檢測。

頻域特征，是指音頻文件在頻率域的特征。J Herre[1]使用 SFM(頻譜平滑度)作為特征，區(qū)分性和魯棒性比較良好。Jin S. Seo[2]中使用一階歸一化頻域子帶矩作為特征，該特征雖然均衡化、噪聲、電話通道過濾等具有較好抗干擾能力，但對回聲及線性速度變化等魯棒性不能滿足需求。Papaodysseus[3]提出用頻譜子帶的頻譜峰值作為特征，只有在音頻文件輕微失真時才能取得良好的識別率及實時性。

時頻域特征，是指時域與頻域相結(jié)合的特征，對特征的描述不僅包含時域參數(shù)，而且包含頻域參數(shù)，時域與頻域的結(jié)合能更精確更簡練的描述一段音頻文件，是一種比較理想的音頻特征。Shazam娛樂公司的音樂識別系統(tǒng)[4]采用譜峰對作為音頻指紋，提高了指紋的相關(guān)性。

3.3音頻指紋的檢索方法

如何快速并高效地從海量數(shù)據(jù)庫中進行指紋檢索是基于數(shù)字音頻指紋檢索系統(tǒng)的一個重要問題，然而對音頻指紋進行暴力搜索(brute-force)是不可行的。目前的音頻指紋搜索算法主要分四個大類[5]，如下所示：

(1)離線距離預(yù)計算

當查詢音頻未進入系統(tǒng)時，計算所有數(shù)據(jù)庫中指紋與查詢音頻間的距離是不可能的，但可以預(yù)先對數(shù)據(jù)庫中的音頻指紋間的距離進行預(yù)先計算并構(gòu)建一種可以提高查詢指紋的檢索速度的結(jié)構(gòu)。Kimura[6]將數(shù)據(jù)庫中的指紋預(yù)先進行分類，查詢音頻與距離最優(yōu)的類優(yōu)先匹配。

(2)文件索引式搜索

文件索引式搜索方法是一種非常有效的檢索方法。Kurth[7]將音頻指紋(二進制值)用碼本的形式建立索引。Haitsma[8]在假設(shè)查詢指紋不失真的情況下將數(shù)據(jù)庫中所有歌曲中的指紋與一個查詢表相關(guān)聯(lián)，得到較高的效率，但當假設(shè)不成立時，效率會明顯下降，此方法限制了指紋錯誤率，將導(dǎo)致虛警率升高。

(3)侯選指紋過濾

用某種較簡單的相似性度量對大量不可能的侯選指紋進行快速過濾，顯然增加了過濾后指紋計算量。

(4) 相似性判斷[9]

保存目前相似度最高的侯選者，直到?jīng)]有更高的相似度出現(xiàn)時就終止當前的相似性計算。

4　廣播廣告檢測算法

電臺廣播作為一種傳統(tǒng)的大眾媒體，主要以聲音的形式傳達給聽眾，所以只能通過聲音的特征對電臺廣播內(nèi)容進行實時監(jiān)管，這也就要求監(jiān)管方法具有高效性。對電臺廣播的監(jiān)管主要是為了確保廣播廣告能夠準時準確的播出，也就是廣告的檢測。廣播廣告檢測流程圖如圖2所示。

圖2　廣播廣告檢測流程圖

4.1廣播廣告檢測算法的提出

本文提到的廣告檢測算法主要借鑒shazam娛樂公司的音樂識別算法，其采取時頻域特征作為數(shù)字音頻指紋，文獻[4]中利用半重疊窗對每首歌曲做512點的FFT，從時域到頻域，在時頻域中提取每幀中的峰，選取峰的閾值曲線是動態(tài)變化的，閾值曲線變化依據(jù)前一幀峰值出現(xiàn)的位置，每一個目標峰都用其鄰近峰的時間和頻率關(guān)系描述自己，這些峰即是描點(目標點)，閾值曲線的動態(tài)變化，以及峰值的描述都提高了音頻特征的相關(guān)性。從而提高音樂識別系統(tǒng)的魯棒性。

文獻[4]采用倒排哈希索引算法，用hash值描述峰值，哈希值包括自身頻率(F)、與相鄰峰頻率差(DF)和相領(lǐng)峰的時間差(DT)。用哈希值在哈希列表中查詢，哈希列表的列為哈希值，用歌曲序列描敘哈希列表的行，行列對應(yīng)處對應(yīng)在對應(yīng)歌曲中此峰距離對應(yīng)歌曲開始點的時間偏移量。將時間偏移量最小，對應(yīng)匹配點最多的音樂返回給用戶。此查詢算法的查詢速度較快，查詢準確率較高。

shazam音樂識別是一種用未知音樂的部分去檢索音樂整體的算法，未知音樂是一個單獨的時長較短的音頻片段，每首歌曲前3秒的節(jié)奏就能確定整首歌曲，也就是說，歌曲之間有較大的差異性?；谝纛l指紋的廣播電臺廣告檢測是指對待檢的廣播電臺節(jié)目音頻流進行檢測以匹配候選的廣告音頻。雖然廣告音頻都是一個單獨的音頻文件，但由于廣播節(jié)目是音頻流文件、包含的節(jié)目眾多，且由于廣告直接的差異性較小，不能用其中的部分去檢索整體。因此需要提出一種改進的識別算法。本文提出一種先用部分進行粗匹配，然后進行整體匹配的算法進行廣告檢測。

廣播中的廣告時長大約在10s～30s之間，借鑒文獻[4]的音樂識別方法用部分去檢索整體，同時為了提高檢測速度，提高檢索的效率，每次取10s長的音頻塊，去粗配。二次匹配時，根據(jù)時間偏移在廣播文件中截取與廣告庫中相似樣本等長的音頻數(shù)據(jù)，并進行分割匹配，分割后每段重復(fù)第一次匹配，段段匹配才能精確的表示廣播文件中有樣本文件。輸出匹配的廣告信息和廣告位置信息。

4.2抗采樣率誤差的音頻匹配方法

廣播文件在傳輸或者編解碼等過程中可能存在采樣率誤差，研究分析發(fā)現(xiàn)，采樣率誤差的存在改變來了音頻文件的時頻譜，采樣率誤差的存在將干擾音頻指紋的提取結(jié)果，進而可能會干擾音頻的匹配結(jié)果。這種影響有時間和頻率上的累加性，即時間較長塊的時頻譜上的后續(xù)時間上的譜峰變化是顯然的，對于較短的時間塊或者較長時間塊的前序部分無明顯變化，由于指紋提取方法特點以及后續(xù)哈希編碼過程，使這些無明顯變化的頻譜在檢索結(jié)果中無影響。所以在整體匹配過程中我們提出了分割半重疊匹配的方法。

分割時的最小音頻塊長5秒，重疊半個音頻塊，幾乎完全消除了采樣率誤差對廣告時頻譜的影響，從而消除了提取的音頻指紋的誤差，此方法可以區(qū)分存在采樣率誤差小于1%且廣告內(nèi)容差異3秒以內(nèi)的廣告文件。

5　仿真實驗和結(jié)果分析

本實驗所采用的廣告樣本文件和電臺廣播文件都由廣播電臺提供，原文件的采樣率為11025HZ，單聲道，文件格式為.wav文件，程序語言為MATLAB語言。

首先驗證本文提到的音頻指紋檢索方法的魯棒性，在要監(jiān)測的廣告條目中疊加白噪聲，信噪比為20dB，抗噪聲能力實驗仿真結(jié)果如圖3所示，圖中上部為疊加了高斯白噪聲的音頻頻譜圖，下部分為音頻庫中對應(yīng)的音頻頻譜圖。由仿真實驗發(fā)現(xiàn)，在信噪比20dB時，算法匹配音頻信息的能力沒有改變，可以準確地檢索到音頻。

圖3　抗噪聲性能結(jié)果

改變待檢索的廣播廣告的采樣率，使其偏離原采樣率1%以內(nèi)，分別對兩條時長30秒的廣告進行同樣的快速傅里葉變換后得到的頻譜如圖4所示。圖中橫軸為時間(單位為秒)，縱軸為頻率(單位為赫茲)，我們可以從圖中注意到22秒以前的的指紋無明顯的不同，但其后指紋存在很大的差異。

(a)原始音頻的時頻譜

(b)存在50hz采樣率誤差的時頻譜 圖4　時頻對比圖

(a)原方法的匹配點數(shù)分布圖

(b)本文提出算法的匹配點數(shù)分布圖) 圖5　匹配點數(shù)對比圖

如圖5所示，可以明顯的發(fā)現(xiàn)，原方法僅僅只匹配上前10秒的音頻指紋，而本文提出的分割重疊方法使匹配點數(shù)大量增多，從而提高檢測準確性。

6　結(jié)論

本文基于音頻指紋的檢索算法，利用音頻指紋的特征，結(jié)合廣播自身特點和存在的噪聲類型，對已有的音樂識別算法進行改進，實現(xiàn)廣播廣告的檢測的實時性和高效性。本算法不僅提高了檢索速度和檢索準確性，并且很好的解決了音頻廣告因為傳輸或者編解碼過程中引起的微小采樣率誤差的影響。但本算法是以犧牲程序復(fù)雜度來換取抗采樣率誤差，如何簡化程序復(fù)雜度是以后需要研究的重點。

[1]J Herre，E Allamanche，O Hellumth.Robust matching of audio Signal Using Spectral Flatmess Features[J].IEEE Workshop Applications Signal Processing Audio Acoustic，2001，127-130.

[2]J S Seo，M Jin，S Lee，D Jang，S Lee，C D Yoo. Audio fingerprinting based on normalized spectral subband moments[J]. IEEE Signal Process，2006，13(4)，209-212.

[3]C Papaodysseus，G Roussopoulos，D Fragoulis，T Panagopoulos，C Alexiou.A New Approach to the Automatic Recognition of Musical Recordings[J]. Audio Eng Soc，2001，49(1/2)：23-35.

[4]A L-C Wang. An industrial-strength audio search algorithm[C]. In Proceedings of the Fourth International Conference on Music Information Retrieval，2003：26-30.

[5]曾柏森. 基于內(nèi)容的音頻檢索研究[D].西南交通大學，2009.

[6]A Kimura，K Kashino，T Kurozumi，H Murase. Very Quick Audio Searching：Introducing Global Pruning to the Time-Series Active Search[J]. IEEE International Conference on Acoustics，Speech，and Signal Proceedings，2001，3(3)：1429-1432.

[7]Kurth F，Ribbrock A，Clausen M.Identification of highly distorted audio material for querying large scale databases[C]. In Proc AES 112th Int Conv，Munich，Germany.

[8]J Haitsma，T Kalker. An Efficient Database Search Strategy for Audio Fingerprinting[J].IEEE Workshop on Multimedia Signal Processing，2002：178-181.

[9]K Kashino，T Kurozumi，H Murase. A Quick Search Method for Audio and Video Signals Based on Histogram Pruning[J]. IEEE Transactions on Multimedia，2003，5(3)：348-357.

(責任編輯：馬玉鳳)

The Study of Radio Advertising Detection Method Basedon Digital Audio Fingerprint

SHEN Hai-juan，WANG Xuan

(ECDAV，Communication University of China，Beijing 10024)

Audio information retrieval is an important aspect of multimedia retrieval technique，this article is based on the digital audio fingerprint of fast retrieval algorithm proposed an advertising detection technology，the algorithm will be partitioned to extract audio stream digital audio fingerprint，then coarse retrieval in audio fingerprint advertising，at the same time get similar advertising in the process of retrieval time migration length and advertising information，and then conduct a complete match，to realize the fast complete advertising information retrieval. In order to eliminate the audio fingerprint retrieval affected by the error of sampling rate，fine matching segmentation matching method is proposed. Experiments show that this method has fast retrieval，the sampling rate has the characteristics of small error.

fingerprint；advertising detection；sampling rate error

2016-06-16

申海娟(1990 -)，女(漢族)，河北邯鄲人，中國傳媒大學碩士生.E-mail：hjshen0903@126.com

TP312

A

1673-4793(2016)04-0015-05