音視頻重復序列檢測技術在廣告節(jié)目智能檢測中的應用研究

隨著廣播電視的不斷發(fā)展，廣播電視行業(yè)積累了海量的多媒體數(shù)據(jù)。一方面，由于缺乏有效的電視節(jié)目結構信息和內(nèi)容標注，人們很難從大量的廣播電視多媒體數(shù)據(jù)中快速準確的查找到需要的信息。另一方面，國家廣電相關監(jiān)管部門關注廣告播出的內(nèi)容是否合法，播出的時間、形式是否合規(guī)。國家廣電總局針對廣告的播出情況有較多的條文進行規(guī)范，例如《17號令》、《61號令》、《72號文》、《39號文》等。

因此，現(xiàn)在亟需研究針對廣播電視多媒體數(shù)據(jù)的分析技術，以輔助人們方便地對廣播電視數(shù)據(jù)進行管理。本文以廣播電視數(shù)據(jù)為研究對象，以廣播電視中的廣告節(jié)目智能檢測為立足點，深入研究了重復序列檢測技術。

由于廣播電視中的廣告節(jié)目具有在當天或多天內(nèi)多次滾動播出的特點，因此在全天或多天的廣播電視中存在重復播出的特征，本文正是基于上述特點，采用了一種魯棒的在廣播電視流中檢測重復序列的方法，并與傳統(tǒng)的音視頻模板匹配技術相結合，提升了廣告節(jié)目智能檢測的查全率。

圖1

如圖1中所示，該方法首先采用傳統(tǒng)的音視頻模板匹配技術，根據(jù)已有的廣告模板在全天的廣播電視節(jié)目中識別已知廣告節(jié)目，對于剩余的時段（空檔）則采用廣播電視流中檢測重復序列的方法，主動發(fā)現(xiàn)多次重復播出的音視頻片段，結合廣告5秒、10秒、15秒、30秒的時長特征，智能判別為疑似的廣告節(jié)目，最后由人工審核確認是否為廣告節(jié)目，從而在傳統(tǒng)的采用音視頻模版匹配技術只能夠發(fā)現(xiàn)已知廣告的基礎上，實現(xiàn)了未知廣告的智能識別，進一步提升了廣告節(jié)目智能檢測的查全率。

在本項目中，采用了一種魯棒的檢測重復序列的方法，首先將重復序列檢測問題轉化為隱馬爾科夫模型（HiddenMarkovModel，HMM）中的解碼問題。在這個框架中，我們明確定義待檢測的目標是最長松弛連接序列，該目標將重復序列檢測與相似架格中的最優(yōu)路徑聯(lián)系起來。由于傳統(tǒng)的解決HMM解碼問題的方法維特比算法在此處不能直接適用，因此我們采用一種近似維特比的方法來檢測局部最優(yōu)路徑。最長松弛連接序列的松弛性定義及近似維特比算法的靈活性，使得提出的算法對信號畸變具有很強的抵抗力。

然后，我們將重復序列檢測算法應用于無監(jiān)督的重復節(jié)目檢測。在應用時，我們發(fā)現(xiàn)重復節(jié)目，尤其是廣告節(jié)目的實際播出情況非常復雜，包括長短版本廣告、連續(xù)出現(xiàn)廣告，這些實際播出的復雜情況使得節(jié)目的重復模式也異常復雜。為了解決這個問題，我們提出了重復序列檢測算法應用于重復節(jié)目檢測的三個基本準則：最長重復原則、獨立出現(xiàn)原則、等價原則。實驗證明提出的準則可以很好的檢測獨立重復節(jié)目，其流程如圖2中所示。

圖2

首先，一個多媒體數(shù)據(jù)流被分割為一序列基本的單元，比如鏡頭、片段等。然后，每個基本的單元都提取音頻或視頻特征。通過計算音視頻的特征的距離確定基本單元之間的相似度，從而構成基本單元之間的相似度度量矩陣。最后從相似度度量矩陣中提取重復序列。

在特征提取方面，和傳統(tǒng)的音視頻模板匹配技術中使用的特征類似，可以分為音頻特征和視頻特征。視頻方面主要是顏色、紋理、運動等特征[1,2]；音頻方面主要是一種時頻域的能量峰值特征[3]，對于背景噪音比較魯棒。但是這種特征對于結構聲音（比如鈴聲）等比較有效，對于自然界的聲音（比如開門聲）效果不太好。在本文中，則同時使用了音頻特征和視覺特征，首先以音頻指紋特征作為第一步重復性查找的特征，然后再提取視頻特征用來確認，取得了不錯的檢測效果。

在相似度度量方面，則采用了Herley[4]提出的降維技術降低特征維數(shù)的方法，從而提高搜索的效率。至于重復序列識別這一步，則采用將前后具有時間一致性關系的片段連接起來的方法。

總的來講，基于上述方法，能夠在傳統(tǒng)的采用音視頻模版匹配技術只能夠發(fā)現(xiàn)已知廣告的基礎上，實現(xiàn)了未知廣告的智能識別，進一步提升了廣告節(jié)目智能檢測的查全率；同時，采用重復序列檢測技術的優(yōu)點是不需要訓練數(shù)據(jù)（例如訓練廣告音視頻模板），可以無監(jiān)督的進行廣告節(jié)目的檢測，但是缺點也很明顯，即假設并不總是成立，比如，有時廣告節(jié)目只播出了一次，這種廣告節(jié)目就無法通過重復性檢測出來。

[1]John M Gauch and Abhishek Shivadas.Identication of new commercialsusing repeated video sequence detection.In Image Processing, 2005.ICIP2005.IEEE International Conference on, volume 3,pages II{1252. IEEE,2005.

[2]John M Gauch and Abhishek Shivadas. Finding and identifying unknowncommercials using repeated video sequence detection.Computer Visionand Image Understanding, 103(1):80-88,2006.

[3]James P Ogle and Daniel PW Ellis.Fingerprinting to identify repeatedsound events in long-duration personal audio recordings.In Acoustics,Speech and Signal Processing,2007.ICASSP 2007.IEEE InternationalConference on,volume 1,pages I-233.IEEE,2007.

[4]Cormac Herley.Argos:automatically extracting repeating objects frommultimedia streams. Multimedia,IEEE Transactions on, 8(1):115-129,2006.