用于安全監(jiān)控系統(tǒng)的音頻事件檢測(cè)研究

夏亦佳

摘 要：針對(duì)視頻監(jiān)控過(guò)于依賴(lài)圖像信息，在黑暗條件下或視線(xiàn)盲區(qū)無(wú)法進(jìn)行及時(shí)、有效監(jiān)控的問(wèn)題，本文提出一種可以用于輔助安全監(jiān)控的音頻事件檢測(cè)系統(tǒng)，以槍擊聲和尖叫聲為關(guān)鍵事件，把過(guò)零率、短時(shí)能量、子帶能量比和Mel倒譜系數(shù)作為音頻特征，基于SVM分類(lèi)器設(shè)計(jì)實(shí)現(xiàn)了一種多級(jí)分類(lèi)系統(tǒng)。結(jié)果表明，該系統(tǒng)可以有效地檢測(cè)出兩種關(guān)鍵事件，最優(yōu)識(shí)別率達(dá)90%。

關(guān)鍵詞：音頻事件檢測(cè)；安全監(jiān)控視頻；支持向量機(jī)；MFCC

中圖分類(lèi)號(hào)：TN912 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2017）06-0015-04

Audio Events Detection for Surveillance System

Xia Yijia

（China Airborne Missile Academy，Luoyang Henan 471009）

Abstract： Public surveillance system relies on image information to a large extent， therefore， places in dark environments or blind areas of surveillance cameras would not get effective real-time surveillance. To solve this problem， this paper proposed an audio events detection system to assist video-based public safety surveillance. The system took the shooting and screaming as the key events， and defined Zero Crossing Rate （ZCR）， Short Time Energy （STE）， Sub Band Energy Ratio （SBER） and MFCC as audio features. Then a hierarchical SVM-based classification system is implemented to classify different types of audio events. According to experiment results，the proposed audio events detection system can effectively classify gunshots and screaming sound from environmental noise with an optimal classification accuracy of 90%.

Keywords： audio events detection；surveillance system；support vector machine；MFCC

隨著多媒體技術(shù)的飛速發(fā)展，越來(lái)越多公共場(chǎng)所安裝了視頻監(jiān)控以保障公共安全。然而，在黑暗環(huán)境下或者在視頻監(jiān)控盲區(qū)，這些依賴(lài)于圖像信息的攝像頭就難以進(jìn)行及時(shí)、有效的監(jiān)控。此時(shí)，通過(guò)音頻傳感器的監(jiān)控則會(huì)更加有效[1]。聲音信息中也包含了不亞于圖像信息的信息量，通過(guò)監(jiān)控識(shí)別公共場(chǎng)合聲音信息，可以迅速發(fā)現(xiàn)所關(guān)注的事件，從而快速做出應(yīng)對(duì)。聲音信息具有良好的實(shí)時(shí)性，對(duì)視頻監(jiān)控具有良好的輔助作用。

本文提出了一種基于支持向量機(jī)（Support Vector Machine，SVM）的音頻事件檢測(cè)系統(tǒng)，選取槍擊聲和尖叫聲為關(guān)鍵音頻事件，提取訓(xùn)練樣本的過(guò)零率、短時(shí)能量、子帶能量比、MFCC組成特征向量對(duì)SVM進(jìn)行訓(xùn)練，建立一個(gè)音頻事件分類(lèi)模型，對(duì)測(cè)試樣本中的關(guān)鍵事件進(jìn)行檢測(cè)。

1 音頻事件檢測(cè)系統(tǒng)

音頻事件檢測(cè)系統(tǒng)如圖1所示。音頻事件檢測(cè)主要分為聲音信息的特征值提取、參數(shù)學(xué)習(xí)和關(guān)鍵事件檢測(cè)三部分。

音頻信號(hào)的預(yù)處理分為語(yǔ)音激活檢測(cè)、預(yù)加重與分幀三步。語(yǔ)音激活檢測(cè)可以剔除音頻信號(hào)中的靜音部分，留下音頻中的有效段[2]，保證下一步特征值提取的準(zhǔn)確性。預(yù)加重通過(guò)一階數(shù)字濾波器來(lái)增強(qiáng)信號(hào)的高頻部分，使信號(hào)頻譜更加平滑。預(yù)加重后的音頻信號(hào)被分成20ms一幀，每?jī)蓭g重疊為10ms的音頻幀序列，進(jìn)行特征值提取分別組成訓(xùn)練樣本集和測(cè)試樣本集。SVM通過(guò)對(duì)訓(xùn)練樣本集的分類(lèi)特征進(jìn)行學(xué)習(xí)建立一個(gè)音頻事件分類(lèi)模型，最后基于該模型的SVM分類(lèi)器對(duì)測(cè)試樣本進(jìn)行識(shí)別，輸出音頻事件類(lèi)型。

2 特征值的定義與提取方法

2.1 過(guò)零率

當(dāng)音頻信號(hào)的符號(hào)發(fā)生變化時(shí)為信號(hào)過(guò)零一次。過(guò)零率表示音頻信號(hào)在一定時(shí)間間隔內(nèi)，信號(hào)幅值過(guò)零的次數(shù)，其可以用來(lái)粗略描述聲音信號(hào)的頻譜特性。計(jì)算公式見(jiàn)式（1）[3]：

[ZCR=12n=1Nsgnxrn-sgnxrn-1 （1）]

式（1）中，N是信號(hào)采樣點(diǎn)數(shù)，[sgnxrn]為符號(hào)函數(shù)，定義見(jiàn)式（2）：

[sgnx=fx=-1，x<01，x≥0 （2）]

當(dāng)聲音信號(hào)幅值為正時(shí)，[sgnx]為1；反之，[sgnx=-1]。依次計(jì)算相鄰采樣點(diǎn)的符號(hào)函數(shù)差值，即可計(jì)算出該聲音樣本的過(guò)零率。過(guò)零率可以將槍擊聲及尖叫聲從監(jiān)控視頻的環(huán)境噪聲中區(qū)別出來(lái)[4]。

2.2 短時(shí)能量均值和方差

音頻信號(hào)是時(shí)變信號(hào)，且不同音頻事件之間的能量有顯著差別，所以短時(shí)能量[5]可以反映不同音頻事件之間的特征。定義見(jiàn)式（3）：

[STE=0ω0Fω2dω （3）]

式（3）中，[Fω]是該信號(hào)的FFT變換，[ω0]等于采樣頻率的一半。短時(shí)能量可以較好地區(qū)分音頻中的靜音部分，并且可以反映音頻的節(jié)奏、周期等屬性[6]。由于來(lái)自不同音頻樣本的信號(hào)幅值的變化，即使是同樣的音頻事件，也會(huì)給短時(shí)能量帶來(lái)顯著影響，因此采用短時(shí)能量的均值和方差作為特征值。

2.3 子帶能量比

子帶能量比是指通過(guò)計(jì)算不同子帶的能量占整個(gè)聲音頻帶能量的比例，可以反映音頻信號(hào)的譜能量在整個(gè)頻譜內(nèi)的分布情況[7]。本文將音頻信號(hào)的頻譜分為8個(gè)子帶，每個(gè)子帶的能量比定義見(jiàn)式（4）：

[SBERk=SBEkSTE，k=1，2，……，8 （4）]

2.4 Mel倒譜系數(shù)

MFCC是音頻分類(lèi)研究中常見(jiàn)的特征，將人耳的聽(tīng)力系統(tǒng)模擬為一個(gè)非線(xiàn)性系統(tǒng)，較好地反映了人耳對(duì)不同頻率信號(hào)的聽(tīng)覺(jué)特性，具有良好的魯棒性[8]。MFCC的計(jì)算步驟如圖2所示[9]。

聲音信號(hào)S（n）經(jīng)過(guò)預(yù)加重、加窗之后進(jìn)行快速傅里葉變換（FFT），得到聲音信號(hào)頻域下的能量譜。用一組Mel頻率下的三角濾波器對(duì)其進(jìn)行處理，將線(xiàn)性頻率搬至Mel域中，Mel域頻率與線(xiàn)性頻率的關(guān)系如公式（5）所示：

[melf=1 125×ln1+f700 （5）]

式（5）中，[f]是線(xiàn)性頻率。接著對(duì)濾波器組輸出的mel對(duì)數(shù)能量進(jìn)行離散余弦變換（DCT）可以得到一組MFCC系數(shù)，計(jì)算公式見(jiàn)式（6）：

[xi=2Pj=1PlogSj*cosiπPj-0.5 （6）]

公式（6）中，[Sj（j=1，2，……，P）]即為濾波器組的輸出的音頻信號(hào)能量譜，[P]表示濾波器的個(gè)數(shù)，在本文描述的音頻事件檢測(cè)系統(tǒng)中，使用12階MFCC系數(shù)。

3 機(jī)器學(xué)習(xí)

目前，常用的分類(lèi)器有高斯混合模型（Gaussian Mixture Model，GMM）、隱馬爾科夫模型（Hidden Markov Model，HMM）和SVM等。其中，GMM和HMM都屬于貪婪算法，需要大量的樣本進(jìn)行訓(xùn)練來(lái)準(zhǔn)確描述不同音頻的特征以達(dá)到較好的識(shí)別效果[10-11]。而SVM是通過(guò)非線(xiàn)性映射，將樣本特征向量映射到高維特征空間，尋找一個(gè)最優(yōu)超平面使不同類(lèi)別數(shù)據(jù)樣本之間的距離最大，將在低維樣本空間中無(wú)法線(xiàn)性處理的分類(lèi)問(wèn)題在高維空間實(shí)現(xiàn)線(xiàn)性劃分，從而降低對(duì)訓(xùn)練樣本數(shù)量的需求。如圖3所示，H1和H2分別為穿過(guò)兩類(lèi)樣本點(diǎn)中距離最近的樣本的直線(xiàn)，他們之間的距離[2ω]即為兩類(lèi)樣本之間的距離[12]，最優(yōu)的超平面就是使這個(gè)距離最大。其中，ω為最優(yōu)超平面的法向量。

尋找最優(yōu)超平面問(wèn)題可歸結(jié)為求公式（7）最優(yōu)解問(wèn)題：[min12ω2]

[ yiω?x+b≥1]，[i=1，……，n （7）]

帶入拉格朗日函數(shù)后，SVM的決策函數(shù)可推導(dǎo)為式（8）：

[fx=（i=1nαixiyi）x+b （8）]

對(duì)于非線(xiàn)性映射，輸入樣本向量可以用核函數(shù)[Kxi，xj]來(lái)表示，帶入公式（8）得到?jīng)Q策函數(shù)為：

[yx=sgn[j=1nαjyjKx，xj+b]]

[=sgnfx （9）]

SVM則根據(jù)[fx]的符號(hào)來(lái)識(shí)別該樣本屬于的類(lèi)別[13]。

4 結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文以槍擊聲和尖叫聲為關(guān)鍵事件，樣本數(shù)據(jù)分為三類(lèi)：槍擊聲、尖叫聲和環(huán)境噪聲。由于槍擊聲和尖叫聲在實(shí)際安全監(jiān)控視頻中極少出現(xiàn)，因此采用來(lái)自互聯(lián)網(wǎng)的音頻樣本。而環(huán)境噪聲是監(jiān)控視頻中普遍存在的腳步聲、開(kāi)門(mén)聲等背景音，使用的是來(lái)自卡內(nèi)基梅隆大學(xué)機(jī)器人研究實(shí)驗(yàn)室的公開(kāi)數(shù)據(jù)庫(kù)和CCV兩個(gè)視頻數(shù)據(jù)庫(kù)中安全監(jiān)控視頻所提取出的音頻序列。各類(lèi)樣本數(shù)量如表1所示。

其中，90%的音頻用于分類(lèi)器的訓(xùn)練，其余10%的音頻作為測(cè)試樣本。

4.2 評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)系統(tǒng)的檢測(cè)性能評(píng)價(jià)采用準(zhǔn)確率（Precision）、召回率（Recall）和加權(quán)調(diào)和平均值F1。計(jì)算公式見(jiàn)式（10）（11）（12）。

[準(zhǔn)確率=檢測(cè)正確的音頻事件數(shù)系統(tǒng)檢測(cè)出的音頻事件總數(shù) （10）]

[召回率=檢測(cè)正確的音頻事件數(shù)樣本中音頻事件總數(shù) （11）]

[F1=2×準(zhǔn)確率×召回率準(zhǔn)確率+召回率 （12）]

4.3 實(shí)驗(yàn)結(jié)果

本文首先對(duì)比了兩種結(jié)構(gòu)的分類(lèi)器的分類(lèi)能力：一級(jí)三分類(lèi)SVM分類(lèi)器和多級(jí)二分類(lèi)SVM分類(lèi)器。多級(jí)二分類(lèi)SVM分類(lèi)器結(jié)構(gòu)如圖4所示。

圖4 多級(jí)二分類(lèi)SVM分類(lèi)器

經(jīng)過(guò)預(yù)處理的音頻樣本特征值組成的特征向量依次經(jīng)過(guò)槍擊和非槍擊、尖叫和非尖叫分類(lèi)器識(shí)別，輸出各音頻樣本的分類(lèi)結(jié)果。兩種結(jié)構(gòu)的分類(lèi)器識(shí)別結(jié)果如表2和表3所示。

由兩種結(jié)構(gòu)的分類(lèi)器識(shí)別結(jié)果可知，在進(jìn)行多類(lèi)識(shí)別時(shí)，采用多級(jí)二分類(lèi)SVM分類(lèi)器的檢測(cè)效果要好于三分類(lèi)分類(lèi)器?？梢?jiàn)，SVM更適用于二分類(lèi)的問(wèn)題。此外，試驗(yàn)中采用尖叫聲的部分樣本為群體的尖叫聲且信噪比較低，與環(huán)境噪聲易發(fā)生混淆，也是導(dǎo)致識(shí)別準(zhǔn)確率較低的一個(gè)原因。

基于多級(jí)二分類(lèi)結(jié)構(gòu)，也對(duì)比了采用單一特征值進(jìn)行分類(lèi)識(shí)別的準(zhǔn)確率，結(jié)果如表4、5所示。在本文選擇的四個(gè)特征值中，MFCC的識(shí)別率相對(duì)較高，可以較準(zhǔn)確地描述音頻事件的特征。

與表3結(jié)果對(duì)比可知，由于這四個(gè)特征值都只能代表音頻信號(hào)的某一方面特征，因此，單獨(dú)作為特征向量時(shí)，系統(tǒng)識(shí)別率較差。但當(dāng)這些時(shí)域、頻域特征結(jié)合起來(lái)用于同樣的系統(tǒng)時(shí)，可以得到較為理想的結(jié)果。

5 結(jié)論

為了在光線(xiàn)黑暗條件下通過(guò)監(jiān)控視頻及時(shí)發(fā)現(xiàn)異常事件，本文利用各類(lèi)事件音頻特征的差異，建立了一個(gè)基于SVM的音頻事件檢測(cè)系統(tǒng)。通過(guò)提取有效的音頻特征，對(duì)SVM進(jìn)行訓(xùn)練建立分類(lèi)模型，用于測(cè)試樣本中關(guān)鍵事件的分類(lèi)識(shí)別。采用單一特征值識(shí)別系統(tǒng)的實(shí)驗(yàn)結(jié)果表明，相比于過(guò)零率、短時(shí)能量和子帶能量比，MFCC是更為有效的音頻特征。同時(shí)，從兩種不同結(jié)構(gòu)分類(lèi)器的識(shí)別率對(duì)比來(lái)看，多級(jí)二分類(lèi)的SVM分類(lèi)器具有較好的分類(lèi)能力，對(duì)槍擊聲和尖叫聲的F1值分別達(dá)到了90%和85.71%。因此，基于SVM的音頻事件檢測(cè)系統(tǒng)可以達(dá)到有效的識(shí)別效果，能較準(zhǔn)確地發(fā)現(xiàn)監(jiān)控視頻中的槍擊聲和尖叫聲。

參考文獻(xiàn)：

[1]冷嚴(yán).復(fù)雜音頻的事件檢測(cè)與分類(lèi)中的關(guān)鍵問(wèn)題研究[D].北京：北京郵電大學(xué)，2012.

[2]徐治.三門(mén)限多級(jí)判決語(yǔ)音激活檢測(cè)算法的研究[J].電子技術(shù)，2015（5）：33-35.

[3]王炳錫.實(shí)用語(yǔ)音識(shí)別基礎(chǔ)[M].北京：國(guó)防工業(yè)出版社，2005.

[4]Atrey P K， Maddage M C， Kankanhalli M S. Audio Based Event Detection for Multimedia Surveillance[J].IEEE International Conference on Acoustics，2006（5）：813-816.

[5]Lu L，Ge F，Zhao Q，et al. A SVM-Based Audio Event Detection System[A]//Electrical and Control Engineering（ICECE）， 2010 International Conference on，2010：292-295.

[6]李晨，周明全.音頻檢索技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008（8）：215-218.

[7]馮哲.基于內(nèi)容的視頻檢索中的音頻處理[D].上海：復(fù)旦大學(xué)，2004.

[8]孔令城.基于非負(fù)矩陣分解的音頻事件檢測(cè)研究[D].廣州：華南理工大學(xué)，2014.

[9]Dhanalakshmi P，Palanivel S，Ramalingam V. Classification of audio signals using SVM and RBFNN[J].Expert Systems with Applications，2009，（3）：6069-6075.

[10]Rouas JL，Louradour J，Ambellouis S. Audio Events detection in public transport vehicle[A]//IEEE Intelligent transportation systems conference，2006：733-738.

[11]Cotton CV，Ellis DPW. Spectral vs. spectro-temporal features for acoustic event detection[J].Applications of Signal Processing to Audio & Acoustics，2011（1）：69-72.

[12]Gunn S. Support vector machines for classification and regression. Technical Report[J].Analyst，1998（2）：230.

[13]YG Jiang，G Ye，SF Chang，et al. Consumer Video Understanding： A Benchmark Database and An Evaluation of Human and Machine Performance[A]//ACM International Conference on Multimedia Retrieval，2011：29.