封閉環(huán)境下暴力行為檢測

王怡明

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

公共場所中的暴力行為會對公民安全和社會穩(wěn)定構(gòu)成嚴(yán)重威脅?，F(xiàn)代城市公共場所中往往都有大量的監(jiān)控設(shè)備用于對突發(fā)事件的監(jiān)測，產(chǎn)生的龐大數(shù)據(jù)給監(jiān)察者帶來了巨大的壓力。因此，在監(jiān)控?cái)?shù)據(jù)中自動檢測擾亂公共秩序的暴力事件并提示報(bào)警具有十分重要的意義。本文重點(diǎn)研究了監(jiān)控視頻中封閉環(huán)境下暴力行為檢測。

傳統(tǒng)方法的大致思路是根據(jù)專業(yè)知識從輸入數(shù)據(jù)中提取復(fù)雜的手工特征，然后用機(jī)器學(xué)習(xí)中的分類算法，如支持向量機(jī)（Support Vector Machine，SVM）、隨機(jī)森林（Random Forest，RF）等，對樣本進(jìn)行分類。最初的做法[1]通過提取圖像中的血和火等特征并輔以音頻信號特征來檢測暴力行為?？紤]到真實(shí)生活中暴力行為的多樣性以及音頻信息的缺失，研究者們提出了更加合理的特征來判斷暴力行為，例如劇烈運(yùn)動所造成的模糊區(qū)域，連續(xù)兩幀之差或計(jì)算光流得到的運(yùn)動區(qū)域等。同時也提出用時空興趣點(diǎn)（Space Time Interest Points，STIP）[10]、Motion Scale-Invariance Feature Trans?form（MoSIFT）[11]等來描述行為特征，進(jìn)而對行為分類。在空間域提取興趣點(diǎn)的方法有很多，例如比較常見的角點(diǎn)檢測[2]。但空域中的興趣點(diǎn)只包含圖像中的空間信息，而沒有圖像的運(yùn)動信息。Laptev 等人[3]將角點(diǎn)思想擴(kuò)展到了時域，Dollár 等人[4]提出更完善的時空興趣點(diǎn)檢測方法，為更加準(zhǔn)確識別行為提供了幫助?？偟膩碚f，傳統(tǒng)方法使用“手工”特征來描述行為。盡管在一些情況下使用這些特征進(jìn)行檢測有較好的魯棒性，準(zhǔn)確率也能達(dá)到較高的水平，但是大多需要大量計(jì)算，其效率也不高。

與傳統(tǒng)方法不同的是，深度學(xué)習(xí)方法可以直接作用于原始輸入數(shù)據(jù)并自動提取需要的特征，大大減小了各類任務(wù)的難度，也提高了性能和計(jì)算效率。在用深度學(xué)習(xí)解決行為識別問題上有一個重要的方法——3D 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[5-7]。與經(jīng)典的2D-CNN 不同的是，3D-CNN 的卷積核等算子都是三維的，它能在2D-CNN 的基礎(chǔ)上進(jìn)一步獲取、整合數(shù)據(jù)的時間信息。其中一個經(jīng)典的網(wǎng)絡(luò)模型是C3D[7]。

然而，單純的行為識別并不能檢測出暴力行為發(fā)生的時空位置。受two-stage 目標(biāo)識別算法[13]的啟發(fā)，本文結(jié)合目標(biāo)識別和行為識別算法，實(shí)現(xiàn)了暴力行為識別及定位。

1 算法實(shí)現(xiàn)

大部分的行為識別算法的輸入為一個視頻片段，然后通過相關(guān)算法計(jì)算得出結(jié)論（即輸入樣本的行為類型）。但是在實(shí)際生活中，視頻片段中所包含的往往是多人、多行為。例如視頻監(jiān)控的同一畫面中可能有人在打架，有人在旁邊圍觀，有人在行走、逃跑等。所以在實(shí)際的應(yīng)用中，直接對輸入樣本進(jìn)行分類的算法可能并沒有廣泛的實(shí)用性及實(shí)際需求的性能。此外，大部分算法只是給輸入的視頻片段一個行為分類的標(biāo)簽，而沒有行為發(fā)生的具體時間和空間位置。本文將two-stage 目標(biāo)檢測算法的思想擴(kuò)展到暴力行為檢測任務(wù)上。檢測過程具體來說可以分為兩個階段，第一階段是采用目標(biāo)識別算法作為區(qū)域推薦網(wǎng)絡(luò)，得出運(yùn)動實(shí)例（即行為執(zhí)行者）在每一幀上的空間位置（即邊界框），將有限連續(xù)幀的所有邊界框按一定的關(guān)系組合起來成為多個可能發(fā)生行為的管道（tubes）。接下來就是第二階段，將從第一階段得到的行為管道（action tubes）分別映射到對應(yīng)原圖（或者特征圖）上進(jìn)行裁剪。裁剪后的圖像（或特征圖）經(jīng)過統(tǒng)一處理（resize 或RoI pool?ing 等操作）后根據(jù)不同行為管道依次送入3D-CNN 網(wǎng)絡(luò)進(jìn)行分類。

本文介紹的暴力行為檢測方案的大致流程如圖1所示。通過結(jié)合目標(biāo)識別和行為識別領(lǐng)域的算法，在提高識別準(zhǔn)確率的情況下還能得到行為發(fā)生的時空位置。接下來將詳細(xì)介紹實(shí)驗(yàn)方案以及使用到的具體算法。

圖1 算法流程

1.1 區(qū)域推薦模型

區(qū)域推薦模型的作用是獲取圖像中目標(biāo)可能存在的位置。在本文中，我們希望用目標(biāo)檢測模型來獲得每幀中人的位置，進(jìn)而獲得一段時間內(nèi)運(yùn)動實(shí)例的連續(xù)活動軌跡。

可用的目標(biāo)檢測算法有很多，本文采用了一個成熟且高效的目標(biāo)檢測模型——YOLOv3[9]。與上文中提到的two-stage 模型不同，YOLO 是one-stage，將目標(biāo)檢測作為回歸問題來求解。其核心思想是將輸入圖像劃分成網(wǎng)格，直接在輸出層回歸出以各格點(diǎn)為中心物體的邊界框信息以及分類。由于計(jì)算流程更加簡單，使得YOLO 有較高的準(zhǔn)確度的情況下以實(shí)時速度進(jìn)行檢測。

本文任務(wù)是實(shí)現(xiàn)的是人類暴力行為檢測，因此本文中使用的YOLO 稍微不同于原始模型。本文中YO?LO 只檢測一個類別——人，并預(yù)測每幀中所有人所在的位置。此外，檢測對象相對固定，因此僅在最后兩不同的特征尺度下進(jìn)行預(yù)測，使用的6 個先驗(yàn)框（anchor boxes）同樣由K-means 類聚算法在數(shù)據(jù)集（描述于1.3小節(jié)）上得到，兩個尺度分別分配3 個不同大小的先驗(yàn)框。損失函數(shù)方面，對類別和置信度使用二值交叉熵?fù)p失，對位置信息使用smooth L1 損失。

1.2 行為分類模型

在深度學(xué)習(xí)領(lǐng)域，行為分類模型同樣有許多可以使用的方法，例如雙流網(wǎng)絡(luò)模型[12]和基于3D 卷積（3D convolution）[5-7]的神經(jīng)網(wǎng)絡(luò)模型等。雙流網(wǎng)絡(luò)模型綜合RGB 圖像的空間信息和光流圖像的時間信息來判斷樣本的運(yùn)動類型。由于雙流網(wǎng)絡(luò)需要引入額外的光流計(jì)算，因此在本文中采用了另一種經(jīng)典的分類模型——3D-CNN。2D 卷積在圖像識別方面有非常好的效果，但是由于結(jié)構(gòu)上的限制，它不能有效地提取時間維度的信息。3D 卷積采用的是三維的卷積核，所以更加適合視頻數(shù)據(jù)的處理，在擁有時間維度的視頻上能更合理地提取相關(guān)特征。

由于暴力行為檢測任務(wù)是一個二分類問題，因此我們選擇設(shè)計(jì)一個小型的網(wǎng)絡(luò)模型。本文的分類模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。其中每個Conv_X 都包含一個卷積層、一個Batch Normalization（BN）層和一個Re?LU 非線性激活層。這里的模型結(jié)構(gòu)大體與C3D[7]相同，并且輸入都是包含16 幀的視頻片段，分辨率為112×112。不同的是本文采用了全卷積的形式，用步長為2 的卷積層代替池化層。并且加入了BN 層來幫助加快收斂、消除了其他正則化形式的需要。AvgPool是平均池化層，Global 意思是全局平均池化。最后用一個全連接層（Full Connected layer，F(xiàn)C）得到預(yù)測結(jié)果，2 指的是兩個類別——暴力事件和正常事件。使用交叉熵作為訓(xùn)練的損失函數(shù)。

表1 分類模型網(wǎng)絡(luò)結(jié)構(gòu)

1.3 實(shí)現(xiàn)細(xì)節(jié)

首先將輸入視頻分成一系列的幀，逐幀送入?yún)^(qū)域推薦模型（YOLO）中。通過分析暴力行為的特征可發(fā)現(xiàn)，這是一種群體行為，至少是兩個人的活動。所以在得到人的邊界框后，將同一幀中邊界框間的交并比（In?tersection over Union，IoU）和框中心點(diǎn)間的相對距離兩個指標(biāo)都在一定閾值內(nèi)的框進(jìn)行合并，得到一個個暴力行為可能發(fā)生的可疑區(qū)域。這種做法能幫助算法排除一些不可能發(fā)生暴力行為的區(qū)域，減少計(jì)算量。由于可疑區(qū)域包含的冗余信息更少，因此能幫助后續(xù)行為識別算法更準(zhǔn)確地注意到暴力行為本身的特征而不是其他信息，使算法得到更精確的識別結(jié)果。

接下來就需要將不同幀中的區(qū)域按一定關(guān)系關(guān)聯(lián)起來構(gòu)成行為管道。由于行為分類模型的輸入是包含16 幀的視頻片段，因此我們首先按時間順序依次獲取包含16 個區(qū)域的行為小管（action tubelet）。構(gòu)建方法如下。初始化：在第一幀中，每個可疑區(qū)域都為起始區(qū)域開始構(gòu)建不同的行為小管。鏈接：隨后幀中的可疑區(qū)域?qū)礂l件分配給現(xiàn)存的行為小管，條件為：①該區(qū)域未被分配，②該區(qū)域與現(xiàn)存小管的重疊度大于某一閾值，③該區(qū)域與某小管的重疊度大于與其他小管的重疊度。若可疑區(qū)域最終沒被分配將作為新的行為小管的開始。終止：若現(xiàn)存某一行為小管的長度達(dá)到16，則將終止擴(kuò)展并取出。若現(xiàn)存某一行為小管的長度小于16 且沒有被分配新的區(qū)域，這個小管將被終止并拋棄。得到完整的行為小管后，需要把小管中所包含的區(qū)域映射回原始圖像或者特征圖上進(jìn)行裁剪（在實(shí)驗(yàn)中我們選擇映射到原始圖像）組成待分類的視頻樣本。由于小管中區(qū)域大小可能不一致，因此我們將小管中所有區(qū)域的位置和大小統(tǒng)一為能包含所有區(qū)域的最小區(qū)域。 假設(shè)裁剪出的視頻樣本尺寸為3×16×W×H，其中3 為圖像RGB 三個通道，W和H分別為區(qū)域的寬和高。視頻樣本將被統(tǒng)一調(diào)整大小至3×16×112×112，隨后送入行為分類模型進(jìn)行分類。

監(jiān)控視頻的幀率往往在20～30 fps 之間，每幀都進(jìn)行檢測是一項(xiàng)比較耗時和冗余的工作，并且經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)這也不是必須的。為了減少計(jì)算量，增加行為識別所需要的時間信息，我們降低了檢測的采樣率，即讓幀序列不是全部進(jìn)入?yún)^(qū)域推薦網(wǎng)絡(luò)，而是按一定的間隔（例如隔幀檢測）。

2 實(shí)驗(yàn)及結(jié)果

暴力行為數(shù)據(jù)集是由我們邀請學(xué)生扮演，拍攝不同人群、不同角度下的暴力行為視頻集。最后通過手工標(biāo)注暴力行為在視頻中的位置來得到完整的監(jiān)督信息。我們的數(shù)據(jù)集有381 段視頻，按照8:2 的比例劃分成訓(xùn)練集和驗(yàn)證集。為了增加數(shù)據(jù)多樣性，實(shí)驗(yàn)中使用了常用的數(shù)據(jù)增強(qiáng)技術(shù)。具體來說，在微調(diào)目標(biāo)檢測模型和訓(xùn)練分類模型時，對輸入數(shù)據(jù)使用隨機(jī)翻轉(zhuǎn)、隨機(jī)尺度變化和隨機(jī)裁剪。注意，分類模型的輸入是圖片序列，因此尺度變化和裁剪的參數(shù)在同一個序列中應(yīng)該是相同的。最后選擇學(xué)習(xí)率為10-4、權(quán)重衰減率為5×10-4的Adam 優(yōu)化器來訓(xùn)練優(yōu)化模型。

實(shí)驗(yàn)中采用上述方法對數(shù)據(jù)集中的驗(yàn)證集進(jìn)行檢測，結(jié)果如表2 所示，其中Frame-AP/Video-AP 表示幀級/視頻級平均查準(zhǔn)率（Average Precision，AP），其IoU 閾值都是0.5。部分定性檢測結(jié)果如圖2 所示。此外，本文還從網(wǎng)絡(luò)上下載了一些打架模擬視頻進(jìn)行檢測，其檢測結(jié)果說明了我們模型良好的泛化性。

圖2 部分檢測結(jié)果的展示

表2 實(shí)驗(yàn)評價(jià)指標(biāo)

第一行為我們數(shù)據(jù)集中的驗(yàn)證樣本。第二行為網(wǎng)絡(luò)上獲取的監(jiān)控視頻。圖片左上角behavior 指的是此場景下行為的類型。紅色框?yàn)樾袨榘l(fā)生的空間位置，confidence 為判斷該位置為暴力事件的置信度。

3 結(jié)語

本文介紹了一個封閉環(huán)境下暴力行為檢測的方案，這個方案不僅能檢測到視頻中是否發(fā)生了指定的暴力行為，而且能對行為者進(jìn)行時空定位。并且我們在模型和其他方面提出了一些減少計(jì)算的方法，最終實(shí)現(xiàn)了性能和速度均衡的實(shí)時檢測（即使在使用顯卡的筆記本電腦上）。此外，我們的方案還能很方便地?cái)U(kuò)展到時空行為檢測任務(wù)，只需要把3D-CNN 分類網(wǎng)絡(luò)從二分類擴(kuò)展到多分類即可。但是本文所提出的方法也存在不足，例如復(fù)雜環(huán)境（人群密集）下的檢測、twostage 方案在時空行為檢測上帶來的弊端等。這些問題是接下來的工作。