異常行為檢測數(shù)據(jù)集快速構(gòu)建方法

杜潘飛，王志輝，李雄偉，朱永旺

(1.陸軍工程大學(xué) 石家莊校區(qū)，河北 石家莊 050003;2.河北建設(shè)投資集團有限責(zé)任公司，河北 石家莊 050001)

0 引 言

自從AlexNet[1]在ImageNet圖像分類比賽中取得標(biāo)志性的進(jìn)步以來，卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在計算機視覺領(lǐng)域得到廣泛的應(yīng)用與發(fā)展。與此同時，從2D圖像空間目標(biāo)識別擴展到3D時空的視頻行為識別也成為該領(lǐng)域的研究熱點，視覺行為的識別不僅增加模型的復(fù)雜性，而且訓(xùn)練行為識別模型所需的數(shù)據(jù)量也顯著地增加。異常行為檢測作為行為識別中的一個特殊領(lǐng)域，在公共安全、自動駕駛、視頻監(jiān)控等應(yīng)用中具有相當(dāng)重要的意義，現(xiàn)代智慧城市的發(fā)展高度依賴于以人為中心分析的技術(shù)的進(jìn)步。文獻(xiàn)[2]中說明對于一個動作識別模型，越多的訓(xùn)練數(shù)據(jù)對模型的識別性能越有益，因此為了獲得更好的檢測精度，通常需要大量的訓(xùn)練數(shù)據(jù)。但構(gòu)建一個大尺度、高質(zhì)量的行為檢測數(shù)據(jù)集是一個很大的挑戰(zhàn)，其構(gòu)建過程涉及視頻收集、人物空間位置檢測以及人物行為標(biāo)注，因而如何快速地構(gòu)建一個高質(zhì)量的數(shù)據(jù)集對提升模型的檢測性能具有重大的意義。早期的行為識別數(shù)據(jù)集HMDB-51[3]和UCF-101[4]包含的數(shù)據(jù)量較少且都是對經(jīng)過裁剪的視頻片段做的標(biāo)注，其每個視頻片段中僅僅含有一個人物的一個動作，很明顯這種方法構(gòu)建的數(shù)據(jù)集不能滿足實時運行的異常行為檢測應(yīng)用的需要。

為解決這個問題，文中提出一種快速構(gòu)建行為檢測數(shù)據(jù)集的方法，其以一種半自動的方式來完成數(shù)據(jù)集的構(gòu)建，具有很強的適用性和有效性，同時有助于節(jié)省人力成本，使用該方法生成的數(shù)據(jù)集不僅覆蓋多個領(lǐng)域的視頻，且都是無裁剪的，可應(yīng)用于訓(xùn)練實時運行的行為檢測系統(tǒng)。(文中使用的相關(guān)程序代碼及生成的數(shù)據(jù)集可在https://github.com/xiayule158/AbnormalAction/上獲取。)

1 相關(guān)工作

隨著計算機硬件算力的不斷提升與存儲設(shè)備價格的不斷下降，計算機視覺在過去的十多年中得到快速的發(fā)展，其中行為檢測更是在實際生活中具有很多潛在的應(yīng)用，如自動駕駛、社會安防等。為實現(xiàn)讓計算機自動識別視頻中的異常行為，首先要解決的問題便是擁有大量已標(biāo)注的異常行為檢測視頻數(shù)據(jù)集，而到目前為止這些數(shù)據(jù)集大多是以人工的手段標(biāo)注完成，花費時間長。當(dāng)前數(shù)據(jù)集可根據(jù)對視頻中行為的標(biāo)注方法不同而將其分為視頻水平的標(biāo)注和視頻幀水平的標(biāo)注，在這部分中介紹比較典型的公共數(shù)據(jù)集，簡要地介紹其特點和構(gòu)建的流程。

Charades數(shù)據(jù)集[5]，2016年公開的包含157個日常室內(nèi)動作的數(shù)據(jù)集，其通過Amazon Mechanical Turk(AMT)這個眾包平臺發(fā)布任務(wù)來完成數(shù)據(jù)的收集工作；主要構(gòu)建流程為：生成室內(nèi)活動劇本、要求工作人員表演劇本中的活動并記錄、確認(rèn)記錄的視頻和劇本是否對應(yīng)和標(biāo)注出視頻中動作發(fā)生起點以及終點作為時序標(biāo)簽。這個數(shù)據(jù)集是基于視頻水平來完成標(biāo)注的，每個視頻中都包含一種動作，屬于裁剪過的數(shù)據(jù)集，不適合在實時的異常行為檢測應(yīng)用中作為訓(xùn)練集使用。

Kinetics-400數(shù)據(jù)集[6]，于2017年Google發(fā)布，其視頻來源于YouTube上的短視頻，整個數(shù)據(jù)集包含400個類別的動作，每個類別包含至少400個識別片段，每個片段長度大約為10 s。其構(gòu)建流程主要為：確定動作列表、根據(jù)標(biāo)題與動作列表是否匹配從YouTube中檢索視頻、通過AMT發(fā)布視頻標(biāo)注任務(wù)來完成標(biāo)注和最后人工完成數(shù)據(jù)集的核對。該數(shù)據(jù)集同樣屬于視頻水平的標(biāo)注，且大部分的工作由人工來完成，同樣需要較高的人工成本。

AVA[7]，2017年公開發(fā)布的基于視頻幀水平標(biāo)注的數(shù)據(jù)集，擁有80個原子動作類別。與基于視頻水平標(biāo)注不同的是，該數(shù)據(jù)集是對視頻的中動作的關(guān)鍵幀做的標(biāo)注，且對其中的每個人物標(biāo)注多種行為，這種標(biāo)注方法突破了對動作視頻長度的限制，屬于無裁剪的動作視頻，適合作為實時檢測場景應(yīng)用的訓(xùn)練集。其主要的構(gòu)建流程分為：動作詞典生成、視頻段選擇、人物邊框標(biāo)注(由Faster R-CNN[8]人物檢測器來完成)和人物動作標(biāo)注(在眾包平臺發(fā)布任務(wù)完成)。

HiEve[9](Human in Events)數(shù)據(jù)集，2020年發(fā)布的稠密場景監(jiān)控視頻數(shù)據(jù)集，其視頻來源于9個不同的稠密場景，行為識別部分包含14類別，且其標(biāo)注方法屬于視頻幀水平的標(biāo)注，很適合作為實際場景中異常行為檢測的訓(xùn)練集，但其標(biāo)注過程仍屬于手工標(biāo)注的方法，工作量較大。數(shù)據(jù)集構(gòu)建流程：選擇幾個有復(fù)雜事件的密集場所和直接從YouTube上通過異常行為關(guān)鍵字搜索來收集視頻、手工核對消除冗余視頻、手工標(biāo)注視頻中所有行人的邊框和以20幀的間隔手工完成行人行為類別標(biāo)簽的標(biāo)注工作。

本部分提及的數(shù)據(jù)集和文中收集的數(shù)據(jù)集比較如表1所示。從中可以看出：基于視頻水平的標(biāo)注方法雖然工作量較小，但不適合作為實時行為檢測的訓(xùn)練集；相比之下，基于視頻幀水平標(biāo)注的數(shù)據(jù)集更適合作為實時檢測的數(shù)據(jù)集，但目前基于幀水平的數(shù)據(jù)集標(biāo)注過程很多步驟都是由人工來完成，工作量非常大。

表1 動作識別數(shù)據(jù)集比較

2 視頻收集

在異常行為檢測的研究過程中，快速且高質(zhì)量地構(gòu)建數(shù)據(jù)集是算法優(yōu)化的前提，為此文中提出一種半自動化的構(gòu)建方法，在保證數(shù)據(jù)集質(zhì)量的同時，有助于降低時間成本。整個數(shù)據(jù)集的構(gòu)建過程如圖1所示(注：圖中模塊帶陰影的流程為自動完成部分，否則為手動完成)。從圖中可以看出，視頻收集是完成數(shù)據(jù)集構(gòu)建的基礎(chǔ)，視頻收集的過程主要包括行為列表確定、視頻文件獲取和視頻文件清理三個步驟。

圖1 數(shù)據(jù)集構(gòu)建流程

2.1 行為列表確定

文中主要考慮公共場所中的異常行為，選擇對公共安全影響較大的動作作為候選對象。由于當(dāng)前對公共安全中的異常行為并沒有一個清晰明確的定義，因此如何構(gòu)建一個描述異常行為的列表是非常困難的。為了確定候選的動作，參考現(xiàn)有的公開視頻數(shù)據(jù)集(如：CASIA行為分析數(shù)據(jù)庫[10]、UCF-Crime[11])中的動作類別標(biāo)簽以及公開發(fā)表的該領(lǐng)域的學(xué)術(shù)論文，查閱現(xiàn)行法律、法規(guī)和條例等相關(guān)文件，最后確定了14種對公共安全妨害嚴(yán)重的行為作為候選列表對象，包括：行走、交通事故、搶劫、盜竊、追逐、縱火、砸車、醉酒、槍擊、刀砍、打架、摔倒、跳躍、翻越護欄。

2.改革金融會計監(jiān)管模式。針對金融會計的監(jiān)督管理模式的改革，要從以下兩個方面著手：一是對企業(yè)當(dāng)中參與金融監(jiān)管的各個部門的職能都進(jìn)行明確，合理安排各個部門之間的分工，每個部門之間的信息都要進(jìn)行共享，從而使得每個部門都能對金融會計起到監(jiān)督的作用。企業(yè)根據(jù)現(xiàn)有的金融管理監(jiān)督機制，根據(jù)不同的情況和種類制定出相對應(yīng)的解決方案，充分利用資源，使得企業(yè)金融的監(jiān)管能夠發(fā)揮最大的作用。二是將監(jiān)察管理原則變更為事前、事中、事后，來對金融會計進(jìn)行監(jiān)管。方案確定之前需要仔細(xì)考量，集思廣益，對制定出的方案也要反復(fù)的檢查，方案實行之后要做一個全方位的評定，這樣才能反映出企業(yè)最真實的情況。

2.2 視頻文件獲取

在確定異常行為列表之后，以其的行為標(biāo)簽和同義詞作為關(guān)鍵字從網(wǎng)絡(luò)上搜索與之相關(guān)的視頻。此外，為盡可能多地獲取視頻資源，對每個候選動作同時使用其他語言(如：英語、法語、日語等)作為關(guān)鍵詞進(jìn)行搜索。為提高視頻的搜索和下載的效率，文中采取以Python語言實現(xiàn)的網(wǎng)絡(luò)爬蟲程序來自動地完成這項工作，減少人工參與的工作量；為提高視頻下載的速度，文中采取多線程(設(shè)置為8)的方式并行下載，對于每個類別搜索到的視頻，最后將其以mp4的格式保存到以動作類別命名的文件夾下，實現(xiàn)視頻的自動下載，這個過程花費5個小時共計下載2 200個視頻文件，總計大小約為18 GB。

2.3 視頻文件清理

為構(gòu)建高質(zhì)量的行為檢測數(shù)據(jù)集，視頻下載完成之后首先需要對視頻文件進(jìn)行清理，移除其中下載出錯而不能正常打開、不包含候選異常行為列表中動作類別、重復(fù)、模糊不清的視頻文件。另外，為減少視頻文件清理過程中工作人員的工作量，在這部分中采取行為檢測器與人工核對相結(jié)合的方式來完成此項工作。

首先，對于其中下載出錯而不能打開的視頻文件，采用OpenCV這一計算機視覺工具來檢驗是否可以讀取視頻中的每一幀圖像，若讀取中發(fā)生錯誤，則說明其視頻文件出現(xiàn)問題，直接將其移除。

其次，對于不包含候選列表中行為以及模糊不清的視頻文件，采用行為檢測算法來完成。文中使用SlowFast[12]和AIA[13]作為視頻行為檢測器來檢測視頻中是否包含行為列表中的行為。對于未能檢測其中行為的視頻，先將其移動到另外一個對應(yīng)類別的文件夾中，以便后續(xù)的人工核對。

最后，由于目前發(fā)布的檢測器算法模型中可檢測的行為類別數(shù)并沒有完全包含文中確定的行為類別，因此對于其檢測到行為的視頻需要人工核對其中是否包含。在這個過程中，對那些不包含候選行為、模糊的視頻直接刪除，而對于檢測器誤檢的視頻將其恢復(fù)到原始文件中。

至此已完成視頻文件的清洗工作，共獲得2 100個包含候選異常行為的視頻文件，這個過程中人工參與的工作為核對行為檢測器未能正確識別的視頻文件共計84個，占總工作量的4%。

3 視頻幀標(biāo)注

構(gòu)建的數(shù)據(jù)集是用于實時場景下監(jiān)控視頻中的異常行為檢測，因此采取基于幀水平的模式對視頻中的動作進(jìn)行標(biāo)注，另外為了和當(dāng)前通用的數(shù)據(jù)集在標(biāo)注文件的格式上保持一致，文中采用與HiEve相同的標(biāo)注形式。不同的是通過對數(shù)據(jù)的分析和觀察認(rèn)為其標(biāo)注間隔過于密集，導(dǎo)致較大的工作量，因此，文中視頻幀間隔采用40幀。本部分詳細(xì)介紹視頻幀水平的半自動標(biāo)注方法，主要流程包括：視頻幀人物邊框標(biāo)注、人物動作標(biāo)注和標(biāo)簽人工核對。

3.1 人物邊框標(biāo)注

視頻中動作檢測首先要定位人物在視頻幀中的空間位置，故而人物邊框標(biāo)注的問題便轉(zhuǎn)化為目標(biāo)檢測的特殊情況，只需檢測視頻幀圖像中的人物即可。為實現(xiàn)人物定位的自動化，文中采用目標(biāo)檢測模型作為人物檢測器；另外考慮到公共場景的監(jiān)控視頻中可能會出現(xiàn)密集人群以及為了保證人物檢測器的高召回率，目標(biāo)檢測器選擇CrowdDet[14]和Faster R-CNN。對于視頻中的幀圖像，執(zhí)行以下的步驟完成人物邊框標(biāo)注：

首先，將幀圖像F分別輸入到人物檢測器DetF、DetC中，得到各自預(yù)測的人物邊框集合BF和BC；為找到兩個人物邊框集合中的對應(yīng)項，遍歷集合BF和BC中所有元素組成邊框?qū)FC={(bF,bc)|?bF∈BF,?bC∈BC}中的元素。

選擇其中IoU>0.95的項作為同一個人物邊框的預(yù)測結(jié)果，取其兩者的平均值作為人物邊框值。在得到所有人物邊框值之后，將其所在幀和邊框值保存到本地文件中，作為后續(xù)核對的對象。

其次，為了保證人物邊框標(biāo)注的質(zhì)量，在完成人物邊框的自動提取之后，需要以人工的方式來核對提取的人物邊框是否正確以及是否出現(xiàn)誤判和遺漏項。在此將提取到的邊框數(shù)值通過OpenCV展示在視頻幀中，對其誤判的人物邊框刪除，并對其未提取到的人物邊框以手工的方式進(jìn)行標(biāo)注。

至此，便完成視頻幀的人物邊框標(biāo)注工作，在這個過程中，僅有5%的人物邊框需要手工添加和修改，其余都是通過人物檢測器自動完成的，這在很大程度上節(jié)約了數(shù)據(jù)集標(biāo)注的時間。

3.2 人物動作標(biāo)注

在確定人物與視頻幀中的空間位置之后，接下來要完成的便是人物動作識別及其時序定位，即人物動作標(biāo)注。這是構(gòu)建行為檢測數(shù)據(jù)集的最關(guān)鍵部分，文中采取行為識別模型和手工標(biāo)注相結(jié)合的方式來完成；另外，與AVA與HiEve數(shù)據(jù)集不同的是，文中確定的候選行為之間具有互斥性，因而對于其中的每個人物只標(biāo)注一個動作，其具體步驟如下：

(1)將視頻分別輸入到目前公開可用的SlowFast與AIA行為檢測模型做推理，得到部分人物行為標(biāo)簽的預(yù)測結(jié)果，其中包含人物動作的開始位置、結(jié)束位置、動作類別及其概率。

(2)人工核對1中預(yù)測的行為標(biāo)簽，對其中誤判和未能成功識別的行為做10%的人工標(biāo)注。

(3)使用2中人工核對與標(biāo)注后的數(shù)據(jù)集作為訓(xùn)練集重新訓(xùn)練模型。

(4)重復(fù)1～3步，直到視頻中約95%的人物的動作都被正確標(biāo)注為止。

(5)對于剩下未能成功識別的人物，采用手工的方式來完成標(biāo)注。

3.3 數(shù)據(jù)集概覽

通過使用文中提出的方法所構(gòu)建的異常行為數(shù)據(jù)集，共包含2 100個視頻片段，總計時長約210個小時；14個人物動作類別，總計標(biāo)注數(shù)量為73 652個。其中手工標(biāo)注的動作標(biāo)簽數(shù)量約為10 300個，占總標(biāo)簽量的14%，相比于當(dāng)前多個數(shù)據(jù)集的構(gòu)建過程中手工標(biāo)注量已經(jīng)減少30%～50%。采用文中提出的構(gòu)建方法構(gòu)建的數(shù)據(jù)集的最終標(biāo)注視頻動作標(biāo)簽樣本如圖2所示，各類別動作所含標(biāo)注數(shù)量分布如圖3所示。

圖2 標(biāo)注樣本示例

圖3 各個類別動作標(biāo)注數(shù)量分布

從中可以看出各個類別所含的標(biāo)注數(shù)量大致相同，滿足了樣本均衡的要求。

4 實 驗

為驗證文中提出的構(gòu)建數(shù)據(jù)集方法的有效性，本部分以該數(shù)據(jù)集(為方便描述，將該數(shù)據(jù)集記為OurData)和與之行為類別相近的HiEve分別作為訓(xùn)練集，CASIA行為分析數(shù)據(jù)庫(記為CASIA)作為測試集，并采用當(dāng)前性能處于行業(yè)領(lǐng)先的SlowFast與AIA作為行為檢測模型來評估數(shù)據(jù)集的質(zhì)量，OurData、HiEve和CASIA數(shù)據(jù)集所包含的動作標(biāo)簽如表2所示。

表2 OurData、HiEve和CASIA所含動作標(biāo)簽比較

為減少模型的訓(xùn)練時間，本實驗中所有檢測模型都使用與Kinetics-400數(shù)據(jù)集上預(yù)訓(xùn)練的權(quán)值作初始化，迭代次數(shù)都設(shè)置為50，使用動量值為0.9的SGD[15]作為優(yōu)化器，初始學(xué)習(xí)率為0.01并在30次迭代后衰減到0.01，權(quán)值衰減設(shè)置為0.000 1；實驗中使用的深度學(xué)習(xí)框架為PyTorch且在4塊GeForce RTX2080Ti(11 GB)的GPU上完成，整個訓(xùn)練過程花費25天。實驗結(jié)果如表3所示，從中可以看出：

表3 各類別測試精度對比

(1)對于只在HiEve中含有的類別(run、gather、bend、crouch)，在HiEve上訓(xùn)練的模型其檢測精度都超過OurData訓(xùn)練的模型。

(2)對于只在OurData中含有的類別(jump、punch car、robbery、overtake)，OurData訓(xùn)練的模型的檢測精度都超過HiEve訓(xùn)練的模型。

(3)對于HiEve、OurData中都含有的類別(walk、faint、fight)，OurData訓(xùn)練的模型的檢測精度略微優(yōu)于HiEve訓(xùn)練的模型，原因是OurData數(shù)據(jù)集中相應(yīng)類別的標(biāo)簽數(shù)量多于HiEve中的標(biāo)簽數(shù)量。

(4)對于HiEve、OurData中都不含有的類別(wander、follow、meet)，OurData訓(xùn)練的模型的檢測精度和HiEve訓(xùn)練的模型基本相同。

(5)總的來說，使用OurData訓(xùn)練的模型相對于使用HiEve訓(xùn)練的模型的整體行為檢測性能要好(23.28>20.67，24.42>21.48)。

實驗結(jié)果表明，OurData可以作為異常行為檢測模型的訓(xùn)練集來使用，證明文中提出的數(shù)據(jù)集構(gòu)建方法是有效的。

5 結(jié)束語

詳細(xì)描述了一種半自動構(gòu)建實時異常行為檢測數(shù)據(jù)集方法，通過該方法可以快速地構(gòu)建一個大尺度、高質(zhì)量的行為檢測數(shù)據(jù)集，整個構(gòu)建流程采用自動程序和手工核對相結(jié)合的方式執(zhí)行，顯著地減少了數(shù)據(jù)集構(gòu)建過程中人工參與的工作量。實驗部分說明采用該方法構(gòu)建的數(shù)據(jù)集是高質(zhì)量的，可以作為行為檢測及其相關(guān)模型的訓(xùn)練集來使用，希望該數(shù)據(jù)集構(gòu)建方法可以成為研究視頻中行為檢測任務(wù)的一種有效的輔助工具。在接下來的工作中，將使用這一方法來完善異常行為檢測數(shù)據(jù)集的構(gòu)建，增加其中檢測精度較低類別(jump、faint等)的樣本數(shù)量，并使用該數(shù)據(jù)集來進(jìn)行異常行為檢測算法的研究，以期進(jìn)一步提升當(dāng)前公共場景中異常行為檢測模型的性能。