基于雙流殘差網(wǎng)絡(luò)的視頻異常事件檢測(cè)研究

王梓旭， 金立左， 張 珊， 蘇國(guó)偉， 陳瑞杰

(1.東南大學(xué)，南京 210000； 2.西安電子科技大學(xué)，西安 710000)

0 引言

隨著深度學(xué)習(xí)相關(guān)理論的不斷發(fā)展，基于計(jì)算機(jī)視覺技術(shù)的視頻異常事件檢測(cè)方法得到了積極的研究與探索，然而異常事件本身的多樣性、模糊性和復(fù)雜性，使得該領(lǐng)域依然面臨諸多挑戰(zhàn)。盡管當(dāng)前許多異常事件檢測(cè)模型準(zhǔn)確率較高，但是可用性較差，在目標(biāo)密集、背景復(fù)雜或有遮擋的情況下效果并不理想。針對(duì)上述問題，近年來提出了許多基于深度學(xué)習(xí)的視頻動(dòng)作識(shí)別方法，主要分為兩類，即基于3D卷積網(wǎng)絡(luò)的方法和基于雙流網(wǎng)絡(luò)的方法。

2012年提出的3D卷積網(wǎng)絡(luò)[1]直接同時(shí)提取空間和時(shí)間維度的特征。后來為了降低訓(xùn)練3D卷積網(wǎng)絡(luò)的復(fù)雜性，又提出了如P3D[2]，R(2+1)D[3]等卷積核分解以及FstCN[4]，MiCTNet[5]等2D與3D卷積同時(shí)進(jìn)行的方法。

基于雙流網(wǎng)絡(luò)的方法[6]將視頻動(dòng)作識(shí)別任務(wù)解耦為空間特征提取和時(shí)間特征提取兩個(gè)子任務(wù)，從多個(gè)模態(tài)中提取視頻特征,其又分為網(wǎng)絡(luò)融合與視頻長(zhǎng)時(shí)序信息建模兩個(gè)研究方向。網(wǎng)絡(luò)融合主要負(fù)責(zé)關(guān)鍵時(shí)空信息關(guān)聯(lián)，如文獻(xiàn)[7]通過實(shí)驗(yàn)驗(yàn)證了時(shí)空特征關(guān)聯(lián)性學(xué)習(xí)對(duì)于網(wǎng)絡(luò)融合的重要性，有效的跨流交互方式能夠提升雙流網(wǎng)絡(luò)的性能。視頻長(zhǎng)時(shí)序信息建模主要有以下3類方法：基于LSTM[8-10]的時(shí)空特征聚合；基于段的長(zhǎng)時(shí)間序列建模，主要采用TSN模型[11]，后衍生出TRN[12],TSM[13]等模型；基于時(shí)空卷積網(wǎng)絡(luò)構(gòu)建時(shí)序連接，如ST-ResNet[14]和MulResNet[15]通過引入一維的時(shí)間卷積構(gòu)建時(shí)序連接，擴(kuò)展了網(wǎng)絡(luò)的時(shí)間建模能力。

本文針對(duì)人群暴動(dòng)等公共場(chǎng)所異常事件，提出一種基于雙流殘差網(wǎng)絡(luò)的視頻異常事件檢測(cè)算法。

1 檢測(cè)算法介紹

本文所使用的雙流殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 雙流殘差網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structural diagram of two-streamresidual network

使用ResNet-34作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，時(shí)間流網(wǎng)絡(luò)的輸入為L(zhǎng)K光流法得到的連續(xù)多幀光流圖。網(wǎng)絡(luò)由特征提取塊和特征融合塊組成：特征提取塊負(fù)責(zé)提取視頻中的時(shí)空特征；特征融合塊負(fù)責(zé)將高維時(shí)空特征進(jìn)行融合，得到最終的檢測(cè)結(jié)果。

圖2為本文基于雙流殘差網(wǎng)絡(luò)的異常事件檢測(cè)算法流程圖。該算法在網(wǎng)絡(luò)訓(xùn)練時(shí)采用分段時(shí)序網(wǎng)絡(luò)中稀疏視頻幀采樣方式，從15幀圖像中每5幀隨機(jī)抽取1幀RGB圖像和2幀光流圖像，分別輸入空間流網(wǎng)絡(luò)和時(shí)間流網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能夠處理更長(zhǎng)時(shí)間的視頻，充分提取視頻中豐富的時(shí)序特征；同時(shí)，采用具有34層卷積層和全連接層的ResNet-34殘差網(wǎng)絡(luò)[16]作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，通過加深網(wǎng)絡(luò)深度，進(jìn)一步擴(kuò)展雙流網(wǎng)絡(luò)對(duì)長(zhǎng)時(shí)間運(yùn)動(dòng)信息的建模能力；最后，在網(wǎng)絡(luò)全連接層前將高維圖像靜態(tài)空間特征和光流圖像時(shí)序運(yùn)動(dòng)特征進(jìn)行融合，充分挖掘視頻中的時(shí)空關(guān)聯(lián)關(guān)系，并得到最終檢測(cè)結(jié)果。

圖2 基于雙流殘差網(wǎng)絡(luò)異常事件檢測(cè)算法流程圖Fig.2 Flow chart of anomaly event detection algorithmbased on two-stream residual network

以下將從視頻幀采樣、特征提取和特征融合3個(gè)方面詳細(xì)闡述本文算法設(shè)計(jì)思路和實(shí)現(xiàn)過程。

1.1 視頻幀采樣

事件檢測(cè)系統(tǒng)通常處于長(zhǎng)時(shí)間監(jiān)控場(chǎng)景中，人群暴動(dòng)等異常行為事件通常時(shí)間跨度較長(zhǎng)，因此，視頻幀采樣方式對(duì)于視頻中的長(zhǎng)時(shí)序特征信息學(xué)習(xí)尤為重要。盡管采用視頻幀密集采樣方式對(duì)于長(zhǎng)時(shí)序行為的識(shí)別效果較好，但是間隔較短的圖像之間往往存在大量冗余信息，過多的網(wǎng)絡(luò)輸入數(shù)據(jù)使得訓(xùn)練成本大幅增加，并且在實(shí)際應(yīng)用時(shí)也會(huì)導(dǎo)致檢測(cè)過程耗時(shí)較長(zhǎng)。因此，采樣方式的選擇應(yīng)當(dāng)切合實(shí)際，使網(wǎng)絡(luò)能夠充分學(xué)習(xí)視頻中長(zhǎng)時(shí)序特征的同時(shí)，盡可能減少網(wǎng)絡(luò)輸入數(shù)據(jù)，降低訓(xùn)練成本。

為了進(jìn)一步提高訓(xùn)練速度，使網(wǎng)絡(luò)能夠充分學(xué)習(xí)長(zhǎng)時(shí)序特征，本文借鑒TSN網(wǎng)絡(luò)結(jié)構(gòu)中的視頻幀采樣思想，采用分段采樣方式從視頻中抽取圖像幀。相對(duì)于傳統(tǒng)雙流網(wǎng)絡(luò)，TSN通過將整段視頻分段然后采樣的方式，每個(gè)片段都將給出其本身對(duì)于行為類別的初步預(yù)測(cè)，從這些片段的“共識(shí)”來得到視頻級(jí)的預(yù)測(cè)結(jié)果[17]。這使得網(wǎng)絡(luò)能夠在保持合理計(jì)算成本的同時(shí)處理更長(zhǎng)時(shí)間的視頻，從而使得到的時(shí)序特征更加豐富，大幅提高了傳統(tǒng)雙流網(wǎng)絡(luò)的性能。其中，分段采樣的方式能夠充分提取長(zhǎng)時(shí)間尺度的時(shí)空特征，并且在一定程度上避免數(shù)據(jù)冗余。圖3給出了視頻幀采樣過程，首先將視頻分為3部分，然后從每一部分中隨機(jī)抽樣單個(gè)視頻幀和2幀光流圖像，分別作為空間流網(wǎng)絡(luò)和時(shí)間流網(wǎng)絡(luò)的輸入。

圖3 視頻幀采樣過程示意圖Fig.3 Diagram of video frame sampling process

1.2 特征提取

HE等[16]提出的ResNet殘差網(wǎng)絡(luò)相比傳統(tǒng)的CNN網(wǎng)絡(luò)，網(wǎng)絡(luò)深度更深且能夠避免網(wǎng)絡(luò)層數(shù)過多導(dǎo)致的網(wǎng)絡(luò)退化問題，相比VGG-16等網(wǎng)絡(luò)具有更好的性能，因此，本文將ResNet殘差網(wǎng)絡(luò)作為雙流殘差網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，用于提取視頻中的時(shí)空特征。

表1給出了ResNet-34的網(wǎng)絡(luò)結(jié)構(gòu)，其由33層卷積層和1層全連接層組成，在第1個(gè)卷積層conv1之后有1個(gè)最大池化層，第2～5層卷積層都由若干Basic Block殘差單元組成，其個(gè)數(shù)分別為3,4,6,3，每個(gè)單元進(jìn)行兩次卷積操作，在第5層conv5_x之后有1個(gè)平均池化層和全連接層。

表1 ResNet-34網(wǎng)絡(luò)參數(shù)

根據(jù)表1中的描述，可以將整個(gè)網(wǎng)絡(luò)分為4部分，即conv2_x，conv3_x，conv4_x和conv5_x。其中，conv2_x中共有2個(gè)BasicBlock殘差單元，此部分的輸入與輸出的通道數(shù)和特征圖尺寸均相同，因此可以直接相加，無需在捷徑分支(shortcut)中添加1×1卷積。而conv3_x，conv4_x和conv5_x中的輸入與輸出的通道數(shù)和特征圖尺寸不同，因此需要在第1個(gè)BasicBlock殘差單元中設(shè)置步長(zhǎng)為2，將特征圖縮小2倍，并且在捷徑分支(shortcut)中添加一個(gè)1×1的卷積，使輸入與輸出的通道數(shù)能夠匹配。

本文基于PyTorch搭建網(wǎng)絡(luò)模型，空間流網(wǎng)絡(luò)SpatialStreamNet和時(shí)間流網(wǎng)絡(luò)TemporalStreamNet分別繼承自torch.nn.Module，并分別在構(gòu)造函數(shù)中聲明所使用的ResNet-34網(wǎng)絡(luò)，然后在forward方法中定義前向傳播邏輯。而雙流網(wǎng)絡(luò)TwoStream-FusionNet同樣繼承自torch.nn.Module，在構(gòu)造方法中聲明空間流網(wǎng)絡(luò)和時(shí)間流網(wǎng)絡(luò)對(duì)象，并在forward方法中定義融合邏輯，將2個(gè)網(wǎng)絡(luò)在conv5_x層后的輸出結(jié)果進(jìn)行卷積融合，經(jīng)過池化、全連接后，輸出Softmax得分。

ResNet-34最后經(jīng)過平均池化層和全連接層后，Softmax輸出的是1000維的向量，表示對(duì)于各個(gè)分類的檢測(cè)概率結(jié)果。而本文重點(diǎn)針對(duì)人群暴動(dòng)等5類公共場(chǎng)所異常事件，因此將全連接層的輸出特征(out_features)設(shè)置為5，表示對(duì)于這5類異常事件的檢測(cè)概率結(jié)果。

1.3 特征融合

融合方式和融合位置是影響時(shí)空特征融合結(jié)果的重要因素。早期針對(duì)雙流網(wǎng)絡(luò)融合的研究工作[7]討論了不同融合方式對(duì)網(wǎng)絡(luò)性能的影響，如最大值、加權(quán)融合等，研究表明，對(duì)空間流網(wǎng)絡(luò)與時(shí)間流網(wǎng)絡(luò)中高度抽象特征的關(guān)聯(lián)性學(xué)習(xí)對(duì)于網(wǎng)絡(luò)性能至關(guān)重要。因此，為了充分利用視頻中的時(shí)空特征關(guān)聯(lián)關(guān)系，本文借鑒了文獻(xiàn)[7]提出的“堆疊融合法”和“卷積融合法”，在ResNet-34網(wǎng)絡(luò)中較深的位置——conv5_x卷積層后將雙流網(wǎng)絡(luò)中的時(shí)空特征進(jìn)行融合。

圖4給出了特征融合原理圖，在空間流網(wǎng)絡(luò)和時(shí)間流網(wǎng)絡(luò)中的conv5_x卷積層后加入1個(gè)大小為3×3×512，stride和padding均為1的卷積核。通過訓(xùn)練卷積核，使其能夠?qū)W習(xí)到空間特征圖和時(shí)間特征圖之間的時(shí)空關(guān)聯(lián)關(guān)系。

圖4 特征融合模塊原理圖Fig.4 Schematic diagram of feature fusion module

特征融合計(jì)算過程如下。首先采用堆疊融合法，將兩幅具有相同通道數(shù)的特征圖進(jìn)行堆疊，算式如下

(1)

(2)

然后采用卷積融合法，對(duì)堆疊融合得到的特征圖ycat進(jìn)行卷積融合，并加上偏置b，算式為

yconv=ycat*f+b

(3)

其中：yconv為卷積融合得到的特征圖；ycat為堆疊融合得到的特征圖；f∈R1×1×2D×D，為卷積核;b∈RD，為偏置常數(shù)。

2 實(shí)驗(yàn)驗(yàn)證分析

2.1 實(shí)驗(yàn)參數(shù)設(shè)置

1) 實(shí)驗(yàn)環(huán)境。

本文提出的視頻異常事件檢測(cè)算法模型在Ubuntu 20.04操作系統(tǒng)中采用深度學(xué)習(xí)框架PyTorch進(jìn)行訓(xùn)練，利用GTX 1080Ti GPU加速訓(xùn)練過程。

2) 數(shù)據(jù)處理。

本文事先從UCF-Crime[18]和XD-Violence[19]數(shù)據(jù)集中提取并保存視頻幀圖像，同時(shí)采用LK光流法得到光流圖像集合，訓(xùn)練時(shí)將圖像和光流集合作為輸入，從而避免訓(xùn)練時(shí)額外的視頻處理操作。

在訓(xùn)練時(shí)，將視頻分為3部分，從中隨機(jī)抽幀進(jìn)行訓(xùn)練。ResNet網(wǎng)絡(luò)輸入圖像尺寸為224像素×224像素?？臻g流網(wǎng)絡(luò)輸入圖像的張量尺寸可表示為(3,3,224,224)，其中第一維表示分別從3段視頻中抽取1幀RGB圖像，輸入圖像數(shù)量為3，第二維表示輸入圖像的通道數(shù)為3。時(shí)間流網(wǎng)絡(luò)輸入的是兩個(gè)隨機(jī)抽取的視頻幀堆疊到一起的光流圖，其張量可表示為(6,2,224,224)，其中第一維表示從3段視頻中分別抽取連續(xù)兩幀光流幀，輸入圖像數(shù)量為6，第二維表示光流幀由x和y方向的光流組成，通道數(shù)為2。

本文采用ResNet-34作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，其中，空間流網(wǎng)絡(luò)采用在ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練模型來初始化權(quán)重參數(shù)。

3) 超參數(shù)設(shè)置。

在網(wǎng)絡(luò)訓(xùn)練時(shí)，采用隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)，動(dòng)量系數(shù)(momentum)設(shè)置為0.9，批尺寸(batch size)設(shè)置為64，時(shí)期(Epoch)設(shè)置為250，初始學(xué)習(xí)率設(shè)置為0.001，通過PyTorch中的ReduceLROnPlateau方法調(diào)整學(xué)習(xí)率，當(dāng)損失值不再降低或準(zhǔn)確率不再提高時(shí)降低學(xué)習(xí)率，其函數(shù)參數(shù)mode設(shè)置為min來檢測(cè)metric是否不再減??；factor設(shè)置為0.1，學(xué)習(xí)率到達(dá)該值后觸發(fā)；patience設(shè)置為1，使得累計(jì)次數(shù)不再變化；cooldown設(shè)置為1，使得觸發(fā)一次條件后，等待一定Epoch再進(jìn)行檢測(cè)。

4) 測(cè)試設(shè)置。

本文按照7∶3的比例劃分訓(xùn)練集和測(cè)試集，在測(cè)試網(wǎng)絡(luò)性能時(shí)，每10幀進(jìn)行一次采樣，并計(jì)算平均測(cè)試準(zhǔn)確率Top-1和Top-5。

2.2 實(shí)驗(yàn)結(jié)果分析

本節(jié)對(duì)基于雙流網(wǎng)絡(luò)的異常事件檢測(cè)算法進(jìn)行仿真實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)采用 UCF-Crime 數(shù)據(jù)集[6]，并將準(zhǔn)確率Top-1、準(zhǔn)確率Top-5作為模型的客觀評(píng)價(jià)指標(biāo)，分別探究了視頻幀分段采樣方式、特征融合方式、預(yù)訓(xùn)練初始化對(duì)雙流網(wǎng)絡(luò)性能的影響，并與傳統(tǒng)雙流網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn)。

圖5給出了實(shí)驗(yàn)過程中準(zhǔn)確率的變化情況。

圖5 網(wǎng)絡(luò)識(shí)別準(zhǔn)確率Fig.5 Network recognition accuracy

圖6給出了UCF-Crime數(shù)據(jù)集中Fighting事件的視頻圖像幀和光流圖像，以及模型的檢測(cè)結(jié)果。從圖6可以看出，光流去除了圖像中的靜態(tài)背景信息，從而能夠有效描述動(dòng)態(tài)運(yùn)動(dòng)目標(biāo)的時(shí)序特征。將視頻幀和光流圖像輸入網(wǎng)絡(luò)，經(jīng)過卷積融合后通過Softmax得到各異常事件的概率，從檢測(cè)結(jié)果中可以看出，準(zhǔn)確率Top-1的事件為Fighting事件，即檢測(cè)結(jié)果正確。

圖 6 Fighting事件視頻幀及檢測(cè)結(jié)果Fig.6 Video frames and test results of Fighting

圖7給出了本文算法模型在UCF-Crime數(shù)據(jù)集中對(duì)于各類異常事件的檢測(cè)準(zhǔn)確率。

圖7 各類異常事件準(zhǔn)確率Fig.7 Accuracy of all types of anomaly events

從圖7可以看出，大部分異常事件的檢測(cè)準(zhǔn)確率均在70%左右，而Assault,Fighting事件的檢測(cè)準(zhǔn)確率較低，主要原因是Assault事件和Fighting事件中目標(biāo)的行為特征比較相似，容易引起混淆。

在驗(yàn)證分段采樣方式對(duì)網(wǎng)絡(luò)性能的影響時(shí)，當(dāng)視頻分段數(shù)在1～3時(shí)，其對(duì)應(yīng)的雙流網(wǎng)絡(luò)準(zhǔn)確率分別為71.6%，72.7%和73.6%。其中，對(duì)于分段數(shù)為1的情況，相當(dāng)于傳統(tǒng)雙流網(wǎng)絡(luò)中的單幀采樣方式，即從整個(gè)視頻片段中提取一幀圖像作為空間流網(wǎng)絡(luò)的輸入。從實(shí)驗(yàn)結(jié)果中可以看出，采用更加密集的視頻幀采樣方式來獲取視頻的長(zhǎng)時(shí)序特征信息是比較有效的方法。

表2給出了特征融合方式對(duì)網(wǎng)絡(luò)性能的影響情況，分別采用加權(quán)融合、最大值融合和卷積融合3種方式對(duì)雙流網(wǎng)絡(luò)提取的圖像特征和時(shí)序特征進(jìn)行融合。其中，傳統(tǒng)雙流網(wǎng)絡(luò)采用的是平均值融合方法，即權(quán)重為1∶1的加權(quán)求和融合方法。

表2 特征融合方式對(duì)網(wǎng)絡(luò)性能的影響

從實(shí)驗(yàn)結(jié)果中可以看出，采用卷積融合方式的模型準(zhǔn)確率較高，主要原因在于卷積核經(jīng)過訓(xùn)練能夠?qū)W習(xí)到2幅特征圖之間的關(guān)聯(lián)關(guān)系，使視頻中的時(shí)空特征得到充分融合。

表3給出了算法模型準(zhǔn)確率對(duì)比結(jié)果。其中，本文網(wǎng)絡(luò)模型在傳統(tǒng)雙流網(wǎng)絡(luò)的基礎(chǔ)上，采用分段視頻幀采樣方式進(jìn)行訓(xùn)練，將 ResNet-34 殘差網(wǎng)絡(luò)作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，最后采用卷積融合方式進(jìn)行特征融合。

表3 算法模型準(zhǔn)確率對(duì)比結(jié)果

從表3可以看出，本文基于ResNet和卷積融合的雙流網(wǎng)絡(luò)模型相比單模態(tài)網(wǎng)絡(luò)(即空間流網(wǎng)絡(luò)和時(shí)間流網(wǎng)絡(luò))和傳統(tǒng)雙流網(wǎng)絡(luò)具有更好的性能；在UCF-Crime與XD-Violence數(shù)據(jù)集上，與本文空間流網(wǎng)絡(luò)相比，準(zhǔn)確率分別由65.3%和60.7%提升至74.2%和71.3%，各提升了約10%。

3 結(jié)束語

本文提出了一種基于雙流殘差網(wǎng)絡(luò)的視頻異常事件檢測(cè)算法。首先分析了視頻異常事件檢測(cè)任務(wù)的解決思路，并從視頻幀采樣、網(wǎng)絡(luò)深度和融合方式3個(gè)方面分析了視頻異常事件檢測(cè)任務(wù)的解決思路，在傳統(tǒng)雙流網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)；然后詳細(xì)闡述了本文視頻異常事件檢測(cè)算法的網(wǎng)絡(luò)結(jié)構(gòu)和流程，通過分段視頻幀采樣方式充分提取長(zhǎng)時(shí)間尺度的時(shí)空特征，將雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)替換為深度更深的ResNet-34網(wǎng)絡(luò)，并基于卷積融合方式實(shí)現(xiàn)雙流網(wǎng)絡(luò)中時(shí)空特征的交互融合；最后為驗(yàn)證算法有效性，進(jìn)行仿真實(shí)驗(yàn)，將本文所提算法與傳統(tǒng)雙流網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)比較。實(shí)驗(yàn)結(jié)果證明，本文采用分段采樣方式訓(xùn)練的、基于ResNet殘差網(wǎng)絡(luò)和卷積融合的雙流網(wǎng)絡(luò)模型相比傳統(tǒng)雙流網(wǎng)絡(luò)具有更好的性能。