基于深度學(xué)習(xí)的前沿視頻異常檢測(cè)方法綜述

摘 要：視頻異常事件檢測(cè)逐漸成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一，具有重要研究意義和應(yīng)用價(jià)值。近年來(lái)，以卷積神經(jīng)網(wǎng)絡(luò)為核心的深度學(xué)習(xí)技術(shù)在多項(xiàng)機(jī)器視覺(jué)任務(wù)中展現(xiàn)優(yōu)異性能，極大地啟發(fā)了其在視頻異常事件檢測(cè)領(lǐng)域的應(yīng)用。為此，針對(duì)近年來(lái)基于深度學(xué)習(xí)的視頻異常事件檢測(cè)相關(guān)研究進(jìn)行全面梳理與系統(tǒng)歸納。首先，根據(jù)視頻異常檢測(cè)實(shí)現(xiàn)流程的三個(gè)核心要素，即檢測(cè)模式、樣本設(shè)置及學(xué)習(xí)/推理機(jī)制，提出一種由淺入深的多級(jí)分類方案，面向前沿深度學(xué)習(xí)方法開(kāi)展逐類概述并提煉代表性算法數(shù)學(xué)模型，同時(shí)聚焦現(xiàn)有方法的局限性進(jìn)行闡述；其次，介紹本領(lǐng)域主流的基準(zhǔn)測(cè)試數(shù)據(jù)集，匯總并對(duì)比當(dāng)前先進(jìn)方法在不同數(shù)據(jù)集上的檢測(cè)性能；最后，圍繞復(fù)雜光照/天氣條件、多模態(tài)圖像顯著融合、可語(yǔ)義解釋及自適應(yīng)場(chǎng)景感知四個(gè)方面對(duì)未來(lái)重點(diǎn)研究方向進(jìn)行討論和展望，期望為該領(lǐng)域的后續(xù)研究提供借鑒與參考。

關(guān)鍵詞：智能監(jiān)控； 視頻異常檢測(cè)； 深度學(xué)習(xí)； 卷積神經(jīng)網(wǎng)絡(luò)； 生成對(duì)抗網(wǎng)絡(luò)

中圖分類號(hào)：TP391"" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2025）03-003-0663-14

doi：10.19734/j.issn.1001-3695.2024.06.0241

Frontier video anomaly detection methods based ondeep learning： comprehensive review

Li Nanjun1，2， Nie Xiushan3， Li Tuo1，2， Zou Xiaofeng1，2， Wang Changhong1，2

（1.Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Co.， Ltd.， Jinan 250013， China; 2. Shandong Inspur Artificial Intelligence Research Institute Co.， Ltd.， Jinan 250013， China; 3. School of Computer Science amp; Technology， Shandong Jianzhu University， Jinan 250101， China）

Abstract：Video anomaly detection（VAD） is one of the hottest research topics in the field of computer vision， which is significant for research and valuable for application. In recent years， inspired by the outstanding performances of deep learning technologies represented by the convolution neural networks on various tasks of machine vision， a large number of deep learning-based VAD researches have rapidly emerged. To this end， this paper comprehensively sorted out and systematically summarized the deep learning-based VAD researches. Firstly， it proposed a multi-level classification scheme based on the three core elements of anomaly detection process including detection strategy， sample setting and learning/inferring mechanism， which was utilized to summarize the frontier deep learning-based VAD methods by class， refined the mathematical models of representative algorithms and elaborated the limitations of existing works simultaneously. Secondly， it introduced the benchmark datasets of video anomaly detection and compared the performances of advanced methods on diverse datasets. Finally， it discussed the future research directions in four aspects as follows： complex lighting/weather conditions， fusion of multi-modal images， semantic interpretability and adaptive scene perception， which was expected to provide references for future research works in this field.

Key words：intelligent surveillance; video anomaly detection; deep learning; convolutional neural network; generative adversarial network

0 引言

隨著經(jīng)濟(jì)飛速發(fā)展和城市化進(jìn)程加快，人口密度急劇增長(zhǎng)，社會(huì)公共安全問(wèn)題日益凸顯。全球范圍內(nèi)每年因恐怖襲擊、交通意外、群體性聚會(huì)等引發(fā)的安全事故和突發(fā)情況頻發(fā)，造成了巨大生命財(cái)產(chǎn)損失并引發(fā)了一系列嚴(yán)重的連鎖后果。而視頻監(jiān)控系統(tǒng)具備全天候?qū)崟r(shí)采集監(jiān)控場(chǎng)景畫(huà)面的功能，能夠及時(shí)顯示監(jiān)控區(qū)域發(fā)生的可疑情況，在維護(hù)社會(huì)公共安全秩序和保障人民生命財(cái)產(chǎn)安全方面發(fā)揮重要作用。當(dāng)前，在各國(guó)一系列重要舉措與核心政策支持下，公共視頻監(jiān)控系統(tǒng)建設(shè)加速推進(jìn)落地，形成多個(gè)大型監(jiān)控示范應(yīng)用如美國(guó)“綠燈計(jì)劃”項(xiàng)目、歐盟“ADABTS”項(xiàng)目、中國(guó)“天網(wǎng)”項(xiàng)目等。由此，街道、辦公樓、商場(chǎng)等公共場(chǎng)所及醫(yī)院、機(jī)場(chǎng)、火車站等重要機(jī)構(gòu)中部署的監(jiān)控設(shè)備數(shù)量迅速上升，產(chǎn)生了龐大體量的視頻數(shù)據(jù)。然而，傳統(tǒng)監(jiān)控系統(tǒng)依靠人工進(jìn)行視頻分析與事件理解的模式面對(duì)海量視頻數(shù)據(jù)時(shí)逐漸凸顯出運(yùn)行成本昂貴、執(zhí)行效率低下等劣勢(shì)，亟需發(fā)展具備自主提取視頻信息并反饋事件內(nèi)容能力的智能監(jiān)控系統(tǒng)。

作為智能監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)之一，視頻異常事件檢測(cè)（video anomaly detection，VAD）任務(wù)近期成為學(xué)術(shù)界與產(chǎn)業(yè)界中研究熱點(diǎn)之一。該技術(shù)旨在借助圖像處理與機(jī)器學(xué)習(xí)相關(guān)理論方法，自動(dòng)檢測(cè)監(jiān)控視頻場(chǎng)景中各類目標(biāo)（行人、汽車等）違背尋常的運(yùn)動(dòng)行為與外觀狀態(tài)引發(fā)的非常規(guī)事件，既包括在視頻時(shí)序維度上識(shí)別異常事件發(fā)生時(shí)刻（視頻序列內(nèi)哪幀圖像包含異常，又稱幀級(jí)別異常事件或異常幀），也包括在視頻空間維度上定位異常事件發(fā)生區(qū)域（異常幀內(nèi)哪個(gè)像素或目標(biāo)為異常，又稱像素/目標(biāo)級(jí)別異常事件或異常像素/目標(biāo)）。通過(guò)視頻異常檢測(cè)技術(shù)推廣應(yīng)用，能夠?qū)崿F(xiàn)傳統(tǒng)“人工觀察”工作機(jī)制的替代化，最大程度地避免異常事件誤檢與漏檢情況，進(jìn)而提升監(jiān)控效率并降低人力成本，對(duì)于智能監(jiān)控系統(tǒng)完善和發(fā)展具有十分重要的研究意義與應(yīng)用價(jià)值。

與網(wǎng)絡(luò)入侵識(shí)別［1］、工業(yè)故障診斷［2］及大數(shù)據(jù)分析［3］等領(lǐng)域中異常檢測(cè)任務(wù)相同，根據(jù)訓(xùn)練模式的差異，視頻異常事件檢測(cè)常用的策略分為全監(jiān)督（fully-supervised）、半監(jiān)督（semi-supervised）與無(wú)監(jiān)督（unsupervised）三種。其中前兩種策略均依賴預(yù)先標(biāo)注的視頻事件樣本訓(xùn)練異常檢測(cè)模型，不同之處在于全監(jiān)督策略需要異常樣本，而半監(jiān)督策略僅需要正常樣本學(xué)習(xí)正常事件模型。至于無(wú)監(jiān)督策略，則無(wú)須任何額外預(yù)先標(biāo)注的訓(xùn)練樣本，直接由待測(cè)事件樣本生成訓(xùn)練樣本，用于學(xué)習(xí)檢測(cè)模型以發(fā)現(xiàn)異常事件。三種策略基本框架如圖1所示。

當(dāng)前，以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）為代表的深度學(xué)習(xí)模型（deep learning model，DLM）在多項(xiàng)計(jì)算機(jī)視覺(jué)（computer vision，CV）領(lǐng)域的任務(wù)如目標(biāo)檢測(cè)［4］、行為識(shí)別［5］及視頻描述［6］上展現(xiàn)出優(yōu)異性能。由此基于DLM的異常事件檢測(cè)新方法不斷涌現(xiàn)，這些方法參照上述三種策略，以各類DLM網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)設(shè)計(jì)異常檢測(cè)模型。

隨著研究的深入以及成果的推新，諸多學(xué)者面向基于DLM的視頻異常事件檢測(cè)開(kāi)展了一些綜述性工作，本文針對(duì)一些極具代表性且水平較高的工作［7～10］進(jìn)行分析。Pang等人［7］對(duì)基于DLM的異常檢測(cè)方法進(jìn)行全面梳理，然而其并非聚焦CV領(lǐng)域的視頻異常事件檢測(cè)開(kāi)展，其中部分方法分類不適用于VAD。Kiran等人［8］圍繞視頻異常事件檢測(cè)方法進(jìn)行詳實(shí)總結(jié)，然而其側(cè)重半監(jiān)督與無(wú)監(jiān)督策略，忽略當(dāng)前主流的全監(jiān)督策略。Chandrakala等人［9］從學(xué)習(xí)范式角度出發(fā)，對(duì)全監(jiān)督（原文中“二分類”問(wèn)題）、半監(jiān)督（原文中“單分類”問(wèn)題）及無(wú)監(jiān)督（原文中“自分類”問(wèn)題）方法進(jìn)行細(xì)致歸納，然而其部分類別中相關(guān)方法較為傳統(tǒng)，缺乏近期公布的先進(jìn)工作。此外，文獻(xiàn)［10］僅依據(jù)異常判定的基本原理對(duì)現(xiàn)有方法執(zhí)行單級(jí)分類，未能實(shí)現(xiàn)在檢測(cè)模式、樣本設(shè)置、學(xué)習(xí)/推理機(jī)制不同層次上由淺入深地多級(jí)分類。

一般來(lái)說(shuō)，基于DLM的視頻異常事件檢測(cè)研究基本流程為：首先，選擇檢測(cè)模式，采用全監(jiān)督、半監(jiān)督及無(wú)監(jiān)督策略中的任意一種；繼而，依據(jù)所選檢測(cè)模式設(shè)置訓(xùn)練樣本數(shù)據(jù)；最后，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)作為異常檢測(cè)模型，基于訓(xùn)練樣本設(shè)計(jì)損失函數(shù)進(jìn)行檢測(cè)模型迭代學(xué)習(xí)，并利用訓(xùn)練好的檢測(cè)模型開(kāi)展異常事件推理。為實(shí)現(xiàn)前沿視頻異常事件檢測(cè)研究的全面總結(jié)與系統(tǒng)歸納，按照異常檢測(cè)研究過(guò)程，提出一種由檢測(cè)模式、樣本設(shè)置到學(xué)習(xí)/推理機(jī)制的三級(jí)分類方案，如圖2所示，注重從多角度出發(fā)對(duì)當(dāng)前先進(jìn)成果進(jìn)行全面覆蓋、精準(zhǔn)分類、細(xì)致描述。

1 基于全監(jiān)督模式的方法

早期的全監(jiān)督視頻異常事件檢測(cè)方法使用二值分類策略［11］：在訓(xùn)練階段，同時(shí)利用正常和異常事件樣本（原始視頻片段、局部片段或目標(biāo)/骨架序列等）訓(xùn)練CNN等DLM網(wǎng)絡(luò)；之后在測(cè)試階段，采用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行待測(cè)視頻中正常/異常事件分類，典型流程如圖3所示。

這些方法充分發(fā)揮了CNN在數(shù)據(jù)識(shí)別分類方面優(yōu)勢(shì)，然而，受制于二分類識(shí)別機(jī)理，存在兩個(gè)關(guān)鍵弊端：a）需要在閉集合（closed-set）設(shè)置下工作，詳細(xì)地說(shuō)就是在訓(xùn)練階段建立分類器過(guò)程中必須指定訓(xùn)練數(shù)據(jù)包含所有待測(cè)類型的異常事件樣本，換言之，只能檢測(cè)訓(xùn)練數(shù)據(jù)中出現(xiàn)過(guò)的已知類型的異常事件，而對(duì)于未知類型的異常事件由于事先未獲取其先驗(yàn)信息，無(wú)法有效檢測(cè)；b）需要在強(qiáng)監(jiān)督（strongly-supervised）設(shè)置下工作，具體而言就是對(duì)于幀級(jí)別異常事件檢測(cè)必須依賴幀層次的真實(shí)值標(biāo)注完成，難以利用粗粒度的視頻層次真實(shí)值標(biāo)注實(shí)現(xiàn)，由此耗費(fèi)人工標(biāo)注成本更高。為此，近期研究從以上兩個(gè)方面入手對(duì)全監(jiān)督方法進(jìn)行改進(jìn)。

1.1 基于開(kāi)集合設(shè)置的方法

針對(duì)傳統(tǒng)全監(jiān)督異常事件檢測(cè)方法需要采用閉集合設(shè)置進(jìn)行檢測(cè)模型訓(xùn)練，僅能識(shí)別已知類型異常事件的問(wèn)題，部分前沿工作［12～14］開(kāi)始進(jìn)行面向開(kāi)集合（open-set）設(shè)置的方法研究。這些方法只需訓(xùn)練數(shù)據(jù)中包含部分待測(cè)類型的異常事件即可，能夠?qū)崿F(xiàn)未知類型的異常事件檢測(cè)。Liu等人［12］率先提出基于邊界學(xué)習(xí)（margin learning，MNL）的開(kāi)集合設(shè)置下的異常檢測(cè)方法。該方法以正常樣本與少量已知類型的異常樣本為輸入，通過(guò)將MNL模塊嵌入視頻預(yù)測(cè)網(wǎng)絡(luò)，在原始預(yù)測(cè)損失上添加三元組損失（triplet loss，TPL），實(shí)現(xiàn)隱含層特征空間中學(xué)習(xí)緊湊的正常特征分布，同時(shí)擴(kuò)大其與已知異常特征分布間距離，進(jìn)而完成未知類型的異常事件檢測(cè)，如圖4所示。TPL的計(jì)算如下：

Ltriplet=max（0，‖fa-fn‖22-‖fa-fp‖22+δ）

（1）

其中：fa、fn與fp分別表示參考視頻片段、正常視頻片段與異常視頻片段對(duì)應(yīng)的隱含層特征（參考視頻片段也為正常）。

Huang等人［13］在上述框架的基礎(chǔ)上，引入了變分正太推理（variational normal inference，VNI）模塊，與MNL模塊發(fā)揮優(yōu)勢(shì)互補(bǔ)，從而提升邊界度量學(xué)習(xí)效果。VNL模塊采用KL（Kullback-Leibler）散度進(jìn)一步聚合正常特征分布：

LKL=DKL［qφ（fa|sa）‖pθ（fn|sn）］

（2）

其中：qφ（fa|sa）為正常參考片段特征分布；pθ（fa|sa）為正常片段特征分布。

Acsintoae等人［14］首次公開(kāi)了一個(gè)開(kāi)集合監(jiān)督式異常事件標(biāo)準(zhǔn)數(shù)據(jù)集UBnormal。該數(shù)據(jù)集由多個(gè)虛擬場(chǎng)景組成，且訓(xùn)練集和測(cè)試集合中包括不相交類型的異常事件，以滿足開(kāi)集合設(shè)置要求。同時(shí)，其提供了專用的驗(yàn)證集用于檢測(cè)網(wǎng)絡(luò)超參數(shù)微調(diào)，避免在測(cè)試集上進(jìn)行調(diào)參引發(fā)過(guò)擬合。該數(shù)據(jù)為開(kāi)集合全監(jiān)督方法與閉集合全監(jiān)督方法的公平對(duì)比提供標(biāo)準(zhǔn)。

1.2 基于弱標(biāo)注設(shè)置的方法

針對(duì)傳統(tǒng)全監(jiān)督異常事件檢測(cè)方法需要使用細(xì)粒度的強(qiáng)標(biāo)注樣本進(jìn)行檢測(cè)模型訓(xùn)練從而導(dǎo)致人工成本高昂的問(wèn)題，一些先進(jìn)研究［15～18］借鑒弱監(jiān)督理論，提供了基于弱標(biāo)注設(shè)置的方法。這些方法能夠利用粗粒度的弱標(biāo)注樣本，實(shí)現(xiàn)精細(xì)程度更高的異常檢測(cè)，例如以視頻層面的真實(shí)值標(biāo)注完成幀級(jí)別的異常事件識(shí)別。

按照所用學(xué)習(xí)框架的差異，已有的弱標(biāo)注全監(jiān)督方法分為基于多實(shí)例學(xué)習(xí)的方法與基于非多實(shí)例學(xué)習(xí)的方法。

1.2.1 基于多實(shí)例學(xué)習(xí)的方法

在文獻(xiàn)［15］中，Sultani等人率先公布了基于多實(shí)例學(xué)習(xí)（multiple instance learning，MIL）的弱標(biāo)注異常檢測(cè)方法：首先，將視頻層次標(biāo)注的異常視頻（某處包含異常，具體位置未知）和正常視頻（不包含異常）劃分為多個(gè)視頻片段；其次，引入MIL框架將每個(gè)完整視頻視為一個(gè)袋子，而把每個(gè)局部片段看做袋中的一個(gè)實(shí)例；再次，使用預(yù)訓(xùn)練的三維卷積（3D convolutional，C3D）網(wǎng)絡(luò)獲取視頻片段時(shí)空特征后，設(shè)計(jì)一種全新的MIL排序損失對(duì)由多個(gè)全連接（fully connected，F(xiàn)C）層組成的異常得分預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行回歸訓(xùn)練。損失函數(shù)準(zhǔn)則為異常袋中實(shí)例的得分最大值高于正常袋中實(shí)例的得分最大值（異常袋中必存在異常片段，而正常袋中沒(méi)有），如下所示。

maxi∈Ba s（fia）gt;maxi∈Bn s（fin）

（3）

其中：Ba與Bn分別為異常袋與正常袋；s（fia）與s（fin）分別表示Ba中實(shí)例得分與Bn中實(shí)例得分。

在添加稀疏約束項(xiàng)（式1）與時(shí)序平滑約束項(xiàng)（式2）限制后，排序損失表示為

LMIL=max（0，1-maxi∈Ba s（fia）+maxi∈Bn s（fin））+

λ1∑n-1i（s（fia）-s（fi+1a））21+λ2∑nis（fia）2

（4）

最后，采用訓(xùn)練完備的FC網(wǎng)絡(luò)輸出待測(cè)視頻片段的異常得分，進(jìn)而完成異常視頻幀判定。圖5展示了典型流程。

后續(xù)研究在文獻(xiàn)［15］的基礎(chǔ)上，主要從損失函數(shù)［16，17］、特征表示學(xué)習(xí)［19～22］以及訓(xùn)練方式［18，23，24］三個(gè)方面對(duì)MIL框架進(jìn)行優(yōu)化，從而強(qiáng)化粗粒度的弱標(biāo)注樣本下的異常事件檢測(cè)性能，如圖6所示。

1）損失函數(shù)優(yōu)化的方法 Zhang等人［16］在原始C3D特征提取框架中嵌入時(shí)序卷積網(wǎng)絡(luò)（temporal convolutional network，TCN）以捕獲當(dāng)前實(shí)例（視頻片段）和其相鄰實(shí)例間時(shí)序信息。同時(shí)考慮到原始MIL排序損失僅關(guān)注了Ba與Bn間實(shí)例對(duì)應(yīng)異常得分的關(guān)系，不足以約束弱監(jiān)督學(xué)習(xí)的大搜索空間，提出引入袋內(nèi)損失（inner bag loss，IBL）項(xiàng)。IBL項(xiàng)包含Ba內(nèi)排序損失與Bn內(nèi)相似損失兩部分，分別用于增大Ba內(nèi)正常實(shí)例（得分最小者）與異常實(shí)例（得分最大者）得分差距，并縮小Bn內(nèi)任意實(shí)例間得分差距（全部實(shí)例均為正常），分別表示為

LIB-Ba=max（0，1-maxi∈Ba s（fia）+mini∈Ba s（fia））

（5）

LIB-Bn=minmaxi∈Bn s（fin）-mini∈Bn s（fin）

（6）

Wan等人［17］則采用三維膨脹卷積（3D inflated convolution，I3D）層提取視頻片段特征，然后利用FC層構(gòu)建異?；貧w網(wǎng)路（anomaly regression network，AR-Net）用于預(yù)測(cè)異常得分。此外，鑒于傳統(tǒng)MIL排序損失只偏重Ba與Bn中得分最大值，無(wú)法感知不同視頻片段變化，設(shè)計(jì)基于k-max選擇策略的動(dòng)態(tài)多實(shí)例損失（dynamic multiple instance learning，DMIL）損失。具體而言，選取Ba或Bn中k個(gè)最大得分，分別與視頻標(biāo)簽計(jì)算交叉熵，表示如下：

LDMIL=1k∑ki∈B［-ylog（s（fi*））］+1k∑ki∈B［（1-y）log（1-s（fi*））］

（7）

其中：y為視頻標(biāo)簽。若=a，y=1；若=b，y=0。最小化LDMIL，可以使Ba中異常實(shí)例得分越大，Bn中正常實(shí)例得分越小，進(jìn)而增大兩者差異（類間差距）。值得注意的是，不同于之前的排序損失，DMIL損失并非成對(duì)計(jì)算的。

其次，受文獻(xiàn)［16］啟發(fā)，設(shè)計(jì)了中心損失（center loss，CEL）來(lái)約束B(niǎo)n袋內(nèi)正常實(shí)例差異（類內(nèi)差距），表示如下：

LCL=1n∑ni=1‖s（fin）-c‖22，c=1n∑ni=1s（fin）

（8）

通過(guò)基于上述損失函數(shù)的加權(quán)融合訓(xùn)練，保證了高度判別性特征表示提取。

2）特征表示學(xué)習(xí)優(yōu)化的方法

先述研究均使用預(yù)訓(xùn)練的C3D或I3D網(wǎng)絡(luò)作為特征編碼器提取視頻片段相應(yīng)特征表示，且在MIL執(zhí)行過(guò)程中，未對(duì)特征編碼器參數(shù)進(jìn)行迭代訓(xùn)練，致使無(wú)法得到針對(duì)當(dāng)前任務(wù)的特征。為此，文獻(xiàn)［19］構(gòu)筑融入自引導(dǎo)注意力模塊（self-guided attention module）的特征編碼器，以聚焦視頻幀內(nèi)異常區(qū)域，并在訓(xùn)練過(guò)程中基于MIL排序損失循環(huán)更新編碼器權(quán)重，以獲取任務(wù)導(dǎo)向的判別性特征表示。

文獻(xiàn)［20］使用PWC-Net［25］計(jì)算視頻片段相鄰幀間光流值，隨后以光流圖序列為輸入，提出時(shí)序增強(qiáng)網(wǎng)絡(luò)（temporal augmented network，TAN）提取視頻片段的運(yùn)動(dòng)感知特征。同時(shí)設(shè)計(jì)嵌入注意力機(jī)制的時(shí)序MIL排序損失，訓(xùn)練特征編碼器TAN，以全面參考視頻序列時(shí)序上下文信息，用于區(qū)分異常片段與正常片段。

文獻(xiàn)［21］則針對(duì)之前方法未能學(xué)習(xí)視頻片段局部區(qū)域特征的問(wèn)題，提供一種雙分支特征編碼架構(gòu)。其中，時(shí)序分支以原始視頻片段作為實(shí)例輸入，采用C3D層提取時(shí)空特征；而空間分支以由視頻片段劃分的局部片段作為實(shí)例輸入，在提取局部區(qū)域特征基礎(chǔ)上實(shí)現(xiàn)空間維度的異常事件定位。其次，在每個(gè)分支中添加一個(gè)關(guān)系推理模塊（relationship reasoning module）來(lái)挖掘視頻片段/局部片段之間的相關(guān)性，為異常事件的概念學(xué)習(xí)提供豐富的上下文信息和復(fù)雜的實(shí)體關(guān)系。此外，創(chuàng)建相互引導(dǎo)的漸進(jìn)式細(xì)化（mutually-guided progressive refinement）模式，在雙分支結(jié)構(gòu)間迭代共享輔助監(jiān)督信息，推動(dòng)每個(gè)分支的概念學(xué)習(xí)對(duì)相應(yīng)分支的指導(dǎo)，進(jìn)而逐步完成整個(gè)特征編碼架構(gòu)的細(xì)化學(xué)習(xí)。

3）訓(xùn)練方式優(yōu)化的方法

Yu等人［18］在訓(xùn)練方式上對(duì)先前MIL方法進(jìn)行優(yōu)化。考慮到MIL框架將弱標(biāo)注異常檢測(cè)視為異常實(shí)例與正常實(shí)例的異常得分回歸問(wèn)題，單純使用小批次（mini-batch）訓(xùn)練策略容易受到兩類事件樣本不均衡的影響，提出跨周期學(xué)習(xí)（cross-epoch learning，XEL）的訓(xùn)練方式，在當(dāng)前訓(xùn)練周期引入來(lái)自先前周期的額外信息。具體而言，在每個(gè)訓(xùn)練周期結(jié)束后從Bn中收集難實(shí)例樣本（Bn中異常得分最大的正常實(shí)例）對(duì)應(yīng)的C3D/I3D特征，來(lái)組成難實(shí)例庫(kù)（hard instance bank，HIB），用作下個(gè)訓(xùn)練周期中每個(gè)批次的補(bǔ)充數(shù)據(jù)。進(jìn)一步，參照文獻(xiàn)［17］，設(shè)計(jì)動(dòng)態(tài)邊界損失（dynamic margin loss，DML）與驗(yàn)證損失（validation loss，VL）訓(xùn)練FC異常得分預(yù)測(cè)網(wǎng)絡(luò)，遵循擴(kuò)大類間差距的同時(shí)縮小類內(nèi)差距的主旨。

鑒于小批次訓(xùn)練策略相鄰兩次訓(xùn)練迭代（iteration）所用的輸入批次中C3D特征對(duì)應(yīng)的實(shí)例在視頻序列時(shí)序維度上相鄰，進(jìn)而具有較強(qiáng)數(shù)據(jù)相關(guān)性，會(huì)削弱FC得分網(wǎng)絡(luò)的學(xué)習(xí)性能。在文獻(xiàn)［23］中，Zaheer等人研究基于隨機(jī)批次的訓(xùn)練方式，對(duì)于每次訓(xùn)練迭代在所有C3D特征樣本中任意選擇一個(gè)批次，以消除相鄰迭代對(duì)應(yīng)批次間的相關(guān)性。在此基礎(chǔ)上，提出正常抑制（normalcy suppression，NMS）機(jī)制，并依據(jù)文獻(xiàn)［16］，設(shè)計(jì)聚類損失（clustering loss，CSL）完成異常實(shí)例與正常實(shí)例的異常得分評(píng)估。

針對(duì)在原始MIL框架中由Ba篩選異常得分最大的單一實(shí)例計(jì)算損失函數(shù)容易出錯(cuò)（篩選得到的實(shí)例并非異常），并隨著訓(xùn)練過(guò)程演進(jìn)不斷損害得分網(wǎng)絡(luò)性能的瓶頸（導(dǎo)致對(duì)正常實(shí)例預(yù)測(cè)較高異常得分），Li等人［24］首次貢獻(xiàn)多序列學(xué)習(xí)（multi-sequence learning，MSL）方法。通過(guò)序列選擇機(jī)制由Ba中挑選平均異常得分最大的序列（多個(gè)相鄰實(shí)例組成）作為損失函數(shù)計(jì)算項(xiàng)，以降低異常實(shí)例選擇錯(cuò)誤的風(fēng)險(xiǎn)，損失準(zhǔn)則表示如下：

maxi∈Ba s（qia）gt;maxi∈Bn s（qin）

qia={fia}Ki=1，s（qia）=1K∑Ki=1s（fia）

（9）

其中：qia與qin分別為來(lái)源于Ba與Bn的序列。由此，MSL排序損失計(jì)算為

LMSL=max（0，1-maxi∈Ba s（qia）+maxi∈Bn s（qin））

（10）

之后，引入自訓(xùn)練［26］方式對(duì)以Transformer層［27］為基礎(chǔ)架構(gòu)的異常得分預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行迭代更新。詳細(xì)地說(shuō)，以先前訓(xùn)練周期輸出的所有實(shí)例的異常得分為依據(jù)訓(xùn)練得分網(wǎng)絡(luò)，然后使用訓(xùn)練后的模型生成更可靠的實(shí)例得分作為下次訓(xùn)練周期的輸入。

1.2.2 基于非多實(shí)例學(xué)習(xí)的方法

盡管MIL框架在弱標(biāo)注異常事件檢測(cè)任務(wù)上展示出強(qiáng)大功能，相關(guān)工作占據(jù)極高比例，一些研究［28，29］仍試圖探索其他解決方案。例如，Zhong等人［28］提出交替優(yōu)化（alternate optimization，ATO）框架實(shí)現(xiàn)弱標(biāo)注異常檢測(cè)：首先，利用主流的動(dòng)作識(shí)別模型如時(shí)序片段網(wǎng)絡(luò)（temporal segment network，TSN）［30］獲得視頻片段偽標(biāo)注（分類階段）；其次，使用圖卷積網(wǎng)絡(luò)（graph convolution network，GCN）［31］基于特征相似性與時(shí)序延續(xù)性清洗視頻片段偽標(biāo)注，去除置信度較低的標(biāo)注（更正階段）；再次，根據(jù)更新后的標(biāo)注對(duì)動(dòng)作識(shí)別模型進(jìn)行重新訓(xùn)練，以輸出更精準(zhǔn)的標(biāo)注；最后，分類階段與更正階段交替執(zhí)行多次，直至得到可靠的動(dòng)作識(shí)別模型，并在推理階段直接用于預(yù)測(cè)視頻片段異常與否。Zaheer等人［29］提供自推理框架開(kāi)展視頻片段偽標(biāo)注的循環(huán)生成與更正，該框架核心思路與上述ATO框架一致。

1.3 本章小結(jié)

部分前沿全監(jiān)督視頻異常檢測(cè)工作［32，33］面向更具挑戰(zhàn)性的開(kāi)集合與弱標(biāo)注雙重設(shè)置下進(jìn)行研究，這些工作充分借鑒現(xiàn)有方法提出的相應(yīng)技術(shù)處理有關(guān)問(wèn)題。比如，在文獻(xiàn)［32］中，融合了MNL框架［12］、MIL框架［15］以及基于GCN的偽數(shù)據(jù)生成與更正框架［28］，實(shí)現(xiàn)開(kāi)集合設(shè)置下基于弱標(biāo)注數(shù)據(jù)的未知類型異常事件檢測(cè)。另外，當(dāng)前弱標(biāo)注視頻異常檢測(cè)研究?jī)H涉及不確切標(biāo)注的情況，缺乏針對(duì)不完全標(biāo)注與不正確標(biāo)注等弱標(biāo)注情況的研究。

2 基于半監(jiān)督模式的方法

先前的半監(jiān)督視頻異常事件檢測(cè)方法依賴卷積自編碼器（convolutional autoencoder，CAE）［34］與生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）［35］等DLM網(wǎng)絡(luò)建模正常事件分布。然而，傳統(tǒng)CAE存在泛化水平過(guò)高、容納能力過(guò)強(qiáng)等問(wèn)題，傳統(tǒng)GAN則存在訓(xùn)練過(guò)程不穩(wěn)定、梯度消失等痛點(diǎn)。為此，近期研究側(cè)重在原始CAE或GAN內(nèi)部嵌入注意力模塊［36～41］、記憶模塊［42～45］、GCN層［46～48］、瓦氏距離［49］或Inception模塊［50］等典型單元中的一種或多種來(lái)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，以建立更加完善的正常事件模型，進(jìn)而提升異常檢測(cè)精度。此外，一些研究［51～55］開(kāi)始著手面向小樣本設(shè)置進(jìn)行方法設(shè)計(jì)，以應(yīng)對(duì)訓(xùn)練事件樣本不足情況，從而提高異常檢測(cè)對(duì)場(chǎng)景變化的適應(yīng)性。

2.1 基于改進(jìn)CAE/GAN的方法

依據(jù)所用異常推理機(jī)制的不同，當(dāng)前基于改進(jìn)CAE/GAN的半監(jiān)督方法分為基于評(píng)估式的方法和基于判別式的方法。

2.1.1 基于評(píng)估式的方法

基于評(píng)估式的方法通過(guò)對(duì)預(yù)訓(xùn)練CAE/GAN（正常事件模型）生成的事件樣本質(zhì)量進(jìn)行評(píng)價(jià)以判別異常事件（通常GAN中的生成器采用CAE結(jié)構(gòu)，與判別器對(duì)抗學(xué)習(xí)提高生成能力）。對(duì)應(yīng)于事件樣本的生成方式，常用的評(píng)估標(biāo)準(zhǔn)有重構(gòu)誤差、預(yù)測(cè)誤差以及重構(gòu)預(yù)測(cè)融合誤差。

其中，重構(gòu)誤差來(lái)源于基于重構(gòu)的生成方法，這類方法利用CAE/GAN對(duì)各類形式的輸入樣本（原始視頻片段、局部片段及目標(biāo)/骨架序列等）進(jìn)行復(fù)現(xiàn)，并計(jì)算復(fù)現(xiàn)輸出與原始輸入間的偏差作為重構(gòu)誤差。進(jìn)行異常檢測(cè)時(shí)（如圖7（a）所示），在訓(xùn)練階段，僅采用正常樣本為輸入，以較低誤差對(duì)其復(fù)現(xiàn)為目標(biāo)學(xué)習(xí)生成網(wǎng)絡(luò)；之后在推理階段，計(jì)算待測(cè)樣本的重構(gòu)誤差作為異常判定依據(jù)。針對(duì)訓(xùn)練過(guò)程未出現(xiàn)過(guò)的異常樣本，將得到質(zhì)量較差的復(fù)現(xiàn)，進(jìn)而輸出較大的重構(gòu)誤差。計(jì)算流程如式（11）所示。

預(yù)測(cè)誤差來(lái)源于基于預(yù)測(cè)的生成方法，這類方法利用CAE/GAN，以各類樣本的歷史時(shí)刻信息為輸入，對(duì)當(dāng)前某一時(shí)刻或連續(xù)時(shí)刻狀態(tài)進(jìn)行預(yù)測(cè)，并計(jì)算預(yù)測(cè)輸出與真實(shí)值間的偏差作為預(yù)測(cè)誤差。進(jìn)行異常檢測(cè)時(shí)（如圖7（b）所示），同樣僅采用正常樣本訓(xùn)練生成網(wǎng)絡(luò)以較低誤差對(duì)其預(yù)測(cè)，繼而計(jì)算待測(cè)樣本的預(yù)測(cè)誤差用于異常推斷。類似地，針對(duì)異常樣本，將得到質(zhì)量較差的預(yù)測(cè)，從而對(duì)應(yīng)較大的預(yù)測(cè)誤差。計(jì)算流程為

（12）

其中：Ι={I1，I2，…，It-1}表示歷史時(shí)刻輸入；I^t為預(yù)測(cè)樣本；It為相應(yīng)真實(shí)值；Ι′表示待測(cè)事件樣本I′t對(duì)應(yīng)歷史時(shí)刻信息。

重構(gòu)預(yù)測(cè)融合誤差，顧名思義，即重構(gòu)誤差與預(yù)測(cè)誤差的結(jié)合，這需要相關(guān)方法中CAE/GAN同時(shí)執(zhí)行重構(gòu)與預(yù)測(cè)。

按照上述三種誤差，基于改進(jìn)CAE/GAN的評(píng)估式方法分類如圖8所示。

1）基于重構(gòu)誤差的方法 鑒于原始CAE結(jié)構(gòu)具有較強(qiáng)泛化能力，即使僅利用正常事件樣本進(jìn)行訓(xùn)練，部分情況下針對(duì)異常樣本也會(huì)生成質(zhì)量較高的復(fù)現(xiàn)樣本，進(jìn)而產(chǎn)生較低重構(gòu)誤差，致使異常事件漏檢。為此，Gong等人［42］在CAE中嵌入記憶模塊，構(gòu)造記憶增強(qiáng)自編碼器（memory-augmented autoencoder，MemAE）。相較于傳統(tǒng)CAE，MemAE中的記憶模塊在訓(xùn)練階段結(jié)束后存儲(chǔ)了正常視頻幀相應(yīng)隱層特征的典型模式；之后，在測(cè)試階段，以編碼器輸出的待測(cè)幀的隱層特征作為查詢，在記憶模塊存儲(chǔ)的所有特征記錄中檢索與其最相關(guān)的記憶項(xiàng)輸入解碼器復(fù)現(xiàn)待測(cè)幀。由于記憶模塊中只記錄了正常特征，所以任意待測(cè)幀的重構(gòu)版本都將趨于接近正常，從而擴(kuò)大了異常幀的重構(gòu)誤差，克服CAE強(qiáng)泛化能力的問(wèn)題。Park等人［43］在文獻(xiàn)［42］的基礎(chǔ)上設(shè)計(jì)特征緊湊性和離散性損失來(lái)訓(xùn)練記憶模塊，以提升記錄正常樣本典型模式的記憶項(xiàng)的判別能力；同時(shí)，在測(cè)試環(huán)節(jié)根據(jù)待測(cè)樣本狀態(tài)持續(xù)更新記憶項(xiàng)，以應(yīng)對(duì)場(chǎng)景變化。

Nguyen等人［57］在GAN中生成器CAE內(nèi)部嵌入跨越連接操作同時(shí)加入Inception模塊［73］減少網(wǎng)絡(luò)深度的影響。另外，值得注意的是，該生成器CAE包含一種單編碼器-雙編碼器架構(gòu)，能夠同時(shí)重構(gòu)原始視頻幀及其對(duì)應(yīng)光流。類似地，Wang等人［59］在CAE的編碼層（下采樣層）與解碼層（上采樣層）間引入跨越連接（skip-connection）操作以緩解層間傳輸導(dǎo)致的特征損失，從而優(yōu)化重構(gòu)質(zhì)量。

Chen等人［60］側(cè)重目標(biāo)級(jí)別異常檢測(cè)，因此在使用預(yù)訓(xùn)練的姿態(tài)估計(jì)模型檢測(cè)并提取視頻場(chǎng)景中人體目標(biāo)骨架的基礎(chǔ)上，在時(shí)序和空間兩個(gè)維度上構(gòu)建多尺度時(shí)空骨架圖表示作為輸入樣本。同時(shí)基于GCN層設(shè)計(jì)多尺度時(shí)空注意力圖卷積模塊（multiscale spatial temporal attention graph convolution block，MSTA-GCB）組建CAE的編碼器與解碼器。其中，編碼器在時(shí)域和空域上對(duì)骨架圖多尺度信息進(jìn)行抽取，對(duì)應(yīng)地，解碼器依據(jù)隱含層信息重構(gòu)骨架圖，實(shí)現(xiàn)異常人體骨架重構(gòu)判別。

同樣地，在文獻(xiàn)［61］中，Wang等人采用預(yù)訓(xùn)練目標(biāo)檢測(cè)模型識(shí)別并定位視頻場(chǎng)景中各個(gè)目標(biāo)類別與區(qū)域，并構(gòu)建以Transformer層為基礎(chǔ)的全新CAE模型——時(shí)空自轉(zhuǎn)換編碼器（spatio-temporal auto-trans-encoder，STATE）。通過(guò)Transformer層中自注意力機(jī)制更好地建模連續(xù)目標(biāo)區(qū)域間時(shí)序關(guān)系，進(jìn)而改善重構(gòu)質(zhì)量，完成異常判定。

2）基于預(yù)測(cè)誤差的方法 文獻(xiàn)［47］以歷史時(shí)刻人體時(shí)空骨架圖為輸入，利用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（spatial temporal graph convolutional network，ST-GCN）對(duì)當(dāng)前時(shí)刻骨架圖進(jìn)行預(yù)測(cè)，之后計(jì)算預(yù)測(cè)骨架圖與真實(shí)骨架圖間關(guān)節(jié)點(diǎn)坐標(biāo)偏差作為預(yù)測(cè)誤差。在該工作基礎(chǔ)上，Zeng等人［48］提出低層次/高層次融合時(shí)空骨架圖表示：低層次表示需要精準(zhǔn)檢測(cè)每一關(guān)節(jié)點(diǎn)的位置坐標(biāo)以刻畫(huà)人體局部動(dòng)作姿態(tài)變化（即文獻(xiàn)［47］中的原始骨架圖），適用于骨架易于提取的高分辨率、人群稀疏場(chǎng)景視頻；而高層次表示使用單個(gè)節(jié)點(diǎn)（骨架圖幾何中心）表征人體全局運(yùn)動(dòng)速度與方向，并建模不同個(gè)體間交互作用，適用于骨架難以提取的低分辨率、人群密集場(chǎng)景視頻；之后構(gòu)建分級(jí)ST-GCN采用多分支結(jié)構(gòu)對(duì)不同層次時(shí)空骨架圖表示進(jìn)行預(yù)測(cè)，并對(duì)預(yù)測(cè)誤差進(jìn)行加權(quán)融合作為最終異常骨架的判別依據(jù)。通過(guò)此策略，解決了文獻(xiàn)［47］僅使用單一低層次骨架圖表示，只能應(yīng)用于高分辨率視頻的問(wèn)題，由此提升了針對(duì)場(chǎng)景變化的魯棒性。

類似地，Huang等人［65］整合GCN與Transformer設(shè)計(jì)時(shí)空?qǐng)D轉(zhuǎn)換（spatio-temporal graph transformer，STGformer）模型對(duì)人體時(shí)空骨架圖高層次全局表示與低層次局部表示進(jìn)行分級(jí)處理。具體而言，STGformer中全局分支使用GCN編碼描述不同個(gè)體間交互關(guān)系的全局空間圖（與文獻(xiàn)［48］一致，此時(shí)個(gè)體采用中心質(zhì)點(diǎn)表示），隨后利用時(shí)序Transformer學(xué)習(xí)連續(xù)時(shí)刻全局圖的時(shí)序依賴，最后利用FC層對(duì)未來(lái)時(shí)刻全局圖進(jìn)行預(yù)測(cè)；至于STGformer中的局部分支，使用上述步驟對(duì)描述每一個(gè)體內(nèi)關(guān)節(jié)點(diǎn)連接的局部空間圖進(jìn)行預(yù)測(cè)。兩個(gè)預(yù)測(cè)誤差聯(lián)合用于異常骨架檢測(cè)。

不同于傳統(tǒng)GAN中判別器直接面向生成樣本與真實(shí)樣本進(jìn)行區(qū)分來(lái)提升生成器預(yù)測(cè)能力，文獻(xiàn)［63］將預(yù)測(cè)視頻幀及對(duì)應(yīng)真實(shí)值與歷史時(shí)刻連續(xù)幀拼接組成片段后，從片段時(shí)空一致性角度出發(fā)辨別生成樣本與真實(shí)樣本以強(qiáng)化生成器預(yù)測(cè)性能，保證其輸出的預(yù)測(cè)正常幀與歷史輸入的時(shí)空一致性。類似地，文獻(xiàn)［64］提供雙判別器分別在幀級(jí)別與片段級(jí)別開(kāi)展預(yù)測(cè)幀的空間一致性與時(shí)序連貫性評(píng)估，同時(shí)在生成器中引入時(shí)序Transformer替代文獻(xiàn)［63］中的C3D層來(lái)捕獲視頻動(dòng)態(tài)變化。

Wang等人［66］使用多個(gè)殘差模塊［74］連接組成的編碼器與解碼器進(jìn)行多路視頻幀預(yù)測(cè)，編碼器內(nèi)每個(gè)殘差模塊獲得的不同尺寸特征圖經(jīng)過(guò)預(yù)測(cè)模塊輸出相應(yīng)尺寸的未來(lái)時(shí)刻特征圖，繼而與解碼器對(duì)應(yīng)模塊輸出融合拼接后得到最終預(yù)測(cè)幀，由此處理視頻幀不同尺度區(qū)域。此外，訓(xùn)練預(yù)測(cè)模型時(shí)，除采用傳統(tǒng)逐像素計(jì)算的預(yù)測(cè)誤差，提出噪聲容限損失以減輕視頻幀中背景像素固有噪聲引起的干擾，從而改善預(yù)測(cè)效果。

3）基于重構(gòu)預(yù)測(cè)融合誤差的方法 Liu等人［45］提出一種重構(gòu)/預(yù)測(cè)耦合框架HF2-VAD：一方面，設(shè)計(jì)跨越連接多級(jí)記憶模塊自編碼器（multi-level memory modules in an autoencoder with skip connections，ML-MemAE-SC）進(jìn)行光流重構(gòu)。相較于傳統(tǒng)Mem-AE［42，43］，ML-MemAE-SC內(nèi)部嵌入多個(gè)記憶模塊以確保更全面記錄正常模式，同時(shí)添加跨越連接避免信息濾除過(guò)度；另一方面，以重構(gòu)光流為條件輸入，使用條件變分自編碼器（conditional variational autoencoder，CVAE）執(zhí)行視頻幀預(yù)測(cè)。由此光流重構(gòu)質(zhì)量將影響幀預(yù)測(cè)質(zhì)量，重構(gòu)效果不佳的異常光流會(huì)進(jìn)一步惡化對(duì)應(yīng)異常幀預(yù)測(cè)效果，進(jìn)而有助于異常識(shí)別。

相反地，Zhong等人［68］構(gòu)建重構(gòu)/預(yù)測(cè)級(jí)聯(lián)架構(gòu)以視頻幀重構(gòu)結(jié)果作為光流預(yù)測(cè)輸入，在光流預(yù)測(cè)GAN網(wǎng)絡(luò)的生成器中利用壓縮與激勵(lì)（squeeze-and-excitation，SE）模塊實(shí)現(xiàn)通道注意力機(jī)制，從而獲取不同通道特征圖的重要性權(quán)重，以優(yōu)化光流預(yù)測(cè)效果。

部分研究則將重構(gòu)流程和預(yù)測(cè)流程設(shè)置為兩個(gè)互不干擾的獨(dú)立環(huán)節(jié)。Morias等人［70］研究一種基于門控循環(huán)單元（gated recurrent unit，GRU）的單編碼器雙解碼器CAE網(wǎng)絡(luò)，單編碼器將人體骨架軌跡映射為隱層特征表示后，雙分支解碼器分別對(duì)當(dāng)前連續(xù)時(shí)刻和未來(lái)連續(xù)時(shí)刻的骨架軌跡進(jìn)行重構(gòu)和預(yù)測(cè)。類似地，Lee等人［71］提出集成獨(dú)立上下文外觀預(yù)測(cè)分支和運(yùn)動(dòng)重構(gòu)分支的混合結(jié)構(gòu)。其中預(yù)測(cè)分支利用基于Transformer層的CAE開(kāi)展多上下文設(shè)置的目標(biāo)圖像預(yù)測(cè)，而運(yùn)動(dòng)分支使用經(jīng)典CAE執(zhí)行目標(biāo)光流重構(gòu)，兩個(gè)分支單獨(dú)運(yùn)行且互不干涉。預(yù)測(cè)誤差和重構(gòu)誤差融合后用于異常推理。

2.1.2 基于判別式的方法

基于判別式的方法直接使用CAE/GAN訓(xùn)練過(guò)程學(xué)習(xí)到的各類模型判別待測(cè)事件樣本異常與否，如圖9所示。根據(jù)所用模型的類別，可以分為基于判別器模型的方法［49，75～79］、基于概率模型的方法［80～85］及基于決策模型的方法［86～90］，如圖10所示。

其中，基于判別器模型的方法利用GAN的判別器部分輸出待測(cè)事件樣本對(duì)應(yīng)生成樣本（重構(gòu)/預(yù)測(cè)）與真實(shí)樣本的相似性，用作異常判定基準(zhǔn)。一般來(lái)說(shuō)，GAN的訓(xùn)練結(jié)果是生成器能夠合成與真實(shí)樣本高度一致、判別器無(wú)法鑒別的生成樣本。由此，進(jìn)行異常檢測(cè)時(shí)，僅采用正常樣本訓(xùn)練得到的判別器在推理階段難以區(qū)分正常樣本對(duì)應(yīng)的生成樣本，進(jìn)而輸出較高的相似值；易于區(qū)分異常樣本對(duì)應(yīng)的生成樣本，進(jìn)而輸出較低的相似值。計(jì)算流程如式（13）所示。

基于概率模型的方法一般面向CAE編碼器映射的事件樣本的隱層特征，而非解碼器輸出的生成樣本。進(jìn)行異常檢測(cè)時(shí)，在訓(xùn)練階段，選擇合適策略建立正常樣本隱層特征分布的概率密度模型；隨后在推理階段，根據(jù)待測(cè)樣本在正常特征分布模型下的條件概率值判別其是否為異常。計(jì)算流程為

（14）

其中：G（ ）為正常樣本隱層特征分布的概率密度函數(shù)；W表示分布參數(shù)（如均值、方差等）。

基于決策模型的方法同樣側(cè)重分析CAE編碼器輸出的事件樣本隱層特征。進(jìn)行異常檢測(cè)時(shí)，在正常特征分布區(qū)域外構(gòu)建緊致決策分類面包圍大多數(shù)正常樣本；而在推理階段，落在分類面外的待測(cè)樣本被判別為異常。計(jì)算流程如式（15）所示。

（15）

其中：D（ ）為決策模型如單類支持向量機(jī)（one-class support vector machine，OS-SVM）或支持向量數(shù)據(jù)描述（support vector data description，SVDD）；W表示決策模型的參數(shù)；W為訓(xùn)練更新后的參數(shù)。

1）基于判別器模型的方法 針對(duì)傳統(tǒng)GAN中判別器訓(xùn)練過(guò)程不穩(wěn)定、梯度易消失等缺陷，文獻(xiàn)［49］在判別器中引入瓦氏距離（earth-mover距離）替代JS（Jensen-Shannon）散度來(lái)評(píng)估預(yù)測(cè)視頻幀與真實(shí)視頻幀之間相似性，以提升訓(xùn)練階段平穩(wěn)性，構(gòu)建模型稱為瓦氏生成對(duì)抗網(wǎng)絡(luò)（Wasserstein generative adversarial autoencoder，WGAN）。與此同時(shí)，在WGAN生成器中嵌入運(yùn)動(dòng)一致性約束項(xiàng)提升正常視頻幀預(yù)測(cè)質(zhì)量，確保判別器輸出較高相似性得分。

同樣地，文獻(xiàn)［75，76］使用瓦氏距離擬合生成樣本與真實(shí)樣本的相似性。值得注意的是，考慮到單一判別器的局限性，文獻(xiàn)［76］設(shè)計(jì)的視頻上下文提示生成模型包含兩個(gè)WGAN分支，即區(qū)域合成網(wǎng)絡(luò)（region synthesizing network，RSN）與場(chǎng)景細(xì)化網(wǎng)絡(luò)（scene refining network，SRN）。其中，RSN的生成器Gr利用視頻時(shí)序上下文線索（光流）對(duì)視頻幀局部區(qū)域進(jìn)行重構(gòu)，而SRN的生成器GS利用Gr的輸出作為視頻空間上下文線索對(duì)視頻幀整體場(chǎng)景進(jìn)行重構(gòu)。RSN的判別器Dr與Gr基于瓦氏距離完成對(duì)抗學(xué)習(xí)后能夠在局部層次上鑒別不協(xié)調(diào)區(qū)域（異常生成樣本），而SRN的判別器Ds能夠在整體層次上鑒別扭曲場(chǎng)景（異常生成樣本）。由此，在推理階段，兩個(gè)判別器的輸出聯(lián)合用于異常識(shí)別。

鑒于原始GAN的訓(xùn)練階段判別器僅面向由正常樣本生成的單一樣本與對(duì)應(yīng)真實(shí)樣本進(jìn)行真/假二分類，致使其鑒別能力有限、容易出現(xiàn)異常漏判的問(wèn)題，Huang等人［79］采用自監(jiān)督機(jī)制設(shè)計(jì)輔助任務(wù)（proxy task），將單一正常預(yù)測(cè)幀進(jìn)行多次旋轉(zhuǎn)后與相應(yīng)真實(shí)視頻幀聯(lián)合組成樣本集合，旋轉(zhuǎn)角度作為樣本標(biāo)簽，用于開(kāi)展判別器基于旋轉(zhuǎn)角度的多分類訓(xùn)練，進(jìn)而強(qiáng)化判別器鑒別能力，優(yōu)化異常判別效果。

2）基于概率模型的方法 部分研究假設(shè)正常樣本符合某一特定概率分布，并通過(guò)參數(shù)估計(jì)獲取其概率密度模型。Ou-yang等人［80］在高斯混合模型（gaussian mixture model，GMM）框架下建模CAE輸出的正常目標(biāo)圖像對(duì)應(yīng)隱層特征分布，并在訓(xùn)練過(guò)程采用期望最大化（expectation maximization，EM）算法求解GMM參數(shù)。在測(cè)試過(guò)程，異常圖像特征難以與建立的GMM中任意高斯分量相關(guān)聯(lián)，從而在任意高斯分量下的條件概率值很低。針對(duì)EM算法中交替迭代運(yùn)算冗長(zhǎng)的問(wèn)題，鐘友坤等人［81］搭建由多個(gè)FC層構(gòu)成的多層感知機(jī)估計(jì)GMM的參數(shù)并評(píng)估樣本的似然。具體而言，利用MLP與softmax函數(shù)預(yù)測(cè)每個(gè)正常視頻幀屬于GMM中任意分量的概率，基于N個(gè)正常幀預(yù)測(cè)結(jié)果即可估計(jì)GMM參數(shù)。

鑒于概率密度模型參數(shù)求解需要依賴大量數(shù)據(jù)樣本，計(jì)算過(guò)程耗時(shí)長(zhǎng)且復(fù)雜的難點(diǎn)，一些研究預(yù)先設(shè)定參數(shù)已知的先驗(yàn)概率模型，并通過(guò)分布度量策略拉近正常樣本分布與預(yù)設(shè)的先驗(yàn)概率分布，進(jìn)而擬合正常樣本的概率模型。其中，F(xiàn)an等人［82］通過(guò)變分自編碼器（variational autoencoder，VAE）中的KL（Kullback-Leibler）散度逼近正常隱層特征分布與已知參數(shù)的先驗(yàn)GMM分布。然而，KL散度是非對(duì)稱的。由此，Li等人［83］利用對(duì)抗自編碼器（adversarial autoencoder，AAE）中編碼器與判別器的對(duì)抗學(xué)習(xí)近似正常視頻幀對(duì)應(yīng)的隱層特征分布與先驗(yàn)多元高斯分布。

3）基于決策模型的方法 胡海洋等人［86］使用C3D層提取正常視頻片段的時(shí)空高維特征后，引入降噪自編碼器（denoising autoencoder，DAE）對(duì)高維特征進(jìn)行降維，繼而用于訓(xùn)練OS-SVM模型創(chuàng)建超平面來(lái)分割正常特征。詳細(xì)地說(shuō)，創(chuàng)建分類超平面時(shí)最大化超平面到中心的距離并確保大部分正常特征落在超平面內(nèi)側(cè)。而在檢測(cè)環(huán)節(jié)， 落在超平面外側(cè)的特征對(duì)應(yīng)的待測(cè)視頻片段為異常。但是OC-SVM模型構(gòu)建的超平面屬于半開(kāi)放決策面，難以全面包圍正常樣本分布區(qū)域， 從而削弱OC-SVM的異常檢測(cè)性能。因此，Wu等人［90］采用SVDD模型基于強(qiáng)約束創(chuàng)建封閉超球面，完整包裹正常視頻片段的時(shí)空隱層特征，以提升異常辨別能力。

2.2 基于小樣本學(xué)習(xí)的方法

根據(jù)檢測(cè)模型跨領(lǐng)域傳遞所選策略的不同，現(xiàn)有基于小樣本學(xué)習(xí)的半監(jiān)督方法分為基于遷移學(xué)習(xí)的方法和基于元學(xué)習(xí)的方法。

2.2.1 基于遷移學(xué)習(xí)的方法

Sun等人［51］率先使用遷移學(xué)習(xí)（transfer learning）完成小樣本情況下的視頻異常檢測(cè)任務(wù)。首先，在源領(lǐng)域（通用場(chǎng)景）基于大規(guī)模強(qiáng)標(biāo)注視頻事件樣本開(kāi)展特征編碼器s監(jiān)督式分類訓(xùn)練；其次，搭建領(lǐng)域適應(yīng)模塊（domain adaption module，DAM），利用目標(biāo)領(lǐng)域（異常場(chǎng)景）中少量的正常事件樣本將s由源領(lǐng)域遷移至目標(biāo)領(lǐng)域，縮小領(lǐng)域間差異；最后，采用遷移后的編碼器t進(jìn)行目標(biāo)領(lǐng)域下異常檢測(cè)。由此，目標(biāo)領(lǐng)域無(wú)須依賴大量預(yù)標(biāo)注事件樣本執(zhí)行特征提取模型訓(xùn)練，從而實(shí)現(xiàn)小樣本學(xué)習(xí)下的異常識(shí)別。

考慮到上述工作需要進(jìn)行跨領(lǐng)域模型調(diào)整，面向場(chǎng)景變化的適應(yīng)性與魯棒性有限，Aich等人［91］提出無(wú)須領(lǐng)域適應(yīng)的“開(kāi)箱即用（out-of-the-box）”跨域遷移框架。該框架核心模塊為基于視頻幀預(yù)測(cè)的異常檢測(cè)模型，該模塊在源領(lǐng)域（已知異常場(chǎng)景）使用全新設(shè)計(jì)的Normalcy分類器學(xué)習(xí)正常事件特征與偽異常事件特征差異。鑒于偽異常事件樣本的多樣性（由Untrained CNN在正常視頻幀中添加任意異常目標(biāo)自動(dòng)合成），學(xué)習(xí)得到的異常檢測(cè)模型在推理階段具備無(wú)須自適應(yīng)即可實(shí)現(xiàn)目標(biāo)領(lǐng)域（未知異常場(chǎng)景）中正常/異常區(qū)分的能力。值得注意的是，不同于文獻(xiàn)［51］遷移特征提取模型，該框架直接遷移異常檢測(cè)模型到目標(biāo)領(lǐng)域。類似地，Doshi等人［92］設(shè)計(jì)“即插即用（plug-and-play）”的模塊化遷移架構(gòu)，針對(duì)場(chǎng)景變化的適應(yīng)性增強(qiáng)（跨域適應(yīng)性）。

2.2.2 基于元學(xué)習(xí)的方法

與遷移學(xué)習(xí)直接由源領(lǐng)域傳遞預(yù)訓(xùn)練完備的模型不同，元學(xué)習(xí)（meta learning）側(cè)重在已知源領(lǐng)域通過(guò)多任務(wù)自主學(xué)習(xí)如何構(gòu)建模型，從而在未知目標(biāo)領(lǐng)域下依賴小規(guī)模樣本迅速更新模型參數(shù)，通過(guò)少量迭代快速適應(yīng)新任務(wù)。Lu等人［52］借鑒元學(xué)習(xí)策略，在元訓(xùn)練環(huán)節(jié)，面向多個(gè)已知場(chǎng)景設(shè)置訓(xùn)練事件樣本進(jìn)行異常檢測(cè)模型多任務(wù)學(xué)習(xí)。隨后在元測(cè)試環(huán)節(jié)，面向未知待測(cè)場(chǎng)景只依靠少量事件樣本微調(diào)即可完成異常檢測(cè)。需要特別說(shuō)明的是，所提元學(xué)習(xí)框架能夠適配不同異常檢測(cè)模型。Lv等人［53］在視頻幀預(yù)測(cè)架構(gòu)中構(gòu)建動(dòng)態(tài)原型單元（dynamic prototype unit，DPU）學(xué)習(xí)正常視頻幀的典型動(dòng)態(tài)模式，并引入元學(xué)習(xí)機(jī)制在異常推理階段根據(jù)待測(cè)幀狀態(tài)持續(xù)更新DPU參數(shù)，提升應(yīng)對(duì)新場(chǎng)景正常/異常變化的能力。

2.3 本章小節(jié)

一些先進(jìn)半監(jiān)督視頻異常檢測(cè)方法［37，93～95］針對(duì)傳統(tǒng)重構(gòu)/預(yù)測(cè)方法僅面向視頻序列正向時(shí)序開(kāi)展單向生成（即只利用歷史信息生成未來(lái)事件），導(dǎo)致信息學(xué)習(xí)出現(xiàn)偏差的問(wèn)題，提出同時(shí)由視頻序列正向時(shí)序與逆向時(shí)序進(jìn)行雙向生成的策略。具體而言，對(duì)于t時(shí)刻視頻幀，生成網(wǎng)絡(luò)以其t-T時(shí)刻的歷史信息與t+T時(shí)刻的未來(lái)信息聯(lián)合作為輸入進(jìn)行重構(gòu)/預(yù)測(cè)。然而，實(shí)際場(chǎng)景應(yīng)用中無(wú)法預(yù)先獲取未來(lái)時(shí)刻信息，由此，該類方法難以部署到實(shí)際監(jiān)控系統(tǒng)中進(jìn)行在線異常檢測(cè)，發(fā)揮實(shí)時(shí)報(bào)警功能。此外，現(xiàn)有大多數(shù)半監(jiān)督研究受限于僅利用正常事件樣本的訓(xùn)練設(shè)置，未能主動(dòng)以正常樣本中提煉異常信息作為補(bǔ)充輸入以提升異常檢測(cè)表現(xiàn)。

3 基于無(wú)監(jiān)督模式的方法

之前的無(wú)監(jiān)督視頻異常事件檢測(cè)方法在沒(méi)有可用的標(biāo)注訓(xùn)練樣本的情況下，大多通過(guò)假設(shè)的方式開(kāi)展異常檢測(cè)。

盡管這些假設(shè)通常具有一定合理性，但會(huì)限制方法的適用范圍。例如，一些方法假定待測(cè)視頻中正常事件出現(xiàn)頻率更高，隨后統(tǒng)計(jì)視頻中圖像幀的變化，將其中絕大多數(shù)相似的圖像幀視為正常，而將與這些幀差異較大的認(rèn)定為異常。顯然這些方法僅適用于處理異常事件較為稀疏的視頻，對(duì)于異常事件發(fā)生頻繁導(dǎo)致所占比例極高的視頻，由于事先假定無(wú)法成立，檢測(cè)結(jié)果不理想。為此，近期研究嘗試由無(wú)標(biāo)注待測(cè)樣本獲取標(biāo)注訓(xùn)練樣本，并沿用監(jiān)督式模式基于生成的訓(xùn)練樣本迭代優(yōu)化異常檢測(cè)模型。

3.1 基于偽標(biāo)注生成的方法

3.3 本章小節(jié)

由于缺乏預(yù)先標(biāo)注的訓(xùn)練樣本提供監(jiān)督信息，無(wú)監(jiān)督視頻異常檢測(cè)實(shí)現(xiàn)過(guò)程極為困難，所以當(dāng)前相關(guān)研究數(shù)量較少。但其可以直接進(jìn)行未標(biāo)注待測(cè)視頻中的異常辨別，因此更容易部署到實(shí)際應(yīng)用場(chǎng)景中執(zhí)行實(shí)時(shí)異常檢測(cè)，這將是今后面向應(yīng)用的異常檢測(cè)研究的主要發(fā)展方向。

4 視頻異常事件檢測(cè)數(shù)據(jù)集

當(dāng)前視頻異常事件檢測(cè)領(lǐng)域研究常用的公開(kāi)基準(zhǔn)數(shù)據(jù)集有UCSD［106］、CUHK-Avenue［107］、ShanghaiTech［108］、UCF-Crime［15］及Street-Scene［109］。其中，前三個(gè)數(shù)據(jù)集均是拍攝記錄的大學(xué)校園或科技園區(qū)內(nèi)街道場(chǎng)景中發(fā)生的事件，而UCF-Crime數(shù)據(jù)集重點(diǎn)記錄社會(huì)公共場(chǎng)所如銀行、商場(chǎng)等場(chǎng)景發(fā)生的各類犯罪行為，Street-Scene數(shù)據(jù)集聚焦拍攝居民社區(qū)內(nèi)一條包含非機(jī)動(dòng)車道、機(jī)動(dòng)車道及人行道的三車道街道場(chǎng)景中發(fā)生的交通事件。除此之外，與其他三個(gè)數(shù)據(jù)集中絕大多數(shù)異常事件通過(guò)“表演”模擬產(chǎn)生不同，UCF-Crime與Street-Scene數(shù)據(jù)集中異常事件均是自然發(fā)生的。表1概述了上述數(shù)據(jù)集拍攝場(chǎng)景、視頻幀數(shù)目、異常事件類別及真實(shí)值標(biāo)注等信息。

4.1 UCSD數(shù)據(jù)集

該數(shù)據(jù)集由加利福尼亞大學(xué)圣迭戈分校（University of California， San Diego，UCSD）統(tǒng)計(jì)可視化計(jì)算實(shí)驗(yàn)室發(fā)布，由Ped1和Ped2兩個(gè)子集組成，分別包含兩臺(tái)固定攝像機(jī)拍攝的UCSD校園內(nèi)兩條不同道路場(chǎng)景的多段視頻，不同視頻內(nèi)的人群密度變化幅度很大。Ped1和Ped2子集中均將視頻場(chǎng)景中行人以正常速度沿著道路行走定義為正常事件，而將進(jìn)入人行道的非人目標(biāo)（表觀異常，如汽車等）及行人非常規(guī)運(yùn)動(dòng)模式（運(yùn)動(dòng)異常，如玩滑板車、騎自行車等）定義為異常事件。

Ped1子集的訓(xùn)練集由34段只包含正常事件的視頻序列組成，測(cè)試集由36段包含不同類型異常的視頻序列組成，每段視頻的長(zhǎng)度均為200幀，空間分辨率為238×158。由于攝像機(jī)拍攝視角問(wèn)題，Ped1子集視頻中存在嚴(yán)重透視問(wèn)題（距離攝像機(jī)較近的目標(biāo)在畫(huà)面中占據(jù)的區(qū)域面積大于距離攝像機(jī)較遠(yuǎn)的相同尺寸目標(biāo)）。相較于Ped1，Ped2子集體量更小，訓(xùn)練集和測(cè)試集則分別包含16段正常視頻序列和12段異常視頻序列，每段視頻長(zhǎng)度從120幀到200幀不等，空間分辨率為360×240。

Ped1子集僅同時(shí)提供10段測(cè)試視頻的異常幀層次真實(shí)值標(biāo)注與像素層次真實(shí)值標(biāo)注，而Ped2子集則同時(shí)提供所有測(cè)試視頻的異常幀層次真實(shí)值標(biāo)注與像素層次真實(shí)值標(biāo)注。數(shù)據(jù)集中典型正常與異常視頻幀如圖12所示，其中異常視頻幀中的異常目標(biāo)利用紅色邊界框標(biāo)記（參見(jiàn)電子版）。

4.2 CUHK-Avenue數(shù)據(jù)集

該數(shù)據(jù)集由香港中文大學(xué)（The Chinese University of Hong Kong，CUHK） 盧策吾教授團(tuán)隊(duì)發(fā)布，使用固定攝像機(jī)采集了CUHK校園內(nèi)一條走廊及外部廣場(chǎng)場(chǎng)景視頻。類似于UCSD，Avenue數(shù)據(jù)集中將行人在攝像頭前走廊上行走定義為正常事件，而將出現(xiàn)的非常規(guī)目標(biāo)（表觀異常，如行人推著自行車、徘徊）、行人異常運(yùn)動(dòng)（運(yùn)動(dòng)異常，如奔跑）及特殊動(dòng)作（行為異常，如做體操、拋擲物品）定義為異常事件。值得注意的是，該數(shù)據(jù)集中絕大多數(shù)異常事件是由行人模擬表演而來(lái)。

Avenue數(shù)據(jù)集的訓(xùn)練集和測(cè)試集分別包含16段視頻和21段視頻，視頻幀的空間分辨率為640×360。其中，21段測(cè)試視頻中共發(fā)生47個(gè)異常事件，而訓(xùn)練視頻中也包含少量的異常。該數(shù)據(jù)集同時(shí)提供所有測(cè)試視頻的異常幀層次真實(shí)值標(biāo)注與目標(biāo)層次真實(shí)值標(biāo)注。數(shù)據(jù)集中典型正常與異常視頻幀如圖13所示，其中異常視頻幀中的異常目標(biāo)利用紅色邊界框標(biāo)記（參見(jiàn)電子版）。

4.3 ShanghaiTech數(shù)據(jù)集

該數(shù)據(jù)集由上?？萍即髮W(xué)（ShanghaiTech）高盛華教授團(tuán)隊(duì)發(fā)布。與先前數(shù)據(jù)集只包含單一視角攝像機(jī)拍攝的單場(chǎng)景視頻不同，為提升場(chǎng)景多樣性，該數(shù)據(jù)集使用不同視角攝像機(jī)記錄了ShanghaiTech校園內(nèi)13個(gè)不同光照條件街道場(chǎng)景的視頻。

ShanghaiTech數(shù)據(jù)集的訓(xùn)練集中包含來(lái)源于13個(gè)場(chǎng)景的330段視頻，共274 515幀，視頻內(nèi)容大多為人群沿著人行道正常行走。而測(cè)試集中包含107段視頻，共42 883幀，囊括追逐等運(yùn)動(dòng)異常以及爭(zhēng)斗等行為異常共130個(gè)異常事件。該數(shù)據(jù)集同時(shí)提供所有測(cè)試視頻異常幀層次和目標(biāo)層次的真實(shí)值標(biāo)注，典型正常與異常視頻幀如圖14所示。

4.4 UCF-Crime數(shù)據(jù)集

該數(shù)據(jù)集由中佛羅里達(dá)大學(xué)（University of Central Florida， UCF）計(jì)算機(jī)視覺(jué)研究中心與巴基斯坦信息技術(shù)大學(xué)（Information Technology University， ITU）聯(lián)合發(fā)布，是目前為止體量最大的公開(kāi)視頻異常事件數(shù)據(jù)集，包含1 900段視頻共約13 769 300幀，總時(shí)長(zhǎng)128 h。所含視頻涵蓋社會(huì)監(jiān)控系統(tǒng)采集的數(shù)百個(gè)區(qū)域場(chǎng)景的多類異常事件，如銀行、商場(chǎng)等公共場(chǎng)所室內(nèi)發(fā)生的搶劫、偷竊，室外交通主干道發(fā)生的交通事故等。

UCF-Crime數(shù)據(jù)集的訓(xùn)練集包含800段正常視頻與810段異常視頻，且僅提供異常視頻層次真實(shí)值弱標(biāo)注，以適用于弱監(jiān)督異常檢測(cè)算法。測(cè)試集包含150段正常視頻與140段異常視頻，提供幀層次真實(shí)值標(biāo)注。典型視頻畫(huà)面如圖15所示。

4.5 Street-Scene數(shù)據(jù)集

該數(shù)據(jù)集由北卡羅來(lái)納州立大學(xué)與三菱電氣研究實(shí)驗(yàn)室聯(lián)合公開(kāi)，采用一臺(tái)固定USB攝像機(jī)俯視拍攝了社區(qū)內(nèi)一條三車道街道場(chǎng)景視頻。不同于UCSD簡(jiǎn)單將汽車、自行車等非人交通目標(biāo)定義為異常，Street-Scene數(shù)據(jù)集更精細(xì)地對(duì)不同交通目標(biāo)的正常/異常進(jìn)行了劃分。例如，針對(duì)行人目標(biāo)，其在人行道上行走或在路邊上下車定義為正常，而橫穿馬路或在車道上下車視為異常；針對(duì)汽車目標(biāo)，其在機(jī)動(dòng)車道上合法行駛或在路邊合規(guī)?？慷x為正常，而駛離機(jī)動(dòng)車道、違法掉頭或在人行道上違停視為異常；針對(duì)自行車目標(biāo)，其在非機(jī)動(dòng)車道上騎行或由交叉路口駛?cè)攵x為正常，而駛離非機(jī)動(dòng)車道進(jìn)入人行道或違停視為異常。除此之外，相較于其他數(shù)據(jù)集，該數(shù)據(jù)集不同視頻存在陰影移動(dòng)與背景變化，因此更具挑戰(zhàn)性。

Street-Scene數(shù)據(jù)集的訓(xùn)練集中包含46段正常視頻，共56 847幀，而測(cè)試集中包含35段異常視頻，共146 410幀，空間分辨率均為1280×720。測(cè)試集視頻涵蓋上述17種共205個(gè)異常事件，且所有測(cè)試視頻的異常幀層次和像素層次真實(shí)值標(biāo)注均被提供。典型正常與異常視頻幀如圖16所示。

4.6 前沿方法在不同數(shù)據(jù)集上性能對(duì)比

表2總結(jié)了近期前沿視頻異常檢測(cè)方法在上述數(shù)據(jù)集上的測(cè)試結(jié)果，使用視頻幀層次AUC（area under curve）表示?？梢钥闯?，基于全監(jiān)督模式的方法通常使用ShanghaiTech與UCF-Crime數(shù)據(jù)集進(jìn)行性能測(cè)試，基于半監(jiān)督模式的方法則大多選擇UCSD、Avenue及ShanghaiTech數(shù)據(jù)集進(jìn)行性能測(cè)試，而基于無(wú)監(jiān)督模式的方法并沒(méi)有統(tǒng)一的測(cè)試數(shù)據(jù)集規(guī)范。在ShanghaiTech數(shù)據(jù)集上，全監(jiān)督方法中最高AUC值達(dá)到97.5%，超過(guò)半監(jiān)督方法中最高值16.9百分點(diǎn)。這充分驗(yàn)證了全監(jiān)督方法使用異常事件樣本提供監(jiān)督信息的優(yōu)勢(shì)。至于UCF-Crime數(shù)據(jù)集，全監(jiān)督方法取得了87.7%的最優(yōu)AUC值，鑒于該數(shù)據(jù)集的樣本真實(shí)性與場(chǎng)景復(fù)雜性，進(jìn)一步闡明了全監(jiān)督方法的優(yōu)越性。值得注意的是，無(wú)監(jiān)督方法與全監(jiān)督方法的異常檢測(cè)表現(xiàn)間仍存在差距（ShanghaiTech數(shù)據(jù)集△AUC=18.6百分點(diǎn)），然而卻逐漸趕超半監(jiān)督方法。例如，在Avenue數(shù)據(jù)集上，無(wú)監(jiān)督方法中最優(yōu)AUC值（88.8%）對(duì)比半監(jiān)督方法中最優(yōu)值（90.9%）差距不大。同樣地，在ShanghaiTech數(shù)據(jù)集上，取得了相當(dāng)?shù)腁UC值。這有力印證了當(dāng)前無(wú)監(jiān)督方法中設(shè)計(jì)的迭代回歸策略的有效性。異常檢測(cè)速度方面，大部分方法推理幀率大于10 frames/s，能夠?qū)崿F(xiàn)實(shí)時(shí)檢測(cè)。表2同時(shí)提供了所有公開(kāi)源碼方法對(duì)應(yīng)的代碼鏈接，以方便讀者進(jìn)行量化指標(biāo)數(shù)據(jù)復(fù)現(xiàn)與對(duì)比。

5 研究展望

5.1 理論方法研究

在過(guò)去幾年里，視頻異常檢測(cè)研究在方法設(shè)計(jì)、模型構(gòu)建、訓(xùn)練等方面取得一系列重要進(jìn)展，相關(guān)方法借助CNN等深度學(xué)習(xí)模型的優(yōu)異學(xué)習(xí)能力，在基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)極佳的檢測(cè)效果。然而，現(xiàn)有方法仍具有一定局限性與片面性，尚存在諸多極具挑戰(zhàn)性關(guān)鍵問(wèn)題亟待取得創(chuàng)新與突破。最后，針對(duì)當(dāng)前研究不足進(jìn)行了總結(jié)，并對(duì)未來(lái)重點(diǎn)研究方向進(jìn)行了展望：

a）多模態(tài)信息顯著融合的異常事件檢測(cè)研究。

當(dāng)前異常事件檢測(cè)研究大都面向光照穩(wěn)定且天氣良好簡(jiǎn)單實(shí)驗(yàn)場(chǎng)景。然而，復(fù)雜現(xiàn)實(shí)場(chǎng)景中，晝夜交替與天氣轉(zhuǎn)換普遍存在，引起光照變化與背景差異，對(duì)目標(biāo)外觀與運(yùn)動(dòng)感知造成干擾，同時(shí)異常事件種類更加雜亂。因此，如何應(yīng)對(duì)晝夜更迭與極端天氣導(dǎo)致的光照變化與背景差異以及雜亂事件，構(gòu)建魯棒異常檢測(cè)模型，是未來(lái)研究需要重點(diǎn)解決的問(wèn)題之一。

具體而言，可以探索使用視頻、音頻、紅外線等多模態(tài)信息提升方法的全面性和準(zhǔn)確性。例如，利用音頻信息能夠完成尖叫、爆炸等視覺(jué)模糊的暴亂異常事件檢測(cè)，利用紅外信息能夠完成光照條件不良情況下異常事件識(shí)別，進(jìn)而基于多模態(tài)信息提供的互補(bǔ)信息實(shí)現(xiàn)全面異常事件檢測(cè)。

b）三維場(chǎng)景空間下的異常事件檢測(cè)研究。

當(dāng)前異常事件檢測(cè)相關(guān)研究大都基于平面RGB圖像，忽略了場(chǎng)景三維空間信息。然而，RGB圖像提供的場(chǎng)景信息有限（僅包含顏色、紋理信息）且容易受到可見(jiàn)光透視投影引發(fā)的尺度變化影響。因此，如何借助深度圖像等空間幾何表征提供的場(chǎng)景三維結(jié)構(gòu)與形狀信息，彌補(bǔ)單一RGB圖像的不足，實(shí)現(xiàn)場(chǎng)景尺度嚴(yán)重變化下可靠的異常事件檢測(cè)，是未來(lái)研究需要重點(diǎn)解決的問(wèn)題之一。

具體而言，可以利用深度生成網(wǎng)絡(luò)獲取視頻場(chǎng)景深度圖像，并采用三維映射模型輸出點(diǎn)云幾何特征，同時(shí)通過(guò)加權(quán)特征融合機(jī)制將 RGB 圖像外觀信息與三維幾何信息在特征對(duì)齊基礎(chǔ)上完成有效整合，從而實(shí)現(xiàn)三維空間下異常事件檢測(cè)。

c）可語(yǔ)義解釋的異常事件檢測(cè)研究。

當(dāng)前異常事件檢測(cè)相關(guān)研究大都局限于粗粒度異常事件檢測(cè)與異常目標(biāo)定位，難以完成細(xì)粒度異常事件語(yǔ)義描述，即無(wú)法解釋待測(cè)事件被判為異常的原因。然而，異常事件描述對(duì)于提升異常檢測(cè)水平至關(guān)重要。因此，如何利用視頻描述模型提取高層次語(yǔ)義特征，并探索與視覺(jué)特征的優(yōu)勢(shì)互補(bǔ)，以挖掘異常事件語(yǔ)義，從而提升視頻異常檢測(cè)的整體性能，是未來(lái)研究需要重點(diǎn)解決的問(wèn)題之一。

具體而言，可以通過(guò)“預(yù)訓(xùn)練+微調(diào)”的模式引入視頻理解大模型，將視頻序列編碼到單獨(dú)的特征空間，并將視頻表示token與語(yǔ)言空間對(duì)齊。在此基礎(chǔ)上，基于視頻編碼特征利用異常檢測(cè)模型完成異常事件識(shí)別的同時(shí)，使用視頻理解大模型輸出場(chǎng)景事件文本描述，實(shí)現(xiàn)異常事件細(xì)粒度語(yǔ)義解釋。

d）自適應(yīng)場(chǎng)景感知的異常事件檢測(cè)研究。

當(dāng)前異常事件檢測(cè)相關(guān)研究大都忽略了監(jiān)控場(chǎng)景上下文信息，缺乏對(duì)場(chǎng)景狀態(tài)全面感知。然而，異常事件定義與所處場(chǎng)景息息相關(guān)，致使在很大程度上限制現(xiàn)有方法在不同場(chǎng)景下的可擴(kuò)展性和適用性。因此，如何充分提取場(chǎng)景信息，構(gòu)筑建模目標(biāo)間位置關(guān)系與交互關(guān)系的場(chǎng)景圖，實(shí)現(xiàn)場(chǎng)景精準(zhǔn)感知，并借鑒場(chǎng)景特征開(kāi)展異常事件檢測(cè)，是未來(lái)研究需要重點(diǎn)解決的問(wèn)題之一。

具體而言，可以借助在線學(xué)習(xí)理論強(qiáng)化方法的動(dòng)態(tài)適應(yīng)性，在視頻序列中準(zhǔn)確檢索出事件發(fā)生初始時(shí)刻與結(jié)束時(shí)刻，基于獲取的目標(biāo)行為、屬性以及與場(chǎng)景的交互信息等先驗(yàn)知識(shí)特征完成實(shí)時(shí)場(chǎng)景變化分析與建模，捕獲場(chǎng)景因果時(shí)序關(guān)系，增強(qiáng)特征辨識(shí)性，在此基礎(chǔ)上理解新的異常事件模式，實(shí)現(xiàn)異常事件場(chǎng)景自適應(yīng)在線檢測(cè)。

5.2 實(shí)際應(yīng)用研究

未來(lái)，實(shí)際場(chǎng)景在線大規(guī)模應(yīng)用是視頻異常檢測(cè)研究領(lǐng)域需要重點(diǎn)關(guān)注的方向之一，旨在為上游相關(guān)行業(yè)提供技術(shù)支撐：

a）智慧交通監(jiān)管領(lǐng)域。

交通場(chǎng)景中，視頻異常檢測(cè)技術(shù)的應(yīng)用一方面能夠通過(guò)車輛計(jì)數(shù)、交通流分析、障礙物檢測(cè)等事件監(jiān)視提高交通效率，另一方面能夠通過(guò)闖紅燈、違規(guī)變道、違法掉頭等違法檢測(cè)保證交通安全。

b）智能制造監(jiān)測(cè)領(lǐng)域。

工廠生產(chǎn)線上，視頻異常檢測(cè)技術(shù)的應(yīng)用不僅可以監(jiān)測(cè)產(chǎn)線工作人員操作異常，還能監(jiān)測(cè)產(chǎn)線異常、設(shè)備異常、物流輸送異常以及產(chǎn)品缺陷，保障生產(chǎn)安全的同時(shí)維護(hù)產(chǎn)品質(zhì)量標(biāo)準(zhǔn)一致性。

c）智慧城市監(jiān)控領(lǐng)域。

公共場(chǎng)所中，視頻異常檢測(cè)技術(shù)的應(yīng)用將及時(shí)發(fā)現(xiàn)游行游街、聚會(huì)暴亂等群體異常事件以及打架斗毆、偷竊、搶劫等個(gè)體異常行為，維護(hù)社會(huì)公共安全秩序，保障人民生命財(cái)產(chǎn)安全。

d）智能醫(yī)療監(jiān)護(hù)領(lǐng)域。

醫(yī)療場(chǎng)景中，視頻異常檢測(cè)技術(shù)的應(yīng)用可以通過(guò)X光片、核磁共振、CT等醫(yī)學(xué)圖像完成病變區(qū)域檢測(cè)。此外，也可以完成針對(duì)特殊病人的監(jiān)護(hù)任務(wù)，例如高齡老年病人跌倒檢測(cè)等，提供更智能和實(shí)時(shí)的醫(yī)療服務(wù)。

6 結(jié)束語(yǔ)

作為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一，視頻異常檢測(cè)任務(wù)受到來(lái)自學(xué)術(shù)界與產(chǎn)業(yè)界學(xué)者的持續(xù)關(guān)注，貢獻(xiàn)大量研究成果。由此，本文針對(duì)當(dāng)前視頻異常檢測(cè)相關(guān)文獻(xiàn)進(jìn)行了分類整理和概括總結(jié)，實(shí)現(xiàn)對(duì)該領(lǐng)域研究進(jìn)展的全面歸納。首先，根據(jù)異常檢測(cè)實(shí)現(xiàn)流程的檢測(cè)模式、樣本設(shè)置及學(xué)習(xí)/推理機(jī)制三個(gè)核心要素，提出一種由粗至精的三級(jí)分類策略，聚焦基于深度學(xué)習(xí)的前沿視頻異常檢測(cè)方法并進(jìn)行梳理，重點(diǎn)對(duì)代表性工作的基本原理進(jìn)行詳細(xì)闡述并提煉數(shù)學(xué)模型；其次，面向領(lǐng)域廣泛使用的性能測(cè)試基準(zhǔn)數(shù)據(jù)集開(kāi)展介紹與比較，同時(shí)統(tǒng)計(jì)主流方法在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，并進(jìn)行細(xì)致分析；最后，圍繞復(fù)雜光照/天氣條件、多模態(tài)圖像顯著融合、可語(yǔ)義解釋及自適應(yīng)場(chǎng)景感知四個(gè)方面對(duì)未來(lái)視頻異常檢測(cè)發(fā)展趨勢(shì)進(jìn)行探討與展望，以期為研究者提供借鑒與參考。

參考文獻(xiàn)：

［1］劉金平， 何捷舟， 馬天雨， 等. 基于KELM選擇性集成的復(fù)雜網(wǎng)絡(luò)環(huán)境入侵檢測(cè)［J］. 電子學(xué)報(bào)， 2019，47（5）： 1070-1078. （Liu Jinping， He Jiezhou， Ma Tianyu， et al. Selective ensemble of KELM-based complex network intrusion detection［J］. Acta Electronica Sinica， 2019， 47（5）： 1070-1078.）

［2］陳毓坤， 于暉， 陸寧云. 基于半監(jiān)督深度學(xué)習(xí)的雷達(dá)收發(fā)組件故障診斷［J］. 系統(tǒng)工程與電子技術(shù)， 2023， 45（10）： 3329-3337. （Chen Yukun， Yu Hui， Lu Ningyun. Fault diagnosis of radar T/R module based on semi-supervised deep learning［J］. Systems Engineering and Electronics， 2023， 45（10）： 3329-3337.）

［3］席亮， 王瑞東， 樊好義， 等. 基于樣本關(guān)聯(lián)感知的無(wú)監(jiān)督深度異常檢測(cè)模型［J］. 計(jì)算機(jī)學(xué)報(bào)， 2021， 44（11）： 2317-2331. （Xi Liang， Wang Ruidong， Fan Haoyi， et al. Sample-correlation-aware unsupervised deep anomaly detection model［J］. Chinese Journal of Computers， 2021， 44（11）： 2317-2331.）

［4］琚長(zhǎng)瑞， 秦曉燕， 袁廣林， 等. 尺度敏感損失與特征融合的快速小目標(biāo)檢測(cè)方法［J］. 電子學(xué)報(bào)， 2022， 50（9）： 2119-2126. （Ju Changrui， Qin Xiaoyan， Yuan Guanglin， et al. Fast small object detection method with scale-sensitivity loss and feature fusion［J］. Acta Electronica Sinica， 2022， 50（9）： 2119-2126.）

［5］蒲瞻星， 葛永新. 基于多特征融合的小樣本視頻行為識(shí)別算法［J］. 計(jì)算機(jī)學(xué)報(bào)， 2023， 46（3）： 594-608. （Pu Zhanxing， Ge Yongxin. Few-shot action recognition in video based on multi-feature fusion［J］. Chinese Journal of Computers， 2023， 46（3）： 594-608.）

［6］李群， 肖甫， 張子屹， 等. 基于空時(shí)變換網(wǎng)絡(luò)的視頻摘要生成［J］. 軟件學(xué)報(bào)， 2022， 33（9）： 3195-3209. （Li Qun， Xiao Fu， Zhang Ziyi， et al. Video summarization based on spacial-temporal transform network［J］. Journal of Software， 2022， 33（9）： 3195-3209.）

［7］Pang Guansong， Shen Chunhua， Cao Longbing， et al. Deep learning for anomaly detection： a review［J］. ACM Computing Surveys， 2021， 54（2）： 38.

［8］Kiran B， Thomas D， Parakkal R. An overview of deep learning based methods for unsupervised and semi-supervised anomaly detection in videos［J］. Journal of Imaging， 2018， 4（2）： 36.

［9］Chandrakala S， Deepak K， Revathy G. Anomaly detection in surveillance videos： a thematic taxonomy of deep models， review and performance analysis［J］. Artificial Intelligence Review， 2023， 56（4）： 3319-3368.

［10］何平， 李剛， 李慧斌. 基于深度學(xué)習(xí)的視頻異常檢測(cè)方法綜述［J］. 計(jì)算機(jī)工程與科學(xué)， 2022， 44（9）： 1620-1629. （He Ping， Li Gang， Li Huibin. A survey on deep learning based video anomaly detection［J］. Computer Engineering amp; Science， 2022， 44（9）： 1620-1629.）

［11］Zhou Shifu， Shen Wei， Zeng Dan， et al. Spatial-temporal convolutional neural networks for anomaly detection and localization in crowded scenes［J］. Signal Processing： Image Communication， 2016， 47： 358-368.

［12］Liu Wen， Luo Weixin， Li Zhengxin， et al. Margin learning embedded prediction for video anomaly detection with A few anomalies［C］//Proc of the 28th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3023-3030.

［13］Huang Xin， Hu Yutao， Luo Xiaoyan， et al. Boosting variational inference with margin learning for few-shot scene-adaptive anomaly detection［J］. IEEE Trans on Circuits and Systems for Video Technology， 2023， 33（6）： 2813-2825.

［14］Acsintoae A， Florescu A， Georgescu M I， et al. UBnormal： new benchmark for supervised open-set video anomaly detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 20111-20121.

［15］Sultani W， Chen Chen， Shah M. Real-world anomaly detection in surveillance videos［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 6479-6488.

［16］Zhang Jiangong， Qing Laiyun， Miao Jun. Temporal convolutional network with complementary inner bag loss for weakly supervised anomaly detection［C］//Proc of IEEE International Conference on Image Processing. Piscataway， NJ： IEEE Press， 2019： 4030-4034.

［17］Wan Boyang， Fang Yuming， Xia Xue， et al. Weakly supervised vi-deo anomaly detection via center-guided discriminative learning［C］//Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2020： 1-6.

［18］Yu Shenghao， Wang Chong， Mao Qiaomei， et al. Cross-epoch lear-ning for weakly supervised anomaly detection in surveillance videos［J］. IEEE Signal Processing Letters， 2021， 28： 2137-2141.

［19］Feng Jiachang， Hong Fating， Zheng Weishi. MIST： multiple instance self-training framework for video anomaly detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 14004-14013.

［20］Zhu Yi， Newsam S. Motion-aware feature for improved video anomaly detection［EB/OL］. （2019-07-24）. https：//arxiv.org/abs/1907.10211.

［21］Wu Jie， Zhang Wei， Li Guanbin， et al. Weakly-supervised spatio-temporal anomaly detection in surveillance video［EB/OL］. （2021）［2021-08-09］. https：//arxiv.org/abs/2108.03825.

［22］Gong Yiling， Wang Chong， Dai Xinmiao， et al. Multi-scale continuity-aware refinement network for weakly supervised video anomaly detection［C］//Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2022： 1-6.

［23］Zaheer M Z， Mahmood A， Astrid M， et al. CLAWS： clustering assisted weakly supervised learning with normalcy suppression for anomalous event detection［M］//Computer Vision – ECCV 2020. Cham： Springer International Publishing， 2020： 358-376.

［24］Li Shuo， Liu Fang， Jiao Licheng. Self-training multi-sequence lear-ning with transformer for weakly supervised video anomaly detection［C］//Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press ，2022： 1395-1403.

［25］Sun Deqing， Yang Xiaodong， Liu Mingyu， et al. PWC-net： cnns for optical flow using pyramid， warping， and cost volume［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 8934-8943.

［26］Tao Ye， Zhang Duzhou， Cheng Shengjun， et al. Improving semi-supervised self-training with embedded manifold transduction［J］. Trans of the Institute of Measurement and Control， 2018， 40（2）： 363-374.

［27］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.

［28］Zhong Jiaxing， Li Nannan， Kong Weijie， et al. Graph convolutional label noise cleaner： train a plug-and-play action classifier for anomaly detection［C］//Proc of the 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 1237-1246.

［29］Zaheer M Z， Mahmood A， Shin H， et al. A self-reasoning framework for anomaly detection using video-level labels［J］. IEEE Signal Processing Letters， 2020， 27： 1705-1709.

［30］Wang Limin， Xiong Yuanjun， Wang Zhe， et al. Temporal segment networks for action recognition in videos［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2019， 41（11）： 2740-2755.

［31］Kipf T N， Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2016-09-09）. https：//arxiv.org/abs/1609.02907.

［32］Zhu Yuansheng， Bao Wentao， Yu Qi. Towards open set video anomaly detection［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2022： 395-412.

［33］Zhang Chen， Li Guorong， Xu Qianqian， et al. Weakly supervised anomaly detection in videos considering the openness of events［J］. IEEE Trans on Intelligent Transportation Systems， 2022， 23（11）： 21687-21699.

［34］Zhao Junbo， Mathieu M， Goroshin R， et al. Stacked what-where auto-encoders［EB/OL］. （2015-06-08）. https：//arxiv.org/abs/1506.02351.

［35］Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020， 63（11）： 139-144.

［36］Wang Ziming， Zou Yuexian， Zhang Zeming， et al. Cluster attention contrast for video anomaly detection［C］//Proc of the 28th ACM International Conference on Multimedia. New York： ACM Press， 2020： 2463-2471.

［37］Zhong Yuanhong， Chen Xia， Hu Yongting， et al. Bidirectional spatio-temporal feature learning with multiscale evaluation for video anomaly detection［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（12）： 8285-8296.

［38］Liu Yang， Liu Jing， Lin Jieyu， et al. Appearance-motion united auto-encoder framework for video anomaly detection［J］. IEEE Trans on Circuits and Systems II： Express Briefs， 2022， 69（5）： 2498-2502.

［39］Zhang Xinfeng， Fang Jinpeng， Yang Baoqing， et al. Hybrid attention and motion constraint for anomaly detection in crowded scenes［J］. IEEE Trans on Circuits and Systems for Video Technology， 2023， 33（5）： 2259-2274.

［40］Le V T， Kim Y G. Attention-based residual autoencoder for video anomaly detection［J］. Applied Intelligence， 2023， 53（3）： 3240-3254.

［41］Zhang Sijia， Gong Maoguo， Xie Yu， et al. Influence-aware attention networks for anomaly detection in surveillance videos［J］. IEEE Trans on Circuits and Systems for Video Technology， 2022， 32（8）： 5427-5437.

［42］Gong Dong， Liu Lingqiao， Le V， et al. Memorizing normality to detect anomaly： memory-augmented deep autoencoder for unsupervised anomaly detection［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 1705-1714.

［43］Park H， Noh J， Ham B. Learning memory-guided normality for anomaly detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 14360-14369.

［44］Wang Le， Tian Junwen， Zhou Sanping， et al. Memory-augmented appearance-motion network for video anomaly detection［J］. Pattern Recognition， 2023， 138： 109335.

［45］Liu Zhian， Nie Yongwei， Long Chengjiang， et al. A hybrid video anomaly detection framework via memory-augmented flow reconstruction and flow-guided frame prediction［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021： 13568-13577.

［46］Markovitz A， Sharir G， Friedman I， et al. Graph embedded pose clustering for anomaly detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 10536-10544.

［47］Luo Weixin， Liu Wen， Gao Shenghua. Normal graph： spatial temporal graph convolutional networks based prediction network for skeleton based video anomaly detection［J］. Neurocomputing， 2021， 444： 332-337.

［48］Zeng Xianlin， Jiang Yalong， Ding Wenrui， et al. A hierarchical spatio-temporal graph convolutional neural network for anomaly detection in videos［J］. IEEE Trans on Circuits and Systems for Video Technology， 2023， 33（1）： 200-212.

［49］Li Jing， Huang Qingwang， Du Yingjun， et al. Variational abnormal behavior detection with motion consistency［J］. IEEE Trans on Image Processing， 2021， 31： 275-286.

［50］Saypadith S， Onoye T. Video anomaly detection based on deep gene-rative network［C］//Proc of IEEE International Symposium on Circuits and Systems. Piscataway， NJ： IEEE Press， 2021： 1-5.

［51］Sun Guangyu， Liu Zhang， Wen Lianggong， et al. Anomaly crossing： new horizons for video anomaly detection as cross-domain few-shot learning［EB/OL］. （2021-12-12）. https：//arxiv.org/abs/2112.06320.

［52］Lu Yiwei， Yu F， Reddy M K K， et al. Few-shot scene-adaptive anomaly detection［C］//Proc of the European Conference on Computer Vision. Cham： Springer International Publishing， 2020： 125-141.

［53］Lv Hui， Chen Chen， Cui Zhen， et al. Learning normal dynamics in videos with meta prototype network［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 15420-15429.

［54］Doshi K， Yilmaz Y. Continual learning for anomaly detection in surveillance videos［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE Press， 2020： 1025-1034.

［55］Pillai G V， Verma A， Sen D. Transformer based self-context aware prediction for few-shot anomaly detection in videos［C］//Proc of IEEE International Conference on Image Processing. Piscataway， NJ： IEEE Press， 2022： 3485-3489.

［56］Song Hao， Sun Che， Wu Xinxiao， et al. Learning normal patterns via adversarial attention-based autoencoder for abnormal event detection in videos［J］. IEEE Trans on Multimedia， 2020， 22（8）： 2138-2148.

［57］Nguyen T N， Meunier J. Anomaly detection in video sequence with appearance-motion correspondence［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 1273-1283.

［58］Chang Yunpeng， Tu Zhigang， Xie Wei， et al. Clustering driven deep autoencoder for video anomaly detection［C］//Proc of the European Conference on Computer Vision. Cham： Springer International Publishing， 2020： 329-345.

［59］Wang Tian， Qiao Meina， Lin Zhiwei， et al. Generative neural networks for anomaly detection in crowded scenes［J］. IEEE Trans on Information Forensics and Security， 2019， 14（5）： 1390-1399.

［60］Chen Xiaoyu， Kan Shichao， Zhang Fanghui， et al. Multiscale spatial temporal attention graph convolution network for skeleton-based ano-maly behavior detection［J］. Journal of Visual Communication and Image Representation， 2023， 90： 103707.

［61］Wang Yizhou， Qin Can， Bai Yue， et al. Making reconstruction-based method great again for video anomaly detection［C］//Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2022： 1215-1220.

［62］Yu J， Lee Y， Yow K C， et al. Abnormal event detection and localization via adversarial event prediction［J］. IEEE Trans on Neural Networks and Learning Systems， 2022， 33（8）： 3572-3586.

［63］Hao Yi， Li Jie， Wang Nannan， et al. Spatiotemporal consistency-enhanced network for video anomaly detection［J］. Pattern Recognition， 2022， 121： 108232.

［64］Feng Xinyang， Song Dongjin， Chen Yuncong， et al. Convolutional transformer based dual discriminator generative adversarial networks for video anomaly detection［C］//Proc of the 29th ACM International Conference on Multimedia. New York： ACM Press， 2021： 5546-5554.

［65］Huang Chao， Liu Yabo， Zhang Zheng， et al. Hierarchical graph embedded pose regularity learning via spatio-temporal transformer for abnormal behavior detection［C］//Proc of the 30th ACM International Conference on Multimedia. New York： ACM Press， 2022： 307-315.

［66］Wang Xuanzhao， Che Zhengping， Jiang Bo， et al. Robust unsupervised video anomaly detection by multipath frame prediction［J］. IEEE Transon Neural Networks and Learning Systems， 2022， 33（6）： 2301-2312.

［67］Cai Ruichu， Zhang Hao， Liu Wen， et al. Appearance-motion memory consistency network for video anomaly detection［C］//Proc of the AAAI Conference on Artificial Intelligence. Palo Alto， CA：AAAI Press， 2021： 938-946.

［68］Zhong Yuanhong， Chen Xia， Jiang Jinyang， et al. A cascade reconstruction model with generalization ability evaluation for anomaly detection in videos［J］. Pattern Recognition， 2022，122： 108336.

［69］Wang Wenqian， Chang Faliang， Liu Chunsheng. Mutuality-oriented reconstruction and prediction hybrid network for video anomaly detection［J］. Signal， Image and Video Processing， 2022， 16（7）： 1747-1754.

［70］Morais R， Le V， Tran T， et al. Learning regularity in skeleton trajectories for anomaly detection in videos［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 11988-11996.

［71］Lee J， Nam W J， Lee S W. Multi-contextual predictions with vision transformer for video anomaly detection［C］//Proc of the 26th International Conference on Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 1012-1018.

［72］Sharif M H， Jiao Lei， Omlin C W. Deep crowd anomaly detection by fusing reconstruction and prediction networks［J］. Electronics， 2023， 12（7）： 1517.

［73］Szegedy C， Vanhoucke V， Ioffe S， et al. Rethinking the inception architecture for computer vision［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2016： 2818-2826.

［74］Lim B， Son S， Kim H， et al. Enhanced deep residual networks for single image super-resolution［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE Press， 2017： 1132-1140.

［75］Li Nanjun， Chang Faliang， Liu Chunsheng. Human-related anomalous event detection via memory-augmented Wasserstein generative adversarial network with gradient penalty［J］. Pattern Recognition， 2023， 138： 109398.

［76］Zhang Zhi， Zhong Shenghua， Liu Yan. Video abnormal event detection via context cueing generative adversarial network［C］//Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2021： 1-6.

［77］Tang Yao， Zhao Lin， Zhang Shanshan， et al. Integrating prediction and reconstruction for anomaly detection［J］. Pattern Recognition Letters， 2020， 129： 123-130.

［78］Zhang Yu， Nie Xiushan， He Rundong， et al. Normality learning in multispace for video anomaly detection［J］. IEEE Trans on Circuits and Systems for Video Technology， 2021， 31（9）： 3694-3706.

［79］Huang Chao， Wen Jie， Xu Yong， et al. Self-supervised attentive generative adversarial networks for video anomaly detection［J］. IEEE Trans on Neural Networks and Learning Systems， 2023， 34（11）： 9389-9403.

［80］Ouyang Yuqi， Sanchez V. Video anomaly detection by estimating likelihood of representations［C］//Proc of the 25th International Conference on Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 8984-8991.

［81］鐘友坤， 莫海寧. 基于深度自編碼-高斯混合模型的視頻異常檢測(cè)方法［J］. 紅外與激光工程， 2022，51（6）： 375-381. （Zhong Youkun， Mo Haining. A video anomaly detection method based on deep autoencoding Gaussian mixture model［J］. Infrared and Laser Engineering， 2022， 51（6）： 375-381.）

［82］Fan Yaxiang， Wen Gongjian， Li Deren， et al. Video anomaly detection and localization via Gaussian mixture fully convolutional variational autoencoder［J］. Computer Vision and Image Understanding， 2020， 195： 102920.

［83］Li Nanjun， Chang Faliang. Video anomaly detection and localization via multivariate Gaussian fully convolution adversarial autoencoder［J］. Neurocomputing， 2019， 369： 92-105.

［84］Cho M， Kim T， Kim W J， et al. Unsupervised video anomaly detection via normalizing flows with implicit latent features［J］. Pattern Recognition， 2022， 129： 108703.

［85］肖進(jìn)勝， 郭浩文， 謝紅剛， 等. 監(jiān)控視頻異常行為檢測(cè)的概率記憶自編碼網(wǎng)絡(luò)［J］. 軟件學(xué)報(bào)， 2023， 34（9）： 4362-4377. （Xiao Jinsheng， Guo Haowen， Xie Honggang， et al. Probabilistic memory auto-encoding network for abnormal behavior detection in surveillance videos［J］. Journal of Software， 2023， 34（9）： 4362-4377.）

［86］胡海洋， 張力， 李忠金. 融合自編碼器和one-class SVM的異常事件檢測(cè)［J］. 中國(guó)圖象圖形學(xué)報(bào)， 2020，25（12）： 2614-2629. （Hu Haiyang， Zhang Li， Li Zhongjin. Anomaly detection with autoencoder and one-class SVM［J］. Journal of Image and Graphics， 2020， 25（12）： 2614-2629.）

［87］Xu Dan， Yan Yan， Ricci E， et al. Detecting anomalous events in videos by learning deep representations of appearance and motion［J］. Computer Vision and Image Understanding， 2017， 156： 117-127.

［88］Ionescu R T， Khan F S， Georgescu M I， et al. Object-centric auto-encoders and dummy anomalies for abnormal event detection in video［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 7834-7843.

［89］Zhong Yuanhong， Chen Xia， Jiang Jinyang， et al. Reverse erasure guided spatio-temporal autoencoder with compact feature representation for video anomaly detection［J］. Science China Information Sciences， 2022， 65（9）： 194101.

［90］Wu Peng， Liu Jing， Shen Fang. A deep one-class neural network for anomalous event detection in complex scenes［J］. IEEE Trans on Neural Networks and Learning Systems， 2020， 31（7）： 2609-2622.

［91］Aich A， Peng Kuanchuan， Roy-Chowdhury A K. Cross-domain video anomaly detection without target domain adaptation［C］//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2023： 2578-2590.

［92］Doshi K， Yilmaz Y. A modular and unified framework for detecting and localizing video anomalies［C］//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2022： 3007-3016.

［93］Yu Guang， Wang Siqi， Cai Zhiping， et al. Cloze test helps： effective video anomaly detection via learning to complete video events［C］//Proc of the 28th ACM International Conference on Multimedia. New York： ACM Press， 2020： 583-591.

［94］Chen Chengwei， Xie Yuan， Lin Shaohui， et al. Comprehensive regularization in a bi-directional predictive network for video anomaly detection［C］//Proc of the AAAI Conference on Artificial Intelligence. Palo Alto， CA：AAAI Press， 2022： 230-238.

［95］Li Daoheng， Nie Xiushan， Li Xiaofeng， et al. Context-related video anomaly detection via generative adversarial network［J］. Pattern Recognition Letters， 2022， 156： 183-189.

［96］Liu F T， Ting Kai ming， Zhou Zhihua. Isolation-based anomaly detection［J］. ACM Trans on Knowledge Discovery from Data， 2012， 6（1）： 3.

［97］Sugiyama M， Borgwardt K M. Rapid distance-based outlier detection via sampling［C］//Proc of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 467-475.

［98］Pang Guansong， Yan Cheng， Shen Chunhua， et al. Self-trained deep ordinal regression for end-to-end video anomaly detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 12170-12179.

［99］Guo Aibin， Guo Lijun， Zhang Rong， et al. Self-trained prediction model and novel anomaly score mechanism for video anomaly detection［J］. Image and Vision Computing， 2022， 119： 104391.

［100］Veeramachaneni K， Arnaldo I， Korrapati V， et al. AI^2： training a big data machine to defend［C］//Proc of the 2nd IEEE International Conference on Big Data Security on Cloud（BigDataSecurity）， IEEE International Conference on High Performance and Smart Computing（HPSC）， and IEEE International Conference on Intelligent Data and Security. Piscataway， NJ： IEEE Press， 2016： 49-54.

［101］Thakare K V， Raghuwanshi Y， Dogra D P， et al. DyAnNet： a scene dynamicity guided self-trained video anomaly detection network［C］//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2023： 5530-5539.

［102］Lin Xiangru， Chen Yuyang， Li Guanbin， et al. A causal inference look at unsupervised video anomaly detection［C］//Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA：AAAI Press， 2022： 1620-1629.

［103］Zaheer M Z， Mahmood A， Khan M H， et al. Generative cooperative learning for unsupervised video anomaly detection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 14724-14734.

［104］Huang Chao， Wu Zhihao， Wen Jie， et al. Abnormal event detection using deep contrastive learning for intelligent video surveillance system［J］. IEEE Transactions on Industrial Informatics， 2022， 18（8）： 5171-5179.

［105］Wang Guodong， Wang Yunhong， Qin Jie， et al. Video anomaly detection bySolving decoupled spatio-temporal jigsaw puzzles［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2022： 494-511.

［106］Mahadevan V， Li Weixin， Bhalodia V， et al. Anomaly detection in crowded scenes［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2010： 1975-1981.

［107］Lu Cewu， Shi Jianping， Jia Jiaya. Abnormal event detection at 150 FPS in MATLAB［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2013： 2720-2727.

［108］Luo Weixin， Liu Wen， Gao Shenghua. A revisit of sparse coding based anomaly detection in stacked RNN framework［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2017： 341-349.

［109］Ramachandra B， Jones M J. Street Scene： a new dataset and evaluation protocol for video anomaly detection［C］//Proc of IEEE Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2020： 2558-2567.

［110］李文中， 吳克偉， 孫永宣， 等. 基于對(duì)比記憶網(wǎng)絡(luò)的弱監(jiān)督視頻異常檢測(cè)［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（10）： 3162-3167，3172. （Li Wenzhong， Wu Kewei， Sun Yongxuan， et al. Video anomaly detection combining with contrastive memory network［J］. Application Research of Computers， 2023， 40（10）： 3162-3167，3172.）

［111］李南君， 李爽， 李拓， 等. 面向邊緣端設(shè)備的輕量化視頻異常事件檢測(cè)方法［J］. 計(jì)算機(jī)應(yīng)用研究， 2024，41（1）： 306-313，320. （Li Nanjun， Li Shuang， Li Tuo， et al. Lightweight video abnormal event detection method for edge devices［J］. Application Research of Computers， 2024， 41（1）： 306-313，320.）