基于深度學(xué)習(xí)的視頻異常檢測研究綜述

吉根林 戚小莎 王嘉琦,3

監(jiān)控攝像的廣泛應(yīng)用產(chǎn)生大量的視頻數(shù)據(jù),這些數(shù)據(jù)急需處理、分析和挖掘,人工難以及時應(yīng)對這一挑戰(zhàn),因此社會對自動化檢測和識別異常事件的需求日益增高[1],視頻異常檢測備受關(guān)注.

現(xiàn)代計算機(jī)及圖形處理單元的強(qiáng)大性能為視頻異常檢測方法提供充足的計算資源,同時,隨著大數(shù)據(jù)分析和挖掘技術(shù)的發(fā)展,這些方法能夠處理和分析大規(guī)模視頻數(shù)據(jù).這一進(jìn)展使視頻異常檢測在監(jiān)控系統(tǒng)、視頻分析和智能交通等領(lǐng)域發(fā)揮日益重要的作用.

視頻異常檢測方法可深入分析視頻數(shù)據(jù),自動識別和檢測其中異常事件或行為[2],旨在從大規(guī)模的視頻流中準(zhǔn)確辨別與正常事件不符的異常情況.視頻異常檢測方法包括高斯混合模型等概率統(tǒng)計方法、核密度估計等機(jī)器學(xué)習(xí)方法以及卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法.這些方法對視頻序列進(jìn)行建模和分析,捕獲異常事件呈現(xiàn)的不尋常特征或模式,實(shí)現(xiàn)視頻中異常事件的檢測[3].

現(xiàn)實(shí)場景的復(fù)雜性和對檢測的高要求使視頻異常檢測面臨如下關(guān)鍵性挑戰(zhàn).

1)數(shù)據(jù)復(fù)雜性.視頻數(shù)據(jù)通常呈現(xiàn)高維度和復(fù)雜的特征表示,包括顏色、紋理、運(yùn)動等多個方面.處理這些復(fù)雜數(shù)據(jù)需要設(shè)計有效的特征提取和表示方法.

2)數(shù)據(jù)稀疏性.一般而言,異常樣本數(shù)量遠(yuǎn)少于正常樣本數(shù)量,導(dǎo)致數(shù)據(jù)的不平衡性和稀疏性,使得異常檢測變得困難.

3)場景復(fù)雜性.視頻中存在復(fù)雜的背景干擾、光照變化和遮擋等因素,增加異常事件的檢測難度.

4)類內(nèi)變化.正常事件或行為具有多樣性和變化性,使異常檢測模型需要具備一定的魯棒性,以適應(yīng)不同的正常行為變化.

5)模型泛化.視頻異常檢測需要建立能泛化到不同場景和數(shù)據(jù)集的模型,這對于在現(xiàn)實(shí)世界中的應(yīng)用非常關(guān)鍵.

6)實(shí)時性.許多應(yīng)用場景對于異常的實(shí)時檢測有一定要求,需要高效的算法和較好的實(shí)時處理能力.

本文結(jié)合國內(nèi)外相關(guān)前沿科研工作和作者課題組的研究成果,全面概述基于深度學(xué)習(xí)的視頻異常檢測,涵蓋視頻異常檢測的背景、面臨的困難與挑戰(zhàn),對基于深度學(xué)習(xí)的視頻異常檢測方法進(jìn)行分類和深入分析,說明這些方法如何選擇檢測網(wǎng)絡(luò)模型.在常用的視頻異常檢測數(shù)據(jù)集和現(xiàn)有的評價指標(biāo)上,對各種視頻異常檢測方法進(jìn)行對比分析.最后從理論研究和實(shí)際應(yīng)用兩方面進(jìn)行討論與展望.在理論研究方面,展望視頻異常檢測領(lǐng)域未來的研究方向;在實(shí)際應(yīng)用方面,討論檢測技術(shù)在實(shí)際場景中的潛在應(yīng)用.

1 視頻異常檢測

1.1 異常檢測流程

視頻異常檢測通過深入分析視頻數(shù)據(jù),自動辨識和檢測其中的異常事件或行為,方法基本流程如圖1所示.

圖1 視頻異常檢測流程圖

視頻異常檢測基本步驟如下所示.

1)數(shù)據(jù)采集與預(yù)處理.采集視頻數(shù)據(jù),進(jìn)行預(yù)處理,包括去除噪聲、標(biāo)準(zhǔn)化、裁剪等操作,以便后續(xù)分析.

2)特征提取.從視頻數(shù)據(jù)中提取關(guān)鍵特征,表示為適合模型處理的形式.這些特征可能涉及空間、時間、運(yùn)動和語義信息,包括目標(biāo)位置、運(yùn)動軌跡、顏色分布等,為建立異常檢測模型提供基礎(chǔ).

3)建模與訓(xùn)練.使用提取的特征數(shù)據(jù),訓(xùn)練異常檢測模型,使其能識別正常行為并學(xué)習(xí)異常行為的模式.這些模型可以是傳統(tǒng)機(jī)器學(xué)習(xí)算法,也可以是深度學(xué)習(xí)模型,根據(jù)具體情況選擇合適的模型架構(gòu)和訓(xùn)練方法.

4)異常檢測.將訓(xùn)練好的模型應(yīng)用于視頻數(shù)據(jù)中,進(jìn)行異常檢測和識別.模型分析視頻數(shù)據(jù),識別其中的異常事件或行為,以便做進(jìn)一步的處理或報警.

1.2 綜述文獻(xiàn)回顧

基于人、物異常,早期Kiran等[4]對模型進(jìn)行一定的分類,胡正平等[5]從行為表示和模型方法兩方面進(jìn)行視頻異常檢測分類,Zaheer等[6]梳理常用的網(wǎng)絡(luò)架構(gòu).基于人類異常,Mabrouk等[7]全面分析已有的特征提取和檢測模型,Dhiman等[8]對特征提取方法進(jìn)行詳細(xì)介紹和分類,Afiq等[9]對檢測模型和算法進(jìn)行全面總結(jié).這些綜述的發(fā)表時間較早,未能涵蓋近期的異常檢測方法.

近年來,視頻異常檢測技術(shù)發(fā)展迅速.基于人、物異常,王志國等[10]根據(jù)算法的演進(jìn),僅對檢測算法進(jìn)行分類;王思齊等[11]、吉根林等[12]和楊帆等[13]從特征提取和模型建立出發(fā),對視頻異常檢測進(jìn)行分析和總結(jié).基于人類異常,Rezaee等[14]著手實(shí)時監(jiān)控,詳細(xì)分析實(shí)時的視頻異常檢測方法;徐濤等[15]分析現(xiàn)有的網(wǎng)絡(luò)模型并進(jìn)行分類;Mu等[16]將視頻異常檢測分為行為表示和事件建模兩部分分別介紹和分析總結(jié).上述綜述缺乏對異常的分類,也缺乏對現(xiàn)階段發(fā)展的總結(jié)和未來發(fā)展的具體展望.

深度學(xué)習(xí)的迅速發(fā)展促使研究人員將其引入視頻異常檢測領(lǐng)域.近期的綜述文獻(xiàn)專注于深度學(xué)習(xí)技術(shù)在視頻異常檢測中的應(yīng)用,并進(jìn)行深入的討論和總結(jié).基于人、物異常,何平等[17]從視頻異常檢測的概念、模型等出發(fā),歸納分析基于深度學(xué)習(xí)的檢測方法;Patrikar等[18]將邊緣計算引入視頻異常檢測中,分類檢測方法;Ramachandra等[19]從單場景的角度出發(fā),分析總結(jié)異常檢測方法;Jebur等[20]和Anoopa等[21]歸納總結(jié)基于深度學(xué)習(xí)的檢測模型和方法;Chandrakala等[22]提出一套包含四種主要類別及多個子類別的主題分類法,回顧在這些類別下采用的深度學(xué)習(xí)方法.Duong等[23]和Tran等[24]基于深度學(xué)習(xí),分類異常檢測模型;Caetano等[25]回顧視頻異常檢測方法中的基準(zhǔn)算法.基于人、物異常,張曉平等[26]總結(jié)歸納利用深度學(xué)習(xí)的特征提取方法和檢測方法.

上述綜述文獻(xiàn)對基于深度學(xué)習(xí)的視頻異常檢測方法進(jìn)行歸納和總結(jié),但存在如下不足.

1)缺乏對異常的具體分類,這可能導(dǎo)致對異常檢測方法的理解和評價存在一定的局限性.

2)相對較少地引入自身的研究工作,缺乏對自身研究團(tuán)隊(duì)在視頻異常檢測領(lǐng)域貢獻(xiàn)的詳細(xì)介紹.

3)對當(dāng)前前沿工作的總結(jié)和回顧不夠全面,缺乏對視頻異常檢測領(lǐng)域最新進(jìn)展的梳理.

1.3 視頻異常種類

在視頻異常檢測中,異常的定義具有模糊性,會隨場景的不同而不斷演變.Nayak等[27]將異常劃分為局部和全局異常、點(diǎn)和交互異常、上下文或條件異常.楊帆等[13]分析數(shù)據(jù)集的特點(diǎn),將異常分為外觀、短期運(yùn)動、長期軌跡、群體和時間異常.Ramachandra等[19]將異常分為5類.何平等[17]將異常的基本類型分為局部和全局異常、時間和空間異常.這些異常分類雖然對異常進(jìn)行初步概括,但對異常深入理解后仍需要更詳細(xì)和系統(tǒng)的分類.

基于上述分類標(biāo)準(zhǔn),根據(jù)異常的不同特征和性質(zhì),本文對其進(jìn)行更詳盡的分類,具體分類結(jié)果如表1所示.這一分類框架旨在更全面考慮異常的多樣性,為進(jìn)一步的研究提供系統(tǒng)性的基礎(chǔ).

表1 異常的種類

根據(jù)異常發(fā)生主體,視頻異常可分為個體異常與群體異常.個體異常指視頻中的異常事件由單一目標(biāo)自身行為引發(fā),如Avenue數(shù)據(jù)集中的行人奔跑.群體異常指視頻中的異常事件由多個目標(biāo)共同作用引發(fā),如UCF-Crime數(shù)據(jù)集中的打斗、搶劫、車禍等情況.

根據(jù)運(yùn)動狀態(tài)分類,視頻異?？煞譃閯討B(tài)異常和靜止異常.動態(tài)異常表示視頻中的運(yùn)動行為與正常行為不一致,如CUHK Avenue數(shù)據(jù)集中的跑步、扔?xùn)|西等行為.靜態(tài)異常指視頻中的物體或場景處于異常狀態(tài),如消失、遮擋等情況.

根據(jù)異常發(fā)生位置,視頻異?？煞譃闀r間相關(guān)異常和空間相關(guān)異常.時間相關(guān)異常指視頻中的事件或行為在某個時間點(diǎn)或時間段內(nèi)發(fā)生異常,如UCF-Crime數(shù)據(jù)集中的偷竊、故意破壞等情況.空間相關(guān)異常指視頻中的物體或場景在空間上出現(xiàn)異常,如UCSD Pedestrians數(shù)據(jù)集中的行人在意外區(qū)域的運(yùn)動.

根據(jù)異常的先驗(yàn)知識,視頻異常可分為已知異常和未知異常.已知異常是在訓(xùn)練階段中已定義和標(biāo)記的異常類型,模型可根據(jù)這些已知異常進(jìn)行學(xué)習(xí)和檢測.而未知異常指在訓(xùn)練階段中未出現(xiàn)的異常類型,模型可能無法準(zhǔn)確檢測這些未知異常,如CUHK Avenue數(shù)據(jù)集中的跑步、扔?xùn)|西等.

根據(jù)異常的多樣性程度,視頻異?？煞譃閱我划惓：投鄻赢惓?單一異常指視頻中只存在一種類型的異常.多樣異常指視頻中存在多種類型的異常,可能同時或依次發(fā)生,如ShanghaiTech數(shù)據(jù)集中的行人、車輛等情況.

根據(jù)異常的持續(xù)時間,視頻異?？煞譃槌掷m(xù)異常和瞬時異常.持續(xù)異常指異常事件在視頻中持續(xù)存在一段時間,如UCF-Crime數(shù)據(jù)集中的斗毆、搶劫等情況.瞬時異常指異常事件發(fā)生一次或僅持續(xù)很短的時間,如物體的突然出現(xiàn)或消失.

根據(jù)異常的特征信息,視頻異?？煞譃樾袨楫惓?、外觀異常和偽裝異常.行為異常指視頻中的行為模式與正常行為模式不一致,如UCSD Pedestrians數(shù)據(jù)集中的行人騎自行車、滑滑板等行為.外觀異常指視頻中的對象外觀與正常情況下的外觀不符,如UCSD Pedestrians數(shù)據(jù)集中的卡車、自行車等.偽裝異常指視頻中的對象與正常情況下對象表現(xiàn)相似.

根據(jù)異常發(fā)生區(qū)域范圍,視頻異常可分為局部異常和全局異常.局部異常指視頻中的某個局部區(qū)域或物體出現(xiàn)異常,如在工業(yè)生產(chǎn)中,某個設(shè)備出現(xiàn)故障.全局異常指整個視頻或場景中的整體異常,如在工業(yè)生產(chǎn)中,整個生產(chǎn)線停止運(yùn)轉(zhuǎn).

視頻異常的分類取決于應(yīng)用場景和具體需求.在特定情境下,可采用多種分類方法進(jìn)行綜合分析和判定.異常分類問題具有開放性,隨著研究的深入和技術(shù)的不斷進(jìn)步,會涌現(xiàn)出新的分類方案和策略.

2 基于深度學(xué)習(xí)的視頻異常檢測方法

視頻異常檢測經(jīng)歷從基于概率統(tǒng)計方法到基于深度學(xué)習(xí)方法的發(fā)展階段.隨著深度學(xué)習(xí)模型在視頻數(shù)據(jù)處理方面表現(xiàn)出的優(yōu)秀能力,研究者們開始將其納入視頻異常檢測的研究范疇,提出多種不同的基于深度學(xué)習(xí)的視頻異常檢測方法.這些方法通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型,直接從原始視頻數(shù)據(jù)中學(xué)習(xí)特征表示和異常模式,實(shí)現(xiàn)對異常的精準(zhǔn)檢測.

深度學(xué)習(xí)方法的引入大幅提升視頻異常檢測的性能和效率,為實(shí)際應(yīng)用提供更可靠和有效的解決方案.基于深度學(xué)習(xí)的視頻異常檢測流程如圖2所示.

圖2 基于深度學(xué)習(xí)的視頻異常檢測流程圖

本節(jié)結(jié)合視頻異常檢測領(lǐng)域中其他研究者和課題組提出的不同方法和模型,在視頻數(shù)據(jù)集的訓(xùn)練集僅存在正常數(shù)據(jù)的情況下,對基于深度學(xué)習(xí)的視頻異常檢測方法進(jìn)行細(xì)致分類,總結(jié)為4種類型,具體如圖3所示.

圖3 基于深度學(xué)習(xí)的視頻異常檢測方法分類

針對圖3中的每類方法,進(jìn)行深入分析對比,具體如表2所示.

表2 各類基于深度學(xué)習(xí)的視頻異常檢測方法性能對比

基于深度學(xué)習(xí)的視頻異常檢測具體步驟如下所示.

1)數(shù)據(jù)準(zhǔn)備和預(yù)處理.視頻幀的加載、采樣和預(yù)處理,其中預(yù)處理步驟可能包括尺寸調(diào)整和分幀等操作.

2)特征提取.從視頻數(shù)據(jù)中提取適當(dāng)?shù)奶卣鞅硎?例如:卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征;光流算法提取運(yùn)動特征等.

3)模型構(gòu)建.設(shè)計和構(gòu)建合適的深度學(xué)習(xí)檢測模型,如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)或其變體.在大量正常視頻數(shù)據(jù)上訓(xùn)練深度學(xué)習(xí)模型,學(xué)習(xí)視頻數(shù)據(jù)中的正常特征和模式.

4)異常檢測和分類.使用訓(xùn)練好的深度學(xué)習(xí)模型對視頻數(shù)據(jù)進(jìn)行特征提取,利用異常檢測算法或分類器對視頻數(shù)據(jù)進(jìn)行異常的判斷和識別.

2.1 基于偽異常的視頻異常檢測方法

基于偽異常的視頻異常檢測方法作為近期提出的一種策略,旨在提高模型對異常樣本的適應(yīng)性.方法利用已知的正常樣本,通過偽異常合成器生成偽異常視頻幀,利用合成的偽異常數(shù)據(jù)對模型進(jìn)行訓(xùn)練,使模型更具魯棒性和泛化能力.在訓(xùn)練過程中,采用已知的正常樣本和生成的偽異常樣本對檢測模型進(jìn)行交替訓(xùn)練,使模型學(xué)習(xí)正常樣本特征和異常樣本特征,實(shí)現(xiàn)對輸入幀異常與否的準(zhǔn)確檢測,有效應(yīng)對真實(shí)場景中的視頻異常檢測任務(wù).

基于偽異常的視頻異常檢測方法流程圖如圖4所示.

圖4 基于偽異常的視頻異常檢測方法流程圖

偽異常幀構(gòu)建處于數(shù)據(jù)預(yù)處理階段,利用正常數(shù)據(jù)構(gòu)造偽異常視頻數(shù)據(jù).在先前的研究中,Georgescu等[28]隨機(jī)選取不屬于正常事件的對象作為偽異常數(shù)據(jù),將模型分為表觀、正向和負(fù)向三個分支,利用正常數(shù)據(jù)和異常數(shù)據(jù)進(jìn)行訓(xùn)練,較好地重構(gòu)正常樣本并阻止重構(gòu)偽異常樣本.

Pourreza等[29]提出G2D(Generate to Detect Ano-maly),利用生成對抗網(wǎng)絡(luò)中生成器的不同階段生成偽異常數(shù)據(jù),用于檢測模型訓(xùn)練.Zaheer等[30]在文獻(xiàn)[31]的基礎(chǔ)上尋找合適的停止時間點(diǎn),使對抗性訓(xùn)練更穩(wěn)定,將偽異常的生成方式擴(kuò)充為早期融合、晚期融合和隱空間融合三種.Astrid等[32]提出STEAL Net,使用跳幀策略作為時序維度的偽異常,在最小化正常數(shù)據(jù)重構(gòu)誤差的同時最大化偽異常數(shù)據(jù)的重構(gòu)誤差.

不同于他人研究,作者課題組提出獨(dú)特的偽異常方法.在數(shù)據(jù)預(yù)處理階段,針對僅存在正常樣本的訓(xùn)練數(shù)據(jù)做出改進(jìn),提出多種偽異常生成方法.為了更好地生成偽異常幀,Qi等[33]提出DGGAN(Dual-Generator Generative Adversarial Network),流程圖如圖5所示.DGGAN基于生成對抗網(wǎng)絡(luò)設(shè)計雙生成器:噪聲生成器和重構(gòu)生成器.在噪聲生成器生成偽異常數(shù)據(jù)后,交替迭代正常樣本和偽異常樣本,訓(xùn)練重構(gòu)生成器,使其學(xué)習(xí)正常樣本分布和拉遠(yuǎn)偽異常樣本的重構(gòu)誤差.郭方圓等[34]通過抽幀和遮擋像素處理進(jìn)行偽異常幀構(gòu)造,提出基于雙鑒別器和偽視頻生成的視頻異常檢測方法.利用雙鑒別器提升對正常幀的預(yù)測能力并限制偽視頻序列的預(yù)測能力,在生成模型中引入?yún)f(xié)調(diào)注意力改進(jìn)的U-Net作為生成器,較好地感知位置和通道信息.

圖5 DGGAN流程圖[33]

基于偽異常的視頻異常檢測方法在生成偽異常數(shù)據(jù)后,利用正常數(shù)據(jù)和偽異常數(shù)據(jù)共同訓(xùn)練模型,不僅能使模型學(xué)習(xí)正常的樣本分布,還增加模型對異常情況的敏感度.該方法在缺乏真實(shí)異常數(shù)據(jù)的情況下較有效,但是需要確保偽異常數(shù)據(jù)的質(zhì)量和有效性,同時要注意模型的泛化能力和性能.

2.2 基于重構(gòu)的視頻異常檢測方法

基于重構(gòu)的視頻異常檢測方法利用深度神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)正常視頻數(shù)據(jù)的分布模式,以此建立檢測模型.在訓(xùn)練過程中,模型通過學(xué)習(xí)正常視頻數(shù)據(jù),嘗試將輸入的視頻數(shù)據(jù)進(jìn)行重構(gòu),對比原始視頻數(shù)據(jù)與重構(gòu)視頻數(shù)據(jù)之間的差異,以便在測試階段利用重構(gòu)誤差進(jìn)行異常檢測.具體地,通過計算重構(gòu)視頻數(shù)據(jù)與原始視頻數(shù)據(jù)之間的差異,模型能判斷視頻數(shù)據(jù)是否與正常行為相符,以此檢測異常.這種方法不需要標(biāo)注異常樣本,可在無監(jiān)督的情況下進(jìn)行異常檢測,具有較強(qiáng)的適用性和靈活性.

基于重構(gòu)的視頻異常檢測方法流程圖如圖6所示.

圖6 基于重構(gòu)的視頻異常檢測方法流程圖

基于重構(gòu)的視頻異常檢測方法核心在于建立重構(gòu)模型,常用模型之一為自編碼器.自編碼器通過編碼器將輸入數(shù)據(jù)映射到低維的潛在空間,進(jìn)行特征表示、壓縮和降維.隨后,解碼器將低維表示重新映射回原始數(shù)據(jù)空間,實(shí)現(xiàn)數(shù)據(jù)重構(gòu).這種方法能有效學(xué)習(xí)輸入數(shù)據(jù)的特征表示,捕捉數(shù)據(jù)的重要信息和結(jié)構(gòu),實(shí)現(xiàn)對輸入數(shù)據(jù)的重構(gòu)和異常檢測.自編碼器具有多層非線性結(jié)構(gòu),能適應(yīng)復(fù)雜的數(shù)據(jù)分布和模式,在處理異常數(shù)據(jù)和重構(gòu)任務(wù)方面具有一定的魯棒性和靈活性.在訓(xùn)練過程中,自編碼器使用重構(gòu)誤差作為損失函數(shù),通過最小化重構(gòu)數(shù)據(jù)與原始數(shù)據(jù)之間的差異優(yōu)化自編碼器的參數(shù).這種訓(xùn)練機(jī)制為重構(gòu)方法提供可靠的異常檢測指標(biāo),重構(gòu)誤差可反映輸入數(shù)據(jù)與其重構(gòu)版本之間的差異程度,識別異常數(shù)據(jù).自編碼器基于這種優(yōu)勢和訓(xùn)練機(jī)制,經(jīng)常被應(yīng)用于視頻異常檢測任務(wù)的重構(gòu)方法中,實(shí)現(xiàn)對異常事件的準(zhǔn)確檢測和識別.

Xu等[35]提出AICN(Adaptive Intra-Frame Classi-fication Network),從事件流中重構(gòu)低分辨率圖像,增強(qiáng)圖像質(zhì)量并對增強(qiáng)的圖像進(jìn)行上采樣,提高網(wǎng)絡(luò)性能和圖像質(zhì)量.為了彌補(bǔ)重構(gòu)網(wǎng)絡(luò)的弱點(diǎn)并發(fā)揮其優(yōu)勢,Wu等[36]提出FSCN(Fast Sparse Coding Net-work),利用雙流神經(jīng)網(wǎng)絡(luò)提取隱藏層的空間-時間融合特征,使用快速稀疏編碼網(wǎng)絡(luò)構(gòu)建正常字典.為了解決正常行為數(shù)據(jù)與異常行為數(shù)據(jù)極度不均衡的問題,肖進(jìn)勝等[37]從學(xué)習(xí)正常模式分布的角度出發(fā),設(shè)計基于概率記憶模型的異常行為檢測網(wǎng)絡(luò)(Probabilistic Memory Auto-Encoding Network,PMAE),以自編碼網(wǎng)絡(luò)為主干網(wǎng)絡(luò),設(shè)計概率模型和記憶模塊,提高主干網(wǎng)絡(luò)視頻幀重構(gòu)質(zhì)量.為了解決深度自編碼器會捕捉到正常數(shù)據(jù)和異常數(shù)據(jù)之間的低層次共享特征的問題,Huang等[38]提出SSR-AE(Self-Supervised Representation-Augmented Auto-Encoder),引入自編碼器,轉(zhuǎn)換擴(kuò)大正常樣本和異常樣本之間的異常得分差距.

針對基于重構(gòu)的視頻異常檢測方法,作者課題組提出多種能提升視頻異常檢測能力的重構(gòu)方法.戚小莎等[39]將雙交叉注意力模塊應(yīng)用于自編碼器中,提出雙交叉注意力自編碼器(Dual Crisis-Cross Attention Based Auto-Encoder,DCAE),通過局部特征關(guān)聯(lián)全局特征,學(xué)習(xí)并重構(gòu)正常樣本,提升異常檢測率.李欣璐等[40]提出基于卷積自編碼器分塊學(xué)習(xí)的視頻異常事件檢測與定位方法,通過重構(gòu)均勻的區(qū)塊檢測視頻幀中是否存在異常事件.

基于均勻分塊,Qi等[41]提出MCSCAE(Multi Chunk Learning Based Skip Connected Convolutional Auto Encoder),流程如圖7所示.MCSCAE采用不均勻分塊,將視頻幀分成若干大小不一互不重疊的區(qū)塊,避免獲取不必要的信息和遺漏關(guān)鍵信息,并對其進(jìn)行重構(gòu).相比均勻分塊,不均勻分塊能去除視頻幀中的冗余信息,更好地重構(gòu)正常幀,定位到異常事件的具體發(fā)生位置并提高視頻異常檢測的準(zhǔn)確性.

圖7 MCSCAE流程圖[41]

針對卷積自編碼器在對卷積核的局部感受野進(jìn)行全局特征提取時存在局限性且無法捕捉視頻隨時間變化的時間信息問題,Wang等[42]提出CCAE(Criss-Cross Attention Based AutoEncoder),捕捉連續(xù)視頻幀的全局視覺特征,學(xué)習(xí)正常幀的分布模式,融合全局特征重構(gòu)正常幀,檢測異常幀.

在資源有限或難以獲得大量標(biāo)記異常數(shù)據(jù)的情況下,基于重構(gòu)的視頻異常檢測方法需要仔細(xì)選擇適當(dāng)?shù)哪Ｐ秃蛥?shù),以確保其性能,并注意方法對不同場景的適應(yīng)性.

2.3 基于預(yù)測的視頻異常檢測方法

基于預(yù)測的視頻異常檢測方法是基于深度學(xué)習(xí)的視頻異常檢測方法之一.該方法利用正常視頻數(shù)據(jù)對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,使模型預(yù)測下一幀或未來一段時間內(nèi)的視頻內(nèi)容,通過對比真實(shí)視頻數(shù)據(jù)與預(yù)測數(shù)據(jù)之間的差異檢測異常,具體流程如圖8所示.此方法通過訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)視頻數(shù)據(jù)的動態(tài)模式和趨勢,檢測與預(yù)期行為不符的異常.訓(xùn)練方式可采用監(jiān)督學(xué)習(xí)或自監(jiān)督學(xué)習(xí)的方式,具有一定的靈活性和適應(yīng)性.

圖8 基于預(yù)測的視頻異常檢測方法流程圖

基于預(yù)測的視頻異常檢測方法核心在于預(yù)測模型的建立,常采用生成對抗網(wǎng)絡(luò)作為網(wǎng)絡(luò)結(jié)構(gòu).生成對抗網(wǎng)絡(luò)以其強(qiáng)大的數(shù)據(jù)建模能力而聞名,由生成器和鑒別器構(gòu)成.通過對抗訓(xùn)練,生成器可學(xué)習(xí)數(shù)據(jù)的分布和模式,合理預(yù)測未來的數(shù)據(jù).其特點(diǎn)在于能捕捉數(shù)據(jù)中的長期依賴關(guān)系和時序特征,尤其在處理時間序列數(shù)據(jù)時表現(xiàn)出色.生成對抗網(wǎng)絡(luò)通過學(xué)習(xí)真實(shí)數(shù)據(jù)分布和生成樣本分布之間的差異,有效捕捉異常模式和變化.此外,通過生成合成樣本,擴(kuò)充訓(xùn)練數(shù)據(jù)集,提高模型的泛化能力和預(yù)測準(zhǔn)確性.基于這些優(yōu)勢和機(jī)制,生成對抗網(wǎng)絡(luò)常應(yīng)用于視頻異常檢測任務(wù)的預(yù)測方法中.

Hao等[43]提出STCEN(Spatiotemporal Consis-tency Enhanced Network),生成時空一致性預(yù)測,利用正常內(nèi)容和異常內(nèi)容之間的預(yù)測質(zhì)量差距推斷視頻幀中是否發(fā)生異常.為了有效處理非靜態(tài)視頻數(shù)據(jù),Pillai等[44]采用時間遞歸差分網(wǎng)絡(luò)進(jìn)行預(yù)測,應(yīng)用自回歸滑動平均估計進(jìn)行視頻異常檢測,其中差分網(wǎng)絡(luò)用于在異常檢測過程中有效處理視頻數(shù)據(jù)的非靜態(tài)性.武光利等[45]提出融合全卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的FCN-LSTM,進(jìn)行像素級預(yù)測和定位異常區(qū)域.為了避免正常事件和異常事件預(yù)測誤差相似,Huang等[46]設(shè)計SSAGAN(Self-Super-vised Attentive Generative Adversarial Network),提高正常幀的預(yù)測質(zhì)量,其中自監(jiān)督框架可削弱模型對異常幀的泛化能力,增大預(yù)測誤差.為了充分利用判別語義和時間上下文信息,Huang等[47]提出TAC-Net(Temporal-Aware Contrastive Network),利用深度對比自監(jiān)督學(xué)習(xí)捕捉高級語義特征,通過多個自監(jiān)督任務(wù)解決異常檢測問題.

相比其它研究,作者課題組對預(yù)測方法進(jìn)行不同方面的改進(jìn).基于異常事件的不確定性,孫奇等[48]提出基于非局部注意力生成對抗網(wǎng)絡(luò)的視頻異常事件檢測方法,設(shè)計非局部注意力U型網(wǎng)絡(luò)生成器(Nonlocal Attention Unet Generator,NA-UnetG),具體流程如圖9所示.NA-UnetG使用正常樣本訓(xùn)練非局部注意生成器模型,能準(zhǔn)確預(yù)測正常的未來幀,卻無法準(zhǔn)確預(yù)測異常的視頻幀.

圖9 UA-UnetG流程圖[48]

曾靜等[49]提出基于多層記憶增強(qiáng)生成對抗網(wǎng)絡(luò)二次預(yù)測(Secondary Prediction of Multi-layer Me-mory Enhancement Generative Adversarial Network,SP-MLMEGAN)的視頻異常檢測方法,利用自編碼器和多層記憶增強(qiáng)生成式對抗網(wǎng)絡(luò)進(jìn)行二次預(yù)測,生成二級預(yù)測未來幀,學(xué)習(xí)不同層次的正常特征模式,捕捉上下文語義信息.

對于特定情況,如缺乏大量標(biāo)記的異常數(shù)據(jù),基于預(yù)測的視頻異常檢測方法相對有效.然而,該方法對模型和數(shù)據(jù)的要求較高,有一定概率無法區(qū)分不同類型的異常,需要投入額外的工作以選擇合適的模型和參數(shù).

2.4 基于多示例學(xué)習(xí)的視頻異常檢測方法

鑒于異常事件相對較少且獲取幀級別標(biāo)注較困難,基于多示例學(xué)習(xí)的視頻異常檢測方法備受關(guān)注.這種方法僅需視頻級的粗粒度標(biāo)簽,即可檢測視頻中是否存在異常,無需具體的時間和位置信息,方法流程如圖10所示.

相比單分類模式,基于多示例學(xué)習(xí)的視頻異常檢測方法能彌補(bǔ)異常信息未知而產(chǎn)生的誤報問題.在多示例學(xué)習(xí)中,對異常有相對明確的定義,這有助于增強(qiáng)模型的判別能力,提高異常檢測的準(zhǔn)確性.

基于多示例學(xué)習(xí)的視頻異常檢測方法將視頻包作為整體進(jìn)行異常檢測.為了解決視頻異常檢測領(lǐng)域中的挑戰(zhàn),研究人員提出多種創(chuàng)新方法.Sultani等[50]提出利用多示例學(xué)習(xí)進(jìn)行視頻異常檢測,將每個訓(xùn)練視頻看作包,將包中的視頻片段看作示例.Wan等[51]提出AR-Net(Anomaly Regression Net),利用視頻長度動態(tài)選擇多個最值異常分?jǐn)?shù)以擴(kuò)大正常樣本與異常樣本的類間距離,利用中心損失縮小正常示例的類內(nèi)距離.為了更好地學(xué)習(xí)視頻段之間的依賴關(guān)系,肖進(jìn)勝等[52]利用注意力機(jī)制對包級特征加權(quán)處理,使用包級池化映射視頻的異常分?jǐn)?shù).Sharif等[53]設(shè)計TSAN(Temporal Self-Attention Net-work),利用卷積神經(jīng)網(wǎng)絡(luò)和Vision Transformer提取特征.Li等[54]提出Dy-MIL(Dynamic Multiple-In-stance Learning Framework),開發(fā)一種動態(tài)排序方法,結(jié)合k-max選擇方案,僅使用視頻級標(biāo)簽就能擴(kuò)大異常實(shí)例和正常實(shí)例之間的類間距離.

為了更好地檢測長時間的視頻異常事件,作者課題組提出多種基于多示例學(xué)習(xí)的視頻異常檢測方法.魏思倩等[55]提出利用注意力機(jī)制的多示例學(xué)習(xí)視頻異常檢測算法(Attention Mechanism Based Mul-tiple Instance Learning Video Anomaly Detection Algo-rithm,A-MIL),流程如圖11所示.A-MIL利用卷積自編碼器從光流特征圖中提取特征向量,然后將特征向量與視頻的三維特征C3D輸入三層全連接神經(jīng)網(wǎng)絡(luò)中,得到最終示例得分的權(quán)重,用于檢測視頻中的異常.

圖11 A-MIL流程圖[55]

在缺乏單一標(biāo)記的異常數(shù)據(jù)或需要處理多樣性的異常情況時,基于多示例學(xué)習(xí)的視頻異常檢測方法相對有效.然而,該方法對計算資源的需求較高、對示例質(zhì)量敏感、復(fù)雜性較高,需要謹(jǐn)慎選擇示例,以確保性能和魯棒性.

2.5 網(wǎng)絡(luò)模型選擇

在視頻異常檢測領(lǐng)域中,選擇適當(dāng)?shù)木W(wǎng)絡(luò)模型和設(shè)計深度網(wǎng)絡(luò)是一個復(fù)雜的過程,需要綜合考慮如下多方面因素.

1)任務(wù)的具體需求,包括異常類型、數(shù)據(jù)規(guī)模、對檢測準(zhǔn)確性和效率的要求.不同的異常類型可能需要不同類型的網(wǎng)絡(luò)模型,以便更好地捕捉其特征和模式.

2)數(shù)據(jù)的性質(zhì),包括數(shù)據(jù)分布、維度和特征.合適的網(wǎng)絡(luò)模型應(yīng)能有效處理這些數(shù)據(jù),并提取其中的有效信息.

3)計算資源的可用性.應(yīng)選擇適合計算資源的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置,實(shí)現(xiàn)高效的訓(xùn)練和推理過程.

基于偽異常的視頻異常檢測方法引入偽異常數(shù)據(jù),增加模型對異常情況的敏感度.模型需要同時學(xué)習(xí)正常數(shù)據(jù)和偽異常數(shù)據(jù)的分布,以便有效區(qū)分異常情況.網(wǎng)絡(luò)結(jié)構(gòu)可使用深度學(xué)習(xí)中的分類模型,如卷積神經(jīng)網(wǎng)絡(luò),包括卷積層、池化層和全連接層.通過這些層次的組合,卷積神經(jīng)網(wǎng)絡(luò)能有效學(xué)習(xí)輸入數(shù)據(jù)的特征表示,進(jìn)行分類.此外,可考慮采用二分類模型,確保模型準(zhǔn)確區(qū)分正常樣本和偽異常樣本.此模型結(jié)構(gòu)可更好地適應(yīng)異常檢測任務(wù)的需求,提高模型的性能和準(zhǔn)確性.

基于重構(gòu)的視頻異常檢測方法通過學(xué)習(xí)正常視頻數(shù)據(jù)的表示,重構(gòu)輸入數(shù)據(jù),計算輸入數(shù)據(jù)與重構(gòu)數(shù)據(jù)之間的重構(gòu)誤差,進(jìn)行異常檢測.模型需要有效學(xué)習(xí)輸入數(shù)據(jù)的有用信息,以便進(jìn)行準(zhǔn)確的重構(gòu)和異常檢測.自編碼器作為常用的重構(gòu)模型,包括編碼器和解碼器兩部分.編碼器將輸入數(shù)據(jù)映射到潛在空間中,解碼器將潛在表示映射回原始數(shù)據(jù)空間,通過最小化重構(gòu)誤差優(yōu)化模型參數(shù).在選擇自編碼器時,可考慮不同類型的自編碼器,如變分自編碼器、卷積自編碼器等,滿足特定數(shù)據(jù)類型和任務(wù)的需求.此外,針對時序數(shù)據(jù),可考慮選擇適用于時序數(shù)據(jù)的模型,如長短期記憶人工神經(jīng)網(wǎng)絡(luò),更好地捕捉時序信息和數(shù)據(jù)的長期依賴關(guān)系.

基于預(yù)測的視頻異常檢測方法通過訓(xùn)練預(yù)測模型預(yù)測未來視頻幀,通過計算預(yù)測幀與真實(shí)幀之間的預(yù)測誤差以檢測視頻中的異常.模型需要具備良好的時序建模和預(yù)測能力,以便準(zhǔn)確捕獲視頻數(shù)據(jù)的動態(tài)模式和趨勢.生成對抗網(wǎng)絡(luò)作為常用的預(yù)測模型,包括生成器和鑒別器兩部分.生成對抗網(wǎng)絡(luò)通過對抗訓(xùn)練的方式,同時訓(xùn)練生成器和鑒別器,其中生成器負(fù)責(zé)生成合成樣本,鑒別器負(fù)責(zé)區(qū)分真實(shí)樣本和生成樣本.通過優(yōu)化生成器和鑒別器的對抗目標(biāo),生成對抗網(wǎng)絡(luò)能有效學(xué)習(xí)數(shù)據(jù)的分布和模式,實(shí)現(xiàn)對未來視頻幀的準(zhǔn)確預(yù)測.此外,可考慮選擇適用于視頻預(yù)測的其它模型,如Seq2Seq、Transformer等,以滿足不同數(shù)據(jù)和任務(wù)的需求.

基于多示例學(xué)習(xí)的視頻異常檢測方法強(qiáng)調(diào)使用視頻級別的標(biāo)簽進(jìn)行訓(xùn)練,模型需要有效處理整個視頻的異常信息.因此,可選擇適合處理整個視頻序列的模型,如2D卷積神經(jīng)網(wǎng)絡(luò)或3D卷積神經(jīng)網(wǎng)絡(luò).這些模型具有強(qiáng)大的特征提取和時空建模能力,能有效捕獲視頻序列中的關(guān)鍵信息和動態(tài)特征.通過合理設(shè)計網(wǎng)絡(luò)結(jié)構(gòu),如增加時間維度的卷積核或引入時序注意力機(jī)制,可確保模型充分利用視頻序列的時空信息,準(zhǔn)確檢測異常樣本.選擇適合處理整個視頻序列的模型對于多示例學(xué)習(xí)方法的成功應(yīng)用至關(guān)重要,可提高模型對異常的檢測能力和魯棒性.

在深度網(wǎng)絡(luò)設(shè)計方面,應(yīng)根據(jù)具體任務(wù)的特點(diǎn)進(jìn)行調(diào)整.對于復(fù)雜的偽異常數(shù)據(jù),可考慮使用較深的網(wǎng)絡(luò)結(jié)構(gòu),運(yùn)用正則化技術(shù)以避免過擬合.對于基于重構(gòu)的視頻異常檢測方法,需要確保模型能有效捕捉輸入數(shù)據(jù)的特征,可根據(jù)數(shù)據(jù)性質(zhì)選擇合適的自編碼器類型.在基于預(yù)測的視頻異常檢測方法中,應(yīng)注意引入適當(dāng)?shù)淖⒁饬C(jī)制以處理視頻序列中的關(guān)鍵信息,確保模型準(zhǔn)確預(yù)測未來的視頻幀.對于基于多示例學(xué)習(xí)的視頻異常檢測方法,需要合理設(shè)計網(wǎng)絡(luò)結(jié)構(gòu),確保模型有效處理整個視頻序列,避免過擬合的問題.針對不同方法的特點(diǎn)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整和優(yōu)化,可提升視頻異常檢測模型的性能和泛化能力.

2.6 視頻異常檢測方法選擇

基于深度學(xué)習(xí)的視頻異常檢測方法在視頻異常檢測領(lǐng)域發(fā)揮著重要作用[56].深度學(xué)習(xí)模型以其強(qiáng)大的學(xué)習(xí)能力而聞名,能自動學(xué)習(xí)大規(guī)模數(shù)據(jù)中的特征表示和模式.相比傳統(tǒng)方法,深度學(xué)習(xí)模型能直接從原始數(shù)據(jù)中學(xué)習(xí)特征表示,減少對人工特征工程的需求,在處理大規(guī)模數(shù)據(jù)和復(fù)雜任務(wù)時性能表現(xiàn)較優(yōu).然而,訓(xùn)練深度學(xué)習(xí)模型需要大量的標(biāo)注數(shù)據(jù),在標(biāo)注數(shù)據(jù)不足時,模型性能可能會受到限制,并且深度學(xué)習(xí)模型的訓(xùn)練過程相對較復(fù)雜,需要調(diào)整和優(yōu)化大量的超參數(shù).深度學(xué)習(xí)模型雖然在視頻異常檢測中表現(xiàn)出巨大潛力,但仍需克服數(shù)據(jù)標(biāo)注和訓(xùn)練過程的挑戰(zhàn),才能發(fā)揮最大效益.

在視頻異常檢測領(lǐng)域,基于深度學(xué)習(xí)的視頻異常檢測方法提供多種選擇,包括基于偽異常的視頻異常檢測方法、基于重構(gòu)的視頻異常檢測方法、基于預(yù)測的視頻異常檢測方法和基于多示例學(xué)習(xí)的視頻異常檢測方法.每種方法都有其獨(dú)特之處和適用性.基于偽異常的視頻異常檢測方法需要謹(jǐn)慎選擇生成的偽異常數(shù)據(jù),確保其能充分覆蓋真實(shí)異常的情況.基于重構(gòu)的視頻異常檢測方法復(fù)雜性較高,需要準(zhǔn)確的模型和參數(shù)選擇,并且受到場景變化的影響,需要對模型進(jìn)行精細(xì)的調(diào)整和優(yōu)化.基于預(yù)測的視頻異常檢測方法對模型的準(zhǔn)確性有較高要求,需要連續(xù)數(shù)據(jù),并且不能較好地區(qū)分不同類型的異常,在某些情況下可能表現(xiàn)不佳.基于多示例學(xué)習(xí)的視頻異常檢測方法需要仔細(xì)選擇示例,復(fù)雜性較高,性能高度依賴示例質(zhì)量,可能引入噪音,在應(yīng)用時需要慎重考慮.

綜上所述,在選擇合適的方法時,需要綜合考慮任務(wù)需求、資源限制、場景條件和模型特點(diǎn)等方面的因素,進(jìn)行適當(dāng)?shù)恼{(diào)整和優(yōu)化.

3 常用數(shù)據(jù)集

視頻異常檢測數(shù)據(jù)集是為了解決該領(lǐng)域在真實(shí)世界中的挑戰(zhàn)而創(chuàng)建,是由不同的研究人員在不同場景下采集和整理.盡管這些數(shù)據(jù)集可能在內(nèi)容和場景上存在差異,但都致力于提供具有多樣性和代表性的實(shí)驗(yàn)對象,以便評估和對比視頻異常檢測方法的性能.

常用數(shù)據(jù)集如表3所示,都為多類別異常數(shù)據(jù)集,不局限于人體運(yùn)動異常,還包括物體異常,如小推車、輪椅、車輛等,以及人與物結(jié)合的異常,如滑冰者、騎自行車的人在人行道上、騎自行車的人在自行車道外等.代表數(shù)據(jù)集有UCSD Pedestrians[57]、CHUK Avenue[58]、ShanghaiTech Campus[59]和UCF-Crime[50].

表3 視頻異常檢測數(shù)據(jù)集

這些數(shù)據(jù)集涵蓋多種場景和異常類型,包括行人、車輛、犯罪活動等,為視頻異常檢測方法的評估和對比提供豐富的樣本.使用這些多類別異常視頻數(shù)據(jù)集,研究人員可評估算法在不同場景下的魯棒性和泛化能力,促進(jìn)視頻異常檢測技術(shù)的進(jìn)步和應(yīng)用.

表3表明,隨著視頻異常檢測領(lǐng)域的發(fā)展,公共數(shù)據(jù)集的數(shù)量和質(zhì)量也在不斷提高.在視頻異常檢測中,最初的公共數(shù)據(jù)集主要著重于簡單的場景和事件,以及有限的異常類型,限制算法在更廣泛應(yīng)用場景下的適用性和泛化能力.隨著研究的深入,近期發(fā)布的公共數(shù)據(jù)集不僅包含更多類型的異常,還涵蓋更豐富的場景和事件,使算法可在更復(fù)雜、真實(shí)的環(huán)境中進(jìn)行評估和測試.這些進(jìn)展有助于推動視頻異常檢測技術(shù)的發(fā)展,并促進(jìn)其在實(shí)際應(yīng)用中的推廣使用.

4 視頻異常檢測方法性能對比

4.1 評價指標(biāo)

二分類異常檢測常被用于視頻異常檢測中,即在一段大部分為正常的視頻中尋找異常事件.AUC(Area Under Curve)是評估模型性能的常用指標(biāo)之一.AUC衡量ROC (Receiver Operating Characteristic)曲線下面積的大小,ROC 曲線以不同的分類閾值為基礎(chǔ)繪制模型的真正例率(True Positive Rate,TPR)與假正例率(False Positive Rate,FPR)之間的關(guān)系.AUC 的數(shù)值范圍在0和1之間,數(shù)值越接近1表示模型性能越優(yōu),即能更好地區(qū)分正常樣本和異常樣本.在視頻異常檢測中,AUC廣泛應(yīng)用于評估模型對異常事件的檢測準(zhǔn)確率,幫助研究人員對比不同模型的性能和效果.

ROC曲線分析針對二元分類模型,適用于模型輸出連續(xù)值的情況.當(dāng)觀測量的結(jié)果是連續(xù)值時,類與類的邊界必須使用閾值界定.在視頻異常檢測中,會將幀經(jīng)過模型后得到的異常分?jǐn)?shù)作為連續(xù)值,設(shè)置閾值,劃分幀為異?；蛘?因此,可計算真陽性率(True Positive Rate,TPR)和假陽性率(False Posi-tive Rate,FPR),分別表示模型正確檢測到正樣本的比例以及將負(fù)樣本錯誤分類為正樣本的比例.通過調(diào)整閾值,可以繪制不同情況下的ROC曲線,并計算出其下面積,即AUC,作為模型性能的評價指標(biāo).

4.2 性能分析

近年來,研究者在視頻異常檢測領(lǐng)域提出若干前沿的深度學(xué)習(xí)方法,這些方法在各數(shù)據(jù)集上的AUC值如表4～表7所示.

表4 基于偽異常的視頻異常檢測方法AUC值對比

表5 基于重構(gòu)的視頻異常檢測方法AUC值對比

表6 基于預(yù)測的視頻異常檢測方法AUC值對比

表7 基于多示例學(xué)習(xí)的視頻異常檢測方法AUC值對比

表4～表7清晰展示深度學(xué)習(xí)在視頻異常檢測領(lǐng)域的發(fā)展歷程.在初期階段,基于深度學(xué)習(xí)的方法主要集中在模型建立上,采用重構(gòu)或預(yù)測等方法,檢測性能較低.到了中期,這些方法逐漸引入其它模塊,如注意力機(jī)制,豐富網(wǎng)絡(luò)結(jié)構(gòu),性能取得一定的改進(jìn).現(xiàn)階段,考慮到訓(xùn)練數(shù)據(jù)的不平衡性和數(shù)據(jù)隱私問題,研究者開始在數(shù)據(jù)預(yù)處理和特征提取階段對視頻數(shù)據(jù)進(jìn)行優(yōu)化,提出偽異常數(shù)據(jù)生成方法,用于輔助異常檢測模型的學(xué)習(xí).

在網(wǎng)絡(luò)模型選擇方面,不同的視頻異常檢測方法采用不同的策略和網(wǎng)絡(luò)結(jié)構(gòu).基于偽異常的視頻異常檢測方法具有多種網(wǎng)絡(luò)模型選擇,常見的包括自編碼器、生成對抗網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò).在基于重構(gòu)的視頻異常檢測方法中,自編碼器由于其優(yōu)勢而成為首選的網(wǎng)絡(luò)架構(gòu).基于預(yù)測的視頻異常檢測方法與時間相關(guān),網(wǎng)絡(luò)架構(gòu)選擇趨向于時間相關(guān)的網(wǎng)絡(luò),如長短期記憶網(wǎng)絡(luò)、時間遞歸網(wǎng)絡(luò),或選用生成對抗網(wǎng)絡(luò),以捕捉數(shù)據(jù)中的長期依賴關(guān)系和時序特征.在基于多示例學(xué)習(xí)的視頻異常檢測方法中,首次提出該方法的文獻(xiàn)[50]選擇3D卷積神經(jīng)網(wǎng)絡(luò)和其它網(wǎng)絡(luò)模型的結(jié)合,更好地區(qū)分正常示例與異常示例.

5 研究展望

5.1 理論方法研究

在視頻異常檢測領(lǐng)域,未來研究將聚焦于如下關(guān)鍵方向,目的是進(jìn)一步提升深度學(xué)習(xí)模型性能.

1)新型模型和算法.未來的研究核心將聚焦新型深度學(xué)習(xí)模型和算法的發(fā)展,提高視頻異常檢測模型的效率、靈活性和準(zhǔn)確性,更好地適應(yīng)不斷變化的異常模式.

2)可解釋性和可信度.強(qiáng)調(diào)加強(qiáng)視頻異常檢測算法的可解釋性和可信度,包括深入理解模型的決策過程、提供決策解釋以及提高模型決策的可信度,增強(qiáng)用戶對系統(tǒng)的信任.

3)領(lǐng)域自適應(yīng).研究如何使視頻異常檢測模型更好地適應(yīng)新的領(lǐng)域或場景,提高模型的泛化能力和魯棒性.

4)稀有異常檢測.著眼于有效處理不常見或新出現(xiàn)的異常情況,使模型在面對稀有異常時保持高效性能.

5)多模態(tài)融合.探索如何更好地利用視頻、聲音、紅外線等多源信息,提高系統(tǒng)的全面性和準(zhǔn)確性.

6)不確定性建模.考慮模型的不確定性,有望提高異常檢測的魯棒性,并使系統(tǒng)更具可靠性.通過深入探討模型決策的不確定性,研究人員可更好地理解模型對異常事件的響應(yīng),提高系統(tǒng)的整體性能.

7)在線學(xué)習(xí)理論的引入.研究如何使視頻異常檢測系統(tǒng)實(shí)時適應(yīng)新的數(shù)據(jù)分布和場景變化,維持高效性能.在線學(xué)習(xí)理論的應(yīng)用將使系統(tǒng)更具有動態(tài)適應(yīng)性,及時適應(yīng)新的異常模式.

這些理論方法的深入研究不僅將推動視頻異常檢測領(lǐng)域的創(chuàng)新和發(fā)展,為深度學(xué)習(xí)模型在復(fù)雜場景下的應(yīng)用提供關(guān)鍵的理論支持.隨著這些方向的逐步探索和完善,視頻異常檢測系統(tǒng)將更智能、靈活,更準(zhǔn)確地應(yīng)對多樣化的異常情況,為實(shí)際應(yīng)用場景中的安全和監(jiān)控提供更可靠的解決方案.

5.2 實(shí)際應(yīng)用

未來視頻異常檢測在實(shí)際應(yīng)用方面有望迎來廣泛的創(chuàng)新,為各領(lǐng)域提供卓越的技術(shù)支持.

1)智能城市和交通監(jiān)管領(lǐng)域.將成為提高交通效率和安全性的關(guān)鍵技術(shù),實(shí)時監(jiān)測道路交通流、檢測交通事故、發(fā)現(xiàn)違規(guī)停車等異常情況.

2)工業(yè)制造和設(shè)備監(jiān)測領(lǐng)域.有望提高設(shè)備的可靠性,及時發(fā)現(xiàn)異?；蚬收?降低維護(hù)成本和生產(chǎn)線停機(jī)時間.

3)安防和監(jiān)控領(lǐng)域.將繼續(xù)在公共場所、商業(yè)區(qū)域和重要設(shè)施等領(lǐng)域發(fā)揮關(guān)鍵作用,提高安全水平.

4)醫(yī)療領(lǐng)域.可用于監(jiān)測患者的生理參數(shù),提供更智能和實(shí)時的健康監(jiān)測服務(wù).

5)零售業(yè).可用于分析購物行為、檢測竊盜和欺詐行為,同時提升客戶體驗(yàn).

6)其它.應(yīng)用于環(huán)境監(jiān)測、教育等領(lǐng)域,為各行各業(yè)提供更智能、高效和安全的監(jiān)測服務(wù).

未來的發(fā)展將受益于與其它先進(jìn)技術(shù)的整合,如物聯(lián)網(wǎng)、邊緣計算和5G通信等,使視頻異常檢測系統(tǒng)更加綜合、強(qiáng)大.同時,深度學(xué)習(xí)技術(shù)和硬件的進(jìn)步將提升視頻異常檢測的實(shí)時性、準(zhǔn)確性和適應(yīng)性,為不同領(lǐng)域的實(shí)際應(yīng)用提供更強(qiáng)大的支持.

6 結(jié) 束 語

本文全面介紹視頻異常檢測領(lǐng)域的背景和挑戰(zhàn),對異常進(jìn)行詳細(xì)分類.基于作者課題組的研究工作和其它前沿研究成果,系統(tǒng)地對基于深度學(xué)習(xí)的視頻異常檢測方法進(jìn)行分類和對比分析,滿足多樣化的應(yīng)用需求,為該技術(shù)的發(fā)展提供清晰的路線圖.同時,對比不同方法的前沿工作,探討視頻異常檢測技術(shù)在實(shí)際應(yīng)用中面臨的挑戰(zhàn),為其他研究者提供寶貴的參考,并為該領(lǐng)域的未來發(fā)展提供有益的啟示.

視頻異常檢測作為一個前沿的研究領(lǐng)域,正面臨著監(jiān)控視頻數(shù)據(jù)快速增長和復(fù)雜場景帶來的挑戰(zhàn).通過創(chuàng)新的方法和技術(shù),視頻異常檢測在實(shí)際應(yīng)用中具有廣泛的潛力和價值,能為保障公共安全和提高監(jiān)控效率提供有力支持.