基于深度學(xué)習(xí)的社區(qū)安防異常行為檢測研究

余胤翔， 黃胤政， 李 寧， 徐 威， 儲茂祥

（1 遼寧科技大學(xué)電子與信息工程學(xué)院， 遼寧鞍山 114051； 2 西南科技大學(xué)經(jīng)濟(jì)管理學(xué)院， 四川綿陽 621010）

0 引 言

智慧社區(qū)是新形勢下社會管理創(chuàng)新的一種新模式，隨著物聯(lián)網(wǎng)、云計算、人工智能等新一代信息技術(shù)的快速發(fā)展，居民的生活環(huán)境變得越來越安全和便利［1］。 社會對公共安全重視程度的逐漸加深，使基于視頻監(jiān)控的智能感知技術(shù)成為安全監(jiān)控發(fā)展的重要方向［2］。 由于傳統(tǒng)視頻監(jiān)控系統(tǒng)僅具備拍攝和存儲功能，一旦發(fā)現(xiàn)盜竊、搶劫、打架等暴力事件，公安部門在后期收集證據(jù)和案件審查過程中會消耗大量的人力、物力和時間。 隨著國內(nèi)監(jiān)控范圍基本實現(xiàn)全覆蓋，其海量的視頻數(shù)據(jù)所帶來的工作量及人工甄別的方式已不能適應(yīng)居民對社區(qū)安全的需求。 利用人工智能的高計算能力和高效能特點，通過對視頻監(jiān)控數(shù)據(jù)進(jìn)行實時處理分析，及時發(fā)現(xiàn)異常行為和意外事件，做到提前預(yù)警，從而減少意外導(dǎo)致的經(jīng)濟(jì)損失和居民人身危害。

針對異常行為基于時空信息進(jìn)行定義可將其分為3 類：

（1）在某一場景中不尋常位置發(fā)送的動作；

（2）在某一場景中不尋常時刻發(fā)生的動作；

（3）在某一場景中正常位置、正常時刻發(fā)生的不尋常動作［3］。

由于異常行為的種類很多，在社區(qū)中行為自由度較高的地方，不合規(guī)的動作很難窮舉。 因此，異常行為檢測存在以下技術(shù)難點：

（1）相比于正常行為，社區(qū)內(nèi)一般異常行為發(fā)生的幾率很低，因此很難獲取到足夠的數(shù)據(jù)，由于正負(fù)樣本不均衡，計算機(jī)很難學(xué)習(xí)到足夠多的異常行為特征［4］。

（2）通過社區(qū)監(jiān)控獲取到的畫面質(zhì)量參差不齊，外界陽光和室內(nèi)燈光的變化導(dǎo)致視頻畫面亮度值不同；監(jiān)控攝像頭拍攝的角度和遠(yuǎn)近不同。

（3）視頻畫面中人員運動速度較快，視頻畫面會產(chǎn)生一定的模糊，且人員通過周圍環(huán)境或者衣物進(jìn)行遮擋，也會影響到動作判定的精確度。

（4）視頻流處理數(shù)據(jù)非常耗時，如果將視頻中每個幀數(shù)的數(shù)據(jù)都提取出來處理，任務(wù)量非常龐大，使整個系統(tǒng)運行的實時性效果變差。 因此需要對視頻數(shù)據(jù)抽取部分關(guān)鍵幀，從而減少無效數(shù)據(jù)量，提升運行速率。

早期對人體異常行為的檢測研究多利用手工特征描述符來表示行人的外觀和運動特征［5］，其中包括軌跡［6］、梯度方向直方圖（HOG）［7］和光流直方圖（HOF）［8］等等。 但是，這類視覺特征提取方法在捕獲行為特征時性能較低。 因此，本文結(jié)合目前主流的目標(biāo)檢測算法，提出一種基于Faster－RCNN ＋SlowFast 的異常行為識別方法，提升識別的精度，對社區(qū)公共場所內(nèi)人員的異常行為進(jìn)行監(jiān)測預(yù)警。

1 異常行為檢測原理和實現(xiàn)方法

1.1 SlowFast 網(wǎng)絡(luò)原理

SlowFast 網(wǎng)絡(luò)［9］分為兩個分支，慢速通道（Slow pathway）和快速通道（Fast pathway）。 Slow pathway分支運行低幀率，在低時序分辨率下，提取空間中的有效信息。 Fast pathway 負(fù)責(zé)運行高幀率，在高時序分辨率下，精準(zhǔn)提取有效的時間運動信息，同時減少通道數(shù)量，使其變得輕量化，更能夠適應(yīng)一些邊緣AI 的應(yīng)用場景。 盡管Fast pathway 能在高速的環(huán)境下做出反應(yīng)，刺激反應(yīng)快，但是對空間信息不敏感，而Slow pathway 則能夠提供空間中的詳細(xì)信息，但是刺激反應(yīng)速度較慢，因此需要對兩條通路進(jìn)行橫向連接進(jìn)行互補(bǔ)融合。 通過改變兩條通道的時間維度，使得網(wǎng)絡(luò)在快慢通道的每個階段進(jìn)行匹配。 最后，分別獲取Fast pathway 和Slow pathway 兩條通道的特征向量。 將兩個的特征向量串聯(lián)起來作為全連通分類器層的輸入［10］。 SlowFast 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 SlowFast 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 SlowFast network structure

1.2 SlowFast 模型應(yīng)用

首先需要建立時空動作識別模型，視頻通過密集抽幀獲取時空信息。 由于相鄰幀之間信息冗余較大，所以只獲取關(guān)鍵幀，之后對其進(jìn)行數(shù)據(jù)處理，使關(guān)鍵幀匹配其上下文的數(shù)據(jù)，最后加載檢測該模型。

整個運行過程中，系統(tǒng)在關(guān)鍵幀中利用檢測模型檢測圖像中的人，獲得人的位置、置信度等信息，將提前加載好的模型輸入，構(gòu)建的時空動作識別模型，之后進(jìn)行時空動作識別模型推理，得到動作識別結(jié)果。 最后將整個過程進(jìn)行可視化操作輸出視頻，用來觀測動作識別結(jié)果。 模型應(yīng)用流程如圖2 所示。

圖2 模型應(yīng)用流程Fig. 2 Specific flow chart of model application

1.3 SlowFast＋FasterRCNN 實現(xiàn)

如圖3 所示，SlowFast＋FasterRCNN 的實現(xiàn)分為兩個階段檢測。 在準(zhǔn)備完數(shù)據(jù)集后，先利用SlowFast模型提取時序特征，作為整個網(wǎng)絡(luò)的主干網(wǎng)絡(luò)Backbone；其次通過FasterRCNN 中的Roi＿h(yuǎn)ead 獲得目標(biāo)檢測中框的特征，并將該操作擴(kuò)展到3 維，最后將檢測結(jié)果輸入分類器，判別人體動作并輸出當(dāng)前人的動作。 總結(jié)來講，系統(tǒng)先定位到視頻幀的每個人動作，提取其位置等特征，得到每個人的特征檢測框，再放到分類模型中，對每個人的動作進(jìn)行分類。

圖3 SlowFast＿FasterRCNN 實現(xiàn)過程Fig. 3 SlowFast＿ FasterRCNN implementation

2 數(shù)據(jù)集

2.1 數(shù)據(jù)集建立

本文實驗針對社區(qū)環(huán)境進(jìn)行人員識別，視頻數(shù)據(jù)主要來源于監(jiān)控畫面，數(shù)據(jù)集主要來源于谷歌開源的AVA 數(shù)據(jù)集。 考慮到部分異常行為的發(fā)生頻率較高，數(shù)據(jù)集相對較少，因此自建數(shù)據(jù)集進(jìn)行補(bǔ)充。 如：打架的數(shù)據(jù)集中又加入了fight－detectionsurv－dataset、A－Dataset－for－Automatic－Violence－Detection－in－Videos 和UBI＿FIGHTS 等開源數(shù)據(jù)集。最后，基于AVA 公開數(shù)據(jù)集［11］格式，建立異常行為檢測數(shù)據(jù)庫。

2.2 數(shù)據(jù)處理

建立數(shù)據(jù)集后，需要對數(shù)據(jù)集進(jìn)行幀標(biāo)注，在電腦上導(dǎo)入已經(jīng)標(biāo)注好的數(shù)據(jù)集進(jìn)行本地模型訓(xùn)練。

首先從所有視頻數(shù)據(jù)中提取視頻幀，以每幀3s的幀率（fast 分支幀率）進(jìn)行視頻抽幀采樣，之后進(jìn)行幀標(biāo)注。 幀數(shù)標(biāo)注使用的標(biāo)簽數(shù)據(jù)（CSV）格式為：視頻ID、視頻幀時間戳、識別的框圖位置（x1，y1，x2，y2）、動作ID、人的ID。

通過PaddleDetection 提供的FasterRCNN 模型得到檢測結(jié)果后， 將檢測結(jié)果轉(zhuǎn)成SlowFast ＿FasterRCNN 模型需要的輸入格式，制作標(biāo)簽數(shù)據(jù)list 文件，ID 從1 開始，見表1。

表1 標(biāo)簽IDTab. 1 Label ID

在slow 分支幀的數(shù)據(jù)集的基礎(chǔ)上重復(fù)上述操作，以較大幀率（實驗使用為40 fps）抽取視頻幀，制作fast 分支數(shù)據(jù)集。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境和參數(shù)設(shè)定

實驗在Windows10 Version 21H2 操作系統(tǒng)下進(jìn)行，采用飛槳AI Studio 社區(qū)提供的PaddleDetection 2.0 框架，軟件環(huán)境為CUDA 11.2，Python3.7。 訓(xùn)練時的初始學(xué)習(xí)率為0.003。

3.2 模型優(yōu)化

3.2.1 調(diào)節(jié)學(xué)習(xí)率

在訓(xùn)練模型的過程中，需要對模型進(jìn)行優(yōu)化。如果一開始模型精度設(shè)置過大，可能導(dǎo)致訓(xùn)練時跳過最優(yōu)解，隨著訓(xùn)練次數(shù)越多，模型精度就會越低。因此，采用學(xué)習(xí)率預(yù)熱（Warmup）和分段常數(shù)衰減（Piecewise＿constant）的方法，分別設(shè)置兩個常數(shù)值：開始的學(xué)習(xí)率warmup＿start＿lr和基礎(chǔ)學(xué)習(xí)率step＿base＿lr。 初始訓(xùn)練時，選擇較小的學(xué)習(xí)率訓(xùn)練，再將學(xué)習(xí)率調(diào)節(jié)為設(shè)置好的學(xué)習(xí)率繼續(xù)訓(xùn)練，從而提高模型精度。 實驗最后確定的warmup＿start＿lr參數(shù)為0.002、step＿base＿lr為0.04。

3.2.2alpha超參數(shù)優(yōu)化

alpha參數(shù)是slow和fast兩個分支幀的比例。如公式（1）：

通過調(diào)小backbone 和數(shù)據(jù)處理的PackOutput中alpha參數(shù)，再結(jié)合學(xué)習(xí)率參數(shù)的變化趨勢進(jìn)行修改，從而進(jìn)一步提升模型的識別精度。

3.2.3 數(shù)據(jù)集優(yōu)化

數(shù)據(jù)集的質(zhì)量會對系統(tǒng)異常行為檢測精度產(chǎn)生影響，為此進(jìn)行了對比實驗。 訓(xùn)練選擇兩組數(shù)據(jù)集，第一組只用AVA 數(shù)據(jù)集，第二組使用自建數(shù)據(jù)集。觀察模型部署后，系統(tǒng)對異常行為的平均正確率（AP）。

考慮到不同異常行為的數(shù)據(jù)量不同，訓(xùn)練出的識別精度也不同，因此需要挑選出識別精度相對較高的異常行為，選擇以官方的AVA 數(shù)據(jù)進(jìn)行集中測試。 實驗結(jié)果見表2。

表2 AVA 數(shù)據(jù)測試結(jié)果Tab. 2 AVA data test results

從表2 中數(shù)據(jù)可知，由于踢腿動作的數(shù)據(jù)集較少，AP值極低，不具備參考價值。 因此，選用打架、吸煙兩個識別精度較高的動作作為實驗對照選取的動作進(jìn)行實驗，結(jié)果見表3、表4。

表3 吸煙數(shù)據(jù)集對比Tab. 3 Comparison of smoking data sets

表4 打架數(shù)據(jù)集對比Tab. 4 Comparison of fighting datasets

根據(jù)數(shù)據(jù)得出，在相同動作下，自建數(shù)據(jù)質(zhì)量低于AVA 數(shù)據(jù)集，即便在數(shù)據(jù)量大于AVA 的情況下，自建數(shù)據(jù)集的AP值依舊低于AVA 的AP值。 由此可見，數(shù)據(jù)質(zhì)量對模型精度存在一定的影響，因此可以通過進(jìn)一步優(yōu)化數(shù)據(jù)集樣本，提高模型的識別精度。

3.3 實驗效果

使用Faster－RCNN＋SlowFast 網(wǎng)絡(luò)對異常行為識別數(shù)據(jù)集的測試集中視頻進(jìn)行測試，通過可視化操作輸出視頻，用來觀測動作識別結(jié)果。 這里導(dǎo)入了兩段打架視頻進(jìn)行測試。

識別效果如圖4 所示，兩組圖片都進(jìn)行了輸入圖像和輸出圖像的對照，系統(tǒng)對打架雙方的打架動作進(jìn)行目標(biāo)檢測后在視頻圖像上進(jìn)行了框選，并在方框上自動顯示檢測動作的名稱fight。 由實驗結(jié)果可以看出，該檢測方法可讓用戶直接根據(jù)視頻的框選標(biāo)記，判斷社區(qū)中是否發(fā)生異常行為及其種類，能夠有效實現(xiàn)異常行為的檢測，具有較好的實用性。

圖4 實驗效果Fig. 4 Experimental effect

4 結(jié)束語

本文提出了一種基于Faster－RCNN ＋SlowFast網(wǎng)絡(luò)的社區(qū)安防異常行為識別方法，系統(tǒng)通過訓(xùn)練和部署檢測模型和時空動作識別模型，可以實時檢測視頻監(jiān)控中出現(xiàn)的異常行為。 本文對該網(wǎng)絡(luò)的框架和原理進(jìn)行了簡單闡述，提出了數(shù)據(jù)集的優(yōu)化和參數(shù)的調(diào)節(jié)方法，并通過實驗進(jìn)行驗證，給出了相關(guān)實驗數(shù)據(jù)進(jìn)行分析，一定程度上提高了模型的識別精度。 人體異常行為識別的研究，對于未來社區(qū)安防事業(yè)的發(fā)展具有重要意義。