基于自組織數(shù)學模型的監(jiān)控視頻異常入侵檢測方法

張 丹，張 悅，藏曉鑫

(吉林通用航空職業(yè)技術(shù)學院數(shù)學系，吉林 吉林 132211)

近年來，監(jiān)控視頻廣泛應(yīng)用于車站、商場、銀行等公共場所，對社會治理與公共安全管理起到了至關(guān)重要的作用.但是，目前監(jiān)控視頻的查閱主要依賴于人力，而一臺攝像機以600×480分辨率進行存儲，一周就會產(chǎn)生近100G的數(shù)據(jù)量.如此龐大的數(shù)據(jù)由人來查閱，勢必會造成人力、物力、財力的巨大浪費.

國內(nèi)外的學者利用機器視覺、人工智能等技術(shù)，對視頻監(jiān)控中的異常檢測進行了大量的研究[1-4].Hamasaki使用高維局部自相關(guān)性提取行人的正常姿態(tài)特征，進而檢測出視頻圖像中的摔倒、急行等異常情況[5].Zhou、Shin等使用深度學習方法訓(xùn)練出視頻圖像中行人的正常姿態(tài)模型，當視頻內(nèi)出現(xiàn)訓(xùn)練數(shù)據(jù)中不存在的行人姿態(tài)時即被認為檢測出異常[6-9].近年來，針對車站、商場等多人復(fù)雜場景的異常檢測成為研究的熱點.Duan等利用混合動態(tài)上下文提取復(fù)雜場景的時空特征，進而檢測車輛、行人的異常行為[10，11].上述所提方法，需先利用正常視頻圖像構(gòu)建正常行為模型，在檢測階段將視頻圖像與正常模型相比較，差異大于某一閾值時，即可認為識別出異常.但在現(xiàn)實應(yīng)用中，經(jīng)常會出現(xiàn)樹木搖動等背景發(fā)生變化的情況，此時，事先構(gòu)建的正常模式無法表達所有正常的場景.因此，應(yīng)用于視頻檢測領(lǐng)域中的異常檢測方法應(yīng)具有一定適應(yīng)背景變化的能力.

針對背景變化問題，Nehmzow提出了一種基于Grow When Requied網(wǎng)絡(luò)(GWR)的異常檢測方法[12].該方法利用Stanley模型依次遞減GWR網(wǎng)絡(luò)的輸出參數(shù)，從而適應(yīng)環(huán)境的變化.Pitonakova將GWR網(wǎng)絡(luò)移植于嵌入式設(shè)備并搭載在車載機器人平臺[13，14].實驗證明，當將車載機器人置于不同環(huán)境中時，GWR網(wǎng)絡(luò)能夠通過調(diào)整輸出參數(shù)的方式，檢測出行人的異常入侵.Li等利用樹木搖動等背景變化在混合高斯模型中表現(xiàn)出的多峰特性，提出了基于混合高斯模型的異常檢測方法[15-17].該方法對固定鏡頭攝像機采集的視頻圖像進行異常入侵檢測時有著良好的效果.但是，對使用旋轉(zhuǎn)球機進行視頻采集時出現(xiàn)的背景周期性變換，混合高斯模型的多峰特性表現(xiàn)不明顯，異常入侵的檢測效果顯著下降.

針對上述問題，本文提出了一種基于自組織數(shù)學模型的異常入侵檢測方法.該方法基于背景變化的輸入響應(yīng)，通過生成、更新和刪除節(jié)點的方式，適應(yīng)環(huán)境的變化，計算視頻圖像的異常度.實驗證明，對固定鏡頭攝像機和旋轉(zhuǎn)球機拍攝的視頻圖像，基于自組織數(shù)學模型的異常入侵檢測方法成功檢測出了視頻圖像中車輛和行人的異常入侵，與常用的GWR網(wǎng)絡(luò)和混合高斯模型方法相比，具有更顯著的效果.

1 基于自組織數(shù)學模型的異常檢測

1.1 自組織數(shù)學模型的構(gòu)建

本文把輸入圖像進行網(wǎng)格化處理，將具有相同行列數(shù)的其中一個網(wǎng)格稱之為一個自組織數(shù)學模型，該模型的構(gòu)建方法如圖1所示.

圖1 自組織數(shù)學模型構(gòu)建圖

圖中將一副M×N個像素的輸入圖像分割為m行n列，其中一個自組織數(shù)學模型具有m×n個像素，整幅圖像被分割為L=(M×N)/(m×n)個模型.每個模型由多個節(jié)點組成，任意節(jié)點i具有權(quán)重向量νi，訓(xùn)練系數(shù)hi(t)和生存期lifei(t)三個屬性.其中權(quán)重向量νi與圖像的輸入激勵具有相同的維數(shù)，其初始值在[0.0，1.0]閉區(qū)間內(nèi)，訓(xùn)練系數(shù)hi(t)與時間t相關(guān)，表示輸入激勵的出現(xiàn)頻率，初始值在[0.0，1.0]閉區(qū)間內(nèi)，生存期lifei(t)也與時間相關(guān)，其值為非負整數(shù).

如圖1所示，將網(wǎng)格化后圖像中每個網(wǎng)格內(nèi)的平均值、最大值、最小值等統(tǒng)計量作為輸入激勵輸入到對應(yīng)的自組織數(shù)學模型中，選中模型內(nèi)與輸入激勵具有類似權(quán)重向量的節(jié)點，更新其訓(xùn)練系數(shù)和生存期.依據(jù)被選中節(jié)點的輸入激勵相似度和訓(xùn)練系數(shù)在模型內(nèi)增加節(jié)點，依據(jù)被選中節(jié)點的生命期刪除節(jié)點，進而計算整幅圖像的異常度.

1.2 自組織數(shù)學模型的處理流程

自組織數(shù)學模型的處理流程如圖2所示，詳細步驟如下：

圖2 自組織數(shù)學模型處理流程圖

(1)自組織數(shù)學模型初始化

(a)自組織數(shù)學模型內(nèi)生成I個節(jié)點，I為經(jīng)驗值.

(b)隨機選擇I個節(jié)點中的S個節(jié)點計算其權(quán)重向量，S為經(jīng)驗值.

(c)各節(jié)點的訓(xùn)練系數(shù)hi(0)初始化為1.0.

(d)各節(jié)點的生命期lifei(0)初始化為0.0.

(2)對視頻圖像中的每幀圖像，按照(a)到(h)的步驟重復(fù)計算所有自組織數(shù)學模型的各屬性值.

(a)計算每個網(wǎng)格內(nèi)的平均值、最大值、最小值等統(tǒng)計量并進行[0.0，1.0]規(guī)格化后作為輸入激勵輸入到對應(yīng)的自組織數(shù)學模型.

(b)將模型內(nèi)所有節(jié)點按照輸入激勵相似度由大到小的順序排列，選擇其中S個節(jié)點.節(jié)點i的輸入激勵類似度由公式1計算得出.

，

(1)

(c) 被選擇的S個節(jié)點的生命期賦值lifei(t)為0.

(d) 各網(wǎng)格對應(yīng)自組織數(shù)學模型的輸出值為被選中S個節(jié)點的類似度，其值由公式(2)計算得出.

(2)

公式中：C(i)為以相似度排序后被選中的S個節(jié)點中第i個節(jié)點的索引值.當自組織數(shù)學模型的輸出值Ol小于閾值時，被認為網(wǎng)格內(nèi)出現(xiàn)異常.

(e)模型中具有最大相似度節(jié)點的訓(xùn)練系數(shù)用公式3更新.

hc(1)(t+1)=hc(1)(t)-γDc(1)

.

(3)

由公式(3)可知，節(jié)點的訓(xùn)練系數(shù)會不斷減小，當訓(xùn)練系數(shù)更新后的值小于0時，將其賦值為0后不再更新.

(f) 未被選中的其他節(jié)點的生存期用公式4更新.

lifei(t+1)=lifei(t)+1

.

(4)

(g)當公式5成立時，向模型中增加一個新節(jié)點.

(5)

新增節(jié)點的權(quán)重向量為輸入激勵x和節(jié)點c(1)的平均值，訓(xùn)練系數(shù)的初始值為1.0，生存期的初始值為0.

(h) 當lifei(t)的值大于閾值lifethr時，則刪除該節(jié)點.

2 基于固定鏡頭攝像機與旋轉(zhuǎn)球機的入侵異常檢測

2.1 實驗參數(shù)

為驗證自組織數(shù)學模型的有效性，分別使用GWR神網(wǎng)絡(luò)方法、混合高斯模型方法和本文提出方法對同一段視頻進行檢測，利用客觀評價指標比較三種方法的異常檢測性能.驗證實驗的實驗參數(shù)如表1和表2所示.其中，GWR網(wǎng)絡(luò)方法和混合高斯模型方法的實驗參數(shù)參考了文獻[12]與文獻[15]，本文所提方法的輸入激勵為網(wǎng)格內(nèi)圖像的平均值、最大值、最小值、差值范圍、中位數(shù)、上四分位數(shù)和下四分位數(shù)7種統(tǒng)計數(shù)據(jù)組成的7維向量.

表1 本文方法的實驗參數(shù)

表2 對比方法的實驗參數(shù)

圖3 主觀判定異常入侵圖像

2.2 評價方法

本文采用準確率、召回率和F值客觀評價異常入侵算法的有效性，三種指標的計算方法如下：

(6)

(7)

(8)

公式中：C為被正確檢測出的異常網(wǎng)格數(shù)，Ca為主觀判定的異常網(wǎng)格數(shù)，A為被檢測為異常的網(wǎng)格數(shù).

為計算異常入侵檢測的準確率、召回率與F值，需對視頻圖像中的異常圖像進行主觀判定.圖4(a)、圖4(d)為停車場、校園兩個場景下拍攝的圖像，圖4(b)、圖4(e)為兩個場景下出現(xiàn)行人和車輛時人為主觀判定的異常入侵部分，圖4(c)、圖4(f)為圖4(b)、圖4(e)網(wǎng)格化后的圖像.以此圖為例，公式(6)中的Ca即為圖4(c)、圖4(f)中的網(wǎng)格數(shù).

圖4 異常入侵檢測結(jié)果

2.3 實驗環(huán)境

(1) 基于固定鏡頭攝像機的實驗環(huán)境

(2) 基于旋轉(zhuǎn)球機的實驗環(huán)境

本文采用杭州?？低晹?shù)字技術(shù)股份有限公司生產(chǎn)的DS-2DC4223IW-D型攝像機以 600×480分辨率沿水平方向45°范圍內(nèi)，對校園停車場進行圖像采集.為了能夠覆蓋整個監(jiān)控區(qū)域，球機以幀率25fps、每幀0.5個像素的速度水平方向旋轉(zhuǎn)，采集到的圖像如圖2(f)所示.與基于固定鏡頭攝像機的實驗環(huán)境相同，每幀圖像被分割為180個網(wǎng)格，每個網(wǎng)格為GWR網(wǎng)絡(luò)和本文方法的一個模型.視頻開始采集后未出現(xiàn)行人和車輛的前3 000幀圖像為各方法的模型構(gòu)建階段，3001幀開始進入到異常檢測階段，各實驗參數(shù)如表1、表2所示.

2.4 實驗結(jié)果與分析

圖4(c)、圖4(d)、圖4(e)、圖4(h)、圖4(i)、圖4(j)分別為使用GWR網(wǎng)絡(luò)方法、混合高斯模型方法和本文方法進行異常入侵的檢測結(jié)果.由結(jié)果可知，基于固定鏡頭攝像機和旋轉(zhuǎn)球機拍攝的視頻圖像中，當出現(xiàn)樹木搖動等背景發(fā)生頻繁變化的情況下，本文方法在抑制此類噪聲干擾的同時，能夠精準檢測出行人的異常入侵.而混合高斯模型方法錯誤將樹木搖動檢測為異常入侵，GWR網(wǎng)絡(luò)方法雖然未把樹木搖動檢測為異常，但行人的異常入侵部分存在漏檢現(xiàn)象.

三種方法的定量評價如表3.由表3可知，基于固定鏡頭攝像機和旋轉(zhuǎn)球機兩種情況下，本文方法與GWR網(wǎng)絡(luò)方法相比準確率和召回率均顯著提升，與混合高斯模型方法相比在準確率方面有較大提升，但在召回率方面本方法表現(xiàn)稍顯不足.這是由于圖像中一旦出現(xiàn)與背景顏色相似的異常入侵時，顏色特征不明顯導(dǎo)致.今后的研究在輸入激勵中加入時空特征即可解決此類問題.

表3 異常入侵檢測結(jié)果的定量評價表

將異常檢出率和誤檢率繪制成ROC曲線如圖5所示，圖5(a)，圖5(b)分別為固定鏡頭攝像機和旋轉(zhuǎn)球機檢測的結(jié)果.由圖5(a)可知，本文方法方法的異常檢出性能最高，該方法能夠在抑制背景噪聲的同時，準確檢出異常入侵.而視頻中一旦出現(xiàn)樹木搖動等頻繁變化的背景時，混合高斯模型方法的誤檢率會明顯提高.由圖5(b)可知，由于本文方法考慮了環(huán)境變化前后的相似性問題，在鏡頭發(fā)生旋轉(zhuǎn)的情況下，與其他兩種方法相比具有顯著的優(yōu)越性.

圖5 異常入侵檢測的ROC曲線

3 總 結(jié)

本文提出了一種基于自組織數(shù)學模型的異常入侵檢測方法，該方法依據(jù)環(huán)境的輸入激勵相似性追加、刪除、更新節(jié)點，通過計算出的輸出值表達圖像的異常度.方法應(yīng)用于固定鏡頭攝像機和旋轉(zhuǎn)球機，都得到了良好的檢測效果.與其他常用方法相比，在背景中出現(xiàn)樹木搖動、攝像機轉(zhuǎn)動等情況時，異常入侵檢出準確率顯著提升.

目前，實驗使用的參數(shù)為經(jīng)驗值，需要大量實驗確定.今后，計劃將多種參數(shù)看做變量，建立參數(shù)的微分方程模型，從而確定參數(shù)的精確值.同時，考慮將本文方法應(yīng)用于車站、醫(yī)院等更為嘈雜的環(huán)境中，進一步驗證方法的有效性.