基于CNN的安防監(jiān)控步態(tài)特征提取研究

陸興華，蔡 韜

(廣東工業(yè)大學華立學院，廣東 廣州 511325)

0 引 言

隨著圖像處理技術(shù)的發(fā)展，采用圖像融合信息處理技術(shù)進行視覺跟蹤識別，并應用在監(jiān)控系統(tǒng)中，以提高安防監(jiān)控的智能性[1]。人體的步態(tài)特征是反映人體個性化特征中的重要生物特征，對人體的步態(tài)動作圖像進行視覺跟蹤(visual tracking)識別，采用紅外和激光成像技術(shù)進行人體步態(tài)特征圖像采集，對采集的圖像采用視覺特征提取和跟蹤識別，實現(xiàn)智能安防監(jiān)控，研究基于步態(tài)特征識別的安防監(jiān)控系統(tǒng)在實現(xiàn)安防系統(tǒng)的智能化設(shè)計方面具有重要意義[2]。

安防監(jiān)控的步態(tài)特征提取是建立在對紅外步態(tài)圖像的檢測和跟蹤算法處理的基礎(chǔ)上。傳統(tǒng)方法采用光流場跟蹤識別方法，融合時空域信息進行步態(tài)特征檢測，結(jié)合直方圖模板匹配技術(shù)實現(xiàn)步態(tài)特征提取，但傳統(tǒng)方法在對安防系統(tǒng)的步態(tài)特征檢測中的目標尺度偏移較大，對步態(tài)特征的估計偏差較大，容易發(fā)生步態(tài)特征跟蹤漂移等問題[3-5]。針對傳統(tǒng)方法存在的弊端，文中提出一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)的人體行走步態(tài)特征識別方法。首先采用視頻和紅外成像技術(shù)進行步態(tài)圖像采集，然后對提取的個性化特征點采用卷積神經(jīng)網(wǎng)絡(luò)進行分類訓練，實現(xiàn)人體行走步態(tài)特征智能識別。最后進行仿真實驗分析，驗證該方法在提高安防監(jiān)控中步態(tài)特征提取準確性方面的優(yōu)越性。

1 步態(tài)成像和濾波跟蹤處理

1.1 人體步態(tài)特征成像采集

(1)

在三維網(wǎng)格頂點y，y∈Ci，安防監(jiān)控系統(tǒng)中人體行走的初始速度為v(0)，在均勻像素采樣下，安防監(jiān)控人體步態(tài)的邊緣輪廓重構(gòu)的像素偏移值為：

(2)

其中，a(x)為每個局部區(qū)域的初始像素采樣信息。

記安防監(jiān)控人體步態(tài)邊緣分布的像素值空間為gi=(gix,giy,giz)(i=0,1,…,Ng-1)，定義安防監(jiān)控人體步態(tài)圖像像素的占空比Rarea=RA/RB，長寬比RHW=RH/RW，RH、RW分別是安防監(jiān)控人體步態(tài)邊緣輪廓外接矩形的長和寬。根據(jù)上述對安防監(jiān)控人體步態(tài)的圖像采集結(jié)果進行人體行走步態(tài)特征識別[7]。

1.2 融合檢測與匹配的目標跟蹤

為了提高安防監(jiān)控人體步態(tài)圖像的信息特征表達能力，需要對采集的安防監(jiān)控人體步態(tài)圖像進行邊緣輪廓檢測和信息增強處理[8]?；谀Ｐ蛣討B(tài)切換的運動目標跟蹤方法進行圖像跟蹤識別，假設(shè)人體行進方向在水平方向上近似平行，在步態(tài)監(jiān)控區(qū)域中，根據(jù)采樣點云圖G中的第i個頂點的位置，得到安防監(jiān)控人體步態(tài)特征提取的模板匹配狀態(tài)方程為：

(3)

其中，η表示背景區(qū)域?qū)墓饬鲌?；φ表示安防監(jiān)控人體步態(tài)的特征方位角；R表示梯度方向直方圖特征；D表示相鄰步態(tài)特征檢測的時間間隔。

為了增強圖像中運動區(qū)域的明暗對比度，利用灰度直方圖對噪聲不敏感性和對灰度旋轉(zhuǎn)的不變性[9]，在每一個連通區(qū)域內(nèi)進行步態(tài)融合檢測，融合檢測系統(tǒng)函數(shù)為：

(4)

其中，cj,k是先驗像素點分布的模板匹配值；hn是圖像紋理特征。

對安防監(jiān)控人體步態(tài)區(qū)域的邊緣子塊P(i,j)進行特征匹配處理，運用二值模式分割得到安防監(jiān)控人體步態(tài)區(qū)域的中心線Z(i,Zi)，記Li為分割曲線的列坐標，Ri為安防監(jiān)控人體步態(tài)區(qū)子塊分布的列坐標，由此得到步態(tài)特征提取的高斯核函數(shù)和線性核函數(shù)的融合關(guān)系為：

(5)

對提取的信息熵進行二值泛函，得到安防監(jiān)控人體步態(tài)圖像增強后在像素邊緣子塊Z(i,Zi)左右兩側(cè)所占比例，進而得到在動態(tài)視頻監(jiān)控下安防監(jiān)控人體步態(tài)左子塊和右子塊的信息熵分別為：

(6)

(7)

其中，Ci表示第i行列像素強度；Li表示第i行像素分布強度；Ri表示第i行的像素特征最大偏移量。以此判斷安防監(jiān)控人體步態(tài)的外觀特征，則安防監(jiān)控人體步態(tài)在光滑區(qū)域的灰度直方圖信息滿足Hij=1，否則Hij=0。

通過上述方法，對采集的安防監(jiān)控人體步態(tài)圖像進行邊緣輪廓檢測和信息增強處理，結(jié)合融合監(jiān)測和匹配目標跟蹤方法進行步態(tài)特征提取，突出安防監(jiān)控人體步態(tài)的類別屬性特征點，為進行人體行走步態(tài)特征識別提供輸入特征參量[10]。

2 安防監(jiān)控步態(tài)特征提取

2.1 人體行走軌跡直方圖均衡化處理

在人體步態(tài)圖像采集和圖像融合跟蹤檢測的基礎(chǔ)上，進行安防監(jiān)控系統(tǒng)中的步態(tài)特征提取算法優(yōu)化設(shè)計，實現(xiàn)安防監(jiān)控人體步態(tài)的個性化特征點提取[11]。采用相關(guān)濾波跟蹤算法進行步態(tài)紅外圖像的形狀特征和信息增強處理，得到圖像信息的分布誤差函數(shù)為：

n=0,1,…,N-1

(8)

其中，X(k)為安防監(jiān)控人體步態(tài)三維輪廓特征分布的像素點序列；exp(j2πkn/N)為最小濾波模板尺度系數(shù)。

當行人在同質(zhì)區(qū)域內(nèi)移動時，步態(tài)的分布特征集為：

(9)

對人體行走軌跡進行直方圖均衡化處理，結(jié)合統(tǒng)計直方圖均衡方法，對差異性大的步態(tài)特征采用多模態(tài)融合方法進行信息融合[12]，信息融合的狀態(tài)方程為：

(10)

沿安防監(jiān)控系統(tǒng)檢測到的人體步態(tài)行進方向進行視覺目標跟蹤，得到人體行走步態(tài)特征點識別的角點匹配結(jié)果為：

(11)

(12)

計算人體步態(tài)三維像素特征點in+1的灰度和旋轉(zhuǎn)不變矩，在卷積神經(jīng)網(wǎng)絡(luò)訓練下，得到特征維度較高的二階矩表達式為：

(13)

在步態(tài)監(jiān)控區(qū)域中對步態(tài)特征提取結(jié)果進行聚類處理[13]，將原步態(tài)特征映射到無限維特征空間，得到：

(14)

其中，r1為核函數(shù)假設(shè)下的濾波器模板；r2為先驗點簇；σ1為邊緣像素值；N1為二階灰度不變矩。

采用相關(guān)濾波跟蹤算法進行步態(tài)紅外圖像的形狀特征分離，由此得到在安防監(jiān)控下人體步態(tài)識別[14]，人體步態(tài)的個性化特征點提取結(jié)果為：

(15)

其中，J(w,e)為人體步態(tài)區(qū)域的邊緣子；ai為原始步態(tài)圖像的低頻分量；φ(xi)為噪聲敏感系數(shù)。

2.2 步態(tài)特征提取的卷積神經(jīng)網(wǎng)絡(luò)訓練

對提取的個性化特征點采用卷積神經(jīng)網(wǎng)絡(luò)進行分類訓練[15]，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型

圖1中，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型建立在BP神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，采用三層結(jié)構(gòu)體系進行安防監(jiān)控中的步態(tài)特征分類融合識別，在輸入層輸入提取的步態(tài)特征信息，采用權(quán)向量進行步態(tài)屬性分類，在輸出層輸出識別結(jié)果。對提取的個性化特征點采用卷積神經(jīng)網(wǎng)絡(luò)進行分類訓練，實現(xiàn)步驟為：

(1)初始化卷積神經(jīng)網(wǎng)絡(luò)輸入層的超參數(shù)和靜態(tài)向量，給定輸入節(jié)點的時域抽取間隔T和節(jié)點個數(shù)k，設(shè)定卷積核的初始值，令安防監(jiān)控人體步態(tài)圖像的像素值為x(t)，t=0,1,…,n-1，給定全局參數(shù)，置時間計數(shù)t=0。

(2)輸入圖像經(jīng)過卷積核進行卷積處理，設(shè)定指數(shù)函數(shù)α(cj*)=A3e-cj*/T3進行人體行走步態(tài)特征訓練，在神經(jīng)網(wǎng)絡(luò)中輸入新的訓練向量模式x(t)=(x0(t),x1(t),…,xk-1(t))T，使用卷積核對輸入矩陣進行自適應學習，以此作為卷積神經(jīng)網(wǎng)絡(luò)輸入訓練矢量集。

(3)局部調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，在隱含層進行自適應加權(quán)學習，得到安防監(jiān)控人體步態(tài)像素特征點向量x(t)與隱含層的權(quán)向量ωj的距離：

(16)

其中，ωj=(ω0j,ω1j,…,ωk-1,j)T。

(5)根據(jù)安防監(jiān)控人體步態(tài)的特征差異性進行信息分類。在神經(jīng)網(wǎng)絡(luò)分類器中，調(diào)整與輸出節(jié)點Nj*所連接的權(quán)值，根據(jù)安防監(jiān)控人體步態(tài)的邊緣輪廓線Nj*及幾何鄰域NEj*(t)判斷樣本圖像的特征歸屬，得到人體行走步態(tài)特征分類識別的迭代式為：

ωij(t+1)=ωij(t)+α(t)(xi(t)-ωij(t))

(17)

其中，Nj∈Ej*(t)，0≤i≤k-1，0≤α(t)≤1是一種差異矩陣。

(6)如滿足終止條件，結(jié)束算法，否則繼續(xù)輸入安防監(jiān)控的人體步態(tài)的像素特征樣本數(shù)據(jù)，t=t+1，轉(zhuǎn)到步驟2。

綜上分析，實際輸出與期望輸出差異越大，對步態(tài)信息的分辨力越高。綜上分析，實現(xiàn)了對人體行走步態(tài)特征智能識別。

3 仿真實驗分析

為了測試該方法在實現(xiàn)安防監(jiān)控中人體行走步態(tài)特征識別中的應用性能，在Matlab R2014a仿真平臺上進行實驗。在安防監(jiān)控系統(tǒng)中，采用紅外掃描方法進行人體步態(tài)成像，步態(tài)圖像采集的訓練樣本集為20 000個，測試樣本集為10 000個，人體步態(tài)特征跟蹤偏移量設(shè)定為0.023 mm，像素偏移量為0.02，幀差跟蹤像素級設(shè)定為1.26，仿真時間長度為200 s，神經(jīng)網(wǎng)絡(luò)的卷積核大小為5×5，神經(jīng)網(wǎng)絡(luò)隱含層的加權(quán)激勵函數(shù)為sigmoid，參數(shù)的沖量為0.6。根據(jù)上述仿真環(huán)境和參數(shù)設(shè)定，進行安防監(jiān)控系統(tǒng)中人體步態(tài)圖像特征提取，得到步態(tài)圖像的三維輪廓檢測結(jié)果，如圖2所示。

圖2 步態(tài)圖像的三維輪廓檢測

對圖2采集的步態(tài)圖像的測試樣本，采用相關(guān)濾波跟蹤算法進行步態(tài)紅外圖像的形狀特征和信息增強處理，突出安防監(jiān)控人體步態(tài)的類別屬性特征點，得到步態(tài)特征區(qū)域融合結(jié)果，如圖3所示。

圖3 步態(tài)特征的區(qū)域融合結(jié)果

在步態(tài)監(jiān)控區(qū)域內(nèi)對人體行走軌跡進行直方圖均衡化處理，實現(xiàn)安防監(jiān)控人體步態(tài)的個性化特征點提取，得到該個體的步態(tài)特征提取結(jié)果，如圖4所示。

(a)200幀

(b)400幀

分析上述仿真結(jié)果得知，采用該方法能有效實現(xiàn)對人體步態(tài)的特征提取，人體行走步態(tài)特征識別的成功率較高，輸出人體行走步態(tài)個性化匹配特征點總數(shù)較多，對人體步態(tài)的跟蹤識別的偏移像素值為0.012，相比傳統(tǒng)方法縮小了13.67%。測試人體步態(tài)安防識別精度，對比結(jié)果如圖5所示。

分析圖5得知，文中方法對不同測試對象人體的步態(tài)識別平均精度提高了23.76%，相比傳統(tǒng)方法平均提升了13.05%，卷積神經(jīng)網(wǎng)絡(luò)學習的收斂性也得到了提升，說明該方法能有效提高對人體步態(tài)的特征提取能力。應用在安防系統(tǒng)中，能夠提高安全監(jiān)控性能。

圖5 人體步態(tài)安防識別精度對比

4 結(jié)束語

研究了安防監(jiān)控中的步態(tài)特征提取和識別問題，通過提取人體步態(tài)的個性化特征量，采用卷積神經(jīng)網(wǎng)絡(luò)進行步態(tài)特征分類識別，實現(xiàn)對異常步態(tài)的準確識別和監(jiān)控。沿安防監(jiān)控系統(tǒng)檢測到的人體步態(tài)行進方向進行視覺目標跟蹤，通過局部調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，在CNN的隱含層進行自適應加權(quán)學習，實現(xiàn)人體行走步態(tài)識別和監(jiān)控。分析得出，方法能有效提取人體行走步態(tài)的特征信息，對人體步態(tài)的跟蹤識別的偏移像素較小，提高了人體步態(tài)的特征提取和智能分析能力，從而應用在安防系統(tǒng)中，提高安防監(jiān)控性能。