滑動窗口時(shí)空深度置信網(wǎng)絡(luò)行為識別

高大鵬，朱建剛

(中國民航飛行學(xué)院 計(jì)算機(jī)學(xué)院，四川 廣漢 618307)

0 引 言

基于機(jī)器學(xué)習(xí)的人體行為識別是近年研究領(lǐng)域的重點(diǎn)。行為識別研究主要分為兩個(gè)部分：行為特征提取和表達(dá)、行為識別和理解。如提高運(yùn)動強(qiáng)度和運(yùn)動趨勢的表征完整性和有效性[1]，以提高行為識別率；又或采用隱動態(tài)條件神經(jīng)域，在潛動態(tài)條件隨機(jī)場上加上神經(jīng)網(wǎng)絡(luò)層[2]等方法。

近年來深度學(xué)習(xí)方法被應(yīng)用到了行為識別上，而且獲得了比以前更高的識別率。深度學(xué)習(xí)算法分為四大類[3]：①有監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)[4]；②基于自編碼(auto encoder)的深度神經(jīng)網(wǎng)絡(luò)[5]；③基于限制玻爾茲曼機(jī)的深度置信網(wǎng)絡(luò)(deep belief networks，DBN[6,7])；④基于遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network)的深度神經(jīng)網(wǎng)絡(luò)[8]。

條件限制玻爾茲曼機(jī)用于行為識別建模[9]，建立了一個(gè)可用于帶標(biāo)簽視頻數(shù)據(jù)的門控因子分解模型。時(shí)空深度置信網(wǎng)絡(luò)[10](space-time deep belief network，ST-DBN)也被用于行為識別，ST-DBN在KTH[11]數(shù)據(jù)庫上獲得了91.13%的識別率。

以上算法具體應(yīng)用時(shí)需要較大的訓(xùn)練數(shù)據(jù)集。文獻(xiàn)[10]采用的方法是留一法，即每次只留下一個(gè)樣本做測試集，其它樣本都做為訓(xùn)練集。在這大樣本訓(xùn)練的前提之下，有超過90%的識別率，當(dāng)訓(xùn)練集較小的情況下，識別率降低很快。而在實(shí)際應(yīng)用中，小樣本的情況很常見，這就導(dǎo)致了上述算法在具體應(yīng)用中有很大的局限性。

為了解決這個(gè)問題，提出了滑動窗口時(shí)空深度置信網(wǎng)絡(luò)行為識別算法，在同樣的視頻中，通過滑動窗口，可以提供更多的訓(xùn)練數(shù)據(jù)，在小樣本的前提下，也可以獲得較高的識別率。

1 相關(guān)理論研究

1.1 限制玻爾茲曼機(jī)

限制玻爾茲曼機(jī)(restricted Boltzmann machine，RBM)的結(jié)構(gòu)如圖1所示。

圖1 限制玻爾茲曼機(jī)結(jié)構(gòu)

RBM由兩層神經(jīng)元連接而成：可見層神經(jīng)元v和隱藏層神經(jīng)元h。RBM與玻爾茲曼機(jī)(BM)不同在于BM允許層內(nèi)連接，而RBM要求層內(nèi)無連接，層間全連接。v和h之間通過權(quán)值矩陣W和兩個(gè)偏置向量a和b相連接。

用θ=(W,a,b)表示RBM的參數(shù)。給定v和h，能量函數(shù)可表達(dá)為矩陣-向量形式，如式(1)所示

E(v,h)=-hTWv-aTv-bTh

(1)

式(1)的聯(lián)合概率分布表示為式(2)

P(v,h)=exp(-Eθ(v,h))/Zθ

(2)

其中，Z用于保證概率p是歸一化的，稱為歸一化因子，如式(3)所示

(3)

在具體應(yīng)用中，需要求得v和h對應(yīng)于P(v,h)的概率分布函數(shù)P(v)和P(h)，若輸入v是由0和1構(gòu)成的二值分布，則兩個(gè)條件分布函數(shù)分別如式(4)和式(5)所示

(4)

(5)

其中，σ函數(shù)為激活函數(shù)，選用σ(x)=tanh(x)或σ(x)=1/(1+e-x)。采用對比散度算法[12]求重構(gòu)誤差最小，使用數(shù)據(jù)在RBM上進(jìn)行訓(xùn)練即可求得參數(shù)θ(W,a,b)。

1.2 條件限制玻爾茲曼機(jī)

為了解決處理視頻數(shù)據(jù)多幀的問題，提出條件限制玻爾茲曼機(jī)(conditional restricted boltzman machines，CRBM)[13]。在RBM的基礎(chǔ)上，CRBM前n時(shí)刻的可視層與當(dāng)前時(shí)刻的可視層進(jìn)行自回歸連接，并且前n個(gè)時(shí)刻的可視層與隱藏層進(jìn)行連接。其結(jié)構(gòu)如圖2所示。

圖2 條件限制玻爾茲曼機(jī)結(jié)構(gòu)

圖2是一個(gè)時(shí)間序列的非線性產(chǎn)生的無向模型，包含隱藏層神經(jīng)元集合h，它們與可見層神經(jīng)元集合v相聯(lián)。v可以用指數(shù)簇分布表示。每個(gè)時(shí)間間隔t中，在最后的N步，v和h從可視變量集接收直接連接。設(shè)數(shù)據(jù)在t-1,…,t-N步里串聯(lián)成一個(gè)向量，記為v

p(vt,ht|v

(6)

能量函數(shù)如式(7)所示

(7)

偏置向量ai,t和bj,t如下

ai,t=ai+∑kAkivk,

(8)

bi,t=bj+∑kBkjvk,

(9)

表示將網(wǎng)絡(luò)的輸入從分別前面t個(gè)狀態(tài)傳遞數(shù)據(jù)到可視神經(jīng)元和隱含層神經(jīng)元。設(shè)σi=1。此時(shí)，v和h的分布函數(shù)為式(10)、式(11)所示

(10)

(11)

通過對前n幀數(shù)據(jù)的觀測，可以實(shí)現(xiàn)對多幀視頻數(shù)據(jù)的處理。其參數(shù)為θ(W,b,c,A,B)，同樣可以通過對比散度算法進(jìn)行優(yōu)化。CRBM一旦訓(xùn)練完成，就可以像深度置信網(wǎng)絡(luò)一樣向上添加層。新的層不論是結(jié)結(jié)構(gòu)還是訓(xùn)練過程都和原來的層一樣。

2 基于滑動窗口的深度置信網(wǎng)絡(luò)

2.1 整體結(jié)構(gòu)和流程

為了處理多幀視頻，將時(shí)間(幀數(shù))和空間(像素)維度最后變?yōu)閚*1維的數(shù)據(jù)，需要將數(shù)據(jù)進(jìn)行多次卷積和最大池化處理。稱這種時(shí)空卷積RBM為時(shí)空深度置信網(wǎng)絡(luò)(spatiotemporal deep belief networks，ST-DBN)?；诨瑒哟翱诘纳疃戎眯啪W(wǎng)絡(luò)系統(tǒng)整體結(jié)構(gòu)如圖3所示。

圖3 系統(tǒng)整體結(jié)構(gòu)

滑動窗口的目的是在訓(xùn)練樣本較小的情況下，提供盡量多的訓(xùn)練樣本；空間池化層的目的是為了降低視頻幀的維度；時(shí)間池化層的目的是降低時(shí)間上的維度。通過多層空間和時(shí)間池化并且通過最小化偏差更正各個(gè)參數(shù)，輸出視頻的特征。通過這些特征對SVM進(jìn)行訓(xùn)練和測試，最后得到行為的識別率。需要說明的是時(shí)間和空間池化層的數(shù)量不是一比一的，而是根據(jù)需要進(jìn)行靈活設(shè)定。在本文涉及到的實(shí)驗(yàn)中，時(shí)間池化層是兩層，而空間池化層為三層。

2.2 滑動窗口

為了便于描述，設(shè)視頻全長為L幀；滑動窗口寬度為k，即窗口包含k幀；每次滑動位移為t幀，k>t。如圖4所示。

圖4 滑動窗口截取視頻

把滑動窗口截取的k幀作為下一個(gè)階段的輸入。則一個(gè)L幀的視頻可截取并且輸出的視頻片段數(shù)量為(L-k+t)/t個(gè)。如視頻長度L=300，k=20，t=5，則可產(chǎn)生57個(gè)20幀的視頻片段，如果不采用滑動窗口，則只能分割出15個(gè)20幀的視頻片段。當(dāng)k與t值相同時(shí)，退化為不采用滑動窗口的一般形式。

2.3 卷積限制玻爾茲曼機(jī)

卷積限制玻爾茲曼機(jī)(convolutional restricted Boltzmann machines，convolutional RBM)。如圖5所示，卷積RBM由三層單元組成：可視層v，二進(jìn)制隱藏層h和二進(jìn)制最大池化層p。v層元素Vc,i,j表示通道c的像素(i,j)。

圖5 卷積RBM單幀視頻處理

(12)

隱藏層和最大化池的約束條件來源于定義：當(dāng)且僅當(dāng)最大池化單元Pα至少與一個(gè)隱藏單元hi，j的隱藏塊Bα匹配[14]。

訓(xùn)練卷積RBM需要用到蒙特卡洛方法對隱藏單元對可視單元的條件分布和可視單元對隱藏單元的條件分布進(jìn)行采樣。定義可視神經(jīng)元的操作如式(13)所示

(13)

隱藏神經(jīng)元對群g的操作如式(14)所示

(14)

則條件概率表示為式(15)～式(17)

(15)

(16)

(17)

卷積RBM是高度過完備的結(jié)構(gòu)，此外在訓(xùn)練的時(shí)候需要正則化。在最大池化單元的活動中放置懲罰項(xiàng)，以使其偏向得到更小的常量值r。給一個(gè)包含k張圖像的數(shù)據(jù)集{v1,v2,v3,…,vk}，就是找到一組參數(shù)θ，使得目標(biāo)函數(shù)最小[15]，如式(18)所示

(18)

其中，B是Pg中最大池化單元的數(shù)量，λ是正則化常數(shù)，r是常量，用以控制活動的最大池化單元的稀疏度。使用1步差異對比[16]方法對數(shù)似然項(xiàng)的近似梯度，以及隨機(jī)梯度下降法對式(18)中的正則項(xiàng)做優(yōu)化。

2.4 時(shí)空深度置信網(wǎng)絡(luò)

時(shí)空深度置信網(wǎng)絡(luò)(space-time deep belief network，ST-DBN)對視頻的處理，是在分層聚合的網(wǎng)絡(luò)結(jié)構(gòu)中逐次處理視頻的時(shí)空維度。

圖6顯示了ST-DBN的第一層：空間池化層，它處理輸入的視頻幀序列nVt{v(0),v(1),v(2),…,v(nt)}。在每個(gè)時(shí)間間隔t,空間卷積RBM將輸入的一個(gè)視頻v(t)大小為ch*nVx*nVy,經(jīng)過池化變成大小為|W|*nPx*nPy的輸出p(t)。其中W表示權(quán)值矩陣,與參數(shù)向量θ一起為所有的空間卷積RBM共享。

圖6 空間池化層

圖7是第二層，時(shí)間池化層，它從上一層得到低分辨率的圖像序列{p(0),p(1),p(2),…,p(nvt)}，然后輸出一個(gè)較短的序列{s(0),s(1),…,s(nst)}。從圖7中可以看出，圖像幀中的像素(i,j)隨著時(shí)間排列成一個(gè)時(shí)間序列sIij，大小為(W*nVt*1)。每個(gè)sIij輸入到卷積RBM中進(jìn)行卷積運(yùn)算，使用的濾波器為權(quán)值矩陣W′。與空間卷積RBM相似，時(shí)間卷積RBM使用的權(quán)值矩陣W′，其第g個(gè)時(shí)間濾波器W′g的長度為nWt。與空間濾波器不同的是，時(shí)間卷積RBM池化只對時(shí)間維度進(jìn)行。

圖7 時(shí)間池化層

時(shí)間池化層總共有(nPx*nPy)個(gè)卷積RBM，因?yàn)閳D像幀中的每一個(gè)像素都要按時(shí)間順序進(jìn)行排列，然后用時(shí)間卷積RBM進(jìn)行處理。輸入像素點(diǎn)(i,j)的時(shí)間序列sIij，時(shí)間卷積RBM輸出更短的序列sOij。其大小為(W*nSt*1)，nSt

序列{s(0),s(1),…,s(nst)}傳到下一層做進(jìn)一步的時(shí)空池化運(yùn)算。模型的訓(xùn)練通過貪婪算法[17]分層進(jìn)行。隨著每個(gè)池化層的訓(xùn)練，首先初始化隱藏層和最大池化層，使用式(15)、式(16)，對濾波分布的對應(yīng)的平均場近似求值。采用文獻(xiàn)[16]的方法，重復(fù)塊Gibbs采樣直到收斂。

ST-DBN最后輸出的是視頻特征，利用這些特征，輸入一個(gè)多類SVM分類器進(jìn)行訓(xùn)練和測試，即可得到行為識別的正確率。

3 實(shí)驗(yàn)及討論

3.1 采用的數(shù)據(jù)庫

人體運(yùn)動視頻數(shù)據(jù)庫采用的是中科院的CASIA action database[18]。該數(shù)據(jù)庫收集了戶外固定攝像機(jī)在不同角度拍攝的個(gè)人和多人不同的行為。總共1446個(gè)視頻序列，包括8種不同類型的個(gè)人行為以及7種不同的兩人交互行為。與國外同類的行為數(shù)據(jù)庫(如魏茨曼科學(xué)院行為識別數(shù)據(jù)庫Weizmann human action database)相比，該數(shù)據(jù)庫的背景較為復(fù)雜，而且部分前景有遮擋，具有一定的難度。

3.2 實(shí)驗(yàn)過程和結(jié)果

對全部共8種個(gè)人行為進(jìn)行了實(shí)驗(yàn)。按照不同大小的訓(xùn)練數(shù)據(jù)對模型進(jìn)行驗(yàn)證和原始的ST-DBN進(jìn)行了對比。首先我們實(shí)驗(yàn)了不同的滑動窗口大小和步長對實(shí)驗(yàn)結(jié)果的影響。采用的是較小的訓(xùn)練集，占總視頻數(shù)據(jù)的1/3，而測試集為2/3，結(jié)果如圖8所示。

圖8 不同窗口寬度和滑動位移的識別率對比

在實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)滑動窗口較寬時(shí)，識別率會顯著上升，但當(dāng)窗口寬度大于20幀以后，識別率就不再明顯上升了。而且由于窗口寬度增加，計(jì)算時(shí)間也隨著增加，故20幀是窗口寬度性價(jià)比最高的選擇。同時(shí)，發(fā)現(xiàn)滑動位移為3幀時(shí)，識別率達(dá)到最大。故選擇滑動位移為3幀，窗口寬20幀。

找到了窗口的寬度以后，ST-DBN的結(jié)構(gòu)和參數(shù)就可以確定了。ST-DBN采用五層網(wǎng)絡(luò)結(jié)構(gòu)，其中第二、第四層是時(shí)間卷積層，其余三層為空間卷積層。第一層采用25個(gè)濾波器，后面四層采用64個(gè)濾波器。所有卷積層的參數(shù)相同。nWx=nWy=10，池化參數(shù)ρ=3，學(xué)習(xí)率參數(shù)為0.1，稀疏化參數(shù)r=0.01，正則化常數(shù)λ=1。用高斯噪聲對濾波器權(quán)重進(jìn)行隨機(jī)初始化，得到的初始化矩陣乘以0.1。當(dāng)然，對于時(shí)間池化層還有一個(gè)參數(shù)nWt=20。

設(shè)定完參數(shù)以后，把數(shù)據(jù)集劃分為訓(xùn)練集和測試集，訓(xùn)練集的大小分別占總數(shù)據(jù)的10%～90%，分別與原始ST-DBN做了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表1。

表1 不同大小測試集識別率

從表1中可以看出，當(dāng)測試集很小時(shí)，本文算法的識別率要遠(yuǎn)高于原始的ST-DBN算法，當(dāng)測試集逐漸增大時(shí)，二者的識別率逐漸靠近，但本文算法的結(jié)果仍優(yōu)于原始ST-DBN結(jié)果。

4 結(jié)束語

本文針對現(xiàn)有的ST-DBN行為識別在較小訓(xùn)練集下識別效果不佳的問題，提出了一種利用滑動窗口來增加訓(xùn)練數(shù)據(jù)集方法。其基本步驟為：首先采用較小的訓(xùn)練集，通過反復(fù)實(shí)驗(yàn)找到滑動窗口的最佳大小和移動位移；滑動窗口的大小確定了時(shí)間池化層的參數(shù)和層數(shù)，視頻分辨率的大小確定了空間池化層的參數(shù)和層數(shù)；即可開始訓(xùn)練ST-DBN，輸出視頻特征。

由于ST-DBN的計(jì)算復(fù)雜，參數(shù)多，迭代收斂時(shí)間復(fù)雜度高，所以要做到實(shí)時(shí)行為識別比較困難。未來的工作是降低參數(shù)數(shù)量和時(shí)間復(fù)雜度，以實(shí)現(xiàn)實(shí)時(shí)的行為識別。