基于K-SVD的最大似然稀疏表示體域網(wǎng)動作分類算法①

王佳境,吳建寧,凌 雲(yún),李杰成

(福建師范大學(xué) 數(shù)學(xué)與信息學(xué)院,福州 350007)

近年來,新興體域網(wǎng)技術(shù)(Body Sensor Networks,BSN)[1,2]在人體健康監(jiān)測、老年人預(yù)防跌倒、人體步態(tài)康復(fù)評價等領(lǐng)域得到廣泛關(guān)注和應(yīng)用.其技術(shù)實(shí)現(xiàn)思路在于將多個采集傳感節(jié)點(diǎn)(內(nèi)嵌加速度計或陀螺儀傳感器)佩戴于人體肩、手腕、肘、髖、膝、踝等關(guān)節(jié)處,構(gòu)建體域網(wǎng)運(yùn)動模式獲取人體運(yùn)動數(shù)據(jù)信息,為判別人體運(yùn)動功能變化提供可靠數(shù)據(jù).基于體域網(wǎng)運(yùn)動數(shù)據(jù)構(gòu)建泛化性能優(yōu)越的動作分類模型是近年來評價人體運(yùn)動變化研究中的焦點(diǎn)問題,也是國內(nèi)外眾多學(xué)者深入探討的熱點(diǎn)問題.早期,相關(guān)研究較多關(guān)注采用傳統(tǒng)機(jī)器學(xué)習(xí)分類算法(諸如人工神經(jīng)網(wǎng)絡(luò)技術(shù)[3]、支持向量機(jī)[4-6]、決策樹[7-9]、馬爾科夫模型[10,11]等)構(gòu)建體域網(wǎng)動作模式分類模型.文獻(xiàn)[3]提出一種基于二維加速度數(shù)據(jù)的三層神經(jīng)網(wǎng)絡(luò)動作模式分類模型,所構(gòu)建分類模型雖簡單,但識別率僅為85%;文獻(xiàn)[4]提出了一種基于無權(quán)重特征值的支持向量機(jī)體域網(wǎng)動作模式分類模型,雖然識別率可高達(dá)97.21%,但所設(shè)計分類算法復(fù)雜度高、耗時,難以推廣實(shí)際應(yīng)用.文獻(xiàn)[11]提出一種基于半馬爾科夫模型(Semi-Markov Conditional Random Fields)的體域網(wǎng)動作模式分類算法,適用范圍雖廣,但該算法需大量訓(xùn)練樣本數(shù)據(jù)準(zhǔn)確獲得模型參數(shù),且最高識別率僅為88.47%.此外,早期相關(guān)研究較多基于四種動作模式探討相關(guān)動作模式分類模型性能,局限性較強(qiáng),難以準(zhǔn)確判別體域網(wǎng)動作模式連續(xù)變化狀況.近年,一種新興稀疏表示分類(Sparse Representation Classification,SRC)算法在體域網(wǎng)動作模式識別研究中受到廣泛關(guān)注[12,13].其基本思路:將所有訓(xùn)練樣本構(gòu)建一個過完備字典,準(zhǔn)確稀疏表示測試樣本(即,與測試樣本同類為非零系數(shù),非同類為零系數(shù)),將體域網(wǎng)動作模式分類問題轉(zhuǎn)化為測試樣本稀疏表示系數(shù)求解問題,然后基于所求解的稀疏表示系數(shù)定義殘差確定測試樣本類別.文獻(xiàn)[14]基于多傳感節(jié)點(diǎn)加速度數(shù)據(jù),提出一種基于稀疏表示分類算法的的分布式體域網(wǎng)動作模式識別模型,對13種不同動作模式分類,平均識別率可達(dá)93.5%.文獻(xiàn)[13]提出一種基于單個傳感節(jié)點(diǎn)加速度數(shù)據(jù)的人體動作模式稀疏表示分類算法,對9種不同動作模式分類,平均識別率可達(dá)95.3%.雖然近年相關(guān)研究基于稀疏表示分類算法探討人體動作模式連續(xù)變化狀況取得較大進(jìn)展,但仍忽視由大量高維訓(xùn)練樣本數(shù)據(jù)所構(gòu)建的較大過完備字典對體域網(wǎng)動作模式分類算法性能的影響.更重要的是,近年相關(guān)研究大多采用簡單平均疊加方法計算測試樣本稀疏表示余差,難以準(zhǔn)確逼近不同動作模式在空間的分布狀況,也可能影響其分類性能.如何在基于大量訓(xùn)練樣本數(shù)據(jù)優(yōu)化設(shè)計規(guī)模較小過完備字典的基礎(chǔ)上,準(zhǔn)確估計逼近測試樣本殘差分布,對于減少分類計算復(fù)雜度和時間、提高體域網(wǎng)動作模式分類性能至關(guān)重要,也是近年相關(guān)研究探討的熱點(diǎn)問題.

近年來,一種基于K-SVD學(xué)習(xí)算法[15]優(yōu)化設(shè)計過完備字典在人臉稀疏表示識別、動態(tài)手勢稀疏表示識別研究中得到廣泛應(yīng)用,其基本思路就是基于優(yōu)化學(xué)習(xí)算法,從大量訓(xùn)練樣本數(shù)據(jù)中獲得優(yōu)化過完備字典,即可有效減少樣本數(shù)據(jù)量,又可準(zhǔn)確稀疏表示測試樣本,確保判別信息不丟失.上述研究成果為我們優(yōu)化設(shè)計過完備字典提供了可借鑒思路.此外,近年一些相關(guān)研究提出了基于最大似然估計(Maximum Likelihood Estimation,MLE)模型[16,17]準(zhǔn)確逼近稀疏表示殘差,其基本思想就是將余項(xiàng)的求解由l1或l2范式優(yōu)化轉(zhuǎn)化為一個似然估計算子,利用最大似然函數(shù),更加準(zhǔn)確估算稀疏表示殘差值.目前,就相對于由l1或l2范式優(yōu)化而言,基于最大似然估計模型構(gòu)建稀疏表示體域網(wǎng)動作模式分類算法,使體域網(wǎng)動作模式訓(xùn)練樣本所得最大似然估計函數(shù)更具有通用性,能夠獲得更精確的測試樣本表示殘差,有效提升體域網(wǎng)動作模式分類性能.

為此,本文提出了一種基于K-SVD的最大似然稀疏表示體域網(wǎng)動作模式分類新算法,其基本思想:首先基于K-SVD優(yōu)化學(xué)習(xí)算法,將不同動作模式訓(xùn)練樣本按其所屬類別分組優(yōu)化訓(xùn)練,避免各類樣本數(shù)據(jù)訓(xùn)練時相互干擾,得到不同動作模式類別所屬的子字典,然后將子字典拼合構(gòu)成一個完整字典,準(zhǔn)確稀疏表示測試樣本,最后基于最大似然稀疏模型準(zhǔn)確估算稀疏表示系數(shù)殘差,有效提高動作模式分類性能.本研究采用包含多傳感數(shù)據(jù)的人體動作數(shù)據(jù)庫WARD[14]驗(yàn)證本文所提算法有效性.與傳統(tǒng)稀疏表示分類算法相比較,本文所提算法能夠準(zhǔn)確估計測試樣本稀疏表示殘差,顯著提高體域網(wǎng)動作模式識別率.

1 基于K-SVD的最大似然稀疏表示體域網(wǎng)動作分類算法

本文所提算法旨在將K-SVD優(yōu)化學(xué)習(xí)算法和最大似然估計相結(jié)合,優(yōu)化設(shè)計過完備字典,基于較少訓(xùn)練樣本數(shù)據(jù)準(zhǔn)確稀疏表示測試動作樣本,然后構(gòu)建測試樣本稀疏表示殘差最大似然估計模型,判斷其類別.算法框架如圖1所示,由優(yōu)化設(shè)計過完備字典的訓(xùn)練階段和基于最大似然稀疏表示的動作識別階段組成.訓(xùn)練階段主要是基于K-SVD分別每個動作類別優(yōu)化學(xué)習(xí)獲得子字典,然后將所有優(yōu)化子字典整合一個完整字典,有效減少冗余樣本數(shù)據(jù),準(zhǔn)確稀疏表示測試樣本.識別階段主要是采用最大似然估計模型估算稀疏表示余差分布密度函數(shù),然后基于余差分布密度函數(shù)求解測試樣本稀疏表示殘差,判別測試樣本所屬類別.

圖1 最大似然估計稀疏表示分類算法整體框圖

1.1 基于K-SVD優(yōu)化設(shè)計過完備字典

基于上述步驟,可得到由每一動作類別的子字典級聯(lián)而成的一個完整優(yōu)化過完備字典D,既可減少字典規(guī)模,又可有效確保動作樣本中的判別信息不丟失.

1.2 最大似然稀疏表示動作分類模型

基于所得優(yōu)化過完備字典D,可將測試樣本y稀疏表示為:

式中,σ表示為誤差容限,盡可能確保稀疏表示系數(shù)x=[0,···,0,x1,x2,···,xni,0,···,0],非零系數(shù)x1,x2,···,xni表示與測試樣本y同類訓(xùn)練樣本對應(yīng)的系數(shù).式(2)稀疏表示系數(shù)可通過下列極小化l1范數(shù)求解.

式中,約束條件要求余項(xiàng)e=y-Dx滿足‖e‖2≤ σ.為此,基于最大似然估計理論將余項(xiàng)轉(zhuǎn)化為最大似然分布函數(shù),構(gòu)建最大似然稀疏表示動作分類模型.具體算法描述如下.

在稀疏表示模型中,系數(shù)x具有稀疏性約束.因此,系數(shù)x的最大似然估計求解可以轉(zhuǎn)化為式(4)所示的最小優(yōu)化問題.

這是由于粉煤灰具有較好的形態(tài)效應(yīng)、微集料填充效應(yīng)和火山效應(yīng)，除了填充水泥顆粒間隙外還生成了大量的C-S-H凝膠，改善了產(chǎn)物形態(tài)，增加了混凝土的密實(shí)性，部分大毛細(xì)孔與氣孔向更小的孔徑轉(zhuǎn)變，從而降低了混凝土的滲透性能[1，8]。但粉煤灰的摻入也降低了混凝土中水泥的含量，且粉煤灰的二次水化反應(yīng)進(jìn)行得比較緩慢，混凝土中還有大量未水化的粉煤灰顆粒，導(dǎo)致混凝土內(nèi)部結(jié)構(gòu)不夠密實(shí)，因此大摻量粉煤灰混凝土的抗?jié)B透性能降低，導(dǎo)致其水和氣體滲透系數(shù)增大[9-10]。NMR測得的試驗(yàn)混凝土孔隙率(表4)也反映了上述規(guī)律，摻量超過30 %之后，試驗(yàn)混凝土的孔隙率也有所增加。

一般來說,余差e不符合高斯分布.但是,可以假設(shè)余差e的概率密度函數(shù)fθ(ei)具有高斯分布密度函數(shù)所具有的特性:fθ(ei)是對稱的,并且當(dāng)時,.因此,ρθ(ei)具有以下特性:ρθ(0)是全局最小值;對稱性,即ρθ(ei)= ρθ(-ei);單調(diào)性,當(dāng)時,.

式中,R1(e)為高階余項(xiàng).,其中,e0,i(i=1,2,···,n)表示e0中的第i個元素.高階余項(xiàng)R1(e)的估計值可記作R1(e)=0.5(e-e0)TW(e-e0),其中W是一個對角矩陣.因此,e中的所有元素都是相互獨(dú)立的.Fθ(e)在e=0達(dá)到最小值0,則當(dāng)e=0時,的也達(dá)到最小值.令,可以計算得到對角矩陣W對角元素值,如式(6).

根據(jù)函數(shù)ρθ(e)的特性,的正負(fù)符號相同,所以對角矩陣W中的所有元素都是非負(fù)值.因此,可以改寫為,b是一個由e0決定的常數(shù).式(1)可被改寫為式(7).

比較式(7)和式(3)可以看出,最大似然稀疏表示分類方法就是一個加權(quán)的稀疏表示模型.由于權(quán)重矩陣W是一個對角矩陣,Wi,i是針對待測向量中每一個相應(yīng)原子的權(quán)值,對于差異性較為明顯的原子值,權(quán)重較大,不具有差異性或差異性較小的原子值,賦予的權(quán)重則小一些,這樣的操作對于分類效果的好處是顯而易見的.考慮到上述特性,選擇與其相似的SVM算法中hinge loss函數(shù)[18]作為權(quán)重函數(shù),通過迭代優(yōu)化,直至收斂,最終求得稀疏表示系數(shù).

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)及其預(yù)處理

本研究選用美國加州伯克利大學(xué)公開發(fā)布的包含多傳感數(shù)據(jù)的人體動作模式數(shù)據(jù)庫WARD.該數(shù)據(jù)庫采集20名受試者(13名男性,7名女性,年齡在19～70歲)13種不同動作模式:站立、坐、躺、向前走、向左轉(zhuǎn)、向右轉(zhuǎn)、上樓、下樓、慢跑、跳、推輪椅、順時針走、逆時針走.每名受試者要求佩戴5個相同傳感節(jié)點(diǎn)(內(nèi)嵌一個三軸加速度計傳感器和一個二軸陀螺儀),分別置于左手腕、右手腕、左足踝、右足踝、腰部.采用率設(shè)置為30 Hz.本研究選用上述前11種動作模式數(shù)據(jù)驗(yàn)證本文所提算法有效性.

為確保所選動作模式數(shù)據(jù)信息完整性,本文采用滑動窗口方法截取數(shù)據(jù)段,窗口長度設(shè)置為200點(diǎn).選用三個方向的加速度數(shù)據(jù)和二個方向的陀螺儀數(shù)據(jù)定義采樣數(shù)據(jù)向量維數(shù)為m=1000.采用五階平滑濾波對所選樣本數(shù)據(jù)消噪.

為客觀評價本文所提算法的分類性能,我們采用留一交叉驗(yàn)證法,即從所有20名受試者(每名受試者每種動作取5個樣本)任意選取19名受試者數(shù)據(jù)作為訓(xùn)練樣本集,剩余1名受試者作為測試樣本.為確保動作樣本訓(xùn)練、測試的可靠性,上述交叉驗(yàn)證任意重復(fù)75次,取最終平均結(jié)果作為分類器的識別率.

2.2 優(yōu)化設(shè)計過完備字典

由于樣本數(shù)據(jù)維數(shù)為m=1000,含一些冗余信息,影響優(yōu)化過完備字典的獲取和分類器的最優(yōu)性能.在實(shí)驗(yàn)中,我們采用隨機(jī)投影方法壓縮數(shù)據(jù),降低樣本數(shù)據(jù)冗余信息.壓縮率(Compressive Proportion,cp)的定義如式(8).

式中,m′表示壓縮數(shù)據(jù)長度.我們在原始數(shù)據(jù)維度為m=1000及優(yōu)化過完備字典大小取40狀況下,選擇最優(yōu)壓縮率cp值.本文所提算法基于不同壓縮率所獲得的識別率和運(yùn)行時間如表1所示.

表1 本文算法基于不同壓縮率的識別率和運(yùn)行時間

從表1可以看到,識別率和運(yùn)行時間均隨壓縮率的增大而增大,但壓縮率為0.5時能夠獲得與壓縮率為1時幾乎相同的最大識別率,運(yùn)行時間卻明顯減少(約7.2秒).這些結(jié)果表明,最優(yōu)壓縮率為0.5.因?yàn)楫?dāng)cp=0.5時,壓縮數(shù)據(jù)不僅可包含與原始數(shù)據(jù)幾乎相同的動作模式差異信息,同時可以有效降低本文所提算法復(fù)雜度,提高動作分類性能.

在選取最優(yōu)壓縮率為0.5狀況下,我們進(jìn)一步評估了基于本文所提算法選取優(yōu)化過完備字典對動作分類性能的影響.實(shí)驗(yàn)中,每種動作訓(xùn)練樣本數(shù)量選取為95.圖2給出了選取不同字典對動作分類性能的影響結(jié)果.從圖2可以看到,本文所提算法隨選取字典大小變化而變化.當(dāng)選取字典大小從10增加到40時,動作識別率上升至最大(約95%);其后,識別率呈下降趨勢.這些結(jié)果表明,字典規(guī)模過小,難以包含動作模式完整差異信息;字典規(guī)模過大,所選樣本數(shù)據(jù)必含過多冗余信息,兩者均影響動作分類性能.但通過優(yōu)化學(xué)習(xí)選取規(guī)模適當(dāng)字典,既可包含動作模式完整差異信息,又可降低樣本數(shù)據(jù)冗余信息,有效提高動作模式分類性能.

圖2 基于不同字典大小的識別率變化結(jié)果

2.3 最大似然稀疏表示動作分類性能

實(shí)驗(yàn)中,我們選取傳統(tǒng)的近緊鄰算法(NN)、稀疏表示分類算法(SRC)、基于K-SVD的稀疏表示分類算法(KSVD+SRC),作為比較,進(jìn)一步客觀評價本文所提算法(KSVD+MLE)的有效性.最優(yōu)字典選取為40,其比較結(jié)果如圖3所示.

從圖3可以看到,四種動作分類算法動作識別率均隨數(shù)據(jù)維度增長而增長,比較而言,本文所提算法(KSVD+ MLE)可獲得最大識別率(96.36%),分類性能明顯優(yōu)于其他所選三種分類算法性能,NN動作分類性能最差.這些結(jié)果表明,本文所提最大似然稀疏表示模型能夠準(zhǔn)確估計動作模式稀疏表示系數(shù)殘差,有效提高動作模式分類性能.

圖3 基于不同動作分類算法的比較結(jié)果

此外,從圖3中我們觀察到,基于SRC的動作分類性能(識別率為92.27%)明顯優(yōu)于基于KSVD+SRC的動作分類性能(83.64%),原因是K-SVD優(yōu)化字典難以為SRC算法提供精確的稀疏表示系數(shù)殘差,影響其分類性能.

此外,在實(shí)驗(yàn)中,我們基于最優(yōu)選取字典以及最優(yōu)壓縮率,驗(yàn)證本文所提算法對所選11種動作模式分類性能,進(jìn)一步評估本文所提算法對連續(xù)動作模式分類有效性.其分類混淆矩陣如表2所示.從表2可以看到,本文所提算法對11種不同動作模式識別率均達(dá)到94%以上,平均識別率高達(dá)96%以上.特別是,站立、躺、左轉(zhuǎn)、右轉(zhuǎn)等動作識別率均可高達(dá)98%以上.作為對比,SRC算法對所選11種動作模式的分類混淆矩陣如表3顯示.可以看出,SRC算法對坐、上樓、下樓、推輪椅四種動作模式識別率均在90%以下,平均識別率僅為92%,比之本文所提算法平均識別率低4%.綜上,本文所提算法能夠準(zhǔn)確估計動作模式稀疏表示系數(shù)殘差分布,可有效識別動作模式連續(xù)變化.

3 結(jié)論與展望

本文提出了一種基于K-SVD的最大似然稀疏表示動作分類算法.該算法可有效利用K-SVD優(yōu)化學(xué)習(xí)算法,將不同動作模式訓(xùn)練樣本按其所屬類別分組優(yōu)化訓(xùn)練,避免各類樣本數(shù)據(jù)訓(xùn)練時相互干擾,將不同動作模式類別所屬的子字典拼合一個完整字典,準(zhǔn)確稀疏表示測試樣本,使最大似然稀疏模型準(zhǔn)確估計稀疏表示系數(shù)殘差,有效提高動作模式分類性能,有助于判別動作模式連續(xù)變化.

表2 本文所提算法基于11種動作信號的分類混淆矩陣

表3 SRC算法基于11種動作信號分類混淆矩陣

1Movassaghi S,Abolhasan M,Lipman J,et al.Wireless body area networks:A survey.IEEE Communications Surveys &Tutorials,2014,16(3):1658-1686.

2Rawat P,Singh KD,Chaouchi H,et al.Wireless sensor networks:A survey on recent developments and potential synergies.The Journal of Supercomputing,2014,68(1):1-48.[doi:10.1007/s11227-013-1021-9]

3Randell C,Muller H.Context awareness by analysing accelerometer data.The Fourth International Symposium on Wearable Computers.Atlanta,GA,USA.2000.175-176.

4He ZY,Liu ZB,Jin LW,et al.Weightlessness feature-A novel feature for single tri-axial accelerometer based activity recognition.19th International Conference on Pattern Recognition.Tampa,FL,USA.2008.1-4.

5He ZY,Jin LW.Activity recognition from acceleration data based on discrete consine transform and SVM.Proceedings of the 2009 IEEE International Conference on Systems,Man and Cybernetics.San Antonio,TX,USA.2009.5041-5044.

6He ZY,Jin LW.Activity recognition from acceleration data using AR model representation and SVM.Proceedings of the Seventh International Conference on Machine Learning and Cybernetics.Kunming,China.2008.2245-2250.

7Jatoba LC,Grossmann U,Kunze C,et al.Context-Aware mobile health monitoring:Evaluation of different pattern recognition methods for classification of physical activity.30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Vancouver,BC,Canada.2008.5250-5253.

8Bao L,Intille SS.Activity recognition from user-annotated acceleration data.International Conference on Pervasive Computing.Linz and Vienna,Austria.2004.1-17.

9Ermes M,Parkka J,Cluitmans L.Advancing from offline to online activity recognition with wearable sensors.30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Vancouver,BC,Canada.2008.4451-4454.

10Zhu C,Sheng WH.Human daily activity recognition in robot-assisted living using multi-sensor fusion.2009 IEEE International Conference on Robotics and Automation.Kobe,Japan.2009.2154-2159.

11Vinh LT,Lee S,Le HX,et al.Semi-Markov conditional random fields for accelerometer-based activity recognition.Applied Intelligence,2011,35(2):226-241.[doi:10.1007/s10489-010-0216-5]

12Wright J,Yang AY,Ganesh A,et al.Robust face recognition via sparse representation.IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.[doi:10.1109/TPAMI.2008.79]

13Zhang M,Sawchuk AA.Human daily activity recognition with sparse representation using wearable sensors.IEEE Journal of Biomedical and Health Informatics,2013,17(3):553-560.[doi:10.1109/JBHI.2013.2253613]

14Yang AY,Jafari R,Sastry SS,et al.Distributed recognition of human actions using wearable motion sensor networks.Journal of Ambient Intelligence and Smart Environments,2009,1(2):103-115.

15Aharon M,Elad M,Bruckstein A.rmK-SVD:An algorithm for designing overcomplete dictionaries for sparse representation.IEEE Transactions on Signal Processing,2006,54(11):4311-4322.[doi:10.1109/TSP.2006.881199]

16Yang M,Zhang L,Yang J,et al.Robust sparse coding for face recognition.2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA.2011.625-632.

17胡正平,宋淑芬.基于類別相關(guān)近鄰子空間的最大似然稀疏表示魯棒圖像識別算法.自動化學(xué)報,2012,38(9):1420-1427.

18Zhang J,Jin R,Yang YM,et al.Modified logistic regression:An approximation to SVM and its applications in large-scale text categorization.Proceedings of the Twentieth International Conference on Machine Learning.Washington DC,USA.2003.888-895.