基于智能手機(jī)傳感器和SC-HMM算法的行為識(shí)別

孫冰怡,呂 巍,李文洋

(吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,長(zhǎng)春 130012)

大部分智能手機(jī)都有記錄聲音、影像和位置等功能,其中的應(yīng)用程序可通過多感官數(shù)據(jù)流實(shí)現(xiàn)情景感知服務(wù)、健康監(jiān)測(cè)和生活記錄.生活記錄是一個(gè)漫長(zhǎng)的過程,它通過用戶佩戴特定設(shè)備收集感知數(shù)據(jù),并將其存儲(chǔ)于表格中以便后期瀏覽、注釋和查詢[1-2].如果生活記錄系統(tǒng)能從低層次的感官數(shù)據(jù)流中識(shí)別出高級(jí)別的用戶經(jīng)歷,且無(wú)需用戶手動(dòng)注釋大量的數(shù)據(jù),則將十分有意義.為捕捉用戶的日常經(jīng)歷,本文提出一個(gè)生活記錄系統(tǒng),用手機(jī)收集多感官數(shù)據(jù)流,并為日?；顒?dòng)自動(dòng)標(biāo)注高級(jí)標(biāo)簽.

自動(dòng)注釋在嵌入式、手機(jī)系統(tǒng)、傳感器網(wǎng)絡(luò)、多媒體、智能系統(tǒng)和機(jī)器學(xué)習(xí)等領(lǐng)域應(yīng)用廣泛,且與行為識(shí)別緊密相聯(lián)[3-4].傳統(tǒng)行為識(shí)別研究大部分使用定制的貼身傳感器和嵌入式系統(tǒng)[5],或使用外接傳感器如監(jiān)視照相機(jī)/麥克風(fēng)、object-attached傳感器和RFID標(biāo)簽[6]等.目前,人們開始關(guān)注使用智能手機(jī)平臺(tái)[7],它能從用戶每天不間斷的日?；顒?dòng)中收集到自然數(shù)據(jù).產(chǎn)生這樣環(huán)境的活動(dòng)范圍十分廣泛,用戶通過控制環(huán)境執(zhí)行動(dòng)作的原子集,如姿勢(shì)/運(yùn)動(dòng)類型(坐、臥、行走、跑步、站立、上/下樓梯等).

本文在獲取智能手機(jī)傳感器信號(hào)的基礎(chǔ)上,提出一種新的行為識(shí)別算法SC-HMM,該算法的整體框架如圖1所示.先使用譜聚類算法對(duì)各類手機(jī)傳感數(shù)據(jù)的時(shí)序序列進(jìn)行聚類,然后對(duì)聚類結(jié)果訓(xùn)練HMM模型,以實(shí)現(xiàn)行為的自動(dòng)識(shí)別.本文利用自愿者42天的記錄評(píng)估SC-HMM方法,并對(duì)比了多種相關(guān)方法,實(shí)驗(yàn)結(jié)果表明本文算法性能良好.

圖1 SC-HMM算法的框架流程Fig.1 Flow chart of the framework for SC-HMM algorithm

1 手機(jī)傳感器的數(shù)據(jù)采集

在數(shù)據(jù)采集過程中,通過智能手機(jī)應(yīng)用程序可獲得如下時(shí)序序列：

V={V1,V2,…,VT},

(1)

其中:T為采樣次數(shù);Vt為t時(shí)刻的采集信息,表示如下：

Vt=(at,Pst,rssit),

(2)

式中:at表示加速度;Pst表示位置信息;rssit表示接收的信號(hào)強(qiáng)度指示.

對(duì)于加速度a,由于通過手機(jī)得到的采樣數(shù)據(jù)是隨時(shí)間變化的不連續(xù)數(shù)據(jù),因此本文只選取連續(xù)的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),實(shí)際速率在實(shí)驗(yàn)可接受的范圍內(nèi).采用Freescale的MMA7455L三軸加速度傳感器,其具有調(diào)理信號(hào)、低通濾波、檢測(cè)脈沖和快速運(yùn)動(dòng)的功能,最大采樣為16 Hz,2.4～3.6 V的電壓適合于在手機(jī)運(yùn)動(dòng)檢測(cè)中應(yīng)用.文獻(xiàn)[8]對(duì)行為識(shí)別進(jìn)行了時(shí)序特性(均值、方差、過零率和自相關(guān)等),特別是頻域特性(FFT譜熵等)的研究.本文也將3個(gè)軸的加速信號(hào)進(jìn)行樣本處理,將波形從時(shí)域信號(hào)變換到頻域信號(hào),實(shí)驗(yàn)選取16個(gè)樣本,最終獲得27維原始特征序列.

GPS(global positioning system)主要利用多個(gè)衛(wèi)星對(duì)協(xié)作配合的接收器節(jié)點(diǎn)進(jìn)行定位,可得到較高的地理坐標(biāo)定位,但GPS目前針對(duì)室內(nèi)或有密度較大遮擋物的位置很難定位,因此本文將盲區(qū)內(nèi)的信號(hào)視為丟失數(shù)據(jù),得到的GPS坐標(biāo)為

Pst=(Xst,Yst).

(3)

本文還采用RSSI(received signal strength indicator)技術(shù)定位,將接收到的信號(hào)通過強(qiáng)弱的測(cè)定判斷信號(hào)點(diǎn)與接受點(diǎn)的距離.RSSI技術(shù)是在反向通道基帶接收濾波后進(jìn)行的.在定位前,根據(jù)經(jīng)驗(yàn)?zāi)Ｐ拖冗x擇若干個(gè)測(cè)試點(diǎn),記錄每個(gè)測(cè)試點(diǎn)基站收到信號(hào)的強(qiáng)度,并建立離散線性數(shù)據(jù)庫(kù)集(x,y,t1,t2,t3,t4,t5),實(shí)際定位中,通過智能手機(jī)應(yīng)用程序獲得

rssit=(th1,th2,th3,th4,th5),

(4)

其中thi(i∈[1,5])信號(hào)按從小到大順序減弱,依次記錄每個(gè)點(diǎn)的位置和信號(hào)強(qiáng)度.將測(cè)得信號(hào)與實(shí)際定位信號(hào)進(jìn)行比較,將均方差最小點(diǎn)的坐標(biāo)作為節(jié)點(diǎn)坐標(biāo),并獲取WIFI熱點(diǎn)名稱N.

將上述采集的數(shù)據(jù)Vt=(at,Pst,rssit)作為將要進(jìn)行譜聚類時(shí)的數(shù)據(jù)集合V={V1,V2,…,Vn}的子集.

2 譜聚類算法

數(shù)據(jù)采集后,即形成一個(gè)活動(dòng)時(shí)間序列數(shù)據(jù)庫(kù),可將這些活動(dòng)序列聚成幾個(gè)組,通過聚類等無(wú)監(jiān)督方式學(xué)習(xí)這些活動(dòng)序列.為獲得無(wú)監(jiān)督學(xué)習(xí)活動(dòng)時(shí)間序列,本文檢測(cè)時(shí)間序列間的相似性并采用聚類算法.

2.1 LCSS序列距離

活動(dòng)時(shí)間序列的長(zhǎng)度并不一定相等,其依賴于活動(dòng)屬性.盡管相同的活動(dòng),時(shí)間序列也未必相等,因?yàn)闋顟B(tài)的持續(xù)時(shí)間、速度和采樣頻率不同.為了度量?jī)蓚€(gè)活動(dòng)時(shí)間序列Vi和Vj的相似度,即需要對(duì)不等長(zhǎng)的Vs距離度量.

最長(zhǎng)公共總序列(longest common subsequence,LCSS)[9]對(duì)不等長(zhǎng)的時(shí)間序列是個(gè)有效的距離度量工具,LCSS對(duì)噪聲健壯且可進(jìn)一步處理異常.行為時(shí)間序列的LCSS距離為

(5)

其中:Ti和Tj分別為兩個(gè)活動(dòng)時(shí)間序列的長(zhǎng)度;LCSS(Vi,Vj)為Vi和Vj之間匹配點(diǎn)的數(shù)量.LCSS定義為

(6)

可通過動(dòng)態(tài)規(guī)劃有效地計(jì)算匹配點(diǎn)在一定的距離參數(shù)ε和可接受的時(shí)間窗口δ之內(nèi).

2.2 譜聚類

譜聚類可有效地計(jì)算,并比傳統(tǒng)聚類算法提高了性能.譜方法不需在數(shù)據(jù)點(diǎn)分布上做任何假設(shè),而依賴于近似優(yōu)先圖劃分相似矩陣的特征分解.對(duì)活動(dòng)時(shí)間序列的譜聚類算法如下.

算法1活動(dòng)時(shí)間序列的譜聚類.

1) 構(gòu)造相似圖S={sij};

2) 計(jì)算正規(guī)化的Laplace矩陣L=I-D-1/2SD-1/2;

3) 計(jì)算L的前K個(gè)特征向量;

4) 令U∈N×K為由特征向量作為列構(gòu)造的正規(guī)化矩陣;

5) 用k均值對(duì)U的行進(jìn)行聚類.

用Gauss核函數(shù)由LCSS活動(dòng)時(shí)間序列構(gòu)造相似矩陣S={sij},表示完全連接圖的相鄰矩陣:

(7)

其中參數(shù)σ描述活動(dòng)時(shí)間序列的相鄰,σ值越大活動(dòng)時(shí)間序列有越高的相似值,同時(shí)σ值越小會(huì)產(chǎn)生一個(gè)更稀疏的相似矩陣.從相鄰矩陣形成Laplace矩陣:

L=I-D-1/2SD-1/2,

(8)

其中D表示S中相同行元素之和的對(duì)角矩陣.由L的前K個(gè)特征向量作為列構(gòu)成一個(gè)新的N×K矩陣U.U的每行作為訓(xùn)練活動(dòng)時(shí)間序列V的一個(gè)新特征向量表示,用k-means將活動(dòng)時(shí)間序列聚成K個(gè)相似活動(dòng)時(shí)間序列組.

3 基于HMM的動(dòng)作識(shí)別

有監(jiān)督活動(dòng)學(xué)習(xí)系統(tǒng)大多數(shù)用HMM(hidden Markov model)作為分類器.本文對(duì)行為的分類也采用HMM模型進(jìn)行學(xué)習(xí)分類.圖2為HMM模型用于手機(jī)行為識(shí)別的一個(gè)實(shí)例.一個(gè)HMM模型可表示為λ=(A,B,π0),其中:λ表示時(shí)間序列V作為觀察值的活動(dòng)模型;A表示狀態(tài)轉(zhuǎn)移概率矩陣；B表示觀察概率分布；π0表示初始狀態(tài)分布.HMM模型由以下參數(shù)[10]決定.

圖2 HMM應(yīng)用于智能手機(jī)行為識(shí)別實(shí)例Fig.2 Example of HMM applied in activity recognition of smart phone

1) 模型的狀態(tài)數(shù)Q.為方便,Q是固定的,但估計(jì)一個(gè)合適的數(shù)是可能的;

2)Q×Q狀態(tài)轉(zhuǎn)移概率矩陣A={aij},其中

aij=p(qt+1|qt);

(9)

3) 觀察概率分布B=bj(f),其中

bj(f)=G(f,μj,Σj)

(10)

表示每個(gè)j=1,2,…,Q狀態(tài)的未知均值μj和方差Σj的Gauss流f分布;

4) 初始狀態(tài)分布π0={πj}有

πj=p(q1=j).

(11)

對(duì)每個(gè)k=1,2,…,K(K是譜聚類得出的類個(gè)數(shù))行為表示為λk=(Ak,Bk,π0),其中π0對(duì)每個(gè)行為有

(12)

其中C是保證有效概率的歸一化常數(shù).該定義允許行為開始于任意狀態(tài).αp的選擇不嚴(yán)格,只要對(duì)每個(gè)狀態(tài)有非零概率即可.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用真實(shí)的傳感器數(shù)據(jù)評(píng)估本文系統(tǒng).從平時(shí)攜帶智能手機(jī)的自愿者中收集生活記錄,這些生活記錄提供了實(shí)驗(yàn)用的數(shù)據(jù)及標(biāo)簽.共獲得195 h,連續(xù)42 d的多傳感器記錄數(shù)據(jù)集合.在42 d中共收集自定義片段390張,平均每天收集9.3個(gè)片段,其中每個(gè)片段上的時(shí)間節(jié)點(diǎn)都包含加速度、GPS和RSSI等信息,且每個(gè)片段均對(duì)應(yīng)一個(gè)日常動(dòng)作的標(biāo)簽.該數(shù)據(jù)集合共包含行走、站立、跑步、上樓、下樓、乘上行電梯和乘下行電梯等在內(nèi)的7個(gè)日常動(dòng)作.

4.2 實(shí)驗(yàn)結(jié)果

為有效地評(píng)估本文方法,在實(shí)驗(yàn)中對(duì)比了一些常用的行為方法,包括SVM(支持向量機(jī))[11]、CRF(條件隨機(jī)場(chǎng))[11]和SVM-HMM(支持向量機(jī)隱Markov)[12].

采用十折交叉驗(yàn)證的方式計(jì)算每種方法下各類別的分類精度.先將實(shí)驗(yàn)數(shù)據(jù)集隨機(jī)分為10個(gè)大小相同的子集,依次選擇其中1個(gè)子集作為測(cè)試數(shù)據(jù)集,剩下的9個(gè)子集作為訓(xùn)練集,并計(jì)算正確識(shí)別率.共執(zhí)行10次,并將10次獲得的平均正確率作為最終分類精度.

表1列出了不同識(shí)別方法得到的分類精度.由表1可見,本文提出的基于SC-HMM的日常動(dòng)作識(shí)別方法具有最高的識(shí)別正確率,平均高達(dá)93.48%,其中在“跑步”、“乘上行電梯”和“乘下行電梯”等3個(gè)類中的分類精度均超過97%.而其他幾種方法中,SVM-HMM的效果最好,平均接近92.94%,但其區(qū)分“上下樓”和“乘上下行電梯”時(shí)表現(xiàn)不理想.實(shí)驗(yàn)結(jié)果表明,本文提取的手機(jī)傳感器的加速度、GPS和RSSI信息能有效反應(yīng)用戶的行為特征,如“乘電梯”這個(gè)行為獲得的RSSI信號(hào)要遠(yuǎn)小于其他類別的信號(hào),這對(duì)于實(shí)現(xiàn)正確的識(shí)別具有顯著作用.此外,本文提出的基于SC-HMM的日常動(dòng)作識(shí)別方法也能有效挖掘不同時(shí)間片段間的關(guān)聯(lián)性,從而有效提高動(dòng)作識(shí)別的正確率.

表1 不同方法的分類精度Table 1 Classification accuracy of different methods

綜上所述,本文在智能手機(jī)傳感器信號(hào)的基礎(chǔ)上,提出了基于譜聚類和HMM算法的行為識(shí)別方法,該方法能有效地挖掘不同傳感器信號(hào)間的關(guān)聯(lián),提高行為識(shí)別的正確率.以真實(shí)的用戶智能手機(jī)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),并對(duì)比了多種相關(guān)方法.實(shí)驗(yàn)結(jié)果表明,本文方法在7個(gè)日常動(dòng)作識(shí)別中能取得較好的的分類精度(平均0.934 8),均高于其他方法.

[1] Hamm J,Stone B,Belkin M,et al.Automatic Annotation of Daily Activity from Smartphone-Based Multisensory Streams [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2013:328-342.

[2] Chennuru S,CHEN Peng-wen,ZHU Jiang,et al.Mobile Lifelogger-Recording,Indexing,and Understanding a Mobile User’s Life [C]//Lecture Notes of the Institute for Computer Sciences,Social Informatics and Telecommunications Engineering.Berlin:Springer,2012:263-281.

[3] HU Hong-yu,WANG Qing-nian,QU Zhao-wei,et al.Spatial Pattern Recognition and Abnormal Traffic Behavior Detection of Moving Object [J].Journal of Jilin University:Engineering and Technology Edition,2011,41(6):1598-1602.(胡宏宇,王慶年,曲昭偉,等.運(yùn)動(dòng)目標(biāo)空間模式辨識(shí)與異常交通行為檢測(cè) [J].吉林大學(xué)學(xué)報(bào):工學(xué)版,2011,41(6):1598-1602.)

[4] YIN Jian-qin,WANG Jing-jing,LI Jin-ping.New Space-Time Interest Point Detection Scheme Based on Cumulative Entropy Difference [J].Journal of Jilin University:Engineering and Technology Edition,2012,42(3):754-758.(伊建芹,王晶晶,李金屏.新的時(shí)空特征點(diǎn)檢測(cè)方法 [J].吉林大學(xué)學(xué)報(bào):工學(xué)版,2012,42(3)：754-758.)

[5] Altun K,Barshan B.Human Activity Recognition Using Inertial/Magnetic Sensor Units [C]//Human Behavior Understanding.Berlin:Springer,2010:38-51.

[6] GU Tao,WANG Liang,WU Zhan-qing,et al.A Pattern Mining Approach to Sensor-Based Human Activity Recognition [J].IEEE Transactions on Knowledge and Data Engineering,2011,23(9):1359-1372.

[7] Bieber G,Voskamp J,Urban B.Activity Recognition for Everyday Life on Mobile Phones [C]//Universal Access in Human-Computer Interaction.Intelligent and Ubiquitous Interaction Environments.Berlin:Springer,2009:289-296.

[8] Lester J,Choudhury T,Borriello G.A Practical Approach to Recognizing Physical Activities [C]//PERVA SIVE’06 Proceedings of the 4th International Conference on Pervasive Computing.Berlin:Springer,2006:1-16.

[9] Cormen T H,Leiserson C E,Rivest R L.Introduction to Algorithms [M].Cambridge:MIT Press,1990.

[10] Morris B T,Trivedi M M.Trajectory Learning for Activity Understanding:Unsupervised,Multilevel,and Long-Term Adaptive Approach [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2287-2301.

[11] Lafferty J D,McCallum A,Pereira F C N.Conditional Random Fields:Probabilistic Models for Segmenting and Labeling Sequence Data [C]//Proceedings of the Eighteenth International Conference on Machine Learning.San Francisco:Morgan Kaufmann Publishers Inc，2001:282-289.

[12] Altun Y,Tsochantaridis I,Hofmann T.Hidden Markov Support Vector Machines [C]//Proceedings of the Twentieth International Conference of Machine Learning (ICML 2003).Washington DC:AAAI Press,2003:3-10.

(責(zé)任編輯：韓 嘯)

研究簡(jiǎn)報(bào)