基于傳感器數(shù)據(jù)的人類活動(dòng)識(shí)別研究①

王金甲 孔德明 劉建波 王曉敏 洪文學(xué)

(*燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004) (**燕山大學(xué)電氣工程學(xué)院 秦皇島 066004) (***東北大學(xué)秦皇島分校 秦皇島 066004)

?

基于傳感器數(shù)據(jù)的人類活動(dòng)識(shí)別研究①

王金甲②*孔德明**劉建波***王曉敏***洪文學(xué)*****

(*燕山大學(xué)信息科學(xué)與工程學(xué)院 秦皇島 066004) (**燕山大學(xué)電氣工程學(xué)院 秦皇島 066004) (***東北大學(xué)秦皇島分校 秦皇島 066004)

給出了活動(dòng)識(shí)別的定義，闡述了活動(dòng)識(shí)別對(duì)智能健康監(jiān)護(hù)和老年人護(hù)理的重要意義，并給出了基于傳感器的活動(dòng)識(shí)別系統(tǒng)的構(gòu)成，詳細(xì)描述了系統(tǒng)的傳感器數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理及機(jī)器學(xué)習(xí)等技術(shù)的研究進(jìn)展，介紹了人類活動(dòng)識(shí)別實(shí)驗(yàn)取得的結(jié)果。最后指出，老年人活動(dòng)識(shí)別、多人活動(dòng)識(shí)別以及實(shí)時(shí)活動(dòng)識(shí)別是未來(lái)活動(dòng)識(shí)別的發(fā)展方向；活動(dòng)識(shí)別研究已成為普適計(jì)算一個(gè)重要和富有挑戰(zhàn)性的研究課題，構(gòu)建用于處理復(fù)雜的現(xiàn)實(shí)情況和環(huán)境的可靠的活動(dòng)識(shí)別系統(tǒng)仍然是一個(gè)挑戰(zhàn)，需要多學(xué)科交叉研究。

活動(dòng)識(shí)別, 智能健康監(jiān)護(hù), 多傳感器, 數(shù)據(jù)融合, 移動(dòng)感知

0 引 言

活動(dòng)識(shí)別是指在真實(shí)生活環(huán)境中識(shí)別出人類日常生活活動(dòng)[1]。活動(dòng)識(shí)別一般作為大型應(yīng)用服務(wù)的核心任務(wù)[2]。例如，老年人健康監(jiān)護(hù)這種以人為中心的應(yīng)用服務(wù)，就可以利用人類活動(dòng)識(shí)別系統(tǒng)產(chǎn)生巨大的社會(huì)經(jīng)濟(jì)效益[3]；識(shí)別日常生活活動(dòng)并從中辨識(shí)出潛在危險(xiǎn)，對(duì)于獨(dú)居老人來(lái)說(shuō)意義重大。這些服務(wù)能協(xié)助老年人或有特殊需要的人保持他們的生活獨(dú)立性，增強(qiáng)他們的個(gè)人舒適感和安全感，推遲他們搬到養(yǎng)老院的時(shí)間[4]。此外智能環(huán)境輔助生活、普適計(jì)算等領(lǐng)域中，日常生活活動(dòng)的自動(dòng)監(jiān)護(hù)和識(shí)別都是一個(gè)關(guān)鍵挑戰(zhàn)[5]。這都表明活動(dòng)識(shí)別研究成果對(duì)相關(guān)領(lǐng)域研究和應(yīng)用都有益處，對(duì)相關(guān)領(lǐng)域?qū)＜乙灿薪梃b之處。因此這就迫切需要研究一種新方法和新手段來(lái)解決低級(jí)傳感器數(shù)據(jù)和高級(jí)活動(dòng)識(shí)別概念之間的對(duì)應(yīng)關(guān)系問(wèn)題。在智能健康監(jiān)護(hù)和老年人護(hù)理等許多領(lǐng)域，基于多源多維傳感器數(shù)據(jù)的自動(dòng)活動(dòng)識(shí)別是非常重要的研究方向。

活動(dòng)識(shí)別最早研究可以追溯到上世紀(jì)90年代[6]。最近幾年，通過(guò)各種傳感器數(shù)據(jù)進(jìn)行識(shí)別簡(jiǎn)單活動(dòng)如休息、散步和跑步等的研究已經(jīng)取得了成功[7]。而復(fù)雜活動(dòng)涉及到簡(jiǎn)單活動(dòng)的組合，識(shí)別率仍然較低，復(fù)雜活動(dòng)研究仍然具有挑戰(zhàn)性[8]。本文首先給出了活動(dòng)識(shí)別的定義，其次給出了活動(dòng)識(shí)別系統(tǒng)組成，詳細(xì)介紹了傳感器數(shù)據(jù)采集，預(yù)處理和機(jī)器學(xué)習(xí)的研究現(xiàn)狀，并著重給出了活動(dòng)識(shí)別系統(tǒng)的訓(xùn)練和測(cè)試，最后指出了活動(dòng)識(shí)別的未來(lái)研究方向。

1 活動(dòng)識(shí)別定義

活動(dòng)識(shí)別系統(tǒng)需要預(yù)定義活動(dòng)類別，常見(jiàn)的活動(dòng)類別如表1所示。

基于預(yù)定義的活動(dòng)類別，活動(dòng)識(shí)別系統(tǒng)關(guān)注如何準(zhǔn)確檢測(cè)并識(shí)別人類活動(dòng)。因此活動(dòng)識(shí)別研究者應(yīng)該首先構(gòu)建高級(jí)活動(dòng)類別概念模型，然后通過(guò)構(gòu)建合適系統(tǒng)來(lái)實(shí)現(xiàn)模型。這使機(jī)器學(xué)習(xí)模型廣泛用

表1 目前活動(dòng)識(shí)別系統(tǒng)識(shí)別的活動(dòng)的類別

于活動(dòng)識(shí)別系統(tǒng)，為解決低級(jí)傳感器數(shù)據(jù)和高級(jí)活動(dòng)識(shí)別概念之間的對(duì)應(yīng)關(guān)系問(wèn)題提供了方案[9]。

活動(dòng)識(shí)別的機(jī)器學(xué)習(xí)模型定義如下：假設(shè)活動(dòng)類別定義為集合A={a0,…,aC-1}；m個(gè)活動(dòng)采集的等長(zhǎng)時(shí)間窗數(shù)據(jù)集合記為{W0, W1,…,Wm-1}，每個(gè)時(shí)間窗數(shù)據(jù)包括k個(gè)傳感器的一段時(shí)間的測(cè)量值；m個(gè)活動(dòng)對(duì)應(yīng)的類別記為{y0, y1,…, ym-1}， yi是A中的一個(gè)元素。活動(dòng)識(shí)別目的是基于上述訓(xùn)練數(shù)據(jù)找到數(shù)學(xué)模型f:Wi→A，使得f(Wi)和對(duì)應(yīng)的活動(dòng)類別yi盡可能相似。

2 活動(dòng)識(shí)別系統(tǒng)組成

任何活動(dòng)識(shí)別系統(tǒng)的設(shè)計(jì)都依賴于預(yù)定義的活動(dòng)類別，另外活動(dòng)識(shí)別系統(tǒng)還應(yīng)該包括3個(gè)模塊：傳感器模塊、預(yù)處理模塊和機(jī)器學(xué)習(xí)模塊。

2.1 活動(dòng)識(shí)別系統(tǒng)的傳感器模塊

傳感器模塊收集原始傳感器數(shù)據(jù)。活動(dòng)識(shí)別使用的傳感器類型可以分為嵌入式傳感器、穿戴式傳感器和智能手機(jī)傳感器。

視頻傳感器、音頻傳感器、磁感應(yīng)器、壓力傳感器、紅外傳感器、水中浮動(dòng)傳感器等都可以作為嵌入式傳感器用于智能家居，這尤其適用于老年人日常生活活動(dòng)識(shí)別和老年人健康監(jiān)護(hù)。嵌入式傳感器如照相機(jī)或攝像機(jī)等視頻傳感器因隱私程度低、配置復(fù)雜、成本高而飽受詬病。嵌入式傳感器數(shù)據(jù)特點(diǎn)是海量高維，樣本數(shù)和樣本維數(shù)都很大。其中視頻傳感器行為識(shí)別的文獻(xiàn)非常豐富，它已成為一個(gè)獨(dú)立的研究方向[10]。在嵌入式傳感器方面，Acampora 等綜述了家庭智能健康監(jiān)護(hù)的研究現(xiàn)狀，主要涉及的科學(xué)問(wèn)題包括活動(dòng)識(shí)別、行為模式挖掘、異常檢測(cè)、計(jì)劃調(diào)度、決策支持、匿名和隱私保護(hù)[3]。這說(shuō)明活動(dòng)識(shí)別是其中的關(guān)鍵挑戰(zhàn)。Chaquet等綜述了基于視頻傳感器的人類行為和活動(dòng)識(shí)別研究，并綜述了共享的視頻數(shù)據(jù)庫(kù)[10]。

加速度傳感器、陀螺儀、其它慣性傳感器、壓力傳感器、生命特征(包括脈搏、呼吸、體溫、血壓等數(shù)據(jù))傳感器等可以作為穿戴式傳感器。穿戴式傳感器具有使用方便、24小時(shí)監(jiān)控等特點(diǎn)，克服了視頻傳感器固定環(huán)境限制，此外穿戴式傳感器具有目標(biāo)對(duì)象的信息隱私性，克服了視頻傳感器可能包含非目標(biāo)對(duì)象的缺點(diǎn)。但是穿戴式傳感器的用戶粘性不夠。在穿戴式傳感器方面，Chavarriaga等綜述了穿戴式傳感器活動(dòng)識(shí)別數(shù)據(jù)庫(kù)，并共享了活動(dòng)識(shí)別“機(jī)會(huì)數(shù)據(jù)庫(kù)”[11]。Lara等綜述了基于穿戴傳感器的活動(dòng)識(shí)別研究[7]，并詳細(xì)給出了多種活動(dòng)識(shí)別系統(tǒng)的識(shí)別性能比較。Bulling等也綜述了基于穿戴傳感器的活動(dòng)識(shí)別研究[8]。

GPS(室外)傳感器、加速度傳感器、陀螺儀、其它慣性傳感器、生命特征傳感器等可以作為移動(dòng)智能手機(jī)傳感器。智能手機(jī)正在成為一個(gè)收集、理解和使用人類活動(dòng)信息的傳感器新平臺(tái)。這個(gè)平臺(tái)為移動(dòng)感知商業(yè)領(lǐng)域創(chuàng)造了無(wú)限可能性。智能手機(jī)傳感器用于活動(dòng)識(shí)別關(guān)鍵問(wèn)題是如何平衡電池能量、內(nèi)存存儲(chǔ)和計(jì)算資源的問(wèn)題。在智能手機(jī)傳感器方法，Incel 等綜述了基于移動(dòng)手機(jī)數(shù)據(jù)的活動(dòng)識(shí)別的研究現(xiàn)狀[12]?；谥悄苁謾C(jī)傳感器數(shù)據(jù)的活動(dòng)識(shí)別方面的研究處于萌芽階段，主要研究簡(jiǎn)單活動(dòng)識(shí)別問(wèn)題，方法采用時(shí)頻域特征和支持向量機(jī)等常用方法。

國(guó)內(nèi)在嵌入式傳感器方面，趙洋等提出了基于視頻RGB深度特征的3D活動(dòng)識(shí)別[13]。Lin等研究了一種新的基于網(wǎng)絡(luò)算法的視頻活動(dòng)識(shí)別。在穿戴式傳感器方面，Wang等基于穿戴式傳感器網(wǎng)絡(luò)提出了連續(xù)隱馬爾科夫模型的健康監(jiān)護(hù)和活動(dòng)識(shí)別系統(tǒng)[14]。李丹等研究了基于三軸加速度傳感器的日常體力活動(dòng)識(shí)別系統(tǒng)設(shè)計(jì)。國(guó)內(nèi)在智能手機(jī)傳感器方面，史元春等研究了基于旋轉(zhuǎn)模式的移動(dòng)設(shè)備佩戴位置識(shí)別方法[15]。

2.2 活動(dòng)識(shí)別系統(tǒng)的預(yù)處理模塊

預(yù)處理模塊功能是將原始傳感器數(shù)據(jù)轉(zhuǎn)換到有利于分類的特征向量?；顒?dòng)識(shí)別的預(yù)處理方法包括傳感器數(shù)據(jù)融合、特征表示、特征提取和特征選擇?；顒?dòng)識(shí)別系統(tǒng)的正確率強(qiáng)烈依賴于特征向量。因此提取的特征應(yīng)該對(duì)不同活動(dòng)差異明顯。特征可以采用低級(jí)概念表示如信號(hào)均值和方差等，也可以采用高級(jí)概念表示如從信號(hào)塔估計(jì)的用戶位置。以加速度傳感器數(shù)據(jù)為例，其數(shù)學(xué)計(jì)算的低級(jí)概念特征包括均值、標(biāo)準(zhǔn)偏差、方差、四分位差、平均絕對(duì)偏差、軸相關(guān)性、熵和峰度系數(shù)等時(shí)域特征，傅里葉變換和離散余弦變換系數(shù)等頻域特征、主成分分析、線性判別分析和自回歸模型系數(shù)等其它特征[16]。

Faouzi等研究了活動(dòng)識(shí)別的證據(jù)融合方法[17]。實(shí)驗(yàn)中構(gòu)造了智能家居嵌入式傳感器采集系統(tǒng)。Dempster-Shafer證據(jù)理論及其改進(jìn)方法是一種處理普適計(jì)算的不確定性和不完全性的有效工具。然而在處理高度沖突的活動(dòng)時(shí)，它們的融合規(guī)則產(chǎn)生了違反直覺(jué)的結(jié)果。作者提出了一個(gè)新的沖突證據(jù)融合方法，增加了活動(dòng)識(shí)別的效率和準(zhǔn)確性。作者在真實(shí)傳感器數(shù)據(jù)集上進(jìn)行了驗(yàn)證，活動(dòng)識(shí)別正確率達(dá)到78%，結(jié)果優(yōu)于現(xiàn)有的數(shù)據(jù)融合規(guī)則。

Nam等提出了一種合作融合模型用于孩子活動(dòng)識(shí)別，用以防止兒童意外傷害等事故[18]。實(shí)驗(yàn)中選擇了一些年齡在16至29個(gè)月之間的男孩或女孩，并在孩子身體的腰部佩戴了三軸加速度傳感器和壓力傳感器。孩子活動(dòng)分為11類日?；顒?dòng)，包括扭動(dòng)、翻滾、站著不動(dòng)、站起來(lái)、坐下來(lái)、走路、蹣跚學(xué)步、爬行、爬上、爬下、停止。為了識(shí)別孩子活動(dòng)，基于滑動(dòng)窗技術(shù)，計(jì)算了信號(hào)的時(shí)域均值、標(biāo)準(zhǔn)差和斜率等特征，基于快速傅里葉變換計(jì)算了信號(hào)的頻域特性，還計(jì)算了信號(hào)的能量和自相關(guān)特征。將這些特征融合并送入支持向量機(jī)分類器，平均活動(dòng)識(shí)別正確率為98.43%。

2.3 活動(dòng)識(shí)別系統(tǒng)的機(jī)器學(xué)習(xí)模塊

機(jī)器學(xué)習(xí)模塊是指將特征向量和背景知識(shí)進(jìn)行數(shù)學(xué)建模，并識(shí)別用戶活動(dòng)，例如站、坐、走、躺或開(kāi)車等。機(jī)器學(xué)習(xí)模塊是活動(dòng)識(shí)別系統(tǒng)的核心，它包括訓(xùn)練和測(cè)試兩個(gè)過(guò)程，測(cè)試也稱為評(píng)估。圖1闡明了涉及這個(gè)兩個(gè)過(guò)程的常見(jiàn)步驟。訓(xùn)練過(guò)程首先需要搜集時(shí)間序列數(shù)據(jù)集，它是從完成每個(gè)活動(dòng)的對(duì)象采集的傳感器測(cè)量屬性值所組成的，包括位置數(shù)據(jù)、加速信號(hào)、生理信號(hào)和環(huán)境信號(hào)等。然后對(duì)數(shù)據(jù)進(jìn)行特征提取包括結(jié)構(gòu)特征和統(tǒng)計(jì)特征等，即這些時(shí)間序列被劃分為時(shí)間窗，在每個(gè)時(shí)間窗內(nèi)進(jìn)行特征提取以便過(guò)濾原始信號(hào)中的相關(guān)信息，并定義比較特征的測(cè)度。接著基于提取的特征數(shù)據(jù)集利用學(xué)習(xí)方法產(chǎn)生活動(dòng)識(shí)別模型。測(cè)試過(guò)程也是首先搜集數(shù)據(jù)，然后計(jì)算時(shí)間窗采集數(shù)據(jù)的特征向量或特征集合，接著將其送入以前訓(xùn)練好的學(xué)習(xí)模型中進(jìn)行評(píng)估，識(shí)別時(shí)間窗對(duì)應(yīng)的活動(dòng)。

圖1 活動(dòng)識(shí)別系統(tǒng)的訓(xùn)練和測(cè)試示意圖

機(jī)器學(xué)習(xí)方法一般可分為生成式模型和判別式模型。生成式模型指定特征的聯(lián)合概率密度和被推理的活動(dòng)類別，然后使用貝葉斯規(guī)則計(jì)算條件分布對(duì)數(shù)據(jù)進(jìn)行建模，模型參數(shù)通過(guò)訓(xùn)練數(shù)據(jù)的最大似然函數(shù)估計(jì)得到，最后給定特征的新樣本被分類到最大可能的類別中。生成式模型雖然需要更多訓(xùn)練數(shù)據(jù)，但是它能返回模型值，能提供對(duì)基本過(guò)程更好的理解。判別式模型僅僅提供了關(guān)于特征的活動(dòng)模型，它通過(guò)指定條件概率分布或決策邊界進(jìn)行建模。

機(jī)器學(xué)習(xí)方法從學(xué)習(xí)角度還可以分為三種：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。大部分活動(dòng)識(shí)別采用了監(jiān)督學(xué)習(xí)模型。當(dāng)數(shù)據(jù)收集時(shí)，每個(gè)訓(xùn)練樣本的標(biāo)簽都被標(biāo)記為用戶真實(shí)的活動(dòng)。傳感器模塊和其他輸入收集的訓(xùn)練樣本首先被轉(zhuǎn)換為特征向量，然后訓(xùn)練監(jiān)督學(xué)習(xí)模型，最后測(cè)試階段推斷新出現(xiàn)的測(cè)試樣本的類別。但是標(biāo)記樣本類別是主觀的耗時(shí)的，甚至?xí)霈F(xiàn)錯(cuò)誤。顯然未標(biāo)記樣本比標(biāo)記樣本更容易獲得，因此可采用半監(jiān)督學(xué)習(xí)模型即同時(shí)利用標(biāo)記樣本和未標(biāo)記樣本進(jìn)行建模來(lái)識(shí)別活動(dòng)模式。非監(jiān)督學(xué)習(xí)目的是使用戶從標(biāo)記樣本的負(fù)擔(dān)重中完全解放出來(lái)，實(shí)現(xiàn)沒(méi)有標(biāo)記樣本和利用標(biāo)記樣本訓(xùn)練識(shí)別算法的過(guò)程。通過(guò)某些距離度量和準(zhǔn)則聚類樣本，非監(jiān)督學(xué)習(xí)模型自動(dòng)識(shí)別活動(dòng)模式。聚類數(shù)目、距離度量、相似性準(zhǔn)則是非監(jiān)督學(xué)習(xí)的困難問(wèn)題。

活動(dòng)識(shí)別系統(tǒng)的評(píng)估方法主要包括在線活動(dòng)識(shí)別、離線監(jiān)督活動(dòng)識(shí)別和半監(jiān)督活動(dòng)識(shí)別等。評(píng)估指標(biāo)包括特異性、敏感性、正確率、F測(cè)度、ROC曲線下面積和Kappa系數(shù)等。

監(jiān)督學(xué)習(xí)模型在活動(dòng)識(shí)別領(lǐng)域應(yīng)用很廣泛[9]。

Zhang等在IEEE PAMI(模式分析與機(jī)器智能)中提出了基于間隔時(shí)域貝葉斯網(wǎng)絡(luò)的時(shí)域交互模型用于復(fù)雜活動(dòng)識(shí)別[19]。復(fù)雜活動(dòng)通常是由在一段時(shí)間內(nèi)并行或連續(xù)發(fā)生的簡(jiǎn)單活動(dòng)組成。理解復(fù)雜活動(dòng)不僅需要識(shí)別出每個(gè)簡(jiǎn)單活動(dòng)，而且更需要捕捉它們?cè)诓煌臅r(shí)間間隔的時(shí)空依賴性。大多數(shù)圖模型方法都有幾個(gè)局限性。首先隱馬爾可夫模型(HMMs)和動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)只能捕獲三種時(shí)間關(guān)系：當(dāng)時(shí)之前的，當(dāng)時(shí)之后的和當(dāng)時(shí)。第二，HMMs是概率有限狀態(tài)機(jī)，狀態(tài)會(huì)隨著平行活動(dòng)數(shù)量的增加呈指數(shù)級(jí)增加。第三，基于句法和描述的方法，盡管其富有時(shí)間關(guān)系建模的能力，但是沒(méi)有表達(dá)不確定性的能力。為解決這些問(wèn)題，作者提出了一種新的圖模型：間隔時(shí)域貝葉斯網(wǎng)絡(luò)(ITBN) ，并提出了模型結(jié)構(gòu)和參數(shù)的學(xué)習(xí)算法。該模型結(jié)合了貝葉斯網(wǎng)絡(luò)與區(qū)間代數(shù)，給出了復(fù)雜活動(dòng)隨著時(shí)間間隔變化的時(shí)間依賴關(guān)系。實(shí)驗(yàn)結(jié)果表明，提出的模型用于并行和連續(xù)等復(fù)雜活動(dòng)，分類性能顯著提高。

Avci等基于遠(yuǎn)程依賴關(guān)系，提出了通過(guò)分段模式迭代挖掘方法提高活動(dòng)識(shí)別效果[20]。當(dāng)前活動(dòng)識(shí)別算法存在的一個(gè)主要問(wèn)題是將傳感器數(shù)據(jù)的遠(yuǎn)程依賴關(guān)系進(jìn)行融合很困難。作者基于序列模式挖掘提出了新的遠(yuǎn)程交互方法。新方法的基本原理是數(shù)據(jù)的遠(yuǎn)程依賴可以跨度不相同的活動(dòng)時(shí)間段，通過(guò)模式匹配覆蓋活動(dòng)時(shí)間段，并進(jìn)行概率模型的學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明帶有挖掘模式的傳感器數(shù)據(jù)表示方法能夠明顯改善連續(xù)活動(dòng)識(shí)別算法的結(jié)果。

為保證良好分類性能，監(jiān)督學(xué)習(xí)模型需要事先標(biāo)記大量訓(xùn)練樣本的類別，但是實(shí)際中類別信息難于收集，即使標(biāo)記也昂貴、耗時(shí)。而未標(biāo)記樣本顯然比標(biāo)記樣本更容易獲得，因此活動(dòng)識(shí)別更需要依賴于半監(jiān)督和非監(jiān)督學(xué)習(xí)模型和方法。

Lee等提出了同時(shí)處理未標(biāo)記和標(biāo)記樣本的混合專家模型用于活動(dòng)識(shí)別系統(tǒng)[21]。一方面，能同時(shí)處理未標(biāo)記和標(biāo)記樣本的半監(jiān)督學(xué)習(xí)模型顯得很重要。另一方面，考慮復(fù)雜活動(dòng)和不完整傳感器數(shù)據(jù)，多分類器系統(tǒng)應(yīng)該優(yōu)于單分類器系統(tǒng)的識(shí)別性能。因此作者提出了一種混合專家模型用于半監(jiān)督學(xué)習(xí)。

Trabelsi等提出了基于隱馬爾科夫模型回歸的非監(jiān)督自動(dòng)活動(dòng)識(shí)別方法[22]。利用慣性傳感器測(cè)量的原始加速度數(shù)據(jù)，作者采用了非監(jiān)督學(xué)習(xí)模型識(shí)別人類活動(dòng)。該模型使用多元回歸隱馬爾科夫模型。當(dāng)沒(méi)有活動(dòng)標(biāo)簽時(shí)，該模型使用期望最大化(EM)算法進(jìn)行非監(jiān)督學(xué)習(xí)。實(shí)驗(yàn)結(jié)果證明新方法的效率優(yōu)于標(biāo)準(zhǔn)的監(jiān)督和非監(jiān)督分類方法。

Bhattacharya等研究了在稀疏編碼框架下利用未標(biāo)記樣本的活動(dòng)識(shí)別方法[23]。作者提出了一個(gè)稀疏編碼框架用于活動(dòng)識(shí)別，首先給出了傳感器數(shù)據(jù)的一個(gè)緊湊、稀疏和有意義的特征表示，它不依賴于專家知識(shí)，具有跨域泛化性能非常好的優(yōu)點(diǎn)。基于自學(xué)學(xué)習(xí)范式，自動(dòng)獲得無(wú)標(biāo)記數(shù)據(jù)的一組過(guò)完備基矢量，這樣無(wú)標(biāo)記數(shù)據(jù)就能捕獲活動(dòng)數(shù)據(jù)中呈現(xiàn)的固有模式。通過(guò)將原始傳感器數(shù)據(jù)投影到這種過(guò)完備基矢量張成的特征空間，就提取到了有效的特征?；谶@些學(xué)習(xí)到的特征表示，后端分類器僅使用少量的標(biāo)記訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練即可。其次利用無(wú)標(biāo)記樣本數(shù)據(jù)有效自舉活動(dòng)識(shí)別，大大降低了為模型估計(jì)所需的基本標(biāo)注。實(shí)驗(yàn)中使用了識(shí)別任務(wù)和傳感器類型都不同的兩個(gè)數(shù)據(jù)集，一個(gè)是移動(dòng)電話上的交通模式識(shí)別任務(wù)，另一個(gè)是眾所周知的“機(jī)會(huì)數(shù)據(jù)庫(kù)”。實(shí)驗(yàn)結(jié)果表明稀疏編碼框架明顯優(yōu)于目前的監(jiān)督學(xué)習(xí)模型。作者自稱新方法具有跨域和跨傳感器的泛化能力，有極大的實(shí)用潛力。

3 活動(dòng)識(shí)別研究的新方向

盡管活動(dòng)識(shí)別研究如此豐富，但是實(shí)際生活中活動(dòng)識(shí)別系統(tǒng)的應(yīng)用還很不普及，原因是活動(dòng)識(shí)別還存在一些關(guān)鍵挑戰(zhàn)問(wèn)題：(1)老年人活動(dòng)識(shí)別對(duì)于健康監(jiān)護(hù)具有重要意義，但是老年人的活動(dòng)變形嚴(yán)重，可識(shí)別性較差，老年人活動(dòng)識(shí)別系統(tǒng)還有很多挑戰(zhàn)性的工作；(2)現(xiàn)有活動(dòng)識(shí)別研究主要關(guān)心的是精確識(shí)別感興趣的單用戶連續(xù)活動(dòng)或預(yù)分割好的傳感器活動(dòng)，然而現(xiàn)實(shí)世界環(huán)境中往往包含多個(gè)用戶，每個(gè)用戶都用自己的方式，沒(méi)有明確的指示來(lái)完成自己的活動(dòng)，識(shí)別多用戶并行活動(dòng)是很有挑戰(zhàn)性的工作；(3)一個(gè)人完成活動(dòng)的方式是隨時(shí)間變化的，例如時(shí)間長(zhǎng)短變化的活動(dòng)、復(fù)合活動(dòng)(如打球)、并行活動(dòng)和重疊活動(dòng)等復(fù)雜活動(dòng)，目前常用的靜態(tài)模型仍然難以實(shí)現(xiàn)實(shí)時(shí)連續(xù)活動(dòng)識(shí)別。因此越來(lái)越多需要建立動(dòng)態(tài)模型來(lái)識(shí)別這種隨時(shí)間變化的人類活動(dòng)。

3.1 老年人活動(dòng)識(shí)別研究

為了幫助老年人保持健康、安全而獨(dú)立的生活，輔助生活系統(tǒng)可以幫助具有日?；顒?dòng)能力的老年人。對(duì)老年人輔助而言，日?；顒?dòng)的自動(dòng)監(jiān)護(hù)和識(shí)別是環(huán)境輔助生活中的一個(gè)關(guān)鍵挑戰(zhàn)。因此需要提供一個(gè)模型來(lái)建立傳感器數(shù)據(jù)和活動(dòng)類別間的聯(lián)系。目前小型、廉價(jià)和低功耗的傳感器可用于輔助生活，它能根據(jù)用戶當(dāng)前的環(huán)境和情況提供響應(yīng)服務(wù)。

Chernbumroong等研究了活動(dòng)識(shí)別系統(tǒng)在老年人輔助生活中的應(yīng)用[24]。使用小型、低成本、非侵入性、非強(qiáng)制的手腕佩戴傳感器，作者提出了一種檢測(cè)老年人日常生活活動(dòng)(ADLs)的活動(dòng)識(shí)別方法，實(shí)驗(yàn)結(jié)果表明該方法可以獲得了較高的分類率(> 90%)，統(tǒng)計(jì)假設(shè)檢驗(yàn)也支持這么高的分類結(jié)果。同時(shí)作者證明溫度傳感器、數(shù)據(jù)測(cè)高傳感器和加速度傳感器的數(shù)據(jù)融合，可以明顯提高分類精度。

Magherini等研究了基于時(shí)域邏輯和模型檢測(cè)的自動(dòng)識(shí)別人類活動(dòng)的方法，并用于周圍環(huán)境輔助生活或居家生活協(xié)助[25]。作者提出了時(shí)序邏輯和模型檢測(cè)來(lái)實(shí)時(shí)自動(dòng)識(shí)別智能廚房中老年人完成的不同類型ADLs，實(shí)驗(yàn)結(jié)果證明了方法的有效性和可行性。

Khan等研究了基于R變換和核判別分析的分層異?；顒?dòng)識(shí)別系統(tǒng)并用于老年人健康監(jiān)護(hù)[26]。分層系統(tǒng)的第一級(jí)識(shí)別活動(dòng)組，第二級(jí)從上一級(jí)的活動(dòng)組中識(shí)別具體的活動(dòng)。這種分層方法有助于提高識(shí)別率，尤其對(duì)于高度相似的活動(dòng)。實(shí)驗(yàn)包括6個(gè)異?；顒?dòng)：向后跌倒、向前跌倒、胸痛、頭痛、嘔吐、昏厥和正?；顒?dòng)步行，結(jié)果達(dá)到平均97.1%的識(shí)別率。

3.2 多人活動(dòng)識(shí)別研究

從傳感器數(shù)據(jù)中識(shí)別多人活動(dòng)是普適計(jì)算重要和富有挑戰(zhàn)性的研究課題。目前活動(dòng)識(shí)別主要關(guān)心的是精確識(shí)別單用戶連續(xù)活動(dòng)或預(yù)分割的離散活動(dòng)，然而現(xiàn)實(shí)世界環(huán)境中往往包含多個(gè)用戶，同時(shí)每個(gè)用戶用自己的方式，沒(méi)有明確的指示進(jìn)行活動(dòng)，識(shí)別用戶的并行活動(dòng)是很有挑戰(zhàn)性的工作。此外，集體活動(dòng)是由多個(gè)人員完成的活動(dòng)，如排隊(duì)、一起說(shuō)話和一起等在一個(gè)十字路口，通常很難從這些活動(dòng)中分割出只允許一個(gè)人出現(xiàn)的活動(dòng)。

Kaneko等提出了一個(gè)用于視頻圖像中集體活動(dòng)識(shí)別的新的全連接模型[27]。作者指出最近研究提出的模型能夠利用附近的其他人的上下文信息，然而這些模型沒(méi)有充分考慮一組人群的時(shí)空一致性(如僅考慮鄰近區(qū)域的一致性)，因此它們無(wú)法有效處理臨時(shí)錯(cuò)誤分類。作者提出的全連接模型能很好地識(shí)別集體活動(dòng)。

Ye等提出了一種用于并行活動(dòng)識(shí)別的知識(shí)驅(qū)動(dòng)方法[28]?；谝荒晔占拇笠?guī)?，F(xiàn)實(shí)世界的傳感器數(shù)據(jù)集，包括280萬(wàn)個(gè)樣本，作者提出了一種用于識(shí)別并行活動(dòng)的新的知識(shí)方法，識(shí)別正確率達(dá)91%。

3.3 實(shí)時(shí)活動(dòng)識(shí)別研究

實(shí)時(shí)活動(dòng)識(shí)別，也稱為在線活動(dòng)識(shí)別或連續(xù)活動(dòng)識(shí)別。由于普適計(jì)算、移動(dòng)計(jì)算、智能環(huán)境和環(huán)境輔助生活的發(fā)展，導(dǎo)致了無(wú)線網(wǎng)絡(luò)和非入侵性傳感器的發(fā)展，它們都能捕捉用戶的活動(dòng)信息，使得活動(dòng)識(shí)別系統(tǒng)和算法取得了實(shí)質(zhì)性的進(jìn)展。但是活動(dòng)識(shí)別方法大都在和活動(dòng)相關(guān)的預(yù)分割好的傳感器活動(dòng)序列上進(jìn)行分析，它仍然難以實(shí)現(xiàn)實(shí)時(shí)活動(dòng)識(shí)別。

Krishnan等研究了基于滑動(dòng)窗方法的實(shí)時(shí)或流數(shù)據(jù)的活動(dòng)識(shí)別[29]，而且提出并評(píng)估了一種用來(lái)以在線或流方式完成活動(dòng)識(shí)別的滑動(dòng)窗方法。考慮到不同活動(dòng)應(yīng)該占用不同的傳感器時(shí)間窗長(zhǎng)度，作者提出將時(shí)間延遲和傳感器數(shù)據(jù)的互信息權(quán)重整合在一個(gè)時(shí)間窗內(nèi)。以前活動(dòng)和以前時(shí)間窗信息作為額外特征添加到當(dāng)前傳感器時(shí)間窗的特征中，當(dāng)傳感器的新數(shù)據(jù)被采集后就能識(shí)別出相應(yīng)的活動(dòng)。實(shí)驗(yàn)結(jié)果證明了作者的想法。

Okeyo等研究了知識(shí)驅(qū)動(dòng)的實(shí)時(shí)活動(dòng)識(shí)別中動(dòng)態(tài)傳感器數(shù)據(jù)分割問(wèn)題，提出了可變時(shí)間窗的概念[30]，而且基于不同時(shí)間窗概念的動(dòng)態(tài)分割模型，提出了一種實(shí)時(shí)分割連續(xù)活動(dòng)傳感器數(shù)據(jù)的新方式，該方式不但使用傳感器數(shù)據(jù)和活動(dòng)狀態(tài)的時(shí)間信息，還能夠能夠縮小和擴(kuò)大時(shí)間窗。

Tasoulis等研究了基于傳感器流數(shù)據(jù)挖掘?qū)崟r(shí)運(yùn)動(dòng)識(shí)別的統(tǒng)計(jì)數(shù)據(jù)的方法，該方法可用于輔助環(huán)境中的活動(dòng)識(shí)別和跌倒識(shí)別[31]。在進(jìn)行獨(dú)立生活在家中的老年人或殘疾人的活動(dòng)識(shí)別或緊急事件檢測(cè)上，研究者常常對(duì)人體運(yùn)動(dòng)數(shù)據(jù)分析感興趣?；谟脩舻倪\(yùn)動(dòng)、音頻和視頻傳感器以及可穿戴傳感器和安裝在周圍環(huán)境中的設(shè)備，研究者提出了一些用來(lái)識(shí)別這種窘迫情況的方法。作者構(gòu)建了一個(gè)活動(dòng)檢測(cè)系統(tǒng)，它可以檢測(cè)跌倒和傷害等緊急情況。作者使用頂置相機(jī)從用戶環(huán)境中捕捉視頻數(shù)據(jù)，使用加速度傳感器從用戶搜集運(yùn)動(dòng)數(shù)據(jù)，并傳遞給活動(dòng)檢測(cè)系統(tǒng)。由于這些傳感器的輸出是數(shù)據(jù)流，這樣在緊急情況下就需要實(shí)時(shí)識(shí)別。作者提出了一種基于統(tǒng)計(jì)的數(shù)據(jù)挖掘方法，并用于真實(shí)活動(dòng)的流數(shù)據(jù)處理。

4 活動(dòng)識(shí)別實(shí)驗(yàn)

Anguita等采集智能手機(jī)傳感器數(shù)據(jù)，利用硬件友好的多類支持向量機(jī)方法進(jìn)行日常生活活動(dòng)識(shí)別[32]。這對(duì)失能或老年人的日?；顒?dòng)監(jiān)護(hù)具有重要意義。日?；顒?dòng)數(shù)據(jù)集可以從UCI網(wǎng)站下載，數(shù)據(jù)集實(shí)驗(yàn)結(jié)果采自30個(gè)19到48歲的志愿者，每人進(jìn)行6次實(shí)驗(yàn)。所有人在執(zhí)行活動(dòng)之前都要將智能手機(jī)放在腰部。為了方便進(jìn)行數(shù)據(jù)標(biāo)簽，實(shí)驗(yàn)進(jìn)行了視頻錄制。實(shí)驗(yàn)采用三星Galaxy S2手機(jī)作為終端，因?yàn)閮?nèi)置了用于測(cè)量3維線性加速度和角速度的加速度計(jì)和陀螺儀，其采樣頻率為50Hz，這對(duì)于捕捉人體運(yùn)動(dòng)十分有效。作者采用了上樓和下樓兩個(gè)活動(dòng)類，其訓(xùn)練集分別為986個(gè)樣本和1073個(gè)樣本，測(cè)試集分別為420個(gè)樣本和471個(gè)樣本，變量維數(shù)都是561，由采集傳感器信號(hào)的時(shí)域和頻域特征組成。常用機(jī)器學(xué)習(xí)模型的實(shí)驗(yàn)結(jié)果見(jiàn)表2。從表2中看出，考慮了變量選擇和變量交互的分層交互Lasso分類結(jié)果最好，訓(xùn)練時(shí)間和測(cè)試時(shí)間都較少。

5 結(jié) 論

本文綜述了智能健康監(jiān)護(hù)和普適計(jì)算中的活動(dòng)識(shí)別的研究現(xiàn)狀。從活動(dòng)定義、傳感器模型、預(yù)處理模型到機(jī)器學(xué)習(xí)模型都給出了詳細(xì)的論述，尤其詳細(xì)給出了活動(dòng)識(shí)別研究現(xiàn)狀，重點(diǎn)給出了傳感器、預(yù)處理和機(jī)器學(xué)習(xí)的研究現(xiàn)狀，最后給出了老年人活動(dòng)識(shí)別、多人活動(dòng)識(shí)別和實(shí)時(shí)活動(dòng)識(shí)別等難點(diǎn)問(wèn)題。 活動(dòng)識(shí)別現(xiàn)在被認(rèn)為是一個(gè)獨(dú)立的研究方向，但仍有許多關(guān)鍵挑戰(zhàn)問(wèn)題需要解決，如果解決了將在人們與移動(dòng)設(shè)備交互的方式上產(chǎn)生重大轉(zhuǎn)變，將在老年人健康監(jiān)護(hù)的投入方面減輕巨大的社會(huì)和經(jīng)濟(jì)負(fù)擔(dān)。

表2 人類活動(dòng)識(shí)別的實(shí)驗(yàn)結(jié)果

[1] Kim E, Helall S, Cook D. Human activity recognition and pattern discovery.IEEEPervasiveComputing, 2010, 9(1): 48-53

[2] Yurur O, Liu C, Moreno W. A survey of context-aware middleware designs for human activity recognition.IEEECommunicationsMagazine, 2014, 52(6):24-31

[3] Acampora G, Cook D J, Rashidi P, et al. A survey on ambient intelligence in healthcare.ProceedingsoftheIEEE, 2013, 101(12): 2470-2494

[4] Rashidi P, Mihailidis A. A survey on ambient-assisted living tools for older adults.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(3): 579-590

[5] Roggen D, Troster G, Lukowicz P, et al. Opportunistic human activity and context recognition.Computer, 2013, 46(2): 36-45

[6] Foerster F, Smeja M, Fahrenberg J. Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.ComputersinHumanBehavior, 1999, 15(5): 571-583

[7] Lara O D, Labrador M A. A survey on human activity recognition using wearable sensors.IEEECommunicationsSurveys&Tutorials, 2013, 15(3): 1192-1209

[8] Bulling A, Blanke U, Schiele B. A tutorial on human activity recognition using body-worn inertial sensors.ACMComputingSurveys, 2014, 46(3): 1-33

[9] Dalton A, OLaighin G. Comparing supervised learning techniques on the task of physical activity recognition.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(1): 46-52

[10] Chaquet J M, Carmona E J, Antonio F M. A survey of video datasets for human action and activity recognition.ComputerVisionandImageUnderstanding, 2013, 117(6): 633-659

[11] Chavarriaga R, Sagha H, Calatroni A, et al. The opportunity challenge: A benchmark database for on-body sensor-based activity recognition.PatternRecognitionLetters, 2013, 34(15): 2033-2042

[12] Incel O D, Kose M, Ersoy C. A review and taxonomy of activity recognition on mobile phones.BioNanoScience, 2013,3(2): 145-171

[13] 趙洋, Liu Z C, 程洪. 基于RGB深度特征的3D人體活動(dòng)識(shí)別(英文). 中國(guó)通信,2013,10(7): 93-103

[14] Wang Z, Zhao C, Qiu S. A system of human vital signs monitoring and activity recognition based on body sensor network.SensorReview, 2014, 34(1): 42-50

[15] 時(shí)岳, 喻純, 史元春. 基于旋轉(zhuǎn)模式的移動(dòng)設(shè)備佩戴位置識(shí)別方法. 軟件學(xué)報(bào), 2013,24(8): 1898-1908

[16] Fang H Q, Chen L, Srinivasan R. Influence of time and length size feature selections for human activity sequences recognition.ISATransactions, 2014, 53(1): 134-140

[17] Faouzi S, Abdelghani C, Yacine A. An evidential fusion approach for activity recognition in ambient intelligence environments.RoboticsandAutonomousSystems, 2013, 61(11): 1235-1245

[18] Nam Y Y, Jung W P. Child activity recognition based on cooperative fusion model of a triaxial accelerometer and a barometric pressure sensor.IEEEJournalofBiomedicalandHealthInformatics, 2013, 17(2): 420-426

[19] Zhang Y M, Zhang Y F, Swears E. Modeling temporal interactions with interval temporal bayesian networks for complex activity recognition.IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013, 35(10): 2468- 2483

[20] Avci U, Passerini A. Improving activity recognition by segmental pattern mining.IEEETransactionsonKnowledgeandDataEngineering, 2014, 26(4): 889-902

[21] Lee Y S, Cho S B. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data.Neurocomputing, 2014, 126(1): 106-115

[22] Trabelsi D, Mohammed S, Chamroukhi F, et al. An unsupervised approach for automatic activity recognition based on hidden Markov model regression.IEEETransactionsonAutomationScienceandEngineering, 2013, 10(3): 829-835

[23] Bhattacharya S, Nurmi P, Hammerla N, et al. Using unlabeled data in a sparse-coding framework for human activity recognition.PervasiveandMobileComputing, 2014, 15(1): 242-262

[24] Chernbumroong S, Cang S, Atkins A, et al. Elderly activities recognition and classification for applications in assisted living.ExpertSystemswithApplications, 2013, 40(5): 1662-1674

[25] Magherini T, Fantechi A, Nugent C D, et al. Using temporal logic and model checking in automated recognition of human activities for ambient-assisted living.IEEETransactionsonHuman-MachineSystems, 2013, 43(6): 509-521

[26] Khan Z A, Sohn W. A hierarchical abnormal human activity recognition system based on R-transform and kernel discriminant analysis for elderly health care.Computing, 2013, 95(2): 109-127

[27] Kaneko T, Shimosaka M, Odashima S, et al. A fully connected model for consistent collective activity recognition in videos.PatternRecognitionLetters, 2014, 43(1): 109-118

[28] Ye J, Stevenson G, Dobson S. KCAR: A knowledge-driven approach for concurrent activity recognition.PervasiveandMobileComputing, 2014, 19(1): 47-70

[29] Krishnan N C, Cook D J. Activity recognition on streaming sensor data.PervasiveandMobileComputing, 2014, 10(2): 138-154

[30] Okeyo G, Chen L M, Wang H. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition.PervasiveandMobileComputing, 2014, 10(2): 155-172

[31] Tasoulis S K, Doukas C N, Plagianakos V P, et al. Statistical data mining of streaming motion data for activity and fall recognition in assistive environments.Neurocomputing, 2013, 107 (1): 87-96

[32] Anguita D, Ghio A, Oneto L, et al. Human activity recognition on smartphones using a multiclass hardware-friendly support vector machine. In: Proceedings of the International Workshop of Ambient Assisted Living (IWAAL 2012), Vitoria-Gasteiz, Spain, 2012. 216-223

Review of human activity recognition using sensor data

Wang Jinjia*， Kong Deming**， Liu Jianbo***, Wang Xiaomin***， Hong Wenxue*****

(*School of Information Science and Engineer, Yanshan University, Qinhuangdao 066004) (**Institute of Electrical Engineering, Yanshan University, Qinhuangdao 066004) (***Northeastern University at Qinhuangdao, Qinhuangdao 066004)

The definition of activity recognition is given, and the significallce of activity recognition to intelligent healthcare and elderly healthcare is interpreted. The main parts of an activity recognition system based on sensors are described, and the corresponding techniques of sensor data sampling, data preprocessing and machine learning, as well as their developments, are reviewed in detail. The review points out that elderly activity recognition, collective activity recognition and real-time activity recognition are the possible directions of future activity recognition research, the research on activity recognition is an important and challenging research topic in pervasive computing, and building reliable activity recognition systems to deal with complex real-life situations and environments is still a challenge, which requires a multi-disciplinary effort.

activity recognition, intelligent healthcare, multi-sensor, data fusion, mobile sensing

10.3772/j.issn.1002-0470.2016.02.013

①國(guó)家自然科學(xué)基金(61273019， 61473339)，河北自然科學(xué)基金(F2013203368， F2014501046)，中國(guó)博士后科學(xué)基金(2014M561202)，河北省博士后專項(xiàng)(B2014010005)和首批“河北省青年拔尖人才”(2013-17)資助項(xiàng)目。

2015-07-10)

②男，1978年生，博士，教授；研究方向：傳感器信號(hào)處理和模式識(shí)別；聯(lián)系人，E-mail: wjj@ysu.edu.cn