基于Dirichlet多項(xiàng)式混合模型的復(fù)雜人體行為識(shí)別

蘇春芳 傅立成 李梃穎 簡(jiǎn)易緯

1(江陰職業(yè)技術(shù)學(xué)院 江蘇 江陰 214405)2(臺(tái)灣大學(xué) 臺(tái)灣 臺(tái)北 10617)

0 引 言

隨著人民生活水平的提高和醫(yī)療技術(shù)的高度發(fā)展，人的壽命得到了延長(zhǎng)，同時(shí)也加劇了人口老齡化的步伐。中國(guó)國(guó)家統(tǒng)計(jì)局的統(tǒng)計(jì)數(shù)據(jù)顯示，在未來的一段時(shí)間內(nèi)，老年人口比重將持續(xù)上升，人口老齡化程度將繼續(xù)加深。2018年末60歲及以上人口為24 949萬人，占總?cè)丝诘?7.9%，與2017年末數(shù)據(jù)相比，比重上升了0.6個(gè)百分點(diǎn)；65歲及以上人口為16 658萬人，所占比例為11.9%，比重上升0.5個(gè)百分點(diǎn)[1]。隨之而來的問題是如何給予老人合理、健康的照顧，因此在非臨床環(huán)境下具有行為辨識(shí)功能的輔助照顧系統(tǒng)成為當(dāng)前研究的熱點(diǎn)。近年來主流的行為辯識(shí)技術(shù)主要分為兩大類，一類是基于圖像的行為識(shí)別技術(shù)，文獻(xiàn)[2]應(yīng)用深度學(xué)習(xí)算法對(duì)圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)，建立一種基于深度學(xué)習(xí)算法的行為識(shí)別模型，該模型能夠識(shí)別12類行為，準(zhǔn)確率達(dá)到81.8% ；文獻(xiàn)[3]通過提取視頻流的時(shí)空軌跡特征，提出一種分層的、用于識(shí)別復(fù)雜行為動(dòng)作的模型。另一類是基于機(jī)器視覺的行為識(shí)別技術(shù)，它雖然可以對(duì)日常行為進(jìn)行識(shí)別，但是為了保護(hù)使用者的隱私，一種非侵入式的、基于傳感器的行為識(shí)別技術(shù)應(yīng)運(yùn)而生。隨著IoT(Internet of Things)技術(shù)的進(jìn)步，很容易收集到來自傳感器的日常行為數(shù)據(jù)，通過對(duì)來自可穿戴式設(shè)備的數(shù)據(jù)的分析，文獻(xiàn)[4]能夠?qū)θ粘＜覄?wù)勞動(dòng)中的行為進(jìn)行識(shí)別，文獻(xiàn)[5]成功地對(duì)室內(nèi)、室外9種日常行為進(jìn)行識(shí)別。鑒于對(duì)使用者隱私的保護(hù)，基于可穿戴式設(shè)備的行為識(shí)別技術(shù)越來越受到人們的歡迎。目前采集的傳感器數(shù)據(jù)主要包括加速度、角速度等，表征的是身體特定部位(如腰、手腕、 腳踝、髖部)的運(yùn)動(dòng)特征，通過對(duì)這些數(shù)據(jù)進(jìn)行特征抽取，對(duì)日常行為進(jìn)行特征描述，進(jìn)而達(dá)到對(duì)日常行為的識(shí)別。在上述研究中，一個(gè)不可忽視的問題是樣本集的質(zhì)量，需關(guān)注樣本集能否準(zhǔn)確地對(duì)日常生活中的行為動(dòng)作進(jìn)行描述。正是由于樣本集對(duì)復(fù)雜的日常行為的描述不夠充分，目前大部分的研究多集中在對(duì)簡(jiǎn)單的日常行為(如坐、跑、走、躺)進(jìn)行識(shí)別。對(duì)于復(fù)雜的日常行為的識(shí)別，文獻(xiàn)[6]通過將走路、打開藥瓶、打開水杯3種日常行為分解為抬起胳膊、手掌向上、走路等7個(gè)簡(jiǎn)單的動(dòng)作，進(jìn)而將對(duì)復(fù)雜日常行為識(shí)別的問題轉(zhuǎn)化為對(duì)7種簡(jiǎn)單日常行為的識(shí)別，沒有考慮到復(fù)雜日常行為自身的特性。相比于簡(jiǎn)單的日常行為，復(fù)雜行為是由一系列的簡(jiǎn)單行為組成的集合，會(huì)持續(xù)一定的時(shí)間，實(shí)際生活中絕大多數(shù)日常行為是復(fù)雜日常行為，因此對(duì)復(fù)雜行為動(dòng)作的識(shí)別更能滿足日常照顧護(hù)理領(lǐng)域的需要，具有更廣泛的應(yīng)用前景。對(duì)復(fù)雜行為的表征需要考慮到上下文之間的關(guān)系以及動(dòng)作單元發(fā)生的時(shí)序性，目前對(duì)日常生活中較為復(fù)雜的日常行為的檢測(cè)存在準(zhǔn)確率較低的問題。

對(duì)復(fù)雜行為識(shí)別的研究主要分為兩類：一類是不區(qū)分簡(jiǎn)單行為動(dòng)作和復(fù)雜行為動(dòng)作，使用同樣的檢測(cè)模型[7]；另一類認(rèn)為復(fù)雜行為是由一系列簡(jiǎn)單動(dòng)作構(gòu)成的，其中文獻(xiàn)[8]將復(fù)雜行為分解為若干簡(jiǎn)單的日常行為，但是需要人為地對(duì)簡(jiǎn)單行為動(dòng)作進(jìn)行類別標(biāo)注。由于復(fù)雜的行為是一個(gè)動(dòng)態(tài)變化的過程，即便是同一種行為在不同的地點(diǎn)、時(shí)間發(fā)生，動(dòng)作序列也存在差異性，人為標(biāo)注可能會(huì)忽略一些重要的、未知的動(dòng)作單元。為了克服人工標(biāo)注簡(jiǎn)單行為類別的弊端，文獻(xiàn)[9]使用聚類算法對(duì)原始數(shù)據(jù)(加速度數(shù)據(jù))進(jìn)行聚類，但是由于使用的是一種有監(jiān)督的聚類算法，需要事先指定聚類的個(gè)數(shù)。在實(shí)際生活中，由于復(fù)雜行為中包含的簡(jiǎn)單行為動(dòng)作的數(shù)量是事先未知的，k值的設(shè)定將影響聚類的效率。文獻(xiàn)[10-11]使用無監(jiān)督的聚類算法，發(fā)現(xiàn)復(fù)雜行為的動(dòng)作單元，然后將復(fù)雜的行為表征為一系列由簡(jiǎn)單運(yùn)動(dòng)單元組成的集合，從而實(shí)現(xiàn)對(duì)復(fù)雜行為識(shí)別, 但是其忽略了動(dòng)作單元，即高層語義特征在時(shí)域上的表現(xiàn)，進(jìn)而影響行為識(shí)別的效率。高層語義特征即主題序列具有隱含的價(jià)值，文獻(xiàn)[12]將高層語義特征應(yīng)用到人體行為識(shí)別中，文獻(xiàn)[13]通過挖掘具有時(shí)序特征的主題序列，成功建立臨床路徑模型。

考慮到上述因素，本文提出一種基于無監(jiān)督的狄利克雷(Dirichlet)多項(xiàng)式混合模型的高層語義特征抽取方法，融合時(shí)序特征，對(duì)復(fù)雜行為進(jìn)行高層語義描述、表征，構(gòu)建高層語義特征數(shù)據(jù)集。在提取高層語義特征基礎(chǔ)上，應(yīng)用滑動(dòng)時(shí)間窗，建立文檔-詞矩陣(DTM)，構(gòu)建日常行為的文本集，從而提高對(duì)復(fù)雜行為的識(shí)別率，提高行為模型的泛化能力。

1 問題描述

從運(yùn)動(dòng)學(xué)角度來看，人們的日常行為都是由一系列有規(guī)律的身體的運(yùn)動(dòng)組成。為了檢測(cè)身體的運(yùn)動(dòng)，通常情況下在身體的特定部位(如腰部、腕部、腳踝、胳膊等部分)固定傳感器，通過分析傳感器數(shù)據(jù)來檢測(cè)日常行為。鑒于居家日常行為的特點(diǎn)，本研究采用微軟公司生產(chǎn)的Band2智能手環(huán)，其內(nèi)置了豐富的傳感器，通過在試驗(yàn)者右手手腕部位佩戴手環(huán)，這些來自傳感器的原始數(shù)據(jù)直接反映了手腕運(yùn)動(dòng)的特征。

描述手腕運(yùn)動(dòng)的加速度、方向角的屬性屬于低層特征，對(duì)應(yīng)于文檔-主題模型中的“字”，是描述人體行為的最小單元；“字”的有序組合被稱為 “詞”，是對(duì)日常行為的高層語義描述?；谠紨?shù)據(jù)，抽取低層特征，在此基礎(chǔ)上提取高層動(dòng)作語義特征是本研究的核心工作。

基于主題的行為識(shí)別的困難在于描述人體行為的“字”存在不確定性，不僅數(shù)量不確定，而且“字”本身隨著時(shí)間、地點(diǎn)的不同也存在差異。由于個(gè)體差異，即使同一個(gè)人在不同的時(shí)間、不同的情景下執(zhí)行同一個(gè)動(dòng)作，“字”也存在一定的差異。假定一種日常行為總能用一系統(tǒng)反映手腕動(dòng)作的“字”表示，如“掃地”可以表示為一系列手臂前、后有序運(yùn)動(dòng)的“字”的集合，記為T掃地={W1，W2,…,Wi}，其中i是“字”的數(shù)量，這里不僅i動(dòng)態(tài)可變，Wi也會(huì)因人而異，存在差異性。

在之前的工作中提出了基于異構(gòu)多傳感器信息融合的人體行為識(shí)別的方法[10-11]，在研究中發(fā)現(xiàn)時(shí)序特征對(duì)行為識(shí)別準(zhǔn)確率有一定的影響，如果忽略時(shí)序特征將會(huì)導(dǎo)致無法對(duì)相似的行為進(jìn)行準(zhǔn)確的識(shí)別。本文提出一種基于時(shí)間序列的日常行為表征方法，增加了對(duì)日常行為的高層動(dòng)作語義描述，從而提高了系統(tǒng)對(duì)復(fù)雜行為的識(shí)別準(zhǔn)確率和泛化能力。

2 預(yù)備知識(shí)

2.1 基本定義

本文涉及的相關(guān)概念定義，定義如下：

定義1運(yùn)動(dòng)元(movement syllable)。指某個(gè)時(shí)間點(diǎn)(以秒為單位)的手腕的運(yùn)動(dòng)，包括手部運(yùn)動(dòng)的加速度、方位角，是運(yùn)動(dòng)中的最小單元，對(duì)應(yīng)于文檔中音節(jié)的概念。

定義2基本特征。指在某一固定時(shí)間段內(nèi)(以分鐘為單位)抽取手部動(dòng)作的特征，描述的是一個(gè)時(shí)間片內(nèi)(time slice)手部的運(yùn)動(dòng)特征，對(duì)應(yīng)于文本主題模型中字的概念。

定義3高層語義特征(meaningful feature)。具有一定語義含義、可切分的簡(jiǎn)單的手臂動(dòng)作，如手臂抬起、放下、翻轉(zhuǎn)等，對(duì)應(yīng)于文本主題模型中的詞的概念。

狄利克雷過程混合模型(Dirichlet Process Mixture Model,DPMM)是一種非參數(shù)貝葉斯聚類方法，不需要人為事先指定聚類的數(shù)量，可以根據(jù)數(shù)據(jù)集的實(shí)際情況自主進(jìn)行聚類，從中發(fā)現(xiàn)隱含的主題[14-15]，本文相關(guān)的符號(hào)定義如表1所示。

表1 相關(guān)符號(hào)注解

2.2 狄利克雷過程混合模型

通常情況下在對(duì)樣本集進(jìn)行聚類分析時(shí)，需要事先設(shè)定聚類的個(gè)數(shù)k，而k的取值將直接影響聚類的結(jié)果，如果事先設(shè)定的k不合理，將大大影響聚類的結(jié)果。在現(xiàn)實(shí)世界中，往往k是未知的，例如在行為分析中，我們無法事先得知一個(gè)行為動(dòng)作由什么樣的手腕動(dòng)作組成，進(jìn)而不能對(duì)一個(gè)日常行為進(jìn)行準(zhǔn)確的語義描述。將一種日常行為Di表征為一系統(tǒng)具有語義特征的語義動(dòng)作Ti的困難在于Ti具有一定的不確定性，Ti的數(shù)量也是未知的，即便是同一個(gè)人多次重復(fù)同一個(gè)的動(dòng)作Di，其表征序列也是不盡相同的。由于DPMM會(huì)根據(jù)數(shù)據(jù)集動(dòng)態(tài)地進(jìn)行聚類，用于發(fā)現(xiàn)新的未知的類，故本文將DPMM應(yīng)用到行為識(shí)別中，動(dòng)態(tài)地對(duì)行為動(dòng)作進(jìn)行聚類，發(fā)現(xiàn)潛在的語義動(dòng)作[16]。

假定樣本集中的數(shù)據(jù)都是由一個(gè)參數(shù)為θ的分布產(chǎn)生，聚類的目的是把θi相同的樣本歸為同一類，將整個(gè)樣本集劃分為具有一定語義特性的K個(gè)類。θi是從一個(gè)參數(shù)為a、H的狄利克雷過程產(chǎn)生，θi是Θ參數(shù)空間的一個(gè)元素，用來表征一個(gè)潛在的觀測(cè)值xi所屬的類別。每一個(gè)觀測(cè)值xi, 都對(duì)應(yīng)一個(gè)θi，同一類中的樣本具有同樣的參數(shù)分布θi。

假設(shè){a1,a2,…,ak}是Θ區(qū)域上的一個(gè)任意的劃分，G在每個(gè)區(qū)域內(nèi)的測(cè)度都服從一個(gè)參數(shù)為a和H的狄利克雷分布，性質(zhì)如式(1)所示，其概率密度如式(2)所示。

G(a1),G(a2),…,G(ak)～DIR(aH(a1),aH(a1),…,aH(ak))

(1)

p(p1,p2,…,pk|a1,a2,…,ak)=

(2)

式中：Γ(·)為gamma函數(shù)。

G～DP(α,H)θi～Gxi～F(x|θi)

(3)

(4)

DPMM在實(shí)際應(yīng)用中，主要有狄利克雷多元正態(tài)混合模型和狄利克雷多項(xiàng)式混合模型兩種模型，狄利克雷多元正態(tài)混合模型主要用于對(duì)高斯數(shù)據(jù)進(jìn)行聚類分析。而狄利克雷多項(xiàng)式混合模型主要用于對(duì)分檔的聚類分析[17]，該模型的層次結(jié)構(gòu)相對(duì)復(fù)雜，文檔中主題T服從一個(gè)參數(shù)為φ的離散多布式分布，記為Muti(φ)，而φ又服從一個(gè)參數(shù)為α的狄利克雷分布；主題中的單詞的分布是一個(gè)參數(shù)為θZi的離散的多項(xiàng)式分類，而θZi又服從一個(gè)參數(shù)為β的狄利克雷分布，公式如式(5)所示，圖模型如圖1所示。

圖1 狄利克雷多項(xiàng)式混合模型圖模型

φ～Drichlet(α)Ti=1,2,…,n～Muti(φ)θk=1,2,…,l～Dirichlet(β)xi=1,2,…,n,j=1,2,…,di～Muti(θTi)

(5)

行為識(shí)別集可視為由若干未知的日常行為組成，而每一種日常行為又是由一系列手部動(dòng)作組成，因此日常行為數(shù)據(jù)集可以看到文本研究領(lǐng)域的文本集。在這些日常行為中又包含一些具體的語義行為，文本研究中的每一個(gè)主題又是由一系列運(yùn)動(dòng)元組成，可以看作是詞的概念。本文將狄利克雷多項(xiàng)式混合模型(The Dirichlet-Multinomial Mixture Model)應(yīng)用在行為識(shí)別中，通過式(6)計(jì)算后驗(yàn)概率，得到模型的參數(shù)φ、T、θ、X。

(6)

3 方案流程與算法實(shí)現(xiàn)

3.1 行為特征提取

采集Band2傳感器數(shù)據(jù)并抽取特征，生成原始數(shù)據(jù)特征集，記作X={X1,X2,…,Xn}，即文本集，其中文本Xi由m個(gè)屬性構(gòu)成，對(duì)應(yīng)文本模型中的詞，而具有一定語義含義的動(dòng)作就是文本模型中的主題T，該模型的構(gòu)造過程主要包括文本-主題分布和主題-詞匯分布兩種分布，具體的生成過程如下所述：

1) 假設(shè)主題的概率分布服從一個(gè)參數(shù)為α的狄利克雷的先驗(yàn)分布φ～DIR(α)。

2) 依據(jù)主題的先驗(yàn)分布，生成語義主題T-行為的分布Ti=1,2,…,n～Multi(φ)。

3) 假設(shè)單詞的分布服從一個(gè)參數(shù)為β的狄利克雷的先驗(yàn)分布θ～DIR(β)。

4) 依據(jù)θ生成單詞-主題的分布xi = 1,2,…,n,j = 1,2,…,m～Multi(θTi),其中m對(duì)應(yīng)單詞數(shù)量，是行為數(shù)據(jù)集中文本的長(zhǎng)度。

狄利克雷多項(xiàng)式混合模型的先驗(yàn)是主題-文檔服從參數(shù)為α的狄利克雷的先驗(yàn)分布，單詞-主題分布則服從參數(shù)β的狄利克雷的先驗(yàn)分布。在該模式構(gòu)造的過程中，采用Collapsed 吉布斯采樣的方法來評(píng)估主題T的后驗(yàn)概率的概率分布，主題在t時(shí)刻的概率分布依賴于t-1時(shí)刻的x-i主題的概率分布[18]，公式如下：

(7)

樣本集X的構(gòu)造方法如文獻(xiàn)[10]所述，主要分為3個(gè)步驟：

(1) 微軟Band2手環(huán)內(nèi)置加速度、陀螺儀傳感器，對(duì)手腕動(dòng)作進(jìn)行采樣，數(shù)據(jù)集記為V={axt,ayt,azt,gxt,gyt,gzt}。

(2) 基于原始數(shù)據(jù)集V，借鑒航空領(lǐng)域?qū)︼w機(jī)姿態(tài)的描述，抽取方位角特征翻滾(Roll)、俯仰(Pitch)、偏擺(Yaw)，記為O={Rt,Pt,Yt}。

(3) 樣本數(shù)據(jù)集X={x1,x2,…,xn}是由一系列行為動(dòng)作構(gòu)成的文本集?；诓襟E(1)、步驟(2)的處理結(jié)果，由式(8)-式(12)抽取行為動(dòng)作的“字”序列，記為{μx,σx,μy,σy,μz,σz,μp,σp,μr,σr,μy,σy,μSVM}，進(jìn)而構(gòu)建行為動(dòng)作文本集。

循環(huán)執(zhí)行步驟(1)-步驟(3)，直到所有的原始數(shù)據(jù)集處理結(jié)束，行為動(dòng)作文本集X構(gòu)造完畢。

(8)

(9)

(10)

(11)

(12)

3.2 動(dòng)作語義主題聚類

對(duì)行為動(dòng)作文本集進(jìn)行聚類分析，把具有相同分布的文本聚為一類，宏觀上表現(xiàn)為具有一定的語義含義的行為動(dòng)作，采用文獻(xiàn)[11]中的框架建立語義動(dòng)作聚類模型，在已知?jiǎng)幼?語義行為主題的先驗(yàn)概率分布的前提下，使用 Collapsed吉布斯采樣來學(xué)習(xí)、推測(cè)狄利克雷多項(xiàng)式混合模型中的參數(shù)θ、φ。

算法1基于吉布斯采樣的DMM算法

輸入：行為訓(xùn)練樣本集D，迭代次數(shù)I。

輸出：主題分布超參數(shù)φ；特征單詞分布超參數(shù)θ。

2. for文檔Xi∈{X1,X2,…,Xn} do；

3. 隨機(jī)初始化文檔Xi∈Ti；

4.Tx←T；

5.mT←mT+1 andnt=nt+Nx；

6. for 單詞Xij∈Xido

8. for 迭代次數(shù)i∈[1,I] do

9. for 文檔Xi∈{X1,X2,…,Xn} do

10. 從Txi中去掉文檔Xi,重新計(jì)算T=Txi；

11.mTxi(mTxi-1；

12.nxi=nxi+Nxi;

13. for 單詞Xij∈Xido

15. 由式(6)采樣T,替換Txi

Ti←T～P(Ti=k|T-i,x1:n,α,β)；

16.mT←mT+1 andnt=nt+Nx；

17. for 單詞Xij∈Xido

4 實(shí)驗(yàn)設(shè)計(jì)與分析

4.1 實(shí)驗(yàn)環(huán)境配置

鑒于人體運(yùn)動(dòng)的行為習(xí)慣，本文在實(shí)驗(yàn)志愿者右手配置微軟Band2手環(huán)，采集三軸加速度和方向角數(shù)據(jù)，構(gòu)建行為數(shù)據(jù)集。設(shè)定采集頻率為30 Hz, 采樣周期為35分鐘，對(duì)于每種日常行為采樣時(shí)間為5分鐘，包含7種日常行為，共收集7 840×60個(gè)有效樣本。然后按照3.1節(jié)行為特征提取的方法對(duì)有效樣本進(jìn)行處理，抽取特征，進(jìn)而構(gòu)建日常行為文本集X，包含7 840個(gè)文檔，每篇文檔中包含若干個(gè)特征單詞，有效樣本集描述如表2所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集

4.2 高層語義動(dòng)作聚類

基于狄利克雷多項(xiàng)式混合模型，依據(jù)各文本的低層特征，對(duì)樣本集進(jìn)行無監(jiān)督的聚類分析，將樣本聚合為m類，其中每個(gè)主題Ti都具有一定的語義含義，宏觀上可視為一個(gè)特定的動(dòng)作，微觀上表現(xiàn)為一系列具有相似的三軸加速度和姿態(tài)角特征的文本，如手腕傾斜一定角度、低速上抬等語義動(dòng)作，簇標(biāo)號(hào)記為ti，ti∈[1,m],m是聚類后簇的數(shù)量。每種日常行為都可以表征為一系列的語義動(dòng)作，由于日常行為的不同，語義簇的數(shù)量也各不相關(guān)，如圖2所示。

圖2 日常行為-語義簇?cái)?shù)量對(duì)應(yīng)關(guān)系

每一個(gè)語義簇都對(duì)應(yīng)語義動(dòng)作字典中一個(gè)具有某種具體含義的動(dòng)作，語義簇?cái)?shù)量反映的是在從事一個(gè)日常行為的過程中手腕動(dòng)作變化的程度，通常情況下日常行為越復(fù)雜，其包含的手腕動(dòng)作就越多樣化，圖2中“睡覺”相對(duì)于更為復(fù)雜的“洗漱”、“吃飯”等日常行為，語義簇?cái)?shù)量就少得多。另外語義簇?cái)?shù)量也會(huì)因人而異，即使從事同一種日常行為，語義簇?cái)?shù)量也會(huì)呈現(xiàn)差異性，以上原因都會(huì)導(dǎo)致語義字典的差異性，具有一定的不確定性，因此會(huì)降低日常行為分析模型的泛化性，給行為分析增加了難度。

為此，本文對(duì)聚類后的結(jié)果進(jìn)行歸一化處理，在此基礎(chǔ)上把一個(gè)復(fù)雜的日常行為表征為語義動(dòng)作ti組成的行為序列?；跁r(shí)間片si，對(duì)樣本集進(jìn)行分割，對(duì)于切分好的樣本，基于滑動(dòng)窗口模式，對(duì)樣本進(jìn)行語義動(dòng)作表征，構(gòu)造樣本集的高層語義動(dòng)作數(shù)據(jù)集，Witj是動(dòng)作語義特征，具有一定的語義含義，Witj∈[1，m]。圖3描述的是7種復(fù)雜日常行為在30分鐘內(nèi)語義動(dòng)作的變化趨勢(shì)，也就是手腕動(dòng)作的變化趨勢(shì)，在睡覺中，人的手腕的動(dòng)作幾乎不變，呈現(xiàn)一條直線；讀書行為動(dòng)作中，手腕的動(dòng)作變化幅度不大，變化較為平緩，語義特征mti∈[1,50]；在清掃中，手腕的語義動(dòng)作變化增強(qiáng)，mti∈[100,130]；洗漱、吃飯動(dòng)作的變化最大,語義簇mti∈[100,500]。

圖3 行為-語義表征

4.3 行為識(shí)別分析

假設(shè)一個(gè)復(fù)雜的行為要持續(xù)一定的時(shí)長(zhǎng)，那么對(duì)于復(fù)雜日常行為一定可以表示為一系列語義動(dòng)作的有序組合，對(duì)應(yīng)文本集中的一個(gè)文本?；?.2節(jié)聚類結(jié)果，采用滑動(dòng)時(shí)間窗模式，本文滑動(dòng)窗口長(zhǎng)度設(shè)置為5(大約為5分鐘)，重疊率60%，重新構(gòu)建日常行為高層語義樣本集。

本系統(tǒng)對(duì)4名志愿者分別采集行走、看書、運(yùn)動(dòng)等7種日常行為數(shù)據(jù)，并按照第3節(jié)中所述的方法構(gòu)建復(fù)雜行為的樣本集，應(yīng)用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)對(duì)樣本集進(jìn)行分類，分類結(jié)果如表3-表6所示。

表3 志愿者1分類結(jié)果

表4 志愿者2分類結(jié)果

表5 志愿者3分類結(jié)果

表6 志愿者4分類結(jié)果

表中符號(hào)集{a,b,c,d,e,f,g}表示日常行為，分別代表a:行走;b:讀書;c:清掃; d:睡覺;e:鍛煉;f:吃飯;g:洗漱。

為了評(píng)估行為識(shí)別模型的效率，分別計(jì)算模型的準(zhǔn)確率(Precision)和召回率(Recall)，如式(13)、式(14)所示，其中:TP是真陽性 (True Positive);TN是假陽性(True Negative);FP是假陽性(False Positive);FN是假陰性(False Negative)。對(duì)4名志愿者的日常行為分別進(jìn)行在線測(cè)試，準(zhǔn)確率和召回率結(jié)果分別如表7、表8所示。

表7 行為識(shí)別模型準(zhǔn)確率

表8 行為識(shí)別模型召回率

(13)

(14)

人們從事日?；顒?dòng)，都有各自喜歡的動(dòng)作模型，從傳感器的角度，客觀反映為不同的語義簇，例如每個(gè)人都有自己喜歡的睡覺姿勢(shì)，這些姿勢(shì)在一個(gè)時(shí)間片內(nèi)呈現(xiàn)一定的規(guī)律，大部分?jǐn)?shù)據(jù)被分到這一主類中，但是也有少量數(shù)據(jù)具有不同的運(yùn)動(dòng)模型，與其他類的特征相似，就被標(biāo)注為其他的類別。如果一種日常行為分類標(biāo)簽大于1，這就意味著人們?cè)趶氖略摲N日常行為時(shí)，有多種動(dòng)作模型，意味著該種日常行為是一種復(fù)合式的行為，由多種子行為組合而成。如表3、表4、表5所示，“睡覺”行為全部被分到同一類中，意味著志愿者睡姿穩(wěn)定，整個(gè)過程中保持著相似的姿態(tài)；而由于志愿者4在“睡覺”行為中夾雜著翻身、起身坐起等子動(dòng)作，從表6的分類結(jié)果中可以看出該行為包含5種子行為，其中有67條數(shù)據(jù)記錄與“讀書”具有相似的運(yùn)動(dòng)模型，被分到“讀書”類別中，對(duì)應(yīng)“起身坐起”的子行為。

如表7、表8所示，“洗漱”、“吃飯”、“掃地”三種日常行為不僅包含多種子行為，而且動(dòng)作的變化性較大，如：隨著清掃位置的不同，“掃地”表現(xiàn)為不同的手部動(dòng)作；“吃飯”會(huì)隨著菜品在餐桌擺放位置不同而呈現(xiàn)不同的高層語義主題；變化最大的是“洗漱”，包含“洗臉”、“洗手”等多種差異性較大的子行為。上述差異性直觀反映在信號(hào)向量幅度(Signal Vecor Magnitude,SVM)的變化，圖4顯示的是志愿者4的7種日常行為在2分鐘內(nèi)，信號(hào)向量幅度的變化量，其中變化量最大的是“洗漱”，變化幅度為246.73，最小的是“睡覺”，變化量為0.61。

圖4 信號(hào)向量變化幅度

由于向量的這種變化，因此從某一個(gè)時(shí)間點(diǎn)，行為動(dòng)作存在較大的差異性，甚至完全不同，一般情況下日常行為復(fù)雜性越大，信號(hào)向量變化幅度就越大，從而表現(xiàn)為子行為的多樣性。但是從一個(gè)較長(zhǎng)的時(shí)間周期來看，運(yùn)動(dòng)模型又具有一定的相似性，志愿者偏好的行為動(dòng)作被分到主類中，而隨機(jī)的、不常發(fā)生的動(dòng)作被分到其他類中。通過對(duì)4個(gè)志愿者的分類結(jié)果進(jìn)行分析，平均有93.3%的“掃地”行為、93.83% 的“吃飯”行為、86.83% 的“洗漱”行為被分到主類中。

5 結(jié) 語

由于日常行為特征的個(gè)體差異性，本文基于Dirichlet多項(xiàng)式混合模型，挖掘隱藏在復(fù)雜日常行為中的高層語義動(dòng)作。首先基于文本挖掘的領(lǐng)域知識(shí)，挖掘日常行為的語義動(dòng)作，構(gòu)建語義動(dòng)作詞典；然后基于時(shí)間窗模式，構(gòu)建復(fù)雜行為動(dòng)作的高層語義動(dòng)作文本集，融合高級(jí)語義特征與日常行為的時(shí)序特征，提高對(duì)復(fù)雜日常行為的表征；最后應(yīng)用分類算法對(duì)日常行為進(jìn)行分類，提高了對(duì)復(fù)雜行為動(dòng)作檢測(cè)的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文方法能有效地發(fā)現(xiàn)未知的高層語義動(dòng)作特征，準(zhǔn)確地對(duì)復(fù)雜的日常行為進(jìn)行描述，具有所生成的樣本集小、行為識(shí)別率高的優(yōu)點(diǎn)，不僅可以應(yīng)用在輔導(dǎo)照顧領(lǐng)域，還可以用于臨床環(huán)境下對(duì)某些疾病的輔助診療。

由于日常行為的執(zhí)行周期存在動(dòng)態(tài)可變性，本文對(duì)復(fù)雜行為的表征是基于固定時(shí)長(zhǎng)的滑動(dòng)時(shí)間窗模型；又由于復(fù)雜行為自身的多變性，使得本系統(tǒng)對(duì)個(gè)別行為(如“洗漱”)的識(shí)別率還較低。今后一方面將繼續(xù)開展對(duì)日常行為分隔的研究，構(gòu)建基于動(dòng)態(tài)時(shí)間窗的行為分隔、識(shí)別模型，從而提高對(duì)復(fù)雜行為的識(shí)別率；另一方面針對(duì)語義動(dòng)作詞典的差異性，在提高本系統(tǒng)泛化性、構(gòu)建多模式識(shí)別平臺(tái)方面開展進(jìn)一步的研究。