基于概率描述邏輯的多層活動(dòng)建模和識(shí)別

彭一鳴，王忠華

(南昌航空大學(xué)，南昌330063)

1 引言

活動(dòng)識(shí)別被廣泛應(yīng)用于眾多領(lǐng)域，這些領(lǐng)域包括醫(yī)療健康，老人摔倒和異常檢測(cè)、健康生活方式的跟蹤和改善、智能家居的上下文感知服務(wù)、機(jī)器人技術(shù)和安防和監(jiān)控等?；顒?dòng)識(shí)別方法主要可以分為三種，即數(shù)據(jù)驅(qū)動(dòng)、知識(shí)驅(qū)動(dòng)和混合活動(dòng)識(shí)別方法?；诒倔w的方法在活動(dòng)識(shí)別領(lǐng)域中的應(yīng)用越來(lái)越普遍，然而大多數(shù)基于描述邏輯的活動(dòng)識(shí)別框架缺乏對(duì)概率知識(shí)的表示和推理。

為了彌補(bǔ)上述方法的不足，本文提出的方法將不確定性知識(shí)集成到一個(gè)統(tǒng)一的框架中，并考慮活動(dòng)之間的不相容性，利用對(duì)數(shù)線性模型和描述邏輯的結(jié)合來(lái)推測(cè)出當(dāng)前最可能執(zhí)行的活動(dòng)。

2 多層活動(dòng)模型的表示

2.1 概率描述邏輯原理

描述邏輯[1]（Description logic，DL）是一種知識(shí)表示形式，通過(guò)概念、關(guān)系和公理來(lái)支持特定應(yīng)用領(lǐng)域知識(shí)的邏輯表示，包括領(lǐng)域內(nèi)概念的定義和對(duì)象個(gè)體的描述。

對(duì)數(shù)線性描述邏輯[2]（log-liner description logic）將描述邏輯集成到對(duì)數(shù)線性模型中，允許對(duì)描述邏輯加權(quán)公理的概率性和確定性依賴關(guān)系進(jìn)行建模，并支持OWL2網(wǎng)絡(luò)本體語(yǔ)言[3]。形式上，一個(gè)對(duì)數(shù)線性知識(shí)庫(kù)C=(CD,CU)是由一個(gè)確定性知識(shí)庫(kù)CBoxCD和一個(gè)不確定性知識(shí)庫(kù)｝組成，其中c表示一個(gè)公理，ωc是分配到公理c的一個(gè)權(quán)重。

在規(guī)定的語(yǔ)法和語(yǔ)義下，最主要的推理任務(wù)是最大后驗(yàn)概率(MAP)查詢，給定一個(gè)對(duì)數(shù)線性本體，推理出在同樣的概念和角色下最可能的一致的本體，在概率描述邏輯背景下，MAP查詢是至關(guān)重要的，因?yàn)樗軌驈母怕时倔w中推理出一個(gè)最可能的本體。ELOG推理機(jī)[4]通過(guò)將概率本體轉(zhuǎn)化為整數(shù)線性規(guī)劃（integer linear program，ILP），從而進(jìn)行MAP查詢。它迭代查詢一個(gè)推理機(jī)（例如Pellet）獲得不連貫或不一致的解釋，并將這些約束添加到整數(shù)線性規(guī)劃中。

2.2 多層活動(dòng)的概念

復(fù)雜活動(dòng)、簡(jiǎn)單活動(dòng)、操作手勢(shì)、原子事件和其他上下文概念被定義為活動(dòng)本體的概念，下面是一系列本體活動(dòng)模型主要概念的定義。

Person：表示一個(gè)執(zhí)行不同活動(dòng)的居住者。

Arm：表示居住者的手臂，手臂分為左手臂和右手臂，一個(gè)人通過(guò)他的手臂與周圍環(huán)境進(jìn)行交互。

Function：表示一個(gè)人的手臂操作物體的方式。

Locomotion：表示肢體動(dòng)作，例如躺、坐、站立。

Object：表示居住者在執(zhí)行一個(gè)活動(dòng)中交互的物體，例如原子事件“移動(dòng)瓶子”，交互的物體是“瓶子”。

Event Type：表示原子事件，表示這些不能被分解為更簡(jiǎn)單成分的原子活動(dòng)，它們的持續(xù)時(shí)間非常短，為了簡(jiǎn)化模型，可以把它們看作為瞬時(shí)事件。

Manipulative：表示操作手勢(shì)，由幾個(gè)簡(jiǎn)單的原子事件組成。在某些情況下可以并發(fā)進(jìn)行。

Simple Activity：表示簡(jiǎn)單活動(dòng)，由操作手勢(shì)和肢體動(dòng)作組成的時(shí)間序列構(gòu)成，同樣的簡(jiǎn)單活動(dòng)可能由不同的操作手勢(shì)時(shí)間序列構(gòu)成。

Complex Activity：表示復(fù)雜活動(dòng)，由執(zhí)行的簡(jiǎn)單活動(dòng)組成。

2.3 多層活動(dòng)模型的建立

多層活動(dòng)本體模型是依據(jù)一個(gè)開(kāi)源項(xiàng)目“Opportunity”提出的框架建立的。本體模型一共包含四層結(jié)構(gòu)，從底層到高層依次是原子事件層、操作手勢(shì)層、簡(jiǎn)單活動(dòng)層和復(fù)雜活動(dòng)層。

本體模型的核心類是Person，一個(gè)居住者通過(guò)他的手臂與周圍環(huán)境進(jìn)行交互，基于本體的類和屬性，表示活動(dòng)概念的公理能夠迭代地通過(guò)更簡(jiǎn)單的活動(dòng)進(jìn)行定義，這些類和對(duì)象屬性如圖1所示，圖中的節(jié)點(diǎn)表示類，箭頭表示關(guān)聯(lián)類個(gè)體的對(duì)象屬性。一個(gè)原子事件的公理可表示為類Person通過(guò)屬性hasArm關(guān)聯(lián)到他的手臂類Arm，進(jìn)而通過(guò)屬性hasFunction和hasObject關(guān)聯(lián)到手臂操作物體的方式類Function和交互的物體類 Object。

3 多層活動(dòng)識(shí)別系統(tǒng)的設(shè)計(jì)

多層活動(dòng)識(shí)別系統(tǒng)主要由兩部分組成，首先使用OWL2本體語(yǔ)言構(gòu)建多層活動(dòng)本體，然后利用基于Java語(yǔ)言編寫的活動(dòng)識(shí)別框架來(lái)解析本體。

3.1 多層活動(dòng)本體

圖1 活動(dòng)本體關(guān)系圖

本文提出的概率本體支持?jǐn)?shù)據(jù)集[5]的活動(dòng)識(shí)別場(chǎng)景，包括四個(gè)活動(dòng)層級(jí)約150個(gè)日常生活動(dòng)作和活動(dòng)。只考慮個(gè)體S10生成的數(shù)據(jù)集構(gòu)建我們的概率本體，其他兩個(gè)人的數(shù)據(jù)用于評(píng)估我們的方法對(duì)活動(dòng)識(shí)別的有效性。我們采用protégé OWL編輯器[6]構(gòu)建活動(dòng)本體，公理權(quán)重已經(jīng)以注釋的形式手動(dòng)添加到公理定義中，權(quán)重的估計(jì)值通過(guò)領(lǐng)域常識(shí)和S10個(gè)體產(chǎn)生的數(shù)據(jù)獲得。

3.2 多層活動(dòng)的識(shí)別方法

我們提出用以下技術(shù)從更簡(jiǎn)單的活動(dòng)中識(shí)別出更復(fù)雜活動(dòng)，該方法不局限于順序活動(dòng)的識(shí)別，也包括并發(fā)活動(dòng)的識(shí)別。下面描述了操作手勢(shì)、簡(jiǎn)單活動(dòng)和復(fù)雜活動(dòng)的識(shí)別步驟。

3.2.1 識(shí)別操作手勢(shì)

第三層的操作手勢(shì)是基于原子事件和活動(dòng)的語(yǔ)義推斷得出的，為了識(shí)別在一個(gè)時(shí)間窗口τ3內(nèi)執(zhí)行的操作手勢(shì)，我們執(zhí)行下面四個(gè)步驟：

①收集所有在τ3時(shí)段內(nèi)識(shí)別出的原子事件；

②使用本體論中的類和聲明來(lái)表示它們，并將它們添加到概率本體中；

③使用對(duì)象屬性將每一個(gè)原子事件和它的執(zhí)行者關(guān)聯(lián)起來(lái)；

④利用概率和標(biāo)準(zhǔn)的本體推理機(jī)推斷出最有可能執(zhí)行的操縱手勢(shì)。

3.2.2 識(shí)別簡(jiǎn)單活動(dòng)

因?yàn)楹?jiǎn)單的活動(dòng)被定義為由若干操作手勢(shì)組成的時(shí)間序列，需要表示操作手勢(shì)的執(zhí)行先后關(guān)系。然而基于OWL2的描述邏輯本身并不支持時(shí)序推理，為了解決這個(gè)限制，根據(jù)操作手勢(shì)的時(shí)間序列進(jìn)行簡(jiǎn)單的時(shí)序推理。為了識(shí)別所有在τ2時(shí)段內(nèi)執(zhí)行的簡(jiǎn)單動(dòng)作，我們按照如下步驟：

①收集所有在τ2時(shí)段內(nèi)推測(cè)出的操作手勢(shì)；

②利用本體的類和聲明表示各種操作手勢(shì)，并添加到概率本體中；

③利用對(duì)象屬性關(guān)聯(lián)每一個(gè)操作手勢(shì)和它的執(zhí)行者；④更新收集到的操作手勢(shì)的執(zhí)行順序，使用上述描述的公理形式，并添加到概率本體列表；

⑤使用關(guān)于對(duì)數(shù)線性的ELOG推理機(jī)[4]從概率公理中計(jì)算最可能的一致性本體；

⑥在最可能的一致性本體上執(zhí)行標(biāo)準(zhǔn)的本體推理，得到在τ2時(shí)段內(nèi)的簡(jiǎn)單活動(dòng)。

3.2.3 識(shí)別復(fù)雜活動(dòng)

從簡(jiǎn)單活動(dòng)中識(shí)別出復(fù)雜活動(dòng)的方法類似于操作手勢(shì)的識(shí)別，由于時(shí)間窗口τ1持續(xù)的時(shí)間較長(zhǎng)，在時(shí)間窗口τ1內(nèi)可以執(zhí)行幾個(gè)簡(jiǎn)單活動(dòng)，這有助于區(qū)分各復(fù)雜活動(dòng)和省略活動(dòng)內(nèi)部的時(shí)序關(guān)系。

3.3 多層活動(dòng)識(shí)別框架

本文提出的方法是基于Java編寫的系統(tǒng)OWL-API上實(shí)現(xiàn)的，如圖4中所描述的一樣，程序在一個(gè)滑動(dòng)時(shí)間窗口中自動(dòng)解析傳感器的觀測(cè)值，通過(guò)識(shí)別框架將更低層級(jí)活動(dòng)作為輸入，迭代地輸出更高層級(jí)的活動(dòng)。該程序收集的傳感器觀測(cè)數(shù)據(jù)包括執(zhí)行者的肢體動(dòng)作、手臂動(dòng)作和交互物體。當(dāng)運(yùn)行時(shí)間超過(guò)了操作手勢(shì)對(duì)應(yīng)的預(yù)定義時(shí)間窗口τ3時(shí)觸發(fā)推理過(guò)程。為了便于評(píng)估，依照傳感器輸入頻率的平均值，我們固定τ3分割的時(shí)間為1秒。

圖4 識(shí)別框架整體結(jié)構(gòu)

每個(gè)被識(shí)別出的原子事件都作為本體中對(duì)應(yīng)類的一個(gè)個(gè)體，用于未知的操縱手勢(shì)類的描述。新的公理被添加到對(duì)數(shù)線性本體后，通過(guò)ELOG推理機(jī)輸出最可能一致的本體。ELOG推理機(jī)通過(guò)將概率本體轉(zhuǎn)化為一個(gè)整數(shù)線性規(guī)劃來(lái)解決MAP查詢，它迭代查詢Pellet推理機(jī)來(lái)獲得關(guān)于不連貫或不一致的解釋，并將其作為ILP的約束，可以使用Gurobi解算機(jī)解決它們和重復(fù)這些操作，直到所有的不一致都得到解決。獲得的一致性本體再次作為輸入，通過(guò)Pellet推理機(jī)可以推斷出未知類的等價(jià)類。這些類表示在給定的時(shí)間窗口中預(yù)測(cè)的操作手勢(shì)。在下一個(gè)傳感器輸入時(shí)，采集的數(shù)據(jù)被刪除和收集推理過(guò)程又被再次觸發(fā)。類似地，為了識(shí)別下一個(gè)抽象層的活動(dòng)，之前的預(yù)測(cè)類用于定義當(dāng)前簡(jiǎn)單活動(dòng)的未知類，保存當(dāng)前收集的操作手勢(shì)直到一個(gè)簡(jiǎn)單活動(dòng)被識(shí)別。從一個(gè)時(shí)間窗口到下一個(gè)時(shí)間窗口，它們的順序也進(jìn)行相應(yīng)地更新。構(gòu)成一個(gè)簡(jiǎn)單活動(dòng)的最長(zhǎng)序列包括4個(gè)操縱手勢(shì)，我們固定τ2的間隔長(zhǎng)度為4個(gè)τ3時(shí)間間隔，因此一個(gè)操縱手勢(shì)在它被識(shí)別前的最大序號(hào)為4，利用Pellet的解釋特性來(lái)獲取識(shí)別簡(jiǎn)單活動(dòng)的公理，并獲得它的持續(xù)時(shí)間。最后，在τ1中預(yù)測(cè)的簡(jiǎn)單活動(dòng)被用于產(chǎn)生未知的復(fù)雜活動(dòng)類，復(fù)雜活動(dòng)覆蓋較長(zhǎng)時(shí)間，考慮到識(shí)別框架的實(shí)時(shí)性，我們限制τ3為30秒。識(shí)別過(guò)程遵循與識(shí)別操作手勢(shì)相同的步驟。

4 實(shí)驗(yàn)與評(píng)估

4.1 實(shí)驗(yàn)數(shù)據(jù)集

我們使用從高度豐富的網(wǎng)絡(luò)傳感器環(huán)境中收集到的真實(shí)數(shù)據(jù)來(lái)評(píng)估我們的方法，數(shù)據(jù)集是一個(gè)歐盟研究項(xiàng)目“基于傳感器配置的活動(dòng)和情景識(shí)別”的一部分。數(shù)據(jù)集通過(guò)觀察幾個(gè)住戶早晨的日?；顒?dòng)獲得，為了能夠評(píng)估我們的方法，我們對(duì)三個(gè)目標(biāo)個(gè)體S10、S11和S12在三個(gè)不同早晨執(zhí)行的日?；顒?dòng)ADL1、ADL2和ADL3的不確定性進(jìn)行注釋。

為了評(píng)估我們的方法，首先使用時(shí)間窗技術(shù)，獲得每個(gè)時(shí)間窗口內(nèi)的真實(shí)活動(dòng)集，然后把它與對(duì)應(yīng)時(shí)間窗口內(nèi)預(yù)測(cè)的活動(dòng)集進(jìn)行比較。評(píng)估方法采用三個(gè)模式識(shí)別中常用的評(píng)價(jià)指標(biāo)：精確度（precision）、反饋率（recall）和F測(cè)量（FMeasure），三者按如下公式計(jì)算：

對(duì)于每個(gè)輸出，正確預(yù)測(cè)的活動(dòng)被視為是正確肯定（true positive，TP）；如果時(shí)間窗口 τ1中預(yù)測(cè)的活動(dòng) A1，不匹配真實(shí)數(shù)據(jù)集在同一時(shí)間窗口內(nèi)的任何活動(dòng)，則被視為錯(cuò)誤肯定（false positive，F(xiàn)P）；任意一時(shí)間窗口內(nèi)，參考數(shù)據(jù)集的活動(dòng)沒(méi)有在時(shí)間窗口內(nèi)被預(yù)測(cè)出，則被視為錯(cuò)誤否定（false negative，F(xiàn)N）。

4.2 實(shí)驗(yàn)結(jié)果和分析

表1描述了住戶S10、S11和S12三個(gè)早上的日?；顒?dòng)數(shù)據(jù)(ADL1、ADL2和ADL3)在每個(gè)層級(jí)活動(dòng)上的平均識(shí)別結(jié)果。由于各個(gè)住戶之間的變化相對(duì)較小，本文方法表現(xiàn)出很好的性能水平。

表1 各層活動(dòng)平均識(shí)別結(jié)果

一般來(lái)說(shuō)，單獨(dú)從各個(gè)層級(jí)活動(dòng)識(shí)別結(jié)果來(lái)看，系統(tǒng)具有較高的精度。雖然對(duì)于操作手勢(shì)和復(fù)雜活動(dòng)而言，反饋率的值是比較滿意的，但簡(jiǎn)單活動(dòng)的反饋率較低，遺漏了相當(dāng)數(shù)量的簡(jiǎn)單活動(dòng)，這主要有以下幾個(gè)原因，一方面操控手勢(shì)層的預(yù)測(cè)錯(cuò)誤或遺漏很可能違反整個(gè)簡(jiǎn)單活動(dòng)的執(zhí)行順序，從而導(dǎo)致錯(cuò)誤預(yù)測(cè)。另一方面，我們的本體模型時(shí)序表示過(guò)于簡(jiǎn)單，不能捕獲定義一個(gè)簡(jiǎn)單活動(dòng)的所有操縱手勢(shì)序列。盡管簡(jiǎn)單活動(dòng)的反饋率較低，復(fù)雜活動(dòng)有相對(duì)較高的F-測(cè)量值，這主要有兩方面原因，一方面復(fù)雜活動(dòng)類的數(shù)量相比與其他層級(jí)數(shù)量較少，另一方面由于復(fù)雜活動(dòng)的識(shí)別頻率相對(duì)較低，在一個(gè)時(shí)間窗口τ1能夠識(shí)別到足夠多的簡(jiǎn)單活動(dòng)，從而能在很大概率上正確地推理出復(fù)雜活動(dòng)。

5 結(jié)語(yǔ)

本文提出了一種緊密耦合的混合系統(tǒng)來(lái)進(jìn)行人類活動(dòng)的識(shí)別，提出的識(shí)別框架將符號(hào)邏輯和概率推理相結(jié)合，采用對(duì)數(shù)線性描述邏輯來(lái)表示和推理當(dāng)前活動(dòng)，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法處理多層活動(dòng)識(shí)別的可行性。本文不同于大多數(shù)相關(guān)工作，它在不犧牲本體建模和推理的優(yōu)勢(shì)下，支持人類活動(dòng)固有的不確定性，這些優(yōu)勢(shì)包括一致性檢測(cè)和集成豐富背景知識(shí)的能力，能同步識(shí)別復(fù)雜和簡(jiǎn)單活動(dòng)。標(biāo)準(zhǔn)描述形式的使用增強(qiáng)了系統(tǒng)的移植性和重用性，支持表示異構(gòu)和不確定的上下文數(shù)據(jù)，能夠有效處理數(shù)據(jù)的不確定性。