基于手機(jī)多源傳感器的室內(nèi)火災(zāi)行人行為識(shí)別

陳國(guó)良， 曹曉祥

(1. 國(guó)土環(huán)境與災(zāi)害監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室， 江蘇 徐州 221116； 2. 中國(guó)礦業(yè)大學(xué) 環(huán)境與測(cè)繪學(xué)院， 江蘇 徐州 221116)

近年來(lái)，隨著傳感器城市建設(shè)的一步步推進(jìn)[1],借助傳感器進(jìn)行行為識(shí)別成為一項(xiàng)研究熱點(diǎn).無(wú)論是在情境感知、健康監(jiān)測(cè)，還是智慧醫(yī)療、安全監(jiān)控等，行為識(shí)別都是其中重要的一環(huán)，但是這其中面臨著個(gè)體化差異、復(fù)雜情境等突出問(wèn)題，行為識(shí)別仍面臨著諸多挑戰(zhàn).就此，國(guó)內(nèi)外學(xué)者開展了大量研究工作：文獻(xiàn)[2-4]均是通過(guò)使用簡(jiǎn)單穿戴式設(shè)備，提取加速度傳感器采集的數(shù)據(jù)片段特征值，完成對(duì)特定行業(yè)從業(yè)人員重復(fù)率較高的工作行為分析、分類與識(shí)別，但是額外設(shè)備的投入一定程度上限制了其推廣應(yīng)用.文獻(xiàn)[5-7]則是借助視覺(jué)圖像完成室內(nèi)行人行為識(shí)別.其中，文獻(xiàn)[5]是在對(duì)各種目標(biāo)行為建立圖像特征庫(kù)的基礎(chǔ)上，訓(xùn)練產(chǎn)生行為識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型；文獻(xiàn)[6]在監(jiān)督學(xué)習(xí)基礎(chǔ)上開發(fā)了一種新穎的3D卷積神經(jīng)網(wǎng)絡(luò)(CNN)動(dòng)作識(shí)別模型，通過(guò)監(jiān)控視頻解析行人細(xì)粒度行為；文獻(xiàn)[7]是通過(guò)提取視覺(jué)圖像中人體輪廓，比較不同輪廓間的動(dòng)態(tài)時(shí)間規(guī)整距離(DTW)，從而達(dá)到行為識(shí)別的目的.借助視覺(jué)特征的行為識(shí)別方法，雖然有較高的識(shí)別準(zhǔn)確度，但是面臨著數(shù)據(jù)處理困難、大規(guī)模人群中個(gè)人行為特征提取困難等問(wèn)題.

智能手機(jī)集成越來(lái)越豐富的傳感器使得可通過(guò)手機(jī)內(nèi)置傳感器輸出多感官數(shù)據(jù)流實(shí)現(xiàn)情景感知服務(wù)、生活記錄等.文獻(xiàn)[8-17]均是借助手機(jī)實(shí)現(xiàn)行人簡(jiǎn)單行為感知.其中，文獻(xiàn)[8-9]都是提出了一種僅選取手機(jī)加速度計(jì)、陀螺儀、氣壓計(jì)輸出的時(shí)域特征作為唯一特征量，通過(guò)特征提取運(yùn)算實(shí)現(xiàn)8種人體日常行為模式和4種摔倒行為模式的實(shí)時(shí)識(shí)別；文獻(xiàn)[10]則使用多種分類算法對(duì)手機(jī)陀螺儀、磁力計(jì)和加速度計(jì)不同組合方式采集的不同設(shè)備位置7種常見(jiàn)行人活動(dòng)數(shù)據(jù)分類結(jié)果進(jìn)行了對(duì)比試驗(yàn)，結(jié)果表明多種傳感器組合一定程度上提升了行為分類準(zhǔn)確率，同時(shí)在特征提取上加入了數(shù)據(jù)頻域有關(guān)特征.

文獻(xiàn)[18]在提出“情境推理”概念基礎(chǔ)上抽象出的情境信息金字塔，描述了傳感器數(shù)據(jù)、數(shù)據(jù)特征、簡(jiǎn)單活動(dòng)與復(fù)雜情境之間的基礎(chǔ)聯(lián)系，低層簡(jiǎn)單的行為活動(dòng)作為行人情境感知、生理和心理狀態(tài)推估中重要的一環(huán)具有重要的研究意義.當(dāng)前室內(nèi)火災(zāi)頻發(fā)，對(duì)人民生命財(cái)產(chǎn)安全產(chǎn)生了極大威脅.由于基礎(chǔ)設(shè)施條件、能力限制，發(fā)生火災(zāi)時(shí)室內(nèi)行人安全狀態(tài)無(wú)法得到有效監(jiān)控和保障，因此，借助手機(jī)內(nèi)置傳感器識(shí)別室內(nèi)火災(zāi)行人細(xì)粒度行為進(jìn)而理解行人當(dāng)前生理、心理、位置狀態(tài)有著極大的研究?jī)r(jià)值.

針對(duì)當(dāng)前室內(nèi)火災(zāi)情境，提出一種基于手機(jī)多源傳感器的室內(nèi)火災(zāi)行人細(xì)粒度行為識(shí)別與匹配的方法.借助手機(jī)內(nèi)置多源傳感器完成對(duì)行人當(dāng)前表征行為特征的數(shù)據(jù)采集，在異常子序列探測(cè)后提取行為特征向量，利用Key-DTW算法以及相應(yīng)訓(xùn)練成型的分類模型分別對(duì)特征各異的室內(nèi)火災(zāi)行人異常行為進(jìn)行匹配、理解.

1 數(shù)據(jù)采集與預(yù)處理

1.1 數(shù)據(jù)采集

(1) 傳感器選擇.當(dāng)前智能手機(jī)內(nèi)置豐富的傳感器元件，這些測(cè)量元件輸出的數(shù)據(jù)在很大程度上反映了用戶當(dāng)前各種行為信息.因此，手機(jī)多源傳感器數(shù)據(jù)具有較大的研究?jī)r(jià)值.一般手機(jī)配備的傳感器如表1.

(2) 設(shè)備位置選擇.當(dāng)手機(jī)位于身體不同部位時(shí)，伴隨不同的擺動(dòng)幅度，數(shù)據(jù)特征呈現(xiàn)出一定差異，就此試驗(yàn)選用了行人常見(jiàn)的3種設(shè)備位置(圖1)，分別為手中擺臂、下衣口袋、手中使用，針對(duì)具體行為選用合適的設(shè)備位置.

表1手機(jī)內(nèi)置傳感器列表及其作用

Tab.1Listsofdifferentinertialsensorsofsmartphoneandtheirfunctions

傳感器名稱字段用處加速度計(jì)TYPE_ACCLEROMETER判斷行走、靜止、跑步陀螺儀TYPE_GYRSCOPE判斷轉(zhuǎn)彎、掉頭等方向傳感器TYPE_ORIENTATION判斷是否迷失方向等GNSS模塊GPS_PROVIDER判斷位置等磁力計(jì)TYPE_MAGNETIC_FIELD判斷是否乘坐電梯等氣壓計(jì)TYPE_PRESSURE判斷樓層信息等光線傳感器TYPE_LIGHT判斷光線可見(jiàn)度等

圖1 測(cè)試設(shè)備所處位置

1.2 數(shù)據(jù)預(yù)處理

(1) 數(shù)據(jù)篩選處理.設(shè)定各類傳感器數(shù)據(jù)閾值，丟棄超過(guò)閾值的錯(cuò)誤數(shù)據(jù).由于平滑等處理會(huì)損害某些異常行為數(shù)據(jù)特征，因此，盡量保持?jǐn)?shù)據(jù)原特征.

(2) 數(shù)據(jù)切片.精準(zhǔn)反映行為特征要求傳感器保持較高的采樣頻率，這也就導(dǎo)致數(shù)據(jù)量過(guò)大問(wèn)題，不利于異常子序列的探測(cè)和特征值提取工作，因此，需對(duì)數(shù)據(jù)進(jìn)行合理切片，片段長(zhǎng)短選取既要保證不損失數(shù)據(jù)特征，又要降低數(shù)據(jù)浪費(fèi).

(3) 異常子序列探測(cè).行人在發(fā)生各種特征行為前，往往是處于一種相對(duì)穩(wěn)定的狀態(tài)，比如靜止、勻速行走等.在此，將某些關(guān)鍵性行為發(fā)生時(shí)所觀測(cè)的傳感器數(shù)據(jù)視為異常數(shù)據(jù)序列.在一組傳感器數(shù)據(jù)序列中提取出行為數(shù)據(jù)即探測(cè)數(shù)據(jù)序列中的異常數(shù)據(jù)序列，并將探測(cè)結(jié)果用于特征值提取.有2種探測(cè)方法.

一是3σ探測(cè).通過(guò)大量實(shí)驗(yàn)分析發(fā)現(xiàn)，在絕大多數(shù)組數(shù)據(jù)中，有以下規(guī)律：數(shù)據(jù)中至少有99.7%左右的數(shù)據(jù)位于平均數(shù)±3個(gè)標(biāo)準(zhǔn)差(σ)范圍內(nèi).一般將3σ以外的探測(cè)數(shù)據(jù)稱為異常值.

(1)

異常值序列Xoutlier為

(2)

由于行人傳感器數(shù)據(jù)采集頻率較高，采集數(shù)據(jù)量較大，計(jì)算整組數(shù)據(jù)往往會(huì)掩蓋數(shù)據(jù)特征，極易引起探測(cè)誤差.考慮持續(xù)時(shí)間長(zhǎng)短不一的行為，設(shè)計(jì)使用30 s和1 s的大、小滑動(dòng)窗口進(jìn)行數(shù)據(jù)切片，相鄰窗口均有50%重疊，分別計(jì)算各個(gè)窗口數(shù)據(jù)特征，探測(cè)各個(gè)窗口可能出現(xiàn)的異常值.探測(cè)結(jié)束后，以異常值為中心，重新設(shè)置、擴(kuò)充窗口，提取該窗口下的數(shù)據(jù)序列，用于特征值提取.滑動(dòng)窗口、擴(kuò)充窗口大小依據(jù)試驗(yàn)經(jīng)驗(yàn)進(jìn)行設(shè)置.

二是利用四分位數(shù)進(jìn)行異常探測(cè).使用滑動(dòng)窗口(四分位數(shù)異常探測(cè)過(guò)程中窗口大小可適當(dāng)擴(kuò)大，該方法適合處理大規(guī)模數(shù)據(jù))進(jìn)行異常值探測(cè)，將窗口內(nèi)數(shù)據(jù)按照從小到大排序，其中位于25%處數(shù)值為上四分位，用Vfl表示，75%處為下四分位，用Vfu表示，計(jì)算上、下截?cái)帱c(diǎn)時(shí)序數(shù)據(jù)的幅值.

上截?cái)帱c(diǎn)時(shí)序數(shù)據(jù)的幅值d1為

d1=Vfl-kVfl-Vfu

(3)

下截?cái)帱c(diǎn)時(shí)序數(shù)據(jù)的幅值d2為

d2=Vfu+kVfl-Vfu

(4)

式中：參數(shù)k并非固定值，可以依據(jù)經(jīng)驗(yàn)進(jìn)行調(diào)整.將小于d1或者大于d2的數(shù)據(jù)稱為異常值.探測(cè)結(jié)束后同樣以異常點(diǎn)為中心，設(shè)置數(shù)據(jù)擴(kuò)充窗口，抽取異常數(shù)據(jù)序列.

(4) 特征值提取.手機(jī)傳感器采集的為離散數(shù)據(jù)量，通過(guò)單點(diǎn)數(shù)據(jù)無(wú)法分析行人行為特征，需對(duì)抽取的異常子序列進(jìn)行特征運(yùn)算.考慮傳感器輸出的均為載體坐標(biāo)系下數(shù)據(jù)，在不同設(shè)備姿態(tài)下，單軸傳感器數(shù)據(jù)面臨較大的不確定性，因此選用總的加速度、角速度用于特征計(jì)算.當(dāng)行人進(jìn)行某些動(dòng)作時(shí)，軀干呈現(xiàn)一定幅度變化，三軸總加速度也表現(xiàn)出不同特征，比如跑步、上樓等，使用總加速度平均值、標(biāo)準(zhǔn)差、最大值、最小值、峰度和偏度對(duì)這些行為具有很好的區(qū)分效果；行人進(jìn)行與方向變化有關(guān)的動(dòng)作時(shí)，比如轉(zhuǎn)彎、掉頭等，使用三軸總角速度的此類特征也能夠?qū)@些行為有較好的區(qū)分.針對(duì)行人加、減速過(guò)程，提出一種利用總加速度波峰檢測(cè)結(jié)果分析峰值變化走向分析運(yùn)動(dòng)趨勢(shì)的特征量.

平均值為

(5)

方差為

(6)

最大值為

Vmax=max(X)

(7)

最小值為

Vmin=min(X)

(8)

峰度為

(9)

偏度為

(10)

波峰趨勢(shì)為

Vtrend=f(xmax 1,xmax 2,xmax 3,…)

(11)

式中：X為總加速度或角速度序列；min和max分別表示求向量的最小值和最大值的函數(shù)；xmax 1、xmax 2、xmax 3表示窗口內(nèi)所有波峰值；f表示獲取擬合波峰向量得到的直線的斜率的函數(shù).

2 行為解析

2.1 行人異常行為解析

當(dāng)室內(nèi)發(fā)生火災(zāi)時(shí)，由于面臨著各種突發(fā)情況,行人往往伴隨各種異常行為.不同的應(yīng)激性行為手機(jī)內(nèi)置傳感器輸出的數(shù)據(jù)信息往往帶有不同的特征.針對(duì)火災(zāi)這一特定情境進(jìn)行行為模擬試驗(yàn)，圖2即為可能出現(xiàn)的異常行為的模擬試驗(yàn)數(shù)據(jù)特征.行人在摔倒和下蹲時(shí)(圖3)加速度發(fā)生突變，加速、減速過(guò)程加速度波峰呈清晰的上升和下降趨勢(shì)，靜止、跑步、爬行和下蹲走則在加速度幅值上有些較大差異，但是爬行和下蹲走(圖4、5)過(guò)程中數(shù)據(jù)起伏雜亂程度又有所區(qū)別.正是不同動(dòng)作數(shù)據(jù)所呈現(xiàn)的不同特征，為動(dòng)作識(shí)別、分類提供了可能.另外，借助此類行為的識(shí)別，可以進(jìn)一步推估行人當(dāng)前的生理、心理狀態(tài)，比如加速可能表明行人在危險(xiǎn)迫近時(shí)的恐慌，摔倒、靜止表明可能出現(xiàn)受傷等情況，爬行和下蹲走的識(shí)別可判斷行人正處于危險(xiǎn)之中等.

圖2 加速、減速時(shí)總加速度變化

Fig.2Accelerationdatacharacteristicsofaccelerationanddeceleration

圖3 摔倒、下蹲時(shí)總加速度變化

圖4 常速、靜止、跑步時(shí)總加速度變化

Fig.4Accelerationdatacharacteristicsofwalkingatnormalspeed,staticandrunning

圖5 爬行、下蹲走時(shí)總加速度變化

Fig.5Accelerationdatacharacteristicsofcrawl,squat&moving

2.2 反映位置狀態(tài)細(xì)粒度行為解析

反映位置狀態(tài)的關(guān)鍵行為是指室內(nèi)火災(zāi)行人在逃生過(guò)程中，經(jīng)過(guò)某些特殊點(diǎn)位、區(qū)域時(shí)，手機(jī)內(nèi)置傳感器輸出數(shù)據(jù)會(huì)表現(xiàn)出一定的特征，通過(guò)對(duì)此類特征的分析，既能獲取行人當(dāng)前的位置信息，又一定程度上反映了室內(nèi)逃生通道、出口的安全性、可用性，為室內(nèi)實(shí)時(shí)應(yīng)急疏散決策提供了豐富的信息.具體包括樓梯、電梯、扶梯、轉(zhuǎn)角、門窗等。有關(guān)加速度變化情況見(jiàn)圖6、7、8.

圖6 乘坐廂式電梯時(shí)總加速度變化

圖7 樓梯上、下行時(shí)總加速度變化

圖8 轉(zhuǎn)角、掉頭時(shí)角速度變化

Fig.8Angularvelocitydatacharacteristicsofmakingaturnandturninground

3 行為識(shí)別與匹配

3.1 機(jī)器學(xué)習(xí)分類試驗(yàn)

采用的分類算法，包括決策樹、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯、向量空間模型、集成學(xué)習(xí)、基于關(guān)聯(lián)規(guī)則等.選取決策樹中C4.5算法、隨機(jī)森林(RandomForest)、支持向量機(jī)(SVM)、樸素貝葉斯(NaiveBayes)、邏輯斯蒂回歸(Logistic)以及基于實(shí)例分類器中最鄰近算法(KNN)進(jìn)行行為識(shí)別分析,其簡(jiǎn)介如表2.

行人傳感器數(shù)據(jù)采集數(shù)據(jù)量往往很大，人工進(jìn)行異常序列、特征值提取存在較大困難，需借助高性能計(jì)算機(jī)進(jìn)行統(tǒng)計(jì)機(jī)器學(xué)習(xí).利用計(jì)算機(jī)實(shí)現(xiàn)數(shù)據(jù)批量處理，將采集的大量先驗(yàn)數(shù)據(jù)訓(xùn)練成可靠性、準(zhǔn)確度高的預(yù)測(cè)模型，對(duì)未知數(shù)據(jù)借助模型進(jìn)行分類、聚類等.本文主要利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)行人行為識(shí)別，即行為分類過(guò)程.具體分類流程如圖9所示.

表2 不同分類算法簡(jiǎn)介

圖9 基于分類器的行為識(shí)別流程

3.2 基于KeyDTW算法的行為匹配

基于Key-DTW算法用于衡量2個(gè)離散序列的相似程度，該算法可以用于計(jì)算不同長(zhǎng)度序列的相似度，能夠?qū)π蛄械难诱古c壓縮有較好的適應(yīng)性.在行人特殊行為識(shí)別過(guò)程中，不同行為主體完成某一行為往往帶有較大的時(shí)間差異性，但傳感器數(shù)據(jù)特征仍保持有較大的相似性，因此，可以借助該算法對(duì)相同行為進(jìn)行判別.

對(duì)于M維關(guān)鍵點(diǎn)序列的行為參考向量R和W維關(guān)鍵點(diǎn)序列的行為向量T(M不一定等于W).構(gòu)造矩陣AMⅹW，矩陣中每個(gè)數(shù)表示2個(gè)序列中對(duì)應(yīng)值的歐氏距離.搜尋最短路徑，即1組相鄰的矩陣元素的集合，記為P={p1,p2,p3,…，pl}，其中P滿足以下條件：

(1)l∈[max(M,W),M+W-1].

(2)p1=a11,pl=aMN.

(12)

式中:m、M′表示序列R中元素序號(hào)；w、W′表示序列T中元素序號(hào)；amw表示2序列中第m和w個(gè)元素的歐氏距離；D(R,T)為2向量最終距離累加量；D(m,w)為路徑最小累加值.整個(gè)Key-DTW度量過(guò)程中僅使用行為觀測(cè)數(shù)據(jù)序列中的關(guān)鍵點(diǎn)，極大減少了數(shù)據(jù)存儲(chǔ)量，提高了計(jì)算速度.

基于key-DTW算法的行為匹配分為2個(gè)階段：離線行為參考向量庫(kù)構(gòu)建和在線行為識(shí)別階段.離線階段是通過(guò)采集大量行為數(shù)據(jù)，訓(xùn)練產(chǎn)生出最佳的每種行為的參考向量；在線階段通過(guò)傳感器采集數(shù)據(jù)，對(duì)出現(xiàn)特征的行為數(shù)據(jù)進(jìn)行提取，利用key-DTW算法將提取特征數(shù)據(jù)同參考向量庫(kù)中的各個(gè)行為向量進(jìn)行相似度計(jì)算，得到最優(yōu)的行為匹配結(jié)果.具體流程如圖10所示.

圖10 基于Key-DTW算法的行為匹配流程

4 試驗(yàn)結(jié)果與討論

(1) 異常探測(cè)試驗(yàn).分別使用3σ探測(cè)和四分位數(shù)異常探測(cè)法對(duì)1組包含100次異常行為數(shù)據(jù)組進(jìn)行探測(cè)試驗(yàn).比較探測(cè)結(jié)果表明，使用四分位法進(jìn)行異常探測(cè)有著更高的正確率，能夠達(dá)到96%左右的準(zhǔn)確探測(cè)，具體結(jié)果如表3所示.

表3 異常探測(cè)方法結(jié)果比較

(2) 行為分類試驗(yàn).火災(zāi)行為模擬試驗(yàn)均是在夜間照明條件較差的樓道進(jìn)行，以模擬火災(zāi)室內(nèi)煙氣條件下能見(jiàn)度低的環(huán)境；行人均保持較高的移動(dòng)頻率，以模擬真實(shí)環(huán)境下恐慌急躁心理.試驗(yàn)中3名身高不一的自愿者于3處不同位置攜帶3臺(tái)設(shè)備進(jìn)行數(shù)據(jù)收集工作，篩選處理后共保留1 377組不同行為數(shù)據(jù)樣本，利用WEKA平臺(tái)對(duì)數(shù)據(jù)進(jìn)行分析處理.分類處理過(guò)程使用10-fold cross-validation方法來(lái)測(cè)試不同分類算法準(zhǔn)確性，即將數(shù)據(jù)集分成10份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)，1份作為測(cè)試數(shù)據(jù).圖11顯示的為不同設(shè)備位置使用不同分類器試驗(yàn)結(jié)果，結(jié)果顯示手持使用時(shí)數(shù)據(jù)特征保持更為完整，具有更高的分類準(zhǔn)確率.

由表4中分類準(zhǔn)確率可以看出在決策樹類別下的算法，準(zhǔn)確度均超過(guò)了90%.其中RandomForest算法達(dá)到了92.88%，是6個(gè)算法中最高的.最小序列優(yōu)化(SMO)、NaiveBayes算法和Logistic算法的分類準(zhǔn)確度均超過(guò)了80%，而IBK算法分類效果較差，只獲得了68.19%左右的準(zhǔn)確度.從分類模型建立效率來(lái)看，各算法之間的差異不是很大.根據(jù)其分類時(shí)間長(zhǎng)度可以分為2組，第1組為RandomForest、Logistic算法，需要的時(shí)間較長(zhǎng)；第2組包括J48、SMO、IBK、NaiveBayes算法，該組算法的效率比第1組高約10倍以上，耗時(shí)可不計(jì).

圖11 設(shè)備處于不同位置時(shí)分類器識(shí)別準(zhǔn)確率

Fig.11Recognitionaccuracyofdifferentclassifierindifferentpositionsofdevice

表4 不同分類器正確率和效率

(3) 行為匹配實(shí)驗(yàn).提取出異常行為數(shù)據(jù)序列后，分別使用歐氏距離、DTW距離、Key-DTW距離將異常行為序列同參考行為向量進(jìn)行相似性比較，分析對(duì)比試驗(yàn)耗時(shí)和匹配結(jié)果準(zhǔn)確性.具體結(jié)果如表5所示.

5 結(jié)論

針對(duì)室內(nèi)火災(zāi)情境下行人安全監(jiān)控缺失問(wèn)題，提出了一種基于手機(jī)多源傳感器的室內(nèi)火災(zāi)行人細(xì)粒度行為識(shí)別與匹配的方法.以內(nèi)置多源傳感器數(shù)據(jù)為基礎(chǔ)，借助基于分類算法構(gòu)建的分類模型完成行人應(yīng)激性行為識(shí)別；對(duì)于持久性動(dòng)作序列，則是利用Key-DTW算法實(shí)現(xiàn)相似性行為匹配.最后，通過(guò)對(duì)行人細(xì)粒度行為理解以完成對(duì)行人即時(shí)心理、生理、位置狀態(tài)的監(jiān)控.

表5 行為匹配結(jié)果

注：“+”表示匹配正確，“-”表示匹配錯(cuò)誤.