基于人體運(yùn)動(dòng)識(shí)別約束的室內(nèi)定位方法

李嘉智,劉 寧,節(jié)笑晗,王靖驍,趙 輝

(北京信息科技大學(xué) 高動(dòng)態(tài)導(dǎo)航技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100192)

0 引 言

隨著科技的發(fā)展與進(jìn)步,以高精度定位和導(dǎo)航為核心的位置服務(wù)(Location Based Service,LBS)[1]在人們的日?；顒?dòng)中應(yīng)用廣泛。但在室內(nèi)環(huán)境下,建筑物的遮擋和內(nèi)部環(huán)境的干擾使導(dǎo)航定位存在盲區(qū),位置精度嚴(yán)重發(fā)散。因此,如何在室內(nèi)遮蔽環(huán)境下獲得高精度的位置信息,成為當(dāng)前研究的熱點(diǎn)與重點(diǎn)[2]。常見的主流定位方法有WiFi定位[3]、藍(lán)牙定位[4]、超寬帶定位[5]等。李景文等[6]提出了一種超寬帶無線定位(Ultra-wide Band,UWB)和行人航跡推算(Pedestrian Dead Reckoning,PDR)相結(jié)合的一種高精度定位技術(shù),與單一定位方法相比精度有明顯提高。Zhan等[7]提出了一種基于擴(kuò)展卡爾曼濾波的WiFi-PDR融合室內(nèi)定位方法,在PDR定位的基礎(chǔ)上通過采集WiFi指紋位置信息并建立指紋庫來降低定位誤差。上述研究均為融合WiFi、UWB等外部設(shè)備,但是在一些地震災(zāi)區(qū)、火災(zāi)現(xiàn)場、深山森林等場地,沒有足夠的條件來安置這些外部設(shè)備。鐘立揚(yáng)等[8]提出了一種以衛(wèi)星測距為基礎(chǔ),建立個(gè)體步長數(shù)據(jù)庫來替代步長模型的方法,約束步長的誤差來提高定位精度,但是個(gè)體步長數(shù)據(jù)庫需要龐大的數(shù)據(jù)作為支撐,且人的身形差異較大,實(shí)施起來有一定的難度。鄭秋菊等[9]提出了一種依據(jù)行為分類的人員軌跡盲推方法,根據(jù)識(shí)別出手機(jī)的3種方式(手持條件下、口袋中、自由晃動(dòng))對(duì)人員的位置進(jìn)行估計(jì),定位精度得到了有效提高,但是沒有完全考慮人員的多種運(yùn)動(dòng)狀態(tài)。

綜上所述,并考慮到在一些復(fù)雜環(huán)境下WiFi、UWB等外部設(shè)施實(shí)現(xiàn)困難的情況,本文提出一個(gè)基于神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)識(shí)別輔助室內(nèi)定位的方法(Human Activity Recognition-PDR,HAR-PDR),使用簡單的加速度計(jì)陀螺儀等器件完成數(shù)據(jù)采集,實(shí)現(xiàn)人員運(yùn)動(dòng)識(shí)別和航跡推算。首先利用加速度計(jì)、陀螺儀等器件采集加速度、角速度等數(shù)據(jù),通過神經(jīng)網(wǎng)絡(luò)識(shí)別人體的運(yùn)動(dòng)狀態(tài)并完成分類,然后根據(jù)不同運(yùn)動(dòng)狀態(tài)下的加速度特征,設(shè)置不同的參數(shù)約束閾值、步長等參數(shù),利用人體的運(yùn)動(dòng)特征優(yōu)化PDR軌跡,實(shí)現(xiàn)高精度的室內(nèi)定位。

1 總體架構(gòu)描述

由于日常的行為活動(dòng)中人體的運(yùn)動(dòng)狀態(tài)復(fù)雜多變,不同運(yùn)動(dòng)狀態(tài)下的步長、步頻等均不相同,僅僅憑靠單純的PDR技術(shù)定位誤差會(huì)越來越大,難以滿足高精度的定位需求。本文提出的方法首先是利用三層卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和兩層門控循環(huán)單元(Gated Recurrent Unit,GRU)構(gòu)建出動(dòng)作識(shí)別網(wǎng)絡(luò)模型,在自建數(shù)據(jù)集上進(jìn)行驗(yàn)證,數(shù)據(jù)集中動(dòng)作的準(zhǔn)確率可以達(dá)到99.6%,滿足日常運(yùn)動(dòng)狀態(tài)的識(shí)別與分類。將識(shí)別出的動(dòng)作分類結(jié)果應(yīng)用到PDR算法,根據(jù)不同的閾值參數(shù)調(diào)整不同運(yùn)動(dòng)狀態(tài)下的步長、步數(shù)等關(guān)鍵參數(shù),縮小定位誤差,提高定位精度。整體框架流程如圖1所示。

圖1 HAR-PDR總體框架Fig.1 Overall framework of HAR-PDR

2 人體運(yùn)動(dòng)識(shí)別算法

傳統(tǒng)的人體動(dòng)作識(shí)別技術(shù)如樸素貝葉斯[10]、支持向量機(jī)[11]和隨機(jī)森林[12]等算法在提取特征時(shí)采用的是人工提取,工作量大,效率低,設(shè)計(jì)的時(shí)候還有一定的主觀性,當(dāng)處理大量繁雜、非線性數(shù)據(jù)時(shí)往往達(dá)不到預(yù)期的效果。神經(jīng)網(wǎng)絡(luò)的應(yīng)用則很好地解決了這一問題。目前常用的網(wǎng)絡(luò)有卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)。

2.1 人體運(yùn)動(dòng)識(shí)別網(wǎng)絡(luò)模型

本文提出的網(wǎng)絡(luò)模型主要由3層CNN和2層門控循環(huán)單元循環(huán)層組成。卷積神經(jīng)網(wǎng)絡(luò)的核心是卷積層,主要作用是提取圖像特征,將每一塊內(nèi)容進(jìn)行更深入的分析從而得到抽象程度更高的特征。在確定卷積核的數(shù)量時(shí),本文使用WISDM數(shù)據(jù)集,網(wǎng)絡(luò)結(jié)構(gòu)為3層卷積神經(jīng)網(wǎng)絡(luò),測試了16,32,64和128個(gè)卷積核數(shù)量,訓(xùn)練次數(shù)為300次,結(jié)果如圖2所示。圖2(a)為不同卷積核下的識(shí)別準(zhǔn)確率,圖2(b)為不同卷積核下的損失函數(shù)值。測試中,卷積核為64時(shí)效果最佳,繼續(xù)增大到128或更高時(shí),損失值的收斂速度和準(zhǔn)確率相較于64持平,但是參數(shù)成倍數(shù)增多,每輪訓(xùn)練時(shí)間大幅增加,所以最終卷積核數(shù)量確定為64,卷積核大小為3。每個(gè)卷積層中卷積核數(shù)量和大小都是相同的,這樣可以學(xué)習(xí)到更多的非線性特征。卷積層中的激活函數(shù)為RELU ,池化方式分為最大池化和平均池化兩種。為了提取到數(shù)據(jù)集中的最顯著的特征,本文使用的是最大池化方式。

圖2 不同卷積核對(duì)準(zhǔn)確率和損失函數(shù)的影響Fig.2 Influence of different convolutional kernels on accuracy and loss function

由于CNN提取特征每一段都是獨(dú)立的,沒有考慮數(shù)據(jù)段之間的聯(lián)系性,而循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于捕捉時(shí)間尺度上的依賴關(guān)系,通過前一時(shí)刻和后一時(shí)刻的狀態(tài)來更加精準(zhǔn)的判斷出當(dāng)前時(shí)刻的狀態(tài)。門控循環(huán)單元是為了克服RNN中出現(xiàn)的梯度消失和爆炸問題提出的,相對(duì)長短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)來說,它的作用效果相當(dāng),網(wǎng)絡(luò)結(jié)構(gòu)卻更簡單,參與運(yùn)算的參數(shù)和運(yùn)算時(shí)占用的內(nèi)存也更少,速度也更快。

以訓(xùn)練的WISDM數(shù)據(jù)集為例,使用的網(wǎng)絡(luò)結(jié)構(gòu)為3層卷積層和2層循環(huán)層的組合模型,在相同的環(huán)境下,在循環(huán)層用控制變量法對(duì)比LSTM和GRU,實(shí)驗(yàn)結(jié)果如圖3和表1所示。LSTM為循環(huán)層時(shí)訓(xùn)練50次左右損失函數(shù)收斂,而GRU為循環(huán)層時(shí)訓(xùn)練20次左右即可收斂,并且準(zhǔn)確率和LSTM相持平,所以用GRU網(wǎng)絡(luò)代替LSTM來執(zhí)行循環(huán)體部分的功能。GRU循環(huán)層的神經(jīng)元數(shù)量為32。

表1 GRU與LSTM單層參數(shù)對(duì)比Tab.1 Single layer parameters comparison between GRU and LSTM

圖3 GRU和LSTM損失函數(shù)收斂性比較Fig.3 Convergence comparison between GRU and LSTM loss functions

2.2 實(shí)驗(yàn)結(jié)果驗(yàn)證

仿真實(shí)驗(yàn)環(huán)境：電腦系統(tǒng)Wisdom 10,CPU型號(hào)為Intel(R) Core(TM) i7-10750H,運(yùn)行內(nèi)存16 GB;GPU為NVIDIA GeForce GTX 1650;使用的算法是在機(jī)器學(xué)習(xí)的TensorFlow框架內(nèi)實(shí)現(xiàn)。在對(duì)數(shù)據(jù)集樣本訓(xùn)練時(shí),使用ADMA優(yōu)化器,學(xué)習(xí)率設(shè)置為0.001。

本文驗(yàn)證測試采用WISDM[13]、UCI HAR[14]、PAMAP2[15]3種數(shù)據(jù)集。WISDM數(shù)據(jù)集中包括了步行、慢跑、上樓、下樓、站立、坐下共6種動(dòng)作。UCI HAR數(shù)據(jù)集采用其中的6種動(dòng)作,即坐、站、躺、上樓、下樓、走路。PAMAP2數(shù)據(jù)集包含了12項(xiàng)動(dòng)作,包括一些簡單的動(dòng)作(如平躺、站立和行走)和復(fù)雜的動(dòng)作(如跳繩、折疊衣服和開車)。在本文的測試中,主要使用其中的9種動(dòng)作進(jìn)行測試。這些數(shù)據(jù)集中70%的數(shù)據(jù)用作訓(xùn)練集,30%的數(shù)據(jù)用作測試集。在本文提出的模型中對(duì)3個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練,選取最終穩(wěn)定后的結(jié)果,其準(zhǔn)確率如圖4所示。

此外,本文還對(duì)比了其他網(wǎng)絡(luò)結(jié)構(gòu)下3種數(shù)據(jù)集的準(zhǔn)確率,具體數(shù)值如表2所示。

表2 不同網(wǎng)絡(luò)模型準(zhǔn)確率對(duì)比Tab.2 Accuracy comparison among different network models

本文網(wǎng)絡(luò)模型和單類型的卷積神經(jīng)網(wǎng)絡(luò)、SVM相比,識(shí)別準(zhǔn)確率有明顯提升。這是因?yàn)镃NN-GRU絡(luò)模型能夠充分提取特征,充分考慮序列之間的相關(guān)信息。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的網(wǎng)絡(luò)模型可以有效地對(duì)人體的運(yùn)動(dòng)狀態(tài)進(jìn)行識(shí)別分類。

3 基于運(yùn)動(dòng)狀態(tài)識(shí)別的行人航跡推算

PDR技術(shù)是利用行人行走的步態(tài)特征,在得到初始坐標(biāo)的基礎(chǔ)上,根據(jù)陀螺儀、加速度計(jì)等慣性器件采集的數(shù)據(jù),解算出航向和步長,通過迭代累計(jì)推算出定位軌跡。

(1)

式中：(xk,yk)是tk時(shí)刻的位置坐標(biāo);lk,θk是tk時(shí)行走一步的步長和航向角;(xk+1,yk+1)是下tk+1時(shí)的位置坐標(biāo)。

3.1 航向角估計(jì)

航向角的解算是實(shí)現(xiàn)精確定位的關(guān)鍵一步,本文使用加速度計(jì)和磁力計(jì)聯(lián)合計(jì)算航向角。首先通過加速度計(jì)數(shù)據(jù)ax,ay,az計(jì)算橫滾角γ和俯仰角θ：

(2)

(3)

然后利用γ和θ將b系下的磁力計(jì)數(shù)據(jù)轉(zhuǎn)換到n系下,如公式(4)所示,其中Hx,Hy,Hz和hx,hy,hz分別是n和b坐標(biāo)系下的三軸磁力計(jì)數(shù)據(jù) 。

(4)

最后利用三角函數(shù)進(jìn)行轉(zhuǎn)換即可獲得當(dāng)前位置的航向角ψ：

(5)

3.2 多運(yùn)動(dòng)狀態(tài)下步長估計(jì)

在PDR系統(tǒng)中,步態(tài)、步長、航向角是實(shí)現(xiàn)室內(nèi)定位的三要素,而步長計(jì)算是否準(zhǔn)確直接會(huì)影響定位的精度,隨著時(shí)間的積累,位置誤差的積累也會(huì)逐漸擴(kuò)大。在復(fù)雜環(huán)境下有多種運(yùn)動(dòng)狀態(tài),且不同運(yùn)動(dòng)狀態(tài)下步長也是不同的,所以選擇合適的步長模型至關(guān)重要。常見的步長模型有常量模型、線性模型和非線性模型等。在多運(yùn)動(dòng)情況下,不同的運(yùn)動(dòng)狀態(tài)下加速度值和步頻都不相同。本文提出將兩種步長模型融合解算步長,針對(duì)行走、跨步、慢跑等速度較慢的運(yùn)動(dòng),采用線性模型Length(1);對(duì)快跑、跳躍等加速度值較大的運(yùn)動(dòng),采用非線性模型Length(2),表示如下：

(6)

Length(1)中：f表示步頻;σ2表示加速度模的方差;α,β,γ為常數(shù),通過訓(xùn)練得到。

Length(2)中：k為系數(shù),通過訓(xùn)練獲得;amax和amin分別為加速度的最大和最小值。

3.3 多運(yùn)動(dòng)狀態(tài)下步數(shù)檢測

傳統(tǒng)的步數(shù)檢測方法有峰值檢測、過零檢測、歸一化步數(shù)檢測等?？紤]到多運(yùn)動(dòng)狀態(tài)下波形的復(fù)雜變化,單一的檢測方式已經(jīng)滿足不了對(duì)步數(shù)的精準(zhǔn)記數(shù),所以本文將人體運(yùn)動(dòng)數(shù)據(jù)特征和峰值檢測、時(shí)間閾值檢測相結(jié)合,利用波峰之間的時(shí)間間隔和閾值大小去除偽波峰。

首先對(duì)合加速度數(shù)據(jù)進(jìn)行四階低通濾波器處理,截至頻率為0.2π。

(7)

然后根據(jù)公式(8)和(9)獲取峰值點(diǎn),其中,acci是檢測到的峰值點(diǎn),thpeak是設(shè)置的峰值閾值。

peaki={acci|acci>acci-1&acci>acci+1}

(8)

peaki>thpeak

(9)

同時(shí)利用時(shí)間閾值,檢測方式如公式(10),thtime是設(shè)置的最小間隔時(shí)間閾值,當(dāng)?shù)陀谶@個(gè)數(shù)值的時(shí)候?qū)⒄J(rèn)為存在偽波峰。

tn-tn-1>thtime

(10)

在多運(yùn)動(dòng)狀態(tài)下步數(shù)檢測中,由于不同運(yùn)動(dòng)狀態(tài)的峰值和每步的間隔距離都不盡相同,具體數(shù)值如表3所示,因此,根據(jù)識(shí)別到的不同的運(yùn)動(dòng)模式設(shè)置不同的閾值參數(shù)可以有效提高步數(shù)檢測精度。圖5為4種不同動(dòng)作下運(yùn)動(dòng)步數(shù)的檢測結(jié)果,單一的檢測方式不再適用多種運(yùn)動(dòng)模式而導(dǎo)致出現(xiàn)漏檢,而本文提出的方法則很好地適應(yīng)多運(yùn)動(dòng)下的步數(shù)檢測。

表3 不同運(yùn)動(dòng)狀態(tài)下的參數(shù)Tab.3 Parameters in different moving states

圖5 峰值檢測結(jié)果Fig.5 Peak value detection results

4 實(shí)驗(yàn)結(jié)果與分析

本文以榮耀V30手機(jī)作為實(shí)驗(yàn)平臺(tái),通過手機(jī)內(nèi)置的傳感器采集實(shí)驗(yàn)數(shù)據(jù),采集頻率設(shè)定為100 Hz。本次實(shí)驗(yàn)數(shù)據(jù)由年齡在22～26歲之間的10名男性和2名女性采集完成,數(shù)據(jù)集使用六軸IMU(加速度計(jì)、陀螺儀)采集走、跑、跳、跨步4種動(dòng)作。其中,其中行走數(shù)據(jù)為93 959,跑步為65 735,跳為51 232,跨步60 335。

4.1 人體運(yùn)動(dòng)識(shí)別驗(yàn)證

在本文構(gòu)建的CNN-GRU網(wǎng)絡(luò)模型下對(duì)自建數(shù)據(jù)集進(jìn)行識(shí)別分類,如圖6所示,準(zhǔn)確率可達(dá)99.6%。

圖6 自建數(shù)據(jù)集訓(xùn)練結(jié)果Fig.6 Training result of the built dataset

混淆矩陣是一種可視化的用來呈現(xiàn)算法性能的矩陣,又稱為錯(cuò)誤矩陣或可能性表格,主要用于顯示分類結(jié)果。圖7為自建數(shù)據(jù)集的混淆矩陣,可以看出,4種動(dòng)作均可以準(zhǔn)確地識(shí)別分類,動(dòng)作“走”和“跨步”可以100%識(shí)別,動(dòng)作“跑”和“跳”由于加速度數(shù)據(jù)上相似,存在較小的誤判,但對(duì)定位效果影響較小,總體達(dá)到了需求目標(biāo)。

圖7 自建數(shù)據(jù)集混淆矩陣Fig.7 Confusion matrix of the built dataset

圖8 實(shí)驗(yàn)結(jié)果Fig.8 Experiment results

4.2 基于運(yùn)動(dòng)識(shí)別約束的室內(nèi)定位實(shí)驗(yàn)

對(duì)本文提出的基于神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)識(shí)別輔助室內(nèi)定位的算法進(jìn)行實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)路徑是建筑物內(nèi)的一段矩形路線,路線長為40 m,寬為16 m,總長度為112 m,實(shí)驗(yàn)中共有走、跑、跳、跨步4種動(dòng)作。實(shí)驗(yàn)結(jié)果如圖 8所示,傳統(tǒng)的PDR方法路徑偏移嚴(yán)重,路線距離是131.9 m,位置誤差為19.9 m,誤差百分比為17.8%;本文HAR-PDR定位路線總距離為113.8 m,誤差為1.8 m,誤差百分比為1.6%。

由于人的行為動(dòng)作之間的差異性,每種動(dòng)作的誤差各不相同,累計(jì)總誤差為3.4 m,每段具體誤差數(shù)據(jù)如見表4。

表4 不同動(dòng)作下的距離誤差Tab.4 Distance error under different activities

在實(shí)驗(yàn)測試中,可以發(fā)現(xiàn)傳統(tǒng)PDR方法的相對(duì)路徑誤差較大,這是因?yàn)樵诙喾N運(yùn)動(dòng)狀態(tài)下,不同的運(yùn)動(dòng)情況其步長、加速度峰值、每步的間隔時(shí)間等參數(shù)都不盡相同。傳統(tǒng)PDR方法不僅在步數(shù)檢測方面存在較大誤差,而且不同的運(yùn)動(dòng)狀態(tài)下的步長不能自適應(yīng)調(diào)節(jié)。在行、跑、跳、跨步4種運(yùn)動(dòng)中,跑步時(shí)的加速度峰值最高,跨步的步頻最低,這些參數(shù)的不同導(dǎo)致了“跑”和“跳”時(shí)傳統(tǒng)PDR解算的步長比真實(shí)步長數(shù)值偏大,“跨步”階段的距離偏短,所以傳統(tǒng)的PDR算法會(huì)導(dǎo)致路徑的累計(jì)誤差越來越大,而有運(yùn)動(dòng)識(shí)別約束的PDR算法會(huì)根據(jù)不同運(yùn)動(dòng)狀態(tài)下閾值參數(shù)修正步長和步數(shù)檢測,來減小定位誤差。

5 結(jié)束語

本文提出了一種基于運(yùn)動(dòng)識(shí)別輔助室內(nèi)定位的方法,通過識(shí)別人體的運(yùn)動(dòng)狀態(tài),自適應(yīng)地檢測步數(shù)和調(diào)整步長模型,實(shí)現(xiàn)了較為理想的定位精度,定位誤差為1.8 m,遠(yuǎn)高于傳統(tǒng)PDR的19.9 m,滿足日常定位需要。

后續(xù)研究將考慮加入更多的運(yùn)動(dòng)類型,以便在復(fù)雜環(huán)境下實(shí)現(xiàn)更準(zhǔn)確的定位,提高HAR-PDR的實(shí)際應(yīng)用價(jià)值。