基于KinectV2的跌倒行為檢測與分析

李文陽 馬行 穆春陽

關(guān)鍵詞： Kinect V2; RGB?D; 骨骼圖像; 閾值分析; 意外跌倒; 實時檢測

中圖分類號： TN911.23?34 ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）06?0142?04

Abstract： The Kinect V2 somatosensory equipment is used to detect and identify the fall behavior of the elderly， so as to reduce the casualties caused by falls of the elderly as much as possible. The human body skeleton image and position information are obtained by processing the RGB?D images acquired by the Kinect camera. The skeleton tracking technology is used to select skeleton points such as the center point of the human body， center point of two hips， and right foot sole， so as to calculate the parameters such as the center point spatial position of the human body， body movement speed， position of the center point of two hips， and height of the center point of two hips from the ground in real time. The speed threshold and height threshold during the falling are emphatically analyzed in this paper. A large number of verification experiments were carried out. The results show that the algorithm proposed in this paper has a high real?time performance in the indoor environment， can overcome the problems of low detection rate and poor real?time performance of the traditional video detection technology， effectively protect the privacy of the elderly during the detection process， and perform real?time detection continuously， which can provide security assurance for accidental falls of the elderly.

Keywords： Kinect V2; RGB?D; skeleton image; threshold analysis; accidental fall; real?time detection

0 ?引 ?言

隨著我國人口老齡化進(jìn)程的加速，根據(jù)數(shù)據(jù)顯示預(yù)計到2050年，中國老齡化人口將達(dá)到4.5億人，約占總?cè)丝赱1]的[13]。然而跌倒已成為我國傷害死亡的第四位原因，在65歲以上的老年人中占首位，并且死亡率隨著年齡增加而急劇上升，此外還可能導(dǎo)致大量殘疾，影響身心健康。根據(jù)Noury等人的研究[2]，如果老年人在跌倒后能得到有效的救助，可以有效降低老年人死亡的風(fēng)險，因此在室內(nèi)對老年人跌倒檢測是一項具有實際意義的事情。傳統(tǒng)的對老人跌倒檢測方法有以下3種方法：

1） 利用穿戴式傳感器來檢測人體跌倒[3];

2） 視頻圖像分析法[4];

3） 基于Android手機(jī)內(nèi)置傳感器檢測法[5]。

本文將Kinect V2用于室內(nèi)人體檢測，利用骨骼跟蹤技術(shù)和RGB?D相結(jié)合的方法可以進(jìn)行24 h實時檢測，可以克服外界光照條件的變化帶來的影響，提高跌倒檢測的準(zhǔn)確度，能夠?qū)Φ剐袨檫M(jìn)行及時處理，保證老年人的安全。

1 ?骨骼數(shù)據(jù)獲取

Kinect V2提供了人體骨架中的25個關(guān)節(jié)點，所有關(guān)節(jié)點依靠深度圖像技術(shù)[6]都可以通過空間三維坐標(biāo)（x，y，z）表示。其中RGB攝像頭提供x和y的坐標(biāo)值，紅外攝像頭提供z向深度值。本文跌倒檢測算法主要選用了25個關(guān)節(jié)點中的3個關(guān)節(jié)點用于算法的判別，分別為人體中心點、兩髖中心點、右腳掌。

Kinect V2獲取的關(guān)節(jié)點坐標(biāo)與深度圖像空間坐標(biāo)不同，獲取的骨骼點數(shù)據(jù)的單位是m。從Kinect V2感應(yīng)器的視角來看，它的空間坐標(biāo)系如圖1所示。

2 ?跌倒行為的檢測

Kinect V2獲取人體在環(huán)境中的骨骼數(shù)據(jù)信息和深度數(shù)據(jù)信息，本文采取的算法主要是利用所獲取的骨骼數(shù)據(jù)來判定人體是否發(fā)生跌倒行為。由于人體骨骼之間存在的一些關(guān)系，采用兩種判定方式：一是人體中心點運動的速度v;二是兩髖中心點的空間位置d。當(dāng)同時滿足這兩種判定方式，就認(rèn)為跌倒事件發(fā)生，跌倒檢測算法流程如圖2所示。

2.1 ?判定條件一（人體中心點運動的速度）

當(dāng)人體做出不同的動作時，人體動作與骨骼關(guān)節(jié)點的空間位置，相對位置位移有著極大的關(guān)系，所以當(dāng)做不同動作時，可以根據(jù)對骨骼點數(shù)據(jù)的處理來判別所做的動作。本文的跌倒檢測就是根據(jù)人體站立的姿態(tài)到跌倒的空間位移變化來判斷的，由于從站立姿態(tài)到跌倒姿態(tài)是一個非常短暫的過程，所用時間非常短，因此本文實驗中每相鄰10幀檢測1次。以當(dāng)前幀和之前的10幀之間的位置信息進(jìn)行比較，Kinect V2通常以30 f/s的速度進(jìn)行更新，時間間隔為每10幀0.33 s。假設(shè)在空間坐標(biāo)系中人體中心點在測試環(huán)境中的坐標(biāo)第fx的坐標(biāo)為（x1，y1，z1），此時的時間戳為t1，第fx+10幀的坐標(biāo)為（x2，y2，z2），此時的時間戳為t2，所選兩幀圖像的人體中心點下降的位移由空間歐氏距離d決定。

從圖3中能發(fā)現(xiàn)當(dāng)人正常行走時，人體中心點的位移幾乎沒有發(fā)生變化，因此0～70幀、90～140幀、180～220幀、250～300幀，這些時間內(nèi)，位移變化不顯著，人體下降的速度非常小。當(dāng)?shù)故录l(fā)生時，人體中心點的位移發(fā)生急劇的變化，下降的速度就會有一個比較大的峰值，在圖中，第80幀、150幀、240幀的時刻，就是人體跌倒發(fā)生的時刻。通過圖3可以發(fā)現(xiàn)，跌倒時刻的速度峰值速度都集中在1.2 m/s以上。為了進(jìn)一步地研究峰值速度的取值范圍，對實驗數(shù)據(jù)進(jìn)行了處理，只獲取跌倒時刻的速度，然后研究vL的取值范圍，如圖4所示。

3位實驗者采取快速向前跌倒、快速向后跌倒、快速側(cè)倒、緩慢向前跌倒、緩慢向后跌倒、緩慢側(cè)倒等姿勢，對獲取的數(shù)據(jù)進(jìn)行處理后，只對各種場景下跌倒時刻的速度進(jìn)行展示，得到如圖5所示的柱狀圖。在圖中不難發(fā)現(xiàn)，跌倒時刻的峰值取值范圍為1.2～1.8 m/s。為了降低老人跌倒帶來的損失，選擇較小的vL合理，因此vL設(shè)定為1.2 m/s。

當(dāng)老人摔倒在地時，兩髖中心點和右腳掌之間的垂直距離會發(fā)生急劇的變化。在Kinect的空間坐標(biāo)系中，假設(shè)跌倒瞬間兩髖中心點的坐標(biāo)為（x3，y3，z3），右腳掌的坐標(biāo)為（x4，y4，z4）。考慮到右腳掌和兩髖中心點之間的位移會受到跌倒在地姿勢的影響[8?9]，本文選擇兩髖中心點和右腳掌之間的垂直距離作為參考就可以避免姿勢造成的影響，即在調(diào)用坐標(biāo)數(shù)據(jù)時，dL=y3-y4。

為了研究dL的取值范圍，實驗選取3個不同身高的實驗者模擬老年人摔倒的場景。經(jīng)過大量的實驗，得到如圖5所示的兩髖中心點和右腳掌之間的垂直高度差與獲取幀數(shù)之間的關(guān)系。

圖中：線條1代表身高175 cm的實驗者;線條2代表身高170 cm的實驗者;線條3代表165 cm的實驗者。當(dāng)實驗者在正常行走時，兩髖中心和右腳掌之間的距離幾乎沒有變化，保持在一個相對穩(wěn)定的值，如圖5所示。線條1的折線中從開始到110幀時，高度差基本沒有發(fā)生改變，當(dāng)突然跌倒時，這個值就會從0.8 m降到0.3 m以下;線條2的折線同樣在120幀之前還基本穩(wěn)定，當(dāng)突然跌倒時數(shù)值就急劇下降，直到降到0.3 m以下;線條3的折線在90幀之前高度差變化不怎么明顯，當(dāng)發(fā)生跌倒時高度差就發(fā)生變化，直到最后小于0.3 m。從實驗數(shù)據(jù)分析可以得到，當(dāng)老年人跌倒在地時，兩髖中心點和右腳掌之間的距離都會小于0.3 m，因此高度差閾值就可以設(shè)定為0.3 m，即當(dāng)d<0.3 m時，認(rèn)為滿足跌倒事件發(fā)生的第二個條件。

3 ?實驗結(jié)果與分析

為了驗證檢測系統(tǒng)的有效性，實驗設(shè)置了6個實驗場景，分別為快速向前跌倒、快速向后跌倒、快速側(cè)面跌倒、緩慢向前跌倒、緩慢向后跌倒、緩慢側(cè)面跌倒，實驗者為3位。每個人在不同的場景中做了20次跌倒實驗，在不同場景中的識別率如表1所示。

通過對總共的360次試驗分析，可以從表1的識別率發(fā)現(xiàn)快速向前和緩慢向后的識別率高于其他4種跌倒方式。其中尤其是緩慢側(cè)面跌倒的識別率的誤差率高，通過研究發(fā)現(xiàn)可能是由于緩慢側(cè)面跌倒時，人體的兩髖中心和右腳掌之間的垂直距離在跌倒瞬間不能嚴(yán)格達(dá)到本文的閾值，還有可能是人體在跌倒過程借助了輔助物品（比如桌子、椅子等）。為了研究緩慢側(cè)面跌倒識別率低的情況，文章下一步研究的方向可能是在老年人身邊有支撐物時的跌到行為。

本文采取的算法與前面所講述的相比較。文獻(xiàn)[3]利用穿戴式傳感器來檢測人體跌倒，這種方法用戶需要佩戴加速度傳感器、角傳感器或者壓力傳感器等裝置，對運動具有阻礙性，極其不方便，且誤報率為12%。文獻(xiàn)[4]采用視頻圖像分析法，這種方法通過攝像機(jī)的連續(xù)監(jiān)控，借助圖像處理技術(shù)，實時地分析目標(biāo)圖像的信息，檢測跌倒事件的發(fā)生，不會妨礙使用者的正常生活。但是普通的攝像頭容易受外界環(huán)境的影響，識別率為90%，尤其是不能在夜間進(jìn)行實時監(jiān)控，并且容易泄漏老年人的隱私。文獻(xiàn)[5]基于Android手機(jī)內(nèi)置傳感器檢測法，這種方法比其他幾種檢測方法的識別率要高，識別率為95%，但使用者必須每時每刻攜帶者手機(jī)，對運動具有阻礙性且不適用于老年人。

4 ?結(jié) ?語

本文采取跌倒速度與高度差相結(jié)合的方法，能夠很大程度上減少因跌倒而造成的損失，算法識別率為92.7%。所使用的設(shè)備為微軟第二代Kinect，避免了穿戴式設(shè)備所造成的困擾，能夠全天24 h監(jiān)測老年人，用骨架信息和RGB?D圖進(jìn)行實時監(jiān)測，能夠最大程度地保護(hù)老年人的隱私和安全。實驗存在的不足在于，Kinect V2 的視角并不能完全覆蓋整個區(qū)域，以及老人在行走過程當(dāng)中可能或存在身體部分的遮擋，使實驗結(jié)果不夠精確。文章下一步的研究在于能否使用多個Kinect V2進(jìn)行監(jiān)測，分為不同區(qū)域進(jìn)行交叉監(jiān)測。

注：本文通訊作者為馬行。

參考文獻(xiàn)

[1] 彭希哲，胡湛.公共政策視角下的中國人口老齡化[J].中國社會科學(xué)，2011（3）：121?138.

PENG Xizhe， HU Zhan. Aging population in China from the perspective of public policy [J]. Chinese social science， 2011（3）： 121?138.

[2] NOURY N， FLEURY A， RUMEAU P， et al. Fall detection： principles and methods [C]// Proceedings of 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Lyon： IEEE， 2007： 1663?1668.

[3] 蔡靖，樊毅堯，董子健，等.基于穿戴式平臺的老人摔倒監(jiān)測系統(tǒng)設(shè)計[J].傳感器與微系統(tǒng)，2017，36（7）：130?133.

CAI Jing， FAN Yiyao， DONG Zijian， et al. Design of elderly tumble monitoring system based on wearable platform [J]. Transducer and microsystem technologies， 2017， 36（7）： 130?133.

[4] SHI X， XIONG Q Y， LEI L N. Research on fall detection system based on pressure sensor [J]. Chinese journal of scientific instrument， 2010（3）： 237?242.

[5] 程一風(fēng)，李達(dá)，張翔晨.基于Android手機(jī)多傳感器的老人跌倒檢測技術(shù)研究與實現(xiàn)[J].電子設(shè)計工程，2016，24（14）：181?183.

CHENG Yifeng， LI Da， ZHANG Xiangchen. Research and implementation of fall detection based on Android phone [J]. Electronic design engineering， 2016， 24（14）： 181?183.

[6] 藍(lán)箭，孫娟，楊裕炳，等.基于Kinect骨骼追蹤的控制方法的研究[J].儀表技術(shù)，2014（8）：20?22.

LAN Jian， SUN Juan， YANG Yubing， et al. Research on control method based on Kinect skeletal tracking [J]. Instrumentation technology， 2014（8）： 20?22.

[7] XIA L， CHEN C C， AGGARWAL J K. Human detection using depth information by Kinect [C]// Proceedings of Computer Vision and Pattern Recognition Workshops. Colorado Springs： IEEE， 2011： 15?22.

[8] HENRY P， KRAININ M， HERBST E， et al. RGB?D mapping： using Kinect?style depth cameras for dense 3D modeling of indoor environments [J]. International journal of robotics research， 2012， 31（5）： 647?663.

[9] 朱國剛，曹林.基于Kinect傳感器骨骼信息的人體動作識別[J].計算機(jī)仿真，2014，31（12）：329?333.

ZHU Guogang， CAO Lin. Human motion recognition based on skeletal information of Kinect sensor [J]. Computer simulation， 2014， 31（12）： 329?333.

[10] 黃文靜，馬力.基于Kinect手勢識別的研究與應(yīng)用[J].電子設(shè)計工程，2017，25（24）：166?169.

HUANG Wenjing， MA Li. A gesture recognition research and application based on Kinect [J]. Electric design engineering， 2017， 25（24）： 166?169.