基于靜態(tài)圖像姿態(tài)估計(jì)的服務(wù)機(jī)器人跌倒檢測(cè)報(bào)警系統(tǒng)

陳旭鳳　趙彥偉　王菲菲　曹學(xué)文　楊一哲

關(guān)鍵詞：計(jì)算機(jī)視覺(jué)技術(shù)；姿態(tài)檢測(cè)；人體骨骼關(guān)鍵點(diǎn)；跌倒檢測(cè)

為了降低老年人因?yàn)榈苟艿降膫?，可以設(shè)計(jì)出一種跌倒檢測(cè)報(bào)警系統(tǒng)，實(shí)時(shí)檢測(cè)老年人的人體姿態(tài)。目前的跌倒檢測(cè)系統(tǒng)可大概分為三種類(lèi)別：（1）以穿戴式傳感器為基礎(chǔ)的跌倒檢測(cè)系統(tǒng)；（2）以計(jì)算機(jī)視覺(jué)等相關(guān)技術(shù)為基礎(chǔ)的跌倒檢測(cè)系統(tǒng)；（3）以音頻分析為基礎(chǔ)的跌倒檢測(cè)系統(tǒng)。

本文針對(duì)基于可穿戴設(shè)備傳感器、視頻分析和環(huán)境傳感器的跌倒檢測(cè)方法儲(chǔ)存資源受限、計(jì)算資源消耗大和精度低的缺點(diǎn)，結(jié)合室內(nèi)服務(wù)機(jī)器人的計(jì)算機(jī)視覺(jué)技術(shù)平臺(tái)，提出一種基于靜態(tài)圖像姿態(tài)估計(jì)的服務(wù)機(jī)器人跌倒檢測(cè)報(bào)警系統(tǒng)，本文所設(shè)計(jì)的系統(tǒng)主要包括三個(gè)組成部分：助老機(jī)器人平臺(tái)、人體骨骼關(guān)鍵點(diǎn)檢測(cè)、跌倒檢測(cè)算法。

1助老機(jī)器人平臺(tái)

本文基于ROS服務(wù)機(jī)器人操作系統(tǒng)來(lái)進(jìn)行研究。ROS機(jī)器人操作系統(tǒng)是一個(gè)機(jī)器人軟件平臺(tái)，它提供了操作系統(tǒng)應(yīng)有的服務(wù)，包括硬件抽象、底層設(shè)備控制、進(jìn)程間消息傳遞等。其系統(tǒng)架構(gòu)及主要性能如下：（1）視覺(jué)傳感器：高分辨率彩色攝像頭（1920×1080、32bit、30fps）、低分辨率深度攝像頭（512×424、16bit、30fps）；（2）行走速度：最大60cm/s；（3）爬坡能力：5度；（4）電機(jī)：12V 146RPM帶編碼器直流減速電機(jī)；（5）驅(qū)動(dòng)機(jī)構(gòu)：2個(gè)主動(dòng)輪、1個(gè)從動(dòng)輪（90mm全鋁全向輪X3）。

本文的研究主要基于ROS服務(wù)機(jī)器人（如圖1）系統(tǒng)的視覺(jué)傳感器。通過(guò)視覺(jué)傳感器獲取含有服務(wù)機(jī)器人所跟隨目標(biāo)的數(shù)字圖像。

2人體骨骼關(guān)鍵點(diǎn)檢測(cè)

本文采用檢測(cè)人體骨骼檢測(cè)點(diǎn)的方法來(lái)進(jìn)行跌倒檢測(cè)設(shè)計(jì)實(shí)驗(yàn)。

目前的多人人體骨骼關(guān)鍵點(diǎn)檢測(cè)有兩個(gè)研究方向，自上而下和自下而上。其中自下而上的方法主要包含兩個(gè)部分：關(guān)鍵點(diǎn)檢測(cè)和聚類(lèi)。首先檢測(cè)出圖像中的關(guān)鍵點(diǎn)，然后通過(guò)相關(guān)技術(shù)手段將關(guān)鍵點(diǎn)聚成不同的個(gè)體，其中代表性算法有PAF、Part Segmentation等。目前人體關(guān)鍵點(diǎn)檢測(cè)的數(shù)據(jù)集大致可以分為兩類(lèi)，即2D人體關(guān)鍵點(diǎn)和3D人體關(guān)鍵點(diǎn)。

本文擬采用基于PAF（Part Affinity Fields）的姿態(tài)檢測(cè)算法。該方法使用非參數(shù)表示，叫作部分親和域（PAFs），PAF能夠聯(lián)系人體身體部位與目標(biāo)圖像中被檢測(cè)到的人體圖像，進(jìn)行編碼，可以使用自底向上的貪婪解析，不論被檢測(cè)目標(biāo)圖像中有多少個(gè)人體圖像，都能高精確度地實(shí)現(xiàn)性能。

通過(guò)姿態(tài)估計(jì)算法PAF對(duì)靜態(tài)圖像中的人體姿態(tài)進(jìn)行檢測(cè)，得到一組人體骨骼關(guān)鍵點(diǎn)的坐標(biāo)，用于下一步的跌倒檢測(cè)判別。

3跌倒檢測(cè)算法

在一個(gè)靜態(tài)的圖像中，當(dāng)人體在處于正常狀態(tài)和處于跌倒?fàn)顟B(tài)時(shí)的人體姿態(tài)會(huì)有所不同。本文設(shè)計(jì)的跌倒檢測(cè)算法就是通過(guò)設(shè)置人體骨骼關(guān)鍵檢測(cè)點(diǎn)之間一系列的角度閾值，對(duì)檢測(cè)到的目標(biāo)圖像進(jìn)行逐層分析判斷，以此來(lái)最終判斷人體是否為跌倒?fàn)顟B(tài)。

3.1多閾值控制設(shè)計(jì)

第一，參考坐標(biāo)系選取。識(shí)別目標(biāo)圖像時(shí)，以移動(dòng)機(jī)器人的視覺(jué)傳感器坐標(biāo)系為參考坐標(biāo)系。

第二，目標(biāo)圖像T1和T2設(shè)定。移動(dòng)機(jī)器人通過(guò)間隔固定時(shí)間TH（單位為秒）進(jìn)行跟蹤目標(biāo)的圖像獲取，在Tl時(shí)刻獲取到的圖像命名為T(mén)1_image，在Tl+TH時(shí)刻獲取到的圖像命名為T(mén)2_image。本文僅以T1_image和T2_image為例對(duì)跌倒檢測(cè)報(bào)警方案進(jìn)行說(shuō)明。

第三，跌倒檢測(cè)算法所依據(jù)檢測(cè)點(diǎn)如圖2所示，關(guān)鍵判斷條件包括七條內(nèi)容：（1）條件一：判斷目標(biāo)圖像rI2一image的檢測(cè)點(diǎn)2相對(duì)于T1_image是否產(chǎn)生向下的位移；（2）條件二：判斷目標(biāo)圖像T2_image中，檢測(cè)點(diǎn)1與檢測(cè)點(diǎn)2的連線(xiàn)和縱軸的夾角，是否大于閾值30度；（3）條件三：判斷目標(biāo)圖像rl2_image中，檢測(cè)點(diǎn)4與檢測(cè)點(diǎn)3的連線(xiàn)和縱軸夾角，是否大于閾值45度；（4）條件四：判斷目標(biāo)圖像T2_jmage中，檢測(cè)點(diǎn)4與檢測(cè)點(diǎn)6的連線(xiàn)和縱軸夾角，是否大于閾值70度；（5）條件五：判斷目標(biāo)圖像T2_image中，檢測(cè)點(diǎn)4與檢測(cè)點(diǎn)3的連線(xiàn)和檢測(cè)點(diǎn)4與檢測(cè)點(diǎn)5的連線(xiàn)夾角，是否大于閾值90度；（6）條件六：判斷目標(biāo)圖像T2_jmage中，檢測(cè)點(diǎn)5與檢測(cè)點(diǎn)4的連線(xiàn)和檢測(cè)點(diǎn)5與檢測(cè)點(diǎn)6的連線(xiàn)夾角，是否大于閾值35度；（7）條件七：判斷目標(biāo)圖像T2_jmage中，檢測(cè)點(diǎn)6與檢測(cè)點(diǎn)5的連線(xiàn)和縱軸夾角，是否大于閾值40度。

以上涉及點(diǎn)3、4、5、6的檢測(cè)點(diǎn)對(duì)，均為左右兩側(cè)分別判斷，對(duì)結(jié)果取邏輯或的關(guān)系；以上提到的縱軸指的是世界坐標(biāo)系下的Z軸而非Y軸；以上涉及的夾角值，范圍為0～180度。

3.2跌倒檢測(cè)判定流程

跌倒檢測(cè)具體判定流程可詳細(xì)描述為：（1）若依次滿(mǎn)足條件一、條件二、條件三、條件五，再來(lái)看是否滿(mǎn)足條件四，若滿(mǎn)足條件四，判斷為跌倒?fàn)顟B(tài)，報(bào)警；反之，若不滿(mǎn)足條件四，則判斷為未跌倒?fàn)顟B(tài)，不報(bào)警。（2）當(dāng)依次滿(mǎn)足條件一、條件二、條件三，但是不滿(mǎn)足條件五時(shí)，再看條件七，若滿(mǎn)足條件七，則判斷為跌倒?fàn)顟B(tài)，報(bào)警；反之，若不滿(mǎn)足條件七，則判斷為未跌倒?fàn)顟B(tài)，不報(bào)警。（3）當(dāng)依次滿(mǎn)足條件一、條件二，不滿(mǎn)足條件三時(shí)，再看條件四，若滿(mǎn)足條件四，則判斷為跌倒?fàn)顟B(tài)，報(bào)警；反之，若不滿(mǎn)足條件四，則判斷為未跌倒?fàn)顟B(tài)，不報(bào)警。（4）當(dāng)滿(mǎn)足條件一，不滿(mǎn)足條件二時(shí)，若不滿(mǎn)足條件四，則判斷為未跌倒?fàn)顟B(tài)，不報(bào)警。（5）當(dāng)滿(mǎn)足條件一，不滿(mǎn)足條件二時(shí)，若滿(mǎn)足條件四，再看條件六，若滿(mǎn)足條件六，則判斷為跌倒?fàn)顟B(tài)；反之，若不滿(mǎn)足條件六，則判斷為未跌倒?fàn)顟B(tài)，不報(bào)警。

通過(guò)以上工作流程，服務(wù)機(jī)器人可完成跟蹤目標(biāo)是否跌倒的檢測(cè)與判定，再根據(jù)系統(tǒng)功能設(shè)定完成跌倒報(bào)警。

4方案驗(yàn)證與改進(jìn)措施

4.1數(shù)據(jù)采集與關(guān)鍵點(diǎn)識(shí)別

數(shù)據(jù)采集。根據(jù)上文提出的設(shè)計(jì)思路，設(shè)計(jì)多種人體姿態(tài)類(lèi)型，對(duì)每個(gè)人體姿態(tài)下采集多張人體圖片作為測(cè)試用的數(shù)據(jù)，對(duì)應(yīng)標(biāo)簽設(shè)置為二分類(lèi)，包括跌倒?fàn)顟B(tài)和未跌倒?fàn)顟B(tài)兩種情況。人體的站立、下蹲、坐下、彎腰等這些人體姿態(tài)屬于人體正常姿態(tài)，在老人跌倒報(bào)警系統(tǒng)中判定為未跌倒?fàn)顟B(tài)，不報(bào)警。人體跌坐在地（發(fā)生跌倒行為后人自行撐起上身，但是也無(wú)法自行起身情況）和跌倒在地（完全跌落在地，無(wú)法撐起身體）這兩種情況在老人跌倒報(bào)警系統(tǒng)中便被判定為跌倒?fàn)顟B(tài)，報(bào)警。作為負(fù)樣本，采集了人們?cè)谔梢紊闲菹r(shí)的人體姿態(tài)以及癱坐在沙發(fā)上的人體姿態(tài)進(jìn)行數(shù)據(jù)的測(cè)試，這些人體姿態(tài)在老人跌倒報(bào)警系統(tǒng)中被判定為未跌倒?fàn)顟B(tài)，不報(bào)警。將這些圖片采集完成后進(jìn)行跌倒檢測(cè)判別。

本文設(shè)計(jì)的跌倒檢測(cè)報(bào)警系統(tǒng)采用基于Par Affinity Fields的姿態(tài)檢測(cè)方法，能夠輸出21個(gè)骨骼檢測(cè)點(diǎn)的人體姿態(tài)圖片，即輸出目標(biāo)圖像中所有人體的2D人體檢測(cè)點(diǎn)坐標(biāo)，實(shí)驗(yàn)數(shù)據(jù)截取部分如圖3所示。

從左到右、從上到下的順序：（a）躺椅.1；（b）躺椅-2；（c）彎腰-1；（d）彎腰-2；（e）休閑躺-1；（f）休閑躺-2；（g）高坐-1；（h）高坐-2；（i）蹲下-l；（j）蹲下-2；（k）低坐-1；（l）低坐-2；（m）跌坐-1；（n）站立-1；（o）跌倒-1；（p）跌倒-2。

4.2跌倒檢測(cè)算法驗(yàn)證

通過(guò)多輪測(cè)試確定參數(shù)后，進(jìn)行上述跌倒檢測(cè)算法的準(zhǔn)確性驗(yàn)證。使用圖3骨骼檢測(cè)點(diǎn)結(jié)果作為輸入圖片，檢測(cè)老人跌倒報(bào)警方案的判別效果，下表數(shù)據(jù)證明我們的檢測(cè)方案是簡(jiǎn)易并且有效的。

4.3改進(jìn)措施

針對(duì)目前老人跌倒報(bào)警方案的設(shè)計(jì)，還可以結(jié)合助老移動(dòng)機(jī)器人的移動(dòng)功能進(jìn)行功能改進(jìn)：對(duì)老人跌倒報(bào)警系統(tǒng)判定為疑似跌倒圖像進(jìn)行多方位的檢測(cè)。

具體實(shí)施方案：在跌倒檢測(cè)系統(tǒng)第一次判定輸出的結(jié)果為“跌倒、報(bào)警”信號(hào)時(shí)，在合理的短時(shí)間內(nèi)（結(jié)合移動(dòng)機(jī)器人性能以最快的移動(dòng)速度）以服務(wù)對(duì)象老人為中心，進(jìn)行一個(gè)單向的繞行。在180度內(nèi)完成3次再獲取靜態(tài)目標(biāo)圖像（角度差為60度），進(jìn)行跌倒檢測(cè)——如果在這4次檢測(cè)結(jié)果中有大于等于2次結(jié)果的均為“跌倒、報(bào)警”信號(hào)，則此報(bào)警系統(tǒng)判定老人為“跌倒，報(bào)警”；否則則判定老人為“未跌倒，不報(bào)警”。

結(jié)語(yǔ)

本文所設(shè)計(jì)的老人跌倒檢測(cè)報(bào)警系統(tǒng)，是針對(duì)靜態(tài)圖像的姿態(tài)估計(jì)結(jié)果進(jìn)行跌倒檢測(cè)，從一定程度上能夠降低計(jì)算量消耗；針對(duì)姿態(tài)估計(jì)算法所得人體骨骼關(guān)鍵點(diǎn)坐標(biāo)，進(jìn)行人體關(guān)鍵骨骼檢測(cè)點(diǎn)之間的幾何關(guān)系與本專(zhuān)利設(shè)定的多個(gè)閾值相比，判定最終跌倒與否，降低老人處于蹲下、坐下或是斜躺休息等類(lèi)似于跌倒動(dòng)作的誤判概率。多閾值控制提高了判定準(zhǔn)確率，無(wú)須再次使用其他網(wǎng)絡(luò)模型等技術(shù)手段進(jìn)行誤判結(jié)果的排除，大大降低了計(jì)算復(fù)雜度，提升了系統(tǒng)檢測(cè)的時(shí)效性。

作者簡(jiǎn)介：陳旭鳳（1991—），女，漢族，河北定州人，碩士研究生，講師，研究方向：人工智能、機(jī)器視覺(jué)。

*通訊作者：趙彥偉。