基于姿態(tài)估計的異常跌倒檢測算法設(shè)計與實現(xiàn)

祝衍軍 李建新 劉 捷

（東莞職業(yè)技術(shù)學(xué)院，廣東 東莞 523000）

我國老年化程度持續(xù)加深，獨居老年人和空巢老年人在不斷增加，第七次全國人口普查數(shù)據(jù)顯示我國60 歲及以上人口比重已經(jīng)達到了18.7%，其中65 歲及以上人口比重達到13.50%。由于老年人身體機能差、平衡能力不強和應(yīng)變能力弱，摔倒后容易引起嚴(yán)重的后果，如果不能及時得到醫(yī)護人員救治，極有可能因為錯過了最佳搶救時間而危及生命。為了減輕老人因跌倒而產(chǎn)生的傷害，跌倒檢系統(tǒng)也日漸完善，但目前市場上的大部分跌倒檢測系統(tǒng)都需要配套其對應(yīng)的終端設(shè)備，存在應(yīng)用場景有限和使用不靈活性等問題。因此本文根據(jù)跌倒行為特征，基于深度學(xué)習(xí)算法工具設(shè)計和實現(xiàn)了一個可以在Android 手機上運行的實時性較好和檢測精度較高的異常跌倒算法。

1 跌倒特征提取與算法設(shè)計

1.1 跌倒特征提取

跌倒是一個瞬間動作，人體的動作、高度和速度等都會隨著跌倒發(fā)生快速的改變，在跌倒過程中，一般都是從站著到坐到地上或者躺倒到地上，人體的中心點快速的從較高位置下降到地面或者接近地面的高度。文獻[1]從頭部、身體質(zhì)心、小腿中心三個位置相對位置的變化與特征向量與水平地面的夾角來檢測跌倒行為，文獻[2]根據(jù)多幀的左右耳、左右目、左右足首等部位相對位置的加權(quán)平均變化來判斷跌倒行為，大部分跌倒檢測算法沒有充分考慮跌倒的時空特征，要么只提取跌倒視頻的時間特征，要么只提取跌倒視頻的空間特征，本文充分考慮跌倒的時空特性，從跌倒的連續(xù)視頻幀選取人體中心點下降的速度、人體外接矩形寬高比和人體縱向中心線與地面的傾斜角作為跌倒特征。

本文通過Openpose 人體姿態(tài)識別獲取人體關(guān)節(jié)點數(shù)據(jù)，根據(jù)OpenPose 提供的關(guān)節(jié)點數(shù)據(jù)來計算人體中心點下降的速度、人體縱向中心線與地面形成的傾斜角和人體外接矩形寬高比。OpenPose[3]人體姿態(tài)識別項目是美國卡耐基梅隆大學(xué)（CMU）基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)并以caffe 為框架開發(fā)的開源庫，可以實現(xiàn)人體動作、面部表情、手指運動等姿態(tài)估計。OpenPose 獲取到的人體關(guān)節(jié)圖總共包括18 個關(guān)節(jié)點：0：鼻子(Nose),1：脖子(Neck),2：右肩(RShoulder)，3：右肘(RElbow)，4：右腕(RWrist)，5：左肩(LShoulder)，6：左肘(LElbow)，7：左腕(LWrist)，8：右髖(RHip)，9：右膝(RKnee)，10：右踝(RAnkle)，11:左髖(LHip),12:左膝(LKnee),13:左踝(LAnkle),14:右眼(REye),15:左眼LEye,16:右耳(REar),17:左耳(LEar)，具體如圖1 所示。

圖1 OpenPose 獲取的人體關(guān)節(jié)點數(shù)據(jù)示意圖

本文以左右髖的中間點作為人體中心點，每隔一段時間獲取一次左髖（8）和左髖（11）的位置，計算這段時間內(nèi)人體中心點縱坐標(biāo)值的變化速率做為人體中心點下降速度。設(shè)t1 時刻的人體中心點的縱坐標(biāo)值為yt1，則，其中yt1，8和yt1，11分別為t1 時刻OpenPose 獲取的人體左髖(8)和右髖(11)的縱坐標(biāo)值，設(shè)t2 時刻的人體中心點的縱坐標(biāo)值為yt2，則，其中yt2，8和yt2，11分別為t2 時刻OpenPose 獲取的人體左髖(8)和右髖(11)的縱坐標(biāo)值，人體中心點下降速度v 則為：

在跌倒時人體外接矩形寬高比變化最為明顯，當(dāng)人直立活動時，人體高度會大于寬度，當(dāng)發(fā)生跌倒時人體高度將會快速下降，寬度會快速增大。本文高度取頭部4 個關(guān)節(jié)點（右眼-14,左眼-15,右耳-16,左耳-17）縱坐標(biāo)加權(quán)平均與腳部2 個關(guān)節(jié)點（右踝-10，左踝-13）縱坐標(biāo)加權(quán)平均的差值，寬度取左腕(4)和右腕(7)橫坐標(biāo)的差值，t1 時刻具體寬度W、高度H 和寬高比R的計算公式為：

人體縱向中心線與地面形成的傾斜角通過求取頭部關(guān)節(jié)點和一條小腿中部位置之間連線的反正切值獲得，本文以O(shè)penPose 獲取的人體鼻子（0）作為頭部關(guān)節(jié)點，小腿中間位置則取右膝(9)和右踝(10)兩個關(guān)節(jié)點的平均值，則t1 時刻的小腿中間位置中的值分別為，則t1 時刻人體縱向中心線與地面形成的傾斜角為：

1.2 跌倒算法設(shè)計

目前大部分跌倒檢測算法沒有充分考慮跌倒的時空特征，要么只提取跌倒視頻的時間特征，要么只提取跌倒視頻的空間特征，本文將時間特征相關(guān)的人體中心點下降速度、人體外接矩形寬高比和空間特征相關(guān)的人體縱向中心線與地面傾斜角作為跌倒特征，首先通過獲取到的每幀圖片計算一次人體中心點下降的速度和人體外接矩形寬高比，如果每秒鐘人體中心點下降速度大于1.4m/s，則進一步判斷近3 秒內(nèi)人體外接矩形寬高比持續(xù)增大，且最近一幀的人體外接矩形寬高比大于2，然后再通過計算最近一幀的人體縱向中心線與地面形成的傾斜角是否小于45°來判斷其是否跌倒；如果人體已經(jīng)處于跌倒?fàn)顟B(tài)，則不能先通過與時間特性相關(guān)的人體中心點下降速度、人體外接矩形寬高比來繼續(xù)判斷，只能通過計算與空間特征相關(guān)的人體縱向中心線與地面傾斜角作為持續(xù)跌倒的判定條件，具體的跌倒判定算法流程圖如圖2 所示。如果人體在10 秒內(nèi)一直處于持續(xù)跌倒?fàn)顟B(tài)（不能自行爬起來），則系統(tǒng)需要采取進一步預(yù)警措施，如報警或者通知其家人等。

圖2 跌倒判定算法流程圖

1.3 算法驗證

本文將實現(xiàn)跌倒判定算法的APP 部署到華為Mate20 手機進行驗證和測試，使用手機的后置攝像頭對站在距離手機位置1-2 米的位置進行測試，針對日常非跌倒行為的走路、躺下、蹲下、坐下、跳躍和跌倒行為的橫向摔倒、側(cè)向摔倒、向后摔倒、向前摔倒進行測試共9 種動作行為進行測試，每種動作行為測試5 次，具體測試數(shù)據(jù)如表1 所示。

表1 跌倒判定算法驗證實驗結(jié)果

從測試實驗結(jié)果可以看出，算法對走路、蹲下、坐下、跳躍、橫向摔倒、向后摔倒、向前摔倒這7 種動作行為具有較好的檢測效果，檢測準(zhǔn)確度達到了100%，但對躺下、側(cè)向摔倒這2 種動作行為的檢測效果較差，需要進一步提取更多的特征對其進行判定。

2 軟件功能設(shè)計與實現(xiàn)

本文根據(jù)常見的應(yīng)用場景將整個系統(tǒng)架構(gòu)分為老年客戶端APP、家屬客戶端APP、數(shù)據(jù)存儲和后臺管理服務(wù)器、第三方即時通訊服務(wù)器四部分，具體如圖3 所示。老年客戶端APP 根據(jù)設(shè)計的異常跌倒檢測算法監(jiān)控老年人狀態(tài)，如果老人10 秒內(nèi)一直處于持續(xù)跌倒?fàn)顟B(tài)，則系統(tǒng)自動促發(fā)報警機制，將老人跌倒地址、短視頻等信息發(fā)送給家屬客戶端APP；家屬客戶端APP功能主要分為家屬管理和跌倒確認(rèn)及報警等功能，家屬管理可以動態(tài)的增刪家庭成員，設(shè)置其是否可以接收到跌倒信息，跌倒確認(rèn)及報警是指收到跌倒信息后，查看跌倒視頻，再次確認(rèn)老人是否跌倒以及提供視頻通話和撥打急救電話等功能；視頻通話采用成熟的第三方即時通訊SDK 來實現(xiàn)。

圖3 軟件整體架構(gòu)

3 結(jié)論

本文針對老年人容易摔倒的現(xiàn)狀，基于OpenPose 獲取人體關(guān)節(jié)點數(shù)據(jù)，結(jié)合跌倒行為特征，設(shè)計了一個基于人體關(guān)節(jié)點來判定跌倒行為的算法，詳細闡述了算法中需要用到的關(guān)節(jié)點及其計算公式和算法流程，經(jīng)過在Android 手機終端測試驗證，該算法具有較好的檢測效果。