基于ROS服務(wù)機(jī)器人的獨(dú)居老人智能監(jiān)測系統(tǒng)

吳家齊 姜林

（湖南工商大學(xué) 智能工程與智能制造學(xué)院 湖南省長沙市 410205）

1 引言

據(jù)統(tǒng)計，2020年，全國60歲以上老年人口共2.67億人，占總?cè)丝诒戎靥嵘?8.7%左右。然而比人口老齡化更加嚴(yán)重的是獨(dú)居老人、空巢老人的增多，這些老人因為沒有監(jiān)護(hù)人或者監(jiān)護(hù)人無法長期陪護(hù)而獨(dú)自生活。據(jù)不完全統(tǒng)計，超過73%的獨(dú)居老人意外死亡的原因是錯失了黃金搶救時間，即當(dāng)前獨(dú)居、空巢老人面臨著意外情況發(fā)生，自身失去呼救能力，而其監(jiān)護(hù)人無法馬上報警就醫(yī)，導(dǎo)致老人意外身亡。在此大背景下養(yǎng)老服務(wù)業(yè)迫切需要發(fā)展，在智能監(jiān)護(hù)領(lǐng)域，蘇州大學(xué)趙鶴鳴、謝雪婷等人研究的基于GPS/GSM老人兒童定位監(jiān)護(hù)系統(tǒng)實現(xiàn)了對老人兒童所處位置定位[1]，東南大學(xué)的汪豐、趙明光等人設(shè)計了基于ZigBee技術(shù)的無線醫(yī)療監(jiān)護(hù)網(wǎng)絡(luò)能夠通過ZigBee技術(shù)對老人進(jìn)行實時定位[2]。以上提出的智能監(jiān)護(hù)中主要是基于數(shù)字通信技術(shù)進(jìn)行監(jiān)護(hù)，系統(tǒng)組織架構(gòu)性緊密，且便于擴(kuò)展[3]。但是系統(tǒng)主要服務(wù)于室外遠(yuǎn)程環(huán)境下，在實際應(yīng)用中，特別是在復(fù)雜環(huán)境中的智能監(jiān)護(hù)是很難做到的，如：當(dāng)老人突遇意外情況下，比如跌倒，或是疾病突發(fā)等，若不能及時施救則會對生命安全造成威脅。針對上述問題，本文研究了深度攝像機(jī)視覺跟隨算法和老人跌倒視覺分析，使監(jiān)護(hù)人時刻掌控老人動態(tài)；研究了突發(fā)意外情況時的自動通信模式，建立了老人與監(jiān)護(hù)人的遠(yuǎn)程音視頻通信方法，為及時施救提供寶貴時間。最后，本文將提出一套可實現(xiàn)、易操作的獨(dú)居老人智能監(jiān)護(hù)解決方案，為獨(dú)守老人提供突發(fā)意外時的緊急處理。

2 基于ROS服務(wù)機(jī)器人的監(jiān)測系統(tǒng)設(shè)計

2.1 ROS服務(wù)機(jī)器人

本系統(tǒng)通過對當(dāng)前算法進(jìn)行優(yōu)化創(chuàng)新，開發(fā)新型算法使其集成為一個智能養(yǎng)老監(jiān)護(hù)系統(tǒng)以降低我國養(yǎng)老負(fù)擔(dān)。為了達(dá)到上述目的，本系統(tǒng)提供一種如圖1所示的基于ROS服務(wù)機(jī)器人的硬件設(shè)施搭配，包括ROS服務(wù)機(jī)器人工控機(jī)、電源、STM32運(yùn)動底盤、LED屏幕、2D雷達(dá)、Kinect深度雙目攝像機(jī)、音頻設(shè)備。所述電源用于為ROS服務(wù)機(jī)器人提供能源支持，以確保智能系統(tǒng)可以正常運(yùn)行，LED屏幕用于為用戶提供操作支持，Kinect深度雙目攝像機(jī)用于采集當(dāng)前數(shù)據(jù)，向智能系統(tǒng)傳遞RGB圖像與當(dāng)前實時畫面，工控機(jī)用于搭載本發(fā)明智能系統(tǒng)并集中處理來自雷達(dá)、Kinect深度雙目攝像機(jī)傳輸?shù)臄?shù)據(jù)并做出繼續(xù)追蹤或撥通音視頻通話的決策，STM32運(yùn)動底盤用于控制ROS服務(wù)機(jī)器人進(jìn)行移動，2D雷達(dá)用于檢測ROS服務(wù)機(jī)器人與監(jiān)護(hù)人的距離與避障，音頻設(shè)備用于監(jiān)護(hù)人與老人之間的音頻轉(zhuǎn)播。

圖1：ROS服務(wù)機(jī)器人硬件架構(gòu)

2.2 系統(tǒng)總體結(jié)構(gòu)設(shè)計

本系統(tǒng)總體功能設(shè)計如圖2所示，本系統(tǒng)啟動后，ROS服務(wù)機(jī)器人將通過搭載的Kinect深度攝像機(jī)對監(jiān)護(hù)目標(biāo)進(jìn)行視覺跟隨，始終保持ROS服務(wù)機(jī)器人與監(jiān)護(hù)目標(biāo)距離、角度在一定范圍內(nèi)，在ROS服務(wù)機(jī)器人跟隨監(jiān)護(hù)目標(biāo)的同時將不斷進(jìn)行跌倒檢測，若檢測結(jié)果為監(jiān)護(hù)目標(biāo)未跌倒時，ROS服務(wù)小車將持續(xù)對監(jiān)護(hù)目標(biāo)進(jìn)行跟隨、跌倒檢測；若檢測結(jié)果為監(jiān)護(hù)目標(biāo)發(fā)生意外跌倒，ROS機(jī)器人小車將調(diào)用自動音視頻功能模塊，發(fā)起與監(jiān)護(hù)人搭建音視頻通話的請求，將時實的情況轉(zhuǎn)播至監(jiān)護(hù)人，使得監(jiān)護(hù)人可以在第一時間了解情況并做出最迅速的施救決策。

圖2：系統(tǒng)總體功能設(shè)計

3 系統(tǒng)功能模塊詳細(xì)設(shè)計方案

系統(tǒng)具體功能主要包含了3部分，第一部分為視覺跟隨模塊，其主要為后續(xù)模塊功能提供運(yùn)行條件，第二部分為跌倒檢測模塊，其主要實現(xiàn)對監(jiān)護(hù)目標(biāo)狀態(tài)的監(jiān)測，第三部分為自動音視頻模塊，其主要實現(xiàn)監(jiān)護(hù)目標(biāo)發(fā)生意外時搭建與監(jiān)護(hù)目標(biāo)的監(jiān)護(hù)人音視頻通話。

3.1 視覺跟隨

在啟動ROS服務(wù)機(jī)器人與本智能系統(tǒng)后，系統(tǒng)則自動啟動Kinect深度雙目攝像頭，并讀取深度雙目攝像頭的參數(shù)攝影角α（即視野范圍最大角度，下文同），圖像寬度Image_width，圖像高度Image_height，與系統(tǒng)設(shè)置的人機(jī)距離閾值d。之后，Kinect深度雙目攝像頭將獲取的灰度圖像傳遞給ROS服務(wù)機(jī)器人，本系統(tǒng)利用當(dāng)前處理好的深度圖像結(jié)合python功能包skimage中的子模塊morphology的Skeletonize（image）函數(shù)和medial_axis（image,mask=None, return_distance=False）函數(shù)獲取當(dāng)前監(jiān)護(hù)目標(biāo)的骨骼圖，并對當(dāng)前圖像進(jìn)行穩(wěn)定、平滑處理[4]。其中image為圖像對象，mask為掩模，默認(rèn)為None, 如果給定一個掩模，則在掩模內(nèi)的像素值才執(zhí)行骨架算法[5]，return_distance為bool型值，默認(rèn)為False，如果為True, 則除了返回骨架，還將距離變換值也同時返回（這里的距離指的是中軸線上的所有點(diǎn)與背景點(diǎn)的距離）。

之后，系統(tǒng)通過啟用2D雷達(dá)獲取當(dāng)前的人機(jī)距離Man_machine_distance，提取目標(biāo)中心點(diǎn)，獲取目標(biāo)方位Target_bearing（Target_bearing為中心點(diǎn)位于圖像寬度的位置）。其后判斷Man_machine_distance=d與兩式是否成立，如果不成立，則根據(jù)兩式的大小情況驅(qū)動STM32運(yùn)動底盤調(diào)整機(jī)器人位置。具體規(guī)則如下：

若Man_machine_distance

若Man_machine_distance>d，則驅(qū)動STM32運(yùn)動底盤向監(jiān)護(hù)人方向移動；

圖3：視覺跟隨流程

3.2 跌倒檢測

當(dāng)該模塊接收到視覺跟隨模塊傳輸過來的人機(jī)距離Man_machine_distance與提前預(yù)設(shè)的閾值d相等，且當(dāng)前追蹤目標(biāo)位于圖像中間時，利用公式求得當(dāng)前畫面的實際高度H（其中h為ROS服務(wù)機(jī)器人實際高度）。之后提取目標(biāo)中心點(diǎn)并利用圖像比例關(guān)系，求得目標(biāo)中心實際高度H1。公式如下：其中Image_height為圖像高度，Image_height1為中心點(diǎn)在圖像中的高度。

之后間隔t時間后再抓取一幀畫面，重復(fù)上述操作獲得t時間后的目標(biāo)中心實際高度H2。即可計算監(jiān)護(hù)目標(biāo)中心點(diǎn)的下降速度Spine V，計算公式如下：最后判斷SpineV與VT的大小關(guān)系，其中 VT為中心點(diǎn)下降速度的閾值。如果SpineV小于VT，則系統(tǒng)重復(fù)執(zhí)行跌倒檢測模塊，如果Spine V大于VT，則向監(jiān)護(hù)人發(fā)送音視頻通話請求，具體流程如圖4所示。

圖4：跌倒檢測流程圖

3.3 自動音視頻通信

該模塊在接收到跌倒檢測模塊下達(dá)的啟動命令后，將分別從遠(yuǎn)程播報和近點(diǎn)播報兩個方面進(jìn)行意外情況緊急處理，遠(yuǎn)程播報即自動向被監(jiān)護(hù)目標(biāo)的監(jiān)護(hù)人發(fā)送視頻通話請求與預(yù)警信息提醒。為避免監(jiān)護(hù)人因網(wǎng)絡(luò)接收不到視頻通信，雙重保障老人安全，近點(diǎn)播報則是通過機(jī)器人內(nèi)置語音播報系統(tǒng)，提醒周圍人意外發(fā)生，及時施救，具體流程圖如圖5所示。

圖5：自動音視頻模塊流程圖

4 系統(tǒng)實施效果

本系統(tǒng)在實際中運(yùn)行情況良好，跌倒檢測模塊運(yùn)行界面如圖6所示，該模塊時刻監(jiān)護(hù)老人狀態(tài)，防止意外發(fā)生。

圖6：跌倒檢測實施效果

當(dāng)監(jiān)護(hù)目標(biāo)發(fā)生意外跌倒時，自動音視頻模塊自動向其監(jiān)護(hù)人發(fā)送視頻通話請求，將當(dāng)前情況時實轉(zhuǎn)播至其監(jiān)護(hù)人，使其迅速做出施救決策，接通后界面如圖7所示。

圖7：音視頻通話實施效果

5 結(jié)束語

人口老齡化是我國現(xiàn)階段面臨的嚴(yán)峻社會問題，養(yǎng)老服務(wù)成為解決這一問題的緊迫需求[6]。相比人工陪護(hù)，智能監(jiān)護(hù)可極大地節(jié)省人力、物力、財力。針對獨(dú)守老人生活中突發(fā)意外求助困難導(dǎo)致生命受到威脅的問題，本文通過研究深度攝像機(jī)視覺跟隨算法和老人跌倒視覺分析，使監(jiān)護(hù)人時刻掌控老人動態(tài)；研究突發(fā)意外情況時的自動通信模式，建立老人與監(jiān)護(hù)人的遠(yuǎn)程音視頻通信方法，為及時施救提供寶貴時間。本文提出的基于ROS服務(wù)機(jī)器人的養(yǎng)老系統(tǒng)可以解決這一社會痛點(diǎn)問題且效果良好。