人臉識別的看護機器人

雷相玉 周依婷 龍春曉 鐘陳昊

編者按：這篇文章中，作者針對傳統(tǒng)輪椅交互模式存在的操作不便、效率低，難以滿足行動不便人群等缺陷，設(shè)計了一款具有表情控制的輪椅型看護機器人。該設(shè)計利用外部攝像頭對使用者進行表情圖像采集，通過esp8266模塊將數(shù)據(jù)傳輸?shù)教幚砥?，進行數(shù)據(jù)判斷后向輪椅機器人發(fā)出指令。同時利用GPS定位模塊、紅外檢測模塊、心率模塊對使用者的各項心理與環(huán)境參數(shù)進行采集，且通過GSM模塊將這幾項數(shù)據(jù)發(fā)送給使用者的監(jiān)護人，實現(xiàn)二者之間的信息交互?？傮w來看，該裝置既能增強使用者的自主能力，尊重其人格尊嚴，也能使監(jiān)護人安心。

調(diào)查數(shù)據(jù)顯示，我國殘疾人口基礎(chǔ)數(shù)據(jù)庫入庫持證殘疾人數(shù)從2016年的3219.4萬人增長至2020年的3780.7萬人，期間增加561.3萬人。而僅有 23.3% 左右的殘疾人得到康復(fù)服務(wù)，殘疾人主動要求配置個人移動輔助器的占38.56%，而實際配置個人移動輔助器的占有 7.31%，由此可見，我國殘疾人服務(wù)缺口巨大。隨著社會經(jīng)濟的快速發(fā)展，社會老年化問題嚴重，殘疾人士的生活服務(wù)水平應(yīng)該在科技智能的幫助下得到提升。在市面上的一般輪椅和電動輪椅，大多通過手動操作的方式控制，存在著操作不便、效率低、靈活性不夠、功能簡單等問題，無法滿足使用者的實際生活需求。與此同時，數(shù)字智能的興起讓面部表情識別技術(shù)受到了許多消費者與國內(nèi)外科研人員的青睞，具有較高的研究價值與應(yīng)用前景。因此，針對傳統(tǒng)輪椅的操作不便與控制指令局限等缺陷，我們選擇面部表情識別作為控制智能輪椅機器人新方式。

設(shè)計思路方法

這是針對手腳不便人群開發(fā)的利用面部表情識別技術(shù)控制輪椅出行的裝置，這種以攝像頭裝置為主和以各類傳感器為輔的可實時監(jiān)測使用者身體參數(shù)與地理位置的智能化出行輔具，對手腳不便人群具有很高的應(yīng)用價值。其中電機驅(qū)動板使用了電磁學(xué)的原理，攝像頭運用凸透鏡成像的原理，紅外體溫傳感器運用熱輻射效應(yīng)，心率傳感器運用光的發(fā)射與折射的原理，GPS與GPRS運用萬有引力定律和開普列三大定律。

設(shè)計原理

系統(tǒng)的設(shè)計包括輪椅的行駛系統(tǒng)、多功能監(jiān)測系統(tǒng)以及軟件設(shè)計系統(tǒng)三部分。

輪椅行駛系統(tǒng)

輪椅的行駛系統(tǒng)主要由控制板和電機驅(qū)動板兩部分構(gòu)成。通過處理器模塊（樹莓派）實現(xiàn)對識別模塊發(fā)送的數(shù)據(jù)進行接受與對比，再通過無線模塊向控制板傳輸相應(yīng)的動作指令，從而操控輪椅的行駛。

多功能監(jiān)測系統(tǒng)

考慮到使用者的生理特征，多功能監(jiān)測系統(tǒng)由心率脈搏傳感器、紅外溫度傳感器、GPS、無線WIFI模塊、電池及微處理器等模塊構(gòu)成?？紤]到設(shè)備的低功耗與低價格，采用STM32 F103 系列的處理器，可通過 Keil Mdk5 直接對其進行編程。該模塊通過無線通信模塊與監(jiān)控中心相連，實現(xiàn)對用戶者的體溫、心率以及地理位置等參數(shù)的測量、儲存以及傳輸?shù)裙δ?。后期將制作成手環(huán)連接到輪椅上。

軟件設(shè)計系統(tǒng)

軟件設(shè)計系統(tǒng)包括從機端的操作系統(tǒng)移植，無線網(wǎng)卡驅(qū)動、應(yīng)用開發(fā)以及主機端的數(shù)據(jù)接收顯示開發(fā)。最初采用 PC作為攝像頭面部特征識別的處理終端，后期將程序移植到 Linux，放置于基于A53的樹莓派中。

系統(tǒng)構(gòu)成模塊

該模型主要由五個部分組成：執(zhí)行模塊，識別模塊，監(jiān)測模塊，顯示和報警模塊，處理模塊。

WI-FI通訊模塊

ATK-ESP8266 WI-FI模塊是一款高性能的UART-WIFI（串口-無線）模塊。該模塊采用串口與MCU通訊，內(nèi)置TCP/IP協(xié)議，能夠?qū)崿F(xiàn)串口與WI-FI之間的轉(zhuǎn)換，傳統(tǒng)串口通訊設(shè)備進行簡單的串口配置后即可通過WI-FI來傳輸自己的數(shù)據(jù)。

紅外體溫傳感器

GY-MCU90615 是一款低成本紅外溫度模塊。工作電壓 3-5v，功耗小，體積小。其工作原理，是通過單片機讀取紅外溫度數(shù)據(jù)，串口通信方式輸出。通過非接觸式的傳感器，采集病人的體溫信息，利用連接線接到傳感器信號采樣器總線上，通過無線信號發(fā)送給處理器。

生物心率傳感器

MDL0025 是光電反射式信號傳感器，用于監(jiān)測血管輕微的擴張所產(chǎn)生的光電反射強度來反應(yīng)脈搏的跳動情況。 脈搏傳感器捆綁在病人手指上，或者粘于病人胸前，并且將數(shù)據(jù)線與傳感器信號采樣器相連，可獲取病人的脈搏信息。

GPS定位模塊

GPS定位模塊用于監(jiān)測用戶者的地理位置，它與GSM模塊相連接，實現(xiàn)與監(jiān)護人的聯(lián)系，用戶者通過主動報警或者被動報警即可了解用戶者所處的地理位置。

GSM模塊

GSM模塊可與GPRS網(wǎng)絡(luò)通信，當(dāng)有SIM卡插入時自動讀取SIM卡信息，連接GSM網(wǎng)絡(luò)，能夠發(fā)送短信、撥打電話、連接2G網(wǎng)絡(luò)等。

攝像頭部分

通過 USB 協(xié)議的攝像頭，處理器讀取攝像頭拍攝的圖像，通過內(nèi)置程序識別面部動作。

顯示器部分

顯示器部分可采用標(biāo)準(zhǔn)串口顯示器，來顯示用戶者的各項身體指標(biāo)以及輪椅的電量。

蜂鳴器

通過蜂鳴器實現(xiàn)報警功能，當(dāng)輪椅電量低于百分之二十時或者用戶者生理異常時蜂鳴器發(fā)出鳴叫用于提醒用戶者。

具體實施

輪椅模型如圖 1所示，應(yīng)用于四肢不便人群。服務(wù)對象在家人的幫助下坐上輪椅，系上腰帶。

在圖 1中，1為采集裝置，主要采集使用者面部特征;2為可伸縮桿，用于調(diào)節(jié)攝像頭的高度和角度;3為腰帶，主要用于監(jiān)測服務(wù)對象的各項生理指標(biāo);4為手環(huán)，主要連接在輪椅上，監(jiān)測使用者的生理與環(huán)境指標(biāo);5為A35樹莓派微型處理器，主要對采集到的數(shù)據(jù)進行處理并對輪椅或監(jiān)護人發(fā)送指令。本裝置能夠前進、轉(zhuǎn)彎以及停止，可在室內(nèi)外使用，比如使用者公園游玩等，可讓使用者進行心理放松和參與社會活動，減少監(jiān)護人的陪護量。

工作方法

系統(tǒng)進行初始化，當(dāng)系統(tǒng)監(jiān)測到服務(wù)對象后，開始工作。

識別模塊開始工作，通過USB協(xié)議的攝像頭進行照片采集，將圖像等信息傳輸?shù)交贏RM 7的STM32 F103系列處理器進行整理集合，而后通過無線模塊將數(shù)據(jù)傳輸?shù)交趚64的筆記本電腦，電腦將會通過機器學(xué)習(xí)算法對圖像數(shù)據(jù)進行識別并做校驗判斷處理。若識別到用戶者的面部特征為系統(tǒng)認知的“指令特征”，則處理器會對執(zhí)行機構(gòu)發(fā)送命令使其進行相應(yīng)操作。使用者用張嘴控制總開關(guān);使用者抬頭，啟動輪椅前行;使用者低頭，輪椅停止行駛;使用者轉(zhuǎn)臉，輪椅隨之旋轉(zhuǎn)，直至使用者回正臉，輪椅停止旋轉(zhuǎn)。

同時監(jiān)測模塊通過各類傳感器實時監(jiān)測使用者的地理位置、心率以及體溫等，再將獲得的數(shù)據(jù)在ARM 7STM32 F103系列處理器中處理好，并計算出相應(yīng)的數(shù)值，而后通過無線模塊將數(shù)據(jù)傳輸?shù)絰64的筆記本電腦，在電腦中判斷是否越限及報警。若使用者的生理參數(shù)超過一定閾值，會發(fā)送短信通知監(jiān)護人的到來;監(jiān)護人也可主動發(fā)送“position”指令來查詢使用者的各項生理與環(huán)境指標(biāo)。

場景模擬

系統(tǒng)流程如圖2所示。

情形一如圖3所示：駕駛者坐在輪椅中，對準(zhǔn)攝像頭，當(dāng)用戶第奇數(shù)次張嘴且界面顯示OPEN，解開輪椅總開關(guān);當(dāng)用戶第偶數(shù)次張嘴且界面顯示CLOSE，關(guān)閉輪椅總開關(guān)。

情形二如圖4所示：駕駛者坐在輪椅中，對準(zhǔn)攝像頭，當(dāng)用戶抬頭處于設(shè)定范圍內(nèi)，便會啟動輪椅前行;若駕駛者遇到前方障礙物，可以低頭來操控輪椅停止運動。

情形三如圖5所示：駕駛者坐在輪椅中，對準(zhǔn)攝像頭，若駕駛者遇到前方轉(zhuǎn)彎，可以在一定范圍內(nèi)左轉(zhuǎn)臉或者右轉(zhuǎn)臉，輪椅便會相應(yīng)的左旋轉(zhuǎn)或者右旋轉(zhuǎn)，直至駕駛者回正臉部，輪椅便會停止旋轉(zhuǎn)。

創(chuàng)新特點

由上述的針對四肢不便人群的智能輪椅的原理與流程可知，本發(fā)明的特色與創(chuàng)新點如下：

1.采用新穎的面部控制，顛覆了傳統(tǒng)輪椅的操控模式。使用者僅需進行張嘴、抬頭 、低頭以及轉(zhuǎn)臉便可控制輪椅，極大地滿足了四肢不變?nèi)巳旱某鲂行枨螅瑢崿F(xiàn)了便捷的人機交互。

2.集合多種傳感器，監(jiān)測使用者的心率、體溫等生理參數(shù)，實時反饋其身體狀況，保障了使用者的出行安全。

3.結(jié)合GPS、GPRS以及GSM技術(shù)，實時監(jiān)測用戶的地理位置，建立與監(jiān)護人的信息交互。

4.本裝置操作簡單、兼容性強、適用范圍廣。使用者可在家中或者康復(fù)院較安全的環(huán)境使用，能夠減少其監(jiān)護人的工作量，也有助于殘疾人增強自尊并與外界環(huán)境進行互動。此作品還可開發(fā)運用于病人臉部鍛煉康復(fù)、病房監(jiān)測植物人情況等。

應(yīng)用前景

隨著社會的發(fā)展與科技的進步，四肢不便人群對于保障健康、便利生活的需求不斷提高，因此智能輔助機械成為一個新研究熱點。且人工智能領(lǐng)域在各個方面有著廣泛的應(yīng)用，其中的面部識別技術(shù)受到了許多消費者與國內(nèi)外科研究人員的青睞，具有較高的研究價值與應(yīng)用前景。針對傳統(tǒng)輪椅的操作不便與控制指令單一等缺陷，我們選擇面部特征識別作為人機交互的新方式。

本文為滿足四肢不便人群的出行需求，在傳統(tǒng)輪椅的基礎(chǔ)上，進行了功能的改進與創(chuàng)新，特別是采用面部識別及計算機軟件技術(shù)來控制輪椅的行駛方向，實現(xiàn)了人機交互功能，提高了四肢不便人群的生活質(zhì)量。同時結(jié)合GPS定位和GSM通訊來實時監(jiān)測出行者的地理位置，建立與家屬或醫(yī)院的信息交互，并配載紅外體溫傳感器和心率傳感器監(jiān)測使用者的生理特征，反饋用戶的實時身體狀況，保障了出行者的戶外安全。此外，利用太陽能電池板和蓄電池進行供電，輔之蜂鳴器預(yù)警輪椅的電量不足。我們將合適的硬件和人工智能相結(jié)合，賦予了殘障人士更多的自主性與便利性，增加四肢不便生活的自信心，同時也減少其監(jiān)護人的工作量。在后續(xù)的開發(fā)中，我們將研究眼睛以及眉毛等部位表情的人機互動功能，能夠有效幫助特定人群及時表達需要被幫助的需求。

結(jié)語

社會在不斷的發(fā)展，科學(xué)在不斷地進步。科技發(fā)展造福的是全人類，是服務(wù)人民的存在。本裝置的初心是為了改善四肢不便人群的生活水平、自主能力和人格尊嚴。在就算沒有人員陪同的情況下也能自由出行，也讓監(jiān)護人能放心其自我出行。當(dāng)然本裝置只是一個初步的設(shè)計，僅僅只能滿足四肢不便人群的一部分需求，我們也會加強改進，實現(xiàn)更多的表情控制，達到更高精度的監(jiān)測水平。為部分四肢不便人員有更美好的生活不斷努力，繼續(xù)鉆研。

參考文獻：

[1]韓德洋. 依法保護殘疾人的公民權(quán)利和人格尊嚴[N]. 人民法院報，2021-11-25（005）.

[2]史浩，邢瑜航，陳煉.基于多尺度融合注意力機制的人臉表情識別研究[J/OL].微電子學(xué)與計機：1-8[2021-11-30].https：//doi.org/10.19304/J.ISSN1000-7180.2021.0799.

[3]張曉玉. 我國個人移動輔助器具領(lǐng)域的發(fā)展現(xiàn)狀和趨勢[A].中國康復(fù)醫(yī)學(xué)會，2010：6.

[4]羅椅民.我國適老輔具與殘疾人輔具需求分析[J].STANDARD SCIENCE，2019（6）：57-61.

[5]張?zhí)?面部表情識別的研究與集成實現(xiàn)[D].重慶郵電大學(xué)，2016.

[6]吳景軍.基于面部表情的智能輪椅控制系統(tǒng)研究[D].沈陽工業(yè)大學(xué)，2015.

[7]黃曉光，葉振合，鄭穎.殘疾人輔具產(chǎn)品安全性設(shè)計研究[J].包裝工程，2018（16）：16-18.

[8]吳賡.藍牙技術(shù)在單片機控制中的應(yīng)用[J].機電信息，2021（26）：60-61+64.

[9]張琥石，林偉龍，楊發(fā)柱，黃向軍，金星伊，陳潔，羅曉春，張盈盈，甘辛.基于ESP8266 WiFi模塊的物聯(lián)網(wǎng)體溫監(jiān)測系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2020，10（12）：32-35.

本文受到國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目《健康城市與智能出行——針對手腳皆殘的智能輪椅》（202010349021）資助。