基于AI+IoT的幼兒輔助看護(hù)系統(tǒng)的設(shè)計(jì)與研究

楊宇軒 郭慶 鄒方馳 梁曉雪 曾傲雪

摘要：為了減輕家長(zhǎng)對(duì)幼兒看護(hù)的壓力，該文設(shè)計(jì)了一種基于AI+IoT技術(shù)的幼兒輔助看護(hù)系統(tǒng)。該系統(tǒng)采用攝像頭連接手機(jī)終端對(duì)幼兒狀態(tài)進(jìn)行畫面的實(shí)時(shí)監(jiān)控，采用傳感器對(duì)數(shù)據(jù)進(jìn)行采集，并在軟件平臺(tái)上完成對(duì)數(shù)據(jù)的處理，進(jìn)行可視化分析，最終實(shí)現(xiàn)對(duì)幼兒情緒、語音以及安全活動(dòng)范圍的檢測(cè)，也可以檢測(cè)幼兒的體溫、心率等生命體征，當(dāng)檢測(cè)到異常時(shí)，觸發(fā)危險(xiǎn)警報(bào)系統(tǒng)提醒家長(zhǎng)，家長(zhǎng)可在手機(jī)終端實(shí)時(shí)查看孩子的狀態(tài)，實(shí)現(xiàn)對(duì)幼兒的輔助看護(hù)。

關(guān)鍵詞：AI;IoT;實(shí)時(shí)監(jiān)控;數(shù)據(jù)處理;輔助看護(hù)

中圖分類號(hào)：TP399? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）22-0072-03

1 引言

自二胎政策實(shí)施以來，我國(guó)出生人口大幅增加，嬰幼兒數(shù)量逐步增加，各種安全事故頻發(fā)。家長(zhǎng)大多都比較忙碌，對(duì)嬰幼兒的照顧會(huì)有所疏忽，因此嬰幼兒看護(hù)也受到越來越多的關(guān)注[1]。鑒于此，本文設(shè)計(jì)了一種基于AI+IoT技術(shù)對(duì)幼兒輔助看護(hù)系統(tǒng)。該項(xiàng)目通過調(diào)用百度人臉檢測(cè)API接口，實(shí)現(xiàn)人臉情緒識(shí)別，并用物聯(lián)網(wǎng)連接技術(shù)將各類傳感器、ARM單片機(jī)以及終端相連接，形成一個(gè)完善的物聯(lián)網(wǎng)智能看護(hù)系統(tǒng)。

基于百度 AI 開放平臺(tái)的人臉識(shí)別技術(shù)，提供了人臉檢測(cè)與情緒等屬性分析、人臉對(duì)比、人臉?biāo)阉鳌⒒铙w檢測(cè)等功能，并且情緒識(shí)別功能完善;基于百度 AI 開放平臺(tái)的語言處理應(yīng)用技術(shù)，情感傾向識(shí)別、對(duì)話情緒識(shí)別等功能，都是基于大數(shù)據(jù)和深度學(xué)習(xí)，自動(dòng)學(xué)習(xí)詞義及詞序關(guān)系，具備較強(qiáng)的泛化能力，情緒識(shí)別精度高[2]。該系統(tǒng)可以讓家長(zhǎng)不需要時(shí)刻跟隨照看孩子，一定程度上比較貼合當(dāng)前父母照顧幼兒的需求沒有用戶的時(shí)刻親身監(jiān)管，也一定程度上給予了兒童獨(dú)立成長(zhǎng)的空間，同時(shí)也可以讓家長(zhǎng)在做其他事情時(shí)更加放心。

2 系統(tǒng)功能框架

該系統(tǒng)是為了輔助家長(zhǎng)看護(hù)幼兒，故有生命體征監(jiān)測(cè)、人臉情緒識(shí)別、實(shí)時(shí)監(jiān)控、語音識(shí)別、安全范圍監(jiān)測(cè)功能，可以全方位輔助家長(zhǎng)看護(hù)幼兒，減輕負(fù)擔(dān)。

2.1 生命體征監(jiān)測(cè)

在不影響孩子正常生活的前提下，利用紅外測(cè)溫傳感器以及光學(xué)心率傳感器對(duì)幼兒的體溫以及幼兒心率分別進(jìn)行測(cè)量并存儲(chǔ)在ARM板上，定時(shí)上傳到家長(zhǎng)的移動(dòng)終端上實(shí)時(shí)顯示。

2.2 人臉情緒識(shí)別

通過攝像頭進(jìn)行實(shí)時(shí)人臉掃描識(shí)別，使用OpenCV編程并接入百度智能云平臺(tái)的人臉監(jiān)測(cè)與屬性分析技術(shù)，進(jìn)行實(shí)時(shí)識(shí)別幼兒當(dāng)前表情以及情緒狀態(tài)。

2.3 語音識(shí)別

通過語音識(shí)別模塊錄音生成音頻文件，再用設(shè)計(jì)的哭叫識(shí)別系統(tǒng)軟件檢測(cè)音頻文件，當(dāng)檢測(cè)到哭叫聲時(shí)，會(huì)觸發(fā)危險(xiǎn)報(bào)警。

2.4 實(shí)時(shí)監(jiān)控

由于家長(zhǎng)不能無時(shí)無刻陪伴在孩子身邊，故本模塊的設(shè)計(jì)便于家長(zhǎng)隨時(shí)查看孩子的當(dāng)前狀態(tài)，更好地發(fā)現(xiàn)孩子的異樣并及時(shí)解決。本功能模塊可實(shí)現(xiàn)將移動(dòng)終端和攝像頭與網(wǎng)絡(luò)連接來傳輸畫面，實(shí)時(shí)查看當(dāng)前幼兒監(jiān)控畫面，并與幼兒進(jìn)行實(shí)時(shí)溝通，從而在孩子做出危險(xiǎn)行為前及時(shí)提醒孩子，減少幼兒因貪玩好奇等原因造成的意外事故。

2.5 安全范圍監(jiān)測(cè)

安全范圍監(jiān)測(cè)模塊是利用超聲波測(cè)距儀來實(shí)時(shí)監(jiān)測(cè)安全范圍。先設(shè)置一個(gè)安全距離，當(dāng)傳感器由接收的回波信號(hào)算出的距離違背設(shè)定的安全距離時(shí)，系統(tǒng)會(huì)觸發(fā)警報(bào)并及時(shí)告知家長(zhǎng)。

3 物聯(lián)網(wǎng)系統(tǒng)體系架構(gòu)

物聯(lián)網(wǎng)的基本體系結(jié)構(gòu)包括三個(gè)方面：感知層、網(wǎng)絡(luò)層、應(yīng)用層[3]。第一層是感知層，主要包括網(wǎng)關(guān)和各類需要的傳感器，可以實(shí)現(xiàn)數(shù)據(jù)的采集。第二層是網(wǎng)絡(luò)層，主要起承上啟下作用，將感知層采集到的數(shù)據(jù)，通過無線網(wǎng)絡(luò)傳輸給應(yīng)用層進(jìn)一步處理。第三層是應(yīng)用層，包括服務(wù)器和手機(jī)終端。

3.1 感知層

感知層主要包括各種傳感器，攝像頭模組，多種開發(fā)板以及多模網(wǎng)關(guān)等，它們之間采用ZigBee和WiFi進(jìn)行傳輸，具體如下所示：

3.1.1 傳感器與攝像頭

本系統(tǒng)使用了XD-58C脈搏心率傳感器、MLX90614非接觸式紅外測(cè)溫傳感器、HC-SR0超聲波測(cè)距模塊、Geeetech Arduino語音識(shí)別模塊以及ov2640攝像頭模塊，他們通過連接開發(fā)板，智能采集物理數(shù)據(jù)，并傳輸給開發(fā)板。

3.1.2 開發(fā)板

本系統(tǒng)主要采取ZigBee無線通信技術(shù)，經(jīng)過綜合分析故采用了德飛萊CC2530開發(fā)套件，如圖2所示。CC2530芯片有明顯的的優(yōu)點(diǎn)，比如工作頻帶相對(duì)較低，支持802、PRO、2007、RF4CE等標(biāo)準(zhǔn)，滿足三種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、外置天線模式，電流低、工作溫度相對(duì)恒定等[4]。此開發(fā)板也可以與多種無線模塊拔插式對(duì)插，比如WiFi模塊、4G模塊以及BC26的NBIoT模塊，從而實(shí)現(xiàn)多模通信，將數(shù)據(jù)傳輸?shù)絆neNET云平臺(tái)，可隨時(shí)查看相關(guān)數(shù)據(jù)。

3.1.3 網(wǎng)關(guān)

網(wǎng)關(guān)是物聯(lián)網(wǎng)輔助看護(hù)系統(tǒng)的數(shù)據(jù)傳輸?shù)闹匾獦屑~，是實(shí)現(xiàn)數(shù)據(jù)通訊的中轉(zhuǎn)站[5]。網(wǎng)關(guān)采用小米米家多功能網(wǎng)關(guān)，該網(wǎng)關(guān)支持ZigBee3.0、WiFi、藍(lán)牙&藍(lán)牙Mesh三種通信協(xié)議設(shè)備，可以實(shí)現(xiàn)不同協(xié)議設(shè)備的互聯(lián)互通，不僅可以接收終端節(jié)點(diǎn)傳輸來的數(shù)據(jù)并且轉(zhuǎn)輸給上位機(jī)，也可以接收上位機(jī)的指令，然后傳輸給各個(gè)終端節(jié)點(diǎn)實(shí)行。

3.2 網(wǎng)絡(luò)層

網(wǎng)絡(luò)層主要為路由器或交換機(jī)，路由器是互聯(lián)網(wǎng)的主要結(jié)點(diǎn)設(shè)備，通過路由決定數(shù)據(jù)的轉(zhuǎn)發(fā)，與Web服務(wù)器采用有線寬帶連接方式。網(wǎng)絡(luò)層在系統(tǒng)中起到承上啟下的作用，將感知層和應(yīng)用層相連接，在物聯(lián)網(wǎng)看護(hù)系統(tǒng)中起到重要作用。

3.3 應(yīng)用層

應(yīng)用層主要是由Android 移動(dòng)終端以及web 服務(wù)器組成。Android屬于開源系統(tǒng)，相比iOS更加開放，對(duì)硬件的兼容性更強(qiáng)，并且Android開發(fā)的周期也較短，測(cè)試時(shí)可直接使用apk文件進(jìn)行安裝，從而使得開發(fā)流程更加便捷。

4 系統(tǒng)移動(dòng)應(yīng)用設(shè)計(jì)

本系統(tǒng)移動(dòng)客戶端使用Android開發(fā)技術(shù)，后臺(tái)系統(tǒng)通過接入百度人工智能API將硬件采集存儲(chǔ)在服務(wù)器里的數(shù)據(jù)進(jìn)行分析。

用戶移動(dòng)客戶端有以下幾個(gè)功能，具體界面如圖2所示。

4.1 用戶登錄

用戶輸入已注冊(cè)的用戶名和密碼即可登錄。未注冊(cè)的用戶點(diǎn)擊“注冊(cè)用戶”字樣可進(jìn)行賬戶注冊(cè)并綁定手機(jī)號(hào)，用戶名，密碼將儲(chǔ)存于MySQL數(shù)據(jù)庫(kù)中;用戶忘記密碼點(diǎn)擊“忘記密碼？”字樣輸入注冊(cè)時(shí)手機(jī)號(hào)并通過驗(yàn)證即可重新設(shè)置密碼。

4.2 個(gè)人中心

登錄系統(tǒng)后可在此界面填寫或修改賬戶資料以及接收系統(tǒng)消息和對(duì)軟件的設(shè)置。

4.3 監(jiān)控傳輸畫面

主要功能為實(shí)時(shí)傳輸終端監(jiān)控的幼兒畫面，并顯示幼兒的體溫、心率以及情緒狀態(tài)。同時(shí)可實(shí)時(shí)語音通話，實(shí)現(xiàn)云看護(hù)。

4.4 數(shù)據(jù)可視化界面

對(duì)云平臺(tái)存儲(chǔ)的數(shù)據(jù)（幼兒的體溫、心率以及情緒狀態(tài)） 進(jìn)行可視化處理，以統(tǒng)計(jì)圖表的形式呈現(xiàn)在不同頁(yè)面。

4.5 危險(xiǎn)反饋機(jī)制

當(dāng)系統(tǒng)檢測(cè)到幼兒有危險(xiǎn)時(shí)，比如有發(fā)熱、心率過高、超出安全距離等異常情況時(shí)，觸發(fā)危險(xiǎn)報(bào)警系統(tǒng)，手機(jī)震動(dòng)并響鈴，提醒家長(zhǎng)注意孩子當(dāng)前狀態(tài)。

5 關(guān)鍵問題的研究

在該系統(tǒng)中，涉及兩個(gè)關(guān)鍵問題，分別是幼兒臉部情緒識(shí)別和幼兒安全范圍監(jiān)測(cè)。

5.1 人臉情緒識(shí)別

人臉情緒識(shí)別技術(shù)是計(jì)算機(jī)根據(jù)人類在情緒特征的預(yù)先設(shè)定，通過情緒計(jì)算判定人臉面部表情。

在本次項(xiàng)目中實(shí)現(xiàn)這一技術(shù)內(nèi)容如下：

（1） 通過攝像頭采集幼兒實(shí)時(shí)的視頻，利用 OpenCV 對(duì)視頻進(jìn)行抽幀分析，判斷該幀圖像中是否包含人臉，如包含人臉則將圖像進(jìn)行Base64編碼，即將圖片數(shù)據(jù)編碼成一串字符串，使用該字符串代替圖像地址。可以首先得到圖片的二進(jìn)制，然后用Base64格式編碼即可。

（2） 接入百度智能云平臺(tái)人臉識(shí)別技術(shù)，以達(dá)到人臉檢測(cè)：檢測(cè)圖片中的人臉并標(biāo)記出位置信息;

（3） 人臉情緒識(shí)別中，識(shí)別數(shù)據(jù)分為動(dòng)態(tài)圖像序列和靜態(tài)圖片兩種。由于動(dòng)態(tài)圖像序列技術(shù)尚未成熟和表情識(shí)別算法一般都針對(duì)靜態(tài)圖像進(jìn)行識(shí)別和驗(yàn)證，將監(jiān)控設(shè)備捕捉的動(dòng)態(tài)圖像逐幀篩選為一系列靜態(tài)圖像，通過處理靜態(tài)圖像實(shí)現(xiàn)圖像識(shí)別[6]，首先使用最大聯(lián)通區(qū)域分割法實(shí)現(xiàn)人臉檢測(cè)，然后使用局部二值化算法、主成分分析算法、Gabor小波變換算法對(duì)人臉表情特征進(jìn)行提取，最后采用向量機(jī)（SVM） 算法對(duì)人臉進(jìn)行分類識(shí)別。

（4） 人臉質(zhì)量信息：返回人臉各部分的遮擋、光照、模糊、完整度、置信度等功能，并利用OpenCV 的 rectangle 和 putText 將人臉區(qū)域及情緒信息標(biāo)注出來，將情緒信息保存下來[7]。利用 Matplotlib 繪制幼兒情緒統(tǒng)計(jì)信息的圖表，并通過 Flask 以 Web 的形式將這些統(tǒng)計(jì)圖表進(jìn)行發(fā)布，將幼兒情緒的監(jiān)測(cè)結(jié)果反饋給家長(zhǎng)。

5.2 安全范圍監(jiān)測(cè)

安全范圍監(jiān)測(cè)主要是利用超聲波傳感器對(duì)幼兒是否跌落床下問題進(jìn)行監(jiān)測(cè)，當(dāng)幼兒肢體超過床體邊緣時(shí)，傳感器發(fā)出異常信號(hào)，觸動(dòng)危險(xiǎn)報(bào)警系統(tǒng)，提醒家長(zhǎng)注意孩子當(dāng)前狀態(tài)。? ? 使用的測(cè)量?jī)x器是超聲波測(cè)距傳感器，超聲波測(cè)距傳感器是根據(jù)時(shí)間差測(cè)距法來測(cè)量距離，即：

[S=340*t/2]

（超聲波在空氣中的傳播速度為340m/s，t是根據(jù)計(jì)時(shí)器記錄測(cè)出發(fā)射與接收回波的時(shí)間差，S為出發(fā)射點(diǎn)距離物的距離） ，首先將傳感器放置床角位置，使其發(fā)射波沿著床邊緣，當(dāng)孩子肢體超過床體邊緣時(shí)，超聲波測(cè)距傳感器所測(cè)量的距離將會(huì)突然縮短，傳感器發(fā)出異常信號(hào)啟動(dòng)危險(xiǎn)報(bào)警系統(tǒng)。

6 結(jié)論

本文的研究目標(biāo)是基于AI+IOT技術(shù)設(shè)計(jì)研究出一款為家長(zhǎng)看護(hù)孩子提供智能便攜服務(wù)的幼兒輔助看護(hù)系統(tǒng)，該系統(tǒng)以家庭為單位，提供新型智能化嬰幼兒看護(hù)服務(wù)，實(shí)現(xiàn)監(jiān)護(hù)系統(tǒng)下幼兒生理狀態(tài)，情緒心理狀態(tài)，行為動(dòng)作狀態(tài)的捕捉，為家長(zhǎng)看護(hù)孩子提供更完善更便捷的智能服務(wù)，并可以減少嬰幼兒安全事故發(fā)生概率。

參考文獻(xiàn)：

[1] 陳蓓.智能嬰幼兒看護(hù)系統(tǒng)設(shè)計(jì)研究[D].上海：東華大學(xué)，2016.

[2] 葉陽(yáng)，顧國(guó)民.基于百度API的實(shí)時(shí)人臉檢測(cè)[J].信息記錄材料，2020，21（5）：226-227.

[3] 李雪茹.基于Android的物聯(lián)網(wǎng)醫(yī)療監(jiān)護(hù)系統(tǒng)的研究與設(shè)計(jì)[D].曲阜：曲阜師范大學(xué)，2015.

[4] 韋煜.基于ZigBee無線技術(shù)的智能家居系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2019.

[5] 王運(yùn)紅.智能家居系統(tǒng)客戶端與網(wǎng)關(guān)的設(shè)計(jì)與實(shí)現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2014.

[6] 劉大誠(chéng).人工智能情緒識(shí)別應(yīng)用研究[J].中國(guó)高新科技，2019（13）：59-62.

[7] 宋永生.基于OpenCV及AI的網(wǎng)絡(luò)學(xué)習(xí)者情緒監(jiān)測(cè)系統(tǒng)[J].信息技術(shù)與信息化，2019（11）：9-12.

【通聯(lián)編輯：李雅琪】