基于人工智能的自閉癥兒童情緒識(shí)別系統(tǒng)研究

孫宏林 程敬 李茜 彭俊峰 張佳偉

（西安工程大學(xué)機(jī)電工程學(xué)院，陜西 西安 710600）

引言：自閉癥又稱孤獨(dú)癥,是一種腦功能障礙引起的嚴(yán)重的長(zhǎng)期發(fā)展障礙的綜合癥，主要表現(xiàn)在言語發(fā)展與溝通、社會(huì)交往以及情緒與行為模式等方面的障礙或異常。研究發(fā)現(xiàn)自閉癥患者很難識(shí)別出自己的或者是其他人的面部表情以及情緒。這種識(shí)別他人情緒表情能力的缺乏影響了他們與他人交往的能力[1]。根據(jù)世界衛(wèi)生組織的調(diào)查顯示，全世界自閉癥患者已達(dá)6700 萬以上，這一上升趨勢(shì)還在不斷的加劇，據(jù)全國(guó)殘疾人普查情況統(tǒng)計(jì)估算，我國(guó)自閉癥患者已超過1000 萬人，自閉癥尤以兒童占比較高，我國(guó)0-14 歲兒童患者數(shù)量在200 萬人左右，并且數(shù)量逐年增高。

一、研究背景

自閉癥又稱孤獨(dú)癥,是一種腦功能障礙引起的嚴(yán)重的長(zhǎng)期發(fā)展障礙的綜合癥，主要表現(xiàn)在言語發(fā)展與溝通、社會(huì)交往以及情緒與行為模式等方面的障礙或異常。隨著自閉癥近年來的增長(zhǎng)趨勢(shì)，已經(jīng)逐漸的得到廣大人群的關(guān)注，據(jù)2013 年美國(guó)精神病學(xué)會(huì)的最新診斷標(biāo)準(zhǔn)《精神疾病診斷與統(tǒng)計(jì)手冊(cè)》第五版，ASD 的典型特征劃分為3 大特征:社交障礙，語言交流障礙，重復(fù)刻板的異常行為[2]。Baron 等人使用標(biāo)準(zhǔn)的面部表情圖片研究自閉癥兒童對(duì)不同情緒種類的識(shí)別,發(fā)現(xiàn)自閉癥兒童對(duì)他人由外部情境引發(fā)的簡(jiǎn)單表情識(shí)別得較好,如高興和悲傷,但難以識(shí)別由信念和愿望引發(fā)的面部表情如驚奇、窘迫等[3]。他們對(duì)于害怕、不安、痛苦等表達(dá)負(fù)性情緒的表情更不敏感[4]。根據(jù)世界衛(wèi)生組織的調(diào)查顯示，目前全球有自閉癥患者約6700 萬人，我國(guó)自閉癥患者已超過1000 萬人，自閉癥尤以兒童占比較高，我國(guó)0-14 歲兒童患者數(shù)量在200 萬人左右，每59 名兒童中就有1 名為自閉癥患者。

迄今為止，自閉癥病因尚不明確，因此沒有特別有效和有針對(duì)性的治療藥物，目前自閉癥治療方案大多采取教育和行為干預(yù)的方法，以藥物為輔助手段，而教育和行為干預(yù)效果并不明顯，而且費(fèi)用高昂，給患者家庭帶來巨大的經(jīng)濟(jì)負(fù)擔(dān)。

二、系統(tǒng)實(shí)施

（一）總方案實(shí)施

實(shí)施方案包括三個(gè)方面：

1.基于腦電信號(hào)的自閉癥兒童情緒識(shí)別

設(shè)計(jì)出自閉癥患兒易于接受的智能可穿戴設(shè)備，形狀類似日常生活中佩戴的帽子，用來采集自閉癥患兒腦電信號(hào)，采用人工智能中深度學(xué)習(xí)的方法對(duì)腦電信號(hào)進(jìn)行特征提取，構(gòu)建多維情緒分類系統(tǒng)，將特征信號(hào)與情緒類型進(jìn)行關(guān)聯(lián)，建立自閉癥兒童情緒識(shí)別模型進(jìn)行情緒識(shí)別。

2.基于面部表情的自閉癥兒童情緒識(shí)別

拍攝自閉癥患兒面部圖像，通過人工智能中機(jī)器學(xué)習(xí)的方法針對(duì)不同患兒進(jìn)行面部圖像與情緒對(duì)應(yīng)關(guān)系的訓(xùn)練和學(xué)習(xí)，進(jìn)而建立自閉癥兒童面部表情與情緒和需求的對(duì)應(yīng)關(guān)系模型。

3.綜合腦電和面部信號(hào)的自閉癥兒童情緒識(shí)別

將自閉癥兒童腦電信號(hào)和面部圖像情緒識(shí)別結(jié)果進(jìn)行綜合分析，給出自閉癥兒童情緒類型和建議，并將結(jié)果反饋給家人和交流者，以便準(zhǔn)確把握自閉癥患兒的情緒，滿足其需求和進(jìn)行正確的情緒引導(dǎo)。

方案實(shí)施技術(shù)路線如圖1。

圖1 方案實(shí)施路線圖

（二）面部表情的自閉癥兒童情緒識(shí)別

采集自閉癥兒童面部圖像，采用通過人工智能中機(jī)器學(xué)習(xí)的方法針對(duì)不同患兒進(jìn)行面部圖像與情緒對(duì)應(yīng)關(guān)系的訓(xùn)練和學(xué)習(xí)，進(jìn)而建立自閉癥兒童面部表情與情緒的對(duì)應(yīng)關(guān)系模型的方案。

首先收集圖片數(shù)據(jù)，將各個(gè)表情圖片數(shù)據(jù)進(jìn)行標(biāo)注，將“自然”情緒設(shè)置為“0”,將“生氣”設(shè)置為“1”，將“厭惡”設(shè)置為“2”，將“害怕”設(shè)置為“3”，將“高興”設(shè)置為“4”，將“傷心”設(shè)置為“5”。然后，運(yùn)用深度學(xué)習(xí)框架PADDLE 搭建RNN 模型。將圖片放進(jìn)模型里進(jìn)行訓(xùn)練，取參數(shù)較好的時(shí)訓(xùn)練結(jié)束。再將測(cè)試集進(jìn)行測(cè)試，訓(xùn)練數(shù)據(jù)如圖2 所示，若測(cè)試集準(zhǔn)確率合格，則模型訓(xùn)練完畢：若測(cè)試集準(zhǔn)確率過低，則進(jìn)行數(shù)據(jù)深度修改和框架改進(jìn)。

圖2 訓(xùn)練數(shù)據(jù)可視化圖

訓(xùn)練合格后，運(yùn)用銳爾威視高清攝像頭模組（銳爾威視IMX322 高清，0.01lux1080P，焦距6mm，視角60°）拍攝面部表情圖像，通過識(shí)別面目表情圖像，輸出結(jié)果。

（三）腦電信號(hào)的自閉癥兒童情緒識(shí)別

所設(shè)計(jì)的頭皮腦電信號(hào)采集前端電路主要由帶有斬波調(diào)制器的前置放大器、增益可編程放大器以及外置低通濾波器組成，電路的整體構(gòu)架如圖3。

圖3 整體電路架構(gòu)

前置放大器電路結(jié)構(gòu)，對(duì)于極其微弱的頭皮腦電信號(hào)，要求前置放大器具有較高的增益、較高的共模抑制比和低噪聲。為了抑制共模信號(hào)，前置放大器通常采用全差分結(jié)構(gòu)。

增益可編程放大器和低通濾波器，記錄部位、環(huán)境以及電極的變化都會(huì)導(dǎo)致頭皮腦電信號(hào)的幅度出現(xiàn)大范圍的變化，因此放置可變?cè)鲆娣糯笃鲗?duì)前置電路的總增益進(jìn)行調(diào)節(jié)以避免輸出信號(hào)發(fā)生飽和現(xiàn)象。

三、設(shè)備設(shè)計(jì)

（一）穿戴式腦電傳感兒童帽

根據(jù)兒童頭部形狀和相應(yīng)腦電波信息采集位置，將腦電傳感器（頭皮腦電信號(hào)采集前端電路）設(shè)計(jì)成適合兒童舒適配戴的兒童帽，可以隨時(shí)采集腦電信息。傳感器以條幅交叉的結(jié)構(gòu)覆蓋在帽子內(nèi)壁，與頭部貼合，既滿足了采集腦電信號(hào)的功能，又能夠滿足受眾兒童對(duì)舒適性的要求。

根據(jù)產(chǎn)品功能的要求，以鴨舌帽為原型設(shè)計(jì)本產(chǎn)品：如圖4 所示，帽頂部分內(nèi)部覆蓋腦電傳感器，在佩戴時(shí)，收集腦電信號(hào)；帽檐部分放置微型電池和信號(hào)發(fā)送器，為腦電傳感器提供電源同時(shí)將收集到的信號(hào)發(fā)送給計(jì)算終端。

圖4 兒童帽透視圖

（二）面部表情識(shí)別眼鏡

將面部識(shí)別攝像頭安裝在眼鏡上，用戶在觀察自閉癥兒童時(shí)佩戴眼鏡，便能采集自閉癥兒童的面部表情信息，同時(shí)結(jié)合穿戴式腦電傳感兒童帽收集到的腦電信息，綜合計(jì)算出自閉癥兒童此刻的情緒，轉(zhuǎn)化成語音告訴眼鏡佩戴者。

以普通眼鏡為原型設(shè)計(jì)面部表情識(shí)別眼鏡：如圖5 所示，在眼鏡橫梁正中放置面部表情識(shí)別攝像頭；如圖6 所示，鏡腳處安裝微型播放器，用以將計(jì)算出來的自閉癥兒童情緒信息以語音形式告訴眼鏡佩戴者；在鏡腿處設(shè)計(jì)可充電式微型電源，為面部表情識(shí)別攝像頭和播放器供電。

圖5 面部表情識(shí)別攝像頭

圖6 鏡腳處微型播放器

四、結(jié)論

人工智能技術(shù)的飛速發(fā)展為改善自閉癥兒童社會(huì)功能與生活質(zhì)量提供了可能，此智能可穿戴系統(tǒng)通過將自閉癥兒童腦電信號(hào)和面部圖像情緒識(shí)別結(jié)果進(jìn)行綜合分析，給出自閉癥兒童情緒類型和建議，并將結(jié)果反饋給家人和交流者，以便準(zhǔn)確把握自閉癥患兒的情緒，滿足其需求和進(jìn)行正確的情緒引導(dǎo)。同時(shí)通過深度學(xué)習(xí)和機(jī)器視覺相關(guān)技術(shù)開發(fā)智能可穿戴設(shè)備，在自閉癥患兒與一般人之間架起一座橋梁，讓一般人擁有“讀心術(shù)”，能讀懂他們的情緒，滿足他們的需求，提升他們溝通和社交能力，提高他們生活質(zhì)量，進(jìn)而改善他們的病癥，減輕他們的痛苦。