基于情感計算的兒童自閉癥早期風(fēng)險預(yù)測及實現(xiàn)路徑研究

梁益?zhèn)? 李潭清

研究背景

本項目源于初中時參加的全國青少年機器人競賽，當(dāng)時設(shè)計了聾啞智慧手套，幫助殘疾兒童實現(xiàn)溝通和交互，在項目研究過程中與自閉患兒零距離的接觸，看到了自閉癥對兒童健康的威脅，心靈深處受到觸動。于是在暑假期間，開始深入到合肥市康華殘疾人康復(fù)中心、安徽省特殊中專學(xué)校等部門進行咨詢與調(diào)研。通過發(fā)放問卷，結(jié)合專家訪談，進一步了解到自閉癥兒童的現(xiàn)狀，大多數(shù)家庭是在發(fā)現(xiàn)自閉癥的顯性癥狀后才開始尋醫(yī)治療，滯后醫(yī)療康復(fù)的概率較小，且高昂的費用讓很多家庭負(fù)債累累。因此，本項目旨在通過對兒童自閉癥早期潛在風(fēng)險進行識別與預(yù)測，開發(fā)一種成本較低、操作方便、安全適用，能早期預(yù)測兒童自閉癥的系統(tǒng)軟件，實現(xiàn)自閉癥兒童早識別、早治療、早康復(fù)的目的。

研究思路

◇既往的賽事經(jīng)歷為本研究提供了研究思路與創(chuàng)意。

◇通過文獻梳理與分析，系統(tǒng)回顧國內(nèi)外關(guān)于自閉癥的現(xiàn)狀及研究動態(tài)。利用問卷調(diào)研和現(xiàn)場咨詢采集相關(guān)數(shù)據(jù)，獲取本研究所需要的數(shù)據(jù)資料。

◇在研究中期，邀請專家座談，咨詢專家的意見和建議，根據(jù)對專家意見的梳理，選取自閉癥患兒的聲音和表情2個關(guān)鍵特征指標(biāo)，設(shè)計研究方法，確定了產(chǎn)品開發(fā)的路徑。

目前國際通用的自閉癥篩查量表ABC （Autism Behavior Checklist）中列出了57項自閉癥兒童的行為特征，對應(yīng)了57個選擇題，包括感知能力、交往能力、運動能力、語言能力和自我照顧能力。通過分析ABC量表后，發(fā)現(xiàn)核心題目更適合使用計算機技術(shù)進行自動化測試。以量表中的第21題為例，使用者在回答題目時需要識別出被測試兒童的面部表情，已有的研究報告指出，在識別面部表情時，基于機器學(xué)習(xí)的識別技術(shù)比人工識別的準(zhǔn)確率更高。基于此，本項目擬采用深度學(xué)習(xí)技術(shù)和web服務(wù)技術(shù)智能化量表中的第21題。

實現(xiàn)ABC量表測試的基本思路：首先進行ABC量表題目的電子化，將量表實現(xiàn)為本項目APP的其中一個模塊;其次是分?jǐn)?shù)統(tǒng)計的自動化，根據(jù)測試者的選項及項目的分值進行自動統(tǒng)計;最后是個別題目的智能化，選取可以用新興計算技術(shù)實現(xiàn)的題目，進行重點突破。

在實現(xiàn)智能化時，首先利用深度學(xué)習(xí)技術(shù)訓(xùn)練表情識別模型;在獲得滿足精度需求的識別模型后，將之實現(xiàn)一個表情識別的web服務(wù)，供APP端調(diào)用并自動識別表情。具體地，表情數(shù)據(jù)集擬采用Google運營的Kaggle平臺中發(fā)布的fer2013。此數(shù)據(jù)集由58 886張老年人、中年人、青年人、兒童、卡通表情圖片組成，包含生氣、厭惡、恐懼、開心、傷心、驚訝、中性7種表情。使用開源深度學(xué)習(xí)框架Tensorflow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

此外，自閉癥兒童多數(shù)不善言辭，或有語言障礙，與正常嬰幼兒語言功能相比有鮮明的特征區(qū)別，這些特征在3歲之前就已經(jīng)很明顯了。本項目擬通過采集大量3歲以內(nèi)低風(fēng)險患兒、高風(fēng)險患兒和正常兒語言和發(fā)音，建立情感計算大數(shù)據(jù)分析模型，根據(jù)嬰幼兒語言或發(fā)聲的聲學(xué)特征與已有的模型進行模式匹配，根據(jù)匹配的結(jié)果預(yù)測自閉癥風(fēng)險系數(shù)。

◇在研究后期，對實驗研究進行科學(xué)分析與歸納，整理匯編各類研究資料和重要文檔，撰寫項目總結(jié)，完善評估預(yù)測系統(tǒng)，形成研究成果。

產(chǎn)品設(shè)計

系統(tǒng)組成

系統(tǒng)采用互聯(lián)網(wǎng)+模式，前臺利用手機移動終端APP進行面部表情數(shù)據(jù)及語音信號數(shù)據(jù)采集，所采集的數(shù)據(jù)經(jīng)互聯(lián)網(wǎng)傳送至后臺云服務(wù)器進行數(shù)據(jù)分析，最后將檢測結(jié)果傳回手機移動終端。

系統(tǒng)的語音處理模塊：嬰幼兒語音或發(fā)聲經(jīng)過手機話筒進行聲電變換，通過互聯(lián)網(wǎng)導(dǎo)入后臺評估預(yù)測系統(tǒng)。在后臺，首先對嬰幼兒語音或發(fā)聲進行預(yù)加重和信號濾波等預(yù)處理，再利用MFCC技術(shù)進行聲音特征提取。聲音特征包括：語音的頻率、時長、幅度，以及各種聲音的其他線性系數(shù)及參數(shù)、Mel參數(shù)等。利用這些特征參數(shù)，與情感計算分析模型進行模式匹配對比，得出最終結(jié)論。

關(guān)鍵技術(shù)

◇ABC量表電子化

將國際通用的兒童自閉癥行為ABC量表的57道判斷題實現(xiàn)電子化，結(jié)合評判的數(shù)據(jù)得分，用戶僅需通過APP選擇的方式完成答題，即可快速得到評估結(jié)果。

◇核心甄別指標(biāo)的智能化

利用基于深度學(xué)習(xí)的表情識別技術(shù)和智能語音技術(shù)實現(xiàn)了對ABC量表核心題甄別指標(biāo)的智能化測試與判斷，即語音與表情。ABC量表中存在主觀判斷，家長作為普通人一般無法正確回答，因此通過智能化手段實現(xiàn)量表的關(guān)鍵指標(biāo)量化。語音采用訊飛技術(shù)和MFCC算法分析，形成語音模型;表情使用開源深度學(xué)習(xí)框架Tensorflow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，實現(xiàn)表情模型的構(gòu)建。

◇特征提取和數(shù)據(jù)庫建立

利用移動終端采集大量高風(fēng)險、低風(fēng)險和正常兒童的語音和表情信息，經(jīng)手機初步信息處理，再由后臺對語音和表情信息進行特征提取，進而分析、訓(xùn)練、學(xué)習(xí)，不斷完善數(shù)據(jù)庫，最終建立情感語音和表情數(shù)據(jù)庫。

◇情感計算模型的建立

結(jié)合基于深度學(xué)習(xí)技術(shù)及開源表情庫，建立表情識別模型和基于MFCC算法的新型語音表達模型，研究構(gòu)建了一種新型的自閉癥兒童復(fù)合情感計算模型。借助移動端對實時兒童表情圖像和聲音信息進行特征抽取，利用情感計算模型對表情和語音源進行算法分析，再通過與語音和表情數(shù)據(jù)庫進行比對，最終評估并反饋兒童潛在自閉癥風(fēng)險高低，從而初步預(yù)測兒童早期自閉癥風(fēng)險狀況。

程序設(shè)計

自閉癥風(fēng)險預(yù)測系統(tǒng)由APP前端應(yīng)用模塊和后臺情感計算模塊組成。APP前端應(yīng)用模塊包括：用戶注冊與登錄、咨詢與服務(wù)、關(guān)鍵語音采集、關(guān)鍵表情采集、ABC量表采集和ASD評估反饋。后臺情感計算模塊包括：語音識別與分析、表情識別與分析、語音表情模型、情感計算模型、ABC量表計算和系統(tǒng)管理。

創(chuàng)新性

◇研究思路與方法的創(chuàng)新。從兒童自閉癥現(xiàn)狀出發(fā)，引發(fā)深入探究兒童自閉癥早期風(fēng)險的動機，進而運用多學(xué)科交叉知識，凝聚團隊力量開發(fā)一種簡單方便、安全可靠、能走進家庭的兒童自閉癥早期風(fēng)險預(yù)測系統(tǒng)軟件。

◇提出了新的研究視角。以自閉癥早期風(fēng)險評估預(yù)測的社會需求為切入點，以問卷調(diào)研和專家咨詢的綜合結(jié)果為依據(jù)，以情感計算及互聯(lián)網(wǎng)+為技術(shù)手段，提出了一種基于情感計算的兒童自閉癥早期風(fēng)險預(yù)測的解決方案。

預(yù)期社會效益和研究展望

項目通過與部分醫(yī)院合作，選取了100名正常兒童和20名確診患兒作為數(shù)據(jù)庫樣本，經(jīng)過測試與實驗表明，系統(tǒng)使用便捷、安全性好，風(fēng)險預(yù)測的準(zhǔn)確率初步達到80%，具有良好的技術(shù)可行性、社會期望性和商業(yè)價值。

本項目團隊在未來的研究中，將結(jié)合圖像處理與情感計算等前沿技術(shù)，研究開發(fā)具有肢體動作、面部表情和行為特征等多模態(tài)的風(fēng)險預(yù)測系統(tǒng)，進一步提高風(fēng)險預(yù)測的準(zhǔn)確率。

該項目獲得第34屆全國青少年科技創(chuàng)新大賽創(chuàng)新成果競賽項目中學(xué)組行為和社會科學(xué)一等獎。

專家評語

該項目極有針對性地提出了基于情感計算的兒童自閉癥早期風(fēng)險預(yù)測的解決方案，融合了計算機科學(xué)、醫(yī)學(xué)、社會學(xué)等多學(xué)科知識，具有鮮明的跨學(xué)科特征，且實踐深度高，已申請相關(guān)專利，項目成果極具社會價值，后期發(fā)展前景廣闊。