孤獨(dú)癥兒童早期社交技能的智能化評估

陳靚影　張如靜　王帆　張坤　王廣帥　王廣海

[摘? ?要] 人工智能技術(shù)的發(fā)展給孤獨(dú)癥評估帶來了新思路，目前智能化評估集中為孤獨(dú)癥判別二分類評估，缺乏高效、量化的精細(xì)化評估方法。研究設(shè)計開發(fā)了一款基于人工智能技術(shù)的早期社交技能量化評估系統(tǒng)。實(shí)驗(yàn)招募了28名孤獨(dú)癥兒童為研究對象，采集了社交技能評估視頻，記錄了評估過程中兒童的頭部轉(zhuǎn)向活動和面部表情。使用頭部姿態(tài)估計、表情識別以及語音識別等技術(shù)分析評估過程中的應(yīng)答性共同注意和應(yīng)答性社交微笑。結(jié)果表明：（1）早期社交技能的智能化評估得分以精確的反應(yīng)時間和持續(xù)時間區(qū)分呈梯度分布，評估結(jié)果客觀精細(xì);（2）準(zhǔn)確性檢驗(yàn)證明智能化評估得分與人工評分結(jié)果具有一致性，驗(yàn)證了孤獨(dú)癥兒童早期社交技能智能化評估的可行性。這種評估方式客觀、準(zhǔn)確、易用，為兒童早期社交技能連續(xù)性評估提供技術(shù)支持，客觀量化的精細(xì)化評估結(jié)果為孤獨(dú)癥兒童的精準(zhǔn)干預(yù)提供客觀依據(jù)，具有很好的應(yīng)用價值和現(xiàn)實(shí)意義。

[關(guān)鍵詞] 孤獨(dú)癥兒童; 早期社交技能; 應(yīng)答性共同注意; 應(yīng)答性社交微笑; 智能化評估

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 陳靚影（1973—），女，湖北武漢人。教授，博士，主要從事教育信息技術(shù)、特殊兒童教育、人機(jī)交互、機(jī)器學(xué)習(xí)等方面的研究。E-mail：chenjy@mail.ccnu.edu.cn。張坤為通訊作者，E-mail：zhk@mail.ccnu.edu.cn。

一、引? ?言

孤獨(dú)癥是一種廣泛性發(fā)展障礙，主要表現(xiàn)為社會交往障礙、交流障礙、興趣狹窄和刻板重復(fù)的行為方式等癥狀[1]，對兒童身心發(fā)展、家庭和社會都會造成不可忽視的危害。據(jù)美國疾病控制與預(yù)防中心最新統(tǒng)計結(jié)果顯示，2018年美國孤獨(dú)癥發(fā)病率為59個兒童中有1個為孤獨(dú)癥，且呈逐年上升趨勢[2]。由于孤獨(dú)癥的病因與臨床表現(xiàn)都十分復(fù)雜，導(dǎo)致難以從源頭上預(yù)防。早發(fā)現(xiàn)、早干預(yù)尤為重要。能力評估作為孤獨(dú)癥兒童干預(yù)的客觀依據(jù)[3]，一般在兩歲以前進(jìn)行，通常使用標(biāo)準(zhǔn)化量表來完成，耗時一到兩小時，這種傳統(tǒng)的能力評估方法不僅需經(jīng)歷漫長的等待時間[4]，容易導(dǎo)致錯過個性化干預(yù)的最佳時間，加之量表評估缺乏客觀量化的評價指標(biāo)而依賴于臨床治療師的專業(yè)經(jīng)驗(yàn)[5]，越來越多的研究集中于探討一種簡單有效的評估方式。例如：嘗試使用體感技術(shù)[6]、計算機(jī)游戲[7]、機(jī)器人[8]等技術(shù)手段實(shí)現(xiàn)孤獨(dú)癥兒童能力的高效評估，尤其是人工智能的快速發(fā)展給孤獨(dú)癥兒童能力評估帶來了新啟示。祝智庭、魏非強(qiáng)調(diào)計算機(jī)的感知智能采集學(xué)習(xí)者的情緒、眼神等以識別其情感狀態(tài)[9]，陳維維論述了運(yùn)用圖像識別、語音識別等技術(shù)對兒童的多元智能進(jìn)行智能化評估的可行性[10]。在此研究基礎(chǔ)上，研究者借助機(jī)器學(xué)習(xí)通過動作[11]、手勢[12]等區(qū)分孤獨(dú)癥人群的特征。雖然這些基于智能技術(shù)的評估方法取得了一定進(jìn)展，但主要集中在區(qū)分孤獨(dú)癥兒童和典型發(fā)展兒童的二分類評估，仍缺乏高效、量化的精細(xì)化評估工具，精準(zhǔn)干預(yù)更無法保障。

早期社交技能是兒童語言、情感乃至思維發(fā)展的前提條件。作為孤獨(dú)癥三大核心障礙之一的社交障礙，一直被認(rèn)為是孤獨(dú)癥兒童最明顯的特征[1]。孤獨(dú)癥兒童的社交障礙在語言能力發(fā)展之前就已初露端倪，如較少的眼神接觸，較少使用手勢、動作、面部表情等與他人進(jìn)行交往等。再者，早期社交技能主要包含：同伴互動、親社會行為、精細(xì)且富有創(chuàng)造力的獨(dú)自游戲[13]，而以上三方面均需要應(yīng)答性共同注意（Response to Joint Attention，RJA）和應(yīng)答性社交微笑（Responsive Social Smile，RSS）兩項(xiàng)基本社交技能的支持，它們是完成分享、參與社會互動、實(shí)現(xiàn)情感發(fā)展的先決條件，因此，在被譽(yù)為“孤獨(dú)癥診斷金標(biāo)準(zhǔn)”的孤獨(dú)癥診斷觀察量表（Autism Diagnostic Observation Schedule，ADOS）中被列出關(guān)鍵評估項(xiàng)目。

綜上，研究采集了孤獨(dú)癥兒童的技能評估視頻，以應(yīng)答性共同注意和應(yīng)答性社交微笑兩項(xiàng)社交技能為例，應(yīng)用頭部姿態(tài)估計、表情識別以及語音識別等人工智能技術(shù)綜合探討孤獨(dú)癥兒童早期社交技能的量化評估，以期為孤獨(dú)癥兒童社交技能連續(xù)性評估提供可能，并以客觀量化的精細(xì)化評估結(jié)果輔助專業(yè)人員臨床評估，從而為孤獨(dú)癥兒童的精準(zhǔn)干預(yù)提供客觀依據(jù)。

二、智能化評估項(xiàng)目

ADOS量表是半結(jié)構(gòu)化的標(biāo)準(zhǔn)評估工具，通過觀察兒童在游戲中的表現(xiàn)來評估兒童在語言、社會交往以及刻板行為三大方面的能力[14]。其中，應(yīng)答性共同注意和應(yīng)答性社交微笑作為社會交往方面的核心能力，前者可用來預(yù)測兒童的語言能力和社會認(rèn)知能力[15]，后者會影響兒童情緒表達(dá)甚至是共情能力的發(fā)展[16]，因此，應(yīng)答性共同注意和應(yīng)答性社交微笑對兒童早期社交技能的評估具有重要意義。

（一）應(yīng)答性共同注意

應(yīng)答性共同注意是指當(dāng)他人用視線、手勢或語言等外界刺激喚起注意時，兒童通過追視等視覺行為作出回應(yīng)[17]。從本質(zhì)上來看，應(yīng)答性共同注意是一種出于分享目的的人、物之間的三元社會互動，其意義在于兒童對外界刺激作出回應(yīng)從而理解這個人的意圖。這一領(lǐng)悟是兒童對他人心理狀態(tài)的最早理解，標(biāo)志著兒童心理理論能力的一個根本進(jìn)步[18]，而孤獨(dú)癥兒童心理理論發(fā)展遲滯，眾多研究證明孤獨(dú)癥兒童比發(fā)育遲緩兒童或智力年齡匹配的兒童在應(yīng)答性共同注意技能上受損更嚴(yán)重[19-21]，且實(shí)驗(yàn)證明，應(yīng)答性共同注意與兒童的語言發(fā)展、社會認(rèn)知發(fā)展相關(guān)性顯著[22]。因此，應(yīng)答性共同注意通常被看作是孤獨(dú)癥兒童社交能力發(fā)育遲緩的重要指標(biāo)[23]。

（二）應(yīng)答性社交微笑

應(yīng)答性社交微笑是指兒童在社交互動中作出的微笑回應(yīng)[24]。1991年，Adrien等[25]人首次使用家庭錄像評估孤獨(dú)癥兒童在一歲前后的行為，結(jié)合嬰兒行為綜合評價量表得出他們?nèi)狈ι缃慌d趣的關(guān)鍵行為，包含缺乏適當(dāng)?shù)拿娌勘砬?，沒有社交微笑，不能模仿他人等現(xiàn)象。因此，缺乏社交微笑被認(rèn)為是孤獨(dú)癥的早期特征。社交微笑的缺乏，與孤獨(dú)癥兒童不能理解他人的面部表情有關(guān)，影響了社會參照能力的發(fā)展[26]，導(dǎo)致了早期積極情緒反應(yīng)匱乏、社交能力發(fā)展遲滯。

另外，幼兒參與應(yīng)答性共同注意時，經(jīng)常會表現(xiàn)出積極情感的面部表情（例如，驚訝地張開嘴，睜大眼睛）。尤其與父母進(jìn)行應(yīng)答性共同注意的互動時，父母對物體的評價會引發(fā)幼兒的微笑。研究表明，在幼兒一歲左右，社交微笑會融入共同注意[27]，二者通常在社交過程中同時出現(xiàn)，因此，在孤獨(dú)癥兒童早期篩查和評估中，應(yīng)答性社交微笑與應(yīng)答性共同注意常作為標(biāo)志性考查項(xiàng)目。

基于以上研究基礎(chǔ)，我們選取了應(yīng)答性共同注意和應(yīng)答性社交微笑兩項(xiàng)核心社交能力作為評估項(xiàng)目，嘗試應(yīng)用人工智能技術(shù)對評估視頻進(jìn)行智能化評估，以探討早期社交技能的量化評估方法。

三、實(shí)驗(yàn)過程與方法

（一）實(shí)驗(yàn)對象

實(shí)驗(yàn)在武漢某特教機(jī)構(gòu)共招募28名被診斷為孤獨(dú)癥的兒童為被試兒童，實(shí)驗(yàn)前與家長簽訂了知情同意書。被試兒童年齡在2～6歲之間，均符合美國《精神疾病診斷與統(tǒng)計手冊》第五版（DSM-5）的孤獨(dú)癥診斷標(biāo)準(zhǔn)，并且經(jīng)由發(fā)育行為兒科2名副主任雙盲確診，排除兒童精神分裂癥、癲癇及其他神經(jīng)性障礙，實(shí)驗(yàn)前確定了被試兒童的視覺、聽覺發(fā)育正常。

（二）實(shí)驗(yàn)設(shè)計

實(shí)驗(yàn)在該特教機(jī)構(gòu)的評估室（約30平方米）進(jìn)行，實(shí)驗(yàn)范圍用窗簾隔開以減少對被試兒童的視覺干擾。實(shí)驗(yàn)設(shè)計基于ADOS量表模塊二中的應(yīng)答性共同注意和應(yīng)答性社交微笑項(xiàng)目，評估人員和被試兒童分別坐在評估桌（120cm長×60cm寬）兩側(cè)，將能發(fā)出聲音的玩具置于桌子中間位置，并用毛巾蓋住。兒童的父母或其他照看人在后方坐著，保持一定距離以免干擾其注意力，相對位置如圖1所示。共三臺攝像機(jī)隱藏于評估室內(nèi)，1號攝像機(jī)置于評估桌的垂直平分線上，以確保玩具在畫面的水平居中位置;2號攝像機(jī)置于評估人員的正前方偏左位置，以獲取評估人員的面部表情;3號攝像機(jī)置于被試兒童的正前方偏左位置，以獲取被試兒童的面部表情。

實(shí)驗(yàn)開始前，評估人員將玩具用毛巾蓋起來以避免引起兒童的興趣，給兒童玩一些其他玩具以適應(yīng)新環(huán)境。待實(shí)驗(yàn)開始后，叫兒童的名字或者撫摸他以吸引其將注意力集中在評估人員臉上。第一步，叫兒童的名字，并說“看！”，目光注視玩具再收回至兒童臉上。該過程持續(xù)4秒，如果兒童沒有作出反應(yīng)，則重復(fù)該步驟兩次，每次等待時間為4秒，如果孩子沒有作出正確響應(yīng)則進(jìn)入第二步，激活玩具使玩具發(fā)出聲音5秒，看兒童是否看玩具。如果沒有響應(yīng)，則關(guān)上聲音開關(guān)，暫停5秒，再打開聲音開關(guān)并保持聲音持續(xù)時間超過5秒。該環(huán)節(jié)為應(yīng)答性共同注意評估，隨后將玩具遞給兒童供其玩耍，在兒童玩玩具的過程中，叫他的名字，待他抬頭看評估人員時沖他微笑，等待兒童給予應(yīng)答性社交微笑，如果沒有回應(yīng)，則重復(fù)該步驟兩次，每次等待時間為4秒，且兒童的嘴角朝上微笑至少1秒為有效微笑，如仍沒有響應(yīng)，則以語言“笑一個！”請求其微笑，觀察兒童反應(yīng)。

（三）智能化評估系統(tǒng)

為實(shí)現(xiàn)對兒童在社會互動過程中的行為和心理狀態(tài)的評估，并避免侵入式設(shè)備對兒童的影響，研究設(shè)計開發(fā)了早期社交技能的智能化評估系統(tǒng)，系統(tǒng)主要包括信息采集、特征提取和評估反饋三個模塊，如圖2所示。其中信息采集模塊主要是通過高清攝像頭采集社會互動過程的視頻和音頻信息;特征提取模塊主要是通過頭部姿態(tài)估計、表情識別等人工智能技術(shù)識別相關(guān)行為特征，結(jié)合語音識別技術(shù)正確標(biāo)注包含互動雙方相關(guān)情感行為的顯著時間間隔;評估反饋模塊主要是根據(jù)ADOS量表的評分標(biāo)準(zhǔn)對提取的孤獨(dú)癥兒童的行為特征作出評估判斷，并反饋評估結(jié)果。人工智能技術(shù)的應(yīng)用使孤獨(dú)癥兒童社交技能的自動量化評估成為可能，本研究以應(yīng)答性共同注意和應(yīng)答性社交微笑為例介紹早期社交技能的智能化評估流程。

評估應(yīng)答性共同注意時，首先檢測評估人員頭部姿態(tài)，以評估人員看向目標(biāo)玩具為判定條件，并讀取該動作結(jié)束的時間點(diǎn)，繼續(xù)檢測被試兒童的頭部姿態(tài)，當(dāng)被試兒童看向目標(biāo)玩具時滿足判定條件，并記錄該動作開始及結(jié)束的時間點(diǎn);如果被試兒童未作出響應(yīng)則進(jìn)入語音識別環(huán)節(jié)，語音識別玩具發(fā)出的聲音，記錄玩具聲音發(fā)出的時間點(diǎn)，并進(jìn)行被試兒童頭部姿態(tài)檢測以判定被試兒童是否在玩具發(fā)出聲音時予以響應(yīng)。最后結(jié)合記錄的時間點(diǎn)計算被試兒童的反應(yīng)時間及持續(xù)時間，以得出被試兒童在該技能評估過程中的得分。

同理，評估應(yīng)答性社交微笑時，首先運(yùn)用語音識別技術(shù)檢測評估人員叫出被試兒童的名字，檢測評估人員的表情，其對被試兒童微笑為判定條件，并讀取該表情結(jié)束的時間點(diǎn)，接著檢測被試兒童的面部表情，當(dāng)被試兒童對評估人員微笑時滿足判定條件，并記錄該表情開始及結(jié)束的時間點(diǎn);如果被試兒童未回應(yīng)微笑，則語音識別檢測評估人員發(fā)出的微笑請求，記錄該聲音發(fā)出的時間點(diǎn)，隨后檢測被試兒童的面部表情，結(jié)合不同條件下被試兒童是否有社交微笑及相應(yīng)的反應(yīng)時間及持續(xù)時間，以得出被試兒童在應(yīng)答性社交微笑評估中的得分。

（四）關(guān)鍵技術(shù)

1. 頭部姿態(tài)估計

頭部姿態(tài)估計是理解人類行為的一個關(guān)鍵步驟，從計算機(jī)視覺的角度來看，頭部姿態(tài)估計的原理是根據(jù)數(shù)字圖像相對于成像傳感器坐標(biāo)系的距離數(shù)據(jù)推斷頭部方向[28]。本文采用深度多任務(wù)學(xué)習(xí)方法來估計評估人員和被試兒童的頭部姿態(tài)，研究提出了改進(jìn)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（Multi-task Convolutional Neural Network，MTCNN模型）方法，采用三階段級聯(lián)框架（P網(wǎng)、R網(wǎng)、O網(wǎng)）實(shí)現(xiàn)由粗到細(xì)的人臉檢測，并在此基礎(chǔ)上進(jìn)行精確的人臉框回歸、特征點(diǎn)定位以及頭部姿態(tài)估計，得到頭部姿態(tài)的三個角度，即偏航角、俯仰角和旋轉(zhuǎn)角[29]，原理如圖3所示。最后根據(jù)結(jié)合人臉三維空間位置和人臉朝向姿態(tài)計算評估人員和被試兒童的注意力方向[30]（圖4（a）），研究所用的頭部姿態(tài)估計算法準(zhǔn)確率為91%。

2. 表情識別

面部表情是人類表達(dá)自己的情緒狀態(tài)和意圖的社交手段。表情識別是對人類心理狀態(tài)的解碼過程，它是將外顯的面部表情解釋為人類的情感狀態(tài)[31]。本文使用表情識別技術(shù)判定被試兒童在評估過程中的社交微笑，該方法提取人臉及嘴巴區(qū)域，對6700張微笑圖像和18200張非微笑圖像進(jìn)行條件隨機(jī)森林訓(xùn)練實(shí)現(xiàn)笑臉識別[30]，準(zhǔn)確率為94.2%。因涉及被試兒童的隱私問題，僅由圖4（b）呈現(xiàn)研究所用的表情識別算法在公開數(shù)據(jù)集上的檢測效果。

3. 語音識別

語音傳遞信息是人類最重要、最常用的信息交換方式。隨著人工智能的發(fā)展，自動語音識別已廣泛應(yīng)用于日常生活及科學(xué)研究中。本文使用科大訊飛開放平臺提供的Web API檢測評估過程中評估人員發(fā)出的語音請求，基于深度全序列卷積神經(jīng)網(wǎng)絡(luò)（Deep Fully Convolutional Neural Network，DFCNN）[32]，將語譜圖直接輸入卷積層，從而降低信息損失，語音識別準(zhǔn)確率達(dá)98%。

四、實(shí)驗(yàn)結(jié)果

研究收集了實(shí)驗(yàn)過程中28名孤獨(dú)癥兒童的社交技能評估視頻，采集了評估應(yīng)答性共同注意和應(yīng)答性社交微笑時的視音頻信號，1號攝像機(jī)的實(shí)驗(yàn)視頻主要用于分析應(yīng)答性共同注意，2號和3號攝像機(jī)經(jīng)音頻信號檢測完成同步后用于分析應(yīng)答性社交微笑，采集視音頻信號及相應(yīng)時間間隔作為特征點(diǎn)，以獲得最終的技能評估得分。

（一） 特征采集

如圖5所示，在實(shí)驗(yàn)視頻中采集相應(yīng)特征。

1. 人物眼神注視方向

應(yīng)用頭部姿態(tài)估計技術(shù)計算人物眼神注視方向，當(dāng)評估人員看向目標(biāo)玩具時，即為評估人員發(fā)出應(yīng)答性共同注意的指令;同理，當(dāng)被試兒童看向目標(biāo)玩具時，為兒童作出響應(yīng)。

2. 人物面部表情識別

應(yīng)用表情識別技術(shù)，判定評估人員是否對被試兒童發(fā)出社交微笑的指令，同理，當(dāng)檢測到兒童作出微笑表情時為兒童作出響應(yīng)。

3. 反應(yīng)時間

反應(yīng)時間是從評估人員發(fā)起互動請求到被試兒童作出響應(yīng)的時間。

4. 持續(xù)時間

應(yīng)答性共同注意的持續(xù)時間為兒童看向目標(biāo)玩具出現(xiàn)的時間段;應(yīng)答性社交微笑的持續(xù)時間為兒童作出微笑回應(yīng)的時間段。

（二）智能化評估得分

根據(jù)ADOS量表的評分標(biāo)準(zhǔn)對實(shí)驗(yàn)視頻中的兒童進(jìn)行打分，應(yīng)答性共同注意（RJA）的得分范圍為0～3分;應(yīng)答性社交微笑（RSS）的得分范圍為0～2分。智能化評估系統(tǒng)在判定人物眼神注視方向或面部表情識別滿足判定條件后，結(jié)合反應(yīng)時間和持續(xù)時間進(jìn)行衡量并輸出評估結(jié)果。智能化評估結(jié)果見表1，表1對幾種不同得分情況進(jìn)行了代表性匯總，含是否有兩項(xiàng)社交技能的響應(yīng)，相應(yīng)的反應(yīng)時間、持續(xù)時間以及最終的技能得分。與傳統(tǒng)評估結(jié)果相比，智能化評估方式可給出明確的社交響應(yīng)情況，以及精確的反應(yīng)時間、持續(xù)時間，技能得分更客觀、精細(xì)。

注：1.以“有”和“無”來標(biāo)記兩項(xiàng)社交技能的評估過程中被試兒童是否作出響應(yīng);2.時間以秒為單位，以No.1為例，RJA和RSS兩項(xiàng)技能的反應(yīng)時間分別為27.76秒和1.48秒，持續(xù)時間分別為2.8秒和12.52秒;3.得分為單項(xiàng)技能得分，No.1的RJA和RSS技能得分分別為2分和0分。

（三）準(zhǔn)確性檢驗(yàn)

為驗(yàn)證實(shí)驗(yàn)結(jié)果的有效性，請兩位經(jīng)驗(yàn)豐富的ADOS臨床評估專家對實(shí)驗(yàn)過程中采集的視頻錄像中兒童的社交技能進(jìn)行人工判定打分。在該研究開始之前，這兩位專家都已接受了ADOS量表第二版的臨床使用培訓(xùn)，且內(nèi)部一致性信度較好（Kappa=0.94），28位被試兒童的評估得分與智能化評估系統(tǒng)分析所得評分全部一致。

五、討? ?論

本研究以應(yīng)答性共同注意和應(yīng)答性社交微笑為例，采用人工智能技術(shù)實(shí)現(xiàn)對孤獨(dú)癥兒童社交技能的智能化評估。通過對實(shí)驗(yàn)過程中孤獨(dú)癥兒童的社交技能評估視頻的分析表明，本研究提出的智能化評估方法具有可行性和有效性。與傳統(tǒng)的評估方法相比，本研究具有很大的優(yōu)勢，主要體現(xiàn)在以下幾個方面：

（一）智能化評估實(shí)現(xiàn)精細(xì)化

實(shí)驗(yàn)依據(jù)ADOS量表制定了評分標(biāo)準(zhǔn)，智能化評估系統(tǒng)采集被試兒童在技能評估過程中的眼神注視方向、面部表情，社交互動中的反應(yīng)時間和持續(xù)時間等特征，應(yīng)用頭部姿態(tài)估計、表情識別及語音識別等技術(shù)實(shí)現(xiàn)自動化分析，并給出應(yīng)答性共同注意和應(yīng)答性社交微笑的評估結(jié)果。從表1中可看出，智能化評估所得評分依被試兒童的社交技能水平呈梯度分布，這證明，這種智能化評估方式可提供孤獨(dú)癥兒童行為癥狀嚴(yán)重程度的量化評估。與同類研究的二分類評估方式相比[11，12，33]，可對每種技能實(shí)現(xiàn)精細(xì)化評估，協(xié)助特殊學(xué)校對孤獨(dú)癥兒童能力水平精準(zhǔn)定位，以期靶向干預(yù)。

（二）智能化評估具有可行性

為驗(yàn)證智能化評估系統(tǒng)的準(zhǔn)確性，特邀請了受過美國ADOS量表測評培訓(xùn)的專業(yè)人員對實(shí)驗(yàn)視頻進(jìn)行技能評分。兩種評分條件下，28名孤獨(dú)癥兒童的技能得分全部一致，這代表基于智能識別技術(shù)的評估系統(tǒng)在孤獨(dú)癥兒童社交技能評估方面具有可行性，為人工智能輔助專業(yè)人員臨床評估提供了準(zhǔn)確可靠的技術(shù)支持。

（三）智能化評估客觀準(zhǔn)確

評估方式基于視頻分析，可在自然情境下由父母組織開展，因而避免了評估環(huán)境以及評估人員給孤獨(dú)癥兒童帶來的潛在壓力，還可避免臨床檢查中醫(yī)療設(shè)備對兒童的負(fù)面影響，從而獲得兒童自然放松的心理狀態(tài)，保證評估結(jié)果的客觀準(zhǔn)確性，這種方式所得結(jié)果可輔助醫(yī)生對孤獨(dú)癥兒童的能力水平作出最客觀的判定。我們前期的研究結(jié)果也證明了這一點(diǎn)，采用人機(jī)交互游戲等智能化環(huán)境進(jìn)行評估，兒童會有更高的學(xué)習(xí)動機(jī)和參與度，評估結(jié)果更加客觀有效[7]。

（四）智能化評估為連續(xù)性評估提供可能

智能化評估得分可在兩三分鐘內(nèi)分析獲取，其易用性方便了特殊學(xué)校對孤獨(dú)癥兒童的學(xué)習(xí)進(jìn)程進(jìn)行形成性評價，根據(jù)評價結(jié)果調(diào)整學(xué)習(xí)計劃，開展針對性干預(yù)，并階段性地對兒童的能力水平進(jìn)行評估，給孤獨(dú)癥兒童的長期干預(yù)提供縱向客觀量化依據(jù)。因此，智能化評估的應(yīng)用為孤獨(dú)癥兒童能力的連續(xù)性評估提供可能。

（五）智能化評估有望助力醫(yī)療均衡發(fā)展

智能化評估操作簡單，大大提高了評估效率，使得醫(yī)療機(jī)構(gòu)之外的快速評估成為可能，從而縮短孤獨(dú)癥兒童獲得診斷及干預(yù)的等待時間，惠及醫(yī)療基礎(chǔ)設(shè)施有限地區(qū)的人群，一定程度上有望推動醫(yī)療資源的均衡發(fā)展。

與其他相關(guān)研究相比，本研究設(shè)計的智能化評估方法客觀量化、操作簡單，對專業(yè)人員依賴度低，有利于評估的實(shí)現(xiàn)，研究運(yùn)用了多種智能識別技術(shù)對兩項(xiàng)社交技能的評估過程進(jìn)行智能分析并呈現(xiàn)了不同技能的量化差異，基本實(shí)現(xiàn)了孤獨(dú)癥兒童技能的客觀、準(zhǔn)確性評估。為檢驗(yàn)智能分析程序的可行性，研究伊始對30名年齡相匹配的典型發(fā)展兒童開展了早期社交技能評估，實(shí)驗(yàn)結(jié)果顯示，30名典型發(fā)展兒童技能評分均為0分，也就是說，他們已具備這兩項(xiàng)技能，因此，研究僅呈現(xiàn)孤獨(dú)癥兒童的智能化評估結(jié)果。待后續(xù)研究考查其他技能的智能化評估時，可根據(jù)技能難度以及典型發(fā)展兒童的技能發(fā)展特點(diǎn)確定被試人群。

六、結(jié)? ?語

研究提出了人工智能技術(shù)在技能評估領(lǐng)域中應(yīng)用的一種新思路，應(yīng)用頭部姿態(tài)估計、表情識別、語音識別等智能技術(shù)整合并分析多種視聽線索，研究以應(yīng)答性共同注意和應(yīng)答性社交微笑為例，自動分析社交技能評估過程中的行為變化，智能化評估得分以精確的反應(yīng)時間和持續(xù)時間區(qū)分以實(shí)現(xiàn)精細(xì)化評估，評估結(jié)果客觀準(zhǔn)確且技術(shù)的易接受性為兒童早期社交技能連續(xù)性評估提供技術(shù)支持，另外，這種智能化評估技術(shù)綜合了多源數(shù)據(jù)（頭部姿態(tài)、面部表情、語音等），這也為孤獨(dú)癥兒童復(fù)雜的非語言溝通能力評估提供了有益的補(bǔ)充信息。

基于現(xiàn)有技術(shù)限制，研究僅從兩個方面評估兒童的早期社交技能，對于一些復(fù)雜的社交技能，如包含肢體動作的主動性共同注意、分享能力、模仿能力等沒有展開探討，未來將進(jìn)一步深度融入語音識別、體感技術(shù)以客觀地評估孤獨(dú)癥兒童的語言、動作等外顯行為，并融合心率、皮膚電、腦電等生理信號捕捉技術(shù)以精準(zhǔn)地觀察孤獨(dú)癥兒童的認(rèn)知心理狀態(tài)，以期提供客觀量化的精準(zhǔn)評估指標(biāo)，為孤獨(dú)癥個性化干預(yù)提供客觀依據(jù);同時，這種客觀量化的智能化評估方式不僅可用來測量孤獨(dú)癥兒童的特定內(nèi)在能力（如認(rèn)知、社交等），還可用于探討其認(rèn)知心理狀態(tài)如何影響其在特定社會情境下的外顯行為，以探知孤獨(dú)癥兒童社會性活動的外在表征與整體社會互動能力的映射機(jī)理，從而充實(shí)孤獨(dú)癥理論，為醫(yī)學(xué)生物學(xué)、神經(jīng)心理學(xué)、特殊教育學(xué)等研究領(lǐng)域提供理論支持和技術(shù)基礎(chǔ)。

[參考文獻(xiàn)]

[1] American Psychiatric Association. The diagnostic and statistical manual of mental disorders（5th ed.）[M].Washington，DC：American Psychiatric Association，2013.

[2] CDC. Prevalence of autism spectrum disorder among children aged 8 years - autism and developmental disabilities monitoring network， 11 sites， United States， 2014[EB/OL].（2018-04-27）[2019-04-15].https：//www.cdc.gov/mmwr/volumes/67/ss/ss6706a1.htm.

[3] 陳靚影，王廣帥，張坤.為提高孤獨(dú)癥兒童社會互動能力的人機(jī)交互學(xué)習(xí)活動設(shè)計與實(shí)現(xiàn)[J].電化教育研究，2017，38（5）：106-111，117.

[4] FADI T， FIRUZ K， KHAIRAN R. A new computational intelligence approach to detect autistic features for autism screening[J]. International journal of medical informatics， 2018（117）：112-124.

[5] 陳靚影，王廣帥，張坤，等.基于計算機(jī)游戲的自閉癥譜系障礙兒童評估研究[J].電化教育研究，2017（11）：80-85，119.

[6] KORHONEN， VESA， R？魧TY， et al. A pilot study： a computer game-based assessment of visual perspective taking of four children with autism with high support needs[J]. Scandinavian journal of disability research， 2017， 19（4）： 281-294.

[7] CHEN J， et al. A pilot study on evaluating children with autism spectrum disorder using computer games[J]. Computers in human behavior， 2019（90）： 204-214.

[8] 于新宇.0-6歲自閉癥兒童社交能力評估系統(tǒng)的研發(fā)與應(yīng)用[D].上海：華東師范大學(xué)，2018.

[9] 祝智庭，魏非.教育信息化2.0：智能教育啟程，智慧教育領(lǐng)航[J].電化教育研究，2018，39（9）：5-16.

[10] 陳維維.多元智能視域中的人工智能技術(shù)發(fā)展及教育應(yīng)用[J].電化教育研究，2018，39（7）：12-19.

[11] FULCERI F， et al. Motor skills as moderators of core symptoms in autism spectrum disorders： preliminary data from an exploratory analysis with artificial neural networks[J]. Frontiers in psychology， 2019（9）： 2683.

[12] ANZULEWICZ A， SOBOTA K， et al. Toward the autism motor signature： gesture patterns during smart tablet gameplay identify children with autism [J]. Scientific reports， 2016（6）：1-13.

[13] 奎爾. 做·看·聽·說 孤獨(dú)癥兒童社會性和溝通能力干預(yù)指南[M].何正平，譯.北京：華夏出版社，2015.

[14] HUS V， GOTHAM K， LORD C. Standardizing ADOS domain scores： separating severity of social affect and restricted and repetitive behaviors[J]. Journal of autism and developmental disorders， 2012， 44（10）：2400-2412.

[15] 周念麗. 自閉癥幼兒的社會認(rèn)知：理論、實(shí)驗(yàn)及干預(yù)的研究[M]. 上海：上海教育出版社，2006.

[16] 馬偉娜，朱蓓蓓.孤獨(dú)癥兒童的情緒共情能力及情緒表情注意方式[J].心理學(xué)報， 2014（4）：528-539.

[17] MEINDL J N， CANNELLA-MALONE H I. Initiating and responding to joint attention bids in children with autism： a review of the literature[J]. Research in developmental disabilities， 2011， 32（5）：1441-1454.

[18] 米勒.心理理論：學(xué)齡兒童如何理解他人的思想[M].陳英和，譯.北京：北京師范大學(xué)出版社，2015.

[19] PETER M. Joint attention and social-emotional approach behavior in children with autism[J]. Development and psychopathology， 1995， 7（1）：63-82.

[20] DAWSON G， TOTH K， ABBOTT R， et al. Early social attention impairments in autism： social orienting， joint attention， and attention to distress [J]. Developmental psychology， 2004， 40（2）：271-283.

[21] ADAMSON L B， BAKEMAN R， SUMA K， et al. An expanded view of joint attention： skill， engagement， and language in typical development and autism [J]. Child development， 2017，90（1）：1-18.

[22] SCHIETECATTE I， ROEYERS H， WARREYN P. Exploring the nature of joint attention impairments in young children with autism spectrum disorder： associated social and cognitive skills [J]. Journal of autism and developmental disorders， 2012， 42（1）：1-12.

[23] BARBARO J， DISSANAYAKE C. Early markers of autism spectrum disorders in infants and toddlers prospectively identified in the Social Attention and Communication Study[J]. Autism， 2013， 17（1）：64-86.

[24] MESSINGER D， FOGEL A. The interactive development of social smiling[J]. Advances in child development & behavior， 2007， 35（35）：327-366.

[25] ADRIEN J L， FAURE M， PERROT A， et al. Autism and family home movies： preliminary findings[J]. Journal of autism & developmental disorders， 1991， 21（1）：43.

[26] 貝克.嬰兒 兒童和青少年[M].桑標(biāo)，譯.上海：上海人民出版社，2014

[27] KRSTOVSKA-GUERRERO I， JONES E A. Joint attention in autism： teaching smiling coordinated with gaze to respond to joint attention bids[J]. Research in autism spectrum disorders， 2013， 7（1）：93-108.

[28] 劉袁緣.自然環(huán)境下頭部姿態(tài)估計方法的研究與應(yīng)用[D].武漢：華中師范大學(xué)，2015.

[29] XU L， CHEN J， GAN Y. Head pose estimation with soft labels using regularized convolutional neural network[J]. Neurocomputing， 2019（337）： 339-353.

[30] LIU Y， CHEN J， ZHANG M， et al. Student engagement study based on multi-cue detection and recognition in an intelligent learning environment[J]. Multimedia tools & applications， 2018， 77（21）：1-27.

[31] GAN Y， CHEN J， XU L， Facial expression recognition boosted by soft label with a diverse ensemble[J]. Pattern recognition letters， 2019，125： 105-112..

[32] 科大訊飛.語音轉(zhuǎn)寫.[EB/OL]. （2019-03-09） [2019-05-28].https：//doc.xfyun.cn/rest_api/%E8%AF%AD%9F%B3%E8%BD%AC%E5%86%99.html.

[33] 陳小燕，吳婕翎，李明，等. 2～3歲孤獨(dú)癥譜系障礙兒童與正常兒童叫名反應(yīng)的比較[J].中國兒童保健雜志， 2017， 25（9）：931-934.

Intelligent Assessment of Early Social Skills for Children with Autism Spectrum Disorder： Taking Response to Joint Attention and Responsive Social Smile as Examples

CHEN Jingying1，? ZHANG Rujing1，? WANG Fan1，? ZHANG Kun1，? WANG Guangshuai1，? WANG Guanghai2

（1.National Engineering Technology Research Center for E-learning， Central China Normal University， Wuhan Hubei 430079; 2.Department of Developmental and Behavioral Pediatrics， Pediatric Translational Medicine Institution， Shanghai 200127）

[Abstract] The development of artificial intelligence brings new ideas to the assessment of Autism Spectrum Disorder （ASD） while most of intelligent assessments use ASD screening methods， lacking efficient and quantitative refined assessment methods. Thus， a quantitative evaluation system for early social skills based on artificial intelligence is developed. 28 children with ASD are recruited in the experiment， and the videos for the assessment of social skills are collected， in which children's head positions and facial expression are recorded. Techniques such as head pose estimation， facial expression recognition and automatic speech recognition are used to assess their social skills in response to joint attention and responsive social smile. The results indicate that （1） the score of intelligent assessment of early social skills is distributed in gradient with precise response time and duration， and the evaluation result is objective and fine. （2） Accuracy test proves that the score of intelligent assessment is consistent with that of human-rating， which verifies the feasibility of intelligent assessment of early social skills of children with ASD. This method is objective， accurate and easy to use， providing technical support for the continuous assessment of children's early social skills. The precise assessment results， which are objective and quantitative， provide an objective basis for accurate intervention of children with autism， which are of great value for application and practical significance.

[Keywords] Children with Autism Spectrum Disorder （ASD）; Early Social Skills; Response to Joint Attention; Responsive Social Smile; Intelligent Assessment