摘 要:特殊兒童群體在某些方面與普通兒童存在差異,在臨床治療中往往難以完全治愈。隨著醫(yī)療水平的不斷發(fā)展,社會對特殊兒童問題的關(guān)注度日益提高。然而,在評估特殊兒童的恢復(fù)水平時(shí),存在耗時(shí)長且客觀性不高的問題。針對這一問題,從深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、YOLOv5算法等方法入手,對特殊兒童面部表情和行為姿態(tài)的檢測展開介紹;提出運(yùn)用機(jī)器視覺、卷積神經(jīng)網(wǎng)絡(luò)和實(shí)驗(yàn)等方法,檢測特殊兒童面部表情、行為姿態(tài)等特征,并將其與恢復(fù)水平建立聯(lián)系,從而為特殊兒童的預(yù)后康復(fù)水平提供一種新的、客觀的評估技術(shù)。
關(guān)鍵詞:特殊兒童康復(fù);卷積神經(jīng)網(wǎng)絡(luò);機(jī)器學(xué)習(xí);YOLOv5算法;機(jī)器視覺;面部檢測
中圖分類號:TP389.1 文獻(xiàn)標(biāo)識碼:A 文章編號:2095-1302(2025)07-00-07
0 引 言
在當(dāng)前社會背景下,特殊兒童的康復(fù)治療和個(gè)性化教育問題日益突出。特殊兒童是指在身體行為、情感認(rèn)知或言語等方面與普通兒童存在顯著差異的兒童,例如自閉癥兒童、言語障礙兒童、智力障礙兒童等。據(jù)《中國教育報(bào)》報(bào)道,我國14歲以下的特殊兒童已超800萬,其中有近350萬自閉癥兒童和100多萬唐氏綜合癥兒童。據(jù)第二次全國殘疾人抽樣調(diào)查顯示,我國0~6歲精神殘疾兒童約11.1萬人,占0~6歲兒童總數(shù)的1.10%。其中,由自閉癥導(dǎo)致的精神殘疾兒童占36.9%,且該群體的數(shù)量近年來逐漸上升[1]。這些特殊兒童在社交、學(xué)習(xí)和生活技能方面都面臨嚴(yán)峻的挑戰(zhàn),因此需要特殊的康復(fù)治療和教育來幫助他們發(fā)揮潛力,確保他們能接受與正常兒童一樣的教育。
在特殊教育領(lǐng)域中,政府已加大了對特殊兒童教育的投入,提供了更多的資源和政策支持,具體見表1。
國務(wù)院為優(yōu)化特殊兒童教育環(huán)境,相繼發(fā)布了《“十四五”特殊教育發(fā)展提升行動(dòng)計(jì)劃》《“十四五”殘疾人保障和發(fā)展規(guī)劃》等重要政策。在特殊兒童教育領(lǐng)域,個(gè)別化教育倍受人們重視,其核心是在教育過程中關(guān)注每個(gè)特殊兒童的身心發(fā)展[4]。然而,我國特殊兒童康復(fù)工作起步較晚,專業(yè)康復(fù)機(jī)構(gòu)和人員數(shù)量嚴(yán)重不足,醫(yī)療人員?!靶挠杏喽Σ蛔恪?,并且在對特殊兒童的評估過程中容易受到主觀影響。所以,在特殊兒童個(gè)別化教育過程中,需要引入更有力、客觀的技術(shù)支持,也有越來越多的研究團(tuán)隊(duì)致力于特殊兒童預(yù)后評估技術(shù)的研發(fā)和應(yīng)用。
研究表明,特殊兒童往往伴有特定的面部表情和行為姿態(tài)[5]。以自閉癥患者為例,其在臨床上有三個(gè)核心表現(xiàn):社會交往與語言交流存在障礙、興趣范圍狹窄以及動(dòng)作行為重復(fù)刻板(如圖1所示)。此外,還有三個(gè)常見的伴隨表現(xiàn),即智力障礙、精神癥狀、癲癇[6]。在行為動(dòng)作方面,患者的特點(diǎn)是,對于感興趣的事物,他們能保持?jǐn)?shù)十分鐘甚至數(shù)小時(shí)的興趣而不厭倦,并且十分關(guān)注玩具的某一非主要特征,如玩具熊的絨毛[7]。他們經(jīng)常頑固地堅(jiān)持日?;顒?dòng)程序,例如每天食用相同的飯菜,在固定的時(shí)間和地點(diǎn)大小便,睡覺僅使用相同的被子和枕頭等。一旦這些行為活動(dòng)程序發(fā)生改變,他們就會焦慮不安、不愉快、哭鬧,甚至出現(xiàn)反抗行為。部分患者還會有重復(fù)刻板的動(dòng)作,如拍手、捶胸、轉(zhuǎn)圈、舔墻、跺腳等[8]。這部分特殊兒童大多拒絕與人交往,但容易接受電子設(shè)備等模擬環(huán)境帶來的信息[9]。其面部表情、行為姿態(tài)具有較為統(tǒng)一、重復(fù)性強(qiáng)的特征,所以用人工智能來評估他們的恢復(fù)水平是一種有利的方法。
計(jì)算機(jī)視覺與深度學(xué)習(xí)的發(fā)展為特殊兒童的康復(fù)和教育領(lǐng)域帶來了新的發(fā)展機(jī)遇。計(jì)算機(jī)視覺可通過分析特殊兒童的面部表情、行為姿態(tài)等特征[10],實(shí)現(xiàn)對他們康復(fù)水平的預(yù)測和評估,這有助于提高評估的客觀性和準(zhǔn)確性,從而為特殊兒童的康復(fù)和教育提供更精準(zhǔn)的支持[8]。此外,該技術(shù)的應(yīng)用還能推動(dòng)特殊兒童康復(fù)和教育領(lǐng)域的創(chuàng)新、發(fā)展與應(yīng)用。
在國內(nèi),華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心基于人機(jī)交互游戲和多模態(tài)感知技術(shù)開發(fā)出了一套新型學(xué)習(xí)系統(tǒng)。該系統(tǒng)旨在滿足自閉癥兒童的需求,可對自閉癥進(jìn)行有效篩查,并能依據(jù)不同兒童的情況制定不同計(jì)劃,從而滿足他們不同的學(xué)習(xí)需求[9]。此外,北京聯(lián)合大學(xué)特殊教育學(xué)院運(yùn)用科大訊飛聽見語音轉(zhuǎn)寫系統(tǒng)為聽障學(xué)生授課,這有助于聽障人士通過文字感受世界并與人交流[11]。
在國外,特殊兒童的康復(fù)領(lǐng)域有多個(gè)研究團(tuán)隊(duì)取得了極為重要的突破。例如,文獻(xiàn)[12]研發(fā)出智能導(dǎo)學(xué)系統(tǒng),可助力聾啞兒童進(jìn)行詞匯學(xué)習(xí);牛津大學(xué)計(jì)算機(jī)科學(xué)系的團(tuán)隊(duì)開發(fā)出名為“LipNet”的新型人工智能系統(tǒng),這一系統(tǒng)能幫助聽障患者通過讀唇實(shí)現(xiàn)“聽見”的可能。
除此之外,特殊兒童康復(fù)方面也不斷涌現(xiàn)出具有突破性的商業(yè)化應(yīng)用。例如,有企業(yè)已開發(fā)出基于機(jī)器視覺的嬰幼兒面部表情分析系統(tǒng),該系統(tǒng)借助攝像頭捕捉并分析嬰幼兒的面部表情,從而監(jiān)測嬰幼兒實(shí)時(shí)表情,進(jìn)而評估他們的情感表達(dá)能力和情緒穩(wěn)定性。這可為醫(yī)務(wù)人員和家長提供及時(shí)反饋與建議,有助于制定更具針對性的康復(fù)計(jì)劃。
然而,當(dāng)前很少有面向所有類型特殊兒童的相關(guān)技術(shù)能夠?qū)崿F(xiàn)對兒童的準(zhǔn)確評估和個(gè)別化教育。特殊兒童類型分化復(fù)雜,在評估時(shí),要從多方面了解其個(gè)體情況,會耗費(fèi)大量時(shí)間和精力,并且目前個(gè)性化教育還不能滿足不同特殊兒童的教育需求。所以,客觀、快速地評估特殊兒童并制定合理、精確的教育方案,是當(dāng)下急需解決的問題。
本項(xiàng)目以智護(hù)兒童為初心,以機(jī)器視覺為核心技術(shù)研發(fā)智能系統(tǒng)。在這樣的背景下,該系統(tǒng)能夠捕捉特殊兒童(如自閉癥、智力障礙、發(fā)育遲緩、唐氏綜合征、腦癱兒童)的面部表情和肢體動(dòng)作特征,以康復(fù)水平作為評估標(biāo)準(zhǔn),生成恢復(fù)水平結(jié)論,同時(shí)給出跟進(jìn)康復(fù)治療的建議。這一系統(tǒng)實(shí)現(xiàn)了對特殊兒童預(yù)后恢復(fù)水平的智能評估和分析,能夠滿足特殊兒童干預(yù)效果評估、家庭康復(fù)治療、日常監(jiān)護(hù)等需求,為特殊兒童提供有針對性、科學(xué)全面的指導(dǎo)和支持,從而促進(jìn)他們的全面發(fā)展,幫助他們?nèi)谌肷鐣?/p>
該項(xiàng)目將為特殊兒童的預(yù)后康復(fù)水平評估提供一種新的技術(shù)手段,具備突破傳統(tǒng)人工評估方法的優(yōu)勢。醫(yī)學(xué)和康復(fù)領(lǐng)域的專業(yè)人士能夠借此技術(shù)更準(zhǔn)確地了解和評估特殊兒童的發(fā)展情況,為他們的康復(fù)提供有效的指導(dǎo)和支持。
1 技術(shù)路線
1.1 數(shù)據(jù)采集與預(yù)處理
首先,需要采集處于不同恢復(fù)階段的特殊兒童的面部圖像和姿態(tài)信息等圖像數(shù)據(jù);然后對其進(jìn)行預(yù)處理,包括去噪、對齊、裁剪和歸一化等操作,以確保數(shù)據(jù)的質(zhì)量和一致性。文獻(xiàn)[13]中總結(jié)了人類的6種基本表情,即開心、驚訝、恐懼、憤怒、厭惡、悲傷,后來又加入了中性表情。基于此,項(xiàng)目使用LabelIMG圖片標(biāo)注工具對大量圖片進(jìn)行標(biāo)注和分類,標(biāo)注的內(nèi)容包括開心、驚訝、恐懼、憤怒、厭惡和中性表情,以及揮手、打、轉(zhuǎn)圈、跳等動(dòng)作。本文以圖2所示的表情“contempt”為例。在LabelIMG中導(dǎo)入需要標(biāo)注的圖片,添加類別“contempt”,選擇要標(biāo)注的區(qū)域后就會自動(dòng)生成相應(yīng)的XML格式文件。重復(fù)上述步驟,對所有表情圖片逐張進(jìn)行標(biāo)注。
圖片標(biāo)注好后,對圖片集進(jìn)行劃分,得到所有表情的訓(xùn)練集、驗(yàn)證集和測試集。所需動(dòng)作的數(shù)據(jù)集與上述步驟一致。由于項(xiàng)目將運(yùn)用YOLOv5算法,因此需把標(biāo)記好的圖片從XML格式轉(zhuǎn)換為YOLO格式,并把轉(zhuǎn)換后的圖片存放在labels文件夾中。在每個(gè)YOLO格式的標(biāo)注文件中,每行表示一個(gè)標(biāo)注框,包括lt;class, indexgt;(類別索引)、lt;x_centergt;及l(fā)t; y_centergt;(標(biāo)注框的中心像素在圖片中的位置)、lt; widthgt;及l(fā)t;heightgt;(標(biāo)注框的寬和高)。這一過程為后續(xù)的特征提取和模型訓(xùn)練提供了有標(biāo)注的數(shù)據(jù)集。
同時(shí),采用一些簡單易行且針對性強(qiáng)的測試題對特殊兒童進(jìn)行檢測,以便將有潛在學(xué)習(xí)、行為等問題的個(gè)體從兒童群體中區(qū)分出來[14]。本項(xiàng)目歸納了特殊兒童的行為特征,發(fā)現(xiàn)大部分特殊兒童的問題可歸為認(rèn)知能力與專注記憶能力這兩方面,所以本文將從這兩方面來設(shè)置題目,兩者各占總分的50%。此外,一些信度和效度已得到證實(shí)的測量表有助于本項(xiàng)目更科學(xué)地設(shè)置題目,如可評估兒童社交能力的《社交反應(yīng)量表》《孤獨(dú)癥診斷觀察量表》等。一些特殊教育發(fā)達(dá)的國家在特殊兒童鑒別方面積累了諸多寶貴經(jīng)驗(yàn),這也有助于本項(xiàng)目構(gòu)建對特殊兒童恢復(fù)水平進(jìn)行評估的有意義的測試題庫[14]。
圖3為部分測試題目。題目在設(shè)置時(shí)應(yīng)保證形式多種多樣,語句力求簡明扼要,確保在兒童的認(rèn)知范圍內(nèi)。要排除與答題無關(guān)的因素,也不能遺漏答題所依據(jù)的必要條件,要避免使用生僻字詞[14]。本項(xiàng)目設(shè)置測試得分在86~100分內(nèi),可認(rèn)為恢復(fù)水平為A;在71~85分內(nèi),可認(rèn)為恢復(fù)水平為B;在56~70分內(nèi),可認(rèn)為恢復(fù)水平為C;得分在55分以下的,可認(rèn)為恢復(fù)水平為D。
1.2 特征提取與模型訓(xùn)練
YOLOv5是一種基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法。它把圖像劃分為不同的網(wǎng)格單元,在每個(gè)單元里預(yù)測目標(biāo)的位置和類別,再依據(jù)預(yù)測框與真實(shí)框之間的IoL值篩選目標(biāo)框,以此達(dá)成目標(biāo)檢測。YOLOv5的卷積層采用滑動(dòng)窗口的方法對輸入圖像進(jìn)行卷積操作,從而有效地捕捉圖像中的局部特征,而這些被捕捉到的特征能夠用于后續(xù)的分類、回歸或者其他任務(wù)。
在訓(xùn)練之前,需要依據(jù)實(shí)際情況對配置文件中的參數(shù)進(jìn)行修改。具體而言,將參數(shù)nc(類別數(shù))修改為6(在動(dòng)作訓(xùn)練中nc為3),將names修改為{Anger,Contempt,F(xiàn)ear,Happy,Neutral,Suprise}(動(dòng)作相關(guān)的則為{Wave,Jump,F(xiàn)ight})。同時(shí),在模型配置文件中設(shè)定batch-size為2,訓(xùn)練迭代次數(shù)(epochs)為100,用于訓(xùn)練和驗(yàn)證的圖像大?。╥mgsz)為640,并且采用CPU來進(jìn)行模型訓(xùn)練。
項(xiàng)目根據(jù)實(shí)際需要選用YOLOv5s模型,其結(jié)構(gòu)為輸入-骨干-頸部-頭部-輸出,其原理圖如圖4所示。YOLOv5s是YOLOv5系列中較小的模型,其所含的參數(shù)和計(jì)算量均較少。
在輸入端,Mosaic數(shù)據(jù)增強(qiáng)會隨機(jī)選取4張圖片,通過縮放、裁剪的方法對圖片進(jìn)行拼接,增加了模型中的小目標(biāo),加大了數(shù)據(jù)多樣性[15]。同時(shí),還會進(jìn)行BN(Batch Normalization)操作,對輸入的每個(gè)batch進(jìn)行標(biāo)準(zhǔn)化處理,即計(jì)算數(shù)據(jù)的均值和標(biāo)準(zhǔn)差;再對數(shù)據(jù)進(jìn)行歸一化處理,使均值和標(biāo)準(zhǔn)差分別為0、1,數(shù)據(jù)變換為正態(tài)分布,從而使數(shù)據(jù)分布更加穩(wěn)定[16]。
在訓(xùn)練過程中需要對batch的數(shù)據(jù)進(jìn)行逐一訓(xùn)練,但在預(yù)測過程中通常是輸入一張圖片進(jìn)行預(yù)測,此時(shí)batch-size為1,若再通過前面提到的方法計(jì)算均值和方差則毫無意義。因此,在每次迭代的過程中,BN層會不斷計(jì)算每個(gè)batch的均值和方差,并使用移動(dòng)平均的方式來記錄統(tǒng)計(jì)出的均值和方差并保存。batch-size的取值須為2n,最小值為2。通常來說,batch-size的數(shù)值越大,BN計(jì)算得到的均值和方差就越接近整個(gè)數(shù)據(jù)集的均值和方差,效果也就越好。
在YOLOv5中,初始錨框的計(jì)算被嵌入到整個(gè)訓(xùn)練代碼里。每次訓(xùn)練開始前,該算法會依據(jù)不同的數(shù)據(jù)集,自適應(yīng)地計(jì)算出不同訓(xùn)練集中的最佳錨框值。此外,在算法里,自適應(yīng)圖片縮放要求將原始圖片統(tǒng)一縮放到一個(gè)標(biāo)準(zhǔn)尺寸,自適應(yīng)地添加最少的灰色邊框(114, 114, 114)后,再將其輸入檢測網(wǎng)絡(luò)中[17]?,F(xiàn)以YOLO算法常用的416×416尺寸為例,對圖5中尺寸為800×500的圖片進(jìn)行縮放。
已知原始縮放尺寸為416×416,除以原始圖像的尺寸后得到縮放比例,兩個(gè)縮放系數(shù)分別為0.52和0.83,選擇較小的縮放系數(shù)0.52,同時(shí)乘以寬和高后得到尺寸為416×260的圖片。再計(jì)算需要填充的灰邊數(shù)值,先由416減去260得到原本需要填充的高度為156,然后通過取余數(shù)的方式,即np.mod(156,32),得到28個(gè)像素,除以2可知圖片高度兩端各需填充14個(gè)像素。
骨干網(wǎng)絡(luò)(Backbone)負(fù)責(zé)提取圖片的特征并傳遞給后續(xù)的分類和回歸模塊。它包括Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。Focus結(jié)構(gòu)是用于特征提取的卷積神經(jīng)網(wǎng)絡(luò),其過程如圖6所示。為降低計(jì)算量,可將輸入的608×608×3圖像沿水平、垂直方向切片成4個(gè)子圖。對每個(gè)子圖進(jìn)行卷積操作,然后將其堆疊起來,形成304×304×12的特征圖。最后,經(jīng)過一次具有32個(gè)卷積核的卷積操作,使其變?yōu)?04×304×32的二倍下采樣特征圖。Focus結(jié)構(gòu)能夠在保證較高特征提取效果的同時(shí),降低計(jì)算復(fù)雜度。
CSP(Cross Stage Partial)結(jié)構(gòu)采用了CSPDarknet53用于構(gòu)建骨干網(wǎng)絡(luò),它具有范圍更廣、訓(xùn)練速度更快、識別更準(zhǔn)確的優(yōu)點(diǎn)。它將輸入特征圖一分為二,一部分經(jīng)過卷積網(wǎng)絡(luò),另一部分直接進(jìn)行下一層的處理,最后將兩部分特征圖拼接作為下一層輸入。
Neck是一種中間特征提取網(wǎng)絡(luò),包含SPP操作和PAN模塊。它能夠?qū)⒉煌瑢哟蔚奶卣鲌D進(jìn)行特征融合,生成帶有多尺度信息的特征圖,進(jìn)而提高模型的檢測能力。具體而言,SPP(Spatial Pyramid Pooling)操作是利用三種不同大小的池化核對輸入特征進(jìn)行最大池化,之后將結(jié)果拼接,輸出特征向量。在PAN(Path Aggregation Network)模塊里,采用的是自上向下的特征金字塔結(jié)構(gòu)。該結(jié)構(gòu)運(yùn)用多尺度特征融合的方法,先把輸入的特征圖分解為不同尺寸的子圖,然后融合這些子圖的特征信息,將高層次的特征信息傳遞到低層次的特征圖上。如此一來,便能得到更具代表性的特征,提高模型的準(zhǔn)確性[18]。
最后,YOLOv5s采用CIOU_LOSS作為bounding box的損失函數(shù),該函數(shù)同時(shí)考慮了GT框與檢測框的重疊面積、中心點(diǎn)距離和長寬比三個(gè)因素[19]。Head目標(biāo)檢測頭用于對特征圖進(jìn)行多尺度目標(biāo)檢測,通過非極大值抑制算法NMS(Non-Maximum Suppression)刪除有高度重疊部分的邊界框,進(jìn)而篩選出具有代表性的邊界框,顯著提高檢測速度。
該模型具有較強(qiáng)的學(xué)習(xí)能力,它通過對大量數(shù)據(jù)進(jìn)行訓(xùn)練,能從輸入的特殊兒童圖像數(shù)據(jù)的特征表示中學(xué)習(xí)到特殊兒童的發(fā)展水平和規(guī)律。經(jīng)過上百次的迭代訓(xùn)練,模型優(yōu)化了權(quán)重和偏置參數(shù),減小了預(yù)測結(jié)果與真實(shí)值之間的差,進(jìn)而能夠準(zhǔn)確預(yù)測特殊兒童的發(fā)展水平。
1.3 模型測試結(jié)果與分析
在目標(biāo)檢測中,可以通過分析不同參數(shù)之間的關(guān)系得到該模型的檢測性能。圖7(a)、圖7(b)、圖7(c)、圖7(d)依次為表情模型訓(xùn)練的F1曲線圖、PCC(Precision-Confidence Curve)圖、RCC(Recall-Confidence Curve)圖和PRC(Precision- Recall Curve)圖。
F1分?jǐn)?shù)是分類衡量標(biāo)準(zhǔn),其值介于0到1之間,為精確率和召回率的調(diào)和平均數(shù),數(shù)值越大表明模型的檢測效果越好。F1曲線圖以置信度為橫坐標(biāo),F(xiàn)1分?jǐn)?shù)為縱坐標(biāo),它能夠反映模型訓(xùn)練時(shí)F1值的變化情況以及模型的訓(xùn)練效果。
PCC是置信度閾值-精確率曲線圖。在該圖中,橫坐標(biāo)表示置信度,縱坐標(biāo)表示精確率。若曲線向左上方彎曲,則意味著在較低置信度下能達(dá)到較高的精確率,此時(shí)模型的檢測效果較好;反之則不然。
RCC即置信度閾值-召回率曲線,其橫坐標(biāo)表示置信度,縱坐標(biāo)表示召回率。在該曲線中,曲線越靠近右上角,意味著在過濾低置信度的預(yù)測框之后所獲得的召回率越高,也就表明模型的性能越好。
PRC即精確率-召回率曲線圖,其橫坐標(biāo)為召回率,縱坐標(biāo)為精確率。在該曲線中,越靠近右上角,表明模型在預(yù)測時(shí)越能同時(shí)確保高精確率和高召回率,其預(yù)測效果也就越好。
在分析模型檢測結(jié)果時(shí),為評價(jià)訓(xùn)練效果,通常會結(jié)合PRC圖與mAP值。綜合上述內(nèi)容,可以從圖中分析出,模型在預(yù)測“Happy”這一表情時(shí)效果最佳。
通過應(yīng)用訓(xùn)練好的模型可以檢測出表情以及動(dòng)作。表情檢測圖如圖8所示;動(dòng)作檢測圖如圖9所示。
2 模型運(yùn)用與預(yù)后評估
2.1 數(shù)據(jù)收集與評估標(biāo)準(zhǔn)
為收集檢測數(shù)據(jù),項(xiàng)目首先采用ONNX模型把YOLOv5模型轉(zhuǎn)換為標(biāo)準(zhǔn)的ONNX格式,然后將其部署到樹莓派4B上。最后把樹莓派4B與STM32F103C8T6開發(fā)板相連,利用串口發(fā)送數(shù)據(jù)。如此,在識別表情、動(dòng)作之后便可發(fā)送串口數(shù)據(jù)并計(jì)數(shù),流程如圖10所示。
系統(tǒng)在識別到表情、動(dòng)作時(shí),可以對其進(jìn)行計(jì)數(shù),此種方式能夠反映一定的康復(fù)水平,在一定程度上能夠代替以往針對特殊兒童的繁瑣人工觀察。
通常,發(fā)育正常的6歲兒童已具備較好的基本面部表情理解能力。特殊兒童在康復(fù)過程中,如果能積極地用表情表達(dá)自己的情感和需求,那么他們的恢復(fù)水平相對較好;相反,如果他們長時(shí)間保持沉默或持續(xù)同一表情,那么他們的恢復(fù)水平可能會較差。例如,自閉癥兒童可能無法很好地理解他人的情感表達(dá),因此他們的面部表情種類可能會較少,甚至單一;智力障礙兒童可能無法準(zhǔn)確地表達(dá)自己的情感,因此他們的面部表情可能會較為模糊和混亂。在接受康復(fù)治療后,他們會逐漸學(xué)會更好地控制自己的情緒,面部表情也會變得更加自然和豐富。
根據(jù)已有研究,從面部表情效性的角度出發(fā),表情可被分為正性維度和負(fù)性維度。其中,“開心”屬于正性表情,“恐懼”“憤怒”和“厭惡”屬于負(fù)性表情,“中性”屬于中等表情,“驚訝”屬于歧性表情(在很大程度上受其呈現(xiàn)前后面部表情效價(jià)的影響[13])。本項(xiàng)目依據(jù)此結(jié)論開展了一個(gè)實(shí)驗(yàn),在5 min內(nèi),以26名測試者正常聊天時(shí)四類面部表情的出現(xiàn)次數(shù)作為評估特殊兒童康復(fù)的標(biāo)準(zhǔn)之一,每10 s計(jì)數(shù)一次。
測試結(jié)果累積柱狀圖如圖11所示。通過分析可知,在正常放松狀態(tài)下,人在聊天時(shí)出現(xiàn)正性表情和中性表情的次數(shù)較多,出現(xiàn)負(fù)性表情和歧性表情的次數(shù)較少,甚至可能不出現(xiàn)。出現(xiàn)正性和中性表情次數(shù)的平均值均為13次,而出現(xiàn)負(fù)性和歧性表情的次數(shù)最大值分別為4次和5次,最小值都為0。
因此,可以設(shè)定:在檢測特殊兒童的面部表情時(shí),其正性和中性表情出現(xiàn)次數(shù)越接近平均值,則表明恢復(fù)情況越好;其負(fù)性和歧性表情出現(xiàn)次數(shù)在最大值與最小值范圍內(nèi),則表明恢復(fù)情況越好;越偏離此范圍,恢復(fù)情況越差,具體見表2。
在動(dòng)作方面,根據(jù)艾賓浩斯的無意義音節(jié)實(shí)驗(yàn)結(jié)果,可認(rèn)為反復(fù)一個(gè)動(dòng)作數(shù)十次即為刻板行為[19]。同時(shí)結(jié)合測試題得分對特殊兒童數(shù)據(jù)進(jìn)行預(yù)后評估,并劃分級別,具體見表3。
表2和表3的實(shí)際數(shù)值應(yīng)結(jié)合實(shí)際進(jìn)行調(diào)整。這可以幫助醫(yī)務(wù)人員和教育工作者更好地了解特殊兒童的康復(fù)情況,并提供針對性的康復(fù)建議和教育計(jì)劃。
2.2 系統(tǒng)開發(fā)與應(yīng)用驗(yàn)證
項(xiàng)目開發(fā)了微信公眾號,旨在將研究成果應(yīng)用于特殊兒童教育和康復(fù)的實(shí)際環(huán)境。在這個(gè)過程中,可以把對特殊兒童的檢測結(jié)果上傳至系統(tǒng),再結(jié)合題目測試結(jié)果,就能生成推薦治療方案。為確保研究成果的實(shí)用性和可行性,所有功能都要在測試后進(jìn)行驗(yàn)證和優(yōu)化。
該系統(tǒng)具有實(shí)時(shí)性、便捷性和隱私性的特點(diǎn),可應(yīng)用于特殊兒童教育與康復(fù)的真實(shí)場景。它能提供準(zhǔn)確、快速的預(yù)后評估結(jié)果。并且,依據(jù)實(shí)際應(yīng)用中的反饋和需求,該系統(tǒng)得以優(yōu)化和改進(jìn)。通過多次性能測試與實(shí)驗(yàn)驗(yàn)證,其技術(shù)的準(zhǔn)確性和可靠性不斷提高,從而為康復(fù)方案的制定以及個(gè)性化教育提供有針對性的指導(dǎo)和支持。
3 結(jié) 語
特殊兒童的教育和康復(fù)需求日益增多。傳統(tǒng)的康復(fù)評估方式存在不少問題,例如評估過程繁瑣、結(jié)果不夠精確等。本項(xiàng)目針對這些問題研發(fā)出了智能評估系統(tǒng)。該系統(tǒng)在一定程度上填補(bǔ)了市場上特殊兒童康復(fù)訓(xùn)練智能評估產(chǎn)品的空白,為特殊兒童的康復(fù)提供了全新的解決方案。這一系統(tǒng)既減少了評估所需的時(shí)間與人力成本,又能讓康復(fù)訓(xùn)練更具針對性,從而取得更好的效果。
參考文獻(xiàn)
[1] 謝曉丹,盧斌. 對廣州市海珠區(qū)龍鳳街幼兒園兒童進(jìn)行孤獨(dú)癥及多動(dòng)癥初篩與干預(yù)研究[J]. 特別健康,2021(32):120-121.
[2] 國務(wù)院.國務(wù)院關(guān)于印發(fā)“十四五”殘疾人保障和發(fā)展規(guī)劃的通知[J].中華人民共和國國務(wù)院公報(bào),2021(22):25-38.
[3] 程凱.推進(jìn)適齡殘疾兒童和少年教育全覆蓋[J].中國特殊教育,2021(7):3-5.
[4] 肖非.關(guān)于個(gè)別化教育計(jì)劃幾個(gè)問題的思考[J].中國特殊教育,2005(2):8-12.
[5] 郝丹詩,劉姝,秦陽陽,等.孤獨(dú)癥譜系障礙患兒家庭早期干預(yù)研究的范圍綜述[J/OL].中國兒童保健雜志,1-6[2025-02-19].http://kns.cnki.net/kcms/detail/61.1346.R.20250217.1725.010.html.
[6] 郝偉,陸林.精神病學(xué)[M]. 8版. 北京:人民衛(wèi)生出版社,2018:228-229.
[7] 趙梅菊,鄧猛,雷江華.綜合干預(yù)對提高自閉癥兒童社會適應(yīng)能力的研究[J].鄭州師范教育,2012,1(5):17-18.
[8] 譚依琳,王翠艷.人工智能在特殊兒童個(gè)別化教育的應(yīng)用研究[J].綏化學(xué)院學(xué)報(bào),2020,40(7):126-129.
[9] 李輝.自閉兒童智能機(jī)器人產(chǎn)品設(shè)計(jì)研究[J].電子技術(shù)與軟件工程,2022(16):103-107.
[10] 劉清泉,張亞飛,李華鋒,等.基于協(xié)作低秩分層稀疏和LC-KSVD的人臉表情識別[J].傳感器與微系統(tǒng),2017,36(11):56-59.
[11] 余萍,杜尚榮.教育信息化2.0時(shí)代的師生溝通問題研究[J].教學(xué)與管理,2020(30):10-13.
[12] 郭利明,楊現(xiàn)民,段小蓮,等.人工智能與特殊教育的深度融合設(shè)計(jì)[J].中國遠(yuǎn)程教育,2019(8):2-3.
[13] 郭文斌.自閉癥譜系障礙兒童面部表情識別的實(shí)驗(yàn)研究[D].上海:華東師范大學(xué),2013.
[14] 韋小滿.特殊兒童心理評估[M].北京:華夏出版社,2006.
[15] 郭磊,王邱龍,薛偉,等.基于改進(jìn)YOLOv5的小目標(biāo)檢測算法[J].電子科技大學(xué)學(xué)報(bào),2022,51(2):251-258.
[16] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]// Proceedings of the 32nd International Conference on International Conference on Machine Learning(ICML'15). JMLR.org, 2015: 448-456.
[17] 李丹.基于YOLOv5的Logo檢測神經(jīng)網(wǎng)絡(luò)[D].哈爾濱:黑龍江大學(xué),2021.
[18] 秦昌輝.基于深度學(xué)習(xí)的行人跟蹤算法研究[D].綿陽:西南科技大學(xué),2021.
[19] 廖杉.孤獨(dú)癥譜系障礙患者重復(fù)刻板興趣行為的定量研究[D].重慶:重慶醫(yī)科大學(xué),2020.
收稿日期:2024-05-10 修回日期:2024-06-12
基金項(xiàng)目:2023年江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(20231365 4028Y)
作者簡介:丁俞心(2003—),女,研究方向?yàn)榍度胧介_發(fā)、深度學(xué)習(xí)。
張 馳(2002—),男,研究方向?yàn)榍度胧介_發(fā)、深度學(xué)習(xí)。
朱文馨(2002—),女,研究方向?yàn)閭鞲衅骷夹g(shù)、物聯(lián)網(wǎng)技術(shù)。
張國梁(2003—),男,研究方向?yàn)樨?cái)務(wù)管理。
李 豪(2001—),男,研究方向?yàn)樨?cái)務(wù)管理。
崔艷軍(1987—),女,高級工程師,研究方向?yàn)橛?jì)算機(jī)技術(shù)、機(jī)器視覺。
朱 葉(1994—),女,助教,研究方向?yàn)樨?cái)務(wù)分析。