多模態(tài)數(shù)據(jù)融合評估新生兒疼痛的研究進(jìn)展

朱南希,楊柳,諶紹林,王剛,王靖茜,鄧仁麗

疼痛被定義為“一種伴隨著實(shí)際或潛在組織損傷的不愉快感官和情感體驗(yàn)”，世界衛(wèi)生組織(WHO)將疼痛列為“第五大生命體征”[1-2]。每個新生兒在住院期間平均每天要經(jīng)歷7.5～17.3次操作性疼痛刺激[3]。反復(fù)的疼痛刺激會造成新生兒原發(fā)性和繼發(fā)性痛覺過敏，引起新生兒機(jī)體內(nèi)代謝紊亂，增加心血管系統(tǒng)負(fù)擔(dān)，影響神經(jīng)系統(tǒng)發(fā)育，導(dǎo)致嚴(yán)重的后遺癥[4-5]。疼痛的準(zhǔn)確評估是新生兒在住院期間的疼痛管理及治療得到安全性和高效性的保障[6]。臨床新生兒的疼痛程度多由護(hù)士采用疼痛評估量表進(jìn)行評估，但人工評估存在間歇性、主觀性及耗時長等缺點(diǎn)[7]。近年來，隨著科技發(fā)展，借助計算機(jī)等設(shè)備和智能技術(shù)評估新生兒疼痛成為研究熱點(diǎn)。目前的智能疼痛評估技術(shù)大多是基于單模態(tài)(指的生理或者行為指標(biāo)中的某一個指標(biāo))研制，如對疼痛面部表情或哭聲等的識別，但由于疼痛的復(fù)雜性及臨床環(huán)境的限制，其臨床適用性差。因此，結(jié)合行為及生理等指標(biāo)的多模態(tài)評估技術(shù)的提出，是新生兒智能疼痛評估技術(shù)領(lǐng)域發(fā)展的一大飛躍?，F(xiàn)將多模態(tài)數(shù)據(jù)融合(Muti-Modal Data Fusion)用于評估新生兒疼痛的研究進(jìn)展綜述如下，為護(hù)理同仁提供參考。

1 多模態(tài)數(shù)據(jù)融合的概述

多模態(tài)是目前最新的一種新生兒智能化評估方式，其數(shù)據(jù)來源于單模態(tài)。多模態(tài)數(shù)據(jù)融合指在研究過程中，采集不同模態(tài)的信息，一般由2個或2個以上模態(tài)組成，將不同模態(tài)下的數(shù)據(jù)集成到一個空間中，綜合成統(tǒng)一的結(jié)果表達(dá)[8]。比起單模態(tài)數(shù)據(jù)它可以給予更為豐富及廣泛的信息，并且受數(shù)據(jù)缺失的影響較小。在新生兒疼痛評估測量中，多模態(tài)數(shù)據(jù)融合是指將新生兒在疼痛狀態(tài)下的行為指標(biāo)(面部表情變化、身體活動、啼哭聲音)和生理指標(biāo)(生命體征、腦血流動力學(xué))等方面信息的互相聯(lián)合轉(zhuǎn)化。由于新生兒語言交流的限制及疼痛發(fā)生的復(fù)雜性，將多模態(tài)數(shù)據(jù)融合應(yīng)用于新生兒疼痛評估，能考慮到疼痛反應(yīng)的個體差異性，并避免臨床環(huán)境中的各種干擾因素導(dǎo)致的某一模態(tài)數(shù)據(jù)的丟失而造成的評估結(jié)果偏差，從而提高臨床適用性及疼痛評估結(jié)果的準(zhǔn)確性。近年來，多模態(tài)數(shù)據(jù)融合在臨床上已被廣泛應(yīng)用于疾病診斷、信息化管理等方面的研究，在提高臨床管理效能、促進(jìn)醫(yī)學(xué)進(jìn)步上起了重要作用，推動了大數(shù)據(jù)時代與臨床工作的有效結(jié)合[9]。

2 基于行為及生理模態(tài)的智能評估技術(shù)應(yīng)用

2.1行為模態(tài)

新生兒在受到疼痛刺激時，會同時引起面部表情變化、身體活動及啼哭聲音的發(fā)生。近些年，新生兒疼痛智能識別技術(shù)在基于疼痛行為表現(xiàn)的研究上已取得一定成就，研究大多利用面部表情或啼哭聲音構(gòu)建模型，已奠定了人工智能在臨床新生兒疼痛識別應(yīng)用前景的初步基礎(chǔ)。

2.1.1面部表情 疼痛面部表情被定義為與疼痛刺激相關(guān)的面部肌肉運(yùn)動和扭曲。與新生兒疼痛相關(guān)的面部運(yùn)動包括鼻唇溝加深、皺眉擠眼、嘴巴水平或垂直拉伸、嘴唇撅起或張開、舌頭突出或繃緊和下巴顫抖等[10]。盧官明等[11]利用支持向量機(jī)(Support Vector Machine, SVM)技術(shù)對210幅新生兒疼痛與非疼痛面部表情靜態(tài)圖像進(jìn)行分類識別，發(fā)現(xiàn)性能最佳時，識別率可達(dá)到93.33%。經(jīng)過深入研究后提出基于深度三維殘差卷積神經(jīng)網(wǎng)絡(luò)(Deep Residual-3D ConvNet，DR3D)利用視頻序列設(shè)計相應(yīng)的表情識別系統(tǒng)，識別過程和結(jié)果可被更為直觀地展示，其識別準(zhǔn)確率達(dá)66.54%[12]。國外一項(xiàng)Meta分析通過比較機(jī)器學(xué)習(xí)測量疼痛面部表情與各類基于疼痛指標(biāo)的量表評估結(jié)果準(zhǔn)確性顯示[13]，機(jī)器學(xué)習(xí)可以減少訓(xùn)練成本，快速、準(zhǔn)確和持續(xù)地監(jiān)測疼痛。但疼痛表情的識別容易受光照、遮擋、分辨率等的影響，會降低臨床實(shí)用性。

2.1.2身體活動 新生兒在經(jīng)歷疼痛刺激時，往往會有搖頭、伸展手臂和腿、張開手指等表現(xiàn)[7]。在關(guān)于身體運(yùn)動指標(biāo)的智能疼痛評估技術(shù)上，只有Zamzmi等[14]的研究中涉及，借鑒嬰兒運(yùn)動診斷疾病的相關(guān)研究，提出基于侵入性儀器或視頻的方法分析身體運(yùn)動以測量疼痛，結(jié)果顯示基于儀器的方法在捕捉運(yùn)動上更為敏感，但視頻監(jiān)測更容易被臨床接受。身體運(yùn)動可以作為疼痛評估的指標(biāo)之一，但沒有足夠的疼痛特異性[15]。

2.1.3啼哭聲音 新生兒啼哭是不適、饑餓或疼痛的常見跡象，可作為疼痛測量的輔助指標(biāo)。葛曉利[16]以6個月內(nèi)需擇期手術(shù)的嬰兒為研究對象，記錄其在手術(shù)前至手術(shù)后離開蘇醒室這一時間段內(nèi)的啼哭數(shù)據(jù)，分析疼痛與非疼痛情況下的聲學(xué)特征，構(gòu)建疼痛哭聲識別模型。Ricossa等[17]將疼痛評分結(jié)果納入到新生兒哭聲識別疼痛的技術(shù)開發(fā)中，提出利用譜熵分析的方法測量哭聲的持續(xù)時間、發(fā)音障礙和基本頻率，以識別痛苦級別。國內(nèi)外學(xué)者[16-19]通過新生兒哭聲分析疼痛已展開了大量研究，但哭聲識別應(yīng)用于臨床受環(huán)境條件限制，且新生兒重癥監(jiān)護(hù)室大多為早產(chǎn)兒或鎮(zhèn)靜鎮(zhèn)痛狀態(tài)下的患兒，啼哭反應(yīng)不明顯，容易造成測量結(jié)果的誤差。

2.1.4面部表情與啼哭聲音結(jié)合 Pal等[20]描述了一種多模態(tài)情緒檢測方法，基于新生兒的面部表情與啼哭聲音兩個行為指標(biāo)來預(yù)測他們的情緒狀態(tài)，從而識別疼痛的存在。使用決策級融合的方式即將每個疼痛指標(biāo)當(dāng)作一個分類器，多個分類器的決策結(jié)果合并為一個單一的集成決策，以此決定最終的結(jié)果。通過尋找條件概率矩陣組合面部表情和哭泣模式，并將概率矩陣中導(dǎo)出的信念向量最大值作為最終的融合決策，最終結(jié)果顯示使用決策級融合方法預(yù)測嬰兒情緒的總體準(zhǔn)確率為75.2%。由于決策級融合的方法能夠組合不同分類器標(biāo)簽，可綜合考慮各分類器結(jié)果，建議此方法可應(yīng)用于未來的研究中。

2.2生理模態(tài)

基于生理測量的疼痛分析包括從生命體征變化和腦血流動力學(xué)活動提取相關(guān)特征。

2.2.1心率變異性 心率變異性(Heart Rate Variability, HRV)是指逐次心跳周期差異的變化情況，受交感神經(jīng)與副交感神經(jīng)調(diào)節(jié)影響，反映機(jī)體自主神經(jīng)系統(tǒng)的活動情況。當(dāng)機(jī)體受到疼痛刺激時，會增加交感神經(jīng)活動，而副交感神經(jīng)活動受到抑制，導(dǎo)致HRV下降。心率變異性分析是一種心臟自主控制的無創(chuàng)測量方法[21]。Lindh等[22]在足跟采血時對輸出的心臟數(shù)據(jù)進(jìn)行統(tǒng)計和頻譜分析，計算心率平均值、低頻及高頻功率和總心率變異性，結(jié)果顯示HRV對新生兒的疼痛反應(yīng)有研究價值。Faye等[23]的研究亦證實(shí)HRV在新生兒慢性疼痛評估的可行性。心率變異性容易受胎齡及藥物使用的影響，其普適性還需進(jìn)一步在臨床展開驗(yàn)證。

2.2.2皮膚電傳導(dǎo) 皮膚電傳導(dǎo)(Skin Conduc-tance, SC)測量是基于交感神經(jīng)系統(tǒng)對壓力反應(yīng)的評估疼痛的生理學(xué)方法。當(dāng)疼痛刺激發(fā)生時，相關(guān)壓力誘導(dǎo)嬰兒手足區(qū)域的交感神經(jīng)興奮產(chǎn)生汗液，從而使用皮膚電傳導(dǎo)監(jiān)測皮膚電活動的增加和減少以監(jiān)測疼痛[24]。目前利用皮膚電傳導(dǎo)監(jiān)測疼痛的相關(guān)研究結(jié)果不一致，尚需更多原始研究進(jìn)一步證實(shí)，且其在氣管插管或鎮(zhèn)靜鎮(zhèn)痛的新生兒疼痛評估中還待探索[24]。

2.2.3腦血流動力學(xué) 近紅外光譜技術(shù)(Near Infrared Reflectance Spectroscopy, NIRS)是一種非侵入性方法，可用于檢測大腦氧合血紅蛋白(HbO2)和脫氧血紅蛋白(HHb)濃度的細(xì)微變化，反映大腦代謝和灌注變化，腦血流的變化反映了區(qū)域神經(jīng)活動，而區(qū)域神經(jīng)活動是疼痛強(qiáng)度的量度[25]。Slater等[26]使用NIRS來評估新生兒在足跟采血期間體感皮層的血流動力學(xué)活動，發(fā)現(xiàn)皮層血流動力學(xué)和疼痛行為反應(yīng)之間具有相關(guān)性。但近紅外光譜技術(shù)對各種可能干擾結(jié)果的因素很敏感，受環(huán)境條件影響較大，患兒的活動以及可能導(dǎo)致代謝性體感變化的危重疾病均會導(dǎo)致測量結(jié)果的偏差，對危重新生兒的疼痛檢測還需進(jìn)一步探討[25]。

2.2.4大腦神經(jīng)電位活動 腦電圖(Electroencep-halography, EEG)可以檢測大腦神經(jīng)元產(chǎn)生的電活動變化，尤其是功能事件相關(guān)電位(Event Related Potential, ERP)，其可確定由于內(nèi)部或外部刺激而引發(fā)的大腦特定電生理反應(yīng)[27]。Hartley等[28]提出一種基于腦電圖的新生兒痛覺性大腦活動測量方法，該大腦活動在急性傷害性刺激后被喚起，并且對痛覺調(diào)節(jié)很敏感。很多研究者已基本證實(shí)了疼痛所顯示的腦電波形態(tài)，但大部分研究的疼痛刺激部位為足跟[28-30]，考慮疼痛的復(fù)雜性，疼痛刺激部位的不同可能會導(dǎo)致腦電波的不同變化，所以其在實(shí)際應(yīng)用上仍需深入研究。

3 多模態(tài)數(shù)據(jù)融合評估新生兒疼痛的智能評估技術(shù)應(yīng)用

目前研究多是利用單模態(tài)檢測新生兒疼痛，由于胎齡、噪聲、氣管插管、藥物鎮(zhèn)靜鎮(zhèn)痛等因素，容易導(dǎo)致數(shù)據(jù)的缺失。為提高評估結(jié)果的準(zhǔn)確性及避免單模態(tài)數(shù)據(jù)的丟失，應(yīng)用行為及生理指標(biāo)相結(jié)合的多模態(tài)數(shù)據(jù)融合評估新生兒疼痛的智能技術(shù)較具優(yōu)勢。Worley等[31]在2012年開發(fā)了一種非侵入性綜合方法測量新生兒對周圍感覺和傷害性刺激的神經(jīng)生理和行為反應(yīng)。在足跟采血及觸摸刺激的同時，記錄肌肉和中樞神經(jīng)系統(tǒng)的活動，包括表面肌電圖、腦電圖和近紅外光譜，通過視頻記錄心率、血氧飽和度、呼吸頻率及相關(guān)心血管活動。該研究雖然僅僅采集了足跟采血時的疼痛數(shù)據(jù)來構(gòu)建模型，但其區(qū)分了新生兒在有害與無害刺激時反應(yīng)的不同，且結(jié)果具有較好的敏感性與特異性。Roué等[32]研究發(fā)現(xiàn)靜脈穿刺時，新生兒面部編碼系統(tǒng)(Neonatal Facial Coding System，NFCS)評分與唾液皮質(zhì)醇、皮膚電傳導(dǎo)和NIRS呈輕至中度相關(guān)。Zamzmi的研究團(tuán)隊(duì)分別分析面部表情、身體活動、啼哭聲音和生命體征各指標(biāo)單獨(dú)或結(jié)合評估疼痛時的精確性，研究顯示行為和生理指標(biāo)相結(jié)合的評估結(jié)果精確性可達(dá)95%，高于任何單一指標(biāo)的評估結(jié)果[14,33-35]。后續(xù)提出研究框架使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)集成疼痛行為及生理指標(biāo)且利用遞歸神經(jīng)網(wǎng)絡(luò)整合時間信息更具效率及優(yōu)越性[35]。2021年，該團(tuán)隊(duì)用相機(jī)記錄已采集了第一個多模態(tài)新生兒疼痛數(shù)據(jù)集，包含了經(jīng)歷操作性刺激和術(shù)后狀態(tài)下新生兒的行為及生理反應(yīng)，其真實(shí)標(biāo)簽由臨床護(hù)士使用疼痛評分量表所提供，且對疼痛程度進(jìn)行分級[34]。目前多模態(tài)數(shù)據(jù)融合評估新生兒疼痛技術(shù)在區(qū)分新生兒不同疼痛類型上尚待進(jìn)一步探索，若能夠以疼痛作為人體健康信號出發(fā)，通過識別疼痛發(fā)生從而預(yù)警病情，將能為新生兒臨床診療帶來重大價值，未來該技術(shù)在臨床的應(yīng)用前景值得期待。

4 總結(jié)與展望

新生兒疼痛評估需綜合考慮行為與生理反應(yīng)等多方面因素。隨著人工智能的發(fā)展，多模態(tài)數(shù)據(jù)融合評估新生兒疼痛可能是未來臨床新生兒疼痛測量工具發(fā)展的一大趨勢，有望在減少人力資源消耗的同時也可以提高評估結(jié)果的可靠性，更好地提高臨床疼痛管理效能。

當(dāng)前的新生兒智能疼痛評估技術(shù)幾乎是為急性疼痛或術(shù)后疼痛而設(shè)計，新生兒慢性疼痛很難評估[36]，而潛在的慢性疼痛識別對醫(yī)療診斷工作有巨大的輔助價值，可及時提示病情變化，幫助提高預(yù)見性。未來的多模態(tài)智能疼痛識別技術(shù)在成熟的基礎(chǔ)上應(yīng)豐富不同疼痛類型識別的算法，抓住新生兒疼痛的共性反應(yīng)，并在新生兒的疾病發(fā)生中檢驗(yàn)疼痛對病情進(jìn)展的預(yù)警價值。尤其是針對新生兒重癥監(jiān)護(hù)室內(nèi)因中樞神經(jīng)系統(tǒng)發(fā)育不成熟或病情等因素而對疼痛無法充分作出反應(yīng)的新生兒，多模態(tài)數(shù)據(jù)融合的智能疼痛識別技術(shù)能夠從多維度全面捕捉他們的疼痛信息，從而預(yù)知病情可能處于不良進(jìn)展階段，盡早展開診療，因此具有重大的臨床價值。當(dāng)前國內(nèi)的新生兒疼痛智能識別技術(shù)為計算機(jī)專業(yè)團(tuán)隊(duì)研發(fā)，建議臨床護(hù)理人員與大數(shù)據(jù)等計算機(jī)研究人員合作，學(xué)科交叉，資源互補(bǔ)，以臨床角度出發(fā)，增強(qiáng)該技術(shù)的臨床實(shí)用性，聚焦于改善新生兒疼痛評估難點(diǎn)，解決臨床問題，提升新生兒疼痛管理的臨床意義。