信息化及自動化嬰兒疼痛評估研究進展

陳月華 諶紹林 朱南希 易俊儒 潘秋丹

(1.湖南醫(yī)藥學(xué)院護理學(xué)院，湖南 懷化 418000；2.遵義醫(yī)科大學(xué)附屬醫(yī)院護理部，貴州 遵義 563000)

國際疼痛研究學(xué)會(international association for the study of pain,IASP)提出疼痛的新定義為“疼痛是一種與組織損傷相關(guān)的感覺、情感、認知和社會維度的痛苦體驗”[1]。長期疼痛刺激會對新生兒成長發(fā)育造成一系列不良影響，輕則造成免疫、呼吸、心血管功能紊亂，重則導(dǎo)致新生兒情感紊亂、發(fā)育遲緩或中樞神經(jīng)系統(tǒng)永久損傷，造成的不良影響會長期存在，難以恢復(fù)[2-3]。準(zhǔn)確評估嬰兒疼痛是進行科學(xué)化疼痛管理的前提，對嬰兒健康發(fā)育有重要影響。由于嬰兒無法用語言表達，而傳統(tǒng)疼痛量表評估具有一定的主觀性，操作繁瑣、費時費力。信息化嬰兒疼痛評估彌補了以上不足，可客觀、高效地評估嬰兒疼痛，對臨床診斷與治療具有重要意義，正逐步受到臨床重視。目前，較多信息化評估方法的開發(fā)是基于嬰兒生理指標(biāo)或行為指標(biāo)，主要有基于嬰兒面部表情、嬰兒啼哭聲音信號、生理信號和多信息融合信息化評估。本文綜述目前嬰兒信息化及自動化疼痛評估研究進展，分析未來發(fā)展趨勢，以增加臨床醫(yī)護人員上述系列技術(shù)的了解，為今后信息化嬰兒疼痛評估技術(shù)進一步研發(fā)和臨床應(yīng)用提供參考和借鑒。

1 基于面部表情的嬰兒疼痛自動識別技術(shù)

基于面部表情的嬰兒疼痛自動識別是通過計算機等智能終端自動評估嬰兒疼痛，首先拍攝嬰兒面部表情，再通過智能終端自動檢測面部，提取疼痛表情特征，進行特征分類，輸出評估結(jié)果[4]。

1.1嬰兒疼痛表情數(shù)據(jù)庫 高質(zhì)量、大樣本的嬰兒疼痛表情數(shù)據(jù)庫是開發(fā)一個完善、高效率疼痛評估系統(tǒng)的基礎(chǔ)。目前，有4個嬰兒疼痛表情數(shù)據(jù)庫，分別為美國密蘇里州立大學(xué)Brahnam建立的嬰兒疼痛表情圖像數(shù)據(jù)庫(infant classification of pain expressions,iCOPE)[5]和嬰兒疼痛表情視頻數(shù)據(jù)庫(infant classification of pain expressions videos,iCOPEvid)[6]、YouTube新生兒疼痛數(shù)據(jù)庫[7]以及國內(nèi)盧官明教授團隊建立的嬰兒數(shù)據(jù)庫[8]。

1.1.1iCOPE數(shù)據(jù)庫 Brahnam團隊所收集的嬰兒iCOPE數(shù)據(jù)庫[5]是目前首個公開的嬰兒疼痛表情分類數(shù)據(jù)庫，包括26例年齡為18 h～3 d的白人新生兒(男、女各13例)在嬰兒接受4種刺激時拍攝，包括更換床位、用空氣刺激眼睛、用酒精棉球擦拭足跟外側(cè)表面及足跟采血，其中前3類刺激為非疼痛類，足跟采血為疼痛類，共有204張彩色照片，其中60張?zhí)弁幢砬檎掌?44張非疼痛照片。該數(shù)據(jù)庫為靜態(tài)嬰兒疼痛表情數(shù)據(jù)庫，樣本量較小，只包括疼痛表情與非疼痛表情，未標(biāo)注疼痛程度，缺乏嬰兒疼痛程度多樣化，無法提供足夠豐富的嬰兒疼痛信息。

1.1.2iCOPEvid數(shù)據(jù)庫 Brahnam團隊近期建立了iCOPEvid數(shù)據(jù)庫[6]，它包含234個視頻，其中疼痛視頻49個，非疼痛視頻185個，每個視頻時長為20 s。它是在49例新生兒(女23例和男26例)經(jīng)歷一系列有害刺激、一段休息時間和一次急性疼痛刺激(足跟采血)時拍攝的。非疼痛視頻選擇的則是與疼痛表情相似但不受疼痛刺激的視頻片段。視頻的每一幀雖由數(shù)名臨床專家評估為“疼痛”或“非疼痛”，但未標(biāo)注疼痛程度。

1.1.3YouTube新生兒疼痛數(shù)據(jù)庫 該數(shù)據(jù)庫是年齡<12個月的嬰兒在接受免疫接種時采集的疼痛視頻組成[7]，包括142個視頻，內(nèi)容包含嬰兒面部表情變化、身體活動、聲音、年齡、性別、接種次數(shù)、拍攝時長、主要照顧者的性別和房間其他人人數(shù)、性別及年齡。但存在以下不足：如該數(shù)據(jù)庫未預(yù)先設(shè)定視頻的質(zhì)量標(biāo)準(zhǔn)，導(dǎo)致拍攝視頻質(zhì)量不同，部分視頻無法被分析；無法保證護士對每個嬰兒接種疫苗時的注射技術(shù)及疫苗接種順序是否一致；不能確定拍攝前是否對嬰兒采取疼痛緩解措施。

1.1.4國內(nèi)嬰兒數(shù)據(jù)庫 國內(nèi)嬰兒數(shù)據(jù)庫是盧官明[8]教授團隊與醫(yī)院合作共同建立的。2007年，該課題組首次建立嬰兒面部表情數(shù)據(jù)庫。朱金朵[9]在為40例<7 d的新生兒(男、女各20例)拍攝的500多個新生兒面部視頻中，提取了10 000多張表情關(guān)鍵幀，建立嬰兒疼痛表情數(shù)據(jù)庫，包括了安靜、哭泣、輕度疼痛和重度疼痛4類表情，采用在臨床上收集嬰兒在進行足底采血、靜脈穿刺和手術(shù)前后等情況下的面部疼痛表情視頻來建立嬰兒疼痛表情數(shù)據(jù)庫。根據(jù)嬰兒不同狀態(tài)可有2種分類方法：一種可分為平靜、疼痛，另一種進一步細分為平靜、哭、輕度疼痛、重度疼痛等4類基本狀態(tài)。在之后的系列研究過程中，該團隊又陸續(xù)擴充了該數(shù)據(jù)庫。

目前，公開可用的嬰兒疼痛表情數(shù)據(jù)庫少，樣本數(shù)小。嬰兒疼痛表情數(shù)據(jù)庫建立的規(guī)范性直接影響了前期數(shù)據(jù)收集質(zhì)量，疼痛標(biāo)注的專業(yè)型和一致性直接影響了表情識別的準(zhǔn)確性和可推廣性。建議臨床醫(yī)護人員共同參與并制定標(biāo)準(zhǔn)化的疼痛數(shù)據(jù)收集與數(shù)據(jù)標(biāo)注工作流程和質(zhì)量標(biāo)準(zhǔn)，并進行統(tǒng)一培訓(xùn)，提高其科學(xué)性，在此基礎(chǔ)上建立更多公開、大樣本的嬰兒疼痛數(shù)據(jù)庫，為后續(xù)數(shù)據(jù)分析提供可靠的、豐富的數(shù)據(jù)基礎(chǔ)。

1.2基于面部表情的嬰兒疼痛自動識別技術(shù)

1.2.1靜態(tài)圖像的嬰兒疼痛表情識別 早期嬰兒疼痛表情評估是在靜態(tài)圖像的基礎(chǔ)上進行的，其基本流程為新生兒表情圖片的采集、預(yù)處理、人臉檢測定位、特征提取、特征選擇及分類識別等。Brahnam等[10]在2004年對26名新生兒面部表情進行疼痛與非疼痛分類，運用主成分分析(principal component analysis,PCA)、線性判別分析(linear discriminant analysis,LDA)、支持向量機(support vector machine,SVM)3種技術(shù)對人臉進行分類，其中SVM的性能最優(yōu)，成功區(qū)分了疼痛與非疼痛。2006年在此基礎(chǔ)上，加入神經(jīng)網(wǎng)絡(luò)同步算法(neural network synchronization algorithm,NNSOA)、線性核支持向量機(linear support vector machine,LSVM)，疼痛率與非疼痛率分別達到90.20%和82.35%[11]。有研究[12]表明，用拉長三值模式(elongated ternary mode,ELTP)提取嬰兒面部疼痛特征，可更好刻畫面部疼痛紋理信息。Gholami等[13]使用SVM將人臉圖像分為“疼痛”和“非疼痛”2類，其準(zhǔn)確率為82%～88%；在此基礎(chǔ)上，應(yīng)用嬰兒iCOPE數(shù)據(jù)庫，深入擴展研究了嬰兒疼痛與疼痛強度的關(guān)系[14]，提出利用相關(guān)向量機(relevance vector machine，RVM)分類技術(shù)區(qū)分疼痛與非疼痛，以及評估嬰兒的疼痛強度水平。在國內(nèi)研究中，盧官明等[8]研究了210幅照片的表情圖像，提出階數(shù)為三時的多項式核函數(shù)SVM分類器，對疼痛和非疼痛表情分類的識別率達到93.33%，對疼痛與安靜表情的分類識別率為94.17%，對疼痛與哭表情的分類識別率為83.13%。余益團[15]基于LBP-top(logic binary pattern from three orthogonal planes)特征的新生兒疼痛表情識別開發(fā)了新生兒疼痛表情識別系統(tǒng)，最終實現(xiàn)平靜、疼痛2分類及平靜、哭、輕疼痛、劇疼痛4分類的識別。左加闊[16]在不同光照及不同嬰兒姿態(tài)下建立了具有東方面部特征的嬰兒面部表情數(shù)據(jù)庫，提出正交等距映射(orthogonal isomatric projection,O-IsoProjection)算法，將線性流形學(xué)習(xí)算法應(yīng)用到新生兒疼痛表情識別中進行大量實驗，最終證實此方法在嬰兒疼痛表情識別的可行性。目前，此種算法只是初步探索了新生兒疼痛表情識別中的性能，對于流形學(xué)習(xí)算法能否真實的揭示新生兒表情的本質(zhì)特征，還需進一步的理論研究和實驗。

自動化靜態(tài)圖像的嬰兒疼痛表情識別由最初始的區(qū)分疼痛與非疼痛，通過不斷改進對疼痛特征提取方法，提高疼痛與非疼痛的識別率，到深入擴展研究嬰兒疼痛與疼痛強度的關(guān)系，奠定了嬰兒疼痛表情識別技術(shù)的研究基礎(chǔ)。

1.2.2基于視頻序列的嬰兒疼痛表情識別 視頻序列的疼痛表情識別是對視頻序列進行臉部區(qū)域的檢測跟蹤，提取與選擇表情特征后，進行分類與識別的方法。劉陶鴻[17]提出通過基于膚色和Haar特征相結(jié)合的嬰兒臉部檢測算法可使系統(tǒng)達到實時性，且能檢測出不同表情和不同頭部偏移角度的視頻幀樣本臉部區(qū)域，即使在部分遮擋和頭部存在一定角度偏移的情況下，也可取得不錯的跟蹤效果。柳毅[18]將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)算法引入到新生兒疼痛表情識別中，建立了509個樣本的新生兒疼痛表情視頻庫，基于視頻庫建立了11 000個平靜、哭、輕度疼痛及重度疼痛4種基本狀態(tài)的新生兒疼痛表情圖像庫，構(gòu)建了嬰兒疼痛評估系統(tǒng)，通過接收視頻輸入，對嬰兒人臉檢測與面部表情識別，從而輸出當(dāng)前面部表情狀態(tài)。朱金朵[8]通過自建的嬰兒疼痛數(shù)據(jù)表情庫訓(xùn)練CNN人臉檢測，構(gòu)建新生兒疼痛表情識別系統(tǒng)，可對輸入的新生兒圖像或視頻中新生兒面部實現(xiàn)自動檢測與疼痛表情識別。蔡飛[19]在3D卷積神經(jīng)網(wǎng)絡(luò)對嬰兒疼痛表情識別的基礎(chǔ)上研究發(fā)現(xiàn)，具有8層卷積層識別率(51.27%)大于5層卷積層的識別率(50.53%)，網(wǎng)絡(luò)深度是影響新生兒疼痛表情識別效果的重要因素，對疼痛評估系統(tǒng)開發(fā)有提示意義。Zhi等[4]提出將動態(tài)疼痛表情與側(cè)視圖相融合，根據(jù)胎齡、性別和種族等因素，構(gòu)建了不同的自動疼痛評估模型，這是第一個研究嬰兒疼痛識別依賴于多個面部視角和各種個體變量的研究。Zamzmi等[20-21]采用SVM和K-近鄰分類器(k-nearest neighbor，KNN)通過估計與疼痛面部表情相對應(yīng)的光學(xué)應(yīng)變大小，從視頻序列中提取與疼痛相關(guān)的面部特征進行疼痛檢測,準(zhǔn)確率達到96%。

相較于靜態(tài)圖像，視頻序列的表情分析更能顯現(xiàn)表情的實際變化情況，可區(qū)分嬰兒疼痛與非疼痛狀態(tài)，并能對疼痛程度進行簡單分級，達到更好的分析效果，是研究嬰兒疼痛表情識別的一個新方向。但上述新生兒疼痛表情識別還未完成自動化，大多圖片需要主動輸入，攝像頭自動捕捉疼痛表情功能還不完善，未能實現(xiàn)智能終端與嬰兒的實時人機交互；且由于嬰兒群體的特殊性，在實際復(fù)雜的臨床環(huán)境中，在數(shù)據(jù)獲取及分析時需考慮嬰兒面部受到遮擋、眼睛處于閉合狀態(tài)、頭部位置不固定導(dǎo)致無法準(zhǔn)確獲取正面表情等因素的影響，如何提高識別算法的有效性和泛化能力是目前信息科學(xué)研究領(lǐng)域的重點內(nèi)容；還需進一步對疼痛程度進行細化分級，與臨床疼痛評分量表相匹配，以增加臨床實用性。

2 基于哭聲信號的嬰兒疼痛自動識別技術(shù)

啼哭是判斷嬰兒疼痛的重要指標(biāo)之一，通過語音識別技術(shù)將輸入的聲音信號轉(zhuǎn)化為其所對應(yīng)的文字或命令?，F(xiàn)已有較成熟的語音采集、信號轉(zhuǎn)換、參數(shù)提取與計算等方法，通過信號處理可將啼哭聲這一模擬信號轉(zhuǎn)換為數(shù)字信號，并對其進行適當(dāng)變換，從而分析啼哭者是否疼痛。目前，主要的研究方法是通過時域、頻域、美爾倒譜系數(shù)(mel frequency cepstrum coefficient,MFCC)分析進行嬰兒疼痛評估[22]。Vempada等[23]通過分析聲譜和韻律特征，識別嬰兒哭聲并分類，通過時域的不同區(qū)分嬰兒有無疼痛，結(jié)果發(fā)現(xiàn)疼痛時基頻、振幅均高于無痛。葛曉利[24]通過收集155例患兒手術(shù)后的啼哭數(shù)據(jù)，提取術(shù)后疼痛啼哭信號特征，構(gòu)建疼痛哭聲識別模型，成功證實嬰兒術(shù)后疼痛與非疼痛啼哭信號不同，疼痛啼哭信號具有聲音短促、規(guī)律、刺耳及基頻(F0)高等特征性改變，為嬰兒哭聲疼痛自動化識別技術(shù)的臨床應(yīng)用奠定基礎(chǔ)。Pai等[25]對嬰兒的嗚咽聲與劇烈哭泣聲進行分類，其精確度高達90%。Huang 等[26]采用模糊支持向量機技術(shù)，發(fā)現(xiàn)其性能優(yōu)于傳統(tǒng)的支持向量機，其正確分類精準(zhǔn)度可達90%，為今后在提高分類精準(zhǔn)度的研究上提供了新思路。目前，研究嬰兒啼哭信號更多采用線性預(yù)測倒譜系數(shù)(linear prediction cepstrum coefficient,LPCC)、MFCC和線性預(yù)測編碼(linear predictive coding,LPC)。Abdulaziz等[27]基于嬰兒哭聲的音頻樣本，提取MFCC和LPCC的2組特征，將其輸入到識別模塊中，系統(tǒng)精準(zhǔn)度可從57%提高到76.2%，證明MFCC特征集的嬰兒哭聲識別系統(tǒng)在識別和區(qū)分嬰兒的疼痛和非疼痛哭聲上性能更佳。目前，啼哭信號中的時域、頻域和MFCC這3類參數(shù)是嬰兒哭聲疼痛自動化識別技術(shù)對疼痛啼哭與非疼痛啼哭進行區(qū)分識別的重點。雖然，語音識別對啼哭聲音的共振峰基頻、階次具有選擇性，但對于鎮(zhèn)靜鎮(zhèn)痛或氣管插管等狀態(tài)下無法完全發(fā)聲的嬰兒有一定局限性，并且僅能簡單分類是否疼痛，無法進一步分析其疼痛程度。建議在今后的疼痛與啼哭語音識別技術(shù)研究中，可進一步探討啼哭聲與疼痛程度的關(guān)系。

3 基于生理指標(biāo)自動識別嬰兒疼痛

3.1基于腦電圖識別疼痛 腦電圖檢查(electroencephalogram,EEG)作為一種無創(chuàng)傷且安全的輔助檢查手段，可幫助檢測各種疾病，如昏迷、腦瘤、癲癇、腦震蕩及腦血栓形成等，其基本原理是將大腦自身微弱的生物電放大，并記錄為一種曲線圖，從EEG功率變化來反映一些器質(zhì)性腦損傷[28]。而研究[29]發(fā)現(xiàn)認知功能、情緒狀態(tài)的變化也可引起EEG的顯著改變，可成為反映疼痛程度、認知及情緒狀態(tài)的指標(biāo)。Hartley等[30]提出并驗證了基于腦電圖識別嬰兒急性疼痛的腦活動測量方法，嬰兒進行足跟采血的疼痛刺激與非疼痛刺激時誘發(fā)的腦電波活動差異有統(tǒng)計學(xué)意義。基于EEG評估嬰兒疼痛可幫助我們改善嬰兒疼痛評估方法，并為將來使用腦電圖進行疼痛相關(guān)研究建立光譜生物標(biāo)記物，使疼痛評估更加客觀。但由于疼痛發(fā)生具有復(fù)雜性，影響疼痛的因素很多，嬰兒不同類型的疼痛可能具有不同的特征；因此，EEG與嬰兒疼痛傳導(dǎo)機制的關(guān)系還需深入探討。

3.2自動化皮膚電數(shù)據(jù)疼痛識別 皮膚電導(dǎo)(skin conduction,SC)測量是基于交感神經(jīng)系統(tǒng)對壓力的反應(yīng)，當(dāng)疼痛產(chǎn)生時，會引起交感興奮，增加汗液分泌，SC設(shè)備可以監(jiān)測皮膚電活動的增加或減少，從而識別和評估疼痛[31]。Munsters等[32]采用SC測定胎齡為22～27周的新生兒在足跟穿刺和常規(guī)護理時的皮膚電傳導(dǎo)數(shù)據(jù)，結(jié)果發(fā)現(xiàn)足跟穿刺時皮膚導(dǎo)電增加，而常規(guī)護理時未出現(xiàn)皮膚導(dǎo)電增加跡象。Hu等[31]通過測定需要機械通氣的危重嬰兒在術(shù)中疼痛過程中的SC顯著高于術(shù)前非疼痛過程中的SC值，證明了SC在評估機械通氣嬰兒疼痛方面的有效性，且SC鑒別中重度疼痛的敏感性(92.31%)與特異性較高(95.42%)。Xu等[33]建立兒童面部活動特征和皮膚電活動融合模型進行疼痛自動化檢測，融合模型相對于單獨使用皮膚電活動或視頻序列的嬰兒疼痛識別的性能有所改進，適應(yīng)性增強，但未與金標(biāo)準(zhǔn)比較，且未講明效標(biāo)關(guān)聯(lián)效度。自動化皮膚電數(shù)據(jù)可對識別嬰兒疼痛，但目前相關(guān)研究不多，未來可在此方向繼續(xù)探討，并比較該方法與其他自動化評估方法的優(yōu)劣性，或與其他信息化評估方法相整合的評估效果。

4 多模態(tài)自動嬰兒疼痛評估

多模態(tài)自動化評估方式是指將身體行為(如面部動作、身體運動與哭泣)和生理學(xué)指標(biāo)(如動脈血氧飽和度、呼吸頻率、心率與血壓)相結(jié)合評估嬰兒疼痛。Pal等[34]將嬰兒疼痛表情圖像與哭聲融合，疼痛的識別精準(zhǔn)度為75.2%。Salekin等[35-36]使用卷積神經(jīng)網(wǎng)絡(luò)整合面部表情和身體運動2個疼痛指標(biāo)，平均精準(zhǔn)度達91.41%，且多模態(tài)通道評估疼痛更具有效率性和優(yōu)越性，隨后又采用空間-時間深度學(xué)習(xí)法對嬰兒術(shù)后疼痛進行評估，整合視覺和局部生理信號，疼痛評估準(zhǔn)確度達到79%，比單一指標(biāo)評估方法平均高出6.67%和6.33%，并建立了58例多模態(tài)新生兒疼痛數(shù)據(jù)集。Vaart等[37]采用整合面部表情、反射、生理指標(biāo)、大腦活動的多模態(tài)疼痛評估對嬰兒受到傷害性刺激和非傷害性刺激進行區(qū)分，對傷害性和非傷害性刺激的識別準(zhǔn)確度達81%，具有良好的辨別能力，證明了在臨床上利用多模態(tài)評估方法對嬰兒進行疼痛評估的有效性。雖然，目前研究在多模態(tài)自動嬰兒疼痛評估方面已經(jīng)取得了較大進展，但今后隨著算法改進，還可融入更多其他指標(biāo)，如將面部表情、哭聲和身體動作相結(jié)合自動檢測嬰兒疼痛，并建立多模態(tài)疼痛評估系統(tǒng)，使嬰兒疼痛自動識別技術(shù)更加完善，評估結(jié)果更準(zhǔn)確。多模態(tài)自動化嬰兒疼痛評估可能將成為今后嬰兒疼痛自動評估系統(tǒng)的研發(fā)與應(yīng)用的一大趨勢。

綜上所述，雖然信息化嬰兒疼痛評估系統(tǒng)研發(fā)已取得一系列的研究進展，但還未完全實現(xiàn)自動化，未能實現(xiàn)智能終端與嬰兒實時人機交互，系統(tǒng)研發(fā)與臨床應(yīng)用脫節(jié)，應(yīng)用研究還處于初始階段。建議今后的系統(tǒng)研發(fā)應(yīng)增加實時性和可互動性，并與醫(yī)院的護理決策支持系統(tǒng)、醫(yī)院信息系統(tǒng)相結(jié)合，實現(xiàn)嬰兒疼痛評估、預(yù)防、干預(yù)及干預(yù)效果動態(tài)評價相結(jié)合的全流程智能化閉環(huán)管理系統(tǒng)，提高臨床適用性和實用性，提高醫(yī)療護理效率，降低護士工作量。此外，臨床醫(yī)護人員應(yīng)加強信息化嬰兒疼痛評估技術(shù)的了解，主動融入到自動化嬰兒疼痛評估系統(tǒng)的研發(fā)和應(yīng)用工作中，通過不斷改進與完善，構(gòu)建一個簡單、及時且客觀的自動化疼痛評估系統(tǒng)。