結(jié)合面部紋理和光流特征的面癱分級綜合評估方法

謝 飛,沈夢夢,郭新明,萬兆新,王 慧

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2.咸陽師范學(xué)院 計(jì)算機(jī)學(xué)院,陜西 咸陽 712000;3.陜西省中醫(yī)醫(yī)院,陜西 西安 719000)

面癱是一種以面部表情肌群運(yùn)動功能障礙為主要特征的一種疾病,是一種常見病、多發(fā)病,且不受年齡限制。面癱主要是由于面部神經(jīng)受損引發(fā)的,大多數(shù)是單側(cè)性面癱,主要表現(xiàn)在口眼歪斜,無法完成抬眉、閉眼、鼓腮等面部基本動作。面部運(yùn)動時，左右兩側(cè)特征差異較為明顯。目前,面癱病癥的診斷主要依靠醫(yī)生“望聞問切”的診斷方法來對病人的病情進(jìn)行診斷,并評估面癱病癥的嚴(yán)重程度。但是，由于現(xiàn)有醫(yī)療條件不完善和相關(guān)?？漆t(yī)生短缺,以及診斷醫(yī)生自身醫(yī)療經(jīng)驗(yàn)受限等原因,導(dǎo)致面癱病癥不能準(zhǔn)確地診斷和很好地治療;此外,面癱患者初期難以發(fā)現(xiàn)面部的細(xì)微變化,導(dǎo)致很多早期患者難以得到及時的治療,病情進(jìn)一步加重。

隨著計(jì)算機(jī)視覺技術(shù)在人臉面部特征提取與識別等方面的廣泛應(yīng)用,越來越多的學(xué)者開始關(guān)注基于面癱患者面部的圖像和視頻數(shù)據(jù),利用機(jī)器學(xué)習(xí)方法進(jìn)行面癱分級評估的研究。例如:王倩倩等人提出基于AAM關(guān)鍵點(diǎn)定位的面部神經(jīng)運(yùn)動功能評價方法[1];Wachtman等人利用手工在人臉上標(biāo)定3個特征點(diǎn)把人臉分成左右兩部分,然后，根據(jù)左右部分的不對稱性程度來判斷面癱[2];而Modersohn等人為提取具有緊湊區(qū)分性的面部特征,提出改進(jìn)AAM模型來解決輕度面癱患者病情的識別與分析問題[3]。但是，這些方法主要關(guān)注面癱識別,沒有一套較為完整的病情分級評估方法,導(dǎo)致臨床應(yīng)用價值受限。后期才逐步開展關(guān)于面癱分級評估方面的研究，并取得了相應(yīng)的研究成果。例如:He等人提出基于光流法的面癱嚴(yán)重程度的評估方法[4-5]。Barbosa等人利用混合分類模型檢測人臉關(guān)鍵點(diǎn),并追蹤面部關(guān)鍵點(diǎn)的運(yùn)動變化,進(jìn)而提出一種基于面部不對稱和面部動態(tài)變化的面癱自動評估方法[6]。2014年董軍宇等人提出基于AAM和人臉面部LBP差異特征的面癱分級評估方法[7]。王紹宇等人提出了基于ASM和光流特征的面癱分級評估方法,該方法依據(jù)不同表情的面部區(qū)域運(yùn)動特點(diǎn),利用光流空間特征進(jìn)行面癱嚴(yán)重度的評估[8]。

基于計(jì)算機(jī)視覺技術(shù)的面癱識別及等級評估方法的基本原理主要是依據(jù)人臉面部的左右對稱性特點(diǎn),但是，目前面癱分級評估方法還存在一些問題,主要表現(xiàn)在:① 傳統(tǒng)的面癱分級評估方法只利用單一的人臉紋理或形狀特征,而沒有能夠?qū)⒍喾N類型的特征進(jìn)行融合,以實(shí)現(xiàn)更為準(zhǔn)確的面癱分級評估。② 傳統(tǒng)的利用深度學(xué)習(xí)進(jìn)行面癱分級評估的方法只針對視頻中的單幀進(jìn)行特征提取,而沒有考慮面部運(yùn)動時的變化特征。

針對這些問題,本文基于面癱患者不同面部表情的圖像和視頻數(shù)據(jù),提出結(jié)合面部紋理和光流特征差異的面癱分級綜合評估方法。該方法針對不同的面部表情,關(guān)注相對應(yīng)的面部區(qū)域。一方面,基于面癱患者在進(jìn)行面癱診斷時的表情,提取左右臉差異特征,并利用SVM[9]進(jìn)行面癱分級評估；另一方面,相對于靜態(tài)圖像數(shù)據(jù),視頻數(shù)據(jù)能夠更好地反映面部運(yùn)動的時序變化特征,有利于提高面癱分級評估的準(zhǔn)確性[10-11]。而光流法在視頻數(shù)據(jù)分析中不僅能夠提供運(yùn)動目標(biāo)的外形輪廓和具體位置信息,同時還能夠提供目標(biāo)的運(yùn)動矢量信息,以準(zhǔn)確得到圖像序列中目標(biāo)的運(yùn)動參數(shù)。因此,本文利用面部運(yùn)動的光流信息,依據(jù)面部運(yùn)動的對稱性計(jì)算面部運(yùn)動的光流差異特征,并將其作為LSTM[12-13]的輸入,以進(jìn)行面癱等級評估。最后，綜合基于面部圖像多特征結(jié)合的評估結(jié)果和基于面部運(yùn)動的光流差異特征的評估結(jié)果,以更準(zhǔn)確地完成面癱分級的綜合評估任務(wù)。以閉眼的面部動作為例,本文提出的面癱分級評估方法的整體框架如圖1所示。

1 面癱圖像和視頻的預(yù)處理

疑似面癱患者在診斷的過程中,醫(yī)生要求患者從中性狀態(tài)開始做一些特定的面部表情動作,面部狀態(tài)由中性逐漸轉(zhuǎn)換到面部運(yùn)動的最大狀態(tài),每個動作大約持續(xù)3s。每位就診人員要求做3～4次相同的面部表情動作。那么,我們可以利用相機(jī)拍攝面癱患者在其面部表情最大幅度時的面部圖像以及整個面部表情過程的視頻數(shù)據(jù)。然后,針對這些圖像和視頻數(shù)據(jù)進(jìn)行預(yù)處理,主要包括面部動作子視頻劃分和人臉區(qū)域定位。

面部動作子視頻劃分是按照患者進(jìn)行的面部動作，將含有患者診斷過程中所有面部動作的整個視頻劃分為若干單個動作單次完成的子視頻,以體現(xiàn)面癱患者在做單一面部診斷動作時面部的動態(tài)變化特征[14]。圖2是面癱患者做一次閉眼動作子視頻中所截取的4幀。

圖1 本文方法框架圖Fig.1 The framework of the proposed method

圖2 單次閉眼動作視頻幀F(xiàn)ig.2 Four frames from the video of closing eyes

面癱分級評估主要關(guān)注面部運(yùn)動變化的特征,而并不關(guān)注背景因素和患者的其他身體部分,因此,可利用Faster RCNN對所有采用自由錄制方式獲得的視頻數(shù)據(jù)進(jìn)行人臉檢測,并對檢測得到的人臉區(qū)域統(tǒng)一到相同的尺寸。圖3為視頻幀中人臉檢測以及尺寸歸一化的結(jié)果圖像。

圖3 人臉面部圖像尺寸歸一化后結(jié)果圖Fig.3 The detected faces and their normalized result images

2 結(jié)合面部紋理特征和光流差異特征的面癱分級綜合評估

針對預(yù)處理后的圖像和視頻數(shù)據(jù),需進(jìn)一步提取人臉圖像的紋理特征和視頻數(shù)據(jù)中面部的運(yùn)動特征,并依據(jù)人臉的對稱性特點(diǎn),計(jì)算患者面部的紋理差異特征以及運(yùn)動差異特征,最后利用相應(yīng)的分類器對面癱患者的病情進(jìn)行分級評估。由于不同的面部動作會影響面部不同區(qū)域,如閉眼動作主要影響眉毛區(qū)域和眼睛區(qū)域,示齒主要影響嘴巴和臉頰區(qū)域,聳鼻主要影響眼睛和鼻子部分等。為能夠更好地計(jì)算人臉不同區(qū)域的特征信息以及人臉兩側(cè)對應(yīng)區(qū)域的差異特征信息,可首先利用人臉關(guān)鍵點(diǎn)對人臉的關(guān)鍵區(qū)域進(jìn)行劃分。

2.1 基于人臉關(guān)鍵點(diǎn)的面部對稱區(qū)域劃分

主動外觀模型(AAM)是一種特征點(diǎn)提取方法,已在人臉關(guān)鍵點(diǎn)檢測和特征提取領(lǐng)域廣泛應(yīng)用。利用AAM模型可以較為準(zhǔn)確地獲得人臉五官和輪廓的各個特征點(diǎn)的精確位置，圖4是利用AAM進(jìn)行人臉72個關(guān)鍵點(diǎn)檢測的結(jié)果圖。

圖4 人臉關(guān)鍵點(diǎn)Fig.4 The detected key points of the face

基于人臉關(guān)鍵點(diǎn)可以對人臉不同的器官或人臉區(qū)域進(jìn)行劃分。而面部運(yùn)動則會引起多數(shù)關(guān)鍵點(diǎn)發(fā)生位置變化,導(dǎo)致面部對稱線難以準(zhǔn)確確定。但眼角和鼻梁兩側(cè)存在4個位置幾乎保持不變的關(guān)鍵點(diǎn)。因此,選取此4個關(guān)鍵點(diǎn)把人臉分成左右對稱的兩部分。然后,根據(jù)其他關(guān)鍵點(diǎn)的位置分布,將面部分為10個區(qū)域，如圖5所示，包括:左、右眉毛區(qū)域;左、右眼睛區(qū)域;左、右臉頰區(qū)域;左、右鼻子區(qū)域;左、右嘴巴區(qū)域。

圖5 人臉區(qū)域劃分Fig.5 Facial area separation

2.2 基于面癱圖像紋理特征差異的面癱分級評估

首先，在人臉區(qū)域劃分的基礎(chǔ)上,分別提取人臉不同區(qū)域的紋理特征,包括LBP特征和Gabor特征。然后,依據(jù)人臉的對稱性特點(diǎn),分別計(jì)算人臉對稱區(qū)域之間的特征差異。最后，基于特征差異,利用SVM進(jìn)行面癱分級評估。

LBP[15]是一種有效的局部紋理描述算子,它可以對灰度圖像中局部鄰域的紋理信息進(jìn)行度量和提取。本文在大小為3×3的LBP算子中，通過以中心像素點(diǎn)的灰度值為閾值來提取面部區(qū)域的LBP特征,計(jì)算公式為

(1)

(2)

其中，LBP(P,R)=LBP(8,1),P=8是指中心點(diǎn)像素周圍的8個近鄰像素點(diǎn),R=1是指中心點(diǎn)像素到8個鄰近像素點(diǎn)的距離。gc表示中心點(diǎn)像素,gn(n=0, 1, 2, …,7)是中心點(diǎn)像素的鄰近點(diǎn)。當(dāng)gn大于gc時,臨近點(diǎn)的二進(jìn)制表示為1;反之為0。圖6為對左、右眼提取LBP特征的直方圖。

(a)右眼 (b)左眼圖6 左、右眼LBP特征的直方圖Fig.6 Histogram of LBP features of the left and right eyes

Gabor小波[16]能在一定意義上反映圖像在不同方向和尺度下的紋理信息,能夠有效降低光照、噪音對圖像特征提取的影響,可以增強(qiáng)圖像的邊緣特征;同時在圖像有一定程度的旋轉(zhuǎn)和形變時仍然保持著很好的分辨效果。因此,本文提取人臉區(qū)域的Gabor特征,并與LBP特征進(jìn)行級聯(lián)融合,以更全面描述人臉區(qū)域的紋理特征信息。本文針對面癱圖像,在3個尺度、4個方向提取Gabor特征。圖7是對左、右眼區(qū)域提取Gabor特征的特征圖。

圖7 Gabor特征圖Fig.7 The feature maps of Gabor

基于面癱圖像的面癱分級評估主要依據(jù)面部的不對稱性,即可對比分析人臉左、右兩側(cè)對應(yīng)區(qū)域的紋理特征之間的差異程度。由于面癱診斷時,要求患者做不同的面部表情動作,并且針對不同的面部表情動作關(guān)注面部不同的區(qū)域。因此,可針對不同的面部動作提取相關(guān)面部區(qū)域的LBP特征和Gabor特征,并計(jì)算人臉兩側(cè)對應(yīng)區(qū)域的不同特征的差異，

DF=FL-FR。

(3)

FL和FR表示分別在人臉左、右側(cè)部分提取的特征信息,DF表示特征差異信息。那么針對LBP特征和Gabor特征,則有

DP=PL-PR，

(4)

DG=GL-GR。

(5)

然后,對紋理特征差異DP和DG進(jìn)行歸一化,獲得級聯(lián)的特征差異向量。最后,利用主成分分析(PCA)對向量進(jìn)行降維處理,將降維后的向量作為SVM的輸入,以進(jìn)行面癱分級評估。

2.3 基于面癱視頻數(shù)據(jù)的光流特征差異的面癱分級評估

相對于靜態(tài)圖像,視頻能夠記錄目標(biāo)運(yùn)動的動態(tài)變化信息。因此,面癱患者進(jìn)行面部診斷動作時的視頻數(shù)據(jù)能夠反映面部運(yùn)動變化信息。而在運(yùn)動目標(biāo)的動態(tài)特征提取方面,光流[17-18]技術(shù)得到廣泛的應(yīng)用,并取得良好的效果。

針對基于視頻數(shù)據(jù)的面癱分級評估問題,本文利用光流法提取面部運(yùn)動的光流信息,并計(jì)算面部運(yùn)動過程中,人臉左右兩側(cè)對應(yīng)區(qū)域的光流特征之間的差異性,最后,依據(jù)光流的差異性特征,利用LSTM實(shí)現(xiàn)面癱分級評估。

光流信息的計(jì)算方法是假設(shè)在時間t視頻幀中有坐標(biāo)為(x,y)的像素點(diǎn),其灰度為I(x,y,t),經(jīng)過時間Δt后,該像素點(diǎn)運(yùn)動到位置(x+Δx,y+Δy)處，其灰度為I(x+Δx,y+Δy,t+Δt)。由于是兩個不同時刻的同一個點(diǎn),因此,根據(jù)灰度守恒假設(shè)，有

I(x,y,t)=I(x+Δx,y+Δy,t+Δt)。

(6)

將式(6)的右邊在(x,y,t)點(diǎn)用泰勒公式展開,經(jīng)化簡和略去二次項(xiàng)后,得到光流場的基本方程

(7)

本文利用上述光流計(jì)算方法來計(jì)算面癱視頻中各相鄰幀之間的光流信息。圖8為閉眼動作的面癱視頻中4幀區(qū)域圖及其相應(yīng)的光流信息,圖8(a)和8(b)是右眼的序列視頻幀及其光流圖;圖8(c)和8(d)分別是左眼的序列視頻幀及其光流圖。

圖8 閉眼視頻片段光流圖Fig.8 The optical flow maps of the videos for closing eyes

基于計(jì)算得出的人臉不同區(qū)域的光流信息,針對不同的面部動作,需對比分析人臉左右兩側(cè)相關(guān)區(qū)域的光流差異特征。光流差公式為

DW=WL-WR。

(8)

基于視頻數(shù)據(jù)的光流信息能夠更好地反映面部相關(guān)區(qū)域的運(yùn)動特征。例如:閉眼動作主要影響眼睛和眉毛區(qū)域,通過光流法得到左眼和右眼的光流信息,然后比較左眼和右眼的光流信息得到光流差異信息,圖9即為左眼和右眼光流差異圖,可見光流能夠較為準(zhǔn)確地反應(yīng)面部動作的運(yùn)動特征。

圖9 眼部光流差異圖Fig.9 The differentiated maps of the optical flow of the eyes

然后,將獲取到的不同區(qū)域的光流差異信息作為LSTM的輸入,建立整個視頻中光流信息之間的關(guān)聯(lián),實(shí)現(xiàn)基于視頻數(shù)據(jù)的面癱分級評估。

2.4 面癱分級綜合評估

針對不同的面癱診斷動作(包括:微笑,抬眉,皺眉,閉眼,聳鼻,示齒和鼓腮7種面部動作)的圖像和視頻數(shù)據(jù),一方面,通過提取面癱圖像中相關(guān)區(qū)域的紋理特征,對比分析人臉左右兩側(cè)相應(yīng)區(qū)域的特征差異,進(jìn)而得到基于圖像數(shù)據(jù)的面癱分級評估結(jié)果;另一方面,通過提取面癱視頻數(shù)據(jù)中相關(guān)區(qū)域的光流信息,并對比分析人臉左右兩側(cè)相關(guān)區(qū)域光流差異特征,進(jìn)而得到基于視頻數(shù)據(jù)的面癱分級評估結(jié)果。最后,針對不同的面癱診斷動作,綜合基于圖像和視頻數(shù)據(jù)的兩種分級評估結(jié)果以得到最終的面癱分級評估結(jié)果。

Q=αQI,A+βQV,A。

(9)

其中,Q表示面癱最終分級評估結(jié)果,QI,A和QV,A分別表示基于圖像數(shù)據(jù)I和視頻數(shù)據(jù)V的針對相應(yīng)面部動作A的面癱分級評估結(jié)果,而α,β表示權(quán)值參數(shù)。

3 實(shí)驗(yàn)與分析

對于面癱分級評估的相關(guān)研究,由于涉及到患者的個人隱私,目前還沒有公開的數(shù)據(jù)集。為驗(yàn)證提出方法的有效性,與陜西省中醫(yī)醫(yī)院合作,制定了一套較為完整的數(shù)據(jù)采集規(guī)范,采集真實(shí)面癱患者的診斷圖像和視頻數(shù)據(jù)。目前為止,已經(jīng)收集到面癱患者83例,患者數(shù)據(jù)包含83×7余幅面部圖像(每位患者進(jìn)行7個面部動作的圖像數(shù)據(jù))和83×7×3段視頻數(shù)據(jù)(每位患者進(jìn)行7個面部動作,每個動作分別進(jìn)行3次)。此外,由3位專科醫(yī)生對收集到的數(shù)據(jù)進(jìn)行明確標(biāo)注,并由資質(zhì)醫(yī)生對標(biāo)注進(jìn)行最終審核確認(rèn)。面癱圖像和視頻的分級標(biāo)注主要分為4個標(biāo)準(zhǔn):0代表正常(非面癱),1代表輕度面癱,2代表中度面癱,3代表重度面癱。

此外,本文選用幾種現(xiàn)有的面癱評估方法作為對比試驗(yàn)方法,以驗(yàn)證本文提出方法的優(yōu)越性,主要包括文獻(xiàn)[15-16] 中的方法。針對不同面癱動作的所有圖像和視頻數(shù)據(jù),都分別使用70%的圖像或視頻作為訓(xùn)練數(shù)據(jù),剩余30%的數(shù)據(jù)作為測試數(shù)據(jù)。針對不同面部動作使用不同方法進(jìn)行面癱分級評估的結(jié)果如表1所示,實(shí)驗(yàn)數(shù)據(jù)對應(yīng)的曲線如圖10所示。

表1 不同面癱分級評估方法的準(zhǔn)確率Tab.1 The accuracy of different evaluation methods of facial paralysis %

圖10 不同面癱分級評估方法結(jié)果曲線圖Fig.10 The curves of the accuracy of different methods for evaluating facial paralysis

通過對實(shí)驗(yàn)數(shù)據(jù)的分析可以看出:傳統(tǒng)的基于靜態(tài)面部圖像,依據(jù)面部紋理特征的不對稱性進(jìn)行面癱評估的方法,其評估準(zhǔn)確率難以達(dá)到令人滿意的效果。此類方法對7種面部動作的面癱分級評估準(zhǔn)確率均在80%以下。相對于圖像數(shù)據(jù),利用視頻數(shù)據(jù),依據(jù)面部運(yùn)動的光流差異特征進(jìn)行面癱分級評估的準(zhǔn)確性得到大幅度提高。相對于文獻(xiàn)[16] 的方法,7個面部動作評估的平均準(zhǔn)確率提高了18.9%;而相對于文獻(xiàn)[15] 的方法,評估的平均準(zhǔn)確率提高了17.5%。主要原因在于視頻數(shù)據(jù)中不僅具有靜態(tài)圖像的面部不對稱性特征,同時也包含面部運(yùn)動時更為豐富的動態(tài)變化特征。而本文方法則將基于靜態(tài)面部圖像的評估結(jié)果與基于視頻的評估結(jié)果結(jié)合起來，實(shí)現(xiàn)面癱分級的綜合評估,進(jìn)一步提高面癱分級評估的準(zhǔn)確性,平均準(zhǔn)確率相對于僅使用視頻數(shù)據(jù)的評估結(jié)果提高了0.69%。從圖10可以看出，本文提出方法的面癱評估準(zhǔn)確率總體上都優(yōu)于其他方法,尤其相對傳統(tǒng)的基于面部圖像的評估方法,優(yōu)勢更為明顯。

4 結(jié) 論

針對面癱分級評估問題,本文提出了一種面癱分級綜合評估方法,該方法將基于靜態(tài)面癱圖像的分級評估結(jié)果和基于視頻數(shù)據(jù)的分級評估結(jié)果相結(jié)合，以完成面癱分級的綜合評估,不再僅考慮整體面部圖像左、右側(cè)之間的差異,而是對面部不同局部區(qū)域的靜態(tài)特征和動態(tài)特征進(jìn)行對比分析,以提取面部運(yùn)動時的靜態(tài)差異特征和動態(tài)變化特征,從多方面綜合評估面癱的嚴(yán)重程度。實(shí)驗(yàn)表明,相對傳統(tǒng)面癱分級評估方法,本文提出方法性能更具有優(yōu)勢。但是，其中也存在一些問題有待進(jìn)一步解決。例如：面癱患者用較小的力氣和使用較大力氣完成相關(guān)面部動所提取的面部特征具有一定程度的差異,會影響面癱分級評估的準(zhǔn)確性。為解決這一問題,在數(shù)據(jù)采集時,可以請患者盡量使用不同力度來完成相關(guān)面部動作,以使得實(shí)驗(yàn)數(shù)據(jù)具有多樣性。