基于CLNF 與BN 模型的疼痛表情識(shí)別方法

郭文強(qiáng)，李夢(mèng)然，侯勇嚴(yán)，肖秦琨

（1.陜西科技大學(xué)電子信息與人工智能學(xué)院，西安 710021；2.陜西科技大學(xué)電氣與控制工程學(xué)院，西安 710021；3.西安工業(yè)大學(xué)電子信息工程學(xué)院，西安 710021）

0 概述

隨著人工智能技術(shù)的快速發(fā)展，智能化系統(tǒng)對(duì)人臉特征識(shí)別的性能要求日益提高。人臉面部表情在日常生活交流中扮演重要的角色［1-2］，是人們?cè)谟梅钦Z(yǔ)言形式交流時(shí)傳遞情感信息和表達(dá)情緒的有效方式，蘊(yùn)含豐富的情感資源。在早期人類(lèi)面部表情研究中，文獻(xiàn)［3］通過(guò)對(duì)面部肌肉運(yùn)動(dòng)與人類(lèi)表情的關(guān)系進(jìn)行研究，提出面部動(dòng)作編碼系統(tǒng)FACS，并根據(jù)不同的動(dòng)作單元組合定義出開(kāi)心、悲傷、生氣、厭惡、恐懼和驚訝6 種人類(lèi)的基本表情［4］。后期的人類(lèi)表情識(shí)別研究均是在6 種基本表情基礎(chǔ)上進(jìn)行的［5-6］，但這些基本表情僅是最基本的面部表現(xiàn)方式，不能涵蓋人類(lèi)所有的心理和情感。如疼痛雖然不屬于上述6 種基本的面部表現(xiàn)方式，但它也是人類(lèi)表情的一種［7］。因此，利用人類(lèi)面部肌肉運(yùn)動(dòng)信息進(jìn)行疼痛識(shí)別是一種可行方案。

疼痛表情識(shí)別技術(shù)對(duì)于無(wú)法通過(guò)自然語(yǔ)言表達(dá)疼痛狀態(tài)的特殊人群（如嬰幼兒患者、癡呆病患與重癥病人）的診療和護(hù)理具有重要的臨床意義，該技術(shù)在醫(yī)療領(lǐng)域［8-10］中具有廣闊的應(yīng)用前景，已經(jīng)逐漸成為研究的熱點(diǎn)。文獻(xiàn)［11］提出一種基于概率潛在語(yǔ)義分析（Probabilistic Latent Semantic Analysis，PLSA）模型的疼痛表情識(shí)別方法。該方法采用光流技術(shù)提取疼痛表情特征，利用詞包模型將面部運(yùn)動(dòng)信息轉(zhuǎn)換為視覺(jué)文字來(lái)表示疼痛表情，但是將PLSA 模型用于表情識(shí)別時(shí)，樣本數(shù)據(jù)的增加使得模型中的參數(shù)也呈線性增長(zhǎng)，導(dǎo)致容易出現(xiàn)模型的過(guò)擬合問(wèn)題。文獻(xiàn)［12］提出一種基于監(jiān)督型局部保留映射（Supervised Local Preserving Mapping，SLPP）和多核支持向量機(jī)（Multiple Kernels Support Vector Machines，MKSVM）的疼痛表情識(shí)別方法，采用SLPP 算法提取疼痛表情特征，并利用MKSVM 識(shí)別痛覺(jué)表情。文獻(xiàn)［13］利用主動(dòng)外觀模型（Active Appearance Model，AAM）提取形狀和外觀特征，再用SVM 識(shí)別疼痛表情。文獻(xiàn)［14］在紋理描述子LBP 的基礎(chǔ)上，使用其變體新紋理描述符細(xì)長(zhǎng)二元模式提取痛苦特征，并采用SVM 對(duì)痛苦表情進(jìn)行識(shí)別。上述方法都使用SVM 對(duì)表情進(jìn)行識(shí)別，但SVM 通常用于二值分類(lèi)問(wèn)題，當(dāng)用于表情多分類(lèi)問(wèn)題時(shí)，存在不能有效識(shí)別表情多樣性的局限性。文獻(xiàn)［15］提出一種基于局部二值體（Local Binary Volume，LBV）三維卷積層的卷積神經(jīng)網(wǎng)絡(luò)，將其用于時(shí)間圖像序列的面部表情識(shí)別。雖然LBV 三維卷積層的訓(xùn)練參數(shù)數(shù)量和傳統(tǒng)三維卷積層相比較少，但是該方法僅直接在圖像序列上執(zhí)行表情識(shí)別，并未提取人臉面部特征，導(dǎo)致疼痛識(shí)別的準(zhǔn)確率降低。貝葉斯網(wǎng)絡(luò)（Bayesian Network，BN）利用概率圖模型的方式能夠清楚地表達(dá)分析對(duì)象的結(jié)構(gòu)和機(jī)理關(guān)系，使得問(wèn)題得以簡(jiǎn)化，具有一定的直觀性和靈活性［16］，這說(shuō)明BN 在描述和推理不確定性問(wèn)題上具有一定的優(yōu)勢(shì)。針對(duì)表情識(shí)別模型建模精度較低以及表情狀態(tài)的不確定性問(wèn)題，采用BN 進(jìn)行表情分類(lèi)是有效的途徑之一。

本文提出一種融合約束局部神經(jīng)域（Constrained Local Neural Field，CLNF）模型和BN 模型的疼痛表情識(shí)別方法。利用CLNF 模型對(duì)疼痛表情圖像進(jìn)行面部特征點(diǎn)定位，得到攜帶疼痛信息的面部活動(dòng)單元（Action Unit，AU），對(duì)相關(guān)AU 加標(biāo)簽處理得到樣品數(shù)據(jù)集。通過(guò)對(duì)AU 標(biāo)簽數(shù)據(jù)樣本以及約束擴(kuò)展參數(shù)集進(jìn)行變權(quán)重融合，訓(xùn)練得到BN 模型，再使用聯(lián)合樹(shù)推理算法進(jìn)行推理，從而實(shí)現(xiàn)疼痛表情的有效識(shí)別。

1 基于CLNF 模型的疼痛表情特征提取

在構(gòu)建表情識(shí)別模型過(guò)程中，先對(duì)獲取的疼痛表情幀圖像進(jìn)行預(yù)處理，再進(jìn)行表情特征提取。即對(duì)提取出感興趣的面部表情區(qū)域圖像去除冗余信息，利用CLNF 模型對(duì)圖像進(jìn)行特征點(diǎn)定位。

1.1 人臉檢測(cè)

為提高表情的識(shí)別效果，采用V-J（Viola-Jones）算法對(duì)圖像進(jìn)行人臉檢測(cè)。利用Harr-like 特征表示人臉的共同特性，然后在積分圖思想的基礎(chǔ)上建立一種稱為積分圖像的特征，通過(guò)快速計(jì)算獲取幾種不同的矩形特征。利用AdaBoost 算法對(duì)矩形特征進(jìn)行選取，選出人類(lèi)面部最具有代表性的特征，接著進(jìn)行弱分類(lèi)器的訓(xùn)練，并計(jì)算相應(yīng)的權(quán)重，通過(guò)不斷更新訓(xùn)練進(jìn)行迭代，將弱分類(lèi)器按照加權(quán)表決的方式進(jìn)行組合后得到一個(gè)強(qiáng)分類(lèi)器。接下來(lái)對(duì)數(shù)個(gè)強(qiáng)分類(lèi)器進(jìn)行串聯(lián)，建立一個(gè)具有級(jí)聯(lián)結(jié)構(gòu)的層級(jí)分類(lèi)器。

在對(duì)疼痛表情圖像進(jìn)行預(yù)處理時(shí)，可裁剪出感興趣的面部區(qū)域，也能去除額外的背景信息。人臉疼痛表情檢測(cè)流程如圖1 所示，圖中的表情幀圖像來(lái)源于UNBC-McMaster Shoulder Pain 數(shù)據(jù)庫(kù)［17］。

圖1 人臉疼痛表情檢測(cè)流程Fig.1 Procedure of face pain expression detection

1.2 特征提取

1.2.1 CLNF 模型

CLNF 模型是在約束局部模型（Constrained Local Model，CLM）基礎(chǔ)上進(jìn)行改進(jìn)得到的，兩者均使用相同的框架［18］。該模型通過(guò)對(duì)人臉的位置進(jìn)行初始化，獲取每張圖像人臉的特征點(diǎn)，將特征點(diǎn)在其鄰域位置內(nèi)進(jìn)行搜索匹配，實(shí)現(xiàn)人臉面部特征點(diǎn)的檢測(cè)。檢測(cè)過(guò)程主要包括模型構(gòu)建和點(diǎn)擬合2 個(gè)階段。模型構(gòu)建階段又可分為點(diǎn)分布模型（Point Distribution Model，PDM）構(gòu)建和Patch 模型構(gòu)建這2 個(gè)構(gòu)建步驟。PDM 構(gòu)建是基于非剛性形狀和剛性全局變換參數(shù)對(duì)人臉特征點(diǎn)進(jìn)行定位，而Patch 模型構(gòu)建則是對(duì)人臉上每一個(gè)特征點(diǎn)周?chē)膱D像塊區(qū)域進(jìn)行建模。

1）PDM 模型構(gòu)建。在對(duì)PDM 模型進(jìn)行構(gòu)建時(shí)，其形狀模型函數(shù)可用式（1）表示：

假設(shè)有m張圖像，每張圖像有n個(gè)特征點(diǎn)，每個(gè)特征點(diǎn)的坐標(biāo)假設(shè)為(xi，yi)，每張圖像上的n個(gè)特征點(diǎn)坐標(biāo)組成的向量用x=[x1y1x2y2…xn yn]T表示，則所有圖像的人臉表情平均值可用式（2）進(jìn)行求解。

采用主成分分析（Principal Component Analysis，PCA）方法對(duì)X與X，進(jìn)行分析，獲取形狀變化的決定性成分，即特征向量Φj及對(duì)應(yīng)的特征值λj。將特征值按大小順序進(jìn)行排序，選取其中最大的q個(gè)特征值，將其對(duì)應(yīng)的特征向量按照列排放方式進(jìn)行組合，得到的矩陣Φ作為所有樣本變換的基，其可對(duì)每個(gè)樣本的任意變換進(jìn)行表述。

m維權(quán)重向量B決定圖像中哪些特征點(diǎn)起關(guān)鍵作用，具體可通過(guò)式（4）得出：

因此，點(diǎn)分布模型可用式（5）表示：

其中：s、R、h分別用來(lái)表示縮放量、旋轉(zhuǎn)矩陣和平移量，旋轉(zhuǎn)矩陣R由旋轉(zhuǎn)參數(shù)w控制表示人臉表情圖像的平均值，Φi為形狀變化主成分矩陣，B為對(duì)應(yīng)的權(quán)重向量，其主要針對(duì)非剛性形狀參數(shù)而變化。整個(gè)點(diǎn)分布模型的形狀可用P=｛s，w，h，B｝描述。

2）Patch 模型構(gòu)建。在PDM 模型構(gòu)建完成后，可以對(duì)檢測(cè)到的人臉圖像進(jìn)行初始化，得到人臉形狀模型。接下來(lái)讓每個(gè)點(diǎn)在其周?chē)泥徲蚍秶鷥?nèi)進(jìn)行最佳匹配特征點(diǎn)搜尋，對(duì)候選匹配點(diǎn)鄰域位置內(nèi)的圖像塊實(shí)現(xiàn)Patch 建模。CLNF 模型包括一個(gè)基于局部神經(jīng)域（Local Neural Field，LNF）［19］的新型Patch 模型。LNF 是一種無(wú)向圖模型，表示輸入（感興趣區(qū)域中的像素強(qiáng)度值）和輸出結(jié)果（Patch 排列概率）間的復(fù)雜非線性關(guān)系。圖2 表示LNF 的結(jié)構(gòu)模型圖，圖中的實(shí)線表示頂點(diǎn)特征，用fk表示。虛線表示邊緣特征，用gk與lk分別表示相似性和稀疏度。從輸入向量xi到相關(guān)輸出向量yi，中間通過(guò)頂點(diǎn)特征fk和神經(jīng)層相連接。LNF 的新型Patch 模型通過(guò)學(xué)習(xí)輸出向量的邊緣特征情況進(jìn)而獲取輸入像素（相鄰和較遠(yuǎn)距離）間的關(guān)系。

圖2 LNF 結(jié)構(gòu)模型Fig.2 LNF structure model

LNF 根據(jù)連續(xù)輸入向量x對(duì)連續(xù)輸出向量y的條件概率進(jìn)行建模，模型滿足條件概率分布［19］，具體如下式所示：

其中：X={x1，x2，…，xn}表示一組輸入變量，xi∈?m表示Patch 模型感興趣區(qū)域內(nèi)的矢量化像素強(qiáng)度；Y={y1，y2，…，yn}表示一組輸出變量，yi∈?，n表示Patch 模型可能區(qū)域的估計(jì)量；是一個(gè)歸一化函數(shù)，Ψ為勢(shì)函數(shù)。

在勢(shì)函數(shù)Ψ的表達(dá)式（7）中，fk為頂點(diǎn)特征，其表示輸入xi通過(guò)單神經(jīng)網(wǎng)絡(luò)層到輸出yi的映射關(guān)系；θk表示第k個(gè)神經(jīng)元的權(quán)重；fk對(duì)應(yīng)的αk表示神經(jīng)元k的可靠度；邊緣特征gk用來(lái)表示輸出yi和yj（直線關(guān)系情況）之間的相似性，邊緣特征lk可用來(lái)表示輸出yi和yj（距離較遠(yuǎn)關(guān)系情況）之間的稀疏約束，βk和γk的含義為邊緣特征關(guān)系對(duì)應(yīng)的可靠度。對(duì)這些不同可靠度的響應(yīng)進(jìn)行加權(quán)處理時(shí)，可看出模型輸出結(jié)果并不是僅有y參與計(jì)算，還有y在網(wǎng)格結(jié)構(gòu)之間的關(guān)系，即邊緣特征也參與計(jì)算。

1.2.2 基于CLNF 模型的疼痛表情特征點(diǎn)定位

步驟1先對(duì)給定圖像進(jìn)行檢測(cè)，確定出該圖像中是否存在人臉以及人臉的位置和大小。再按照如圖1 所示的流程對(duì)圖像進(jìn)行預(yù)處理，去除部分不相關(guān)的信息，得到實(shí)驗(yàn)所需的面部區(qū)域圖像。

步驟2按照如圖3 所示的關(guān)鍵特征點(diǎn)檢測(cè)流程對(duì)裁取后的面部區(qū)域圖像進(jìn)行關(guān)鍵特征提取。

圖3 關(guān)鍵特征點(diǎn)檢測(cè)流程Fig.3 Procedure of key feature point detection

1）在PDM 模型的基礎(chǔ)上得到形狀模型，在表情圖像上標(biāo)記出關(guān)鍵特征點(diǎn)坐標(biāo)，利用式（2）求取圖像平均臉，并得到相應(yīng)的形狀變化矩陣。圖3 所示表情（雙唇緊閉時(shí)的表情有65 個(gè)特征點(diǎn)，當(dāng)為嘴巴張開(kāi)或露出牙齒時(shí)的表情有68 個(gè)特征點(diǎn)）的形狀變化矩陣可由式（8）表示，再進(jìn)一步得到形狀變化主成分構(gòu)成的矩陣以及對(duì)應(yīng)的權(quán)重系數(shù)。

2）在表情圖像上標(biāo)定特征點(diǎn)之后，接下來(lái)在每個(gè)特征點(diǎn)的周?chē)鷧^(qū)域?qū)崿F(xiàn)Patch 建模，以獲取面部紋理特征。在已建立的LNF Patch 模型基礎(chǔ)上，完成最佳匹配點(diǎn)的搜尋，經(jīng)過(guò)對(duì)Patch 模型可能區(qū)域輸入量與輸出量之間非線性關(guān)系的分析，得到提取特征點(diǎn)更詳盡的面部信息，進(jìn)而更快速精準(zhǔn)地定位關(guān)鍵特征點(diǎn)。

3）利用線性邏輯回歸的方法進(jìn)行擬合優(yōu)化，實(shí)現(xiàn)面部特征關(guān)鍵點(diǎn)的提取。

1.2.3 疼痛表情相關(guān)AU 的獲取

由面部特征提取的關(guān)鍵點(diǎn)可進(jìn)一步獲取與疼痛表情相關(guān)的AU。其中可能與疼痛有關(guān)的信息集中［20］在以下11 個(gè)AU 上：AU4（眉毛降低）、AU6（臉頰升高）、AU7（眼角收緊）、AU9（鼻子褶皺）、AU10（上唇升高）、AU12（唇角拉伸）、AU20（嘴唇水平伸展）、AU25（雙唇分開(kāi)）、AU26（下巴下垂）、AU27（嘴巴張開(kāi)）、AU43（閉起眼睛）。文獻(xiàn)［21］于1992 年開(kāi)始發(fā)現(xiàn)并證實(shí)了AU4、AU6、AU7、AU9、AU10、AU43 這6 個(gè)動(dòng)作單元攜帶了大量關(guān)于疼痛的信息，并定義了普卡欽所羅門(mén)疼痛強(qiáng)度（Prkachin and Soloman Pain Intensity，PSPI）度量公式，通過(guò)評(píng)估每個(gè)AU 的疼痛強(qiáng)度并對(duì)這些AU 進(jìn)行求和，以得到疼痛PSPI 強(qiáng)度值。PSPI 度量表達(dá)式如式（9）所示：

其中，除了AU43 僅有不發(fā)生為0 和發(fā)生為1 這2 個(gè)評(píng)估值之外，其他AU 都有0～5 這6 個(gè)強(qiáng)度評(píng)估值，且求和式中的AU6 和AU7、AU9 和AU10 是分別取這兩組AU 動(dòng)作中的疼痛程度最大值，因此PSPI 值的評(píng)估范圍為0～16。

2.6 真菌對(duì)抗菌藥物的敏感性 培養(yǎng)出白色念珠菌292株，占分離細(xì)菌株的11.50%。對(duì)氟康唑、伊曲康唑、伏立康唑、兩性霉素B、5-氟胞嘧啶均敏感。

圖4 展示了攜帶大量疼痛信息的6 個(gè)AU 在人臉面部的表現(xiàn)情況。

圖4 6 個(gè)不同的疼痛AUs 在面部上的表現(xiàn)情況Fig.4 Expression of six different pain AUs on the face

每種PSPI 狀態(tài)值可用6 個(gè)AU 在不同強(qiáng)度評(píng)估值下的組合來(lái)表現(xiàn)，當(dāng)PSPI 值分別為1、2、4、6 時(shí)，AU 強(qiáng)度評(píng)估值的組合情況如表1～表4 所示。當(dāng)PSPI 值為其他狀態(tài)值時(shí)，AU 評(píng)估值的組合情況與表1 類(lèi)似。

表1 PSPI=1 時(shí)AU 評(píng)估值組合情況Table 1 Combination of AU evaluation values when PSPI=1

表2 PSPI=2 時(shí)AU 評(píng)估值組合情況Table 2 Combination of AU evaluation values when PSPI=2

表3 PSPI=4 時(shí)AU 評(píng)估值組合情況Table 3 Combination of AU evaluation values when PSPI=4

表4 PSPI=6 時(shí)AU 評(píng)估值組合情況Table 4 Combination of AU evaluation values when PSPI=6

2 基于貝葉斯網(wǎng)絡(luò)建模的疼痛表情識(shí)別

2.1 貝葉斯網(wǎng)絡(luò)

BN 可定義為一個(gè)有向無(wú)環(huán)圖（Directed Acyclic Graph，DAG）與一個(gè)條件概率表（Conditional Probability Tables，CPTs）構(gòu)成的集合。其中，DAG 中的每個(gè)節(jié)點(diǎn)都表示一個(gè)隨機(jī)變量，而有向邊可用來(lái)描述變量間的條件依賴關(guān)系。CPTs 可由DAG 中每個(gè)節(jié)點(diǎn)事件發(fā)生與否的概率來(lái)獲得，表中的每個(gè)元素都與DAG 中唯一的節(jié)點(diǎn)對(duì)于其所有直接父節(jié)點(diǎn)的聯(lián)合條件概率相對(duì)應(yīng)，CPT 中的概率值表示變量間條件關(guān)系的強(qiáng)弱。貝葉斯網(wǎng)絡(luò)包括學(xué)習(xí)模塊和推理模塊兩大模塊，而學(xué)習(xí)模塊又包含結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)。結(jié)構(gòu)學(xué)習(xí)是指找到與實(shí)際問(wèn)題最匹配的BN 結(jié)構(gòu)，即發(fā)現(xiàn)這些變量之間的關(guān)系。參數(shù)學(xué)習(xí)是指在結(jié)構(gòu)學(xué)習(xí)完成的前提條件下，確定BN 模型中每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的CPT，參數(shù)學(xué)習(xí)決定了節(jié)點(diǎn)變量間的具體量化關(guān)系。

2.1.1 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建

在疼痛表情識(shí)別中，由于表情狀態(tài)的不確定性、涉及到的相關(guān)疼痛AU 狀態(tài)的不確定性以及表情與AU 之間概率關(guān)系強(qiáng)弱的不確定性的影響，本文選擇利用具有較強(qiáng)的處理不確定性問(wèn)題能力的概率圖模型BN 來(lái)完成疼痛表情的建模推理。

圖5 所示為構(gòu)建的疼痛表情識(shí)別BN 模型。其中，Pain Expression 節(jié)點(diǎn)表示表情疼痛程度PSPI 狀態(tài)，每個(gè)AU 節(jié)點(diǎn)表示的是可能當(dāng)某種疼痛表情發(fā)生時(shí)的相關(guān)活動(dòng)單元強(qiáng)度評(píng)估值狀態(tài)。子節(jié)點(diǎn)中除了AU43 節(jié)點(diǎn)有2 種狀態(tài)之外，其余AU 節(jié)點(diǎn)均有6 種狀態(tài)，Pain Expression 節(jié)點(diǎn)按照疼痛PSPI 計(jì)算值有17 種狀態(tài)，可以將最終的表情疼痛程度劃分為以下4 種狀態(tài)：不痛（PSPI=0）、微弱疼痛（PSPI=1～5）、中度疼痛（PSPI=6～10）、強(qiáng)烈疼痛（PSPI=11～16）。

圖5 疼痛表情識(shí)別BN 模型Fig.5 BN model for pain expression recognition

不同的疼痛表情狀態(tài)可用多種不同的AU 強(qiáng)度評(píng)估值組合表示，AU 組合表示形式如表5 所示。

表5 不同疼痛表情狀態(tài)的AU 評(píng)估值組合Table 5 Combination of AU evaluation values of different pain expression states

2.1.2 貝葉斯網(wǎng)絡(luò)參數(shù)學(xué)習(xí)

BN 模型的參數(shù)估計(jì)可用式（10）表示：

其中，θijk是在第i個(gè)節(jié)點(diǎn)Xi的父節(jié)點(diǎn)Pa(Xi)取值為j的條件下，Xi取值為k時(shí)條件概率參數(shù)的取值。

在樣本數(shù)據(jù)充足的情況下，通常采用最大似然估計(jì)（Maximal Likelihood Estimate，MLE）方法［22］學(xué)習(xí)BN 參數(shù)。在實(shí)際應(yīng)用中，用式（11）估計(jì)每個(gè)參數(shù)的最大似然估計(jì)：

其中，Nijk表示樣本中第i個(gè)節(jié)點(diǎn)取值為k及其父節(jié)點(diǎn)取值為j時(shí)訓(xùn)練數(shù)據(jù)出現(xiàn)的頻數(shù)，Nij表示父節(jié)點(diǎn)Pa(Xi)取第j個(gè)組合狀態(tài)的頻數(shù)，即，ri表示每個(gè)子節(jié)點(diǎn)變量的取值數(shù)，η為一個(gè)接近于0 的很小常數(shù)，c=qi?ri，qi表示父節(jié)點(diǎn)變量的取值。

基于變權(quán)重融合進(jìn)行參數(shù)學(xué)習(xí)的基本思想是根據(jù)數(shù)據(jù)的變化情況，不斷調(diào)整參數(shù)估計(jì)中各學(xué)習(xí)數(shù)據(jù)集的權(quán)重系數(shù)，最終加權(quán)融合確定出參數(shù)估算結(jié)果?；诩訖?quán)融合的參數(shù)學(xué)習(xí)問(wèn)題可以轉(zhuǎn)化為如式（12）、式（13）的問(wèn)題。

其中，ωi(t)為權(quán)重系數(shù)，θijk(ωi(t))為對(duì)應(yīng)的數(shù)據(jù)集合，d和T取不為0 的自然數(shù)。

由文獻(xiàn)［23］可知BN 參數(shù)估算如式（14）所示：

其中，θprior表示由先驗(yàn)知識(shí)得到的參數(shù)集，θdata表示由樣本數(shù)據(jù)集得到的參數(shù)集，ω和（1-ω）分別表示參數(shù)集的權(quán)重系數(shù)，θ表示最終的參數(shù)學(xué)習(xí)結(jié)果。

本文選擇基于變權(quán)重融合的方法進(jìn)行BN 參數(shù)學(xué)習(xí)，可以通過(guò)先計(jì)算樣本數(shù)據(jù)和約束擴(kuò)展參數(shù)集的權(quán)重，再求出加權(quán)融合后的參數(shù)估算值。隨著數(shù)據(jù)量的變化，權(quán)重可以作出相應(yīng)的調(diào)整，因此能夠獲得更好的學(xué)習(xí)效果。

2.2 基于BN 建模的疼痛表情識(shí)別

根據(jù)BN 結(jié)構(gòu)模型中Pain Expression 節(jié)點(diǎn)狀態(tài)與AU 節(jié)點(diǎn)狀態(tài)的關(guān)系，并結(jié)合領(lǐng)域?qū)＜业慕?jīng)驗(yàn)可獲取以下類(lèi)似的約束：P（AU43=0|PSPI=1）＞P（AU43=1|PSPI=1）。該含義為在表情疼痛程度PSPI=1 的條件下，AU43 強(qiáng)度評(píng)估值為0 的概率大于其強(qiáng)度評(píng)估值為1 的概率。將該約束條件引入BN 參數(shù)學(xué)習(xí)機(jī)制，并通過(guò)改變權(quán)重加權(quán)的方式與樣本數(shù)據(jù)融合進(jìn)行參數(shù)學(xué)習(xí)，從而縮小尋優(yōu)空間，并提高參數(shù)估算的精度。

基于以上分析，利用BN 建模方法進(jìn)行疼痛表情識(shí)別的具體步驟為：

步驟1根據(jù)上文得到疼痛表情識(shí)別所需的關(guān)鍵特征點(diǎn)，將攜帶大量疼痛信息的AU 特征點(diǎn)經(jīng)過(guò)加標(biāo)簽（疼痛強(qiáng)度評(píng)估值）后構(gòu)成樣本數(shù)據(jù)集D。

步驟2判斷貝葉斯網(wǎng)絡(luò)是否已構(gòu)建結(jié)構(gòu)模型，若已構(gòu)建，則繼續(xù)后續(xù)步驟；否則根據(jù)2.1.1 節(jié)描述構(gòu)建疼痛表情識(shí)別貝葉斯網(wǎng)絡(luò)模型。

步驟3完成貝葉斯網(wǎng)絡(luò)參數(shù)建模。

1）根據(jù)樣本數(shù)據(jù)集D統(tǒng)計(jì)Nijk，再根據(jù)式（11）計(jì)算得出參數(shù)集(s)。

2）結(jié)合領(lǐng)域?qū)＜医?jīng)驗(yàn)確定出約束集合Ω，并通過(guò)Bootstrap 方法［24］進(jìn)行參數(shù)擴(kuò)展得到Q組候選參數(shù)集θijk(Ω)。

3）利用貝葉斯網(wǎng)絡(luò)變權(quán)重參數(shù)計(jì)算方法式（15）進(jìn)行加權(quán)融合，并計(jì)算得出參數(shù)學(xué)習(xí)結(jié)果。

步驟4利用聯(lián)合樹(shù)推理方法進(jìn)行貝葉斯網(wǎng)絡(luò)推理，得出面部疼痛表情PSPI 狀態(tài)值，判別表情疼痛程度屬于不痛、微弱疼痛、中度疼痛、強(qiáng)烈疼痛4 種狀態(tài)的哪種狀態(tài)，即得到最終疼痛表情識(shí)別結(jié)果。

3 實(shí)驗(yàn)條件與結(jié)果

3.1 實(shí)驗(yàn)條件設(shè)置

實(shí)驗(yàn)使用UNBC-McMaster Shoulder Pain 數(shù)據(jù)庫(kù)［17］，該數(shù)據(jù)庫(kù)公開(kāi)數(shù)據(jù)包含25 位志愿者的200個(gè)視頻序列，視頻分辨率為320×240，共有48 398 張圖片，包括13 名女性的24 361 張表情圖像幀和12 名男性的24 037 張表情圖像幀。本文實(shí)驗(yàn)的軟件環(huán)境為Windows7 系統(tǒng)下的MATLAB R2014a，處理器為Intel?Celeron?CPU N3160@1.60 GHz。

為了驗(yàn)證CLNF 模型與BN 建模方法相結(jié)合后的識(shí)別疼痛表情性能，實(shí)驗(yàn)選取4 000 幅圖像樣本作為訓(xùn)練集，并分為10 組，每組包含400 幅圖像，依次分別進(jìn)行10 次訓(xùn)練實(shí)驗(yàn)。在剩下的圖像樣本中隨機(jī)選取1 000 張圖像作為測(cè)試集，并將判別每種疼痛表情類(lèi)型時(shí)的概率置信度取0.7。

3.2 實(shí)驗(yàn)結(jié)果分析

根據(jù)本文所提方法獲取實(shí)驗(yàn)所需的疼痛表情AU 狀態(tài)樣本集，結(jié)合領(lǐng)域?qū)＜医?jīng)驗(yàn)確定出約束集合Ω，再利用圖5 所示的BN 結(jié)構(gòu)進(jìn)行疼痛表情識(shí)別。表6 為以AU43 為例得到BN 參數(shù)模型的約束集合。

表6 AU43 節(jié)點(diǎn)狀態(tài)參數(shù)的約束集合Table 6 Constraint sets of AU43 node state parameter

采用本文方法對(duì)不同等級(jí)的疼痛表情進(jìn)行識(shí)別，結(jié)果如表7 所示。從表7 可以看出，本文方法對(duì)不同級(jí)別的疼痛表情識(shí)別率均在85%以上，說(shuō)明本文方法可有效對(duì)疼痛表情進(jìn)行識(shí)別。

表7 本文方法對(duì)不同疼痛表情類(lèi)型的識(shí)別率Table 7 Recognition rate of different pain expression types by the proposed method %

為驗(yàn)證本文方法的有效性，實(shí)驗(yàn)對(duì)本文方法與PLSA模型［11］、SLPP+MKSVM［12］、AAM+SVM［13］、ELBP+SVM［14］、LBVCNN［15］的平均識(shí)別率進(jìn)行對(duì)比，結(jié)果如表8 所示。從表8 可以看出，與其他5 種方法相比，本文方法可顯著提高疼痛表情識(shí)別率。這是因?yàn)楸疚姆椒ㄍㄟ^(guò)CLNF 模型有效提取疼痛表情特征，再利用相關(guān)AU 進(jìn)行BN 建模更能有效描述出表情的狀態(tài)，并充分利用建模參數(shù)間的約束關(guān)系與樣本數(shù)據(jù)集進(jìn)行變權(quán)重融合參數(shù)學(xué)習(xí)，縮小參數(shù)尋優(yōu)空間，從而提高識(shí)別率并使得分類(lèi)更加明確。

表8 6 種方法的平均識(shí)別率對(duì)比Table 8 Comparison of average recognition rate of six methods %

為了進(jìn)一步驗(yàn)證本文方法的性能，實(shí)驗(yàn)對(duì)不同方法的運(yùn)行時(shí)間進(jìn)行對(duì)比，結(jié)果如圖6 所示。從圖6 可以看出，本文方法的運(yùn)行速度比其他5 種方法快。

圖6 6 種方法的運(yùn)行時(shí)間對(duì)比Fig.6 Comparison of running time of six methods

除此之外，實(shí)驗(yàn)還引入了皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient，PCC）與平均絕對(duì)誤差（Mean Absolute Error，MAE）2 個(gè)評(píng)價(jià)指標(biāo)對(duì)不同方法進(jìn)行對(duì)比分析。PCC 是對(duì)不同變量間的相關(guān)程度進(jìn)行衡量，計(jì)算方法如式（16）所示：

其中，n為樣本數(shù)量，、yi分別表示變量、y的i點(diǎn)預(yù)測(cè)值和實(shí)際值，分別表示樣本中元素的平均值。PCC 的取值范圍為-1～1，計(jì)算數(shù)值的絕對(duì)值越大，則預(yù)測(cè)值與實(shí)際值的相關(guān)性越高。

MAE 是對(duì)預(yù)測(cè)值與實(shí)際值之間絕對(duì)誤差的平均值進(jìn)行衡量，計(jì)算方法如式（17）所示，且MAE 的取值范圍為0～+∞，其數(shù)值越小，則該方法的效果越好。

表9 給出了6 種方法的PCC 與MAE 對(duì)比結(jié)果。從中可以看出，本文方法的PCC 取值較大，而MAE取值較低，這說(shuō)明該方法可以準(zhǔn)確地得出疼痛表情的識(shí)別結(jié)果。

表9 6 種方法的PCC 和MAE 對(duì)比Table 9 Comparison of PCC and MAE of six methods

通過(guò)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果以及與其他方法的對(duì)比結(jié)果可知，本文方法具有一定的應(yīng)用價(jià)值，但是通過(guò)BN 進(jìn)行建模分類(lèi)存在計(jì)算較為復(fù)雜的局限性。在實(shí)驗(yàn)過(guò)程中，本文未考慮部分個(gè)體特征如不同人的臉型以及相鄰疼痛強(qiáng)度之間的差異對(duì)識(shí)別結(jié)果造成的影響，而這些均可作為輔助判斷疼痛表情的依據(jù)。

4 結(jié)束語(yǔ)

針對(duì)在疼痛表情識(shí)別過(guò)程中，用于建模的有效疼痛特征樣本數(shù)量較少的問(wèn)題，本文將CLNF 模型與BN 模型相結(jié)合，提出一種疼痛表情識(shí)別方法。由約束局部神經(jīng)域方法獲取疼痛表情關(guān)鍵特征點(diǎn)，再進(jìn)一步得到AU 標(biāo)簽樣本集以及BN 條件概率之間的約束集合。利用變權(quán)重融合方法進(jìn)行BN 模型參數(shù)估算，通過(guò)BN 推理實(shí)現(xiàn)疼痛表情的識(shí)別。在UNBC-McMaster Shoulder Pain 數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，該方法可有效提高疼痛表情識(shí)別準(zhǔn)確性與分類(lèi)效率。下一步將通過(guò)研究相同表情下的不同人臉面部形狀，以及相鄰疼痛強(qiáng)度水平差異對(duì)疼痛表情識(shí)別準(zhǔn)確性的影響，以得到魯棒性更強(qiáng)的識(shí)別模型。