基于腦電傳感器的面部動(dòng)作識(shí)別研究

王 眾，章學(xué)良，劉亞群，周俊宇，單東升

中國(guó)電子科技集團(tuán)公司 第十四研究所，南京210039

1 引言

在人與人交流的過(guò)程中，識(shí)別和理解對(duì)方的情感狀態(tài)，并做出相應(yīng)反應(yīng)，是人類情感智能的核心，也是人類智能中不可或缺的部分。美國(guó)心理學(xué)家Albert曾指出：一個(gè)人情感的表達(dá)，面部動(dòng)作占比55%，語(yǔ)音語(yǔ)調(diào)占比38%，而所使用的言詞僅僅只占7%而已。因此，面部動(dòng)作識(shí)別的研究，對(duì)理解人類情感表達(dá)具有極其重要的意義[1-2]。

腦電傳感器廣泛應(yīng)用于腦電信號(hào)檢測(cè)，解析人腦控制意圖。一般情況下，腦電傳感器采集的信號(hào)中會(huì)夾雜大量由面部動(dòng)作產(chǎn)生的肌電信號(hào)，這些信號(hào)往往會(huì)作為偽信號(hào)濾除[3-4]。本文提出一種基于腦電傳感器進(jìn)行面部動(dòng)作識(shí)別的方案，將這些被剔除的信號(hào)再次利用起來(lái)。通過(guò)對(duì)夾雜的肌電信號(hào)采集與處理，實(shí)現(xiàn)面部動(dòng)作識(shí)別。

2 傳統(tǒng)面部動(dòng)作識(shí)別方案

傳統(tǒng)的面部動(dòng)作識(shí)別方案，有基于可見(jiàn)光圖像的方案、基于深度相機(jī)的方案和基于肌電傳感器的方案。

2.1 基于可見(jiàn)光圖像的識(shí)別方案

該方案的系統(tǒng)工作流程圖可見(jiàn)圖1。它主要由圖像的獲取、圖像的預(yù)處理、面部動(dòng)作特征提取和分類識(shí)別等四部分組成。

圖1 可見(jiàn)光圖像方案的系統(tǒng)工作流程圖

“獲取圖像”完成面部動(dòng)作的圖像序列采集，一般通過(guò)高清攝像頭完成；“圖像預(yù)處理”完成人臉位置確定、去除噪聲和其他干擾、人臉追蹤、直方圖均衡化、圖像銳化、圖像平滑、濾波等，突出人臉動(dòng)作特征；“面部動(dòng)作特征提取”完成從人臉圖像序列中，提取能夠表征面部動(dòng)作本質(zhì)的特定信息，比如眨眼、咬牙床等；“分類識(shí)別”完成特征分類，識(shí)別出所做的面部動(dòng)作，一般使用臨近算法、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等[5]。

該方案目前使用范圍較廣，但由于在不同環(huán)境下的光學(xué)誤差較大，導(dǎo)致識(shí)別的準(zhǔn)確率不高[6]。

2.2 基于深度相機(jī)的識(shí)別方案

該方案通過(guò)深度相機(jī)提取人臉可見(jiàn)光圖像及深度信息，在實(shí)時(shí)視頻流中追蹤熱點(diǎn)并提取特征點(diǎn)坐標(biāo)，實(shí)現(xiàn)面部動(dòng)作的檢測(cè)和識(shí)別。與可見(jiàn)光圖像的識(shí)別方案有一定的相似之處，不同的是深度相機(jī)可以獲得圖像深度信息[7]，提升了弱光下識(shí)別的準(zhǔn)確率。方案的系統(tǒng)工作流程圖見(jiàn)圖2。

圖2 深度相機(jī)方案的系統(tǒng)工作流程圖

2.3 基于肌電傳感器的識(shí)別方案

肌電是肌肉收縮時(shí)產(chǎn)生的微小電信號(hào)。當(dāng)面部產(chǎn)生動(dòng)作時(shí)，面部肌肉的運(yùn)動(dòng)能產(chǎn)生肌電信號(hào)。該信號(hào)的特征反應(yīng)了面部的特定動(dòng)作。肌電傳感器方案的系統(tǒng)框圖可見(jiàn)圖3，該方案的使用示意圖可見(jiàn)圖4。

圖3 肌電傳感器方案的系統(tǒng)框圖

圖4 肌電傳感器方案的使用示意圖

肌電具有信號(hào)強(qiáng)、頻率范圍窄、隨機(jī)性強(qiáng)等特點(diǎn)，幅值為100～5 000μV，頻率為10～300 Hz。目前對(duì)肌電的分析方法主要有時(shí)域分析、頻譜分析、時(shí)頻分析、神經(jīng)網(wǎng)絡(luò)、混沌法和分形分析[8]?；诩‰妭鞲衅鞯姆桨笇?duì)比可見(jiàn)光圖像、深度相機(jī)圖像方案，準(zhǔn)確率有較大程度的提升，但需要在面部穿戴肌電傳感器，會(huì)給使用者帶來(lái)較差的體驗(yàn)感。

3 基于腦電傳感器的面部動(dòng)作識(shí)別

腦電傳感器具有靈敏度高、動(dòng)態(tài)范圍大的特點(diǎn)。能有效處理腦電信號(hào)的微弱性、混疊性和低信噪比等問(wèn)題。腦電傳感器佩戴的位置示意圖如圖5所示。其中，F(xiàn)3、F4位于前額，C3、C4位于中央頂部，T3、T4位于頭部?jī)蓚?cè)，O1、O2位于頭部枕區(qū)。

圖5 腦電傳感器佩戴位置示意圖

通常情況下，腦電傳感器采集的人體頭部生物電中包含了腦電和肌電，其中肌電包含了豐富的與面部動(dòng)作相關(guān)的信息。醫(yī)學(xué)研究表明，當(dāng)使用者眨眼時(shí)，額區(qū)F（F3，F(xiàn)4）處的肌肉活動(dòng)會(huì)增強(qiáng)[9-10]；當(dāng)使用者牙床咬緊時(shí)，咬肌的肌肉活動(dòng)明顯增大，會(huì)間接影響頭頂中央?yún)^(qū)C（C3，C4）處的肌肉活動(dòng)[10-11]。因此，腦電傳感器的這四個(gè)通道中，會(huì)產(chǎn)生大量由面部動(dòng)作產(chǎn)生的肌電信號(hào)。然而，這類肌電信號(hào)，在實(shí)際應(yīng)用中，往往會(huì)被作為干擾濾除。因此，針對(duì)傳統(tǒng)面部動(dòng)作識(shí)別方法的不足，結(jié)合腦電傳感器的優(yōu)勢(shì)，提出了利用腦電中夾雜的肌電信號(hào)進(jìn)行面部動(dòng)作識(shí)別。

3.1 總體方案

系統(tǒng)主要包括腦電帽、腦電信號(hào)采集與預(yù)處理設(shè)備和數(shù)據(jù)處理計(jì)算機(jī)構(gòu)成。系統(tǒng)的組成圖可見(jiàn)圖6。

圖6 系統(tǒng)組成圖

腦電信號(hào)采集與預(yù)處理設(shè)備有八個(gè)采集通道。其中F3、F4、C3、C4這四個(gè)通道中包含了豐富的面部動(dòng)作信息[12-13]。通過(guò)對(duì)采集到原始信號(hào)進(jìn)行削波、平滑、歸一化等預(yù)處理后，形成標(biāo)準(zhǔn)的腦電信息流，送往數(shù)據(jù)處理計(jì)算機(jī)。該信息流包含了肌電信號(hào)和腦電信號(hào)，肌電信號(hào)幅度為100～5 000μV，腦電信號(hào)為5～100μV[14]，一般情況下，腦電信號(hào)遠(yuǎn)小于肌電信號(hào)，因此，不會(huì)對(duì)肌電信號(hào)的解析產(chǎn)生影響。由于信號(hào)幅度是反映面部動(dòng)作的主要特征，本文選取這四個(gè)通道信號(hào)的峰峰值作為分類特征值，使用SVM作為分類算法。

系統(tǒng)的使用過(guò)程分為兩個(gè)階段：訓(xùn)練階段和應(yīng)用階段。通過(guò)實(shí)驗(yàn)驗(yàn)證，不同使用者相同面部動(dòng)作下的肌電信號(hào)特征差別較大，但同一使用者不同時(shí)間的肌電信號(hào)特征一致性非常好。因此，系統(tǒng)首先通過(guò)訓(xùn)練階段，形成針對(duì)不同使用者的面部動(dòng)作識(shí)別模型。然后再由不同使用者在應(yīng)用階段調(diào)用對(duì)應(yīng)模型。試驗(yàn)結(jié)果表明，一名使用者可在3 min以內(nèi)完成訓(xùn)練，形成的識(shí)別模型可長(zhǎng)期使用。

3.2 腦電信號(hào)采集與預(yù)處理設(shè)備

系統(tǒng)使用的腦電信號(hào)采集與預(yù)處理設(shè)備包含記錄系統(tǒng)放大器、主動(dòng)電極，設(shè)備實(shí)物圖可見(jiàn)圖7。其中主動(dòng)電極是一種新型電極，相對(duì)于傳統(tǒng)電極，主動(dòng)電極可以將信號(hào)在采集時(shí)即進(jìn)行處理，具有更高的信噪比、共模抑制比和輸入阻抗，并且可以有效抑制運(yùn)動(dòng)噪聲。選取額區(qū)F（F3，F(xiàn)4）及中央?yún)^(qū)C（C3，C4）放置電極，以Cz為參考電極，控制頭皮阻抗小于200 kΩ，采樣率設(shè)定為1 kHz。

圖7 腦電信號(hào)采集與預(yù)處理設(shè)備

3.3 數(shù)據(jù)采集

數(shù)據(jù)采集的對(duì)象是1名身體健康的使用者，在安靜的屏蔽室內(nèi)進(jìn)行。使用者端坐在舒適的座椅上，與屏幕水平距離約為70 cm。根據(jù)屏幕提示，做出五種面部動(dòng)作，包含眨左眼、眨右眼、咬左牙床、咬右牙床、兩邊牙床一起咬，如圖8所示。

圖8 使用者進(jìn)行數(shù)據(jù)采集試驗(yàn)

具體試驗(yàn)過(guò)程包括如下三個(gè)步驟：

步驟1 t=0～1 s時(shí)，屏幕中出現(xiàn)一種面部動(dòng)作提示指令（五種動(dòng)作指令依次出現(xiàn)），以提醒使用者試驗(yàn)即將開(kāi)始，需集中注意力，等待聽(tīng)到開(kāi)始的命令。

步驟2 t=1～4 s時(shí)，電腦發(fā)出短暫的蜂鳴聲，以提示使用者試驗(yàn)開(kāi)始。使用者根據(jù)屏幕提示做出相應(yīng)的面部動(dòng)作后，即刻保持靜默狀態(tài)。

步驟3 t=4～7 s時(shí)，屏幕中提示休息，使用者休息3 s。

每個(gè)面部動(dòng)作各進(jìn)行五個(gè)試次，每次試驗(yàn)共包含25個(gè)試次。最終形成五組，每組五個(gè)試驗(yàn)樣本數(shù)據(jù)，用于后續(xù)數(shù)據(jù)處理與分析。

4 面部動(dòng)作識(shí)別算法

本文提出的面部動(dòng)作識(shí)別算法是基于高斯核的支持向量機(jī)學(xué)習(xí)模型。該方法建立了較為穩(wěn)定的特征描述子，能有效解決面部動(dòng)作識(shí)別中的肌電信號(hào)分類問(wèn)題，可實(shí)現(xiàn)小樣本下面部動(dòng)作的高精度識(shí)別與分類。

4.1 支持向量機(jī)

支持向量機(jī)（SVM）是一種具有高性能的監(jiān)督學(xué)習(xí)模型，能根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以求獲得最好的推廣能力。它在很大程度上解決了“維度災(zāi)難”和“過(guò)學(xué)習(xí)”等傳統(tǒng)分類難題[15]。SVM分類示意圖如圖9所示。

圖9 SVM最優(yōu)分類示意圖

假設(shè)樣本集(xi,yi)是線性可分的，樣本集中的xi代表樣本，yi代表樣本類別，yi∈{-1,1}。樣本xi相應(yīng)的判別函數(shù)為：

g(x)=wTx+b

線性分類超平面可由向量w和偏移量b描述。對(duì)判別函數(shù)歸一化|g(x)|=1，使得分類間隔為2/||w||，當(dāng)||w||的值特別小時(shí)，分類間隔會(huì)特別大。尋求的目標(biāo)是所有樣本都能被準(zhǔn)確分類，也就是yi(w xi+b)-1≥0,i=1,2,…,n，則求取最優(yōu)超平面的問(wèn)題[16]轉(zhuǎn)換成求，并且滿足yi(w xi+b)-1≥0,i=1,2,…,n。滿足等號(hào)成立的那些樣本叫作支持向量。

4.2 面部動(dòng)作識(shí)別算法實(shí)現(xiàn)

系統(tǒng)通過(guò)腦電信號(hào)采集與預(yù)處理設(shè)備采集的四路信號(hào)形成五種面部動(dòng)作分類，其中兩路為眼部運(yùn)動(dòng)產(chǎn)生的肌電，另兩路為由牙床咬合產(chǎn)生的肌電。這些信號(hào)都會(huì)作為腦電信號(hào)的一部分傳遞給數(shù)據(jù)處理計(jì)算機(jī)進(jìn)行解析。

通過(guò)對(duì)這些肌電信號(hào)分析發(fā)現(xiàn)，當(dāng)使用者面部出現(xiàn)不同動(dòng)作時(shí)，對(duì)應(yīng)采集通道中的響應(yīng)信號(hào)分別具有不同的幅度特征。如圖10所示，當(dāng)使用者眨左眼時(shí)，對(duì)應(yīng)的F3通道信號(hào)幅度上升；當(dāng)使用者眨右眼時(shí)，對(duì)應(yīng)的F4通道信號(hào)幅度上升；當(dāng)使用者咬左牙床時(shí)，C3通道信號(hào)幅度上升；同樣，咬右牙床時(shí)C4通道信號(hào)幅度上升。

數(shù)據(jù)分析表明面部動(dòng)作與肌電信號(hào)的幅度密切相關(guān)，因此，系統(tǒng)將信號(hào)的峰峰值作為主要特征，采用高斯核支持向量機(jī)進(jìn)行面部動(dòng)作分類。具體算法中，以通道F3的峰峰值和通道F4的峰峰值作為兩個(gè)特征屬性，以通道C3的峰峰值、通道C4的峰峰值以及通道C3和C4的相關(guān)一致性作為三個(gè)特征屬性，分別創(chuàng)建眼部肌電支持向量機(jī)和面頰肌電支持向量機(jī)。其中，眼部肌電通過(guò)兩個(gè)特征區(qū)分兩類狀態(tài)，面頰肌電通過(guò)三個(gè)特征區(qū)分三類狀態(tài)。五種面部動(dòng)作的區(qū)分是線性不可分的，因此采用非線性支持向量機(jī)。本文采用高斯核支持向量機(jī)，高斯核（Gaussian RBF）[17]的核函數(shù)如下：

高斯核的誤差懲罰常數(shù)C取100，高斯核寬度σ取1.0。

5 驗(yàn)證結(jié)果與分析

按照前文定義的方法采集了25組訓(xùn)練數(shù)據(jù)，指定五個(gè)標(biāo)簽，對(duì)25組樣本進(jìn)行分類學(xué)習(xí)，訓(xùn)練出兩個(gè)支持向量機(jī)學(xué)習(xí)器，實(shí)現(xiàn)面部動(dòng)作的五種分類。經(jīng)實(shí)際驗(yàn)證，準(zhǔn)確率達(dá)95%以上。圖11為五種面部動(dòng)作及靜默狀態(tài)下的項(xiàng)目應(yīng)用截圖。四個(gè)柱狀體反映了四個(gè)通道的峰峰值，從圖中可以看出，這五種面部動(dòng)作產(chǎn)生的信號(hào)特征非常明顯，而且區(qū)分度很大。項(xiàng)目實(shí)際應(yīng)用證明了采用少量的訓(xùn)練樣本即可獲得高準(zhǔn)確率的分類結(jié)果。

6 結(jié)語(yǔ)

使用腦電傳感器對(duì)面部動(dòng)作進(jìn)行識(shí)別，能實(shí)現(xiàn)面部動(dòng)作的高精度分類，而且還具備良好的體驗(yàn)感。它實(shí)現(xiàn)了計(jì)算機(jī)對(duì)人面部動(dòng)作的理解，是一種先進(jìn)的人機(jī)交互方式。可應(yīng)用于心理學(xué)、機(jī)器人、智能監(jiān)控、虛擬現(xiàn)實(shí)以及合成動(dòng)畫(huà)等領(lǐng)域，具有很大的潛在應(yīng)用價(jià)值[18-19]。同時(shí)，它也提升了腦電傳感器的應(yīng)用價(jià)值，能與腦電信號(hào)特征提取和分類進(jìn)行數(shù)據(jù)融合，形成多模態(tài)的生理信號(hào)特征識(shí)別與分類的能力，實(shí)現(xiàn)更為廣闊的應(yīng)用。

圖10 不同面部動(dòng)作下的肌電信號(hào)響應(yīng)曲線

圖11 基于SVM的面部動(dòng)作識(shí)別與分類結(jié)果