一種面部微表情識別算法在職業(yè)微笑評價中的應(yīng)用

陳瑋 蔣金

摘? 要：應(yīng)用現(xiàn)有比較成熟的人臉面部表情開源算法模型，建立一套機器智能識別系統(tǒng)，量化評價職業(yè)微笑的符合度，對人臉表情進(jìn)行預(yù)處理得到純表情圖像，采用優(yōu)化Gabor提取表情特征，用PCA進(jìn)行數(shù)據(jù)冗余處理和用支持向量機識別人臉表情并進(jìn)行仿真。通過篩選融合現(xiàn)有的開源人臉識別算法，應(yīng)用于量化評價學(xué)員表情中職業(yè)微笑的符合度，積累培訓(xùn)學(xué)員的模型采樣處理，不斷優(yōu)化算法，建立科學(xué)的評價系統(tǒng)。

關(guān)鍵詞：表情特征;微表情;微笑評價

1? 引言

人臉表情識別（FER）是計算機視覺研究熱點，微表情識別是人機交互的一個新興研究課題，面部微表情識別目的是讓人工智能產(chǎn)品能夠識別出人的表情，應(yīng)用于職業(yè)禮儀類培訓(xùn)、強化職業(yè)微笑表情分析，進(jìn)而量化標(biāo)準(zhǔn)，從而提高評價的精確度。

2? 面部表情識別主流方法

微表情識別是用計算機對人臉表情信息進(jìn)行特征提取分析，按照人類認(rèn)知和思維方式加以歸類和理解，結(jié)合人類具有的情感信息方面的經(jīng)驗知識使計算機進(jìn)行聯(lián)想、思考及推理，進(jìn)而從人臉信息中去分析理解人的情緒。

2.1有效提取微表情特征，消除與識別無關(guān)信息。傳統(tǒng)Gabor濾波器存在提取特征時間較長和特征數(shù)據(jù)存在冗余性的缺點。

2.2 Gabor和PCA相結(jié)合的特征提取，通過支持向量機，對微表情進(jìn)行預(yù)處理得到純表情圖像，采用Gabor提取表情特征，用PCA進(jìn)行數(shù)據(jù)冗余處理和用支持向量機識別人臉表情并進(jìn)行仿真。

3? 面部微表情識別的步驟

3.1 預(yù)處理

人臉面部對齊，拿到訓(xùn)練數(shù)據(jù)后，第一步檢測人臉，去掉背景和無關(guān)區(qū)域。使用OpenCV和Matlab得到人臉邊界框，原圖像裁剪至面部區(qū)域。數(shù)據(jù)增強，以足夠的訓(xùn)練數(shù)據(jù)保證識別任務(wù)的泛化性能。而 FER公開數(shù)據(jù)庫達(dá)不到這樣的訓(xùn)練數(shù)據(jù)量。

3.2人臉表情特征學(xué)習(xí)

應(yīng)用CNN 對人臉位置變化和尺度變化有更好的健壯性，而且對于未見人臉姿態(tài)變化比多層感知器有更好的表現(xiàn)。用逐層貪婪訓(xùn)練法初始化，在不需要大量標(biāo)注數(shù)據(jù)下得到局部最優(yōu)解。然后對網(wǎng)絡(luò)的參數(shù)和輸出進(jìn)行微調(diào)。

3.3特征分類

在學(xué)習(xí)深度特征之后，最后一步是識別測試人面部微表情。在網(wǎng)絡(luò)的末端加上損失層，來修正反向傳播誤差，每個樣本的預(yù)測概率可以直接從網(wǎng)絡(luò)中輸出，使用SVM 和隨機森林，對提取的特征進(jìn)行分類。

4.? 優(yōu)化的R-Net算法流程

Refine Network （R-Net）：此網(wǎng)絡(luò)結(jié)構(gòu)是通過邊界框回歸和NMS來去掉那些false-positive區(qū)域。抑制false-positive的作用，將PNet的輸出resize成正方形，是基于人臉一般都是正方形。由此生成（dy， edy， dx， edx， y， ey， x， ex， tmpw， tmph）數(shù)組;生成的元素意義如下：

dx，dy：bbox相對本身起點坐標(biāo)（0，0）

edx，edy：bbox相對本身終點坐標(biāo)（tmpw-1， tmph-1）

x，y ：原始圖片bbox起點

ex，ey：原始圖片bbox結(jié)束點

在生成過程中避免bbox坐標(biāo)超出原圖片或負(fù)值;接著遍歷這數(shù)組，將bbox從原圖片摳出，對resize進(jìn)行歸一化，將24x24的圖片喂入RNet，下圖表示RNet結(jié)構(gòu)：

R-Net最后是采用的全連接層，由上圖得到，一張24x24x3圖片最終輸出結(jié)果3x3x64的特征圖，再經(jīng)歷全連接層后分成三條支路，用于人臉分類、邊框回歸、人臉特征點定位。三條支路損失函數(shù)各項損失權(quán)重比為1：0.5：0.5。

將圖片輸入RNet后，得到了cls_ scores， reg兩個數(shù)組，cls_ scores表示是否人臉的概率，reg表示bbox的回歸值。將cls_ scores中人臉的概率與實現(xiàn)設(shè)定的閾值比較，將大于閾值的圖片對應(yīng)的bbox提取出來，過濾掉一部分非人臉的bbox。接著拋棄掉重疊率高的人臉框，經(jīng)過兩次篩選， bbox數(shù)量將會減少很多。最后進(jìn)行R-Net操作，用回歸信息reg來調(diào)整bbox坐標(biāo)，將bbox4個坐標(biāo)乘bbox寬或高，其中x和寬相乘，y和高相乘，返回調(diào)整后的四個坐標(biāo)。

5.結(jié)論

本項目的特色是應(yīng)用現(xiàn)有的比較成熟的人臉面部表情開源算法模型，建立一套機器智能識別系統(tǒng)，通過改良R-NET算法，更好地量化評價職業(yè)微笑的符合度。

參考文獻(xiàn)：

[1]兒童人臉識別和成長預(yù)測系統(tǒng)的設(shè)計與實現(xiàn)[D]. 周凡. 重慶.西南大學(xué). 2021（01）

[2]基于跨連接LeNet-5網(wǎng)絡(luò)的面部表情識別[J]. 李勇，林小竹，蔣夢瑩.? 自動化學(xué)報. 2018（01）

[3]Identity-aware convolutional neural networks for facial expression recognition[J]. Chongsheng Zhang，Pengyou Wang，Ke Chen，Joni-Kristian Kmrinen.? Journal of Systems Engineering and Electronics. 2017（04）

[4] 基于全景相機的側(cè)臉表情識別和目標(biāo)檢測[D]. 彭磊. 重慶. 西南大學(xué). 2021（01）

[5]基于Gabor參數(shù)矩陣與改進(jìn)Adaboost的人臉表情識別[J]. 楊凡，張磊.? 計算機應(yīng)用. 2014（04）

作者簡介：陳瑋，女，出生1982年，福建福州，漢族，助教，本科學(xué)士，福建船政交通職業(yè)學(xué)院，主要研究方向為：圖像識別、機器學(xué)習(xí)

作者簡介：蔣金，男，出生1973年，福建福州，漢族，高工，本科學(xué)士，福州量子中金數(shù)碼技術(shù)有限公司， 主要研究方向為：軟件工程

[基金項目]：福建省教育廳中青年教師教育科研項目（科技類）（JAT201051），基于人臉特征點識別算法的職業(yè)微笑量化評價系統(tǒng)研究，審批單位是福建省教育廳