基于深度特征融合的面部表情智能識(shí)別技術(shù)

馬輝

（河南質(zhì)量工程職業(yè)學(xué)院 現(xiàn)代教育技術(shù)中心，河南 平頂山467000）

面部表情智能識(shí)別技術(shù)（Facial Expression Recognition，簡(jiǎn)稱FER），是憑借當(dāng)下現(xiàn)有的計(jì)算機(jī)技術(shù)，所進(jìn)行的有關(guān)人工智能方面新型技術(shù)探索。人的面部表情在日常生活情緒的傳達(dá)當(dāng)中有著極為重要的地位。人類面部表情識(shí)別技術(shù)的開(kāi)發(fā)，除了能夠應(yīng)用于日常生活當(dāng)中，由于計(jì)算機(jī)對(duì)人類表情的識(shí)別本身極具復(fù)雜性，故而對(duì)表情識(shí)別技術(shù)的研究與創(chuàng)新，也有助于對(duì)其它類似研究方向進(jìn)行探索。其在計(jì)算機(jī)科學(xué)技術(shù)方面的科研價(jià)值同樣不容忽視，面部表情智能識(shí)別有助于拓展計(jì)算機(jī)數(shù)據(jù)庫(kù)、建模以及相關(guān)視覺(jué)系統(tǒng)[1]。深度特征融合的概念，對(duì)于各項(xiàng)科學(xué)技術(shù)和算法的發(fā)展都提供了極大助力?；谶@樣的方法，面部表情智能識(shí)別技術(shù)在實(shí)際開(kāi)發(fā)和應(yīng)用過(guò)程中，衍生出了多種人臉數(shù)據(jù)收集的方法。對(duì)需要識(shí)別的人臉進(jìn)行檢測(cè)和面容數(shù)據(jù)分割，然后利用算法對(duì)收集到的面容數(shù)據(jù)進(jìn)行快速且準(zhǔn)確的計(jì)算[2]。這對(duì)于算法的運(yùn)算速度和準(zhǔn)確性都有很高要求，一個(gè)合格的算法需要做到在光線不足、檢測(cè)背景復(fù)雜、人臉位置偏斜的情況下，仍然可以準(zhǔn)確地捕捉到面容并得出所需數(shù)據(jù)。而利用先進(jìn)的、性能極高的面部表情智能識(shí)別技術(shù)，在當(dāng)前主要目的是為了給動(dòng)畫(huà)制作領(lǐng)域、個(gè)人情緒的綜合判斷研究以及方興未艾的人工心理學(xué)領(lǐng)域研究提供更好的技術(shù)條件。

1 基于深度特征融合的面部表情智能識(shí)別技術(shù)

1.1 基于膚色分辨和模板匹配采集面部表情數(shù)據(jù)

結(jié)合當(dāng)前的技術(shù)跟進(jìn)情況，我們可以發(fā)現(xiàn)其實(shí)并沒(méi)有一種識(shí)別方式特別被全社會(huì)所公認(rèn)。不過(guò)專業(yè)的教授學(xué)者們卻在一些流程分類上能夠達(dá)成共識(shí)。當(dāng)前的情況就是，面部表情智能識(shí)別的相關(guān)技術(shù)被分為了三大塊，分別是人臉檢測(cè)、特征提取、表情分類。而基于被采集者的膚色進(jìn)行分割檢測(cè)，是一種十分基礎(chǔ)且常用的檢測(cè)方法。皮膚顏色作為一種常見(jiàn)面部特征，是可以被外界快速感知和獲取的。利用膚色來(lái)確定面容位置，依據(jù)顏色分布來(lái)進(jìn)一步分割檢測(cè)到的人臉，也就是說(shuō)利用膚色分辨技術(shù)，是可以將人臉檢測(cè)和特征提取這兩個(gè)大的步驟快速完成的，因?yàn)槟w色作為最容易識(shí)別的面部特征，具有很強(qiáng)的直觀性，但該方法的缺點(diǎn)也非常明顯，當(dāng)攝像頭捕捉到類似膚色的物體，可能會(huì)做出錯(cuò)誤的識(shí)別動(dòng)作，并且膚色很容易受光照變化的影響，直接導(dǎo)致特征提取和檢測(cè)動(dòng)作的失敗。而比面部膚色分辨更進(jìn)一步的采集方案，就是利用模板匹配的方法，來(lái)進(jìn)行一個(gè)類似于搜索對(duì)比的動(dòng)作。涉及到具體的操作，就是將使用模板對(duì)比的識(shí)別設(shè)備，在投入使用以前就錄入一些具有代表性的人臉圖像，或者直接設(shè)定一個(gè)“標(biāo)準(zhǔn)臉”的模板。后期在進(jìn)行人臉識(shí)別檢測(cè)的過(guò)程時(shí)，設(shè)備通過(guò)攝像頭或者后臺(tái)上傳的圖像，與已有模板進(jìn)行對(duì)比。如果匹配的程度高達(dá)一定的閾值，就可以做到成功識(shí)別。不過(guò)該方法在原理解釋上十分簡(jiǎn)單，但在運(yùn)算量上卻不具有任何優(yōu)勢(shì)，同時(shí)在圖像錄入的過(guò)程中，不能適應(yīng)“近大遠(yuǎn)小”的人臉變化，對(duì)面容的尺寸和位置要求十分嚴(yán)格。這樣來(lái)看，模板匹配并不能很好地滿足“智能識(shí)別”的要求，性能上有所欠缺[3]。

1.2 設(shè)計(jì)多級(jí)聯(lián)分類智能識(shí)別方案

基于多級(jí)聯(lián)分類的智能識(shí)別方案的主要原理和核心就是分類器，其級(jí)聯(lián)的原則是從前至后越來(lái)越復(fù)雜。在實(shí)際應(yīng)用過(guò)程中，人臉或人臉圖像能被級(jí)聯(lián)上所有的強(qiáng)分類器識(shí)別，數(shù)據(jù)才最終能夠被識(shí)別和匯總，成功完成一次識(shí)別。如果想要順利做出識(shí)別動(dòng)作，就離不開(kāi)專用分類器作為支撐[4]。分類器又分為強(qiáng)分類器和弱分類器，幾個(gè)弱分類器通過(guò)被分配到不同的權(quán)重，組成強(qiáng)分類器。假設(shè)我們?cè)O(shè)置樣本有n 個(gè)，那么（x1,y1）……（xn,yn）,然后yi=1（1 個(gè)正樣本），共有p 個(gè)，yi=0（0 個(gè)負(fù)樣本），共有q 個(gè)。兩種樣本初始權(quán)重相同，正樣本的權(quán)重就是1/2p，負(fù)樣本權(quán)重為1/2q。由此權(quán)重歸一為wi。

y 代表測(cè)試輪數(shù)，而在某一識(shí)別時(shí)收集面容的矩形特征q出現(xiàn)測(cè)試誤差時(shí)，選擇誤差最小的分類器，則權(quán)重值更新為：

則樣本的權(quán)重分類值為β=θ/（1-θ），如果β>1 則分類器分類正確，如果β≤1 則分類器分類錯(cuò)誤。最終得到一個(gè)強(qiáng)分類器：

在疊加計(jì)算得到強(qiáng)分類器過(guò)后，結(jié)合前面提到的從前到后越來(lái)越復(fù)雜的順序，通過(guò)順序級(jí)聯(lián)最終形成一個(gè)性能高效的面部檢測(cè)分類器，以及更加智能的識(shí)別方案。

圖1 特征為H1 的臨近深度融合模塊示意圖

表1 對(duì)比實(shí)驗(yàn)結(jié)果

1.3 基于深度特征融合識(shí)別面部表情模態(tài)特征

在識(shí)別面部表情的過(guò)程當(dāng)中，必然就會(huì)提到深度特征融合的概念。所謂深度特征融合[5]，是通過(guò)構(gòu)建臨近深度融合模塊，進(jìn)一步得到面部表情識(shí)別的相關(guān)模態(tài)特征。再對(duì)多級(jí)聯(lián)模態(tài)中，所具備的全部特征進(jìn)行捕捉，從而找到多模態(tài)特征之間跨通道關(guān)聯(lián)性。為解釋深度特征融合概念下[6]，怎樣對(duì)捕捉識(shí)別面部表情模態(tài)進(jìn)行協(xié)助?，F(xiàn)將生成特征用H1 表示，個(gè)體間不同深度的特征用F 表示，得出圖1 的深度融合模塊示意圖。

由圖1 可知，每個(gè)模塊當(dāng)中都會(huì)存在3 個(gè)卷積操作和1 個(gè)反卷積操作。這代表著每個(gè)模塊當(dāng)中都有兩個(gè)卷積層和一個(gè)反卷積層，這三個(gè)層面分別作用于不同的特征通道，進(jìn)一步保證面部表情識(shí)別的極高空間分辨率，做到更為精準(zhǔn)的雙向信息傳遞。最后，依照深度特征融合下形成的模塊，根本上是為了解決輔助面部表情識(shí)別流程的算法問(wèn)題，進(jìn)一步優(yōu)化現(xiàn)有算法的性能。

2 實(shí)驗(yàn)論證分析

實(shí)驗(yàn)選取了本文算法，將其與運(yùn)算流程上極其相似的LBP算法進(jìn)行對(duì)比。在人臉數(shù)據(jù)的選取上，隨機(jī)抽取了MIT 人臉數(shù)據(jù)庫(kù)和ORL 人臉數(shù)據(jù)庫(kù)作為實(shí)驗(yàn)的工具。并在兩個(gè)數(shù)據(jù)庫(kù)當(dāng)中，均選擇相同數(shù)量的人臉圖像作為測(cè)試樣本，再分別利用本文算法和傳統(tǒng)算法進(jìn)行了共計(jì)528 次的識(shí)別測(cè)試，實(shí)驗(yàn)結(jié)果如表1 所示。

根據(jù)實(shí)驗(yàn)結(jié)果表1 得知，使用本文算法在人臉數(shù)據(jù)庫(kù)當(dāng)中進(jìn)行識(shí)別測(cè)試，所得出的平均識(shí)別率要比使用傳統(tǒng)算法得出的平均識(shí)別率高出2%。盡管利用本文算法進(jìn)行識(shí)別時(shí)，出現(xiàn)了運(yùn)算時(shí)間長(zhǎng)于傳統(tǒng)算法的情況。但考慮到MIT 數(shù)據(jù)庫(kù)當(dāng)中收集的面部數(shù)據(jù)，在光照、配飾等因素上改變更多，傳統(tǒng)算法又極易受光照的影響，識(shí)別率會(huì)受到嚴(yán)重削弱。故而綜合比對(duì)來(lái)看，在環(huán)境光照變化等復(fù)雜因素影響下，依舊是本文算法更具有優(yōu)勢(shì)。

3 結(jié)論

本文旨在通過(guò)總結(jié)和分析，基于深度特征融合概念所進(jìn)行的對(duì)于面部智能識(shí)別技術(shù)及其相關(guān)算法的列舉。結(jié)合識(shí)別測(cè)試實(shí)驗(yàn)進(jìn)行了對(duì)比和分析，比較出了LDP 算法在具體應(yīng)用過(guò)程當(dāng)中的明顯優(yōu)勢(shì)。但由于文章只進(jìn)行了對(duì)多級(jí)聯(lián)、多模態(tài)算法特征的淺顯分析，因此在面部智能識(shí)別技術(shù)領(lǐng)域的具體開(kāi)發(fā)和算法應(yīng)用過(guò)程中，本文所得出的結(jié)論并不能作為方法論使用，實(shí)際結(jié)論僅供參考。