基于非下采樣Contourlet變換的人臉表情識(shí)別算法研究

賈函龍 王金芳 黃利飛

摘 要：本文研究了非下采樣Contourlet變換在人臉表情識(shí)別中的應(yīng)用，并設(shè)計(jì)了相應(yīng)的算法流程。首先將人臉表情圖像分割為最能表征表情信息的眼睛和嘴巴兩個(gè)部分，然后利用非下采樣Contourlet變換對(duì)分割的局部圖像進(jìn)行特征提取，最后使用極限學(xué)習(xí)機(jī)進(jìn)行分類(lèi)，并與BP神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)照實(shí)驗(yàn)。研究結(jié)果顯示，表情分類(lèi)平均準(zhǔn)確率可達(dá)86.57%，比BP神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法平均準(zhǔn)確率高出7.43%。而在執(zhí)行速度方法，極限學(xué)習(xí)機(jī)卻是BP神經(jīng)網(wǎng)絡(luò)的11.09倍，表明了本實(shí)驗(yàn)方案的高效性和可行性。

關(guān)鍵詞：人臉表情識(shí)別；非下采樣Contourlet變換；極限學(xué)習(xí)機(jī)；BP神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)號(hào)： A 文章編號(hào)：2095-2163（2015）05-

Facial Expression Recognition based on the Next Sampling Contourlet Transform Algorithm Research

Jia Hanlong1， Wang Jinfang2， Huang Lifei3

（1 Liaoning Mechatronics College， Liaoning Dandong， 118000， China；2 Yanshan University， Qinhuangdao， 066200， China；3Hangzhou ChouTou Tech Co. LTD， Hangzhou， 310000， China）

Abstract： This paper studies the next sampling Contourlet transform in the application of facial expression recognition， and the corresponding algorithm design process. The image segmentation of facial expression is divided into two parts covering the eyes and the mouth， which to the most extent can represent the expression information， and then uses the sampling Contourlet transform under the division of local image feature extraction， furtherly using extreme learning machine for classification， and makes the comparison with the BP neural network control experiment. The results showed that expression classification accuracy can reach 86.57% on average， than the BP neural network classification method of average accuracy higher than 7.43%. In the speed of execution method， the fact that extreme learning machine is 11.09 times that of the BP neural network shows the efficiency and feasibility of the experiment scheme.

Key words： Facial Expression Recognition； Next Sampling Contourlet Transform； Extreme Learning Machine； BP Neural Network

0引 言

人臉表情含有豐富的人體行為信息，可以直觀(guān)地反映一個(gè)人的心理狀態(tài)。隨著人機(jī)交互的研究日益得到關(guān)注，人臉表情識(shí)別已經(jīng)成為模式識(shí)別一個(gè)重要且具實(shí)效意義的研究分支。目前，應(yīng)用于表情識(shí)別的方法有基于gabor小波特征的方法[1]，基于主動(dòng)形狀模型（ASM）和主動(dòng)外觀(guān)模型（AAM）的方法[2]，基于流形的方法[3]等。

典型的人臉表情提取主要包括人臉表情的預(yù)處理，特征提取與選擇和人臉表情分類(lèi)三個(gè)主要步驟。其中，表情特征的提取與選擇是人臉表情識(shí)別步驟中最具決定性的一步。如何將人臉表情預(yù)處理得到的高維數(shù)據(jù)進(jìn)行快速有效的降維，既是表情識(shí)別系統(tǒng)的核心，也是目前為止最難于有效解決的關(guān)鍵所在。Gabor小波可以提取多尺度、多方向的空間頻率特征，在人臉識(shí)別和表情識(shí)別的應(yīng)用技術(shù)中，已經(jīng)取得了一定的成果。Contourlet變換也是一種多尺度、多方向的變換，早在2002年，Martin Vetterli和M.N.Do就研究了該算法。該變換是基于小波多尺度分析的思想而開(kāi)展的一種新的多尺度多方向分析方法研究。該變換不僅可以實(shí)現(xiàn)任意方向和尺度的分解，具有同小波變換一樣的優(yōu)勢(shì)，而且由于其在圖像輪廓特征和紋理信息方面的獨(dú)到的提取和描述，使其在圖像處理領(lǐng)域獲得了較為廣泛的應(yīng)用。然而，該變換在輪廓波采樣過(guò)程進(jìn)行了下采樣轉(zhuǎn)換，因此失去了平移不變性，導(dǎo)致在圖像的恢復(fù)變換時(shí)，會(huì)造成偽吉布斯失真。為此，A.L.Cunha等人研究了非下采樣Contourlet變換 ，其中由于取消了變換過(guò)程中的下采樣，從而實(shí)現(xiàn)了偽Gibbs失真的有效抑制。

鑒于Contourlet變換存在的明顯缺陷，A.L.Cunha等人提出了NSCT變換。該變換是由非下采樣金字塔分解 （Nonsubsampled Pyramid，NSP）和非下采樣方向性濾波器組（Nonsubsampled Directional Filter Banks，NSDFB）組成的。非下采樣金字塔分解通過(guò)一個(gè)雙通道的濾波器組，可將信號(hào)分解成一個(gè)多通和多個(gè)帶通部分。

1 表情圖像預(yù)處理

由于拍攝環(huán)境的復(fù)雜性以及人體自身的運(yùn)動(dòng)，獲取的人臉表情信息或多或少會(huì)受到一些干擾。因此預(yù)先即需針對(duì)擬實(shí)現(xiàn)特征提取和特征選擇的圖片進(jìn)行人臉特征區(qū)域的定位，人臉區(qū)域的幾何歸一化以及直方圖均衡化，則將具有重要的基礎(chǔ)性意義的[4]。JAFEE人臉表情庫(kù)后預(yù)處理前后的圖像如圖1和圖2所示，每行分別對(duì)應(yīng)一個(gè)人的7種表情，分別為憤怒、厭惡、恐懼、高興、中性、悲傷和驚奇。

人臉特征區(qū)域的定位采用基準(zhǔn)特征結(jié)合仿射變換[5]的方法，該方法可以估計(jì)左右瞳孔的位置，然后依據(jù)左右瞳孔的坐標(biāo)來(lái)確定人臉的位置，從而實(shí)現(xiàn)對(duì)人臉特征區(qū)域的定位。幾何歸一化是指圖像經(jīng)過(guò)尺度變換，得到統(tǒng)一大小的校準(zhǔn)圖像，即具有相同的高和寬，這樣可以使圖像在后期特征提取和特征選擇階段上具有相同的特征維數(shù)，由此簡(jiǎn)化了實(shí)際運(yùn)算。直方圖均衡化可以消除部分光線(xiàn)和光照強(qiáng)度的影響，使圖像動(dòng)態(tài)范圍增大，對(duì)比度更加擴(kuò)展，有助于提高識(shí)別率。

2 Contourlet變換與非下采樣Contourlet變換

Contourlet變換是一種新的圖像二維表示算法，其基本思想是首先使用一個(gè)類(lèi)似小波的多尺度分解描述出輪廓段，然后將圖像數(shù)據(jù)拉普拉斯金字塔變換（Laplacian Pyramid，LP）和二維方向?yàn)V波器組（Directional Filter Bank，DFB）進(jìn)行多尺度、多方向的變換。LP變換的基礎(chǔ)是高斯金字塔，這是通過(guò)對(duì)原始圖像循環(huán)進(jìn)行高斯低通濾波和下采樣來(lái)完成的，下采樣的過(guò)程相當(dāng)于帶通濾波器，基于此就形成了從上到下有層次的金字塔樣式的圖像分解，LP變換的主要功能是將圖像分解為低頻系數(shù)子帶和高頻系數(shù)子帶。

從根本上說(shuō)，圖像是由一個(gè)數(shù)值矩陣組成的。矩陣相鄰的像素點(diǎn)可以組成短小的線(xiàn)條，而多個(gè)線(xiàn)條的聚集就形成圖像的基本輪廓和紋理特性，因此引入DFB濾波器組的作用就是基于方向的角度對(duì)圖像進(jìn)行從粗分辨率到細(xì)分辨率的特征提取。DFB濾波器組首先將LP變換得到的高頻分量抽樣進(jìn)行多方向分解，然后通過(guò)將分布在同一方向的奇異點(diǎn)，合成一個(gè)系數(shù)，用類(lèi)似于線(xiàn)段的基結(jié)構(gòu)表征圖像的邊緣細(xì)節(jié)等幾何特征，實(shí)現(xiàn)對(duì)圖像信息的稀疏逼近。

對(duì)低頻子帶重復(fù)上述LP和DFB分解過(guò)程即可實(shí)現(xiàn)圖像的多尺度多方向分解。LP分解的每一層將圖像分解為高頻部分和低頻部分，而DFB的優(yōu)點(diǎn)是對(duì)于高頻部分的表現(xiàn)更加優(yōu)秀，這也就是兩者疊加之后的Contourlet變換更具有優(yōu)異性的原因。但是由于該變換在LP變換的分解和重構(gòu)濾波器的過(guò)程中，帶寬均大于 。因此，對(duì)濾波后的圖像進(jìn)行縮減下采樣將會(huì)產(chǎn)生頻譜混疊。頻譜混疊相應(yīng)削弱了Contourlet變換的方向選擇性，因?yàn)橥环较虻男畔?huì)在幾個(gè)不同的方向子帶中再次出現(xiàn)。同時(shí)，Contourlet變換的下采樣也使該算法失去了平移不變性。

如上所述，針對(duì)Contourlet變換的缺陷分析，A.L.Cunha等人隨即提出了NSCT變換。NSCT變換由兩步組成，先將圖像經(jīng)非下采樣金字塔分解濾波器分解為低頻圖像矩陣系數(shù)部分和高頻圖像矩陣系數(shù)部分，再由非下采樣方向性濾波器將高頻圖像矩陣系數(shù)部分分解為若干個(gè)子帶方向，如圖3所示。

在NSP分解過(guò)程中由于沒(méi)有下采樣環(huán)節(jié)，則使得NSCT變換具備了平移不變性，這就增強(qiáng)了圖像特征信息的方向選擇性，并在多尺度多方向上更好地實(shí)現(xiàn)了紋理特征的描述。

因?yàn)樯鲜鰞蓚€(gè)步驟中已經(jīng)全部去除了濾波器組的下采樣因子，圖像的錯(cuò)位也就不再出現(xiàn)，這就是該變換滿(mǎn)足平移不變性的原因。運(yùn)用該變換進(jìn)行圖像的NSCT變換分解后，同Contourlet變換一樣，也會(huì)得到一個(gè)低頻子帶和若干個(gè)高頻子帶，而且隨著子帶層數(shù)的增加，細(xì)節(jié)就實(shí)現(xiàn)了逐級(jí)放大。

將JAFEE人臉表情庫(kù)中的一幅圖像進(jìn)行NSCT變換三層分解之后，變換分解結(jié)果則如圖4所示，仔細(xì)觀(guān)察圖像的細(xì)微之處，由此可知，低頻子帶的圖像系數(shù)矩陣主要描述了人臉五官的基本輪廓，對(duì)原始圖像進(jìn)行了低頻濾波之后，圖像變得模糊不清，而高頻子帶的圖像系數(shù)矩陣則主要描述了人臉五官的更細(xì)節(jié)的輪廓及紋理等信息。如第二層四個(gè)方向上的高頻子帶信息較為細(xì)膩地從不同方向描述了口、眼、鼻子的細(xì)節(jié)特征，驗(yàn)證了隨著子帶層數(shù)的增加，細(xì)節(jié)紋理等被逐漸放大的效果事實(shí)；其他可如第三層高頻子帶信息則描述了更加細(xì)微的對(duì)光照等外部因素魯棒性強(qiáng)的細(xì)節(jié)特征。在采用支持向量機(jī)或者極限學(xué)習(xí)機(jī)進(jìn)行分類(lèi)的時(shí)候，考慮該變換的平移不變性，分解次數(shù)太多會(huì)導(dǎo)致維數(shù)災(zāi)難。另外，也進(jìn)一步考慮到各層子帶所描述和包含的信息量，研究擇取三層NSCT變換分解，且設(shè)定各層方向數(shù)目為2，4，2的時(shí)候，較為理想。

3 非下采樣Contourlet變換表情識(shí)別

在人臉表情識(shí)別系統(tǒng)中，人臉的每個(gè)部位對(duì)表情識(shí)別的貢獻(xiàn)率是不同的。研究表明，眼睛和嘴唇部位，對(duì)人臉表情的識(shí)別，起著決定性的作用。因此，本算法將人臉表情分割成含有豐富表情的眼睛部位和嘴唇部位兩個(gè)區(qū)域開(kāi)展研究。本文在人臉表情識(shí)別技術(shù)中使用了NSCT算法，先用該算法進(jìn)行人臉表情關(guān)鍵區(qū)域的特征選擇，其中，在人臉表情的非下采樣Contourlet特征融合之后，因?yàn)榫S數(shù)較大（如選取JAFFE人臉表情庫(kù)的210幅圖片，特征提取并融合后可達(dá)210*101025維），直接帶入分類(lèi)器的話(huà)，會(huì)引發(fā)維數(shù)災(zāi)難，而且會(huì)顯著降低分類(lèi)器的分類(lèi)效率。為此，在把特征提取之后的數(shù)據(jù)引入分類(lèi)器之前，應(yīng)先進(jìn)行數(shù)據(jù)壓縮，以避免維數(shù)災(zāi)難。本文引入PCA方法進(jìn)行維數(shù)約簡(jiǎn)。然后調(diào)用主成分分析算法進(jìn)行特征提取，最后采用極限學(xué)習(xí)機(jī)（extreme learning machine，簡(jiǎn)稱(chēng)ELM）進(jìn)行表情分類(lèi)，并與BP神經(jīng)網(wǎng)絡(luò)[6]分類(lèi)算法進(jìn)行識(shí)別正確率和識(shí)別效率的對(duì)比。

在此，給出非下采樣Contourlet變換表情識(shí)別的原理實(shí)現(xiàn)框架，具體如圖5所示。

4 極限學(xué)習(xí)機(jī)

2004年，新加坡南洋理工大學(xué)的黃廣斌副教授研究極限學(xué)習(xí)機(jī)（Exteme Learning Machine，ELM）算法。這是一種簡(jiǎn)單小巧、高效可靠的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，比如BP神經(jīng)網(wǎng)絡(luò)，不僅容易產(chǎn)生局部最優(yōu)解，而且在訓(xùn)練時(shí)，還需要人為設(shè)置大量的訓(xùn)練參數(shù)。極限學(xué)習(xí)機(jī)則具有學(xué)習(xí)速度快且泛化性能好的優(yōu)點(diǎn)，這是因?yàn)樵撍惴鞒毯?jiǎn)潔在只需要提前設(shè)置網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目，在算法運(yùn)行過(guò)程中將不再需要調(diào)整網(wǎng)絡(luò)的輸入權(quán)值和隱元的偏置大小，而且算法最終只會(huì)產(chǎn)生唯一的最優(yōu)解。因此，近年來(lái)，ELM已經(jīng)成為神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域的一個(gè)研究熱點(diǎn)，并成功應(yīng)用于手寫(xiě)數(shù)字識(shí)別、人臉識(shí)別、時(shí)間序列預(yù)測(cè)等領(lǐng)域。以下介紹ELM算法的工作原理。

已知給定N個(gè)不同的樣本D={（xi ，yi）|xi Rn， yi Rn }， i=1，2，3，…，M。ELM算法是前饋神經(jīng)網(wǎng)絡(luò)，主要用于訓(xùn)練單隱含層，這點(diǎn)與BP神經(jīng)網(wǎng)絡(luò)不同，BP神經(jīng)網(wǎng)絡(luò)可以手動(dòng)設(shè)置隱含層數(shù)目。那么，該神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型可以表述為：

在式（3）中，行代表訓(xùn)練樣本所有隱結(jié)點(diǎn)的輸出。ELM算法是一種速度極快的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。其算法設(shè)計(jì)原理可以分析總結(jié)為如下幾步：

第一步，通過(guò)隨機(jī)初始化的方式，對(duì)偏置 和權(quán)值 進(jìn)行隨機(jī)賦值。需要說(shuō)明的是，這一步由于不需要調(diào)整網(wǎng)絡(luò)的輸入權(quán)值和隱元的偏置大小，就大大提高了ELM算法的運(yùn)行速度。

第二步，計(jì)算隱含層輸出矩陣H。利用公式（4），求得訓(xùn)練樣本所有隱節(jié)點(diǎn)的輸出，并將其計(jì)算成矩陣的形式。

第三步，近似求解權(quán)值 。利用公式 ，即可求得計(jì)算隱含層到輸出層的權(quán)值。

5實(shí)驗(yàn)結(jié)果

運(yùn)用非下采樣Contourle變換的方法，對(duì)人臉表情圖像進(jìn)行特征提取，并用PCA算法進(jìn)行特征選擇，最后以BP神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)進(jìn)行分類(lèi)。本章實(shí)驗(yàn)中所使用的數(shù)據(jù)庫(kù)是日本的JAFFE表情庫(kù)，該圖像庫(kù)由有10個(gè)女性的7種表情（生氣、厭惡、恐懼、高興、悲傷、驚訝和中性），共計(jì)213幅圖像組成。本算法選取每人每種表情3幅，七種表情共210幅表情圖像來(lái)進(jìn)行實(shí)驗(yàn)。將每幅人臉表情圖像經(jīng)過(guò)幾何歸一化、直方圖均衡化等預(yù)處理后，可以得到每幅像素點(diǎn)為130×130的統(tǒng)一大小的圖像。實(shí)驗(yàn)采用三層NSCT變換分解，且各層方向數(shù)目為2，4，2，并將“PKVA”作為默認(rèn)的濾波器。所以，每張人臉表情經(jīng)變換后可以得到7個(gè)子帶特征信息。為了做到與人無(wú)關(guān)的表情識(shí)別，在表情的分類(lèi)環(huán)節(jié)，引入BP神經(jīng)網(wǎng)絡(luò)和ELM算法進(jìn)行對(duì)照試驗(yàn)，并且隨機(jī)選擇每類(lèi)表情的25幅表情圖像作為訓(xùn)練集，其余5幅表情圖像作為測(cè)試集。實(shí)驗(yàn)中BP神經(jīng)網(wǎng)絡(luò)和ELM算法的激勵(lì)函數(shù)都是S型函數(shù)。實(shí)驗(yàn)重復(fù)10次以降低隨機(jī)性。

由表1可以看出，經(jīng)過(guò)非下采樣Contourle變換提取后，使用極限學(xué)習(xí)機(jī)的表情分類(lèi)平均準(zhǔn)確率可達(dá)86.57%，比使用BP神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法平均準(zhǔn)確率高出7.43%。而在執(zhí)行時(shí)間方面，結(jié)果對(duì)比如表2所示，BP神經(jīng)算法執(zhí)行十次的平均時(shí)間為6.82s而，ELM算法僅為0.92s，因此可知，極限學(xué)習(xí)機(jī)的速度達(dá)到了BP神經(jīng)網(wǎng)絡(luò)的11.09倍，由這一結(jié)果已然明顯可見(jiàn)ELM算法的高速性和高效性。

本文還分析了各類(lèi)表情識(shí)別的相關(guān)分布，如表3所示?？梢钥吹?，分類(lèi)正確率最低的是恐懼和厭惡，各自只有76%和80%。在恐懼表情的分類(lèi)中，表情大多被錯(cuò)分為厭惡和憤怒，在厭惡表情的分類(lèi)中，表情大多被錯(cuò)分為憤怒和恐懼。因此證明了這四種表情在JAFFE庫(kù)上的表情單元的相近性，以致于無(wú)法使用NSCT變換提取出精確的表情特征。

在六種基本表情的實(shí)驗(yàn)分類(lèi)結(jié)果中，可以通過(guò)繪制直方圖來(lái)更加簡(jiǎn)明地進(jìn)行對(duì)比分析，如圖6所示。各類(lèi)表情中分類(lèi)正確率最高的憤怒、驚奇和高興，對(duì)應(yīng)達(dá)到了96%，96%和90%。相對(duì)來(lái)說(shuō)，各種表情的識(shí)別率都已達(dá)到了較高范疇，這也在整體上表明了本算法在實(shí)現(xiàn)表情正確分類(lèi)上的有效性。

本文所提方法比已有的研究方法在識(shí)別效果上提高了8%～12%，具體如表4所示，顯示了文獻(xiàn)報(bào)道中不同的方法在JAFFE表情數(shù)據(jù)庫(kù)中的識(shí)別率，可知本文所研究的方法的測(cè)試結(jié)果優(yōu)于文獻(xiàn)報(bào)道結(jié)果.進(jìn)一步表明了本算法的有效性。

6 結(jié)束語(yǔ)

本文研究將NSCT變換用于人臉表情的特征提取，并且使用極限學(xué)習(xí)機(jī)進(jìn)行分類(lèi)，而后又將實(shí)驗(yàn)結(jié)果與BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行對(duì)比。詳細(xì)描述了實(shí)驗(yàn)結(jié)果中各類(lèi)表情的識(shí)別率，通過(guò)各類(lèi)表情識(shí)別率都比較高這一結(jié)果事實(shí)，表明了本方法的有效性和高效性。

NSCT算法中，并沒(méi)有對(duì)NSCT各層分解方向數(shù)目做具體的探討；在表情分類(lèi)時(shí)，ELM算法和BP神經(jīng)網(wǎng)絡(luò)各自的參數(shù)尋優(yōu)也并未是實(shí)現(xiàn)深化，因此對(duì)NSCT算法各層分解方向數(shù)目做具體的探討，并進(jìn)行深化的參數(shù)尋優(yōu)，則有望進(jìn)一步提高人臉表情研究的識(shí)別效果。

參考文獻(xiàn)：

[1] HUANG G， ZHOU H. Extreme learning machine for regression and multiclass cassification[J]. Systems，Man， and Cybernetics，PartB Cybernetics， IEEE Transactions on， 2012，42（2）：513-529.

[2] ZUO Kunlong ，LIU Wenyao. Facial expression recognion using active appearance models[J ] . Journal of Optoelectronics ·La ser （光電子·激光） ，2004 ，15 （7） ： 853-857.

[3] CHANG Ya， HU Changbo， TURK M.Probabilistic expression analysis on Manifolds[C]//Proc.of Conference on Computer Vision and Pattern Recognition， Washington D. C.， USA： [s. n.]， 2004.

[4]朱健翔， 蘇光大， 李迎春. 結(jié)合Gabor特征與Adaboost的人臉表情識(shí)別[J]. 光電子：激光， 2006， 17（8）：993-998.

[5] Littlewort G， Bartlett M S， Fasel I， et al. Analysis of machine learning methods for real-time recognition of facial expressions from video[J]. Computer Vision & Pattern Recognition， 2004.

[6] 喬杉. 基于BP神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法研究[D]. 武漢：中國(guó)地質(zhì)大學(xué)， 2014.