基于鄰域粗糙集與量子遺傳算法的人臉表情特征選擇方法

馮 林， 李 聰， 沈 莉

（四川師范大學(xué) 計(jì) 算機(jī)科學(xué)學(xué)院，四川 成 都 610068）

0 引 言

近年來(lái)，自然人機(jī)交互技術(shù)日益成為人工智能研究領(lǐng)域的熱點(diǎn)，賦予計(jì)算機(jī)情感能力的研究得到廣泛重視［1］。從心理學(xué)的觀點(diǎn)看，表情是情感的主觀體驗(yàn)的外部表現(xiàn)模式，人的表情主要有面部表情、語(yǔ)言聲調(diào)表情和身體姿態(tài)表情3種方式。由于面部表情包含了豐富的情感信息，是人類情感交流的一個(gè)最重要載體，也是人們理解情感的重要途徑，因此，面部情感的識(shí)別已成為情感計(jì)算中的一個(gè)重要研究課題，它是實(shí)現(xiàn)自然、和諧、擬人化的人機(jī)交互的必要環(huán)節(jié)之一［2－3］。

一般來(lái)說(shuō)，面部表情識(shí)別系統(tǒng)通常包括人臉檢測(cè)、表情特征提取、特征選擇（即屬性約簡(jiǎn)）和模式分類4部分。對(duì)人臉進(jìn)行檢測(cè)或跟蹤確定人臉的位置是人臉檢測(cè)研究的重要內(nèi)容。目前，對(duì)于無(wú)大幅度晃動(dòng)的正面人臉圖像，基于Haar特征及Adaboost的人臉檢測(cè)及臉部器官定位算法能夠根據(jù)人臉及眼睛的準(zhǔn)確定位，得到嘴巴、額頭和眉毛的位置［4］。表情特征提取的關(guān)鍵是為了獲取便于計(jì)算機(jī)處理且能較好刻畫圖像中人臉表情的特征。有關(guān)表情特征提取方面的眾多方法中，基于幾何特征的方法與基于外觀特征方法是常用的2種方法［5］。特征選擇可以刪除冗余特征，保留對(duì)表情分類有用的重要特征；同時(shí)可以提高表情識(shí)別系統(tǒng)的實(shí)時(shí)性，而實(shí)時(shí)性對(duì)于表情識(shí)別系統(tǒng)是非常重要的，常用的特征選擇方法有個(gè)人計(jì)算機(jī)助 理 （Persoral Computer Assistant，簡(jiǎn) 稱PCA）、粗糙集理論等［6－7］。模式分類的關(guān)鍵是設(shè)計(jì)出能得到較高正確識(shí)別率的人臉表情識(shí)別方法。常用的模式分類方法有隱馬爾可夫模型（HMM）、人工神經(jīng)網(wǎng)絡(luò)（ANN）、貝葉斯及支持向量機(jī)等［8］。

文獻(xiàn)［7］建立了一個(gè)由33個(gè)面部表情幾何特征構(gòu)成的人臉表情特征數(shù)據(jù)，并提出了基于經(jīng)典粗糙集理論的特征選擇（屬性約簡(jiǎn)）與表情分類方法。由于人臉表情特征數(shù)據(jù)是一個(gè)典型的連續(xù)值信息系統(tǒng)，用經(jīng)典的粗糙集理論對(duì)連續(xù)值信息系統(tǒng)進(jìn)行特征選擇時(shí)，首先需要對(duì)連續(xù)值數(shù)據(jù)進(jìn)行離散化處理，但離散化的過(guò)程可能導(dǎo)致信息的丟失，進(jìn)而會(huì)影響到表情分類結(jié)果。目前，已有模糊粗糙集、鄰域粗糙集模型等［9－10］有效方法解決這一問(wèn)題。

研究證明，特征選擇的復(fù)雜度隨決策表?xiàng)l件屬性個(gè)數(shù)的增長(zhǎng)呈指數(shù)增長(zhǎng)，是一個(gè)典型的NP問(wèn)題。而遺傳算法（Genetic Algorithm，簡(jiǎn)稱GA）［11］具有全局搜索和隱含并行性，能夠處理傳統(tǒng)優(yōu)化方法難以解決的問(wèn)題等優(yōu)點(diǎn)，因此將其用于特征選擇可以避免因特征個(gè)數(shù)多而產(chǎn)生NP問(wèn)題。但傳統(tǒng)GA算法在實(shí)際應(yīng)用中存在迭代次數(shù)多、收斂速度慢、易陷于局部極值和過(guò)早收斂等一些不足。因此，用量子遺傳算法（Quantum Genetic Algorithm，簡(jiǎn)稱QGA）彌補(bǔ)傳統(tǒng)GA算法的缺陷，解決實(shí)際應(yīng)用中的優(yōu)化問(wèn)題受到了廣泛關(guān)注［12－13］。

本文首先對(duì)人臉表情幾何特征的提取方法進(jìn)行了擴(kuò)展，根據(jù)鄰域粗糙集理論，并結(jié)合量子遺傳算法，提出了一種新的表情特征選擇方法 （Feature Selection based on Neighborhood Rough Set Theory and Quantum Genetic Algorithm，簡(jiǎn)稱FSNRSTQGA），并進(jìn)行了仿真實(shí)驗(yàn)，得出了較好的實(shí)驗(yàn)結(jié)果。

1 人臉表情數(shù)據(jù)的特征提取

人臉表情特征提取在表情識(shí)別中處于核心地位，直接關(guān)系到表情識(shí)別率的高低。文獻(xiàn)［7］基于人臉幾何特征，提出了52個(gè)與面部表情特征相關(guān)的特征點(diǎn)，如圖1所示。并對(duì)眼睛、鼻子、眉毛及嘴等的位置變化進(jìn)行定位、測(cè)量，確定其大小、距離、形狀及相互比例等特征，建立了一種新穎的人臉表情特征提取方法?；谖墨I(xiàn)［7］提出的人臉面部特征點(diǎn)，并考慮到面部表情的細(xì)微性與幾何特征的可測(cè)量性，本文對(duì)該人臉表情幾何特征進(jìn)行了擴(kuò)展，擴(kuò)展后的表情特征包括35個(gè)距離特征，其定義見表1所列。

圖1 52個(gè)面部特征點(diǎn)

表1 擴(kuò)展的人臉表情幾何特征的定義

表1中，A點(diǎn)為19和23的中點(diǎn)；B點(diǎn)為27和31的中點(diǎn)；dis（i，j）表示點(diǎn)i到點(diǎn)j的歐氏距離；hei（i，j）表示點(diǎn)i到點(diǎn)j的垂直距離；wid（i，j）表示點(diǎn)i到點(diǎn)j的水平距離。

2 表情特征選擇方法

2.1 量子染色體

在QGA算法中，最小信息單元用量子位（量子比特，qubit）表示。一般地，一個(gè)量子位的狀態(tài)可取0或1，又可以表示它們?nèi)我獾木€性疊加，可定義為：

其中，｜0〉和｜1〉分別表示自旋向下和自旋向上2種狀態(tài)；α、β為相應(yīng)狀態(tài)出現(xiàn)概率的2個(gè)復(fù)數(shù)，分別表示｜0〉和｜1〉的概率幅，滿足的條件為：

一個(gè)具有m個(gè)量子比特位的系統(tǒng)描述為：

其中，｜αi｜2＋｜βi｜2＝1，i＝1，2，…，m。

2.2 量子變異

在QGA算法中，用量子旋轉(zhuǎn)門的旋轉(zhuǎn)角度來(lái)表征量子染色體的變異，進(jìn)而在變異中加入最優(yōu)個(gè)體的信息，加快算法收斂。其定義為：

2.3 量子交叉操作

量子遺傳算法中，搜索性主要通過(guò)交叉和變異實(shí)現(xiàn)。本文采用全干擾交叉來(lái)克服算法的早熟現(xiàn)象。在這種交叉操作中，種群中所有染色體均參與交叉，具體交叉操作見文獻(xiàn)［12］。

2.4 適應(yīng)度函數(shù)的選擇

量子遺傳算法在優(yōu)化搜索中以適應(yīng)度函數(shù)為尋優(yōu)準(zhǔn)則，適應(yīng)度函數(shù)依據(jù)目標(biāo)問(wèn)題而定。量子遺傳算法對(duì)適應(yīng)度函數(shù)的要求為：該函數(shù)不能為負(fù)，且任何情況下適應(yīng)度函數(shù)值越大越好。本文適應(yīng)度函數(shù)基于鄰域粗糙集理論［10］，并擴(kuò)展適應(yīng)度函數(shù)［13］的定義如下。

定義1 給定決策表S＝ （U，C∪D，V，f），

其中，｜pj｜為pj中所含的條件屬性個(gè)數(shù)；｜C｜為S中條件屬性的個(gè)數(shù)；δ為鄰域閾值；（D）為鄰域粗糙集理論中C對(duì)D的δ分類精度［10］。

（4）式能保證當(dāng)（D）與（D）接近時(shí)，f（pj）充分大，反之，f（pj）越??；當(dāng)（D）＝（D）且｜pj｜取最小值時(shí)，f（pj）取最大值。因此，在求解S中最小相對(duì)約簡(jiǎn)時(shí)保持條件屬性子集pj對(duì)決策屬性D的δ近似分類質(zhì)量（或分類能力）不變的條件下，f（pj）具有所保留的條件屬性最少的特點(diǎn)。

2.5 表情特征選擇方法的運(yùn)算步驟

算法1 FSNRSTQGA方法。

輸入：S，種群規(guī)模n，最大迭代次數(shù)maxgen；輸出：S的一個(gè)特征子集。

（1）種群P＝ ｛p1，p2，…，pn｝，進(jìn)化代數(shù)初始值g＝0，其中pj（j＝1，2，…，n）為種群中的第j個(gè)個(gè)體，將pj中的所有基因（α，β）均初始化為其中C和D分別稱為連續(xù)值條件屬性集和決策屬性集。對(duì)種群規(guī)模P＝ ｛p1，p2，…，pn｝中的每個(gè)個(gè)體pj（j＝1，2，…，n），其適應(yīng)度函數(shù)f（pj）為：

（2）根據(jù)P中各個(gè)個(gè)體的概率幅構(gòu)造出量子疊加 態(tài) 的 觀 測(cè)態(tài)R，R＝ ｛a1，a2，…，an｝，其 中aj（j＝1，2，…，n）為每個(gè)個(gè)體的觀測(cè)態(tài)，且為一個(gè)長(zhǎng)度為m的二進(jìn)制串，即aj＝b1b2…bm。隨機(jī)產(chǎn)生0與1之間的一個(gè)數(shù)r，若r＜｜αi｜2，則相應(yīng)的觀測(cè)值b為“0”；否則，相應(yīng)的觀測(cè)值b為“1”。

（3）用適應(yīng)度函數(shù)f（pj）對(duì)種群中的每個(gè)個(gè)體進(jìn)行評(píng)價(jià)，保留此代中的最優(yōu)個(gè)體。

（4）使用量子門和量子全干擾交叉更新策略更新各染色體，g＝g＋1；若滿足maxgen，則輸出特征選擇的結(jié)果，算法終止；否則，執(zhí)行步驟（2）。

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證FSNRSTQGA方法的效果，本文從Cohn－Kanade人臉表情庫(kù)中隨機(jī)選取了405個(gè)圖像樣本，包括中性、高興、驚奇、憤怒、悲傷、厭惡和恐懼共7種表情。由于Cohn－Kanade中并不是所有的人都有7種表情，每人的表情從2～7種不等。文中選取的405個(gè)樣本中包括67個(gè)中性表情，65個(gè)高興表情，68個(gè)驚奇表情，48個(gè)憤怒表情，58個(gè)悲傷表情，48個(gè)厭惡表情和51個(gè)恐懼表情。結(jié)合表1中的表情幾何特征，使用文獻(xiàn)［7］中的相關(guān)方法，可以得到405個(gè)樣本，35個(gè)幾何特征的連續(xù)值數(shù)據(jù)。為了減少因各屬性量綱不一致對(duì)結(jié)果的影響，本文所有連續(xù)值屬性用最大－最小值方法被標(biāo)準(zhǔn)化到［0，1］區(qū)間，其實(shí)驗(yàn)步驟如下。

（1）分別使用FSNRSTQGA方法和文獻(xiàn)［7］方法對(duì)表情數(shù)據(jù)集進(jìn)行屬性約簡(jiǎn)（特征選擇），并把約簡(jiǎn)后的表情數(shù)據(jù)作為SVM分類器的輸入，采用10折交叉驗(yàn)證的方法進(jìn)行測(cè)試，并輸出識(shí)別結(jié)果。

（2）把未經(jīng)過(guò)特征選擇的表情數(shù)據(jù)（即原始數(shù)據(jù)集）作為SVM分類器的輸入，采用10折交叉驗(yàn)證的方法進(jìn)行測(cè)試，并輸出識(shí)別結(jié)果。

FSRSTQGA方法具體的參數(shù)設(shè)置為：初始種群的數(shù)量為30，最大迭代次數(shù)700；支持向量機(jī)的參數(shù)設(shè)置為SVM Type：C－SVC，Kernel Function：RBF，Multiclass Method：one－against－one。在Cohn－Kanade人臉表情集上，由本文方法與文獻(xiàn)［7］方法得到的特征選擇（屬性約簡(jiǎn)）的結(jié)果分別為14、10。SVM分類的實(shí)驗(yàn)結(jié)果見表2所列。從表2可知，本文方法、文獻(xiàn)［7］方法和屬性未約簡(jiǎn)時(shí)SVM 的總識(shí)別率分別為85.4%、82.9%、86.2%。本文方法僅用較少的特征子集取得了與特征全集差不多的分類結(jié)果，說(shuō)明本文特征選擇方法是有效的。同時(shí)可以看出，不同類別的表情識(shí)別率相差較大，如悲傷的識(shí)別率較低，主要原因是悲傷情感與中性情感相互混淆，不易區(qū)分。

表2 不同方法SVM分類的實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

針對(duì)人臉表情的幾何特點(diǎn)，在前人研究工作的基礎(chǔ)上，本文對(duì)人臉表情幾何特征的提取方法進(jìn)行了擴(kuò)展，并結(jié)合量子遺傳算法與鄰域粗糙集理論，提出了一種人臉表情特征選擇方法FSNRSTQGA。在Cohn－Kanade人臉表情集上的實(shí)驗(yàn)表明，本文方法能有效地提取有利于表情分類的特征，獲得了較為滿意的結(jié)果。但由于人類情感過(guò)程的復(fù)雜性，如何設(shè)計(jì)更好的特征選擇算法［14］以建立反應(yīng)認(rèn)知科學(xué)、心理學(xué)等方面的情感特征選擇模型，仍有大量值得探索的課題。

［1］ Picard R W.Affective computing：from laughter to IEEE［J］.IEEE Transactions on Affective Computing，2010，1（1）：11－17.

［2］ 薛雨麗，毛 峽，郭 葉，等.人機(jī)交互中的人臉表情識(shí)別研究進(jìn)展［J］.中國(guó)圖象圖形學(xué)報(bào)，2009，14（5）：764－772.

［3］ 溫萬(wàn)惠，邱玉輝，劉光遠(yuǎn)，等.情感生理反應(yīng)樣本庫(kù)的建立與數(shù)據(jù)相關(guān)性分析［J］.中國(guó)科學(xué)：信息科學(xué)，2011，41（1）：77－89.

［4］ 魏 冉，姜 莉，陶霖密.融合人臉多特征信息的表情識(shí)別系統(tǒng)［J］.中國(guó)圖象圖形學(xué)報(bào)，2009，14（5）：792－800.

［5］ 山世光，高 文，陳熙霖.基于紋理分布和變形模板的面部特征提?。跩］.軟件學(xué)報(bào)，2001，12（4）：570－577.

［6］ Calvo R A，D＇Mello S.Affect detection：an interdisciplinary review of models，methods，and their applications［J］.IEEE Transactions on Affective Computing，2010，1（1）：18－37.

［7］ Chen P J，Wang G Y，Yang Y，et al.Facial expression recognition based on rough set theory and SVM［J］.Lecture Notes in Computer Science，2006，4062，772－777.

［8］ 陳培俊.基于靜態(tài)圖像的人臉表情識(shí)別研究［D］.成都：西南交通大學(xué)，2007.

［9］ 馮 林，王國(guó)胤.用于數(shù)據(jù)分析的可變精度模糊粗糙數(shù)據(jù)模型［J］.西南交通大學(xué)學(xué)報(bào)，2008，43（5）：582－587.

［10］ 胡清華，于達(dá)仁，謝宗霞.基于鄰域?；痛植诒平臄?shù)值屬性約簡(jiǎn)［J］.軟件學(xué)報(bào)，2008，19（3）：640－649.

［11］ Holland J H.Adaptation in natural and artificial systems［M］.Cambridge：MIT Press，1975：12－25.

［12］ 焦李成，杜海峰，劉 芳，等.免疫優(yōu)化計(jì)算、學(xué)習(xí)與識(shí)別［M］.北京：科學(xué)出版社，2006：253－287.

［13］ 馮 林.一種基于量子遺傳算法與粗糙集理論的屬性約簡(jiǎn)法［J］.信息與控制，2011，40（2）：198－201.

［14］ 李 菊，劉曉平，謝從華.改進(jìn)的特征選擇算法在形狀分析中的應(yīng)用［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，35（3）：334－336.