基于LabVIEW 的面部表情識別系統(tǒng)的設(shè)計

王 桔，丁 銳，洪 梅

(長春大學(xué)電子信息工程學(xué)院，長春130011)

基于LabVIEW 的面部表情識別系統(tǒng)的設(shè)計

王 桔，丁 銳，洪 梅

(長春大學(xué)電子信息工程學(xué)院，長春130011)

針對傳統(tǒng)界面表現(xiàn)不清晰，編程語句繁瑣的問題，基于LabVIEW軟件設(shè)計了系統(tǒng)的面部表情識別界面。對面部表情識別系統(tǒng)設(shè)計中的關(guān)鍵問題進行探討，利用Matlab，應(yīng)用離散小波理論算法進行表情圖像特征提取，并采用彈性模版匹配算法進行情緒識別。實驗結(jié)果表明，基于LabVIEW的面部表情識別系統(tǒng)，應(yīng)用LabVIEW軟件簡單的語句設(shè)計了清晰互動的界面，其識別率可達到85%以上。

面部表情;情緒識別;小波算法;彈性模版匹配;界面設(shè)計

0 引 言

隨著信息技術(shù)不斷發(fā)展，心理學(xué)領(lǐng)域中的計算機技術(shù)應(yīng)用亦取得了長足進步。其中根據(jù)表情識別判斷人們的情緒，實施心理分析，是計算機模式識別技術(shù)中一個最重要突破［1，2］。情緒是人類心理活動的綜合反映，在影響和控制個人的行為中具有舉足輕重的作用，人類的一切言行在很大程度上受情緒左右［3］。心理學(xué)家Mehrabian認為，情緒表達=7%語言+38%語調(diào)+55%面部表情，可見人臉表情與情緒表達具有十分密切的關(guān)系［4］。應(yīng)用計算機技術(shù)將人臉面部表情量化處理，提取能反映情緒的量化因子，進行情緒識別，以研究人類行為的規(guī)律與導(dǎo)向，這正是表情識別研究的意義所在［5，6］。

目前表情識別技術(shù)成為心理學(xué)，應(yīng)用計算機技術(shù)領(lǐng)域的研究熱點，表情識別系統(tǒng)的關(guān)鍵特征算法多種多樣，層出不窮，而且界面全都是基于傳統(tǒng)編程語言編輯進行設(shè)計的，既繁瑣累贅，系統(tǒng)界面也不鮮明，不夠人性化［7，8］。筆者對面部表情識別系統(tǒng)設(shè)計中的關(guān)鍵問題展開探討，應(yīng)用離散小波變換提取表情特征，可更好地將面部細微表情紋理提取，保留更多的細結(jié)。界面設(shè)計并應(yīng)用目前最為流行的LabVIEW軟件設(shè)計此表情識別系統(tǒng)界面，使該系統(tǒng)界面更加形象、生動。

1 表情識別系統(tǒng)設(shè)計

表情識別技術(shù)的流程如圖1所示。圖像的獲取采用日本JAFFE(Japanese Female Facial Expression Database)表情數(shù)據(jù)庫的圖像做為依據(jù)，為解決因光線強弱不同造成的圖像清晰度問題，首先要進行預(yù)處理;獲得較清晰的表情圖像效果，在Matlab下用離散小波算法提取圖像中含有表情信息的特征因子;最后通過分類識別，輸出圖像表情結(jié)果。

圖1 表情識別系統(tǒng)流程圖Fig.1 Facial expression recognition chart

1.1 圖像的預(yù)處理

由于光照或其他噪聲干擾等問題而引起圖像質(zhì)量不高，所以，在進行表情識別前要對表情圖像進行預(yù)處理。此識別系統(tǒng)分別加入了表情圖片的灰度提取，對灰度進行二值化轉(zhuǎn)換，并通過直方圖均衡化能自適應(yīng)地有效改善圖像對比度不足問題。筆者主要在Matlab軟件下應(yīng)用直方圖的均衡化進行表情圖像預(yù)處理［9］。以憤怒表情為例，處理前后的直方圖如圖2所示。通過比較可以看到，歸一化的直方圖不再均勻，直方圖均衡化后的圖像增強，排列變得不再均勻，使圖像的細節(jié)更加清晰。

圖2 未處理的直方圖和處理后的直方圖Fig.2 Unprocessed and procassed histogram

1.2 圖像表情的特征提取

圖像表情的特征提取是表情識別系統(tǒng)中最關(guān)鍵步驟。筆者應(yīng)用小波變換對表情圖像進行特征提取。利用離散小波變換對數(shù)字圖像進行多分辨率觀察和處理時，除了可有效、高度直觀地描述框架以及分辨率圖像存儲外，還有利于深入了解圖像的空間域和頻域特性［10］。

當系統(tǒng)輸入一個大小為M×N的圖像時，其離散變換T(u，v，…)，可表示為

其中x，y是空間變量，u，v，…是變換域變量。若給定T(u，v，…)，則f(x，y)可用一般的離散反變換

得到。其中g(shù)u，v和hu，v分別稱為正變換核和反變換核。它們決定了變換對的性質(zhì)、計算復(fù)雜度和主要用途。變換系數(shù)T(u，v，…)可看做f關(guān)于{hu，v，…}的一系列展開系數(shù)。反變換核對于f的序列展開定義一組展開函數(shù)。因此，任意函數(shù)的離散小波變換為

對憤怒、高興、悲傷、驚訝、厭惡和恐懼6種基本表情進行離散小波變換處理后得到的特征圖像如圖3所示。處理后的特征表情為后期的表情分類工作提供了更好的表征表情特征的特征向量。

圖3 表情特征圖像Fig.3 Expression feature image

2 表情識別系統(tǒng)的實現(xiàn)

2．1 彈性圖識別

筆者對提取出的表情特征圖像進行分類識別應(yīng)用的算法為彈性圖匹配識別法。彈性圖匹配是面部關(guān)鍵特征定位的一種重要算法。其基本思想是:在圖像上選取一些特征點建立具有一定拓撲結(jié)構(gòu)的彈性模板，提取每個節(jié)點的特征矢量，定義相似度函數(shù)計算特征矢量以及拓撲結(jié)構(gòu)的相似程度，通過追求相似度的最大化完成彈性圖匹配［11］。彈性圖特征點如圖4所示。

圖4 彈性圖特征點Fig.4 Elastography feature points

2．2 表情識別界面的設(shè)計

筆者應(yīng)用Matlab和LabVIEW軟件進行混合編程實現(xiàn)表情識別系統(tǒng)。將Matlab對表情的處理程序嵌入到LabVIEW中去。目前Matlab和LabVIEW軟件是工程運算中最流行的兩款軟件，LabVIEW是美國NI公司開發(fā)的基于圖形化編程語言的開發(fā)程序，該圖形化編程語言清晰簡明，通過LabVIEW軟件設(shè)計，使表情識別系統(tǒng)界面變得更加豐富多彩，也改善了傳統(tǒng)應(yīng)用編程語言編輯界面的繁瑣和累贅。筆者應(yīng)用LabVIEW軟件設(shè)計了3個可選擇的面板，進行圖像獲取、圖像預(yù)處理及表情識別3個步聚。圖像獲取前面板如圖5所示。圖像預(yù)處理前面板如圖6所示。表情識別前面板如圖7所示。

圖5 圖像獲取前面板Fig.5 The front panel of image acquisition

圖6 圖像預(yù)處理前面板Fig.6 The front panel of image preprocessing

圖7 表情識別前面板Fig.7 The front panel of expression acquisition

2.3 LabVIEW調(diào)用Matlab程序

筆者借助Matlab強大的圖像處理功能，對獲取的表情圖片進行預(yù)處理，再應(yīng)用其內(nèi)部的小波分析工具箱中的離散小波分析得到表情圖像的特征。在 LabVIEW中調(diào)用 Matlab處理程序，調(diào)用過程為LabVIEW中的Funcion(函數(shù))模塊-數(shù)學(xué)-角本與公式-腳本節(jié)點-Matlab腳本，LabVIEW調(diào)用Matlab程序的角本文件部分程序如圖8所示。

圖8 角本文件部分程序Fig.8 Part of scrip program

3 實驗結(jié)果分析

筆者應(yīng)用彈性模版匹配方法而得到的特征表情識別率結(jié)果如表1所示。

表1 特征表情識別率Tab.1 Expression recognition rates

從表1可以看出，高興的識別率最高，厭惡和驚訝的識別率相對低一些，與人們?nèi)粘Ｃ娌勘砬榈姆謩e關(guān)系不大。

4 結(jié) 語

面部表情識別系統(tǒng)是一項有待深入研究的課題，其中表情因子提取與模式識別算法是系統(tǒng)研究中的關(guān)鍵內(nèi)容。筆者所做的工作是將LabVIEW及Matlab兩款工程軟件混合編程;在表情特征識別中應(yīng)用小波分析工具箱對表情圖像進行預(yù)處理及表情特征提取;應(yīng)用彈性模版匹配法進行相應(yīng)表情的識別;最后應(yīng)用LabVIEW豐富完美的圖形化軟件給出友好的界面。實驗結(jié)果表明，該系統(tǒng)的識別率在85%以上。未來的工作將側(cè)重于在系統(tǒng)中融入生理信號，提高面部表情與心理活動的一致性。

［1］韓金霖.一種改進的人臉表情識別方法研究［D］.重慶:西南大學(xué)電子與通信工程學(xué)院，2012:204-206. HAN Jinlin.An Improved Method for Facial Expression Recognition Research［D］.Chongqing:Institute of Electronic and Communication Engineering，Southwest University，2012:204-206.

［2］姜銳.人臉表情識別系統(tǒng)的研究與實現(xiàn)［D］.杭州:浙江理工大學(xué)計算機工程學(xué)院，2013:102-105. JIANG Rui.Facial Expression Recognition System Research and Implementation［D］.Hangzhou:Institute of Computer Engineering，Zhejiang University of Technology，2013:102-105.

［3］HARA F，KOBAYASHIH.State of the Art in Component Development for Interactive Communication with Humans［J］. Advanced Robotics，1997，11(6):585-604.

［4］NAGAMACHIM.Kansei Engineering:A New Ergonomic Consumer-Oriented Technology for Product Development［J］. International Journal of Industrial Ergonomics，1995，16(3):502-506.

［5］KORT B，REILLY R，PCARD R.An Affective Modelof Interplay between Emotions and Learning:Reengineering Educational Pedagogy-Building a Learning Companion［C］∥IEEE International Conference on Advanced Learning Technologies.［S.l.］: IEEE，2001:1022-1024.

［6］PINHANEZC S.The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces［C］∥Proceedings of the 3rdInternational Conference on Ubiquitous Computing.Beijing，China:China Association for Science and Technology，2001:315-331.

［7］胡陽明，周大可，鹿東.基于形變模型的三維人臉快速重建改進算法［J］.吉林大學(xué)學(xué)報:信息科學(xué)版，2012，30(6):606-609. HU Yangming，ZHOU Dake，LU Dong.Improved 3D Fast Face Reconstruction Algorithm Based on Morphable Model［J］. Journal of Jilin University:Information Science Edition，2012，30(6):606-609.

［8］馬光凱.基于多特征融合的人臉識別算法研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)計算機技術(shù)學(xué)院，2012:204-205. MA Guangkai.Face Recognition Algorithm Based on Multiple Features Fusion Research［D］.Harbin:Institute of Computer Technology，Harbin Industrial University，2012:204-205.

［9］牛曉偉.一種能識別情感狀態(tài)的遺傳算法及應(yīng)用［J］.蘭州理工大學(xué)學(xué)報，2010，36(4):94-97. NIU Xiaowei.One Can Identify the Emotional State of Genetic Algorithm and Its Application［J］.Journal of Lanzhou University of Technology，2010，36(4):94-97.

［10］崔景霞.小波變換在人臉表情識別研究中的應(yīng)用［J］.長春理工大學(xué)學(xué)報:自然科學(xué)版，2011，28(3):230-214. CUI Jingxia.The Application of Wavelet Transform in Facial Expression Recognition Research［J］.Journal of Changchun University of Science and Technology:Natural Science Edition，2011，28(3):230-214.

［11］梁路宏，艾海舟，何克忠.基于多模板匹配的單人臉檢測［J］.中國圖像圖形學(xué)報，1999，4(10):825-829. LIANG Luhong，AIHaizhou，HE Kezhong.Single Face Detection Based on Template Matching［J］.Chinese Journal of Image and Graphics，1999，4(10):825-829.

(責任編輯:張潔)

Design of Facial Expression Recognition System Based on LabVIEW

WANG Ju，DING Rui，HONG Mei

(College of Electronic and Information Engineering，Changchun University，Changchun 130011，China)

The traditional interface performance is not clear，and the programming statements are tedious.We design the interface of facial expression recognition system based on the NI company LabVIEW software，and discuss the key problems in the design of facial expression recognition system，then use efficient Matlab processing software engineering，to extract expression image feature，using the theory of discrete wavelet algorithm and the of flexible templatematching algorithm is used to identify the emotion.The experimental results show that the design based on LabVIEW facial expression recognition system uses the LabVIEW software simple statement to design a clear interactive interface，and the recognition rate can reach more than 85%.

facial expression; emotion recognition; wavelet algorithms; flexible template matching; interface design

TP391

A

1671-5896(2015)06-0714-05

2015-02-06

吉林省自然科學(xué)基金資助項目(201215110)

王桔(1980— )，女，長春人，長春大學(xué)講師，博士，主要從事電子與通信工程、表情情緒識別研究，(Tel)86-18704481358(E-mail)youyou8221@aliyun.com。