人臉及特征點檢測方法綜述

胡 健，左艷超

（北方工業(yè)大學，北京 100144）

人臉及特征點檢測方法綜述

胡 健，左艷超

（北方工業(yè)大學，北京 100144）

人臉及特征點檢測計算機視覺領(lǐng)域有著非同尋常的地位，同時還在人工智能交互、視頻會議、鑒別身份、汽車安全行駛等方面有著非常廣闊的研究價值。由于在計算機視覺下，動態(tài)圖像中存在人臉的大小不確定、面部表情變化多樣、背景復(fù)雜、光照多變等影響因素，人臉特征點檢測的準確性變得至關(guān)重要。文章介紹了幾種人臉及特征點常用方法。

人臉檢測；特征點檢測；計算機視覺

1 人臉檢測

通過一個人的人臉可以獲取該人的種族、性別、年齡等豐富信息，在人與人之間的視覺交流方面有著不可忽視的作用。除此之外，由于計算機技術(shù)日新月異，計算機安全技術(shù)在安檢、門禁、公安、保險、軍事等各個領(lǐng)域都發(fā)揮著不可替代的作用，人臉及特征點檢測也日趨成為最熱門的生物特征身份識別技術(shù)之一[1]。但是，對于如何處理不同人的面部差異達到識別檢測目的，仍然是可視化分析和目標識別中最具有挑戰(zhàn)性的關(guān)鍵課題之一[2]。

1.1 人臉檢測現(xiàn)狀

人臉檢測最早是由人臉識別衍變而來，早在20世紀六七十年代，人臉識別技術(shù)就已誕生，但是由于當時計算機技術(shù)的滯后，并未取得應(yīng)有的成果，這種狀況一直持續(xù)到20世紀90年代后期，超大規(guī)模集成電路的誕生，極大地提升了計算機的運算速度，人臉檢測研究也取得了較多可喜的成果。

Yang和Huang[3]提出了一種人臉檢測方法，該方法基于知識分級檢測，也就是通常所說的馬賽克圖像法（Mosaic Image）。此外，Sung和Poggio等[4]提出了基于人臉訓練集的檢測思想，將人臉檢測問題歸為從已訓練好的樣本中識別出人臉區(qū)域的研究思想。在此基礎(chǔ)上，Powley等[5]創(chuàng)造性地提出了一種使用多個神經(jīng)網(wǎng)絡(luò)檢測圖像中具有不同偏移角度的人臉檢測改進方法，該方法可以直接作用在原圖像，與Sung中將待檢測圖像與人臉訓練集對比匹配有著明顯的區(qū)別，能夠直接判斷待檢測窗口中是否包含人臉，更簡單便捷。

2001年，Viola.P基于Adaboost的人臉檢測算法[6]是人臉檢測方向的轉(zhuǎn)折點，該算法不僅提高了檢測的準確率，并且使人臉檢測開始正式走進實際的應(yīng)用領(lǐng)域中，是人臉檢測研究的一次跳躍性發(fā)展。人臉檢測所具有的潛在應(yīng)用前景和經(jīng)濟價值激發(fā)了一代又一代研究人員的探索探索興趣。

1.2 人臉特征點定位研究現(xiàn)狀

人臉特征點檢測是指在待測圖像中檢測出人臉位置信息，然后進一步檢測出能夠反映人臉主要特征的信息來進行人臉驗證、表情識別等，是目前計算機視覺領(lǐng)域的研究熱點之一。在人臉特征點的研究方面，國外的研究起步比國內(nèi)早很多，到目前為止，劍橋大學、曼徹斯特大學等[7-8]國外知名大學在人臉特征點檢測方面取得了一定的成果。國內(nèi)對于人臉特征點的檢測可以追溯到19世紀80年代，經(jīng)過研究人員的努力，在人臉特征檢測方面也取得了顯著的成果[9-10]。伴隨著國內(nèi)外研究人員不斷地研究深入，人臉特征點定位技術(shù)也是日臻完善。

2 人臉檢測方面幾種主流方法

2.1 基于馬賽克圖像法的人臉檢測

Yang等[11]提出的一種方法是利用馬賽克子塊不同區(qū)域的作用關(guān)系檢測人臉。對4×4和8×8個馬賽克區(qū)域塊，利用特定規(guī)則進行驗證，然后用邊緣特征來進一步檢驗。這種方法對人臉的檢測結(jié)果并不是特別準確，盧春雨等[12]針對該方法的一些不足進行了改進，將人臉區(qū)域根據(jù)特征分布分為3×3個馬賽克區(qū)域塊。如圖1（a）和圖1（b）為人臉馬賽克三分圖模型。子塊0與子塊2分別對應(yīng)于左眼區(qū)域（含眼眉）和右眼區(qū)域（含眼眉），子塊4與子塊7分別對應(yīng)于鼻子與嘴巴區(qū)域，子塊（3，6，5，8）對應(yīng)于兩側(cè)區(qū)域。我們假定子塊（0，3，6）與子塊（2，5，8）寬度大致一樣，所有的塊高度大致相同。在塊形狀自適應(yīng)后，之前的分割會出現(xiàn)些變化，但保持同一行和同一列的高度和寬度相同。這種方法對于一些圓圓的臉型具有一定的適用性。

2.2 基于人臉訓練集的人臉檢測

該方法的核心思想是收集大量的人臉圖片利用神經(jīng)網(wǎng)絡(luò)等方法[13]訓練一個分類器來檢測人臉。該方法不需要對目標圖像進行復(fù)雜處理，只需要將待測圖像與訓練集中的人臉圖像進行匹配對比，從而對待測圖像的人臉部分進行檢測。訓練的樣本數(shù)越多，檢測的精度越大，但是相應(yīng)的會對運算速度產(chǎn)生一定影響。

2.3 基于Haar小波的Adaboost算法的人臉檢測

Freund和Schapire[14-16]提出的基于Adaboost算法和層級分類器的人臉檢測算法可以使誤差函數(shù)的上界盡可能變小，它是一種迭代算法，核心思想是針對同一個訓練集訓練多個弱分類器，然后把這些弱分類器整合起來構(gòu)造一個強分類器。在人臉檢測過程中，先使用最簡單的分類器，如果待檢測圖像在某一組分類器中就被認定為非人臉圖像，那么后面的分類器就無需對該圖像再進行檢測，將可能存在人臉的待測圖像送到下一級分類器進行檢測，以此類推，盡可能早的排除非人臉子窗口，提升了檢測精準度，降低運算的復(fù)雜度。圖2為級聯(lián)分類器的結(jié)構(gòu)。

圖2 級聯(lián)分類器的結(jié)構(gòu)

該算法目前已經(jīng)成功應(yīng)用到了圖像識別和目標檢測上面，作為現(xiàn)階段最流行且實用的方法，下面簡單介紹其思路。

設(shè)輸入樣本數(shù)據(jù)為I=[(x1,y1)，(x2,y2)，…，(xn,yn)]，這里xi是特征向量，即訓練樣本；yi∈{-1，1}是樣本的類別。該方法的要點在于通過增加錯分樣本的權(quán)重，使得弱分類器加強對錯分樣本的分類能力。設(shè)Dk(i)是訓練樣本I在第k輪訓練時的權(quán)重，k=0初識時的權(quán)重都是1/N，其中N為樣本數(shù)。那么訓練誤差εk可 表示如下：

整個訓練過程如下：

（1）給定輸入樣本：I=[(x1,y1)，(x2,y2)，…，(xn,yn)]；yi∈{-1，1}

設(shè)Dk(i)=1/N，N是樣本數(shù)

（2）對每個k=1，···k其中k為訓練次數(shù)

①用Dk訓練分類器hk

②計算分類器hk對訓練樣本的誤差，εk=PrD[hk(xi≠yi)]

④更新Dk+1(i)=Dk(i)exp(-αkyihk(xi))

（3）最終分類器為H(x)=sign(∑kk=1αkhk(x))

研究學者已證明分類器對訓練樣本誤差的上界為

從上可知，如果弱分類器的錯誤率小于1/2，那么分類器的訓練錯誤將隨訓練次數(shù)呈指數(shù)形式下降，可以確保錯誤在有限次數(shù)的迭代后下降到給定值，訓練誤差將會越來越低。

3 人臉特征點的幾種主流方法

3.1 基于先驗規(guī)則的方法

基于先驗規(guī)則的方法對人臉的面部特征進行了一般性歸納。人臉的面部特征各不相同，但是其大體位置存在一定的規(guī)律，經(jīng)過研究人員對人臉特征點的分布規(guī)律進行的實驗分析，得出人臉上一些明顯的基本特征，如人的眼睛、鼻子、嘴巴等部位亮度一般比周圍區(qū)域要低[17]，雙眼與雙耳的位置相對面部中線對稱，而嘴巴、鼻子則位于面部中線上，也就是人們常說的“三庭五眼”規(guī)律，為人臉檢測和識別提供了很大幫助。如圖3所示，三庭指臉的長度比例，把臉的長度分為3個等分，分別為：上庭：發(fā)際線至眉線，中庭：眉線至鼻底線，下庭：鼻底線至頦底線。五眼則是指臉的寬度比例，以眼睛的長度為單位，把臉的橫向以左外耳孔至左眼外角距離、左眼長度、左右眼內(nèi)角的距離、右眼長度、右眼外角至右外耳孔距離五等分。臉寬則是瞳孔水平線上臉的寬度，也就是五眼的寬度。學者利用人眼虹膜的似圓形結(jié)構(gòu)、上下眼瞼對稱結(jié)構(gòu)檢測人眼等。

該方法簡單易懂，便于理解，無需對人臉進行復(fù)雜操作就可檢測，但是過于依賴預(yù)先設(shè)定的人臉特征分布規(guī)則，對于一些面部信息復(fù)雜的人臉檢測存在局限性，只能實現(xiàn)對人臉特征的粗略檢測，并不適合對人臉特征更精細的檢測。

圖3 三庭五眼示意

3.2 基于幾何形狀的方法

該方法以一條帶有幾個控制點的閉合曲線和一個匹配驗證的能量函數(shù)作為評判準則，經(jīng)過多次迭代使能量函數(shù)最小化時就可以定位到人臉特征點[18-20]。該方法根據(jù)人臉特征構(gòu)造帶有幾何參數(shù)模型，模型的不同參數(shù)對應(yīng)著人臉的相應(yīng)特征點，這些參數(shù)信息會與圖像的灰度分布特征進行相互交叉驗證。該方法在檢測過程中容易受面部表情變化、光照明暗等因素影響，魯棒性低，運算量較大。

3.3 基于灰度信息的方法

該方法是利用的人臉的面部膚色與背景有著明顯區(qū)別，在水平與垂直方向進行灰度投影，先統(tǒng)計出各個方向上的灰度值的和，依據(jù)和的不同找出特定的變化點，進而借助投影灰度值基于統(tǒng)計的思想將不同方向上的變化點位置結(jié)合判斷，確定人臉特征點的位置[21]。這種方法計算量較低，但是不適用于變化速度過快等復(fù)雜情況。另外還有一種谷分析法[22]，圖像灰度曲線較深的波谷之間一般對應(yīng)人的面部區(qū)域，可以根據(jù)水平積分投影來確定人臉的邊界值，通過水平和垂直方向灰度亮度對比的方法，就可以確定人臉的主要特征如眼睛、鼻子、嘴巴等位置。這種方法精準度會被外部光照條件影響，但是該方法的計算量較低，所以在特征點定位方面還是很常用的。

4 人臉及特征點檢測過程中的難點

歷經(jīng)一代代研究人員的不懈鉆研后，人臉及特征點的檢測方法不斷完善，一步步走向成熟，但仍然存在一些難以解決的問題。

4.1 外界因素干擾

到目前為止，大部分的人臉及特征點檢測都或多或少存在外部因素干擾情況，背景較暗或者光照太強都會引起實驗結(jié)果的誤差。只是通過圖像去噪增強等一系列圖像處理并不能完全消除該因素造成的影響，改善這部分難點可以有效地提高實驗數(shù)據(jù)的準確性。

4.2 實時性

在實際的應(yīng)用中，特別是檢測跟蹤方面，人們對人臉及特征點的實時性檢測提出較高的要求，對此，在設(shè)計算法方面，提高算法的檢測速度相應(yīng)地就要減少待測目標的數(shù)量和復(fù)雜度，但是勢必會降低檢測目標的準確性，想要檢測速度和檢測準確性同時兼顧，是個非常難以解決的問題。

4.3 快速圖像處理

圖像處理是個非常重要的過程，但是想要達到實時性，對于動態(tài)圖像處理速度方面則需要很高的要求。在處理過程中，動態(tài)捕獲的圖像會受到多方面影響，比如不同的人臉大小，表情變化，姿態(tài)角度改變等等都會對采集到的目標圖像造成非常大的影響，另外，人臉上的眼睛、帽子等飾品也會一定程度上影響實驗結(jié)果的準確性。

5 結(jié)語

本文對人臉及特征點的發(fā)展現(xiàn)狀以及一些常見的檢測方法進行了綜述研究，分析了常見檢測方法的發(fā)展現(xiàn)狀以及核心思想，希望能夠?qū)ρ芯咳藛T接下來繼續(xù)探索人臉及特征點檢測提供一些微弱的幫助。

[1]李文輝，崔曉青.基于AdaBoost算法的人臉檢測系統(tǒng)的研究與實現(xiàn)[D].吉林：吉林大學，2006.

[2]李月敏，陳杰，高義，等.快速人臉檢測技術(shù)綜述[C].全國16屆計算機科學與技術(shù)應(yīng)用學術(shù)會議論文集，2004：771-774.

[3]HUANG T S，YANG D.Human face detection[J].Pattern Recognition，1994（1）：53-63.

[4]SUNG K K, POGGIO T. Example-based learning for view-based human face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998（1）：39-51.

[5]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California：In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[6]VIOLA P. Rapidobjectdetection using a boosted cascade of simple features[C].IEEE Conference on Computer Vision and Pattern Recognition, 2001：511-518.

[7]SAMAL A, IYENGAR A, WING-HONG L. Automatic recognition and analysis of human expression[J]. Pattern Recognition, 1992（1）：65-77.

[8]WISKOTT L. Face recognition by elastic bunch graph matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997（7）：775-779.

[9]趙武峰.人臉識別中特征提取方法的研究[D].杭州：浙江大學，2009．[10]馮歌.基于局部保留投影的人臉特征提取研究[D].哈爾濱：哈爾濱工業(yè)大學，2008．

[11]YANG G Z, HUANG T S. Human face detection in a complex background[J].Pattern Recegnition, 1994（1）：53-63.

[12]盧春雨，張長水，聞方，等.基于區(qū)域特征的快速人臉檢測法[J].清華大學學報（自然科學版），1999（1）：101-105.

[13]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California: In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[14]SCHAPIRE R E.The strength of weak learnability[J].Machine Learning，1990（2）：197-227.

[15]FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and application to Boosting[J].Computer and System Sciences, 1998（1）：118-140.

[16]FREUND Y, SCHAPIRE R E.Experiments with a new Boosting algorithm[C].San Francisco：Proceeding of the 13th conference on machine learning, 1996：148-156.

[17]吳證.人臉特征點定位研究及應(yīng)用研究[D].上海：交通大學，2009.

[18]KASS M. Active Contour Models[J].Internation Journal of Computer Vision, 1988（1）：331-331.

[19]韓玉峰，施銅興，王小林．臉部特征點定位方法綜述[J].計算機工程與應(yīng)用，2012（1）：180-184.

[20]COOTES T F, HILL A，TAYLOR C J, et al. Use of active shape models for locating structures in medical images[J].Image and Vision Computer, 1994（6）：355-366.

[21]BRUNELLI R, POGGIO T. Face recognition: Features versus templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993（10）：1042-1052.

[22]FENG G C, YUEN P C. Variance projection function and its application to eye detection for human face recognition[J].Pattern Recognition Letters, 1998（9）：899-906.

Overview on the test method of face and feature points extraction

Hu Jian, Zuo Yanchao
（North China University of Technology, Beijing 100144, China）

Face and feature points detection has an unusual position in the field of computer vision .And at the same time, it also have a very broad research value at artificial intelligence interaction, video conference, identification, vehicle safety driving and so on. In computer vision, influence of dynamic image such as the size of face, facial expression varied, complex background, changeable light is directly related to the accuracy of the facial feature points detection.This paper introduces several methods of face and feature points.

face detection; feature points detection; computer vision

胡?。?967— ），男，安徽歙縣，碩士，副教授，教師；研究方向：人工智能，計算機網(wǎng)絡(luò)技術(shù)，分布式數(shù)據(jù)庫。