多人臉目標(biāo)動(dòng)態(tài)識(shí)別

胡昌盛，丁德紅

（湖南文理學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖南 415000）

多人臉目標(biāo)動(dòng)態(tài)識(shí)別

胡昌盛，丁德紅

（湖南文理學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，湖南 415000）

針對(duì)小場(chǎng)合特定人群進(jìn)行動(dòng)態(tài)識(shí)別，在要求的速度及準(zhǔn)確率等條件下展開研究。目前進(jìn)行目標(biāo)識(shí)別技術(shù)眾多，采用LBPH技術(shù)，為適應(yīng)動(dòng)態(tài)捕捉進(jìn)行算法上的改進(jìn)，先介紹Haar分類器的原理，依據(jù)原理設(shè)計(jì)并制作Haar分類器，用實(shí)際的多目標(biāo)圖片作實(shí)驗(yàn)準(zhǔn)確地檢測(cè)出人臉并加框標(biāo)識(shí)，再將所選區(qū)域的人臉與樣本庫(kù)中預(yù)預(yù)先采集的人臉樣品進(jìn)行LBP局部二值特征比對(duì)，識(shí)別率達(dá)80%，從而基本實(shí)現(xiàn)多目標(biāo)識(shí)別。該成果產(chǎn)品化后可用于車站碼頭等公共場(chǎng)合的安防監(jiān)測(cè)。

分類器制作；人臉識(shí)別；LBPH特征

湖南省科技計(jì)劃（No.2016GK2019）、湖南省教育廳一般項(xiàng)目（No.14CO542）

0 引言

人臉識(shí)別技術(shù)是機(jī)器視覺領(lǐng)域重要的研究?jī)?nèi)容。相對(duì)于指紋、虹膜等其他生物特征識(shí)別方法而言，人臉識(shí)別有不易察覺性，易采集性等特殊優(yōu)勢(shì)，具有相當(dāng)廣泛的應(yīng)用前景。在信息檢索方面，人臉識(shí)別可以幫助檢索相關(guān)人物資料；在身份認(rèn)證方面，人臉識(shí)別相對(duì)于傳統(tǒng)的身份識(shí)別具有更高的可靠性及安全性。

人臉識(shí)別技術(shù)經(jīng)過(guò)長(zhǎng)時(shí)間發(fā)展，在人臉檢測(cè)與人臉跟蹤、人臉特征點(diǎn)的檢測(cè)與標(biāo)定、人臉特征描述與特征提取、人臉特征分類等各個(gè)領(lǐng)域都展開了廣泛而深入的研究，眾多理論、算法層出不窮。如：（1）基于特征子空間分析的主成分分析方法（PCA），線性判別分析方法（LDA），獨(dú)立成分分析方法（ICA）。（2）基于統(tǒng)計(jì)的支持向量機(jī)方法（SVM），人工神經(jīng)網(wǎng)絡(luò)方法（ANN）。（3）基于局部模式的Gabor小波變換方法，基于局部二值模式（LBP）的方法等。

其中局部二值模式（LBP）算法作為圖像紋理表示的一種方法，用中心像素的灰度值作為閾值與其領(lǐng)域相比較得到的二進(jìn)制編碼來(lái)表述局部紋理特征。因此其能表征出對(duì)光照及外界條件變化不敏感的圖像本身的特征，對(duì)一定基數(shù)下的人臉識(shí)別表現(xiàn)的很好。識(shí)別流程如圖1。

圖1 識(shí)別流程圖

1 Haar分類器

Haar特征在圖像中取大大小小很多矩形，將矩形分成兩份或三份，用黑白兩種顏色標(biāo)記，將黑白兩色矩形里的像素值和相減得到差值。然后用這些差值來(lái)對(duì)圖像的子區(qū)域進(jìn)行分類。通過(guò)不同的黑白矩形組合，就能提取邊緣特征、線性特征、中心特征和對(duì)角線特征，共同構(gòu)成特征模板。如圖2所示。

圖2 人臉特征圖

1.1 Haar分類器原理

Haar分類器由Haar-like特征、積分圖（Integral Image）方法、AdaBoost算法、級(jí)聯(lián)分類器組成。

①Haar-like特征用來(lái)進(jìn)行檢測(cè)。

②積分圖對(duì)Haar-like特征值進(jìn)行加速。

③AdaBoost算法訓(xùn)練來(lái)判別是否為人臉的強(qiáng)分類器。

④使用篩選式級(jí)聯(lián)把訓(xùn)練出來(lái)的強(qiáng)分類器級(jí)聯(lián)到一起，提高準(zhǔn)確率。

（1）弱分類器

弱分類器由子窗口圖像，特征，方向和閾值組成。

（2）弱分類器的生成

①將權(quán)重歸一化

②對(duì)于每一個(gè)特征f，訓(xùn)練一個(gè)弱分類器h；計(jì)算所有特征的加權(quán)錯(cuò)誤率εf，

③選取具有最小錯(cuò)誤率εf的弱分類器hi

④權(quán)重的調(diào)整

其中ei=0表示xi分類正確，ei=1表示xi分類錯(cuò)誤；

（3）強(qiáng)分類器的生成

①給定訓(xùn)練樣本集S，樣本總數(shù)N，正負(fù)樣本X，Y；訓(xùn)練的最大循環(huán)數(shù)T。

②初始樣本權(quán)重為訓(xùn)練樣本的初始概率分布1/N；

③第一次迭代所有訓(xùn)練樣本，得到第一個(gè)最優(yōu)弱分類器。

④將上一輪中被誤判樣本的權(quán)重增加；

⑤將新樣本和上次分錯(cuò)的樣本進(jìn)行新一輪訓(xùn)練。

⑥循環(huán)執(zhí)行步驟4-5，經(jīng)過(guò)T輪循環(huán)后產(chǎn)生T個(gè)最優(yōu)弱分類器。

⑦將T個(gè)最優(yōu)弱分類器組合得到所需要的強(qiáng)分類器，方式為：

1.2 級(jí)聯(lián)

級(jí)聯(lián)分類器可以看作是一種退化了的決策樹。即圖像被拒絕后就直接拋棄，不再進(jìn)行推斷。級(jí)聯(lián)強(qiáng)分類器思想是：將若干個(gè)強(qiáng)分類器由簡(jiǎn)到繁排序，期望經(jīng)過(guò)特定訓(xùn)練使得每個(gè)強(qiáng)分類器都可以有理想的檢測(cè)率，而誤識(shí)率可以降低。例如強(qiáng)分類器可以使得99%的人臉通過(guò)檢測(cè)，同時(shí)50%的幾率非人臉也可以通過(guò)檢測(cè)，這樣我們將20個(gè)強(qiáng)分類器進(jìn)行級(jí)聯(lián)。則總識(shí)別率99% 20約為98%，誤識(shí)率為50%20約為0.0001%。這樣已經(jīng)可以滿足實(shí)際需要了。所以我們要解決的問(wèn)題是如何使每個(gè)強(qiáng)分類器都有較高檢測(cè)率。

（1）決策樹結(jié)構(gòu)

圖3 決策樹結(jié)構(gòu)

（2）級(jí)聯(lián)分類器的訓(xùn)練

給定一個(gè)級(jí)聯(lián)分類器的層數(shù)K，檢測(cè)率D，誤識(shí)率F，第i層強(qiáng)分類器的檢測(cè)率di，誤識(shí)率fi。假使訓(xùn)練一個(gè)級(jí)聯(lián)分類器達(dá)到給定的F值和D值，只用訓(xùn)練出每層的d值和f值，方式為：

級(jí)聯(lián)分類器的關(guān)鍵部分在于怎樣訓(xùn)練每層強(qiáng)分類器的d值和f值使之達(dá)到指定要求。

這里我們用OpenCV310級(jí)聯(lián)分類器的訓(xùn)練，OpenCV提供了opencv_traincascade函數(shù)供我們訓(xùn)練分類器。opencv_traincascade用來(lái)準(zhǔn)備訓(xùn)練用的正樣本數(shù)據(jù)和測(cè)試數(shù)據(jù)（輸出為以vec為擴(kuò)展名的文件，以二進(jìn)制方式存儲(chǔ)圖像，程序路徑如圖4。

①訓(xùn)練樣本的準(zhǔn)備：

訓(xùn)練樣本要包括正樣本和負(fù)樣本。通俗來(lái)講，正樣本就是圖中只有你所需要的目標(biāo)。而負(fù)樣本只要求圖

中不含有目標(biāo)即可（最好盡可能多的提供場(chǎng)景的背景圖；負(fù)樣本盡可能的多，而且要多樣化，和正樣本有一定的差距但是差別也不要太大）。其中正樣本用opencv_createsample創(chuàng)建。負(fù)樣本則手動(dòng)創(chuàng)建。

圖4 訓(xùn)練程序所在的路徑

②歸一化樣本圖片，即在訓(xùn)練前將正負(fù)樣本歸一化為統(tǒng)一的尺寸大小，轉(zhuǎn)化成灰度圖，并放在相應(yīng)目錄下。

③集合文件格式（collection file format）和描述文件格式（description file format）：負(fù)樣本用集合文件格式描述（.txt文件），正樣本用描述文件格式描述（.dat文件）。

④進(jìn)行樣本訓(xùn)練

利用opencv_traincascade程序訓(xùn)練結(jié)束后，生成的XML文件即為訓(xùn)練好的級(jí)聯(lián)分類器，這個(gè)文件位于–data選項(xiàng)的目錄中。該目錄中的其他文件是訓(xùn)練過(guò)程的中間結(jié)果，若訓(xùn)練程序被中斷，再次運(yùn)行訓(xùn)練程序?qū)⒆x入之前訓(xùn)練的中間結(jié)果，不需要從頭重新開始訓(xùn)練。訓(xùn)練結(jié)束后，可以選擇刪除中間文件，保留最終的XML文件。至此，級(jí)聯(lián)分類器制作完畢，已經(jīng)可以用來(lái)檢測(cè)人臉。

2 多目標(biāo)識(shí)別研究

2.1 方法與材料

在普通光照條件，學(xué)生宿舍環(huán)境，與室友及一個(gè)相框，三個(gè)目標(biāo)排成一排拍照合影，將所得照片用于多目標(biāo)識(shí)別。

2.2 識(shí)別流程

（1）圖像預(yù)處理

對(duì)檢測(cè)到的圖像做直方圖或者濾波處理來(lái)更好地進(jìn)行下一步的特征提取。

（2）特征提取

通過(guò)提取人臉特征，然后對(duì)其分類進(jìn)而實(shí)現(xiàn)人臉識(shí)別，這里我們用LBP（Local Binary Pattern）進(jìn)行特征提取。

（3）人臉識(shí)別

即將提取出的特征進(jìn)行分類，匹配。

為了在匹配過(guò)程中我們需要知道匹配圖的名字，而一張張更改是很麻煩的，這里我們使用CSV（逗號(hào)分隔值文件格式）來(lái)讀取所準(zhǔn)備的數(shù)據(jù)，CSV文件包含文件名，后面緊跟一個(gè)標(biāo)簽，兩者以逗號(hào)隔開，當(dāng)然，也可以用自己喜歡的符號(hào)，例如分號(hào)等。（形如/path/image. bmp；0（0即為你所為該圖所指定的標(biāo)簽，類似為該圖的人的名字））。

在OpenCV中提供了LBPH人臉識(shí)別類，可以用它來(lái)進(jìn)行人臉識(shí)別。首先，設(shè)定我們的感興趣區(qū)域（ROI，Region Of Interest）來(lái)專注工作過(guò)程。這里我們的感興趣區(qū)域?yàn)閳D像中檢測(cè)到的人臉，用之前所訓(xùn)練的級(jí)聯(lián)分類器去檢測(cè)并框定出來(lái)，這里我們采取擴(kuò)大檢測(cè)窗口的方法來(lái)進(jìn)行檢測(cè)。若同一個(gè)目標(biāo)被多次檢測(cè)到，則表明該目標(biāo)為正確目標(biāo)。在檢測(cè)窗口遍歷完一次圖像后，處理重復(fù)檢測(cè)到的人臉區(qū)域，進(jìn)行合并等操作。

已經(jīng)獲得了人臉區(qū)域，接下來(lái)就可以對(duì)圖像中的人臉進(jìn)行識(shí)別，這里使用LBPH算法，該算法會(huì)根據(jù)用戶的輸入自動(dòng)更新，而不需要在每添加一個(gè)人或糾正一次錯(cuò)誤判斷時(shí)便要進(jìn)行重新的訓(xùn)練。

讀取CSV文件，將檢測(cè)到的窗口與與訓(xùn)練的樣本進(jìn)行LBP特征向量的相似度比對(duì)，設(shè)置一個(gè)置信度閾值，當(dāng)兩者的相似度小于閾值則認(rèn)為是同一人，然后讀取樣本標(biāo)簽，返回識(shí)別結(jié)果。

當(dāng)識(shí)別器給了我們一個(gè)識(shí)別結(jié)果，即樣本標(biāo)簽，可以將該標(biāo)簽使得用戶發(fā)出一個(gè)反饋，即選擇是否識(shí)別正確。不管如何，我們都可以通過(guò)人臉圖像和正確的標(biāo)簽來(lái)更新LBPH模型，以提高未來(lái)識(shí)別的性能。

3 實(shí)驗(yàn)結(jié)果

檢測(cè)過(guò)程中，已訓(xùn)練好的分類器會(huì)用不同的尺度遍歷輸入圖像的每一個(gè)像素，以檢測(cè)不同大小的人臉。對(duì)每個(gè)檢測(cè)到的人臉，去所訓(xùn)練得到的樣本模型里去匹配盡可能相似的值，找到后將模型里的顯示出來(lái)，利用predict函數(shù)提供相應(yīng)的置信度。如圖5、圖6所示。

4 結(jié)語(yǔ)

本文給出了多目標(biāo)識(shí)別的方法，采用監(jiān)督式學(xué)習(xí)，讀取訓(xùn)練好的yaml文件，對(duì)每個(gè)監(jiān)測(cè)到的區(qū)域的圖像分類，并在視頻幀人臉區(qū)域上方顯示分類結(jié)果（分類結(jié)果顯示為標(biāo)簽和可信度），在左上角顯示縮略圖。利用

解FaceRecognizer::update可解決當(dāng)有識(shí)別錯(cuò)誤時(shí)無(wú)法立即更新樣本庫(kù)的問(wèn)題。實(shí)驗(yàn)結(jié)果表明改進(jìn)后的Harr分類器用于多目標(biāo)動(dòng)態(tài)識(shí)別時(shí)，響應(yīng)快，改進(jìn)后可用于公眾場(chǎng)合進(jìn)行人流識(shí)別。

圖5 LBP模型圖

圖6 識(shí)別結(jié)果（準(zhǔn)確）

[1]Peter N.Belhumeur，Jo～ao P.Hespanha，and David J.Eigenfaces vs.Fisherfaces:Recognition.Using Class Specific Linear ProjectionKriegman.IEEE Transactions On Pattern Analysis And Machine Intelligence，1997，19（4）:711-719.

[2]吳巾一，周德龍.人臉識(shí)別方法綜述[J].計(jì)算機(jī)應(yīng)用研究，2009，26（9）:3205-3208

[3]山世光.人臉識(shí)別中若干關(guān)鍵問(wèn)題的研究.PhD thesis，中國(guó)科學(xué)院計(jì)算技術(shù)研究所，2004.

[4]O.Jesorsky，K.Kirchberg，R.Frischholz.Audio-and Video-Based Biometric Person Authentication，Chapter Robust Face Detection Using the Hausdorff Distance，pages 90–95.Berlin:Springer，2001.

[5]江小輝.基于改進(jìn)型LBP特征的人臉識(shí)別研究[D].金華：浙江師范大學(xué)，2009.

Multiplayer Target Dynamic Face Recognition

HU Chang-sheng，DING De-hong

（Hunan University of Arts and Science of Computer Science and Technology College，Hunan 415000）

In view of the small occasion to identify the dynamic specific people,under the condition of the required speed and accuracy of launched research.There are many target identification technology at present,adopts LBPH technology,in order to adapt to the dynamic capture the improvement to the algorithm.First introduces the principle of Haar classifier,based on the principle of the design and construction of the Haar classifiers,with the actual experiment on multi-objective images accurately detect the human face and add logo.Then samples of the selected area faces to libraries face in the process of the collection in advance samples than LBP local binary characteristics,and the recognition rate up to 80%,which basically achieved target recognition.The results after the transition can be used for security monitoring station,wharf and other public places.

Classifier Production;Face Recognition;LBPH Characteristics

1007-1423（2016）30-0007-04

10.3969/j.issn.1007-1423.2016.30.002

丁德紅（1975-），男，博士后，高工，研究方向?yàn)榍度胧?、圖形圖像、系統(tǒng)集成胡昌盛（1994-），男，本科

2016-08-19

2016-10-14