單訓(xùn)練樣本視頻監(jiān)控俯視人臉識別研究

胡 曉，廖啟欣，彭紹湖

（廣州大學(xué)機械與電氣工程學(xué)院，廣東廣州 510006）

單訓(xùn)練樣本視頻監(jiān)控俯視人臉識別研究

胡 曉，廖啟欣，彭紹湖

（廣州大學(xué)機械與電氣工程學(xué)院，廣東廣州 510006）

近年來視頻監(jiān)控已普遍應(yīng)用于各行各業(yè)，因此基于監(jiān)控視頻人臉識別也成為了智能監(jiān)控系統(tǒng)中重要的研究領(lǐng)域.然而，由于監(jiān)控視頻人臉通常是非正面人臉，傳統(tǒng)性能優(yōu)良算法應(yīng)用于視頻人臉識別時，其性能也明顯降低.同時，單張訓(xùn)練人臉問題在監(jiān)控視頻人臉檢測和識別是一個普遍問題.因此為了能有效地提高單訓(xùn)練多姿態(tài)人臉識別的正確識別率，文章提出了一種基于三維建模技術(shù)的人臉識別算法.該算法先由一張二維高清正面人臉生成一個三維人臉模型，然后再進一步在該三維人臉空間里產(chǎn)生多種姿態(tài)的人臉模型，并由此獲得多張相應(yīng)姿態(tài)下的二維虛擬人臉，最后利用原始正面樣本和所得到的虛擬人臉來構(gòu)筑訓(xùn)練人臉庫.該算法用SCface視頻監(jiān)控人臉庫中加以驗證，與傳統(tǒng)的PCA和LDA算法相比，該算法對監(jiān)控視頻人臉的識別率提高了13%.由此表明，文章介紹的算法是一種有效的人臉識別算法，能有效地提高對俯視人臉的識別率.

三維建模；單訓(xùn)練樣本；視頻監(jiān)控；PCA；LDA

視頻監(jiān)控作為安全防范系統(tǒng)的重要組成部分，已被廣泛應(yīng)用于區(qū)域防盜、公安偵破、日常監(jiān)控等領(lǐng)域當(dāng)中.隨著對安保需求的不斷提高，具備能在對象不知情的情況下進行人臉識別的智能視頻監(jiān)控將是未來的發(fā)展趨勢.然而，視頻監(jiān)控環(huán)境條件復(fù)雜，通常帶有圖像分辨率低、光照變化、姿態(tài)不可控等條件影響，這使得視頻監(jiān)控人臉識別變得困難.對于多姿態(tài)問題，因為視頻監(jiān)控攝像頭一般被固定在距離地面2～3 m的位置，當(dāng)人距離攝像頭垂直距離較遠(yuǎn)時，人臉較小，但當(dāng)距離近時，卻是俯視的角度，攝像頭所捕捉到的人臉圖像也不再是正面人臉.針對這個問題，WANG等［1］提出了一種基于ASM構(gòu)建的算法實現(xiàn)姿態(tài)不變性，HASAN等［2］則利用了不同顏色通道的概率分布函數(shù)算法實現(xiàn)多姿態(tài)下的人臉識別.

除此之外，由于實際應(yīng)用中通常每一個人只有一張采集于公安居民戶口系統(tǒng)的高分辨率訓(xùn)練圖像，因此已經(jīng)相當(dāng)完善的多組訓(xùn)練人臉識別算法并不適用，所以如何解決單一訓(xùn)練樣本的難題就成了人臉識別的一個關(guān)鍵.在此之前，HU等提出了一種不同角度水平旋轉(zhuǎn)的單一樣本變多樣本的方法［3］.XU等提出了基于對稱人臉的鏡像算法來獲得多個樣本［4］.這些算法對正面測試人臉有良好的性能，然而在視頻監(jiān)控中，由于監(jiān)控攝像頭通常安裝在高處，以至于在測試人臉中存在許多俯視人臉，其結(jié)果導(dǎo)致上述算法性能降低.

為此，本文利用3D建模技術(shù)從單張高清正面人臉構(gòu)建虛擬的俯視人臉用來訓(xùn)練分類器，以提高視頻人臉識別系統(tǒng)對俯視人臉的魯棒性.

1 三維技術(shù)構(gòu)建虛擬訓(xùn)練樣本算法流程

攝像頭采集圖像時，現(xiàn)實的三維空間中任意一個曲面都會最終投影到與之相對應(yīng)的二維圖像里，對于平行曲面上的無數(shù)點都將會重疊映射在二維圖像的同一個位置點，從而構(gòu)成一組畫面.實際上通過攝像頭將三維空間投影到二維圖像是一種多對一的映射關(guān)系［5］.因此，在攝像頭定標(biāo)后由已知三維點可以求得二維圖像中唯一的對應(yīng)點.但與此相反，已知二維圖像中的一個點要得到其三維空間中對應(yīng)點的位置就成了一對多的關(guān)系，這時就必須還要知道三維空間點間的一個曲面關(guān)系才可以確定其唯一的對應(yīng)點.

三維技術(shù)構(gòu)建虛擬訓(xùn)練樣本算法是由一張已知的二維正面人臉圖像通過三維構(gòu)建的方法，將二維圖像變換到三維空間中，從而形成三維人臉模型，然后在此基礎(chǔ)上產(chǎn)生不同姿態(tài)下的人臉模型，從而獲得與之相對應(yīng)的不同姿態(tài)二維人臉圖像.3D建模算法和流程見圖1.本文采用名為FaceGen Modeller的3D建模軟件（http：／／facegen. com／products.htm）實現(xiàn)由2D人臉建模成3D人臉.其關(guān)鍵步驟分為3步：①特征點標(biāo)注、3D人臉模型的選擇和紋理粘貼.當(dāng)輸入一張2D人臉時，通過手工方式標(biāo)注11個特征點，它們是兩只眼睛中心、鼻翼兩邊、耳朵的垂直中心與臉頰的交接處各1點、2個嘴角處、脖子（位于脖子和臉頰連接點）和下巴（臉部最下面的邊緣點）；②從3D人臉模型庫中選擇一個與該對象在年齡、性別等屬性上相符的3D人臉網(wǎng)格模型；③將2D紋理特征依據(jù)11個特征點的坐標(biāo)關(guān)系粘貼到3D人臉模型上形成3D人臉，最終得到對應(yīng)的二維虛擬人臉圖像，見圖2.

圖1 三維技術(shù)構(gòu)建虛擬訓(xùn)練樣本算法Fig.1 Algorithm to create more virtual training sample

圖2 圖像預(yù)處理Fig.2 Example image after pre-processing

2 實 驗

本文使用SCface視頻監(jiān)控人臉數(shù)據(jù)庫圖像進行實驗［6］.該數(shù)據(jù)庫中，一共有130個人，人距離視頻監(jiān)控攝像頭的垂直距離有3種，它們分別是4.2 m、2.6 m和1.0 m，而5個視頻監(jiān)控攝像頭距離地面的高度均為2.25 m.本次實驗是基于4G內(nèi)存的32位Win7操作系統(tǒng)配AMD Phenom（tm）II X4 965 3.4GHz處理器的平臺上，用MATLAB 2010b完成的.

2.1 圖像預(yù)處理

為了減少攝像時訓(xùn)練和測試人臉雙眼不一致造成的影響，所有圖像都經(jīng)過旋轉(zhuǎn)歸一化處理.首先，將彩色圖像轉(zhuǎn)換為灰度圖像.然后以雙眼坐標(biāo)為基準(zhǔn)線進行旋轉(zhuǎn)整個人臉圖像，使得雙眼在同一條水平線上，見圖2（a）.隨后采用雙橢圓模板構(gòu)建的人臉圖像分割框?qū)φ掌械娜四樳M行分割，見圖2（b）.接下來，將分割出來的人臉經(jīng)過縮放大小為64×64圖像，控制雙眼距離為32個像素，而且規(guī)定左眼坐標(biāo)為（16，16）和右眼坐標(biāo)為（16，48）.最后為了減少光照差異性帶來的影響，將圖像經(jīng)過直方圖均衡化處理，并將像素值歸一化到［0，255］范圍之內(nèi).預(yù)處理后的圖像見圖2（c）.

2.2 實驗方案

本實驗采用了SCface視頻監(jiān)控人臉數(shù)據(jù)庫中的高清正面人臉作為單一訓(xùn)練樣本，利用每人一張的高清正面人臉圖像，對130個人的人臉進行了三維技術(shù)建模，然后由模型獲得3張不同姿態(tài)的人臉圖像和原始正面樣本結(jié)合作為訓(xùn)練集，見圖3.圖3（a）表示每個人用來訓(xùn)練的人臉只有1張高清人臉.圖3（b）表示每個人用來訓(xùn)練的人臉由1張高清人臉和1張俯視低角度虛擬人臉組成.圖3（c）表示每個人用來訓(xùn)練的人臉由1張高清人臉和2張俯視低角度虛擬人臉組成.

同時，使用數(shù)據(jù)庫中3種距離的5個視頻監(jiān)控頭采集到的人臉圖像作為測試集，見圖4.所有圖像經(jīng)過預(yù)處理后分別使用PCA和LDA方法進行識別.

2.3 實驗結(jié)果

圖3 訓(xùn)練人臉圖像Fig.3 Example of gallery set

實驗結(jié)果見圖5，①3種情況下（分別是1張訓(xùn)練樣本、2張訓(xùn)練樣本和3張訓(xùn)練樣本）本文所提出的基于虛擬俯視人臉的PCA算法獲得的結(jié)果比文獻［6］中使用PCA得到的結(jié)果都要高，提高了13%；②LDA比PCA所得到的識別效果好；③隨著虛擬訓(xùn)練樣本圖像數(shù)目的增加，正確識別率也隨之升高.另一方面，監(jiān)控人與攝像頭之間距離2.60 m的情況下比其他兩種距離都獲得更好的識別結(jié)果，分析其原由存在2個方面：①在該距離監(jiān)控下的人臉在監(jiān)控攝像頭的成像俯視角度不大，接近于正面人臉，為此獲得正面信息較多；②該距離相對于4.2 m，成像的空間分辨率較高.

圖4 測試人臉圖像［6］Fig.4 Example of probe set［6］

圖5 實驗結(jié)果的正確識別率Fig.5 The experimental results of correct recognition rate

3 結(jié) 論

在人臉識別領(lǐng)域，很多傳統(tǒng)的人臉識別算法在多訓(xùn)練樣本下能夠獲得高性能，然而單張訓(xùn)練樣本在視頻監(jiān)控領(lǐng)域是一種常見現(xiàn)象［7］.盡管采用3D建模技術(shù)將2D人臉建模成3D人臉，然后獲取不同姿態(tài)的人臉以增加訓(xùn)練樣本的數(shù)目，然而這種技術(shù)目前僅局限用在高清人臉識別研究中，在視頻監(jiān)控人臉識別研究中尚未發(fā)現(xiàn)有應(yīng)用，尤其是針對俯視人臉［8－10］.為此，本文介紹了一種利用三維建模技術(shù)來構(gòu)造多虛擬俯視訓(xùn)練樣本的算法.從實驗結(jié)果可以發(fā)現(xiàn)：這種算法能夠提高視頻人臉識別中俯視人臉的識別率，本文實驗有13%的提高，是一種解決視頻監(jiān)控人臉識別中單訓(xùn)練樣本的有效方法.

參考文獻：

［1］ WANG Y，WU L F，TU L，et al.A face recognition method robust to pose variation［C］∥9th Internation Conference on Signal Proceeding，2008：1600-1603.

［2］ HASAN D，ANBARJAFARI G.Pose invariant face recognition using probability distribution functions in different color channels［J］.Sign Proc Lett IEEE，2008，25：537-540.

［3］ HU X，YU W X，YA0J.Multi-oriented 2DPCA for face recognition with one training face image per person［J］.J Comput Inform Syst，2010，6（5）：1563-1570.

［4］ XU Y，LI X L，YANG J，et al.Integrate the original face image and its mirror image for face recognition［J］.Neurocomputing，2014，131：191-199.

［5］ ZHANG Z.A fexible new technique for camera calibration［J］.IEEE Transact Patt Anal Mach Intell，2000，22（11）：1330-1334.

［6］ MISLAV GRGIC，KRESIMIR D，SONJA G.SCface-surveillance cameras face database［J］.Multimed Tools Appl，2011，51：863-879.

［7］ HU X，PENG S H，YAN J Y，et al.Fast face detection based on skin color segmentation using single chrominance Cr［C］∥The 2014 7th International Congress on Image and Signal Processing，2014：789-794.

［8］ HU X，YU W X，YA0J.Face recognition using binary structure-based feature selection［J］.J Appl Sci，2010，28（3）：271-275.

［9］ MODEL V B，THOMAS V.Face recognition based on fitting a 3D morphable［J］.IEEE Transact Patt Anal Mach Intell，2003，9（25）：1063-1074.

［10］ALI M，HOSSEIN M，KARIM F.Real-time pose-invariant face recognition by triplet pose sparse matrix from only a single image［C］∥International Conference on Pattern Recognition（ICPR），2014：465-470.

Video surveillance face recognition by single training sample

HU Xiao，LIA0Qi-xin，PENG Shao-hu
（School of Mechanical Electrical Engineering，Guangzhou University，Guangzhou 510006，China）

Video surveillance has more and more been applied in recent years for security，video-based face recognition therefore became an important task in intelligence monitoring system.However，among these captured video faces there are many non-frontal faces.As a result the art of state algorithms would become worse. On the other hand，only one training sample could usually be got.In order to effectively improve the correct recognition rate of multi-pose face recognition with single frontal training sample，this paper proposed a face recognition algorithm based on 3D modelling.In the proposed algorithm，firstly a 2D frontal face with high-resolution was taken to build a 3D face model，and then several virtual faces with different poses were produced from the 3D face model.At last，both the original frontal face image and virtual face images were put into gallery set. The algorithm was evaluated on SCface database using traditional PCA and LDA methods.The result showed that the proposed approach could effectively improve recognition rate of looking-down faces.

3D modeling；single training sample；video surveillance；PCA；LDA

TP 391.41

A

【責(zé)任編輯：陳 鋼】

1671-4229（2015）05-0067-04

2015－06－17；

2015－09－06

廣東省自然科學(xué)基金資助項目（S2013010013511）；廣州市科技計劃資助項目（2014J4100127）

胡 曉（1969－），男，教授，博士.E-mail：huxiao＠gzhu.edu.cn