人像三維特征信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

聶建華，劉小楠，劉昌進(jìn)，李林，陳向陽

（1. 中國電子科技集團(tuán)公司第三十八研究所，合肥 230088；2. 安徽省公共安全應(yīng)急信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，合肥 230088；3.湖北省麻城市公安局刑偵大隊(duì)，湖北麻城 438300）

人像三維特征信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

聶建華1，2，劉小楠1，2，劉昌進(jìn)1，2，李林1，2，陳向陽3

（1. 中國電子科技集團(tuán)公司第三十八研究所，合肥 230088；2. 安徽省公共安全應(yīng)急信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，合肥 230088；3.湖北省麻城市公安局刑偵大隊(duì)，湖北麻城 438300）

三維人像被認(rèn)為具有光照和姿態(tài)不變的特性，學(xué)術(shù)界開始探索利用人臉的三維信息提高系統(tǒng)識別性能。針對人像三維特征信息獲取面臨的采集時(shí)間長、設(shè)備價(jià)格昂貴、點(diǎn)云特征提取算法難度大等問題，提出了一種基于OPENNI兼容設(shè)備開發(fā)的便攜式、低成本、高速度人像三維特征信息采集系統(tǒng)。通過使用電動(dòng)旋轉(zhuǎn)平臺及點(diǎn)云自動(dòng)拼接功能，獲得了360°人像三維點(diǎn)云數(shù)據(jù)。后期處理模塊實(shí)現(xiàn)對點(diǎn)云數(shù)據(jù)的裁剪、去除離群點(diǎn)、修補(bǔ)孔洞等功能。數(shù)據(jù)分析模塊通過使用快速點(diǎn)特征直方圖與高斯曲率，獲得人像的耳鼻特征區(qū)域。

模式識別與智能系統(tǒng)；三維特征；點(diǎn)特征直方圖；點(diǎn)云；人像

0 引言

近年來，計(jì)算機(jī)視覺領(lǐng)域得到飛速發(fā)展，傳統(tǒng)的基于二維圖像的人像識別算法都是針對正面人像，當(dāng)二維圖像的俯仰角度、光照、姿態(tài)、化妝、年齡等變化時(shí)，會(huì)顯著降低二維人像識別算法的性能，經(jīng)常出現(xiàn)不能識別的情況[1]。近年來，隨著科技的發(fā)展，獲取三維數(shù)據(jù)越來越具有可行性，同時(shí)因?yàn)槿S人像對光照和姿態(tài)不敏感等優(yōu)點(diǎn)，人像三維信息開始受到越來越多的研究者關(guān)注[2]。

現(xiàn)有的三維人像采集系統(tǒng)，一般只具有采集功能[3]，而不具備特征提取功能，或者特征提取功能需要較長時(shí)間離線處理才能完成[4]。在人像數(shù)據(jù)中，尤其是人像頭部數(shù)據(jù)中，鼻子和耳朵受表情、化妝、年齡等變化影響最小，同時(shí)三維幾何信息卻最為突出和豐富，但是目前還沒有一種成熟的快速準(zhǔn)確采集處理這些人像三維特征的信息系統(tǒng)。

本文所述系統(tǒng)采用兼容OPENNI的三維體感攝像頭[5]，被采集對象站立于電動(dòng)旋轉(zhuǎn)平臺上，旋轉(zhuǎn)360°之后在30秒內(nèi)即可獲得相應(yīng)的點(diǎn)云數(shù)據(jù)，通過后期處理模塊簡單處理后，使用特征提取模塊完成鼻子及雙耳特征區(qū)域的提取。

1 系統(tǒng)總體設(shè)計(jì)

人像三維特征信息采集系統(tǒng)采用模塊化設(shè)計(jì)思路，總體架構(gòu)包括人像三維信息采集與特征提取兩部分，最終得到的數(shù)據(jù)包括：人像整體360°點(diǎn)云與特征提取得到的鼻子及雙耳點(diǎn)云。本系統(tǒng)實(shí)現(xiàn)了人像三維信息采集、三維信息可視化、三維信息后期處理、三維特征提取、三維特征存儲(chǔ)與檢索等功能。其邏輯結(jié)構(gòu)如圖1所示。

圖1 人像三維特征信息采集系統(tǒng)邏輯結(jié)構(gòu)圖Fig.1 Logic structure diagram of 3D Portrait Feature Information Collection System

三維體感攝像機(jī)捕獲數(shù)據(jù)后，通過與其相連接的計(jì)算機(jī)進(jìn)一步采集、處理與分析該數(shù)據(jù)，電動(dòng)旋轉(zhuǎn)平臺控制人體360度旋轉(zhuǎn)以獲取完整人像信息。計(jì)算機(jī)數(shù)據(jù)處理單元實(shí)現(xiàn)數(shù)據(jù)拼接與后期處理功能，在電動(dòng)旋轉(zhuǎn)平臺旋轉(zhuǎn)過程中，計(jì)算機(jī)實(shí)時(shí)拼接捕獲的數(shù)據(jù)，并通過USB端口傳輸至計(jì)算機(jī)，采集完成后，用戶通過鼠標(biāo)操作計(jì)算機(jī)，經(jīng)過后期處理單元對點(diǎn)云數(shù)據(jù)進(jìn)行適當(dāng)裁剪、去除離散點(diǎn)與平滑后，即可進(jìn)行特征提取。計(jì)算機(jī)數(shù)據(jù)分析單元實(shí)現(xiàn)特征提取功能，包括預(yù)處理、訓(xùn)練階段、加載給定特征、查找候選集、篩選最終特征。預(yù)處理實(shí)現(xiàn)下采樣后，計(jì)算 FPFH（快速點(diǎn)特征直方圖）值[6]，通過加載給定特征的FPFH值即可查詢得到候選集，根據(jù)高斯曲率的幾何意義得到最終的待測人像三維特征點(diǎn)[7]。無論是數(shù)據(jù)處理過程還是數(shù)據(jù)分析過程，都可以通過三維信息可視化界面實(shí)時(shí)在顯示器上查看結(jié)果，其物理結(jié)構(gòu)如圖2所示。

圖2 人像三維特征信息采集系統(tǒng)物理結(jié)構(gòu)圖Fig.2 Physical structure diagram of 3D Portrait Feature Information Collection System

2 系統(tǒng)模塊設(shè)計(jì)

2.1 數(shù)據(jù)處理模塊設(shè)計(jì)

數(shù)據(jù)處理模塊實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)的采集、拼接和后期處理功能。通過軟件不僅可以設(shè)定掃描模型的質(zhì)量，還可以設(shè)定精確的掃描范圍來提高掃描精度，實(shí)現(xiàn)三維表面重構(gòu)、彩色紋理映射等人像三維點(diǎn)云數(shù)據(jù)一鍵式采集功能。

利用Open Scene Graph引擎開發(fā)的圖形顯示界面，可以將掃描得到的人體點(diǎn)云數(shù)據(jù)載入后進(jìn)行顯示，同時(shí)實(shí)現(xiàn)旋轉(zhuǎn)、縮放以及添加光照等操作。三維信息后期處理功能包括孔洞修復(fù)、離群點(diǎn)及頸部以下數(shù)據(jù)刪除、平滑等，后期處理后的點(diǎn)云數(shù)據(jù)同樣可以在OSG可視化界面中實(shí)時(shí)查看。孔洞修復(fù)與平滑可以在查看點(diǎn)云數(shù)據(jù)時(shí)更美觀，去除離群點(diǎn)及刪除頸部以下數(shù)據(jù)，可以顯著減少點(diǎn)云的數(shù)據(jù)量，從而加快特征提取的速度。

孔洞修復(fù)移植自開源的MeshLab相關(guān)功能[8]，效果如圖3所示，圖中模型來自于人體右耳后部數(shù)據(jù)，一般在數(shù)據(jù)采集時(shí)，即使旋轉(zhuǎn)360°，仍然會(huì)有遮擋的角落，出現(xiàn)圖中所示的孔洞，可以看出修復(fù)后的效果更美觀更有利于觀察。去除離群點(diǎn)采用開源的OpenMesh相關(guān)功能[9]，效果如圖4所示，圖中模型來自于人體頭部最頂端的頭發(fā)數(shù)據(jù)，可以看出很多離群點(diǎn)已經(jīng)去除。選擇并刪除頸部以下數(shù)據(jù)使用OSG自帶的模型選擇與刪除功能，效果如圖5所示，圖中紅色區(qū)域是通過鼠標(biāo)選擇的貫通點(diǎn)云數(shù)據(jù)，刪除后可以看出最少降低了50%的數(shù)據(jù)量，只需要在頭部數(shù)據(jù)中尋找特征點(diǎn)即可。

圖3 孔洞修復(fù)前與孔洞修復(fù)后效果對比圖Fig.3 Comparison diagram of hole repair

圖4 去除離群點(diǎn)前與去除離群點(diǎn)后效果對比圖Fig.4 Comparison diagram of outliers removing

圖5 刪除頸部以下數(shù)據(jù)前與刪除頸部以下數(shù)據(jù)后效果對比圖Fig.5 Comparison diagram of data removing under neck

2.2 數(shù)據(jù)分析模塊設(shè)計(jì)

數(shù)據(jù)分析模塊實(shí)現(xiàn)了對人像三維點(diǎn)云數(shù)據(jù)進(jìn)行特征提取的功能。通過計(jì)算具有姿態(tài)不變性的FPFH值并結(jié)合曲率、方位等信息，不需要訓(xùn)練大量數(shù)據(jù)，即可快速準(zhǔn)確提取。提取后通過在點(diǎn)云中沿著圓形輪廓分割出相應(yīng)的特征數(shù)據(jù)，并保存至電腦中，實(shí)現(xiàn)數(shù)據(jù)查詢等功能?？梢暬绦蚩梢栽谠紨?shù)據(jù)上實(shí)時(shí)標(biāo)明特征點(diǎn)與特征區(qū)域，可以對特征區(qū)域單獨(dú)加載，并實(shí)現(xiàn)縮放、平移、旋轉(zhuǎn)等基礎(chǔ)操作，方便用戶查看。其軟件流程圖如圖6所示。

FPFH值是PFH值（點(diǎn)特征直方圖）的快速計(jì)算方法，PFH通過參數(shù)化查詢點(diǎn)與領(lǐng)域點(diǎn)之間的空間差異，形成一個(gè)多維直方圖對點(diǎn)的領(lǐng)域幾何屬性進(jìn)行描述，每一個(gè)點(diǎn)有一個(gè)FPFH值，由33個(gè)浮點(diǎn)數(shù)構(gòu)成。兩個(gè)不同模型的特征點(diǎn)通過FPFH值進(jìn)行初步定位后，使用高斯曲率精確定位特征點(diǎn)。根據(jù)高斯曲率的性質(zhì)，如果高斯曲率等于零，該點(diǎn)位于平面上或者是臍點(diǎn)；如果高斯曲率小于零，該點(diǎn)位于馬鞍面上；如果高斯曲率大于零，該點(diǎn)位于類似碗底的拋物面上，如果高斯曲率越大，則該點(diǎn)越尖。因此耳道和鼻尖都要選取初步定位點(diǎn)的鄰域點(diǎn)中高斯曲率最大的點(diǎn)作為最終的特征點(diǎn)。

圖6 數(shù)據(jù)分析模塊軟件流程圖Fig.6 Software flow chart of the Data analysis module

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)中使用Intel Core i7-4790 CPU，主頻3.60GHz，內(nèi)存為4G的計(jì)算機(jī)設(shè)備，基于QT4.8.5+VS2010開發(fā)了人像三維特征信息采集與特征提取平臺，完成360°人像采集需要30秒，不計(jì)算后期處理的時(shí)間，從讀入后期處理后的人像頭部三維點(diǎn)云數(shù)據(jù)到最終確定特征點(diǎn)平均耗時(shí)10秒。

實(shí)驗(yàn)結(jié)果如圖7所示，列舉了三位被采集對象的左右兩個(gè)角度的人像三維特征提取結(jié)果。為了使特征點(diǎn)與特征區(qū)域更直觀，用紅色圓點(diǎn)標(biāo)明特征點(diǎn)，用綠色標(biāo)明鼻部區(qū)域，用粉色標(biāo)明右耳區(qū)域，用藍(lán)色標(biāo)明左耳區(qū)域。從圖中可以看出，由本算法所得的特征點(diǎn)已經(jīng)相當(dāng)精確。經(jīng)過手工標(biāo)定100個(gè)不同人臉的特征點(diǎn)，并與本算法定位的特征點(diǎn)比較[10]，考慮到鼻尖采集較為準(zhǔn)確，而耳道采集由于遮擋原因數(shù)據(jù)可能不夠完整，如果本文算法提取的特征點(diǎn)在鼻尖處在手工標(biāo)定2mm領(lǐng)域內(nèi)，在耳道處只要在其內(nèi)部都認(rèn)為是準(zhǔn)確的。根據(jù)最終的結(jié)果，本文算法提取的特征點(diǎn)鼻尖準(zhǔn)確度在99%以上，耳道準(zhǔn)確度在92%以上。

圖7 實(shí)驗(yàn)結(jié)果Fig.7 Experimental result

4 結(jié)論

（1）本文提出了一種全新的人像三維信息采集與人體局部特征提取方法，為鼻部、耳部定位與識別奠定了基礎(chǔ)。與現(xiàn)有系統(tǒng)比較，本文所述系統(tǒng)降低了采集時(shí)間與設(shè)備成本、提高了采集精度與設(shè)備便攜性，同時(shí)特征提取算法不需要訓(xùn)練集，算法計(jì)算代價(jià)小，通過使用FPFH值與高斯曲率，實(shí)現(xiàn)精確定位鼻尖與耳道點(diǎn)。雖然目前特征提取平均需要10秒，但是經(jīng)過后期實(shí)驗(yàn)與優(yōu)化，有望將提取時(shí)間進(jìn)一步降低，以滿足實(shí)時(shí)性要求。

（2）本文所述方法適用于其他三維特征明顯的局部特征點(diǎn)識別。三維信息也可投影至二維平面，組合利用二維與三維信息進(jìn)行特征識別與提取。本文分割提取的耳鼻局部特征，也可以利用一些全局特征描述子進(jìn)行識別與檢索。

[1] Irfanoglu M O，Gkberk B，Akarun L. 3D Shape-based Face Recognition using Automatically Registered Facial Surfaces[J]. 2004，4：183-186.

[2] Guo Y，Lei Y，Liu L，et al. EI3D：Expression-Invariant 3D Face Recognition based on Feature and Shape Matching[J]. Pattern Recognition Letters，2016.

[3] Roth J，Tong Y，Liu X. Adaptive 3D Face Reconstruction from Unconstrained Photo Collections[C]// Proc. IEEE Computer Vision and Pattern Recognition. 2016.

[4] Zhao X，Dellandréa E，Chen L. A 3D Statistical Facial Feature Model and Its Application on Locating Facial Landmarks[J]. Lecture Notes in Computer Science，2009，5807：686-697.

[5] Villaroman N，Rowe D，Swan B. Teaching natural user interaction using OpenNI and the Microsoft Kinect sensor[C]// Sigite' 11 ACM Special Interest Group for Information Technology Education Conference，West Point，Ny，Usa，October. 2011：227-232.

[6] 陸軍，彭仲濤，董東來，等．點(diǎn)云FPFH特征提取優(yōu)化配準(zhǔn)算法[J]．新型工業(yè)化，2014，4（7）：75-81．

LUN Jun，PENG Zhong-tao，DONG Dong-lai，et al. The Registration Algorithm of Point Cloud Based on Optimal Extraction of FPFH Feature[J].The Journal of New Industrialization，2014，4（7）：75-81.

[7] Lisle，Lisle. Detection of zones of abnormal strains in structures using Gaussian curvature analysis[J]. Aapg Bulletin，1994，78（12）：1811-1819.

[8] Cignoni P，Callieri M，Corsini M，et al. MeshLab：an Open-Source Mesh Processing Tool.[J]. Computing，2008，1：129-136.

[9] Botsch M，Steinberg S，Bischoff S，et al. OpenMesh - a generic and efficient polygon mesh data structure[J]. Opensg Symposium，2002.

[10] 張志偉，劉亮，傅慧源．視頻檢索中正臉判斷技術(shù)的研究[J]．新型工業(yè)化，2012，2（9）：63-68．

ZHANG Zhi-wei，LIU Liang，F(xiàn)U Hui-yuan. Research of Front Facial Estimation Method in Videa Retrieval[J].The Journal of New Industrialization，2012，2（9）：63-68.

Design and Implementation of 3D Portrait Feature Information Collection System

NIE Jian-hua1,2, LIU Xiao-nan1,2, LIU Chang-jin1,2, LI Lin1,2, CHEN Xiang-yang3
(1.The 38thResearch Institute of China Electronics Technology Group Corporation, Hefei 230088, China; 2. Anhui Key Laboratory of Emergency Information Technology of Public Safety, Hefei 230088, China; 3. The Public Security Bureau of Criminal Investigation Brigadehui, Hubei Macheng 438300, China)

Three dimensional portrait is considered to have the special characteristics of unchanged with light and pose, hence, the academia began to improve the performance of human face recognition by exploring the use of three-dimensional information. Aim to solve the problems of 3D portrait feature information acquisition, such as long grabbing time, expensive equipment, complex point cloud feature extraction algorithm and so on. This paper proposes a system of 3D portrait feature information collection based on OPENNI compatible device with the advantages of good portability, low cost and high speed. By using the electric rotary table and point cloud automatic stitching function, 360 degree 3D portrait point cloud data was collected. The post processing module was designed to realize the functions of point cloud data cutting, outliers removing, holes repairing and so force. The data analysis module was used to obtain the characteristic region of portraits’ ears and noses through using the Fast Point Feature Histogram and Gauss Curvature.

Pattern Recognition & Intelligent Systems; 3D feature; Point Feature Histogram; Point cloud; Portrait

聶建華，劉小楠，劉昌進(jìn)，等.人像三維特征信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 新型工業(yè)化，2016，6（10）：61-65.

10.19335/j.cnki.2095-6649.2016.10.009

: NIE Jian-hua, LIU Xiao-nan, LIU Chang-jin, et al. Design and Implementation of 3D Portrait Feature Information Collection System[J]. The Journal of New Industrialization, 2016, 6(10)： 61-65.

安徽省科技攻關(guān)計(jì)劃（1501b042216）

聶建華（1985-），男，中級工程師，機(jī)器視覺；劉小楠，博士，中國電子科技集團(tuán)公司第三十八研究所；劉昌進(jìn)，博士，中國電子科技集團(tuán)公司第三十八研究所；李林，博士，中國電子科技集團(tuán)公司第三十八研究所；陳向陽，二級警司，湖北省麻城市公安局刑偵大隊(duì)