主動(dòng)激光散斑投射的面部測(cè)量方法研究

趙鵬亮 ， 梁 晉 ， 徐勁瀾 ， 武國(guó)慶 ， 孟繁昌

（1.西安交通大學(xué)機(jī)械工程學(xué)院 機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710049；2.廣東順德西安交通大學(xué)研究院，廣東 佛山 528300；3.中航工業(yè)洛陽(yáng)電光設(shè)備研究所，河南 洛陽(yáng) 471009）

主動(dòng)激光散斑投射的面部測(cè)量方法研究

趙鵬亮1，2， 梁 晉1，2， 徐勁瀾1，2， 武國(guó)慶3， 孟繁昌1，2

（1.西安交通大學(xué)機(jī)械工程學(xué)院 機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710049；2.廣東順德西安交通大學(xué)研究院，廣東 佛山 528300；3.中航工業(yè)洛陽(yáng)電光設(shè)備研究所，河南 洛陽(yáng) 471009）

針對(duì)醫(yī)學(xué)等相關(guān)領(lǐng)域?qū)γ娌枯喞獪y(cè)量的需求，提出一種主動(dòng)激光散斑投射的面部點(diǎn)云獲取方法。該方法結(jié)合數(shù)字圖像相關(guān)法和雙目立體視覺(jué)原理，能夠快速重建面部三維輪廓。首先，介紹數(shù)字圖像相關(guān)法的基本原理；其次，提出一種匹配前的散斑圖像預(yù)處理方法，去除散斑圖像的邊緣化區(qū)域，提高散斑匹配質(zhì)量；最后，計(jì)算面部三維點(diǎn)云。為驗(yàn)證該方法的可行性及最終重建效果，設(shè)計(jì)面部掃描重建及誤差實(shí)驗(yàn)，結(jié)果表明：該方法具有體積小和不受光強(qiáng)影響的特點(diǎn)，能夠較好地重建出面部模型，整體測(cè)量誤差為±0.2mm。

面部測(cè)量；激光散斑；數(shù)字圖像相關(guān)法；圖像去邊緣化

0 引 言

隨著三維光學(xué)測(cè)量的發(fā)展，提取物體輪廓信息已經(jīng)變得越來(lái)越方便，而面部的三維輪廓信息也正在被越來(lái)越多的行業(yè)所需要。例如：醫(yī)學(xué)整形和臨床治療[1]，CG電影中數(shù)字虛擬演員的設(shè)計(jì)[2]，VR人物開(kāi)發(fā)等[2]。

目前在國(guó)內(nèi)相關(guān)研究中，面部三維的信息提取和重建方法按照原理的不同大致可以分為結(jié)構(gòu)光投影方法[3]、激光線掃描方法[4]、基于特征分塊的方法[5]。其中結(jié)構(gòu)光投影法是一種基于光學(xué)三角形測(cè)量原理，采用格雷碼和相移組合編碼的方法，通過(guò)攝像機(jī)捕捉面部結(jié)構(gòu)光調(diào)制信息并運(yùn)用圖像處理技術(shù)進(jìn)行解調(diào)，實(shí)現(xiàn)面部外形的三維測(cè)量和重建，但該方法對(duì)光源比較敏感；激光線掃描法是指利用激光測(cè)距原理，采用激光光帶掃掠人整個(gè)面部，最終得到完整的面部點(diǎn)云模型，近年來(lái)為了提高其效率也有人提出了多光帶激光掃描的方案[6]，但是總體來(lái)說(shuō)激光線掃描的方法耗時(shí)較長(zhǎng)；基于特征分塊的三維面部重建是利用原始三維數(shù)據(jù)庫(kù)中的人臉進(jìn)行特征定位與分割，然后建立每個(gè)特征分塊的形變模型，通過(guò)對(duì)二維面部圖像的特征定位與分割，最終實(shí)現(xiàn)每個(gè)特征分塊的三維重建，但該方法流程比較繁瑣。

本文提出一種主動(dòng)激光散斑投射的面部測(cè)量方法。首先通過(guò)主動(dòng)激光散斑投射器向面部投射紅外散斑圖案；其次由兩個(gè)黑白相機(jī)采集臉部帶有紅外散斑圖案的灰度圖像，由彩色相機(jī)采集面部的彩色圖像；然后對(duì)獲取的散斑圖像進(jìn)行去邊緣化處理，去除無(wú)效散斑區(qū)域；最后通過(guò)雙目立體視覺(jué)原理、數(shù)字圖像相關(guān)方法以及紋理映射重建出面部的彩色點(diǎn)云信息。

1 系統(tǒng)方案設(shè)計(jì)及測(cè)量流程

1.1 測(cè)量系統(tǒng)方案設(shè)計(jì)

測(cè)量系統(tǒng)主要包括兩個(gè)測(cè)頭，每個(gè)測(cè)頭由兩個(gè)黑白相機(jī)、一個(gè)彩色相機(jī)、一個(gè)主動(dòng)激光散斑投射器組成，如圖1所示。測(cè)頭中散斑投射裝置采用自主設(shè)計(jì)的主動(dòng)激光散斑投射器，其結(jié)構(gòu)如圖2所示。其工作原理是：首先由Vcsel激光陣列發(fā)射出紅外激光，依次經(jīng)過(guò)雙凸鏡的會(huì)聚與發(fā)散，聚光鏡的會(huì)聚，然后穿過(guò)已經(jīng)被刻蝕好的散斑玻片，最終經(jīng)過(guò)鏡頭向物體投出散斑。該主動(dòng)激光散斑投射器內(nèi)部高度集成體積較小，壽命較長(zhǎng)，使用過(guò)程中光束發(fā)散角小，抗干擾性強(qiáng)，激光陣列亮度較高，可實(shí)現(xiàn)遠(yuǎn)距離清晰投射。在復(fù)雜環(huán)境下，有效解決了散斑成像弱化問(wèn)題，實(shí)現(xiàn)了高清晰度、均勻亮度散斑圖像的采集。

圖1 測(cè)試系統(tǒng)結(jié)構(gòu)示意圖

圖2 主動(dòng)激光散斑投射器結(jié)構(gòu)示意圖

該系統(tǒng)相機(jī)視場(chǎng)大小為960mm×600mm，采用的紅外散斑波長(zhǎng)為850nm，相機(jī)分辨率為1920像素×1200像素?？紤]到激光使用安全等級(jí)以及激光測(cè)量可能對(duì)人體造成的傷害，經(jīng)過(guò)計(jì)算采用5W的主動(dòng)激光散斑投射器，光線強(qiáng)度經(jīng)過(guò)擴(kuò)散衰減之后的安全測(cè)量距離是800mm。

1.2 面部點(diǎn)云計(jì)算流程

1）相機(jī)標(biāo)定。相機(jī)標(biāo)定之前，應(yīng)首先對(duì)標(biāo)定板進(jìn)行攝影測(cè)量，計(jì)算出標(biāo)定板的全局點(diǎn)，然后調(diào)節(jié)相機(jī)焦距，使相機(jī)能夠清晰地看到標(biāo)志點(diǎn)。將標(biāo)定板擺放多個(gè)不同位置，分別采集圖像信息，然后計(jì)算出各個(gè)相機(jī)相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣以及相機(jī)的夾角和內(nèi)參數(shù)。

2）圖像采集。通過(guò)主動(dòng)激光散斑投射器向面部投射紅外散斑圖案，并利用兩個(gè)測(cè)頭中的黑白相機(jī)和彩色相機(jī)進(jìn)行圖像采集，黑白相機(jī)獲得面部的散斑圖像，彩色相機(jī)獲得面部的彩色RGB圖像。

3）點(diǎn)云重建。首先對(duì)灰度圖像進(jìn)行去邊緣化處理，然后利用盒圖像運(yùn)算法及數(shù)字相關(guān)法對(duì)其進(jìn)行比配，待匹配完成后，結(jié)合相機(jī)的內(nèi)外參數(shù)重建出面部三維點(diǎn)云。

4）顏色貼圖。將彩色圖像的RGB信息映射到已重建好的點(diǎn)云上，形成更加逼真的彩色點(diǎn)云。

2 系統(tǒng)關(guān)鍵技術(shù)

在獲得散斑圖像后，為快速有效地得到高準(zhǔn)確度三維輪廓，設(shè)計(jì)了計(jì)算流程，如圖3所示。并針對(duì)傳統(tǒng)散斑匹配圖像邊緣問(wèn)題導(dǎo)致的誤匹配問(wèn)題，重點(diǎn)研究了散斑圖像去邊緣化的預(yù)處理過(guò)程。

圖3 三維輪廓計(jì)算流程

2.1 數(shù)字圖像相關(guān)法

數(shù)字圖像相關(guān)法[7-9]的基本問(wèn)題是對(duì)兩個(gè)散斑圖像進(jìn)行相關(guān)計(jì)算。在面部掃描過(guò)程中，單測(cè)組黑白相機(jī)采集的散斑圖像需要利用數(shù)字圖像相關(guān)方法進(jìn)行匹配，匹配原理如圖4所示。在左側(cè)黑白相機(jī)圖像中，取以待匹配點(diǎn) C 為中心的（2N+1）×（2N+1）大小的矩形子圖像作為參考子圖像，在右側(cè)黑白相機(jī)圖像中，通過(guò)一定的搜索方法，并按照預(yù)先定義的相關(guān)系數(shù)進(jìn)行計(jì)算，尋找與參考子圖像相似度最大的以C′為中心的待匹配圖像，則點(diǎn)C′即為點(diǎn)C在右側(cè)黑白相機(jī)圖像中的對(duì)應(yīng)點(diǎn)。

圖4 數(shù)字圖像相關(guān)原理

在本方法中所采用的相關(guān)系數(shù)為最小距離平方和函數(shù)：

2.2 圖像去邊緣化

數(shù)字圖像相關(guān)法是一種區(qū)域性的匹配方法，是圖像子區(qū)中所有像素均參與的特征匹配，但在圖像的尖銳部分（如圖像邊緣），會(huì)產(chǎn)生很多錯(cuò)誤匹配點(diǎn)。為了消除該方法的邊緣效應(yīng)，使用梯度均值和梯度重心偏移量的算子來(lái)定位和去除邊緣區(qū)域就顯得非常必要。對(duì)圖像梯度 g（x，y）的計(jì)算采用 Sobel算子，梯度均值為圖像子區(qū)范圍內(nèi)所有圖像點(diǎn)的平均值：

引入梯度均值閾值α，當(dāng)子區(qū)梯度均值大于α，代表該子區(qū)特征飽滿，可進(jìn)行計(jì)算；當(dāng)子區(qū)均值小于α，則表示該區(qū)域特征過(guò)于統(tǒng)一，即整體偏白或偏黑，不利于計(jì)算，可以將其去除。梯度重心偏移量d表示圖像子區(qū)梯度重心（dx，dy）相對(duì)于子區(qū)中心（x0，y0）的偏移程度：

同樣引入閾值β，當(dāng)d＞β時(shí)，表明該區(qū)域梯度特征分布不均，可能處于邊緣區(qū)域，可以去除。

為提高該環(huán)節(jié)的計(jì)算速度，本文采用盒濾波運(yùn)算法[10-11]來(lái)加速散斑圖像梯度計(jì)算過(guò)程。其基本思想是采用一個(gè)不斷更新數(shù)據(jù)的像素窗口，利用前一個(gè)圖像子區(qū)的梯度計(jì)算代價(jià)，為下一個(gè)圖像子區(qū)梯度計(jì)算消除冗余的加法、乘法運(yùn)算，并且在數(shù)據(jù)訪問(wèn)時(shí)通過(guò)直接訪問(wèn)數(shù)據(jù)位置而有效減少了尋址操作，計(jì)算效率顯著提高。對(duì)于一幅1920像素×1200像素的散斑圖像，計(jì)算子區(qū)大小為30像素×30像素，選取α=64，β=0.25，去邊緣化效果如圖5所示。對(duì)散斑圖像進(jìn)行該處理后，在匹配階段可有效改善散斑的誤匹配以及被測(cè)物外的無(wú)限制匹配所產(chǎn)生的諸多數(shù)據(jù)雜點(diǎn)。

3 實(shí)驗(yàn)分析

3.1 面部點(diǎn)云掃描

為驗(yàn)證該方法點(diǎn)云重建效果，設(shè)計(jì)了面部輪廓測(cè)量實(shí)驗(yàn)。首先對(duì)相機(jī)進(jìn)行內(nèi)外參數(shù)的標(biāo)定，調(diào)節(jié)散斑投射器，標(biāo)定后固定相機(jī)位置。人位于兩測(cè)頭中心線上，與每個(gè)測(cè)頭相距1 050 mm，掃描面部時(shí)，黑白相機(jī)曝光時(shí)間設(shè)置為3 ms，彩色相機(jī)曝光時(shí)間設(shè)置為15ms。掃描時(shí)，通過(guò)驅(qū)動(dòng)電路板觸發(fā)兩測(cè)頭上的主動(dòng)激光散斑投射器來(lái)投射散斑，在投射散斑5ms后，控制所有的相機(jī)同步采集面部散斑圖片和彩色圖片，16ms后關(guān)閉散斑投射器，相機(jī)停止數(shù)據(jù)采集。獲取散斑圖像后，通過(guò)設(shè)定的三維輪廓計(jì)算流程，對(duì)其進(jìn)行邊緣化去除操作，隨后根據(jù)數(shù)字圖像相關(guān)原理及多種子點(diǎn)擴(kuò)散原理進(jìn)行面部點(diǎn)云重建。

由圖6、圖7中圖像可以觀察到，使用主動(dòng)激光散斑投射器采集的面部散斑圖像亮度均勻，散斑密集且清晰。在環(huán)境光線較弱情況下，依然能夠得到優(yōu)質(zhì)的散斑圖像；在高亮環(huán)境下，黑白相機(jī)加裝850濾光片后可屏蔽環(huán)境光影響，保證散斑效果。對(duì)散斑圖像進(jìn)行輪廓重建之后，將點(diǎn)云分別保存為“.wrl”格式的彩色點(diǎn)云文件、“.asc”格式的正面點(diǎn)云文件和“.stl”格式的三角面片文件，如圖8所示。從點(diǎn)云信息中可看出，通過(guò)該方法所得到的面部點(diǎn)云比較光滑，眼、鼻、眉等細(xì)節(jié)特征保存比較完整，能夠較好地識(shí)別出主要特征。

圖5 去邊緣化處理實(shí)例效果

圖6 右測(cè)頭相機(jī)采集圖片

圖7 左測(cè)頭相機(jī)采集圖片

通過(guò)多次測(cè)量點(diǎn)云的結(jié)果來(lái)看，該方法在保證了重建效果的同時(shí)，還具有較好的穩(wěn)定性。另外，采用雙測(cè)頭的測(cè)量方案能夠比較完整地獲取人面部?jī)蓚?cè)的點(diǎn)云信息，而且對(duì)于兩測(cè)頭測(cè)量范圍相交區(qū)域，互補(bǔ)作用使點(diǎn)云數(shù)據(jù)更加完整，可以滿足相關(guān)行業(yè)的使用要求。

圖8 掃描點(diǎn)云

3.2 誤差驗(yàn)證

實(shí)驗(yàn)采用直徑為100mm的標(biāo)準(zhǔn)球進(jìn)行點(diǎn)云重建，然后根據(jù)生成的點(diǎn)云進(jìn)行球體擬合并計(jì)算其直徑，將計(jì)算值與標(biāo)準(zhǔn)值進(jìn)行對(duì)比分析，驗(yàn)證散斑點(diǎn)云重建的誤差，散斑圖像及球體擬合效果如圖9所示。

圖9 標(biāo)準(zhǔn)球直徑擬合

對(duì)標(biāo)準(zhǔn)球的掃描測(cè)量實(shí)驗(yàn)共進(jìn)行5次，多次擬合球直徑得到的結(jié)果如圖10所示。

圖10 多次擬合結(jié)果圖

根據(jù)5組實(shí)驗(yàn)的標(biāo)準(zhǔn)球直徑擬合結(jié)果得到平均擬合直徑為99.64mm，標(biāo)準(zhǔn)差為0.15mm。因此，該方法的散斑測(cè)量誤差在±0.2mm左右。

4 結(jié)束語(yǔ)

本文針對(duì)目前對(duì)面部輪廓信息測(cè)量的需求，使用一種主動(dòng)激光散斑投射器向人面部投射激光紅外散斑，該方法數(shù)據(jù)采集時(shí)間較短，不易受環(huán)境光強(qiáng)的影響。在三維輪廓重建流程中，對(duì)獲得的散斑圖像進(jìn)行預(yù)處理去邊緣化操作，防止誤匹配及無(wú)限匹配的發(fā)生，最終重建面部輪廓。實(shí)驗(yàn)證明該方法所獲得面部點(diǎn)云信息擁有較好的特征辨識(shí)度，五官清晰，驗(yàn)證了該方法的可行性，并通過(guò)誤差測(cè)試驗(yàn)證了該方法的測(cè)量誤差可以達(dá)到±0.2mm。

[1]鐘世鎮(zhèn)．?dāng)?shù)字化虛擬人體研究現(xiàn)狀和展望[J]．解放軍醫(yī)學(xué)雜志，2003，28（5）：385-388.

[2]潘紅艷，柳楊華，徐光祐．人臉動(dòng)畫(huà)方法綜述[J]．計(jì)算機(jī)應(yīng)用研究，2008，25（2）：327-331.

[3]熊耀陽(yáng)，陳曉波，孫健，等．結(jié)構(gòu)光投影面部三維測(cè)量系統(tǒng)的研制[J]．上海交通大學(xué)學(xué)報(bào)（醫(yī)學(xué)版），2009，29（7）：837-841.

[4]楊宇，闞凌雁，于佳，等．基于激光掃描的人臉三維重建方法[J]．紅外與激光工程，2014，43（12）：3946-3950．

[5]鹿樂(lè)，周大可，胡陽(yáng)明．基于特征分塊的三維人臉重建和識(shí)別[J]．計(jì)算機(jī)應(yīng)用，2012，32（11）：3189－3192．

[6]葛寶臻，趙丹，田慶國(guó)，等．三光帶激光三維人臉掃描方法[J]．2010，37（6）：1594-1598.

[7]唐正宗，梁晉，肖振中，等．用于三維變形測(cè)量的數(shù)字圖像相關(guān)系統(tǒng)[J]．光學(xué)精密工程，2010，18（10）：2244-2253．

[8]SAVIC V， HECTOR L G J， FEKETE J R.Digital image correlation study of plastic deformation and fracture in fully martensitic steels[J].Experimental Mechanics，2010，50（1）：99-110.

[9]KARTAL M E，MULVIHILL D M，NOWELL D，et al.Determination of the frictional properties of titanium and nickel alloys using the digital image correlation method[J].Experimental Mechanics，2011，51（3）：359-371.

[10]鄧祥．多分辨率與視差梯度相結(jié)合的快速區(qū)域匹配[J]．山西電子技術(shù)，2014（6）：9-11.

[11]MCDONNELL M J.Box-filtering techniques[J]．Computer Graphics and Image Processing，1981，17（1）：65-70.

（編輯：商丹丹）

Research on active laser speckle projection for facial measurement

ZHAO Pengliang1，2， LIANG Jin1，2， XU Jinlan1，2， WU Guoqing3， MENG Fanchang1，2
（1.State Key Laboratory for Manufacturing Systems Engineering，School of Mechanical Engineering，Xi’an Jiaotong University，Xi’an 710049，China；2.Guangdong Shunde Xi’an Jiaotong University Academy，F(xiàn)oshan 528300，China；3.Institute of Electro-Optical Equipment，AVIC，Luoyang 471009，China）

In order to solve the problem of facial measurement in medical and other related fields，a method to acquire the facial point cloud based on active laser speckle projection is proposed.This method can rapidly reconstruct the three-dimensional facial contour by combining stereo vision with digital image correlation method.Firstly，the fundamental of digital image correlation method is introduced，and then a preprocessing method of speckle image before matching is proposed to remove the marginalized area of the speckle image for high quality speckle matching.Finally， according to the speckle matching，the facial three-dimensional point cloud is calculated.To verify the feasibility and the final reconstruction effect of the method， the facial scan reconstruction and error experiment are designed and conducted.Experimental results demonstrate that the method has small measuring device size and light robustness.It can reconstruct the facial model well， and the overall measurement error is ±0.2mm.

facial measurement； laser speckle； digital image correlation method； image marginalization removal

A

1674-5124（2017）09-0008-05

10.11857/j.issn.1674-5124.2017.09.002

2016-12-23；

2017-02-10

國(guó)家自然科學(xué)基金項(xiàng)目（51421004）；廣東省公益研究與能力建設(shè)專項(xiàng)資金（2014A010104003）

趙鵬亮（1991-），男，河南許昌市人，碩士研究生，專業(yè)方向?yàn)槿S光學(xué)測(cè)量。

梁 晉（1968-），男，河南鄭州市人，教授，博士生導(dǎo)師，主要從事機(jī)電控制、機(jī)器視覺(jué)等方面的研究。