智能配鏡三維特征參數(shù)提取方法研究

侯增選，李巖翔，楊 武，趙有航，王軍驊

智能配鏡三維特征參數(shù)提取方法研究

侯增選1，李巖翔1，楊 武2，趙有航1，王軍驊1

(1. 大連理工大學(xué)機(jī)械工程學(xué)院，遼寧 大連 116024；2. 眼藝生活電子商務(wù)有限公司，廣東 深圳 518000)

針對(duì)智能配鏡中三維面部特征點(diǎn)提取算法復(fù)雜度較高的問(wèn)題，提出一種將三維點(diǎn)云轉(zhuǎn)換為映射圖像定位特征點(diǎn)的方法。采用Voronoi方法計(jì)算面部三角網(wǎng)格各頂點(diǎn)處的高斯曲率、平均曲率。選取鼻尖、眼角等曲率特征明顯的區(qū)域估計(jì)面部點(diǎn)云姿態(tài)。根據(jù)曲率旋轉(zhuǎn)不變性，使用初選的點(diǎn)云方向向量簡(jiǎn)化旋轉(zhuǎn)矩陣的計(jì)算，使面部點(diǎn)云正面朝向視點(diǎn)。將點(diǎn)云映射轉(zhuǎn)換為圖像，三維網(wǎng)格模型中三角面片一對(duì)一映射到圖像中的三角形。搭建卷積神經(jīng)網(wǎng)絡(luò)，使用Texas 3DFRD數(shù)據(jù)集進(jìn)行模型訓(xùn)練。進(jìn)行人臉對(duì)齊，預(yù)測(cè)所得各面部特征點(diǎn)分別限制在圖像某三角形中。根據(jù)圖像中三角形映射查找三維網(wǎng)格模型中對(duì)應(yīng)三角面片，通過(guò)三角面片頂點(diǎn)坐標(biāo)計(jì)算配鏡所需的面部特征點(diǎn)位置坐標(biāo)，實(shí)現(xiàn)配鏡特征參數(shù)的提取。

點(diǎn)云；人臉對(duì)齊；映射；特征提??；配鏡

隨著社會(huì)信息化、網(wǎng)絡(luò)化程度的提高，線上配鏡作為新零售方式方興未艾，人們迫切需要一種快速、有效的自動(dòng)人臉參數(shù)獲取技術(shù)。面部特征點(diǎn)的定位為人臉識(shí)別、姿態(tài)估計(jì)與表情識(shí)別、面部特征提取與三維面部重建等后續(xù)領(lǐng)域的研究提供基礎(chǔ)數(shù)據(jù)。使用幾何面部歸一化的人臉界標(biāo)定位已經(jīng)有了良好的效果，明顯改善了識(shí)別結(jié)果[1]。

近年來(lái)，人臉特征點(diǎn)定位技術(shù)發(fā)展迅猛，KOWALSKI等[2]提出一種基于關(guān)鍵點(diǎn)熱圖的深度對(duì)齊網(wǎng)絡(luò)(deep alignment network, DAN)，網(wǎng)絡(luò)輸入整張面部圖像，并引入關(guān)鍵點(diǎn)熱圖作為補(bǔ)充，級(jí)聯(lián)檢測(cè)關(guān)鍵點(diǎn)。此后，KUMAR和CHELLAPPA[3]在熱圖基礎(chǔ)上，提出單一的樹(shù)突狀卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)，可以提高面部姿態(tài)估計(jì)與面部特征點(diǎn)對(duì)齊精度。DENG等[4]提出一種級(jí)聯(lián)多視圖沙漏模型，可以從二維圖像估計(jì)三維的面部標(biāo)定點(diǎn)。RANJAN等[5]采用多任務(wù)學(xué)習(xí)的方法，實(shí)現(xiàn)了利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(multi-task cascaded convolutional network，MTCNN)同時(shí)做人臉檢測(cè)、關(guān)鍵點(diǎn)定位、姿態(tài)估計(jì)與性別判斷。HONARI等[6]提出一種半監(jiān)督學(xué)習(xí)改善關(guān)鍵點(diǎn)定位的方法，提高了關(guān)鍵點(diǎn)定位精度。WU等[7]使用面部邊緣信息輔助關(guān)鍵點(diǎn)回歸的方法，能夠在室外環(huán)境、面部遮擋、夸張表情等情況下仍能保持較高的正確率。

上述方法均采用二維的RGB色彩信息或灰度信息進(jìn)行特征點(diǎn)的定位，光照、面部姿態(tài)等條件對(duì)二維關(guān)鍵點(diǎn)的定位算法的魯棒性影響較大。三維的點(diǎn)云含有比二維圖像更豐富的信息，因此可以克服以上的缺陷。目前照相式掃描儀、三維激光掃描儀、深度傳感器等相關(guān)設(shè)備技術(shù)已日趨成熟，三維的人臉對(duì)齊與人臉關(guān)鍵點(diǎn)檢測(cè)的研究剛剛起步。GUO等[8]提出一種基于關(guān)鍵點(diǎn)和局部特征的三維人臉識(shí)別算法，根據(jù)有價(jià)值輪廓線和平均曲率檢測(cè)關(guān)鍵點(diǎn)，但有價(jià)值輪廓線選取較為復(fù)雜、算法效率較低。馮超和陳清江[9]提出一種多特征相結(jié)合的三維人臉關(guān)鍵點(diǎn)檢測(cè)方法，使用曲率與測(cè)地距離直接對(duì)三維點(diǎn)云上的特征點(diǎn)進(jìn)行標(biāo)記并訓(xùn)練模型，但該方法誤差較大。MARCOLIN和VEZZETTI[10]運(yùn)用三維人臉?lè)治隽?05個(gè)描述符，并將其映射到面部深度圖像，以此進(jìn)行特征點(diǎn)的定位。胡陽(yáng)明等[11]根據(jù)三維人臉柱面展開(kāi)的二維紋理圖進(jìn)行自動(dòng)特征定位并分片，以實(shí)現(xiàn)三維面部特征點(diǎn)對(duì)齊。該方法準(zhǔn)確性好，但有賴于三維模型色彩信息貼圖，不適用于三維激光掃描生成的點(diǎn)云。PAPAZOV等[12]提出通過(guò)深度圖像計(jì)算三角面片描述符，實(shí)時(shí)獲得頭部姿勢(shì)以及面部標(biāo)定點(diǎn)的方法。

為了能夠快速并且準(zhǔn)確地獲取與配鏡有關(guān)的面部關(guān)鍵點(diǎn)位置，本文提出一種將點(diǎn)云姿態(tài)快速校正，并降維為映射圖像的面部特征點(diǎn)定位方法。首先將點(diǎn)云姿態(tài)進(jìn)行校正，隨后獲取校正姿態(tài)后的面部深度圖像，訓(xùn)練深度圖像的特征點(diǎn)定位模型，最終獲得配鏡有關(guān)面部參數(shù)。

1 離散點(diǎn)云曲率計(jì)算

對(duì)于任一點(diǎn)云而言，如果將相機(jī)、掃描儀等主軸方向設(shè)為軸，圖像的橫向與縱向分別為軸與軸，則點(diǎn)云構(gòu)造的曲面為

其中，深度為坐標(biāo)與的函數(shù)。由微分幾何學(xué)[12]可知，對(duì)于嵌入歐氏空間的二維曲面其曲率包括高斯曲率與平均曲率，即

其中，1與2分別為曲率最大及最小值，稱為主曲率，并稱2個(gè)曲率極值所處的方向?yàn)橹鞣较?。?/p>

其中，detI與det II為曲面第一、二基本形式的行列式；，，是第一基本形式的系數(shù)；，，為第二基本形式的系數(shù)。

然而對(duì)于含有拓?fù)湫畔⒔Y(jié)構(gòu)的點(diǎn)云，曲率計(jì)算需要構(gòu)造離散點(diǎn)三角曲面[13]。對(duì)于任意點(diǎn)V,j，其臨近三面片集合為{f,j}0，鄰域內(nèi)頂點(diǎn)集合為{V,j}1，臨近三角形面片的法向量為{,j}0。點(diǎn)云三角網(wǎng)格化之后任意頂點(diǎn)V,j臨近點(diǎn)的拓?fù)浣Y(jié)構(gòu)采用平面擬合如圖1所示。

圖1 頂點(diǎn)Vi,j與其鄰域局部結(jié)構(gòu)

各三角面片f,j中的法向量,j為

頂點(diǎn)V,j的法向量,j定義為環(huán)鄰域三角面片的法向量加權(quán)和，定義|F|為V,j鄰域三角面片個(gè)數(shù)，則V,j法向量為

根據(jù)文獻(xiàn)[14-15]的方法，將光滑曲面看作是一簇三角網(wǎng)格的線性或極限逼近，則由拉普拉斯算子的性質(zhì)可得平均曲率為

由Gauss-Bonnet定理可得高斯曲率為

其中，A為頂點(diǎn)V,j在擬合曲面的鄰域三角面片為銳角或鈍角三角形的混合面積，即

對(duì)于頂點(diǎn)為V,j，頂點(diǎn)相鄰點(diǎn)V1,j與V1組成的三角面片來(lái)說(shuō)，若此三角形為銳角三角形，則

若此三角形中為鈍角，此時(shí)

由以上公式可計(jì)算面部離散點(diǎn)云的與等參數(shù)值。點(diǎn)云各曲率如圖2所示。

與可以在一定程度上反映曲面的不平坦程度，但其分別是曲率的內(nèi)在與外在度量，因此有一定的局限性。例如其中一個(gè)主曲率為0時(shí)高斯曲率為0；而2個(gè)主曲率為相反數(shù)時(shí)，平均曲率為0，但不代表曲面某點(diǎn)在當(dāng)前情況下完全平坦，對(duì)于曲面上的脊、谷、鞍形谷或是極小曲面來(lái)說(shuō)，都有可能出現(xiàn)或?yàn)?的情況。所以還應(yīng)當(dāng)關(guān)注2個(gè)正交且共軛的最大、最小主曲率max與min。

(a) 高斯曲率K(b) 平均曲率H

由于與具有旋轉(zhuǎn)不變性與平移不變性，可以分析出當(dāng)前點(diǎn)的鄰域曲面的結(jié)構(gòu)，和的符號(hào)可以判斷臨近曲面的大致形狀(表1)。

表1 平均曲率H、高斯曲率K的符號(hào)與對(duì)應(yīng)曲面類型

考慮到人體面部眼角位置局部為凹，而鼻尖區(qū)域局部為凸，通過(guò)選取曲率較顯著的3個(gè)點(diǎn)可確定面部點(diǎn)云朝向的基準(zhǔn)平面。然后求得當(dāng)前三維網(wǎng)格模型各頂點(diǎn)處的曲率，即可對(duì)點(diǎn)云姿態(tài)進(jìn)行調(diào)整。

2 點(diǎn)云姿態(tài)校正

采集面部的特征參數(shù)，除了需要對(duì)點(diǎn)云進(jìn)行預(yù)處理外，還需對(duì)面部模型進(jìn)行姿態(tài)的矯正，以獲得面部點(diǎn)云正視圖投影信息。頭部可以近似看作為剛體，假設(shè)任意姿態(tài)下的頭部點(diǎn)云為1，面部朝向正前方的模板點(diǎn)云為0，1可以圍繞，，3個(gè)坐標(biāo)軸進(jìn)行旋轉(zhuǎn)，達(dá)到近似于模板點(diǎn)云0的姿態(tài)。

計(jì)算面部點(diǎn)云各處的曲率，其中面部曲率最為特殊的區(qū)域?yàn)椋罕羌馀c2個(gè)眼角點(diǎn)。其中，鼻尖處曲面為峰，其與均為正值且在某點(diǎn)達(dá)到極大值；而對(duì)于局部呈阱曲面的兩眼角位置和來(lái)說(shuō)，其高斯曲率為正值，平均曲率為負(fù)值。由此3個(gè)點(diǎn)可確定一個(gè)平面，其法向量方向即為當(dāng)前點(diǎn)云方向。而對(duì)于正視前方的模板點(diǎn)云而言，同樣由其2個(gè)眼角0和0與鼻尖0確定模板朝向0，則可以計(jì)算出2個(gè)法向量的夾角。由于已經(jīng)得到目標(biāo)方向矢量與當(dāng)前面部點(diǎn)云的方向矢量，便可求出旋轉(zhuǎn)矩陣，完成當(dāng)前面部點(diǎn)云姿態(tài)旋轉(zhuǎn)。對(duì)于2個(gè)空間向量、0，其夾角為

其沿，，軸的夾角分別為2個(gè)空間向量在，，平面的投影向量的夾角，則相對(duì)于軸的旋轉(zhuǎn)夾角，即

同理可求出相對(duì)于，軸的旋轉(zhuǎn)夾角和。

因此，，，軸的旋轉(zhuǎn)矩陣，，可表示為

則總的旋轉(zhuǎn)矩陣為

進(jìn)行坐標(biāo)旋轉(zhuǎn)之后，原點(diǎn)云轉(zhuǎn)換為點(diǎn)云T，即

各朝向點(diǎn)云與模板點(diǎn)云如圖3所示。

(a) 偏左側(cè)(b) 偏上方(c) 偏右側(cè)

3 特征點(diǎn)定位

將面部點(diǎn)云姿態(tài)矯正為正視前方的角度后，為獲得面部配鏡所需的各參數(shù)，需要對(duì)面部的關(guān)鍵點(diǎn)進(jìn)行標(biāo)定，即進(jìn)行人臉對(duì)齊(face alignment)。目前在二維的圖像領(lǐng)域，通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)等方法預(yù)測(cè)圖像中面部的特征點(diǎn)已經(jīng)非常的快捷和準(zhǔn)確，所以本文采取將點(diǎn)云映射至正視的深度圖后再進(jìn)行關(guān)鍵點(diǎn)位置的獲取。深度圖(depth map)包含了場(chǎng)景對(duì)象的表面到視點(diǎn)的距離信息，通常至少為8位，即最少有256個(gè)灰度，每個(gè)像素都記錄了從視點(diǎn)(viewpoint)到遮擋物表面的距離，8位深度圖可以滿足特征點(diǎn)識(shí)別的精度。

利用Texas3DFR數(shù)據(jù)庫(kù)[16]作為數(shù)據(jù)集，標(biāo)定面部配鏡相關(guān)特征點(diǎn)，包括眼眶、眉毛、鼻梁、臉頰等位置。通過(guò)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(multi-task cascaded convolutional network, MTCNN)尋找人臉邊界并提取出面部圖像，將面部紋理圖像與深度圖像歸一化像素為150×150的圖像。本文紋理-深度 (RGB-Depth, RGB-D)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(圖4)：輸入層為2個(gè)3通道3×150×150；緊接著2個(gè)卷積結(jié)構(gòu)單元，每個(gè)單元都在卷積計(jì)算之后采用ReLU層作為激活函數(shù)提高網(wǎng)絡(luò)非線性擬合能力；并在每個(gè)結(jié)構(gòu)單元的最后采用池化層以簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度，并提取主要特征。其中，第1個(gè)單元卷積層conv1卷積核大小為5×5，池化層pool1大小為3×3；第2個(gè)單元卷積層conv2卷積核大小為3×3，池化層pool2大小為3×3。此后進(jìn)行2個(gè)子網(wǎng)絡(luò)的特征融合，輸入第3個(gè)卷積層，第3單元卷積層conv_3卷積核大小為3×3，池化層pool3大小為3×3；第4個(gè)單元卷積層conv4卷積核大小為3×3，池化層大小為3×3。之后通過(guò)全連接層提取與綜合之前計(jì)算出的特征向量，第1個(gè)全連接層含有1 536個(gè)節(jié)點(diǎn)，第2個(gè)全連接層含有500個(gè)節(jié)點(diǎn)，最后輸出神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的特征點(diǎn)坐標(biāo)。

圖4 RGB-D神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實(shí)例驗(yàn)證與分析

為驗(yàn)證本文提出的自動(dòng)配鏡點(diǎn)云面部關(guān)鍵點(diǎn)定位方法的有效性，特開(kāi)發(fā)了三維點(diǎn)云姿態(tài)估計(jì)與校正系統(tǒng)，并通過(guò)矯正之后的點(diǎn)云生成正視的深度圖像與紋理圖像?；赥ensorFlow平臺(tái)訓(xùn)練CNN模型，在映射圖像上預(yù)測(cè)人體面部關(guān)鍵點(diǎn)的位置。本文通過(guò)三維激光掃描儀獲取人體面部點(diǎn)云，在Intel i5 7500 CPU上處理點(diǎn)云并獲取關(guān)鍵點(diǎn)坐標(biāo)，以圖5點(diǎn)云為例，共獲取左、右側(cè)眉毛特征點(diǎn)坐標(biāo)各5個(gè)，鼻梁特征點(diǎn)坐標(biāo)4個(gè)，左、右眼圈坐標(biāo)各6個(gè)，臉頰坐標(biāo)17個(gè)。

圖5 深度圖像面部特征點(diǎn)定位效果

對(duì)于三維網(wǎng)格模型，其表面由若干三角面片拼接而成。若將三維網(wǎng)格模型映射至平面，則其表面的空間三角形也將對(duì)應(yīng)地映射為平面三角形，如圖6(a)所示。

本文將以三角面片為單位，進(jìn)行紋理信息的映射，效果如圖6(c)所示。在投影的過(guò)程中，實(shí)際世界坐標(biāo)系與坐標(biāo)按照系數(shù)映射為圖像像素坐標(biāo)系中的位置。由此，投影生成的圖像類似于一個(gè)映射表，通過(guò)圖像中的像素坐標(biāo)，可知該坐標(biāo)位置所在的三角面片以及紋理和位置信息。

(a) 三角網(wǎng)格映射(b) 深度映射(c) 紋理信息映射

將映射成的紋理圖像與深度圖像輸入神經(jīng)網(wǎng)絡(luò)，可以得到預(yù)測(cè)的特征點(diǎn)集，并且各特征點(diǎn)均散布在某個(gè)三角面片的映射三角形之內(nèi)，如圖7所示。由于面部三角網(wǎng)格模型在預(yù)處理時(shí)將點(diǎn)云進(jìn)行降采樣，其頂點(diǎn)個(gè)數(shù)的數(shù)量級(jí)在104~105，并且根據(jù)Delaunay三角剖分原理，三角面片的數(shù)量約為頂點(diǎn)數(shù)量的2~3倍。因此，使用三角面片頂點(diǎn)數(shù)據(jù)估計(jì)其包含的特征點(diǎn)位置滿足配鏡精度要求。

圖7 面部特征點(diǎn)定位在三角網(wǎng)格之內(nèi)

本文通過(guò)預(yù)測(cè)的特征點(diǎn)在世界坐標(biāo)系中的幾何坐標(biāo)，求得配鏡相關(guān)參數(shù)；并對(duì)14名被試者的面部參數(shù)使用游標(biāo)卡尺進(jìn)行手工測(cè)量，測(cè)量相對(duì)誤差結(jié)果見(jiàn)表2。由表2可知本文提出的自動(dòng)測(cè)量方法的大多數(shù)參數(shù)測(cè)量誤差均在可接受范圍內(nèi)。

表2 平均測(cè)量值誤差分析

進(jìn)行特征參數(shù)提取后，進(jìn)行眼鏡架模型的參數(shù)化設(shè)計(jì)等后續(xù)配鏡工作。本課題在UG二次開(kāi)發(fā)基礎(chǔ)上，利用Open Inventor三維圖形軟件開(kāi)發(fā)包開(kāi)發(fā)了智能配鏡系統(tǒng)。智能配鏡效果如圖8所示。

圖8 眼藝生活公司智能配鏡效果圖

5 結(jié)束語(yǔ)

綜上，本文針對(duì)智能配鏡中三維面部特征點(diǎn)提取算法復(fù)雜度較高的問(wèn)題，提出一種將三維點(diǎn)云映射為圖像，進(jìn)行特征點(diǎn)定位的方法。計(jì)算面部三角網(wǎng)格模型各頂點(diǎn)處的高斯曲率、平均曲率。選取鼻尖、眼角等曲率特征明顯區(qū)域估計(jì)面部姿態(tài)。使用面部姿態(tài)方向向量簡(jiǎn)化旋轉(zhuǎn)矩陣的計(jì)算，使面部點(diǎn)云正面朝向視點(diǎn)，將點(diǎn)云映射轉(zhuǎn)換為映射圖像。搭建CNN，使用Texas 3DFRD數(shù)據(jù)集進(jìn)行模型訓(xùn)練，進(jìn)行人臉對(duì)齊，最終得到配鏡所需的相關(guān)面部參數(shù)。并通過(guò)具體例證，對(duì)掃描的面部點(diǎn)云進(jìn)行智能配鏡面部參數(shù)的提取。結(jié)果表明，本文的面部參數(shù)提取方法可以達(dá)到智能配鏡目的。

[1] BULAT A, TZIMIROPOULOS G. How far are we from solving the 2D & 3D face alignment problem? (and a dataset of 230,000 3Dfacial landmarks) [C]//2017 IEEE International Conference on Computer Vision (ICCV).New York: IEEE Press, 2017: 1021-1030.

[2] KOWALSKI M, NARUNIEC J, TRZCINSKI T. Deep alignment network: A convolutional neural network for robust face alignment [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 88-97.

[3] KUMAR A, CHELLAPPA R. Disentangling 3Dpose in a dendritic CNN for unconstrained 2D face alignment [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2018: 430-439.

[4] DENG J K, ZHOU Y X, CHENG S Y, et al. Cascade multi-view hourglass model for robust 3D face alignment [C]//2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). New York: IEEE Press, 2018: 399-403.

[5] RANJAN R, PATEL V M, CHELLAPPA R. HyperFace: A deep multi-task learning framework for face detection, landmark localization, Pose estimation, and gender recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(1): 121-135.

[6] HONARI S, MOLCHANOV P, TYREE S, et al. Improving landmark localization with semi-supervised learning [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).New York: IEEE Press, 2018: 1546-1555.

[7] WU W Y, QIAN C, YANG S, et al. Look at boundary: A boundary-aware face alignment algorithm [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2018: 2129-2138.

[8] GUO M L, DA F P, DENG X, et al. 3D face recognition based on keypoints and local feature [J]. Journal of ZheJiang University (Engineering Science), 2017, 51(3): 584-589.

[9] 馮超, 陳清江.一種多特征相結(jié)合的三維人臉關(guān)鍵點(diǎn)檢測(cè)方法[J]. 液晶與顯示，2018, 33(4): 306-316.

[10] MARCOLIN F, VEZZETTI E. Novel descriptors for geometrical 3D face analysis [J]. Multimedia Tools and Applications, 2017, 76(12): 13805-13834.

[11] 胡陽(yáng)明, 周大可, 鹿樂(lè), 等.基于改進(jìn)ASM的三維人臉自動(dòng)對(duì)齊算法[J]. 計(jì)算機(jī)工程, 2013, 39(3): 250-253.

[12] PAPAZOV C, MARKS T K, JONES M. Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2015: 4722-4730.

[13] Li Z Y, Bors A G. 3D mesh steganalysis using local shape features [C]//2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE Press, 2016: 2144-2148.

[14] DE GOES F, DESBRUN M, MEYER M, et al. Subdivision exterior calculus for geometry processing [J]. ACM Transactions on Graphics, 2016, 35(4): 1-11.

[15] SU T Y, WANG W, LV Z, et al. Rapid delaunay triangulation for randomly distributed point cloud data using adaptive Hilbert curve[J]. Computers and Graphics, 2016, 54: 65-74.

[16] GUPTA S, CASTLEMAN K R, MARKEY M K, et al. Texas 3D face recognition database [C]//2010 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI). New York: IEEE Press, 2010: 97-100.

Feature Extraction of Facial Point Cloud Data for Intelligent Spectacle Frame Fitting

HOU Zeng-xuan1, LI Yan-xiang1, YANG Wu2, ZHAO You-hang1, WANG Jun-hua1

(1. School of Mechanical Engineering, Dalian University of Technology, Dalian Liaoning 116024, China; 2. Eye Art Life E-commerce Co. Ltd, Shenzhen Guangdong 518000, China)

In order to extract the 3D facial point cloud in the intelligent spectacle frame fitting, a method of converting triangulated 3D point cloud into a mapped image is proposed to locate feature points. Firstly, the Gaussian curvature and mean curvature of each vertex of the face triangular mesh are calculated by Voronoi method. Secondly, nasal tip and canthus regions with obvious curvature features are used to estimate the facial point cloud orientation. According to the rotation invariance of surface curvature, the calculation of rotation matrix is simplified by using the point cloud orientation vector, so that the face point cloud faces the viewpoint. Then, the point cloud is transformed into an image by mapping, and the triangular faces in the 3D mesh model are mapped to the biunique triangles. The convolutional neural network is built and the Texas 3D Face Recognition Database is used for model training. Finally, face alignment is carried out and the predicted facial feature points are limited to a certain triangle of the image. According to the triangle mapping in the image, the corresponding triangular faces in the 3D mesh model can be found, and the coordinates of the facial feature points required by the spectacle frame fitting are calculated through the vertex coordinates of the triangular faces. Through the above steps, the feature extraction of spectacle frame fitting parameter is implemented.

point cloud; face alignment; mapping; feature extraction; spectacle frame fitting

TP 391

10.11996/JG.j.2095-302X.2019040665

A

2095-302X(2019)04-0665-06

2019-02-26；

定稿日期：2019-04-21

侯增選(1964-)，男，陜西岐山人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)輔助設(shè)計(jì)技術(shù)、虛擬產(chǎn)品開(kāi)發(fā)技術(shù)、產(chǎn)品創(chuàng)新設(shè)計(jì)理論與方法研究等。E-mail：hou@dlut.edu.cn