基于特征融合的三維人臉點(diǎn)云質(zhì)量判斷

高 工，楊紅雨，2，劉洪，2*

（1.視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室（四川大學(xué)），成都 610065；2.四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

三維結(jié)構(gòu)光采集的點(diǎn)云數(shù)據(jù)可能出現(xiàn)條紋、毛刺、變形等缺陷［1］。三維重建系統(tǒng)對(duì)于人臉點(diǎn)云缺陷必須控制在一定的范圍內(nèi)，否則會(huì)造成模型匹配不準(zhǔn)，無(wú)法正常工作，因此三維人臉點(diǎn)云的質(zhì)量判斷對(duì)于預(yù)防三維重建系統(tǒng)錯(cuò)誤具有非常重要的意義。

由于人臉是一種非剛體、不同于其他物體的具有復(fù)雜三維空間曲面的表面，人臉表面數(shù)據(jù)的獲取往往會(huì)出現(xiàn)陰影、遮擋、條紋：陰影，在燈光下，人的面部鼻子和下巴下部會(huì)有陰影，而陰影部分的數(shù)據(jù)是測(cè)量不到的；遮擋，臉部往往有頭發(fā)和衣領(lǐng)部分的遮擋，會(huì)造成人臉點(diǎn)云數(shù)據(jù)不全；條紋，彩色電荷耦合器件（Charge Coupled Device，CCD）掃描時(shí)，調(diào)節(jié)參數(shù)偏小，會(huì)造成視圖偏暗，伴有數(shù)據(jù)掃描不全，參數(shù)過(guò)大，反光現(xiàn)象明顯，參數(shù)調(diào)節(jié)不當(dāng)，會(huì)導(dǎo)致彩條狀斑紋［2］。

關(guān)于三維點(diǎn)云質(zhì)量度量標(biāo)準(zhǔn)，可以分為基于點(diǎn)的度量標(biāo)準(zhǔn)和基于投影的度量標(biāo)準(zhǔn)兩大類：基于點(diǎn)的度量考慮了原始點(diǎn)云和模板點(diǎn)云中點(diǎn)的對(duì)應(yīng)關(guān)系，而基于投影的度量將3D點(diǎn)云映射到更經(jīng)典的2D 平面上。點(diǎn)云質(zhì)量判斷的點(diǎn)對(duì)點(diǎn)指標(biāo)［3］使用均方根差或Hausdorff 距離來(lái)估計(jì)原始點(diǎn)和處理后的點(diǎn)云之間的幾何誤差；點(diǎn)對(duì)平面指標(biāo)［4］取決于一個(gè)點(diǎn)之間的距離和切平面對(duì)應(yīng)點(diǎn)之間的相似性。Lee 等［5］提出了基于投影后可見(jiàn)頂點(diǎn)的顯著之和為衡量標(biāo)準(zhǔn)的質(zhì)量評(píng)價(jià)方法，從人的視覺(jué)感知特性出發(fā)，使用對(duì)網(wǎng)格上點(diǎn)云做高斯曲率加權(quán)，然后對(duì)網(wǎng)格上重要區(qū)域進(jìn)行描述。在此基礎(chǔ)上，F(xiàn)eixas等［6］對(duì)視點(diǎn)熵的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行了拓展，主要從信息論的角度提出了視點(diǎn)互信息（Viewpoint Mutual Information，VMI）的概念，建立了從視點(diǎn)到場(chǎng)景的信道，使用計(jì)算視點(diǎn)與場(chǎng)景之間的互信息，提出了基于視點(diǎn)互信息的評(píng)價(jià)標(biāo)準(zhǔn)。Lavoué［7］借鑒了二維圖像基于結(jié)構(gòu)相似性原理，將二維圖像建模為三維模型，提出了網(wǎng)格結(jié)構(gòu)化失真度量（Mesh Structural Distoration Metric，MSDM）概念，并將MSDM 用于評(píng)估三維模型數(shù)字水印算法產(chǎn)生的失真，取得了較好的效果。Meynet等［8］基于局部曲率統(tǒng)計(jì)，提出了一種基于結(jié)構(gòu)相似性的點(diǎn)云幾何質(zhì)量度量方法，該度量計(jì)算每個(gè)點(diǎn)的第一曲率，并在點(diǎn)之間對(duì)應(yīng)后建立。Javaheri 等［9］提出了一種基于投影的度量方法，即使用正投影獲得二維彩色圖，然后，使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）或視頻質(zhì)量指標(biāo)（Video Quality Metric，VQM）等二維圖像質(zhì)量指標(biāo)來(lái)平局圖像質(zhì)量，這個(gè)度量同時(shí)考慮幾何形狀和顏色。

有學(xué)者基于點(diǎn)云的特性結(jié)合現(xiàn)有的深度學(xué)習(xí)方法提出了PointNet，本文探索性地把點(diǎn)云數(shù)據(jù)作為輸入進(jìn)行特征提取作為其中一個(gè)模塊，實(shí)現(xiàn)人臉點(diǎn)云質(zhì)量判斷任務(wù)。Qi等［10］使用三維點(diǎn)云作為輸入結(jié)合深度學(xué)習(xí)方法提出了PointNet 網(wǎng)絡(luò)，解決了點(diǎn)云的無(wú)序性和剛體變換不變性；Qi等［11］在PointNet 的基礎(chǔ)上，結(jié)合二維卷積神經(jīng)網(wǎng)絡(luò)（2-Dimensional Convolution Neural Network，2D CNN）的網(wǎng)絡(luò)模式，使用了采樣、分組、PointNet 模塊提出了PointNet++，分類精度得到了提升；Liu 等［12］提出了關(guān)系形狀卷積神經(jīng)網(wǎng)絡(luò)（Relation-Shape Convolution Neural Network，RS-CNN），將規(guī)則網(wǎng)格CNN 擴(kuò)展到不規(guī)則點(diǎn)云中；Wang 等［13］在PointNet++的基礎(chǔ)上，提出了一個(gè)新的點(diǎn)云特征提取網(wǎng)絡(luò)模塊——邊卷積（EdgeConv），在保證點(diǎn)云置換不變性的同時(shí)捕捉局部幾何信息，在多個(gè)點(diǎn)云數(shù)據(jù)集上達(dá)到了分類正確率最高。

現(xiàn)有的三維人臉點(diǎn)云質(zhì)量判斷只使用了點(diǎn)云數(shù)據(jù)或投影的圖像數(shù)據(jù)，缺失了二維或三維特征，準(zhǔn)確率不高。本文使用ShuffleNet 和DGCNN 分別提取圖像特征和點(diǎn)云特征，二維特征和三維特征優(yōu)勢(shì)互補(bǔ)，這種特征融合網(wǎng)絡(luò)（Feature Fusion Network，F(xiàn)FN）提高了質(zhì)量判斷的正確率。

1 三維點(diǎn)云切割面部區(qū)域并計(jì)算曲率

三維人臉點(diǎn)云是采集人臉得到的最直接、最原始的數(shù)據(jù)信息。為了減少獲取的點(diǎn)云數(shù)據(jù)有耳朵、脖子、頭發(fā)等冗余數(shù)據(jù)的影響，需要基于鼻尖點(diǎn)切割出人臉面部區(qū)域。由于原始數(shù)據(jù)存在各種缺陷，如點(diǎn)云噪聲、采樣缺失、出現(xiàn)尖點(diǎn)與孔洞、變形等問(wèn)題［14］，因此，判斷三維人臉點(diǎn)云質(zhì)量對(duì)進(jìn)一步人臉識(shí)別、人臉建模等有重要作用。

本文針對(duì)獲取的三維人臉點(diǎn)云進(jìn)行鼻尖點(diǎn)定位，以鼻尖點(diǎn)為球心、R=90 mm 為半徑截取人臉面部區(qū)域，面部區(qū)域點(diǎn)云數(shù)據(jù)有80 000～90 000［15］。三維點(diǎn)云數(shù)據(jù)使用最遠(yuǎn)點(diǎn)融合曲率采樣（Curvature Sampling of Farthest Fusion，CSFF）方法采樣1 024 個(gè)點(diǎn)云作為動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（Dynamic Graph Convolutional Neural Network，DGCNN）模塊的輸入，點(diǎn)云經(jīng)過(guò)一定角度旋轉(zhuǎn)生成二維圖像作為ShuffleNet 模塊的輸入。

1.1 三維人臉點(diǎn)切割面部區(qū)域

本文采用川大智勝研發(fā)的三維人臉采集設(shè)備獲取點(diǎn)云數(shù)據(jù)，采集的點(diǎn)云信息包括三維坐標(biāo)（XYZ）和顏色信息（RGB）。使用改進(jìn)的鼻尖點(diǎn)定位算法定位鼻尖點(diǎn)后，以鼻尖點(diǎn)為球心、R=90 mm 切割出面部區(qū)域，切割出的不同質(zhì)量的人臉點(diǎn)云面部區(qū)域如圖1 所示。

圖1 不同質(zhì)量的三維人臉點(diǎn)云Fig.1 3D face point cloud with different quality

1.2 三維人臉高斯曲率計(jì)算

過(guò)曲面上某個(gè)點(diǎn)上具有無(wú)窮個(gè)正交曲率，其中存在一條曲線使得該曲線的曲率為極大，這個(gè)曲率為極大值Kmax，垂直于極大曲率面的曲率為極小值Kmin［16］。這兩個(gè)曲率為主曲率。兩個(gè)曲率的乘積即為高斯曲率，反映某點(diǎn)上總的彎曲程度。

對(duì)于三維人臉點(diǎn)云，先對(duì)每個(gè)點(diǎn)云的周?chē)鶮近鄰的點(diǎn)云近似在一個(gè)局部平面，本文選擇k=15，之后通過(guò)最小二乘法擬合得到隱式曲面方程為F(x，y，z)，則在點(diǎn)的高斯曲率K計(jì)算公式如下：

其中：?F是隱式方程在x、y、z對(duì)應(yīng)的梯度，H(F)是一個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)構(gòu)成的方陣，描述了函數(shù)的局部曲率的Hessian 矩陣，H*(F)是對(duì)應(yīng)的H(F)的伴隨矩陣，高斯曲率和平均曲率均由?F、H(F)和H*(F)計(jì)算得出。

1.3 點(diǎn)云投影到二維平面

從正臉生成的投影圖像，不易觀察到有條紋和毛刺等問(wèn)題，只有將點(diǎn)云旋轉(zhuǎn)一定角度后進(jìn)行投影才可以觀察出來(lái)。本文使用旋轉(zhuǎn)正臉點(diǎn)云多個(gè)角度，生成二維圖像，可以更好地用于特征提取。

使用三維人臉點(diǎn)云在x軸和y軸分別旋轉(zhuǎn)+2.5°和-2.5°，每個(gè)三維點(diǎn)云生成5 張投影的二維圖像，生成的圖像如圖2。

圖2 不同角度的點(diǎn)云投影的圖像Fig.2 Point cloud projection images from different angles

2 特征提取與融合

加權(quán)融合是最簡(jiǎn)單且應(yīng)用最廣泛的方法之一，其實(shí)質(zhì)是對(duì)數(shù)據(jù)源進(jìn)行加權(quán)處理，使用樣本間的相互關(guān)系得到特征的加權(quán)系數(shù)，此系數(shù)反映了特征鑒別性的大?。?7］。

2.1 三維人臉點(diǎn)云質(zhì)量判斷流程

三維點(diǎn)云質(zhì)量判斷的流程如圖3，對(duì)采集到的三維人臉點(diǎn)云切割出人臉面部區(qū)域，然后分別使用三維點(diǎn)云數(shù)據(jù)和二維圖像據(jù)在DGCNN 和ShuffleNet v2［18］進(jìn)行訓(xùn)練，再對(duì)訓(xùn)練好的模型提取特征后進(jìn)行特征融合，再微調(diào)兩個(gè)網(wǎng)絡(luò)模塊，最后使用測(cè)試集數(shù)據(jù)對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試，得到質(zhì)量分類結(jié)果，實(shí)現(xiàn)質(zhì)量判斷任務(wù)。

圖3 點(diǎn)云質(zhì)量判斷流程Fig.3 Flowchart of point cloud quality judgment

2.2 特征融合方式

受ShuffleNet v2 和DGCNN 的啟發(fā)，本文提出了特征融合網(wǎng)絡(luò)（FFN）對(duì)三維點(diǎn)云質(zhì)量判斷任務(wù)有更好的識(shí)別結(jié)果。首先使用ShuffleNet 提取二維特征，同時(shí)使用DGCNN 提取三維特征，兩個(gè)網(wǎng)絡(luò)都獲取1 024 維特征并加權(quán)進(jìn)行特征融合，然后使用三層全連接層實(shí)現(xiàn)分類，得出類別得分，實(shí)現(xiàn)質(zhì)量判斷任務(wù)［19］。

如圖4 所示，DGCNN 模塊網(wǎng)絡(luò)輸入點(diǎn)數(shù)為N，坐標(biāo)維度為3，即點(diǎn)云大小為N×3。DGCNN 模塊使用融合曲率的最遠(yuǎn)點(diǎn)采樣方式采樣1 024 個(gè)點(diǎn)，輸出為1 024 維特征。DGCNN模塊訓(xùn)練好后，ShuffleNet v2 模塊進(jìn)行二維特征提取，ShufleNet 的輸入為224×224 的二維圖像，輸出為1 024 維度特征。在特征融合階段，本文使用了一種最優(yōu)權(quán)值法，即將點(diǎn)云特征gF(xi，θP)與二維圖像特征gF(xi，θI)融合，特征融合求取公式［20］為：

圖4 FFN的結(jié)構(gòu)Fig.4 Structure of FFN

其中：xi表示數(shù)據(jù)集中第i個(gè)樣本；θF表示特征融合網(wǎng)絡(luò)的初始化參數(shù)。

對(duì)于融合系數(shù)ε1和ε2的計(jì)算：首先使用兩個(gè)神經(jīng)網(wǎng)絡(luò)模塊分別訓(xùn)練，得到對(duì)應(yīng)的分類準(zhǔn)確率之后，根據(jù)式（3）、式（4）求出融合系數(shù)ε1和ε2的值。

式中：RP表示DGCNN 模塊的準(zhǔn)確率；RRGB表示ShuffleNet 模塊的準(zhǔn)確率。

2.3 改進(jìn)的采樣方式

在三維人臉點(diǎn)云中，在迭代最遠(yuǎn)點(diǎn)采樣算法選取的特征點(diǎn)往往得到的是人臉的邊緣輪廓或者噪聲點(diǎn)，這些對(duì)于人臉是無(wú)用的，只有少數(shù)幾個(gè)定位到鼻子、眼睛等重要的特征區(qū)域。本文基于最遠(yuǎn)點(diǎn)采樣方式，融合了基于幾何特征的采樣，使得人臉特征的提取表現(xiàn)得更好。

對(duì)于給定的輸入人臉點(diǎn)云P，用P={Pi}(i=1，2，…，n)表示，迭代最遠(yuǎn)點(diǎn)采樣的點(diǎn)集可以表示為G={Gj}(j=1，2，…，k)表現(xiàn)。假設(shè)當(dāng)前采樣出的是j點(diǎn)，則采樣的下一個(gè)樣點(diǎn)應(yīng)該是離j點(diǎn)最遠(yuǎn)的m點(diǎn)（m=Gk，1≤m≤k），點(diǎn)m應(yīng)滿足以下要求：

其中：d(j，Pi)表示兩點(diǎn)之間的歐氏距離。從式（5）可看出，最遠(yuǎn)點(diǎn)采樣大多采樣人臉的邊緣點(diǎn)或噪聲點(diǎn)，因此本文將歐氏距離和人臉曲率進(jìn)行融合可以更多采樣出人臉的面部器官。得到公式d=d(k，P) +αcm，其中cm是指點(diǎn)m的曲率，α是設(shè)置的平衡歐氏距離和曲率的權(quán)重。從式（5）中可以看出曲率大的點(diǎn)距離大，更容易被選中，采樣的點(diǎn)都集中在曲率變化大的地方，采樣受曲率影響很大，所以本文通過(guò)一個(gè)α來(lái)控制曲率對(duì)采樣的影響。

如圖5 所示，圖5（a）是α=0 時(shí)采樣為原始的迭代最遠(yuǎn)點(diǎn)采樣的結(jié)果；圖5（b）是當(dāng)α=1 時(shí)結(jié)合曲率采樣的結(jié)果；本文選取α=0.1，在采樣時(shí)不破壞點(diǎn)的均勻采樣的前提下移動(dòng)一些采樣點(diǎn)。

圖5 最遠(yuǎn)點(diǎn)采樣和最遠(yuǎn)點(diǎn)融合曲率采樣Fig.5 Farthest point sampling and curvature sampling of farthest fusion

2.4 損失函數(shù)

在分類任務(wù)中常用的損失函數(shù)是Softmax，其作用是將特征的線性組合映射到（0，1）內(nèi)，使用交叉熵給出每個(gè)分類的概率［21］。為了衡量FFN 方法應(yīng)用于三維點(diǎn)云質(zhì)量判斷的性能，損失函數(shù)使用Softmax 的交叉熵函數(shù)，包含了DGCNN模塊、ShuffleNet 模塊以及FFN 方法的損失函數(shù)，并分配對(duì)應(yīng)的超參數(shù)：

其中：β、δ、γ是3 個(gè)部分損失函數(shù)的超參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

本文將人臉點(diǎn)云樣本的處理及使用深度學(xué)習(xí)框架進(jìn)行訓(xùn)練和測(cè)試的過(guò)程、結(jié)果進(jìn)行比較分析。實(shí)驗(yàn)分為三個(gè)部分：第一部分是在二維圖像數(shù)據(jù)集上ShuffleNet v2.0 系列的三種網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試；第二部分對(duì)在DGCNN 上分別使用隨機(jī)采樣、幾何采樣和最遠(yuǎn)點(diǎn)采樣方式和融合曲率的最遠(yuǎn)點(diǎn)采樣在三維人臉點(diǎn)云數(shù)據(jù)上進(jìn)行訓(xùn)練和測(cè)試；第三部分進(jìn)行PointNet、PointNet++、DGCNN 等深度學(xué)習(xí)分類網(wǎng)絡(luò)和FFN方法的訓(xùn)練和測(cè)試，并對(duì)質(zhì)量判斷結(jié)果進(jìn)行分析。

3.1 參數(shù)設(shè)置

本文使用的系統(tǒng)為Ubuntu 16.04，在Matlab 2016 編寫(xiě)實(shí)現(xiàn)了改進(jìn)的較為魯棒的三維點(diǎn)云鼻尖點(diǎn)檢測(cè)算法，并實(shí)現(xiàn)了多視角投影生成二維圖像，使用Anaconda 開(kāi)源管理器編寫(xiě)三維點(diǎn)云質(zhì)量判斷代碼，基于Pytorch1.4 框架，在Python3.7，CUDA10.1 上進(jìn)行測(cè)試。程序運(yùn)行的硬件配置為CPU Intel Core i7-8700K，內(nèi)存8 GB、顯卡GTX1060 6 GB。DGCNN 模塊中，輸入點(diǎn)云數(shù)量為1 024，初始學(xué)習(xí)率為0.001，batchsize為8；ShufleNet 模塊中，輸入圖片尺度為224×224，batchsize 為150；兩個(gè)模塊訓(xùn)練好之后，進(jìn)行特征融合訓(xùn)練，學(xué)習(xí)率為0.000 1。點(diǎn)云采樣和損失函數(shù)的超參數(shù)設(shè)置包括α、β、δ、γ，經(jīng)過(guò)實(shí)驗(yàn)取α=0.1，β=0.4，δ=0.4，γ=0.2。

3.2 數(shù)據(jù)集

本文使用的三維人臉點(diǎn)云數(shù)據(jù)集可以分為5 類，分別為質(zhì)量?jī)?yōu)秀、質(zhì)量普通、有毛刺、有條紋、變形。

質(zhì)量?jī)?yōu)秀 人臉器官全部清晰可見(jiàn)且沒(méi)有任何扭曲。旋轉(zhuǎn)多個(gè)角度后，未發(fā)現(xiàn)任何明顯的條紋、毛刺等瑕疵。

質(zhì)量普通 人臉整體完整，部分少量缺失。旋轉(zhuǎn)為正臉，未發(fā)現(xiàn)任何非常明顯的瑕疵、有輕微缺失；旋轉(zhuǎn)多個(gè)角度：發(fā)現(xiàn)臉部有起伏。

有條紋 條紋不明顯，需要旋轉(zhuǎn)多個(gè)角度才能明顯可見(jiàn)。旋轉(zhuǎn)為正臉，有輕微缺失；旋轉(zhuǎn)多個(gè)角度，發(fā)現(xiàn)臉部有條紋。

有毛刺 人臉整體沒(méi)有變形，局部有毛刺。旋轉(zhuǎn)為正臉，未發(fā)現(xiàn)任何非常明顯的瑕疵；旋轉(zhuǎn)為多個(gè)角度，發(fā)現(xiàn)臉部有多個(gè)明顯毛刺。

變形 包含五官嚴(yán)重錯(cuò)誤、器官模糊等。

數(shù)據(jù)集每個(gè)類別有1 200 張三維人臉點(diǎn)云圖像，一共6 000 張點(diǎn)云圖像。每張點(diǎn)云圖像從正臉經(jīng)過(guò)旋轉(zhuǎn)生成分別5 張二維圖像和5 張點(diǎn)云，二維圖像和點(diǎn)云分別有30 000 張。

3.3 實(shí)驗(yàn)結(jié)果

本文在數(shù)據(jù)集上進(jìn)行PointNet、PointNet++、RS-CNN、DGCNN、ShuffleNet v2 和FFN 等深度學(xué)習(xí)分類網(wǎng)絡(luò)的質(zhì)量判斷實(shí)驗(yàn)。PointNet 首次使用深度學(xué)習(xí)的方法直接處理無(wú)序點(diǎn)云，最后輸出各個(gè)輸入點(diǎn)的全局或者部分分類標(biāo)簽。DGCNN 作為使用EdgeConv，結(jié)合全局特征和局部特征，特征提取能力更好。

本文使用二維圖像進(jìn)行質(zhì)量判斷實(shí)驗(yàn)，每個(gè)類別使用4 800 張進(jìn)行訓(xùn)練，1 200 張進(jìn)行測(cè)試，迭代了5 000 次。使用ShulfeNet v2 的三個(gè)版本（0.5x，1.0x，1.5x）進(jìn)行實(shí)驗(yàn)，網(wǎng)絡(luò)架構(gòu)如表1，ShuffleNet v2 隨著通道數(shù)量減少，分類正確率也隨之降低，實(shí)驗(yàn)結(jié)果如圖6 所示。

表1 三種不同級(jí)別復(fù)雜度的ShuffleNet v2的總體體系結(jié)構(gòu)Tab.1 Overall architecture of ShuffleNet v2 for three different levels of complexities

圖6 ShuffleNet v2的分類正確率Fig.6 Classification accuracy of ShuffleNet v2

從圖6 可以看出，ShuffleNet v2 使用pointwise group convolution 和channel shuffle 在保證精度的同時(shí)又減少了網(wǎng)絡(luò)參數(shù)。ShuffleNet v2 1.5x 的正確率為79.1%，與ShuffleNet v2 1.5x相比，ShuffleNet v2 1.0x 和ShuffleNet v2 0.5x隨著通道數(shù)目上減少，分類正確率分別下降了為1.5 個(gè)百分點(diǎn)和9.1個(gè)百分點(diǎn)。

本文使用DGCNN 對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，分別使用了幾何采樣、隨機(jī)采樣、最遠(yuǎn)點(diǎn)采樣和最遠(yuǎn)點(diǎn)融合曲率采樣（超參數(shù)設(shè)置為α=0.1），采樣1 024 個(gè)點(diǎn)訓(xùn)練160 次對(duì)不同質(zhì)量的三維人臉點(diǎn)云進(jìn)行5 分類測(cè)試，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 不同采樣方式的正確率Fig.7 Accuracy of different sampling methods

隨機(jī)采樣方式對(duì)于每個(gè)點(diǎn)采樣概率相同，采樣效率高但實(shí)驗(yàn)結(jié)果不穩(wěn)定。幾何采樣在點(diǎn)云曲率越大的地方采樣越多，有一定的抗噪能力。最遠(yuǎn)點(diǎn)采樣方式使用歐氏距離采樣出點(diǎn)云輪廓。改進(jìn)的采樣方式是基于最遠(yuǎn)點(diǎn)采樣結(jié)合幾何采樣，采樣出人臉曲率較大的點(diǎn)云。對(duì)于從圖8 的實(shí)驗(yàn)結(jié)果可以得出結(jié)論，隨機(jī)采樣方式的分類正確率明顯低于融合曲率的最遠(yuǎn)點(diǎn)采樣方式。最遠(yuǎn)點(diǎn)融合曲率的分類正確率為81.9%，最遠(yuǎn)點(diǎn)采樣為78.0%，幾何采樣方式為74.1%，而隨機(jī)采樣方式為75.2%。融合曲率的最遠(yuǎn)點(diǎn)采樣方式的分類正確率比最遠(yuǎn)點(diǎn)采樣有5.0%的提升，比幾何采樣有10.5%的提升。

本文分別訓(xùn)練DGCNN 模塊和ShuffleNet v2 1.5x 網(wǎng)絡(luò)模塊之后，使用特征融合方法（超參數(shù)設(shè)置為ε1=0.491，ε2=0.509），訓(xùn)練整個(gè)網(wǎng)絡(luò)，表2 是實(shí)驗(yàn)對(duì)比結(jié)果。

表2 不同網(wǎng)絡(luò)的分類正確率Tab.2 Classification accuracies of different networks

本文使用了最前沿的基于三維點(diǎn)云質(zhì)量判斷方法，并進(jìn)行實(shí)驗(yàn)得到分類正確率。PointNet 是把采樣的人臉點(diǎn)云提取全局特征之后，用三個(gè)全連接層實(shí)驗(yàn)質(zhì)量分類，獲得了76.1%的分類正確率。PointNet++使用了采樣、分組、提取特征操作，同時(shí)提取了全局體征和局部特征，對(duì)點(diǎn)云有更好的特征提取能力，其分類正確率為78.2%。RS-CNN 設(shè)計(jì)了一種從關(guān)系學(xué)習(xí)的卷積算子，將規(guī)則網(wǎng)絡(luò)CNN 擴(kuò)展到不規(guī)則點(diǎn)云中，獲得了80.4% 的分類正確率。DGCNN 設(shè)計(jì)了EdgeConv，將多個(gè)EdgeConv 模塊不斷堆疊獲得了多層次、語(yǔ)義更加豐富的特征，其分類正確率為81.9%。ShuffleNet 1.5x 使用二維圖像進(jìn)行分類任務(wù)，分類正確率為79.1%。本文使用FFN 方法分別訓(xùn)練DGCNN 和ShuffleNet v2 1.5x 模塊，再微調(diào)整個(gè)網(wǎng)絡(luò)，實(shí)現(xiàn)了83.7%的分類正確率。

總體來(lái)說(shuō)，F(xiàn)FN 方法的分類正確率比ShuffleNet v2 1.5x提升了5.8%，比DGCNN 提升了2.2%。實(shí)驗(yàn)驗(yàn)證了融合三維特征和二維特征實(shí)現(xiàn)了特征互補(bǔ)，提高了分類正確率，進(jìn)一步說(shuō)明了特征融合網(wǎng)絡(luò)對(duì)于三維點(diǎn)云質(zhì)量判斷的有效性。

4 結(jié)語(yǔ)

本文提出了基于特征融合的點(diǎn)云質(zhì)量評(píng)估方法，使用DGCNN 模塊和ShuffleNet v2 模塊分別提取1 024 維特征，并使用加權(quán)融合訓(xùn)練出一個(gè)網(wǎng)絡(luò)，提高了三維點(diǎn)云判斷的正確率。本文使用最遠(yuǎn)點(diǎn)融合曲率采樣進(jìn)行改進(jìn)，解決了三維人臉點(diǎn)云采樣對(duì)于人臉邊緣采樣過(guò)多的問(wèn)題。在不同的深度學(xué)習(xí)網(wǎng)絡(luò)模型下得出判斷正確率證明了特征融合的可行性，實(shí)驗(yàn)結(jié)果表明，特征融合方案對(duì)于提高點(diǎn)云質(zhì)量判斷正確率有明顯提升。由于FFN 方法對(duì)于點(diǎn)云質(zhì)量分類任務(wù)尚未達(dá)到實(shí)用的要求，接下來(lái)會(huì)改進(jìn)特征融合網(wǎng)絡(luò)以提升正確率。