基于點云遷移的人體點云位置及顏色補(bǔ)全

安平 陳星宇 鄧小寶 陳亦雷

（上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院，新型顯示技術(shù)及應(yīng)用集成教育部重點實驗室，上海大學(xué)通信與信息工程學(xué)院，上海 200444）

1 引言

近年來隨著消費者級掃描RGB-D 相機(jī)的興起，如Kinect、RealSense、iPhone-X 等，點云的數(shù)據(jù)獲取日益簡便。但是掃描設(shè)備所獲取的點云信息往往存在單視、遮擋、稀疏等問題，不利于點云的下游視覺任務(wù)，諸如點云分類［1-2］、點云目標(biāo)檢測［3-4］，以及點云配準(zhǔn)［5-6］等。同時，數(shù)字化人體已經(jīng)成為增強(qiáng)現(xiàn)實、虛擬現(xiàn)實、混合現(xiàn)實等的重要內(nèi)涵之一，對于存在衣物細(xì)節(jié)的人體數(shù)字化［7-9］已經(jīng)在遠(yuǎn)程社交、網(wǎng)上購物、機(jī)器人操作［10］等領(lǐng)域得到廣泛應(yīng)用［11］。點云作為三維（3D）表示的基礎(chǔ)形式，在重建人體中有不可忽視的作用。人體點云補(bǔ)全是恢復(fù)結(jié)構(gòu)信息的重要方法，但從3D 掃描設(shè)備中得到的人體初始點云往往受到多方面因素的影響，如性別、衣物、人種、體態(tài)等。這些因素相較于飛機(jī)、桌椅、汽車等剛性物體更加難以補(bǔ)全，并且由于數(shù)據(jù)集的限制以及技術(shù)困難，目前少有人體點云補(bǔ)全方法的報道。

現(xiàn)有3D 形狀補(bǔ)全方法主要可以分為兩類。一類是基于傳統(tǒng)對齊、曲面平滑等方法［12-13］，根據(jù)輸入的幾何特征重建3D 形狀。但傳統(tǒng)方法只適用于特定先驗信息如對稱性、表面法線和曲率等的點云進(jìn)行一定程度的修補(bǔ)。另一類是基于深度學(xué)習(xí)的3D形狀補(bǔ)全方法［14-15］，根據(jù)其網(wǎng)絡(luò)結(jié)構(gòu)的不同粗略地分為3D 卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional neural network，3D-CNN）結(jié)構(gòu)、多層感知機(jī)（Multilayer Perceptron，MLP）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。基于深度學(xué)習(xí)的點云補(bǔ)全以單類物體的不完整點云作為輸入，可預(yù)測完整點云。本文方法也屬于深度學(xué)習(xí)方法一類，因此，下面將主要介紹深度學(xué)習(xí)方法。

隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像補(bǔ)全、圖像修復(fù)［16-17］等圖像處理領(lǐng)域的大獲成功，基于體素輔助的3D形狀補(bǔ)全將2D 卷積神經(jīng)網(wǎng)絡(luò)引入三維的工作［18］中。近年來，基于該思想涌現(xiàn)出一批被廣泛運用的成果，如GRNet［19］、3D-EPN［20］等。但3D-CNN 存在無法解決點云不規(guī)則結(jié)構(gòu)以及無序化問題，因此需要借助體素網(wǎng)格的輔助將無序化的點云映射入構(gòu)建好的三維體素網(wǎng)格，并且利用3D-CNN 強(qiáng)大的獲取特征能力獲取點云的結(jié)構(gòu)信息。還有如VRC［21］等工作通過基于變分自動編碼器的方法有效地捕捉到關(guān)聯(lián)性結(jié)構(gòu)。此外，雖然3D-CNN 存在成熟的應(yīng)用體系，但3D-CNN 的精細(xì)化取決于體素大小，而受制于顯卡算力，難以在更小的體素中進(jìn)行3DCNN的計算是目前遇到的技術(shù)難點。

為了解決上述問題，自PointNet［22］出現(xiàn)之后MLP 神經(jīng)網(wǎng)絡(luò)方法開始流行，通過使用大量MLP 網(wǎng)絡(luò)代替卷積操作解決點云的不規(guī)則結(jié)構(gòu)以及無序化特性，使點云處理的各類任務(wù)得到統(tǒng)一標(biāo)準(zhǔn)。隨后涌現(xiàn)出大量基于MLP 的神經(jīng)網(wǎng)絡(luò)的點云補(bǔ)全工作，如PCN［23］、FoldingNet［24］、TopNet［25］等。這些方法使用多層感知機(jī)簡單有效地提取點云特征，無需轉(zhuǎn)換的方式最大限度地保留了點云的空間特征，并通過多層點網(wǎng)的方式最大程度避免了結(jié)構(gòu)信息損失，保留點之間的3D 關(guān)系。這些基于MLP 的生成類方法通過預(yù)測輸出點與真值的倒角距離（Chamfer Distance，CD）損失取得不錯的成效，但基于生成方法的點云不具備一一對應(yīng)的關(guān)系，對于損失函數(shù)而言往往產(chǎn)生相異的對應(yīng)點計算損失，不利于點云補(bǔ)全的表現(xiàn)。PMP++（Point Cloud Completion by Transformer-Enhanced Multi-step Point Moving Paths）［26］基于移動點云的方式完成，通過該方法提取輸入輸出兩個點云之間的詳細(xì)拓?fù)浜徒Y(jié)構(gòu)關(guān)系并完成對點云的一一對應(yīng)關(guān)系，但同時限制了其補(bǔ)全點云數(shù)量與輸入點云數(shù)相同，同時也給出了簡單的上采樣方式。此外還有一些工作［27-28］基于Transformer將一維語義信息的提取引入點云補(bǔ)全，通過將點云表示成為一組無序的點代理，并采用Transformer 的Encoder-Decoder 結(jié)構(gòu)進(jìn)行點云生成。這些工作豐富了特征提取方式，結(jié)合PointNet 可獲取更全面的點云結(jié)構(gòu)信息。

目前關(guān)于人體點云補(bǔ)全的相關(guān)研究較少，分析原因主要是由于人體點云數(shù)據(jù)集的缺乏、人體點云重建的復(fù)雜性所致。但是對于下游的人體重建任務(wù)而言，人體點云補(bǔ)全能夠為其提供更完善的信息，從而獲得更好的重建效果，因此進(jìn)行人體點云補(bǔ)全非常必要。鑒于基于生成方案對于復(fù)雜非剛性物體的補(bǔ)全存在點云離散問題，補(bǔ)全后的點云邊緣粗糙且出現(xiàn)大量孤立點集，本文基于點云遷移補(bǔ)全的方法進(jìn)行人體點云補(bǔ)全。

本文提出一種由粗到精的人體點云遷移補(bǔ)全方法，并通過全局特征擴(kuò)散及特征提取獲取全局特征信息，最后由多層感知機(jī)進(jìn)行顏色預(yù)測。本文利用PMP++對于點云遷移重構(gòu)的優(yōu)勢，提高了人體點云補(bǔ)全網(wǎng)絡(luò)的重構(gòu)效果，并根據(jù)預(yù)測點位置結(jié)合輸入顏色信息進(jìn)行顏色補(bǔ)全。本文創(chuàng)新性工作主要有：

1）針對人體點云補(bǔ)全任務(wù)，模擬真實環(huán)境創(chuàng)建帶有精細(xì)服飾人體點云補(bǔ)全數(shù)據(jù)集。

2）探索人體點云補(bǔ)全任務(wù)的有效方式，采用由粗到精優(yōu)化點云遷移網(wǎng)絡(luò)的上采樣。

3）為人體重建等下游任務(wù)，在原有的補(bǔ)全任務(wù)中加入顏色補(bǔ)全。

本文共分為四個部分。第一部分為引言；第二部分闡述本文提出人體點云補(bǔ)全網(wǎng)絡(luò)結(jié)構(gòu)與具體實施方法；第三部分給出具體的實驗實施細(xì)節(jié)和結(jié)果比較；最后一部分是結(jié)論。

2 人體點云及顏色補(bǔ)全模型

本文基于THUman2.0［29］人體網(wǎng)格數(shù)據(jù)集，對人體模型泊松采樣獲取整體點云，由于泊松采樣僅能采樣大致數(shù)量的點云，對泊松采樣的點云最遠(yuǎn)點采樣獲得統(tǒng)一點數(shù)的真值點云，對真值點云多方向采樣生成部分點云數(shù)據(jù)集。本文在該數(shù)據(jù)集上進(jìn)行人體點云補(bǔ)全研究。

本文提出的基于點云遷移的人體點云補(bǔ)全方法整體框圖如圖1 所示，主要包括人體點云補(bǔ)全網(wǎng)絡(luò)（低分辨率人體補(bǔ)全模塊、高分辨率人體補(bǔ)全模塊）以及顏色補(bǔ)全網(wǎng)絡(luò)。其中人體點云補(bǔ)全網(wǎng)絡(luò)是通過引入低分辨率的粗略點云幫助網(wǎng)絡(luò)學(xué)習(xí)到更好的整體結(jié)構(gòu)，并通過數(shù)據(jù)集中構(gòu)建的部分輸入點云色彩信息，對人體點云的顏色信息進(jìn)行預(yù)測。點云顏色預(yù)測采用關(guān)聯(lián)點云位置信息與部分輸入點云的顏色信息，通過補(bǔ)全網(wǎng)絡(luò)獲取稠密點信息并結(jié)合輸入端部分點云的顏色信息預(yù)測稠密點顏色；將部分點云顏色信息擴(kuò)散到全局，并且通過特征提取升維，最后由多層感知機(jī)完成預(yù)測。下面，本文將詳細(xì)介紹該系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)的具體設(shè)計和使用的損失函數(shù)。

2.1 基于點云遷移的補(bǔ)全網(wǎng)絡(luò)設(shè)計

盡管基于生成的點云補(bǔ)全網(wǎng)絡(luò)在Completion3D、PCN 等數(shù)據(jù)集上大放異彩，但是該類網(wǎng)絡(luò)對于非剛性形狀重建具有更小約束，補(bǔ)全后的點云發(fā)散于真實表面前后，對具有復(fù)雜結(jié)構(gòu)的人體容易形成粗糙表面。因此，本文選用了最新的點云遷移補(bǔ)全方案PMP++實現(xiàn)人體點云補(bǔ)全，在原有的結(jié)構(gòu)基礎(chǔ)上通過多層次的網(wǎng)絡(luò)結(jié)構(gòu)對人體點云進(jìn)行預(yù)測。通過RPA（Recurrent Path Aggregation）模塊記憶先前路徑的信息和推斷每個點的下一個位置。與PMP++中的隨機(jī)上采樣相比，本文通過引入低分辨率的粗略點云幫助網(wǎng)絡(luò)學(xué)習(xí)到更完備的整體結(jié)構(gòu)，能夠有效加強(qiáng)整體的約束，從視覺效果得到具有清晰邊緣的人體點云。

對于一個具有N個點的點云｛PI｝來說，點云遷移網(wǎng)絡(luò)僅能根據(jù)位移生成N個點輸出點云｛Po｝。PMP++對殘缺點云加入高斯噪聲增強(qiáng)輸入信息并完成點云上采樣，這種做法存在噪聲點不能完全代表原點云幾何結(jié)構(gòu)并且相較于不添加噪聲的方法更容易出現(xiàn)人體表面的無規(guī)律毛刺，如圖2 所示。為了減輕該現(xiàn)象，本文提出了一種雙層網(wǎng)絡(luò)結(jié)構(gòu)，如圖1 所示，使用第一層網(wǎng)絡(luò)獲取稀疏點云生成的粗略點云，同時為了不丟失完整的輸入信息，加入原點云的輸入細(xì)節(jié)，剩下的點使用噪聲點補(bǔ)齊。這樣的做法能夠在減少噪聲點輸入的同時引入了部分全局信息。從圖1 中看出，對于輸入的人體點云數(shù)據(jù)Pi（X，Y，Z，R，G，B），選取Pi1（X，Y，Z）輸入點云補(bǔ)全網(wǎng)絡(luò)，通過第一個補(bǔ)全網(wǎng)絡(luò)得到粗略點云Po1。對輸出的低分辨率人體Po1，結(jié)合輸入信息Pi1以及使用高斯噪聲點N(0，1)補(bǔ)齊構(gòu)成高分辨率網(wǎng)絡(luò)的輸入。這樣做是為了在不影響輸入點云細(xì)節(jié)的同時添加全局信息，如果僅輸入低分辨率人體將不可避免地?fù)p失輸入點云的部分幾何信息。上述點云遷移補(bǔ)全的過程可用公式表示如下：

圖1 人體點云及顏色補(bǔ)全網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Human point cloud and color complement network

圖2 PMP++與本文方法的區(qū)別Fig.2 The difference between PMP++and our method

其中P01為低分辨率人體點云，P02是高分辨率人體點云，Pi1為輸入點云的位置信息，Pi2為高分辨率人體網(wǎng)絡(luò)輸入，N(0，1)為高斯噪聲點，F(xiàn)1為粗略點云補(bǔ)全，F(xiàn)2為精細(xì)點云補(bǔ)全。

圖1是本文提出的人體點云及顏色補(bǔ)全網(wǎng)絡(luò)模型整體框架，網(wǎng)絡(luò)整體由低分辨率人體點云補(bǔ)全、高分辨率人體點云補(bǔ)全以及人體顏色補(bǔ)全三部分組成。人體點云補(bǔ)全網(wǎng)絡(luò)由多層PMD（point moving distances）點遷移模塊構(gòu)成，每層PMD 模塊使用多層SA（Set Abstraction）模塊以及T（Transformer）模塊編碼，后通過RPA Recurrent Path Aggregation 循環(huán)路徑聚合模塊對特征先驗信息選擇性的記憶和遺忘。顏色補(bǔ)全網(wǎng)絡(luò)由多層FP（Feature Propagation）特征傳播模塊、SA（Set Abstraction）特征提取模塊以及MLPs多層感知機(jī)構(gòu)成。

2.2 顏色補(bǔ)全模塊

對于上游點云補(bǔ)全網(wǎng)絡(luò)輸出的位置信息，結(jié)合輸入點云的RGB 信息進(jìn)行顏色補(bǔ)全。參考點云補(bǔ)全的相關(guān)工作［21-23］，通過部分點云的位置信息將其位置上的顏色信息擴(kuò)散到全部點云，然后對該信息進(jìn)行基于Encoder-Decoder 結(jié)構(gòu)的顏色重建。編碼器負(fù)責(zé)將輸入點云中的幾何信息匯總為特征向量。使用PointNet++［30］中多層SA（Set Abstraction）模型以及transformer進(jìn)行特征提取及升維。該過程可以將6維全局特征在提升特征維度的同時不斷減少點數(shù)，通過多層FP（Feature Propagation）網(wǎng)絡(luò)來還原該點數(shù)得到原本位置的高維特征信息。利用該特征信息，通過一個多層感知機(jī)得到預(yù)測點云的顏色信息。顏色補(bǔ)全的過程可用公式表示如下：

其中Pdense為從部分輸入顏色信息擴(kuò)散到全局點云的顏色信息，Pi為（X，Y，Z，R，G，B）部分輸入點云，Po2為預(yù)測稠密點位置（X，Y，Z），Pdense為全局稠密點顏色信息，F(xiàn)dense為特征提取的高維點云顏色特征，Pcolor為預(yù)測顏色結(jié)果，F(xiàn)p為特征擴(kuò)散網(wǎng)絡(luò)，Sa為Set Abstraction 點云特征提取網(wǎng)絡(luò)，MLP 為一個多層感知機(jī)。

2.3 損失函數(shù)

由于倒角距離不能保證輸入輸出點云的一一對應(yīng)關(guān)系，為了計算出其針對輸入的點P 與輸出點P'之間的距離，使用EMD（Earth Mover’s Distance）來學(xué)習(xí)滿足上述的約束排列φ：

以上只保證了點云的一一對應(yīng)性，但是兩點之間的移動路徑仍然無法得到保證。為了使得該距離最小，引入網(wǎng)絡(luò)輸出中的移動距離ΔP最小化距離矢量，即所有位移向量之和最小。其損失函數(shù)如下：

通過引入該直接移動損失，有助于基本固化兩點之間的移動路徑，極大避免了由于不同路徑而導(dǎo)致的收斂緩慢，減少冗余移動決策，提高搜索效率。基于該思想本文可以得出點云補(bǔ)全網(wǎng)絡(luò)的總損失函數(shù)：

其中倒角距離（CD）遵循式（7）的符號定義，對形變使用CD損失以及EMD損失正則化，總損失函數(shù)在最小化對應(yīng)點的倒角距離的同時最短化點的移動路徑。

2.4 評價指標(biāo)

對于點云補(bǔ)全的評價主要指標(biāo)為CD 距離，常用于計算生成點云與其真值之間的平均最短點距離。CD距離定義如下：

其中S1為預(yù)測稠密點云、S2為點云真值。CD 值越小表示點云補(bǔ)全的精度越高。CD 距離無需點云數(shù)量一致，因此本文使用CD 距離進(jìn)行人體點云補(bǔ)全精度的評估。

3 實驗結(jié)果與分析

3.1 實驗實施細(xì)節(jié)

本文使用點云遷移網(wǎng)絡(luò)模型PMP++，該網(wǎng)絡(luò)的特征提取采用SA 與Transformer 組合的特征提取模塊，得到與輸入點數(shù)相同的高維特征，后通過RPA模型選擇性記憶和遺忘特征。輸入部分點云數(shù)為1024，重建稠密點云數(shù)為4096。

需要訓(xùn)練包含低分辨率點云補(bǔ)全、高分辨率點云補(bǔ)全、點云顏色補(bǔ)全在內(nèi)的端到端模型。其中訓(xùn)練低分辨率點云補(bǔ)全使用1024 個部分點云得到相同點數(shù)的人體點云。用1024個部分點云、補(bǔ)全點云以及帶有高斯噪聲的2048 個相關(guān)點云訓(xùn)練高分辨率補(bǔ)全網(wǎng)絡(luò)。對于顏色補(bǔ)全網(wǎng)絡(luò)，為了確保其不受補(bǔ)全網(wǎng)絡(luò)的影響，使用1024個顏色點云和4096個稠密點云位置進(jìn)行訓(xùn)練。本文實驗采用RTX 2080TI顯卡，使用Pytorch 1.10.1對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。點云補(bǔ)全和顏色補(bǔ)全訓(xùn)練的實驗參數(shù)設(shè)置如下：使用Adam優(yōu)化器進(jìn)行初始化，訓(xùn)練的批量大小為8，學(xué)習(xí)率為0.0001，學(xué)習(xí)速率為0.7，共訓(xùn)練200個epoch。

3.2 人體點云數(shù)據(jù)集生成

為了訓(xùn)練人體補(bǔ)全模型，本文使用THUman 2.0［28］的人體網(wǎng)格數(shù)據(jù)集，包含500 個由密集DLSR設(shè)備捕獲的高質(zhì)量人體掃描。對于每次掃描提供3D模型。對該高清人體網(wǎng)格數(shù)據(jù)集進(jìn)行泊松采樣，并且通過最遠(yuǎn)點采樣最大限度地保持人體網(wǎng)格模型的細(xì)節(jié)特征。對于泊松采樣的10000左右個點云（泊松采樣存在點數(shù)波動），通過最遠(yuǎn)點采樣4096個點構(gòu)成人體稠密點云，其中包含526 張人體點云數(shù)據(jù)集。對這526 張點云圖，從UV 貼圖中獲取RGB信息。為解決由于人體數(shù)據(jù)集較小而在點云補(bǔ)全過程中出現(xiàn)的過擬合問題，本文提出了人體數(shù)據(jù)集的增廣方法：模擬對人體三維數(shù)據(jù)采樣的常規(guī)視點，即前后左右四個方向，生成2104 張訓(xùn)練集以及測試集。本文選擇了包含衣物細(xì)節(jié)紋理的高清數(shù)據(jù)集，還原真實采樣環(huán)境。采用426 張進(jìn)行訓(xùn)練，100張進(jìn)行測試及驗證。

3.3 補(bǔ)全結(jié)果及分析

在本小節(jié)中，將本文方法與基于生成類的點云補(bǔ)全方法PCN［22］、FoldingNet［23］、VRC［20］、TopNet［24］、ECG［31］、Cascade［32］以及遷移方法PMP++［25］這些近年來代表性方法進(jìn)行比較，在創(chuàng)建的數(shù)據(jù)集上計算各種方法的倒角距離CD，結(jié)果如表1所示。

從表1 中可看出，本文的方法取得了最高的補(bǔ)全精度?；谏深惖狞c云補(bǔ)全方法PCN、Folding-Net、VRC、TopNet 在重建具有復(fù)雜人體姿態(tài)、性別、服飾的效果較差，其編解碼生成特性導(dǎo)致其無法做到輸入輸出端的一一對應(yīng)，造成較大損失。本文提出的多層PMP++與原始非多層PMP++方法相比，補(bǔ)全精度也有明顯提升，說明在網(wǎng)絡(luò)輸入端添加全局信息的方式能夠幫助網(wǎng)絡(luò)減少由于添加噪聲而產(chǎn)生的非結(jié)構(gòu)信息。與［25］中添加高斯噪聲點上采樣的方式相比，本文在保留原始部分點云輸入信息的同時加入低分辨率全局人體，有效解決了點云粗糙及非均勻問題。

表1 不同方法人體點云補(bǔ)全結(jié)果定量比較（更低的是更優(yōu)解）Tab.1 Quantitative comparison of human point cloud completion results with different methods（the lower is the better solution）

針對點云遷移網(wǎng)絡(luò)的優(yōu)化特性，本文通過實驗進(jìn)一步證明所提出方法的效果。使用不同生成類補(bǔ)全網(wǎng)絡(luò)生成稠密點云，再利用點云遷移網(wǎng)絡(luò)的特性對其補(bǔ)全。表2比較了用不同編解碼方法提升點云分辨率與本文方法的CD 損失值，可見本文的方法優(yōu)于使用生成類網(wǎng)絡(luò)的上采樣方式。利用生成類點云補(bǔ)全方法其上采樣會造成原始點云結(jié)構(gòu)性的丟失，而本文方法使用原始點云作為粗略點云模型可以獲取一一對應(yīng)的點云結(jié)構(gòu)信息。

表2 不同粗略點云的多層人體點云補(bǔ)全（更低的是更優(yōu)解）Tab.2 Multi-layer Human Point Cloud Completion with Different Coarse Point Clouds（the lower is the better solution）

圖3為不同方法人體點云補(bǔ)全結(jié)果的可視化比較，可見本文的方法對人體形狀有更準(zhǔn)確的預(yù)測，而基于編碼方案在預(yù)測復(fù)雜人體結(jié)構(gòu)時更容易存在邊緣模糊和斷肢的現(xiàn)象。通過網(wǎng)絡(luò)變形預(yù)測點云的FoldingNet方法對復(fù)雜人體的預(yù)測較差；PCN利用全連接層對全局潛在特征向量進(jìn)行整個點云模型的直接輸出，所以在局部細(xì)節(jié)的地方存在著一定的分布不均勻和不平整的情況；TopNet 由于采用多個全連接層來分層聚合全局特征，使得網(wǎng)絡(luò)的參數(shù)量大，并且收斂速度慢，會存在一定的補(bǔ)全點云分布散亂的情況；VRC 變分關(guān)聯(lián)點云補(bǔ)全在修復(fù)人體過程中存在少量離散點云，無法預(yù)測完整的邊緣與整體形狀；而直接使用PMP++網(wǎng)絡(luò)在預(yù)測端缺少粗略約束，造成邊界模糊。與其他方法相比，本文方法能夠獲得更優(yōu)的細(xì)節(jié)特征及更平整的邊緣信息，在視覺效果上優(yōu)于其他方法，與真值（GT）最接近。

圖3 不同方法人體點云補(bǔ)全結(jié)果的視覺效果Fig.3 Comparison of qualitative results

3.4 消融實驗

為了進(jìn)一步證明本文提出的由粗到精的網(wǎng)絡(luò)結(jié)構(gòu)能夠提升點云補(bǔ)全的精度及效果，對有無該結(jié)構(gòu)、有無部分點云與粗略補(bǔ)全點云的情況進(jìn)行消融實驗。表3列出了三種設(shè)置的點云補(bǔ)全CD值：無該網(wǎng)絡(luò)結(jié)構(gòu)的原始PMP++、缺失輸入信息的多層PMP++以及本文的方法。將本文的方法與表中前兩種消融方法比較，實驗證明對于輸入輸出分辨率相同的點云遷移補(bǔ)全方法而言，在補(bǔ)全點云時會損失部分輸入的結(jié)構(gòu)信息，因此，本文的方法在精細(xì)化網(wǎng)絡(luò)中加入輸入點云，能夠提升點云補(bǔ)全的精度。

表3 消融實驗結(jié)果（更低的是更優(yōu)解）Tab.3 Human point cloud completion of rough point cloud with different methods（the lower is the better solution）

3.5 顏色結(jié)果分析

在該小節(jié)中實驗了兩種方式：點云位置及顏色的多任務(wù)同時補(bǔ)全，點云位置及顏色的分任務(wù)補(bǔ)全。實驗結(jié)果如圖4 所示，其中左圖為在經(jīng)典網(wǎng)絡(luò)PCN 點云位置補(bǔ)全的基礎(chǔ)上加入顏色信息進(jìn)行多任務(wù)補(bǔ)全結(jié)果，在原本的位置信息上加入對應(yīng)顏色，同時訓(xùn)練并平衡位置及顏色補(bǔ)全損失函數(shù)；右圖為本文提出的方法，在訓(xùn)練時借助真值點位置信息補(bǔ)全顏色，在測試時輸入為補(bǔ)全網(wǎng)絡(luò)預(yù)測的人體稠密點云，結(jié)合輸入側(cè)的殘缺點云顏色信息進(jìn)行預(yù)測。從圖4 中可以直觀地看出，在補(bǔ)全網(wǎng)絡(luò)中添加顏色補(bǔ)全往往導(dǎo)致更糟糕的位置補(bǔ)全以及偏向于平均的顏色，而本文采用分離位置信息與顏色信息的方法可以有效提升顏色預(yù)測的準(zhǔn)確率。由此本文得出，對于點云補(bǔ)全的網(wǎng)絡(luò)不適合加入顏色信息進(jìn)行同時預(yù)測。

圖4 顏色重建結(jié)果比較Fig.4 Comparison of color reconstruction results

4 結(jié)論

本文主要解決人體三維點云數(shù)據(jù)在采集過程中由于遮擋、視角等問題導(dǎo)致的殘缺點云修復(fù)問題。為此本文提出了一個基于點云遷移的多層人體補(bǔ)全網(wǎng)絡(luò)結(jié)構(gòu)，使用由粗到精的方式構(gòu)建遷移點云。與編解碼結(jié)構(gòu)相比，使用更少的訓(xùn)練次數(shù)，通過一對一的遷移模式完成；并且基于補(bǔ)全的位置和輸入的顏色信息進(jìn)行顏色重建。在人體數(shù)據(jù)集上的點云補(bǔ)全結(jié)果與最先進(jìn)的方法相比表現(xiàn)更好，并且在點云顏色重建上也取得了良好的效果。