局部-整體雙向推理的文物無監(jiān)督表征學(xué)習(xí)

劉 杰，耿國華*，田 煜，王 毅，劉陽洋，周明全

（1.西北大學(xué) 文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心，陜西 西安 710127；2.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127）

1 引 言

隨著傳統(tǒng)博物館向數(shù)字博物館的轉(zhuǎn)變，文物的展示方式突破了藏品展陳的時(shí)空限制，變得豐富多樣，同時(shí)稀缺文物也可以得到很好地交流與共享。作為考古史上的重大發(fā)現(xiàn)之一，由于自然環(huán)境和人為因素的影響，兵馬俑大多以碎片的形式出土。因此，兵馬俑的修復(fù)工作亟待解決。傳統(tǒng)的人工修復(fù)方法不僅費(fèi)時(shí)耗力，同時(shí)會(huì)對文物造成二次傷害。隨著激光掃描儀技術(shù)的飛速發(fā)展，文物虛擬修復(fù)技術(shù)成為研究熱點(diǎn)。作為文物修復(fù)的關(guān)鍵步驟，強(qiáng)大的碎片特征表示可大大提高碎片分類、匹配和拼接等工作的效率，對文物保護(hù)起著不可或缺的作用。

文物表征學(xué)習(xí)方法通常分為傳統(tǒng)機(jī)器學(xué)習(xí)方法和基于深度學(xué)習(xí)的算法。傳統(tǒng)方法一般采用專家設(shè)計(jì)的特征描述算子。Rasheed等[1］提出了依賴于RGB顏色特征和紋理特征、文物碎片之間以及基于灰度共生矩陣（Gray Level Cooccurrence Matrix，GLCM）從碎片中提取紋理特征的算法。路正杰等[2］提出了一種點(diǎn)云局部信息與顯著性多特征描述子，并結(jié)合旋轉(zhuǎn)投影特征，解決文物破損嚴(yán)重時(shí)分類效果差的問題。上述算法依賴于專家的先驗(yàn)知識(shí)，需花費(fèi)大量時(shí)間，且手工設(shè)計(jì)提取特征的方法表達(dá)能力較弱，使得分類模型的泛化能力不強(qiáng)。近年來，隨著深度學(xué)習(xí)的快速發(fā)展，一些學(xué)者將深度學(xué)習(xí)理論應(yīng)用于自動(dòng)駕駛[3-4］、遙感[5］、文化遺產(chǎn)保護(hù)[6-10］等領(lǐng)域，其中文物修復(fù)包括文物模型簡化[6］，文物碎片分類、分割[7-9］和文物碎片拼接[10］等。隨著激光雷達(dá)傳感器和深度傳感器等三維數(shù)據(jù)采集設(shè)備的普及，點(diǎn)云已成為一種常見的三維模型數(shù)據(jù)，其結(jié)構(gòu)簡單且描述的形狀信息豐富。如何將點(diǎn)云數(shù)據(jù)應(yīng)用于上述領(lǐng)域，已經(jīng)成為深度學(xué)習(xí)計(jì)算機(jī)視覺領(lǐng)域新的熱點(diǎn)。由于點(diǎn)云是無序的且分布稀疏，使得將二維卷積直接應(yīng)用在點(diǎn)云上是困難的。Charles等[11］提 出的PointNet是利用 深度網(wǎng)絡(luò) 直接處理點(diǎn)云的開創(chuàng)性工作，并取得了較好的效果，但該模型沒有考慮局部特征。許多后續(xù)工作通過設(shè)計(jì)能夠更好地獲取點(diǎn)云的局部特征的卷積來擴(kuò)展這個(gè)方向[12-17］。PointNet++[12］通過將點(diǎn)云劃分為小的子集，構(gòu)建了通過層級(jí)結(jié)構(gòu)學(xué)習(xí)局部區(qū)域特征的網(wǎng)絡(luò)。Yang等[7］提出一種基于雙模態(tài)神經(jīng)網(wǎng)絡(luò)，能夠較好地同時(shí)提取兵馬俑碎片的空間特征和圖像紋理特征。Liu等[17］提出一種基于多尺度和自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)，可以較好地提取兵馬俑碎片點(diǎn)云的局部特征和全局特征。

上述有監(jiān)督學(xué)習(xí)方法雖然取得一定的成績，但往往需要大量的人工標(biāo)記數(shù)據(jù)做訓(xùn)練，人工標(biāo)注工作費(fèi)時(shí)耗力[18］，尤其是對于真實(shí)場景數(shù)據(jù)集。因此，無監(jiān)督特征表示方法的研究具有一定的現(xiàn)實(shí)意義。從無標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)有用的表征是點(diǎn)云分析中一個(gè)具有挑戰(zhàn)性的問題。現(xiàn)有方法大多數(shù)主要是基于生成或重建任務(wù)提供的自我監(jiān)督信號(hào)，包括自我重建[19-21］和局部到整體重建[22］。Achlioptas等[19］通過多層感知器（Multi-Layer Perceptrons，MLPs）從特征表示中生成與原模型相似的結(jié)構(gòu)，即Auto-Encoder（AE）結(jié)構(gòu)。但該AE模型生成的點(diǎn)云模型較稀疏、粗糙。Yang等[20］提出一個(gè)通過深度網(wǎng)格變形的點(diǎn)云自編碼器（FoldingNet），以此來得到可以表示高維嵌入點(diǎn)云的特征表示，并以基于折疊的解碼器替換原有的全連接解碼器。Li等[21］將已有的生成對抗網(wǎng)絡(luò)框架（Generative Adversarial Networks，GAN）擴(kuò)展到處理三維點(diǎn)云數(shù)據(jù)，提出一個(gè)用于點(diǎn)云分層采樣和推理網(wǎng)絡(luò)的深度生成對抗網(wǎng)絡(luò)（Point Cloud-GAN，PC-GAN）。該網(wǎng)絡(luò)通過使用層次貝葉斯建模和隱性生成模型的思想來學(xué)習(xí)生成點(diǎn)云。Liu等[22］通過局部到整體重建方法L2G Auto-Encoder同時(shí)學(xué)習(xí)點(diǎn)云的局部和全局結(jié)構(gòu)。Hassani等[23］利用聚類、自動(dòng)編碼和自監(jiān)督分類這三個(gè)無監(jiān)督任務(wù)來學(xué)習(xí)點(diǎn)云上的點(diǎn)和形狀特征并取得較好結(jié)果，但網(wǎng)絡(luò)架構(gòu)復(fù)雜。上述無監(jiān)督學(xué)習(xí)方法在提取點(diǎn)云低層次結(jié)構(gòu)信息時(shí)是有效的，但通常不能或難以從點(diǎn)云中學(xué)習(xí)高層次的語義信息。

針對上述問題，本文通過不同抽象層次的局部表征與文物碎片對象的全局表征之間的雙向推理，提出一種能夠同時(shí)學(xué)習(xí)點(diǎn)云的結(jié)構(gòu)和語義信息的無監(jiān)督點(diǎn)云表征學(xué)習(xí)。該局部-整體雙向推理模型由兩部分組成：（1）局部到整體推理：首先定義預(yù)測網(wǎng)絡(luò)，將局部特征和全局特征映射到一個(gè)共享的特征空間內(nèi)，然后衡量由局部特征得到的全局特征與直接提取的全局特征之間差異，進(jìn)行反復(fù)學(xué)習(xí)，使其局部特征向全局特征靠攏；（2）整體到局部推理：為保證全局特征的質(zhì)量，利用自重建任務(wù)學(xué)習(xí)文物碎片對象必要結(jié)構(gòu)信息的全局特征。本文算法在兵馬俑數(shù)據(jù)集和Modelnet40公開數(shù)據(jù)集上的準(zhǔn)確率分別達(dá)到93.33%和92.02%。其中在兵馬俑數(shù)據(jù)集上，該算法優(yōu)于除有監(jiān)督模型AMS-Net（較AMS-Net準(zhǔn)確率低2.35%）之外的所有方法。實(shí)驗(yàn)結(jié)果表明，本文無監(jiān)督方法的點(diǎn)云表征在下游分類任務(wù)中比部分有監(jiān)督表征更有鑒別力，同時(shí)縮小了無監(jiān)督和監(jiān)督學(xué)習(xí)方法之間的差距。作為將無監(jiān)督表示學(xué)習(xí)應(yīng)用于3D兵馬俑數(shù)據(jù)集的一次新的嘗試，該方法減少了文物數(shù)據(jù)集在收集和注釋過程中所花費(fèi)的大量成本，對文物虛擬修復(fù)提供一種可行的方法，具有一定意義。

圖1 兵馬俑碎片數(shù)據(jù)集示例Fig.1 Examples of the Terracotta Warriors fragments datasets

2 兵馬俑數(shù)據(jù)集制作

本實(shí)驗(yàn)所使用的兵馬俑碎片數(shù)據(jù)集是由西北大學(xué)文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心可視化研究所的學(xué)生使用Creaform VIU718手持式3D掃描儀采集得到的，共來自3 250塊兵馬俑碎片，并根據(jù)每個(gè)碎片所屬部位的不同，將其分為手臂（800塊）、身體（810塊）、頭部（810塊）和腿（830塊）四類。兵馬俑碎片數(shù)據(jù)集示例如圖1所示。對掃描得到的點(diǎn)云進(jìn)行去噪聲和下采樣等一系列預(yù)處理操作。首先，使用Geomagic軟件獲得如圖2（a）所示的原始稠密點(diǎn)云。其次，為減少網(wǎng)絡(luò)的過擬合，同時(shí)提高網(wǎng)絡(luò)預(yù)測的魯棒性，需對稠密點(diǎn)云按一定比例進(jìn)行下采樣。使用隨機(jī)采樣方法，將一個(gè)碎片點(diǎn)云重新采樣為四個(gè)不完全重疊的點(diǎn)云，且保證每個(gè)點(diǎn)云包含固定的點(diǎn)個(gè)數(shù)（1 024點(diǎn)），如圖2（b）所示。圖2（c）表明上述四個(gè)點(diǎn)云集合不完全重合。通過上述一些列操作，最終得到包含11 996塊碎片的擴(kuò)增數(shù)據(jù)集，將其劃分為訓(xùn)練集和測試集兩部分。其中，訓(xùn) 練 集 包 含10 144塊 碎 片（Arm：2 656，Body：2 720，Head：2 272，Leg：2 496），測試集包含1 852塊碎片（testArm：476，testBody：504，testHead：428，testLeg：444）。

圖2 擴(kuò)展數(shù)據(jù)集制作流程Fig.2 Approach of the extend dataset

3 基于局部-整體雙向推理無監(jiān)督表征學(xué)習(xí)方法

利用三維模型的底層語義信息和結(jié)構(gòu)信息融合在對象的整體結(jié)構(gòu)中這一獨(dú)特屬性，使得三維模型可以由單個(gè)部分推理整個(gè)對象。如圖3所示，通過給定兔子耳部的點(diǎn)云，可推斷出相應(yīng)整體對象；整個(gè)兔子的表示也包含所有必要的細(xì)節(jié)來推斷該兔子的局部結(jié)構(gòu)。受上述啟發(fā)，本文通過局部-整體之間的雙向推理問題來實(shí)現(xiàn)點(diǎn)云表征學(xué)習(xí)。

本文提出的局部-整體雙向推理無監(jiān)督表征學(xué)習(xí)整體網(wǎng)絡(luò)框架圖如圖4所示。首先，將點(diǎn)云P輸入至由兩個(gè)多尺度殼模塊組成的分層結(jié)構(gòu)。編碼器通過構(gòu)建分層結(jié)構(gòu)的點(diǎn)分組，逐步擴(kuò)大感受野，最終得到第l層局部特征Fl和維度為512的全局特征G。為保證全局特征G能夠獲得更豐富的點(diǎn)云表示，本文建立由局部到整體推理模塊，從而使得全局特征包含更多的結(jié)構(gòu)信息和語義信息。為保證全局表征不偏離原始點(diǎn)云，再次提出從整體到局部的推理模塊，利用折疊解碼器（Folding-based Decoder）將學(xué)習(xí)到的全局特征G重新解碼為3D坐標(biāo)，使得全局特征G能夠捕捉到更多的點(diǎn)云結(jié)構(gòu)信息。接下來將詳細(xì)介紹每個(gè)模塊的組成部分。

圖3 局部-整體雙向推理Fig.3 Local-global bidirectional reasoning

3.1 多尺度殼卷積層級(jí)結(jié)構(gòu)特征提取

多尺度殼卷積模塊如圖5所示。本節(jié)將從多尺度局部區(qū)域的構(gòu)造、單尺度特征提取和多尺度特征融合三部分分別予以介紹。

3.1.1 多尺度局部區(qū)域的構(gòu)造

與PointNet++[12］和ShellNet[13］類 似，該 模型的多尺度局部區(qū)域構(gòu)造分別由采樣層、搜索層和分組層組成。首先，采樣層利用最遠(yuǎn)點(diǎn)采樣算法（Farthest Point Sampling，F(xiàn)PS）從輸入點(diǎn)云P中選擇M個(gè)點(diǎn)作為局部區(qū)域的質(zhì)心，即PMc=在每個(gè)局部區(qū)域中，搜索層通過最近鄰搜索算法（K-Nearest Neighbors algorithm，KNN）尋找質(zhì)心點(diǎn)的ki(i=1，2，3)個(gè)最近鄰點(diǎn)，并返回對應(yīng)的點(diǎn)索引。其中，ki為各個(gè)局部區(qū)域每個(gè)尺度包含點(diǎn)云數(shù)目，本文使用三個(gè)不同大小的尺度，故i取值為3。最后分組層將點(diǎn)云集分成多組具有不同尺度大小的局部點(diǎn)集，其大小為M×ki×3。

3.1.2 單尺度特征提取

為便于理解，接下來先介紹單尺度模塊結(jié)構(gòu)及特征提取，如圖5（b）所示。

本文提出一種鄰域的劃分方法。對于每個(gè)采樣點(diǎn)，將其鄰域劃分為一組同心球體，兩個(gè)同心球體之間的空隙定義為同心球殼。對于任意采樣點(diǎn)，殼卷積算子計(jì)算局部特征的算法如下：

輸 入：采 樣 點(diǎn)pi∈P，i=1，2…N，鄰 點(diǎn)pj，?pj∈Bp，鄰 域Bp，以 及 前 一 層 特 征F()l-1(pj)（上標(biāo)l表示第l層）。

輸出：采樣點(diǎn)pi經(jīng)過殼卷積的輸出特征Fp。

Step1：通過KNN搜索采樣點(diǎn)pi的鄰點(diǎn)pj，并將鄰點(diǎn)特征維度提高到F()l(pj)。

Step2：若已存在前層特征F()l-1(pj)，則將F()l-1(pj)與F()l(pj)拼接在一起作為該點(diǎn)提取得到的特征F(l-1)(pj)。

Step3：根據(jù)鄰點(diǎn)pj到采樣點(diǎn)pi的距離確定pj屬于哪個(gè)殼，同一個(gè)殼內(nèi)的點(diǎn)用X表示。

圖5 多尺度殼卷積模塊Fig.5 Multi-scale shell convolution block

Step4：通過最大池化操作獲取每個(gè)殼的局部特征。

Step5：按照從內(nèi)到外的順序?qū)λ袣さ木植刻卣鲌?zhí)行一維卷積，得到輸出特征Fp。

對于任意采樣點(diǎn)pi來說，pi點(diǎn)上傳統(tǒng)的卷積為：

其中：F(·)表示輸入點(diǎn)的特征，W表示卷積的權(quán)重。每個(gè)點(diǎn)均需一個(gè)與之對應(yīng)的權(quán)重，但點(diǎn)云是無序的，為每個(gè)鄰點(diǎn)pj都分配卷積權(quán)重W(pj)是不切實(shí)際的。為解決該問題，本文將劃分為同一殼內(nèi)的點(diǎn)的特征分配相同的卷積權(quán)重。如圖5所示。規(guī)定每個(gè)殼中的點(diǎn)個(gè)數(shù)是固定的，確保每個(gè)殼中包含的點(diǎn)數(shù)達(dá)到閾值s后，向外擴(kuò)展，直到下一個(gè)殼內(nèi)點(diǎn)個(gè)數(shù)也達(dá)到s，依此類推。假設(shè)該采樣點(diǎn)的鄰域由X個(gè)殼組成，則鄰域數(shù)k為sX，那么采樣點(diǎn)的鄰域可表示為M×k×3。改進(jìn)后的卷積可定義為：

按照由內(nèi)到外的順序?qū)みM(jìn)行排序，每個(gè)殼的權(quán)重為WX。但每個(gè)殼中的點(diǎn)仍然是無序的，為了產(chǎn)生對輸入順序不敏感的輸出，通過最大池化來聚合同一個(gè)殼內(nèi)的點(diǎn)，并使用一維卷積整合所有殼的特征以獲得采樣點(diǎn)的融合特征Fp：

其中：C(·)為拼接操作，ξ(·)為一維卷積操作。

3.1.3 多尺度特征融合

受文獻(xiàn)[13］啟發(fā)，本文提出一種基于多尺度殼卷積點(diǎn)云特征提取方法，其結(jié)構(gòu)如圖5所示。

每個(gè)單尺度模塊輸出的特征在進(jìn)入下一個(gè)多尺度殼模塊之前還將進(jìn)行特征聚合，以形成包含不同尺度局部信息的全局特征。其中，三個(gè)不同尺度的特征分別記為Fpk1，F(xiàn)pk2，F(xiàn)pk3，融合后的多尺度特征記為Fmulti：

3.2 局部到整體推理模塊

本文利用局部和整體形狀之間的關(guān)系作為監(jiān)督信號(hào)，用于訓(xùn)練豐富的表征進(jìn)一步理解點(diǎn)云。由于全局表征通常比局部表征能更好地捕捉對象的語義信息，所以局部到目標(biāo)的推理是通過預(yù)測局部的全局表征來進(jìn)行的。為了評估預(yù)測結(jié)果，本文將預(yù)測視為自監(jiān)督度量學(xué)習(xí)問題，并使用改進(jìn)多類N對損失（N-pair loss）來監(jiān)督預(yù)測任務(wù)。

首先，簡單回顧三元組損失函數(shù)[24］（Triplet loss）。三元組{pa，pp，pn}由錨點(diǎn)pa，正樣本pp和負(fù)樣本pn組成。映射函數(shù)fω(·)可以將點(diǎn)pi映射到嵌入特征fω(pi)∈Rd。為方便表示，令χa=fω(pa)，χp=fω(pp)，χn=fω(pn)。Triplet loss的目標(biāo)是使同類樣本的特征在空間位置上盡量靠近，不同類樣本位置盡量遠(yuǎn)離，并要求pa到負(fù)樣本pn的距離與pa到正樣本pp的距離之差至少大于閾值η，圖6為Triplet loss與N-pair loss示意圖，其中，“+”代表正樣本，“-”代表負(fù)樣本。Triplet loss表示形式如式6所示：

圖6 Triplet loss與N-pair loss示意圖Fig.6 Illustration of Triplet loss and N-pair loss

Triplet loss在學(xué)習(xí)參數(shù)的更新過程中，只比較了一個(gè)負(fù)樣本，而忽略了其他類的負(fù)樣本，故Triplet loss收斂速度慢。針對上述情況，N-pair loss[25］被提出，它是由多個(gè)負(fù)樣本對組成，即一對正樣本對，選取其他所有不同類別的樣本作為負(fù)樣本與其組合得到負(fù)樣本對。如果數(shù)據(jù)集中有C類別，則每個(gè)正樣本都對應(yīng)了N-1個(gè)負(fù)樣本對。通過圖6中兩者比較，Triplet loss可看作是N-pair loss的一 個(gè) 特 例(N=2)。N-pair loss的 形式如式（7）所示：

其中，χi=fω(pi)和{pi，p1′，p2′，…，pQ′}為來自Q個(gè)不同類別的樣本對。為學(xué)習(xí)每個(gè)對象的不同語義信息，將當(dāng)前對象的全局表示作為正樣本，將其他類對象的全局表示作為負(fù)樣本。由于局部特征Fpi(l)和全局特征G的維度不同，無法直接衡量它們之間的相似度。故先使用Γ(l)(·)和B(·)將它們分別嵌入到一個(gè)共享的特征空間中。

優(yōu)化預(yù)測的一種直接方法是最小化Γ(l)(Fpi(l))，B(G)之間的整體差異，即最小化然而，該目標(biāo)可能會(huì)導(dǎo)致將所有輸入映射到一個(gè)常數(shù)。本文使用自監(jiān)督度量學(xué)習(xí)任務(wù)來監(jiān)督預(yù)測的好壞。對于每個(gè)嵌入的局部表示Fpi()l，強(qiáng)制其特征比任何其他類別對象更接近同一對象的全局表示，故本文使用的改進(jìn)N-pair loss表示為：

其中：{Gj}qj=1是批量大小為q的批量中不同點(diǎn)集的全局表示，M是局部特征的數(shù)量。

3.3 整體到局部推理模塊

局部到整體的推理只能監(jiān)督局部表征接近全局表征，全局表征的好壞至關(guān)重要。若全局表征效果好，則會(huì)對局部表征提供較好的監(jiān)督，從而為局部和全局特征的學(xué)習(xí)創(chuàng)造一個(gè)良性循環(huán)。反之，會(huì)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)到不可預(yù)知的結(jié)果。為避免該問題的產(chǎn)生，本節(jié)提出自重建輔助任務(wù)來監(jiān)督網(wǎng)絡(luò)共同學(xué)習(xí)有用的表征。自重建模塊采用3.1節(jié)提出的基于多尺度殼卷積層級(jí)編碼器，解碼器結(jié)構(gòu)圖如圖4中Decoder所示。首先，將編碼器所得到的全局特征G∈R1×512復(fù)制m次，可得FG∈Rm×512。其次，將大小為m×512的特征矩陣FG與包含m×2網(wǎng)格矩陣拼接得到Fnew∈Rm×514，其中m×2矩陣包含以原點(diǎn)為中心的正方形上的m個(gè)網(wǎng)格點(diǎn)。然后，將Fnew送入MLPs得到粗輸出Fcoarse，其特征矩陣大小為m×3。為得到更好的重建點(diǎn)云，最后將m×512矩陣FG與粗輸出Fcoarse拼接，再經(jīng)過MLPs，得到最終重建點(diǎn)云。其中，網(wǎng)格大小m2是根據(jù)輸入點(diǎn)云大小設(shè)置的，且需滿足m2≥N。本實(shí)驗(yàn)m=32，N=1 024。

在給定輸入點(diǎn)云P時(shí)，重建點(diǎn)云是由基于折疊解碼器D將規(guī)范的2D網(wǎng)格變形到以全局表示G為條件的點(diǎn)云的3D坐標(biāo)上，記為J(G)，其中J(G)∈RN×3。重建誤差Lrec定義為P和J(G)之間的倒角距離，故其損失函數(shù)定義為：

其中：P為輸入點(diǎn)云，p為輸入點(diǎn)云中的點(diǎn)，J(G)代表重建點(diǎn)云，p′是重建點(diǎn)云中的點(diǎn)。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文分別選用兵馬俑數(shù)據(jù)集和公開數(shù)據(jù)集ModelNet40作為基準(zhǔn)數(shù)據(jù)集并完成對該模型的測試，將其實(shí)驗(yàn)結(jié)果與其他方法進(jìn)行比較。其中，兵馬俑數(shù)據(jù)集已在第2節(jié)介紹。ModelNet40包含來自40個(gè)類別的12 311個(gè)CAD模型，其中包含9 843個(gè)訓(xùn)練樣本和2 468個(gè)測試樣本。本實(shí)驗(yàn)中所有數(shù)據(jù)只使用點(diǎn)云的坐標(biāo)特征（x，y，z）。

4.2 實(shí)驗(yàn)設(shè)置

編碼器網(wǎng)絡(luò)結(jié)構(gòu)包含兩層多尺度殼卷積模塊，每個(gè)模塊均包含三個(gè)不同尺度的殼卷積算子。其中，參數(shù)Mj、sj和Xi（i=0，1；j=0，1，2）分別表示每層的采樣點(diǎn)的個(gè)數(shù)、每層殼的大小和不同尺度中殼的數(shù)量。因此，每個(gè)采樣點(diǎn)的鄰域個(gè)數(shù)為sj×Xi。具體參數(shù)取值如表1所示。對于第一層模塊來說，三個(gè)尺度鄰點(diǎn)個(gè)數(shù)分別等于32，64，128.同理可得，第二層模塊中不同尺度的鄰點(diǎn)個(gè)數(shù)為16，32，64。

本文使用Lim-N和Lrec聯(lián)合損失為損失函數(shù)，并使用Adam優(yōu)化網(wǎng)絡(luò)，初始學(xué)習(xí)率為0.001，動(dòng)量為0.9，批量大小為22。同時(shí)使用Lambda學(xué)習(xí)率調(diào)度器，每20輪將學(xué)習(xí)率衰減0.5。

實(shí)驗(yàn)硬件環(huán)境為Intel Core i7處理器、16 G內(nèi)存、2 T硬盤、顯卡NVIDIA GTX 1080Ti；軟件環(huán)境為Ubuntu16.04 x64+CUDA9.0+cuDNN 7.0+PyTorch1.2+Python3.7.

表1 編碼器網(wǎng)絡(luò)參數(shù)Tab.1 Encoder network parameters

4.3 不同方法實(shí)驗(yàn)對比分析

為驗(yàn)證本文方法的有效性，選取一種傳統(tǒng)點(diǎn)云分類方法和五種深度學(xué)習(xí)點(diǎn)云分類方法與之比較。目前基于兵馬俑點(diǎn)云集的無監(jiān)督表征學(xué)習(xí)方法研究甚少，上述對比方法只有Foldingnet[20］為 無 監(jiān) 督 方 法，其 余 方 法 均 為 有 監(jiān) 督方法。

從表2可以看出，除AMS-Net方法之外（準(zhǔn)確率比本文方法高2.35%），本文方法在兵馬俑數(shù)據(jù)集上取得了93.33%的最高分類準(zhǔn)確率。表中輸入數(shù)據(jù)類型字段中“P”代表點(diǎn)云，“G”代表圖像?；谀０宓谋R俑碎片傳統(tǒng)分類算法[26］將分類問題轉(zhuǎn)化為形狀匹配問題，分類準(zhǔn)確率為表2所 列 出 方 法 中 最 低。PointNet[11］缺 乏 局 部 特征的提取，易造成細(xì)節(jié)特征的丟失，故分類精度僅為88.93%。文獻(xiàn)[7］在PointNet基礎(chǔ)上結(jié)合圖像輪廓特征，提出一種融合點(diǎn)云和圖像輪廓的雙模態(tài)網(wǎng)絡(luò)，相比于單獨(dú)使用PointNet網(wǎng)絡(luò)，正確率提升了2.48%。然而本文提出的無監(jiān)督方法比文獻(xiàn)[7］提高了1.92%，并遠(yuǎn)超于無監(jiān)督方法Foldingnet（提高了11.42%）。另外，本文所提出模型的編碼部分是在ShellNet的基礎(chǔ)上結(jié)合了多尺度策略，最終分類準(zhǔn)確率高于ShellNet方法0.89%。但在ModelNet40數(shù)據(jù)集上，ShellNet高于該無監(jiān)督方法1.08%（見表10），由此可以表明，該方法能夠針對兵馬俑碎塊數(shù)據(jù)集進(jìn)行較好的特征表示，為兵馬俑碎塊分類任務(wù)提供了更加可靠的信息。

表2 兵馬俑數(shù)據(jù)集上不同方法的分類準(zhǔn)確率Tab.2 Classification accuracies of different methods on Terracotta Warrior fragments dataset.

為了更科學(xué)地評估本文算法的分類效果，引入精確率（IPrecision）、召回率（IRecall）和F1值（IF1）作為評價(jià)指標(biāo)。由于數(shù)據(jù)集包含多個(gè)類別，故文本采用平均精確率（P）、平均召回率（R）、平均F1值（F）作為整體的評價(jià)指標(biāo)，三者分別為所有類對應(yīng)值的算術(shù)平均值，其計(jì)算公式如式（10）～（12）。其中，NTP為正確判斷的正樣本數(shù)，NFN為誤判的正樣本數(shù)，NFP為誤判的負(fù)樣本數(shù)，類別個(gè)數(shù)為T。本組實(shí)驗(yàn)僅對表2代碼公開的方法進(jìn)行對比。從表3可以看出，本文算法在上述三個(gè)評價(jià)指標(biāo)的結(jié)果與準(zhǔn)確率保持一致，進(jìn)一步說明該無監(jiān)督方法在文物分類任務(wù)上具有一定的穩(wěn)定性。

表3 不同模型的分類性能Tab.3 Classification performance of different models

從表4可以看出，表中的所有方法身體和頭部兩個(gè)類別的準(zhǔn)確率要高于胳膊類和腿類。身體類的準(zhǔn)確率最高，胳膊類的準(zhǔn)確率最低。主要原因是身體大部分部位是衣服或盔甲，褶皺較多，特征較為明顯（見圖1）。部分胳膊類的特性與腿較為相似，容易被誤分類。整體上本文方法相較于文獻(xiàn)[7］都有很大的提升。

表4 4個(gè)類別中的分類精確度Tab.4 Classification accuracies of the four classes

4.4 消融實(shí)驗(yàn)分析

為進(jìn)一步評估該網(wǎng)絡(luò)模型中每個(gè)組成模塊對網(wǎng)絡(luò)性能的影響，在兵馬俑數(shù)據(jù)集分別進(jìn)行三組對比實(shí)驗(yàn)。

（1）編碼器結(jié)構(gòu)：單尺度與多尺度對比。從表5可以看出，多尺度模型比單尺度模型準(zhǔn)確率高2.40%，這表明該模型編碼器可以有效地提取多個(gè)尺度的細(xì)節(jié)特征。

表5 編碼器對分類精度的影響Tab.5 Effect of the encoder on classification accuracies

（2）解碼器結(jié)構(gòu)：MLPs與Folding-based進(jìn)行對比，其中，MLPs輸出通道數(shù)為[512，256，3］。從表6可以看出，本文采用的折疊解碼器比直接經(jīng)過簡單的MLPs準(zhǔn)確率提升1.88%。為進(jìn)一步證明該模型的有效性，將兩個(gè)網(wǎng)絡(luò)的收斂性進(jìn)行了比較，結(jié)果如圖7所示。該網(wǎng)絡(luò)在訓(xùn)練25輪后逐漸變得平穩(wěn)，且損失值低于MLPs解碼器。損失函數(shù)值越小，表明解碼生成的點(diǎn)云與輸入點(diǎn)云越相近。

表6 解碼器對分類精度的影響Tab.6 Effect of the decoder on classification accuracies

圖7 不同解碼器訓(xùn)練損失曲線Fig.7 Training loss curves for different decoders

（3）損失函數(shù)：Lrec與Lim-N+Lrec進(jìn)行對比。從表7可以看出，僅通過自重建損失進(jìn)行訓(xùn)練，得到89.47%的低分類準(zhǔn)確率。當(dāng)使用本文提出的聯(lián)合損失時(shí)，準(zhǔn)確率可提升3.86%。結(jié)果表明通過度量每層局部特征與編碼獲取的全局特征，可以使網(wǎng)絡(luò)進(jìn)一步捕獲兵馬俑碎片的潛在語義特征，從而提高分類準(zhǔn)確率。

表7 損失函數(shù)對分類精度的影響Tab.7 Effectofthelossfunctiononclassificationaccuracies

4.5 魯棒性

為進(jìn)一步驗(yàn)證該模型的魯棒性，將大小在[-1.0，1.0］的隨機(jī)噪聲添加到輸入點(diǎn)云中，當(dāng)一個(gè)點(diǎn)替換為噪聲點(diǎn)（nn=1）時(shí)，該模型的準(zhǔn)確率為92.13%，其中nn為噪聲點(diǎn)數(shù)量。從表8可以看出，當(dāng)噪聲數(shù)量高達(dá)100時(shí)，該模型仍然有很好的分類結(jié)果。表明該方法更適合真實(shí)場景數(shù)據(jù)集。

表8 不同噪聲點(diǎn)的結(jié)果Tab.8 Results for different noise points

4.6 在Modelnet40公共數(shù)據(jù)集的結(jié)果分析

為評估該方法在點(diǎn)云表征學(xué)習(xí)方面的性能，接下來在Modelnet40公共數(shù)據(jù)集上對其進(jìn)行實(shí)驗(yàn)測試。首先從上述預(yù)訓(xùn)練模型中提取Model-Net40數(shù)據(jù)集的全局特征；然后將其放入線性分類器進(jìn)行訓(xùn)練，無需任何微調(diào)，得出分類結(jié)果。將本文方法與已有無監(jiān)督表征學(xué)習(xí)方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表9所示，其中，l-GAN的實(shí)驗(yàn)結(jié)果為文獻(xiàn)[22］的復(fù)現(xiàn)結(jié)果。本文方法只使用ModelNet40作 為 訓(xùn)練數(shù)據(jù)，而l-GAN[19］和FoldingNet[20］的 訓(xùn) 練 數(shù) 據(jù) 是 包 含 超 過57 000個(gè)3D對象的ShapeNet數(shù)據(jù)集。盡管如此，本文方法仍比它們分別提高4.75%和3.62%。從定量結(jié)果可以看出，本文方法取得較好的分類性能，準(zhǔn)確率為92.02%，分別比L2G和Multi-Task方法高1.38%和2.92%。

表9 與已有無監(jiān)督方法在ModelNet40上的對比結(jié)果Tab.9 Comparisons of the classification accuracy of our method against the unsupervised learning methods on ModelNet40

從表10中可以看出，本文方法分類準(zhǔn)確率分別 比PointNet和PointNet++提 高2.82%和1.32%。即使SO-Net輸入點(diǎn)云個(gè)數(shù)為2 048，本文方法仍相比提高1.12%。結(jié)果表明本文方法獲取的特征表示比一些監(jiān)督表示更具辨別力。

表10 與已有監(jiān)督方法在ModelNet40上的對比結(jié)果Tab.10 Comparisons of the classification accuracy of our method against the supervised learning methods on ModelNet40

5 結(jié) 論

本文提出一種無監(jiān)督表征學(xué)習(xí)網(wǎng)絡(luò)，應(yīng)用于3D文物碎片分類的下游任務(wù)。首先通過層級(jí)結(jié)構(gòu)的多尺度殼卷積編碼器來學(xué)習(xí)點(diǎn)云模型不同區(qū)域之間的相關(guān)性。其次通過各層局部特征和全局特征之間的相似性度量以捕獲模型的結(jié)構(gòu)和語義信息。最后將學(xué)習(xí)到的點(diǎn)云表征應(yīng)用于點(diǎn)云分類下游任務(wù)。實(shí)驗(yàn)結(jié)果表明，本文算法在兵馬俑數(shù)據(jù)集和ModelNet40數(shù)據(jù)集的分類準(zhǔn)確率分別為93.33%和92.02%。在ModelNet40數(shù)據(jù)集上，ShellNet比該無監(jiān)督方法高1.08%；而在兵馬俑碎塊數(shù)據(jù)集上，該方法比ShellNet高0.89%。結(jié)果表明該方法更適合于兵馬俑碎塊分類，同時(shí)縮小了下游分類任務(wù)中無監(jiān)督和有監(jiān)督學(xué)習(xí)方法之間的差距。本文嘗試將點(diǎn)云無監(jiān)督表征學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用于兵馬俑碎片數(shù)據(jù)集，結(jié)果也驗(yàn)證了該方法的有效性。接下來將繼續(xù)該方法擴(kuò)展到更多的文物點(diǎn)云分析場景中。