自監(jiān)督非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算方法

吳 衍 楊 軍 張思洋

計(jì)算三維模型之間的密集對(duì)應(yīng)是幾何處理、計(jì)算機(jī)視覺及相關(guān)領(lǐng)域中的一個(gè)經(jīng)典問題,是統(tǒng)計(jì)形狀分析[1]、配準(zhǔn)[2]、目標(biāo)跟蹤[3]和3D重建[4]等諸多應(yīng)用的核心技術(shù).

盡管三維模型對(duì)應(yīng)關(guān)系計(jì)算已被研究多年,但非等距模型的匹配問題仍面臨諸多挑戰(zhàn).等距模型的對(duì)應(yīng)關(guān)系計(jì)算可遵循一個(gè)目標(biāo)準(zhǔn)則,即保證模型間對(duì)應(yīng)兩點(diǎn)的測(cè)地距離相同,這相對(duì)容易實(shí)現(xiàn).非等距模型的對(duì)應(yīng)關(guān)系計(jì)算無明確的準(zhǔn)則可遵守,在這種情況下,大多數(shù)非等距模型對(duì)應(yīng)關(guān)系算法的主要做法有:1)在兩個(gè)模型上提前加入語義上有意義的對(duì)應(yīng)點(diǎn)(標(biāo)志點(diǎn)),利用這些真實(shí)值對(duì)應(yīng)點(diǎn)指導(dǎo)算法進(jìn)行計(jì)算[5];2)在計(jì)算過程中追求盡量少的局部度量失真,以此逼近最優(yōu)解[6].這些傳統(tǒng)做法需要人工制作標(biāo)志點(diǎn),算法效率較低,并且在不同數(shù)據(jù)集上效果各異,導(dǎo)致泛化能力較差.

大量的實(shí)際應(yīng)用需要處理非等距三維模型,因此研究者提出一些經(jīng)典的非等距三維模型對(duì)應(yīng)關(guān)系算法.由于非等距模型的對(duì)應(yīng)關(guān)系計(jì)算不能使用保持測(cè)地距離相同這一準(zhǔn)則,因此,Mandad等[7]提出一種直接優(yōu)化兩個(gè)不同形狀表面之間最小化方差的最優(yōu)傳輸方案,規(guī)定區(qū)域變形的界限,計(jì)算出的映射遵守的規(guī)則是盡可能保持角度不變,但隨著模型頂點(diǎn)數(shù)的增加,算法的收斂速度呈指數(shù)下降.Ezuz等[8]最小化前向和后向映射的狄利克雷能量,實(shí)現(xiàn)非等距三維模型對(duì)應(yīng)關(guān)系計(jì)算,利用可逆性約束,生成具有雙射性的非等距模型映射,但算法需要進(jìn)行歐幾里得空間的高維嵌入,并且使用半二次方分裂(Half-Quadratic Splitting)進(jìn)行目標(biāo)問題優(yōu)化,因此計(jì)算過程繁瑣.Edelstein等[9]提出ENIGMA(Evolu-tionary Non-Isometric Geometry Matching),將遺傳進(jìn)化算法結(jié)合到對(duì)應(yīng)關(guān)系算法中,設(shè)計(jì)幾何引導(dǎo)遺傳算子,實(shí)驗(yàn)證實(shí)算法對(duì)非等距模型的對(duì)應(yīng)關(guān)系計(jì)算是有效的,然而算法的初始化需要使用標(biāo)志點(diǎn),效率不高,容易引入噪聲.Eisenberger等[10]提出Smooth Shells,是一種全自動(dòng)的非等距三維模型對(duì)應(yīng)關(guān)系算法,利用模型的拉普拉斯特征函數(shù)與三維坐標(biāo)信息對(duì)齊,并且使用馬爾科夫鏈蒙特卡羅(Markov Chain Monte Carlo, MCMC)計(jì)算優(yōu)化問題,算法的不足在于拉普拉斯特征函數(shù)過于強(qiáng)調(diào)模型的全局信息,容易忽略局部信息.Panine等[11]提出一種基于Func- tional Maps(FM)并結(jié)合標(biāo)志點(diǎn)輔助計(jì)算的非等距三維模型對(duì)應(yīng)關(guān)系算法,利用固有斯捷克洛夫算子特征分解,引入一種自適應(yīng)標(biāo)志點(diǎn)基,在此基礎(chǔ)上實(shí)現(xiàn)共性映射的函數(shù)分解,效果較優(yōu),然而,算法需要標(biāo)志點(diǎn)輔助,無法完全自動(dòng)構(gòu)建非等距三維模型對(duì)應(yīng)關(guān)系.

在三維模型簇對(duì)應(yīng)關(guān)系計(jì)算上也存在諸多難點(diǎn),算法需要同時(shí)處理多個(gè)模型匹配計(jì)算.原則上,任何三維模型對(duì)的對(duì)應(yīng)關(guān)系算法都可用于三維模型簇對(duì)應(yīng)關(guān)系計(jì)算,這是因?yàn)橐徊糠謧鹘y(tǒng)的三維模型簇對(duì)應(yīng)關(guān)系算法都使用參考的模板模型,解決其它模型與模板模型的匹配問題.然而這類方法的計(jì)算誤差很大,多個(gè)模型間的映射難以滿足“循環(huán)一致性”的準(zhǔn)則.

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,研究人員嘗試引入深度學(xué)習(xí)以解決三維模型簇對(duì)應(yīng)關(guān)系的計(jì)算問題,楊軍等[18]結(jié)合三維點(diǎn)云模型包含的特征信息,優(yōu)化FM矩陣,協(xié)同計(jì)算三維模型簇對(duì)應(yīng)關(guān)系,提出無監(jiān)督三維模型簇對(duì)應(yīng)關(guān)系協(xié)同計(jì)算的方法,提高非剛性變換的三維模型簇對(duì)應(yīng)關(guān)系計(jì)算的準(zhǔn)確率,然而算法難以處理非等距三維模型簇.Cao等[19]提出基于FM的無監(jiān)督三維模型簇對(duì)應(yīng)關(guān)系算法,不依賴明確的模板模型,使用全局分類器預(yù)測(cè)多模型之間的匹配,結(jié)合循環(huán)一致性,可得到最優(yōu)結(jié)果.

在殘缺的三維模型簇對(duì)應(yīng)關(guān)系計(jì)算領(lǐng)域,為了解決多個(gè)非剛性的殘缺模型與完整模型的對(duì)應(yīng)關(guān)系問題,Litany等[20]以聯(lián)合優(yōu)化的方式構(gòu)建殘缺模型簇算法,在算法框架中加入空間域和譜域的正則化項(xiàng),提高計(jì)算精度,但是算法需要在空間域和譜域中交替優(yōu)化,加大運(yùn)算的復(fù)雜度.殘缺三維模型簇對(duì)應(yīng)關(guān)系計(jì)算容易受到部分模型殘缺度增大以及拓?fù)湓肼暤挠绊憦亩鴮?dǎo)致準(zhǔn)確率下降,Wu等[21]針對(duì)上述問題,提出可同步計(jì)算多個(gè)部分模型和完整模型對(duì)應(yīng)關(guān)系的算法,然而算法仍存在一些待改進(jìn)之處,如全譜域特征值對(duì)齊算法需要較大特征值的個(gè)數(shù)以處理高頻的本征信息、算法難以處理非等距殘缺模型等.

綜上所述,非等距的三維模型簇對(duì)應(yīng)關(guān)系計(jì)算依然處在理論研究的初步探索階段,存在算法嚴(yán)重依賴FM理論、非等距三維模型對(duì)應(yīng)關(guān)系計(jì)算準(zhǔn)確率較低且難以實(shí)現(xiàn)自動(dòng)計(jì)算、大部分三維模型簇對(duì)應(yīng)關(guān)系計(jì)算需要模板模型作為參考、算法泛化能力較差等問題.

針對(duì)上述問題,本文提出采用深度內(nèi)外特征對(duì)齊算法的自監(jiān)督非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算方法.方法不依賴FM,而是使用內(nèi)外特征對(duì)齊算法計(jì)算非等距三維模型對(duì)應(yīng)關(guān)系,將LMH(Localized Manifold Harmonics)基[6]作為本征信息,結(jié)合笛卡爾坐標(biāo)等外部信息,同時(shí)將這種非等距模型的匹配流程構(gòu)建為無監(jiān)督的深度神經(jīng)網(wǎng)絡(luò),以端到端的方式訓(xùn)練.方法不需要使用模板模型作為三維模型簇對(duì)應(yīng)關(guān)系計(jì)算的參考依據(jù),而是將多模型表示為加權(quán)無向完全圖,以自監(jiān)督的方式對(duì)模型圖的最短路徑執(zhí)行循環(huán)一致性優(yōu)化,在相似的幾何模型上尋找內(nèi)在相關(guān)性,提高非等距模型簇對(duì)應(yīng)的準(zhǔn)確性,消除拓?fù)湓肼晫?duì)對(duì)應(yīng)關(guān)系結(jié)果的影響.

1 自監(jiān)督非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算方法

1.1 方法步驟

為了解決現(xiàn)有非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算算法準(zhǔn)確率較低、泛化能力較差的問題,本文提出采用深度內(nèi)外特征對(duì)齊算法的自監(jiān)督非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算方法,總體框架如圖1所示.

圖1 本文方法總體框圖

本文方法主要由深度內(nèi)外特征對(duì)齊算法和自監(jiān)督多模型匹配算法(Self-Supervised Multi-shape Ma-tching, SSMM)組成.具體實(shí)現(xiàn)步驟如下.

1.2 深度內(nèi)外特征對(duì)齊算法

1.2.1 特征提取網(wǎng)絡(luò)

三維模型對(duì)應(yīng)關(guān)系計(jì)算的前提是將原始形狀的幾何模型生成有意義的特征,特別對(duì)于大尺度變形的三維模型,更需要準(zhǔn)確穩(wěn)定的特征提取算法.本文采用DiffusionNet構(gòu)建特征提取網(wǎng)絡(luò),不僅可以較好地處理非剛性變換的三維模型,還對(duì)使用離散化表示的三維模型具有較強(qiáng)的魯棒性.

DiffusionNet主要依靠簡(jiǎn)單的可學(xué)習(xí)擴(kuò)散層(Diffusion Layer, DL),取代模型表面上復(fù)雜且昂貴的卷積和池化操作,基本原理如下.

首先,在連續(xù)的前提下,將三維模型上的標(biāo)量場(chǎng)信息u(t)的特征傳播建模為熱擴(kuò)散模型,使用熱方程表示如下:

其中ΔM為M的LBO(Laplace-Beltrami Operator).該擴(kuò)散行為可通過熱運(yùn)算符ht表示,定義為

ht(u(0))=etΔMu(0),

其中u(0)為初始分布.

然后,在實(shí)際情況下,考慮模型離散狀態(tài),將模型的LBO表示為一個(gè)稀疏矩陣:

L=A-1O=ΦΛΦTA,

Ht(U)=Φ[e-λ1te-λ2t…]T⊙(ΦTAU)

,

(1)

其中,⊙為矩陣點(diǎn)乘,根據(jù)[e-λ1te-λ2t…]T對(duì)譜系數(shù)ΦTAU的逐元素縮放調(diào)整可方便表示為時(shí)間t的熱擴(kuò)散.式(1)使用稠密線性代數(shù)運(yùn)算(經(jīng)典的向量和矩陣運(yùn)算)以求解.

最后,計(jì)算模型曲面上每個(gè)點(diǎn)的切平面特征信息的空間梯度內(nèi)積,與式(1)的結(jié)果饋送到每個(gè)點(diǎn)的多層感知機(jī)(Multilayer Perceptron, MLP)中,獲得模型特征Finit.

1.2.2 內(nèi)外特征一致性對(duì)齊算法

傳統(tǒng)算法大多簡(jiǎn)單利用笛卡爾坐標(biāo)等外部特征描述三維模型,或像FM一樣依賴模型譜域本征信息進(jìn)行計(jì)算,難以保證計(jì)算準(zhǔn)確率,因此在不同數(shù)據(jù)集上效果各異.

本文結(jié)合深度學(xué)習(xí)與內(nèi)外特征一致性對(duì)齊算法[25],融合基于局部剛性變換準(zhǔn)則[26]的形變算法,利用LMH基表示模型的本征特征,將其與外部信息嵌入內(nèi)外積空間中,描述模型對(duì)齊過程,以此計(jì)算非等距模型對(duì)的對(duì)應(yīng)關(guān)系.算法過程如下.

和

中.LMH基比LBO基更適合描述模型本征特征的原因在于它既能捕獲LBO特征基的全局信息,也保留模型的局部細(xì)節(jié).

定義新的內(nèi)外積空間,將模型M和N嵌入該空間中,特征分別表示為

結(jié)合模型外部特征和本征特征,將模型的外部坐標(biāo)矩陣投射到前k個(gè)LMH基上,在譜域上重建光滑曲面,是一種可替代外部坐標(biāo)的模型算子.由于LMH的特征基也是按頻率排序的,所以隨著k值的增大,可獲得模型從粗到細(xì)的譜表示.

2)對(duì)模型M進(jìn)行變換.根據(jù)局部剛性變換準(zhǔn)則的形變算法,采用線性位移和本征函數(shù)變換描述內(nèi)外融合特征形變,定義為

其中,DKL為連續(xù)高斯混合模型分布和狄拉克分布之間的KL散度,‖?！?為潔洪諾夫正則化,Γ為促進(jìn)平滑的低通運(yùn)算符,ρ>0為控制正則化的權(quán)重.在能量函數(shù)Ealign中,將點(diǎn)對(duì)點(diǎn)映射還原問題看作求解概率密度估計(jì)問題,這樣保證是可微的,使算法的標(biāo)準(zhǔn)梯度優(yōu)化可行.

4)采用基于交替方向乘子算法[27]的優(yōu)化策略求解優(yōu)化問題

具體步驟如下.

(1)求解

(2)分別求解

k值初始化為0.

(3)重復(fù)(2),k值加1,直到k值到達(dá)設(shè)定的閾值K為止.

5)定義深度內(nèi)外特征對(duì)齊算法網(wǎng)絡(luò)的損失函數(shù):

1.3 自監(jiān)督多模型匹配算法

因?yàn)镚為無向圖,而Si到Sj與Sj到Si的對(duì)齊程度是不一樣的,因此取兩者的最小值(即兩者最相似度量值)作為權(quán)重ωij,最大程度減少誤差.ωij定義如下:

ωij=

(2)

γ1i=(S1,S2,…,Si),

根據(jù)循環(huán)一致性,可得其匹配組合映射結(jié)果

在加權(quán)無向圖中,可求解這個(gè)匹配組合的最短路徑,通過最短路徑匹配組合計(jì)算的映射結(jié)果比兩個(gè)模型直接對(duì)應(yīng)的結(jié)果更精確.本文采用SPFA計(jì)算最短路徑.SPFA的原理是通過對(duì)圖進(jìn)行多次松弛操作,得到所有可能的最短路徑,再篩選后得到最優(yōu)解.圖G中頂點(diǎn)Si和Sj之間最短路徑γij定義如下:

(γij)shortest=(Si,Sq,…,Sz,Sj)shortest=SPFA(G,Si,Sj).

在最短路徑γij下三維模型簇映射結(jié)果定義為

(3)

定義SSMM的損失函數(shù):

(4)

損失函數(shù)Lcoll對(duì)深度內(nèi)外特征對(duì)齊算法網(wǎng)絡(luò)產(chǎn)生的映射結(jié)果與最短路徑下三維模型簇映射結(jié)果的不一致進(jìn)行懲罰,修正三維模型簇對(duì)應(yīng)關(guān)系計(jì)算的循環(huán)一致性.

區(qū)別于有監(jiān)督算法,SSMM未使用先驗(yàn)知識(shí),式(2)～式(4)中的模型間映射結(jié)果與模型的內(nèi)外融合特征完全由深度內(nèi)外特征對(duì)齊算法計(jì)算而成,三維模型簇對(duì)應(yīng)關(guān)系計(jì)算的訓(xùn)練依據(jù)完全由自身算法計(jì)算而來,因此SSMM是一種自監(jiān)督的方式.

定義總的損失函數(shù):

L=Lpair+αLcoll,

其中,α為加權(quán)超參數(shù),用于平衡正則化項(xiàng)的權(quán)重.通過反向傳播更新網(wǎng)絡(luò)模型參數(shù)以不斷優(yōu)化損失函數(shù)L,迭代此過程直至網(wǎng)絡(luò)收斂.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文方法的編程語言為Python 3.8.8,運(yùn)算平臺(tái)為CUDA-Toolkit 11.3版本,采用Cudnn8.8.0作為CUDA上深度學(xué)習(xí)相關(guān)的工具庫(kù),深度學(xué)習(xí)框架為Pytorch-GPU,版本號(hào)為1.11,硬件支撐為Core i7處理器和NVIDIA GeForce RTX 3080 GPU(12 GB顯存)處理器.

實(shí)驗(yàn)中設(shè)置批處理尺寸大小為53,使用Adam(Adaptive Moment Estimation)優(yōu)化器以端到端的方式訓(xùn)練,訓(xùn)練過程迭代10 000次.k值的閾值K設(shè)為30,這是因?yàn)殡S著k值從0逐漸增至30,模型對(duì)之間的對(duì)應(yīng)關(guān)系質(zhì)量逐步提高,而超過30的k值不再影響計(jì)算結(jié)果的優(yōu)劣.加權(quán)超參數(shù)α設(shè)為0.6,原因在于模型簇?fù)p失函數(shù)Lcoll是根據(jù)模型對(duì)的結(jié)果進(jìn)行自監(jiān)督啟發(fā)構(gòu)建的,理論上應(yīng)確保模型對(duì)的對(duì)應(yīng)優(yōu)于模型簇的對(duì)應(yīng),因此給予模型對(duì)損失函數(shù)Lpair更高的權(quán)重,經(jīng)過優(yōu)化實(shí)驗(yàn),發(fā)現(xiàn)Lcoll權(quán)重值設(shè)為0.6時(shí)效果最優(yōu).

本文選擇CONSISTENT ZOOMOUT[14]、ISOMU- SH[17]、文獻(xiàn)[19]算法、文獻(xiàn)[28]算法和文獻(xiàn)[29]算法進(jìn)行非等距模型簇對(duì)應(yīng)關(guān)系計(jì)算的定性對(duì)比.CONSISTENT ZOOMOUT將ZOOMOUT與三維模型簇算法結(jié)合,效果顯著.ISOMUSH是基于模板的三維模型簇對(duì)應(yīng)關(guān)系算法,和FM也有密切的聯(lián)系.文獻(xiàn)[19]算法是一種基于FM的深度學(xué)習(xí)算法,使用Adam優(yōu)化器訓(xùn)練10 000個(gè)迭代周期,學(xué)習(xí)率為0.001.文獻(xiàn)[28]算法也是基于深度函數(shù)映射的非等距三維模型簇對(duì)應(yīng)關(guān)系算法,同樣使用Adam優(yōu)化器訓(xùn)練10 000個(gè)迭代周期,學(xué)習(xí)率為0.000 2.文獻(xiàn)[29]算法是非剛性模型對(duì)(兩個(gè)模型)的對(duì)應(yīng)關(guān)系算法,雖然并不是針對(duì)模型簇的算法,但是采用近似基函數(shù)和可擴(kuò)展上采樣算法,生成的對(duì)應(yīng)關(guān)系結(jié)果質(zhì)量較高,是具有代表性的非剛性模型對(duì)應(yīng)關(guān)系算法.

為了和上述模型簇對(duì)應(yīng)關(guān)系算法公平對(duì)比,使用算法依次計(jì)算模型簇中每個(gè)模型對(duì)的對(duì)應(yīng)關(guān)系結(jié)果.

在定量實(shí)驗(yàn)中,為了進(jìn)一步驗(yàn)證本文方法的有效性,除了使用上述5種對(duì)應(yīng)關(guān)系算法,還加入經(jīng)典的對(duì)應(yīng)關(guān)系算法ENIGMA[9]、Smooth Shells[10]、文獻(xiàn)[11]算法、FM[5]、ZOOMOUT[15]進(jìn)行定量對(duì)比.

2.2 實(shí)驗(yàn)數(shù)據(jù)集

本文選擇SMAL[30]、DEFORM THINGS4D-MA- TCHING(簡(jiǎn)記為DTM)[31]、SHERC′16 Topology(簡(jiǎn)記為SHERC′16T)[32]、SHERC′19[33]、FAUST[34]、SCA- PE[35]這6個(gè)三維模型數(shù)據(jù)集進(jìn)行定性實(shí)驗(yàn)和定量實(shí)驗(yàn).

SMAL數(shù)據(jù)集包含13類動(dòng)物,共50幅三維圖像,這些圖像都是通過掃描動(dòng)物雕像得到.DTM數(shù)據(jù)集是一個(gè)基于DEFORM THINGS4D數(shù)據(jù)集[36]的合成圖像數(shù)據(jù)集,包含56個(gè)動(dòng)物類別和8個(gè)類人類別,每個(gè)類別包含15～50個(gè)不同姿態(tài)的三維圖像.SHERC′16T數(shù)據(jù)集由25個(gè)非剛性變換的三維模型組成,這些模型中有大量拓?fù)鋫斡霸肼?SHERC′19數(shù)據(jù)集由430個(gè)具有不同連通性和網(wǎng)格分辨率的人體模型組成,使用11個(gè)不同數(shù)據(jù)庫(kù)的44個(gè)人類模型.FAUST數(shù)據(jù)集包括10個(gè)不同人體模型,每個(gè)人體以30個(gè)不同的動(dòng)作進(jìn)行掃描,得到300個(gè)高分辨率三角網(wǎng)格模型.SCAPE數(shù)據(jù)集由72個(gè)具有不同連通性和網(wǎng)格分辨率的人體模型組成,每個(gè)人體模型的動(dòng)作各異.

2.3 定性實(shí)驗(yàn)

本文方法與CONSISTENT ZOOMOUT、ISOMUSH、文獻(xiàn)[19]算法、文獻(xiàn)[28]算法和文獻(xiàn)[29]算法在SMAL數(shù)據(jù)集上構(gòu)建的非等距模型簇對(duì)應(yīng)關(guān)系結(jié)果對(duì)比如表1所示,使用顏色遷移方式(對(duì)應(yīng)點(diǎn)使用相同的顏色)定性評(píng)估算法對(duì)應(yīng)關(guān)系結(jié)果的準(zhǔn)確性.圖中源模型為馬,目標(biāo)模型分別為狐貍、狼、牛和狗.由表可見,CONSISTENT ZOOMOUT雖然不是傳統(tǒng)的依靠模板模型的三維模型簇對(duì)應(yīng)關(guān)系算法,但依然需要其它的模型間對(duì)應(yīng)關(guān)系算法提供初始化模型對(duì)的映射矩陣,容易引入噪聲,因此在4個(gè)目標(biāo)模型的四肢上均出現(xiàn)不連續(xù)的斑塊,牛背部的左右對(duì)應(yīng)關(guān)系也是錯(cuò)誤的.ISOMUSH利用模型簇構(gòu)造虛擬的公共模型作為模板模型,但是構(gòu)造非等距模型簇的公共模板模型是有難度的,由第3列可看出,狐貍的可視化效果不平滑,呈現(xiàn)斑點(diǎn)狀且大面積對(duì)應(yīng)失真,這說明模板模型在狐貍上的匹配是失效的,同時(shí)算法也受模型自身對(duì)稱性的影響,其它3個(gè)目標(biāo)模型的左右對(duì)應(yīng)關(guān)系結(jié)果都是錯(cuò)誤的.

表1 SMAL數(shù)據(jù)集上6種算法構(gòu)建的非等距模型簇對(duì)應(yīng)關(guān)系結(jié)果

文獻(xiàn)[19]算法是基于FM的深度學(xué)習(xí)方法,從結(jié)果可看出,模型整體對(duì)應(yīng)結(jié)果大致正確,只是狐貍的匹配質(zhì)量不高,尾巴、背部等無法正確辨識(shí),在其它目標(biāo)模型上也出現(xiàn)一些局部的錯(cuò)誤映射,視覺上呈現(xiàn)局部的不平滑.

文獻(xiàn)[28]算法分別從譜域和空間域的角度上計(jì)算模型簇的循環(huán)一致性,并融合結(jié)果以提高非等距模型對(duì)應(yīng)關(guān)系計(jì)算準(zhǔn)確率.算法總體對(duì)應(yīng)關(guān)系較平滑,但最大的問題在于牛、狗時(shí)存在因模型自身對(duì)稱性導(dǎo)致的錯(cuò)誤匹配.與此類似,文獻(xiàn)[29]算法也存在無法區(qū)分對(duì)稱區(qū)域的問題,細(xì)節(jié)處理不夠精細(xì),模型顏色的“斷層”現(xiàn)象更明顯,如狐貍的頭部與牛的四肢,這是因?yàn)橐坏┠Ｐ蛯?duì)應(yīng)關(guān)系結(jié)果中出現(xiàn)大量噪聲,模型對(duì)的對(duì)應(yīng)關(guān)系算法就無法像模型簇對(duì)應(yīng)關(guān)系算法那樣利用多模型的循環(huán)一致性消除單個(gè)模型對(duì)的噪聲.

本文方法也存在一些瑕疵,如狐貍的腹部和狼的脖頸處有些不平滑,然而相比其它算法,本文方法對(duì)應(yīng)關(guān)系準(zhǔn)確率最高,語義顏色信息也相對(duì)最平滑自然,能有效區(qū)分模型對(duì)稱特性,解決模型自身對(duì)稱性影響對(duì)應(yīng)關(guān)系計(jì)算的問題,計(jì)算出高質(zhì)量的非等距模型簇的對(duì)應(yīng)關(guān)系結(jié)果.

各對(duì)比算法在DTM數(shù)據(jù)集上構(gòu)建的非等距模型簇對(duì)應(yīng)關(guān)系結(jié)果對(duì)比如表2所示,源模型和目標(biāo)模型都是類人的合成模型,源模型為Crypto,目標(biāo)模型分別為Drake、Prisoner、Skeletonzombie、Ortiz.

表2 DTM數(shù)據(jù)集上6種算法構(gòu)建的非等距模型簇對(duì)應(yīng)關(guān)系結(jié)果

由表2可看出,CONSISTENT ZOOMOUT在DTM數(shù)據(jù)集上受模型自身對(duì)稱性的影響較小,算法的更多問題在于對(duì)應(yīng)失真,初始化參數(shù)噪聲對(duì)算法的影響是致命的.ISOMUSH的4個(gè)目標(biāo)模型的結(jié)果都出現(xiàn)模型左右對(duì)應(yīng)錯(cuò)誤的現(xiàn)象,有嚴(yán)重的總體誤差,算法很難處理非等距模型.文獻(xiàn)[19]算法的結(jié)果局部是平滑的,但全局并不平滑,視覺上呈現(xiàn)斑點(diǎn)狀,同時(shí)部分模型在全身各個(gè)區(qū)域也都無法產(chǎn)生正確的對(duì)應(yīng)結(jié)果.文獻(xiàn)[28]算法的計(jì)算結(jié)果質(zhì)量較低,可視化效果不夠平滑,算法容易受到模型自身對(duì)稱性的影響,在第2個(gè)模型的左右對(duì)應(yīng)關(guān)系和第4個(gè)模型的上下對(duì)應(yīng)關(guān)系中都存在錯(cuò)誤.在文獻(xiàn)[29]算法的結(jié)果中,只有第1個(gè)模型的匹配質(zhì)量較高,其它模型都出現(xiàn)嚴(yán)重失真,這表明模型對(duì)的對(duì)應(yīng)關(guān)系算法無法像模型簇算法那樣將高質(zhì)量的對(duì)應(yīng)關(guān)系結(jié)果用于輔助其它模型的協(xié)同一致計(jì)算.

本文方法在多模型匹配上,利用最短路徑的循環(huán)一致性,以盡可能多的上下文信息(包括所有訓(xùn)練模型的共同特征和顯著幾何特性等)實(shí)現(xiàn)模型簇對(duì)應(yīng)關(guān)系計(jì)算,越多的模型訓(xùn)練可學(xué)到越多的形狀拓?fù)浣Y(jié)構(gòu).即使在一些特殊模型上,如第2個(gè)目標(biāo)模型,其右邊的斷手和左邊的完整手都可正確映射到源模型上,說明本文方法的計(jì)算結(jié)果在保持良好局部細(xì)節(jié)的同時(shí)總體誤差最小.

各對(duì)比算法在SHERC′16T數(shù)據(jù)集上構(gòu)建的非等距模型簇對(duì)應(yīng)關(guān)系結(jié)果對(duì)比如表3所示.SHERC′16T數(shù)據(jù)集上的三維模型含有大量的拓?fù)鋫斡霸肼?這些噪聲是由三維模型的部分重疊造成拓?fù)浜喜⑴c變形產(chǎn)生的,如第1個(gè)與第2個(gè)目標(biāo)模型的小腿彎曲造成的表面區(qū)域的重疊、第3個(gè)和第4個(gè)目標(biāo)模型的手與腳的接觸處等.表3中源模型編號(hào)為kid00,目標(biāo)模型編號(hào)分別為kid05、kid09、kid16、kid22.

表3 SHERC′16T數(shù)據(jù)集上6種算法構(gòu)建的非等距模型簇對(duì)應(yīng)關(guān)系結(jié)果

由表3可看出,CONSISTENT ZOOMOUT在第3個(gè)和第4個(gè)模型全身各個(gè)區(qū)域上都無法產(chǎn)生正確的對(duì)應(yīng)結(jié)果.ISOMUSH可處理第3個(gè)模型的拓?fù)鋫斡霸肼?但在第4個(gè)模型的區(qū)域重疊處對(duì)應(yīng)計(jì)算錯(cuò)誤,而且其它模型的局部細(xì)節(jié)處理不夠平滑,如第1個(gè)與第2個(gè)模型的兩個(gè)手掌、手臂處.文獻(xiàn)[19]算法結(jié)果中大部分模型的對(duì)應(yīng)關(guān)系可視化效果較平滑,但第4個(gè)模型的拓?fù)鋫斡霸肼曁幚硎?模型手掌與腳映射到同一個(gè)位置.文獻(xiàn)[28]算法在處理拓?fù)鋫斡霸肼暦矫姹憩F(xiàn)較成功,但在局部細(xì)節(jié)方面仍不夠平滑,對(duì)應(yīng)關(guān)系的質(zhì)量也不高.文獻(xiàn)[29]算法無法有效處理模型的拓?fù)鋫斡霸肼?甚至在第4個(gè)模型的各個(gè)區(qū)域都無法產(chǎn)生正確的對(duì)應(yīng)結(jié)果.本文方法雖然也存在一些問題,如第2個(gè)模型和第4個(gè)模型大腿處對(duì)應(yīng)效果不平滑,但對(duì)所有模型拓?fù)鋫斡霸肼曁幍膶?duì)應(yīng)計(jì)算大致正確,整體對(duì)應(yīng)誤差最小,由此說明本文方法可較好地解決拓?fù)鋫斡霸肼晢栴}.

本節(jié)通過紋理遷移展示各對(duì)比算法在SHERC′19、DTM數(shù)據(jù)集上構(gòu)建的對(duì)應(yīng)關(guān)系,具體如表4所示.紋理遷移可直觀展示算法雙射性的優(yōu)劣,反映映射結(jié)果的質(zhì)量.

表4 各算法在SHERC′19、DTM數(shù)據(jù)集上通過紋理遷移得到的對(duì)應(yīng)關(guān)系結(jié)果

在SHERC′19數(shù)據(jù)集上,源模型為男人模型,編號(hào)為33;目標(biāo)模型為女人模型,編號(hào)為41.在表4局部的放大框上可看出,受模型自身對(duì)稱性結(jié)構(gòu)的影響,CONSISTENT ZOOMOUT和文獻(xiàn)[28]算法出現(xiàn)左右顛倒映射的問題,ISOMUSH和文獻(xiàn)[19]算法出現(xiàn)大面積的對(duì)應(yīng)失真,文獻(xiàn)[29]算法的結(jié)果有嚴(yán)重的總體誤差,而本文方法較好地處理模型自身對(duì)稱性影響對(duì)應(yīng)關(guān)系計(jì)算的問題,目標(biāo)模型的其它位置也基本沒有對(duì)應(yīng)失真.

在DTM數(shù)據(jù)集上,源模型為ravenOL,目標(biāo)模型為duck.CONSISTENT ZOOMOUT依然出現(xiàn)左右顛倒對(duì)應(yīng),ISOMUSH、文獻(xiàn)[19]算法和文獻(xiàn)[28]算法總體誤差很大,特別是文獻(xiàn)[19]算法,在不同數(shù)據(jù)集上的表現(xiàn)良莠不齊,說明算法在不同數(shù)據(jù)集上的泛化能力不足,文獻(xiàn)[29]算法的失真也很嚴(yán)重,說明該算法并不能處理非等距模型.本文方法映射的連續(xù)性最好,總體映射誤差最小,紋理遷移的結(jié)果最接近真實(shí)值,說明雙射性優(yōu)于其它算法.

各對(duì)比算法在FAUST、SCAPE數(shù)據(jù)集上構(gòu)建的模型簇對(duì)應(yīng)關(guān)系結(jié)果對(duì)比如表5所示.FAUST、SCAPE數(shù)據(jù)集上存在掃描噪聲和模型自身對(duì)稱性歧義等挑戰(zhàn),可有效測(cè)試算法的性能和準(zhǔn)確度.在FAUST數(shù)據(jù)集上,源模型編號(hào)為tr_reg_083,目標(biāo)模型編號(hào)為tr_reg_097.在SCAPE數(shù)據(jù)集上,源模型編號(hào)為mesh007,目標(biāo)模型編號(hào)為mesh032.

表5 各算法在FAUST、SCAPE數(shù)據(jù)集上構(gòu)建模型簇對(duì)應(yīng)關(guān)系結(jié)果

由表5可見,CONSISTENT ZOOMOUT、ISOMU- SH和文獻(xiàn)[29]算法在2個(gè)數(shù)據(jù)集上都出現(xiàn)模型左右或前后對(duì)應(yīng)錯(cuò)誤的情況.雖然文獻(xiàn)[19]算法和文獻(xiàn)[28]算法在兩個(gè)數(shù)據(jù)集上的整體對(duì)應(yīng)關(guān)系大致正確,但是對(duì)應(yīng)關(guān)系質(zhì)量不高,細(xì)節(jié)上也不夠平滑,手臂和大腿處存在與周圍顏色不連接的區(qū)域.本文方法也存在一些瑕疵,如在SCAPE數(shù)據(jù)集上右肩膀出現(xiàn)不平滑的顏色斷層,表明出現(xiàn)一些錯(cuò)誤的映射分布,然而本文方法總體準(zhǔn)確率最高,語義顏色信息最平滑自然,由此說明本文方法具有最強(qiáng)的泛化能力.

2.4 定量實(shí)驗(yàn)

本節(jié)在SMAL、DTM、SHERC′16T、SHERC′19、FAUST、SCAPE這6個(gè)數(shù)據(jù)集上定量評(píng)估各算法計(jì)算非等距三維模型簇對(duì)應(yīng)關(guān)系的能力.

本文方法與CONSISTENT ZOOMOUT、ISOMU-SH、文獻(xiàn)[19]算法、文獻(xiàn)[28]算法和文獻(xiàn)[29]算法在不同數(shù)據(jù)集上的測(cè)地誤差曲線如圖2所示.測(cè)地誤差曲線是一種累積分布曲線,用于指示算法對(duì)應(yīng)關(guān)系的性能.

(a)SMAL (b)DTM (c)SHREC′16T

由圖2可見,在SMAL數(shù)據(jù)集上,本文方法在測(cè)地誤差為0時(shí)對(duì)應(yīng)關(guān)系準(zhǔn)確率就超過其它5種算法,并且在測(cè)地誤差為0.1時(shí)達(dá)到100%的對(duì)應(yīng)關(guān)系準(zhǔn)確率,比效果次優(yōu)的文獻(xiàn)[19]算法準(zhǔn)確率提升約10%.在DTM數(shù)據(jù)集上,6種算法在測(cè)地誤差為0.25之前都未達(dá)到100%的準(zhǔn)確率,這是因?yàn)樵摂?shù)據(jù)集是合成圖像數(shù)據(jù)集,含有大量的拓?fù)鋫斡霸肼?而且非等距模型的變形程度很大,即使測(cè)地誤差很大時(shí)也難以達(dá)到完全的正確對(duì)應(yīng).在SHREC′16T數(shù)據(jù)集上,本文方法與文獻(xiàn)[19]算法、文獻(xiàn)[28]算法的曲線很接近,在測(cè)地誤差為0.1時(shí)都達(dá)到100%的準(zhǔn)確率,然而在測(cè)地誤差小于0.1時(shí)還是有一定的優(yōu)勢(shì),而且匹配精度也遠(yuǎn)高于其它3種算法.在SHERC′19數(shù)據(jù)集上,本文方法取得最優(yōu)結(jié)果,準(zhǔn)確率比其它3種算法都有較大提升,比排名次優(yōu)的文獻(xiàn)[19]算法準(zhǔn)確率提升約50%.FAUST、SCAPE數(shù)據(jù)集包含對(duì)真實(shí)人體的掃描數(shù)據(jù),數(shù)據(jù)采集過程中可能受到偽影噪聲的影響,本文方法、文獻(xiàn)[19]算法和文獻(xiàn)[28]算法都能有效處理偽影噪聲,然而,相比文獻(xiàn)[19]算法和文獻(xiàn)[28]算法,本文方法更早達(dá)到100%的準(zhǔn)確率,因此,本文方法的結(jié)果更接近于真實(shí)情況.

從上述的定量結(jié)果可看出,在非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算上,本文方法比其它5種算法更精確,在不同數(shù)據(jù)集上的計(jì)算結(jié)果差異更小,說明泛化能力更強(qiáng).

為了進(jìn)一步驗(yàn)證本文方法的性能,在6個(gè)數(shù)據(jù)集上使用文獻(xiàn)[38]提出的度量算法進(jìn)行定量對(duì)比,指標(biāo)采用準(zhǔn)確度和雙射性.算法包括非等距模型簇對(duì)應(yīng)關(guān)系算法CONSISTENT ZOOMOUT、ISOMUSH、文獻(xiàn)[19]算法、文獻(xiàn)[28]算法,以及模型對(duì)的對(duì)應(yīng)關(guān)系算法ENIGMA、Smooth Shells、文獻(xiàn)[11]算法、FM、ZOOMOUT和文獻(xiàn)[29]算法.使用平均測(cè)地誤差衡量每種算法的準(zhǔn)確度,并通過模型之間復(fù)合映射的平均測(cè)地誤差評(píng)估雙射性.源模型X與目標(biāo)模型Y之間的復(fù)合映射記為

ΠXX=ΠXYΠYX.

各算法在6個(gè)數(shù)據(jù)集上的準(zhǔn)確度和雙射性對(duì)比如表6所示,表中黑體數(shù)字表示最優(yōu)值.由表可見,本文方法在所有數(shù)據(jù)集的測(cè)試中都表現(xiàn)出最佳的準(zhǔn)確度和雙射性,說明本文方法逐點(diǎn)映射的質(zhì)量也是最優(yōu)的.與本文方法最接近的是文獻(xiàn)[11]算法和ZOOMOUT,然而,文獻(xiàn)[11]算法需要標(biāo)志點(diǎn)的輔助計(jì)算,ZOOMOUT的計(jì)算結(jié)果受初始化參數(shù)質(zhì)量的影響.本文方法能在自動(dòng)化計(jì)算的同時(shí),實(shí)現(xiàn)最優(yōu)的對(duì)應(yīng)結(jié)果.

表6 各算法在6個(gè)數(shù)據(jù)集上的準(zhǔn)確度和雙射性對(duì)比

2.5 消融實(shí)驗(yàn)

首先定義如下4種設(shè)置:不包含LMH基、不包含SSMM、不包含LMH基和SSMM、包含LMH基和SSMM.在SMAL、DTM、SHREC′16T、SHERC′19數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果如表7所示,表中數(shù)據(jù)為平均測(cè)地誤差,黑體數(shù)字表示最優(yōu)值.

表7 本文方法消融實(shí)驗(yàn)結(jié)果

由表7可見,在不包含LMH基的設(shè)置下,本文方法使用LBO基,平均測(cè)地誤差明顯提高,這是因?yàn)長(zhǎng)MH基可結(jié)合模型的局部細(xì)節(jié)和拉普拉斯特征函數(shù)獲得全局信息,相比LBO基,可提高算法對(duì)應(yīng)關(guān)系計(jì)算的準(zhǔn)確率.在不包含SSMM的設(shè)置下,本文方法僅使用深度內(nèi)外特征對(duì)齊算法計(jì)算模型對(duì)的對(duì)應(yīng)關(guān)系,準(zhǔn)確率也有所降低.如果LMH基和SSMM都不使用,平均測(cè)地誤差是最高的,說明算法的不同組成部分相輔相成,都刪除的話會(huì)大幅增加平均測(cè)地誤差.如果同時(shí)使用LMH基和SSMM,平均測(cè)地誤差最低,這說明本文方法可有效提高非等距模型簇對(duì)應(yīng)關(guān)系計(jì)算的準(zhǔn)確性.

4.6 運(yùn)行時(shí)間

本節(jié)對(duì)比本文方法與CONSISTENT ZOOMOUT、ISOMUSH、文獻(xiàn)[19]算法、文獻(xiàn)[28]算法在SMAL、SHERC′16T、SHERC′19、DTM、FAUST、SCAPE這6個(gè)數(shù)據(jù)集上計(jì)算一組非等距模型簇(包含5個(gè)非等距模型)對(duì)應(yīng)關(guān)系所需的平均運(yùn)行時(shí)間.由于模型對(duì)的對(duì)應(yīng)關(guān)系算法需要手動(dòng)依次計(jì)算模型簇中每個(gè)模型對(duì)的對(duì)應(yīng)關(guān)系,因此沒有參與模型簇算法對(duì)比.CONSISTENT ZOOMOUT和ISOMUSH需要其它算法提供初始化模型對(duì)的映射矩陣,在實(shí)驗(yàn)中采用最簡(jiǎn)單快速的FM生成初始化參數(shù),因此兩種算法實(shí)際運(yùn)行時(shí)間要加上FM計(jì)算的時(shí)間.

各算法運(yùn)行時(shí)間對(duì)比如表8所示.由表可見,CONSISTENT ZOOMOUT受模型點(diǎn)數(shù)增加的影響較小,在4種頂點(diǎn)數(shù)不同的數(shù)據(jù)模型上運(yùn)行時(shí)間差不多.ISOMUSH基于模板模型進(jìn)行計(jì)算,運(yùn)行時(shí)間與模型頂點(diǎn)數(shù)呈正比.本文方法、文獻(xiàn)[19]算法和文獻(xiàn)[28]算法都是基于深度學(xué)習(xí)的算法,不需要使用模型對(duì)初始化參數(shù),運(yùn)行時(shí)間不考慮初始化和訓(xùn)練時(shí)間,只計(jì)算網(wǎng)絡(luò)模型的計(jì)算測(cè)試時(shí)間.文獻(xiàn)[19]算法通過分類器預(yù)測(cè)模型到模板的匹配結(jié)果,運(yùn)行時(shí)間是4種算法中最短的.文獻(xiàn)[28]算法采用雙分支的網(wǎng)絡(luò)結(jié)構(gòu),需要在空間域和譜域上交替優(yōu)化計(jì)算,運(yùn)行過程十分耗時(shí).本文方法的運(yùn)行時(shí)間與模型頂點(diǎn)數(shù)相關(guān),實(shí)際運(yùn)行時(shí)間僅次于文獻(xiàn)[19]算法.由此可看出在計(jì)算高質(zhì)量的非等距三維模型簇對(duì)應(yīng)關(guān)系結(jié)果的同時(shí),本文方法在運(yùn)行時(shí)間上也具有優(yōu)勢(shì).

表8 各算法在6個(gè)數(shù)據(jù)集上的運(yùn)行時(shí)間對(duì)比

3 結(jié) 束 語

非剛性的三維模型對(duì)應(yīng)關(guān)系計(jì)算是計(jì)算機(jī)視覺和圖形學(xué)中的一個(gè)核心問題,而非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算更是該問題中的難點(diǎn).本文提出一種采用深度內(nèi)外特征對(duì)齊算法的自監(jiān)督非等距三維模型簇對(duì)應(yīng)關(guān)系計(jì)算方法,主要由深度內(nèi)外特征對(duì)齊算法和自監(jiān)督多模型匹配算法(SSMM)組成.深度內(nèi)外特征對(duì)齊算法采用DiffusionNet構(gòu)建特征提取網(wǎng)絡(luò),獲取模型初始特征,使用LMH基描述模型本征信息,結(jié)合笛卡爾坐標(biāo)等外部信息實(shí)現(xiàn)內(nèi)外特征對(duì)齊,計(jì)算模型對(duì)(兩個(gè)模型)的對(duì)應(yīng)關(guān)系結(jié)果,為后續(xù)的自監(jiān)督模型簇算法提供訓(xùn)練標(biāo)簽數(shù)據(jù).SSMM將非等距模型簇構(gòu)建為加權(quán)無向完全圖,采用SPFA計(jì)算模型圖最短路徑,使用已知的模型對(duì)對(duì)應(yīng)關(guān)系結(jié)果,不斷優(yōu)化最短路徑的循環(huán)一致性,計(jì)算最優(yōu)非等距模型簇映射結(jié)果.實(shí)驗(yàn)表明,相比現(xiàn)有三維模型簇對(duì)應(yīng)關(guān)系算法,本文方法計(jì)算的非等距三維模型簇對(duì)應(yīng)關(guān)系結(jié)果更準(zhǔn)確,在不同數(shù)據(jù)集上的泛化能力更強(qiáng).

然而,本文方法仍存在一些需要改進(jìn)之處.例如:LMH基與LBO基一樣,適用于三角網(wǎng)格表示的近等距模型,對(duì)點(diǎn)云模型效果不佳,處理非等距模型也很費(fèi)時(shí).此外,SSMM對(duì)模型數(shù)量有具體要求,需要至少4個(gè)以上模型傳遞潛在的拓?fù)浣Y(jié)構(gòu)信息才有較優(yōu)的計(jì)算結(jié)果.這些問題都是今后需要繼續(xù)研究和改進(jìn)的方向.