基于變形圖的譜姿態(tài)遷移

蘇 鵬，尹夢曉,2，王宇攀，韓艷茹，楊 鋒,2，李桂清

?

基于變形圖的譜姿態(tài)遷移

蘇 鵬1，尹夢曉1,2，王宇攀3，韓艷茹1，楊 鋒1,2，李桂清3

(1. 廣西大學(xué)計算機(jī)與電子信息學(xué)院，廣西 南寧 530004； 2.廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530004； 3. 華南理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院，廣東 廣州 510006)

為減低譜姿態(tài)遷移結(jié)果受幾何代理Cage的影響程度，提出基于變形圖的譜姿態(tài)遷移方法。首先，利用優(yōu)化二次誤差度量方法簡化源網(wǎng)格得到變形圖，將源網(wǎng)格頂點(diǎn)以測地距離為權(quán)重用變形圖頂點(diǎn)表示，強(qiáng)制源網(wǎng)格頂點(diǎn)與基于耦合準(zhǔn)調(diào)和基的姿態(tài)遷移結(jié)果盡可能相同，同時保持變形圖的拉普拉斯坐標(biāo)，獲得低頻姿態(tài)遷移結(jié)果，并利用嵌入變形算法對此結(jié)果進(jìn)行優(yōu)化；然后，通過觀察找到次級姿態(tài)學(xué)習(xí)不充分的局部網(wǎng)格，分割出局部子網(wǎng)格，對這些子網(wǎng)格使用低頻姿態(tài)遷移方法，可以學(xué)習(xí)到次級姿態(tài)。實(shí)驗(yàn)結(jié)果表明，在一定程度上降低了幾何代理的影響，有效地提高了譜姿態(tài)遷移結(jié)果。

姿態(tài)遷移；網(wǎng)格簡化；嵌入變形；耦合準(zhǔn)調(diào)和基

三維網(wǎng)格模型在3D打印、虛擬現(xiàn)實(shí)、娛樂游戲等方面有廣泛應(yīng)用。利用傳統(tǒng)手工建模、掃描設(shè)備或建模軟件很難快速準(zhǔn)確地對復(fù)雜的幾何形狀進(jìn)行建模[1]。而對已有的網(wǎng)格模型進(jìn)行編輯和重用，可以避免重新建模。其中基于樣例的網(wǎng)格建模(example-based mesh modeling)是一種常用的三維網(wǎng)格模型重用的方法。作為基于樣例的網(wǎng)格建模技術(shù)變形遷移[2-3]和姿態(tài)遷移[4-5]利用參考網(wǎng)格的已有姿態(tài)得到具有相似姿態(tài)的目標(biāo)網(wǎng)格。變形遷移(deformation transfer)抽取參考網(wǎng)格的兩個不同姿態(tài)之間潛在運(yùn)動的幾何變換，利用幾何變換驅(qū)動另一個模型(源網(wǎng)格)變形[2-3]，通常需要輸入?yún)⒖季W(wǎng)格的2個不同姿態(tài)來驅(qū)動源網(wǎng)格變形。與變形遷移相比，姿態(tài)遷移(posetransfer)僅需一個參考網(wǎng)格來指定源網(wǎng)格變形[4-5]。

文獻(xiàn)[4-5]提出的姿態(tài)遷移策略無法很好地保持源網(wǎng)格的幾何細(xì)節(jié)，且不能捕捉參考網(wǎng)格的次級姿態(tài)。文獻(xiàn)[6]提出的細(xì)節(jié)保持的多層譜姿態(tài)遷移方法解決了上述問題。由于文獻(xiàn)[6]使用Cage和均值坐標(biāo)[7]來表示源網(wǎng)格，而均值坐標(biāo)不滿足內(nèi)部局部性[8]，因此姿態(tài)遷移結(jié)果受Cage的影響較大。

為此，本文利用嵌入變形圖編輯方法[9]代替廣義中心坐標(biāo)的子空間技術(shù)，以變形圖作為幾何代理、測地距離[10]為權(quán)重表示源網(wǎng)格。嵌入變形能較好地保持網(wǎng)格的幾何細(xì)節(jié)，這在一定程度上降低幾何代理對遷移結(jié)果的影響，從而提高遷移結(jié)果的質(zhì)量。

1 相關(guān)工作

BOSCAINI等[13]通過約束在泛函映射[14]下，網(wǎng)格模型的拉普拉斯算子盡可能相同來進(jìn)行姿態(tài)遷移。從實(shí)驗(yàn)結(jié)果來看，該方法所使用的模型相對光滑，沒有比較豐富的細(xì)節(jié)。

文獻(xiàn)[6]在文獻(xiàn)[5]的基礎(chǔ)上添加細(xì)節(jié)保持約束，以Cage作為幾何代理利用基于均值坐標(biāo)[7]的子空間方法進(jìn)行細(xì)節(jié)保持的姿態(tài)遷移，能量函數(shù)為

注意到三維模型姿態(tài)具有多尺度性，文獻(xiàn)[6]利用網(wǎng)格分割方法[15]將整體模型的中小尺度姿態(tài)(次級姿態(tài))轉(zhuǎn)化為相對于局部區(qū)域網(wǎng)格(子網(wǎng)格)的大尺度姿態(tài)，再利用細(xì)節(jié)保持的低頻姿態(tài)遷移方法進(jìn)行次級姿態(tài)遷移。重復(fù)執(zhí)行此過程，最終獲得具有參考模型的姿態(tài)和源網(wǎng)格模型幾何細(xì)節(jié)的目標(biāo)網(wǎng)格模型。

本文在文獻(xiàn)[6]的基礎(chǔ)進(jìn)行改進(jìn)，除了必要的符號和術(shù)語之外，其他相關(guān)工作請參考文獻(xiàn)[6]。

2 基于變形圖的姿態(tài)遷移

2.1 變形圖的構(gòu)造

本文選取變形圖作為幾何代理表示源網(wǎng)格，首先構(gòu)造變形圖。文獻(xiàn)[9]指出使用對網(wǎng)格模型的均勻采樣所產(chǎn)生的變形圖的嵌入變形效果最好。生成頂點(diǎn)分布均勻網(wǎng)格的方法很多，但多數(shù)方法均存在逼近誤差[16]，嵌入變形優(yōu)化時本文利用源網(wǎng)格頂點(diǎn)更新變形圖的頂點(diǎn)，而逼近誤差會帶來更多誤差。本文采用文獻(xiàn)[17]提出的方法對源網(wǎng)格模型進(jìn)行簡化得到變形圖。

圖1 QF代價圖例

實(shí)驗(yàn)過程中根據(jù)實(shí)際情況選取權(quán)重。例如需要盡可能保持源網(wǎng)格的局部細(xì)節(jié)特征時，增大Q的權(quán)重的值。如需得到頂點(diǎn)分布均勻的變形圖時，增大Q的權(quán)重。以下實(shí)驗(yàn)通常取=1.0，=1.0，=1–2，=10.0。與圖4(a)相比，利用優(yōu)化后的QEM簡化算法生成的網(wǎng)格頂點(diǎn)分布均勻，如圖4(b)所示；變形圖頂點(diǎn)的數(shù)量決定了其可表達(dá)性(Expressibility)[9]。當(dāng)源網(wǎng)格次級姿態(tài)較少時可以使用密度較小的變形圖。反之，使用頂點(diǎn)密度較大的變形圖。本文實(shí)驗(yàn)一般選擇300~400個頂點(diǎn)的變形圖。

圖2 邊折疊方式示意圖

(a) 參考姿態(tài)(b) 源姿態(tài)(c) 低頻姿態(tài)遷移 后的變形圖

(a) 原始QEM(b) 優(yōu)化后QEM

2.2 基于變形圖的姿態(tài)遷移能量函數(shù)

本文使用變形圖作為幾何代理，利用文獻(xiàn)[6]的姿態(tài)遷移方法進(jìn)行保持細(xì)節(jié)的低頻姿態(tài)遷移。

其中，

因此式(2)為

其中，

因此，最終的姿態(tài)遷移能量函數(shù)為

2.3 嵌入變形優(yōu)化姿態(tài)遷移

2.4 基于變形圖的姿態(tài)遷移步驟

步驟3.選取參考網(wǎng)格與源網(wǎng)格直接的特征對應(yīng)點(diǎn)，計算參考網(wǎng)格與源網(wǎng)格之間的基于面積近似的-鄰域指示函數(shù)(indicator functions)作為模型之間的對應(yīng)函數(shù)[6]；

步驟6.優(yōu)化能量式(6)，得到變形圖頂點(diǎn)的旋轉(zhuǎn)變換和平移變換；

步驟8.利用目標(biāo)模型的頂點(diǎn)位置，更新變形圖的頂點(diǎn)(為分層姿態(tài)遷移做準(zhǔn)備)。

2.5 分層姿態(tài)遷移

為了充分學(xué)習(xí)參考模型的次級姿態(tài)，同文獻(xiàn)[6]一樣，在完成全局低頻姿態(tài)遷移后，通過觀察，找到姿態(tài)學(xué)習(xí)不充分的局部網(wǎng)格，分割得到局部子網(wǎng)格，將全局的次級姿態(tài)轉(zhuǎn)化為相對子網(wǎng)格的低頻姿態(tài)，進(jìn)行分層姿態(tài)遷移。

(a) 子網(wǎng)格變 形圖偏移(b) 偏移拼接 后變形圖(c) 分層姿態(tài) 遷移結(jié)果

對于一組子網(wǎng)格的分層姿態(tài)遷移步驟如下，其他子網(wǎng)格重復(fù)此過程，得到最終姿態(tài)遷移結(jié)果。

步驟5. 利用2.4節(jié)基于變形圖的譜姿態(tài)遷移步驟6~步驟8得到姿態(tài)遷移結(jié)果。

因此，基于變形圖的譜姿態(tài)遷移整體流程如圖6所示，在全局低頻姿態(tài)遷移后，分別對左手臂、左腳、右腳、頭部、右手臂進(jìn)行分層姿態(tài)遷移。

圖6 基于變形圖的譜姿態(tài)遷移流程

3 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)在Visual studio 2010環(huán)境下實(shí)現(xiàn)。實(shí)驗(yàn)平臺為intel Core i7-8700K 3.70 GHz，8 G內(nèi)存，Windows 10操作系統(tǒng)。數(shù)據(jù)結(jié)構(gòu)采用基于OpenMesh的半邊結(jié)構(gòu)，利用Eigen提供的求解器求解優(yōu)化函數(shù)，耦合準(zhǔn)調(diào)和基是在C++程序中調(diào)用文獻(xiàn)[5]提供的MATLAB代碼進(jìn)行計算。

實(shí)驗(yàn)結(jié)果與文獻(xiàn)[6]進(jìn)行比較；在算法效率方面，表1中列出關(guān)鍵步驟的運(yùn)行時間。根據(jù)連接關(guān)系、對象的是否相同，本文給出具有相同連接關(guān)系的同一對象的不同姿態(tài)、具有相同連接關(guān)系的不同對象、具有不同連接關(guān)系的同一對象以及不同連接關(guān)系不同對象之間的實(shí)驗(yàn)結(jié)果。

如圖7所示，變形圖7(d)的前左腿矩形區(qū)域比Cage圖7(c)的對應(yīng)區(qū)域質(zhì)量差，而由局部區(qū)域放大圖7(g)可看出姿態(tài)遷移和基于變形圖7(f)的保持細(xì)節(jié)結(jié)果比基于cage圖7(e)的保持細(xì)節(jié)更好，從而達(dá)到更好地保持幾何細(xì)節(jié)。

圖7 Cage與變形圖局部性比較

3.1 具有相同連接關(guān)系的同一對象的不同姿態(tài)

圖8中，該對象的參考姿態(tài)圖8(a)與源網(wǎng)格圖8(b)具有相同連接關(guān)系；圖8(c)為文獻(xiàn)[6]的姿態(tài)遷移結(jié)果，目標(biāo)網(wǎng)格學(xué)習(xí)參考網(wǎng)格的姿態(tài)已經(jīng)相當(dāng)充分，但是馬的右后腳的彎曲程度不夠；圖8(d)是本文結(jié)果，可以看出馬的右后腳的彎曲程度與參考姿態(tài)一致。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

3.2 具有相同連接關(guān)系的不同對象

圖9為具有相同連接關(guān)系的貓模型，圖9(a)與獅子模型圖9(b)的姿態(tài)遷移結(jié)果；圖9(c)為文獻(xiàn)[6]的姿態(tài)遷移結(jié)果，雖然目標(biāo)網(wǎng)格學(xué)習(xí)參考網(wǎng)格的姿態(tài)已經(jīng)相當(dāng)充分，但是尾巴與源網(wǎng)格比較有明顯變粗的跡象。相比之下，本文的結(jié)果圖9(d)對獅子的尾巴的細(xì)節(jié)保持更好。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

3.3 具有不同連接關(guān)系的同一個對象

對于具有不同連接關(guān)系的同一對象，圖10中，文獻(xiàn)[6]的遷移結(jié)果圖10(c)貓尾巴末端沒有學(xué)習(xí)到參考姿態(tài)圖10(a)的彎曲軌跡；圖10(d)為貓s的尾巴末端的彎曲軌跡更接近圖10(a)。

3.4 不同對象不同連接關(guān)系

對于不同對象不同連接關(guān)系一般情況，給出3個示例。

在圖11中，圖11(c)為文獻(xiàn)[6]的姿態(tài)遷移結(jié)果，兩腿的分開程度要比參考網(wǎng)格大，同時頭部扭轉(zhuǎn)程度甚于參考姿態(tài)圖11(a)。圖11(d)的結(jié)果中腿部分開程度和頭部扭轉(zhuǎn)程度與參考網(wǎng)格更接近。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

在圖12中，犰狳模型圖12(b)學(xué)習(xí)人體模型圖12(a)的姿態(tài)。相比之下，圖12(d)所示的結(jié)果較圖12(c)看起來更自然。

對于連接關(guān)系不同的2個人體模型(圖13(a)、(b))，文獻(xiàn)[6]的結(jié)果圖13(c)中兩腿的姿態(tài)學(xué)習(xí)不太充分，且左手臂局部變粗，左腳有抬起動作。圖13(d)所示結(jié)果與參考姿態(tài)更相似，且左手臂相對保持了原本粗細(xì)。

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

(a) 參考姿態(tài)(b) 源姿態(tài) (c) 文獻(xiàn)[6]結(jié)果(d) 本文結(jié)果

3.5 時間性能

為了闡述本文方法的效率，表1中列出了所有例子的耦合準(zhǔn)調(diào)和基計算、測地距離計算、姿態(tài)遷移、分層姿態(tài)遷移等關(guān)鍵步驟的時間以及參考網(wǎng)格、源網(wǎng)格及變形圖的規(guī)模。

從表1來看，與文獻(xiàn)[6]相比增加了嵌入變形編輯時間，測地距離計算耗時較多。但是嵌入變形編輯提高了目標(biāo)網(wǎng)格的質(zhì)量，減少姿態(tài)遷移次數(shù)。

表1 姿態(tài)遷移時間(s)

4 結(jié)束語

本文對文獻(xiàn)[6]提出的細(xì)節(jié)保持的譜姿態(tài)遷移算法和多層遷移框架進(jìn)行了改進(jìn)。利用變形圖作為幾何代理，嵌入變形圖編輯方法[9]表示源網(wǎng)格時具有較好的局部性，在一定程度上降低了幾何代理質(zhì)量對結(jié)果的影響；調(diào)整后的優(yōu)化式(5)在學(xué)習(xí)姿態(tài)的同時增加了細(xì)節(jié)保持能力；對子網(wǎng)格使用簡單偏移拼接，不必進(jìn)行朝向調(diào)整。

本文方法中最耗時的是測地距離的計算，在后續(xù)工作中可以利用GPU并行加速求解測地距離，以提高效率。另外，對于權(quán)重的選擇方面，除了求解能量函數(shù)所用到的兩個權(quán)重外，本文又引入了嵌入變形圖編輯算法的3個權(quán)重，所以如何更高效的選取權(quán)重也待解決。

[1] 胡事民, 楊永亮, 來煜坤. 數(shù)字幾何處理研究進(jìn)展[J]. 計算機(jī)學(xué)報, 2009, 32(8): 1451-1469.

[2] SUMNER R W, POPOVI? J. Deformation transfer for triangle meshes [J]. ACM Transactions on Graphics, 2004, 23(3): 399-405.

[3] BARAN I, VLASIC D, GRINSPUN E, et al. Semantic deformation transfer [J]. ACM Transactions on Graphics, 2009, 28(3): 36.

[4] LéVY B. Laplace-Beltrami eigenfunctions towards an algorithm that understands geometry [C]//2006 IEEE International Conference on Shape Modeling and Applications. New York: IEEE Press, 2006: 13.

[5] KOVNATSKY A, BRONSTEIN M M, BRONSTEIN A M, et al. Coupled quasi-harmonic bases [J]. Computer Graphics Forum, 2013, 32(2): 439-448.

[6] YIN M X, LI G Q, LU H N, et al. Spectral pose transfer [J]. Journal of Computer-Aidesd Design and Computer Graphics, 2015, 35-36(C): 82-94.

[7] JU T, SCHAEFER S, WARREN J. Mean value coordinates for closed triangular meshes [J]. ACM Transactions on Graphics, 2005, 24(3): 561-566.

[8] 李琳, 李桂清, 黃力慰. 等距cage生成[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2011, 23(6): 956-963.

[9] SUMNER R W, SCHMID J, PAULY M. Embedded deformation for shape manipulation [J]. ACM Transactions on Graphics, 2007, 26(3): 80.

[10] KIMMEL R, SETHIAN J A. Computing geodesic paths on manifolds [J]. Proceedings of the National Academy of Sciences, 1998, 95(15): 8431-8435.

[11] PINKALL U, POLTHIER K. Computing discrete minimal surfaces and their conjugates [J]. Experimental Mathematics, 1993, 2(1): 15-36.

[12] SORKINE O, COHEN-OR D, LIPMAN Y, et al. Laplacian surface editing [C]//2004 Eurographics/ACM SIGGRAPH Symposium on Geometry Processing. New York: ACM Press, 2004: 175-184.

[13] BOSCAINI D, EYNARD D, BRONSTEIN M M. Shape-from-operator: Recovering shapes from intrinsic operators [J]. Computer Graphics Forum, 2015, 34(2): 265-274.

[14] OVSJANIKOV M, BEN-CHEN M, SOLOMON J, et al. Functional maps: A flexible representation of maps between shapes [J]. ACM Transactions on Graphics, 2012, 31(4): 30.

[15] JI Z, LIU L, CHEN Z, et al. Easy mesh cutting [J]. Computer Graphic Forum, 2006, 25(3): 283-291.

[16] 嚴(yán)冬明, 胡楷模, 郭建偉, 等. 各向同性三角形重新網(wǎng)格化方法綜述[J]. 計算機(jī)科學(xué), 2017, 44(8): 9-17.

[17] 陳愛芬, 李桂清, 王宇攀, 等. 誤差可控的細(xì)分曲面圖像矢量化[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2017, 29 (12): 2197-2203.

[18] GARLAND M. Surface simplification using quadric error metrics [C]//ACM SIGGRAPH Computer Graphics 1997. New York: ACM Press, 1997: 209-216.

[19] 李桂清, 馬維銀, 鮑虎軍. 帶尖銳特征的Loop細(xì)分曲面擬合系統(tǒng)[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報, 2005, 17(6): 1179-1185.

[20] SEBASTIAN F G. Practical parameterization of rotations using the exponential map [J]. The Journal of Graphics Tools, 1998, 3(3): 29-48.

Spectral Pose Transfer Based on Deformation Graph

SU Peng1, YIN Meng-xiao1,2, WANG Yu-pan3, HAN Yan-ru1, YANG Feng1,2, LI Gui-qing3

(1. School of Computer Electronics and Information, Guangxi University, Nanning Guangxi 530004, China; 2. Guangxi Key Laboratory of Multimedia Communications Network Technology, Nanning Guangxi 530004, China; 3. School of Computer Science and Engineering, South China University of Technology, Guangzhou Guangdong 510006, China)

Spectral pose transfer based on deformation graph is proposed to reduce the influence of the geometry agent Cage. At the beginning, the deformation graph is obtained to optimize the quadric error metric algorithm so as to simplify the source mesh, and then the deformation graph vertices are used to represent the source mesh vertices through the geodesic distance. The source mesh vertices are forced to be identical as much as possible with the results of pose transfer based on the coupled quasi-harmonic basis, and the same time, the Laplacian coordinates of the deformation graph are kept and then the result of the low frequency pose transfer can be obtained on the basis of optimizing the related result by applying the embedded deformation algorithm. After that, the local meshes of insufficient secondary pose study are found by observation and then are divided into the sub-meshes. The secondary pose is transferred by using the low frequency pose transfer method on these sub-meshes. Experimental results show that it can reduce the influence of geometry agent to some extent, and can also effectively improve the pose transfer.

pose transfer; mesh simplification; embedded deformation; coupled quasi-harmonic bases

TP 391

10.11996/JG.j.2095-302X.2019020282

A

2095-302X(2019)02-0282-08

2018-08-31；

2018-11-04

國家自然科學(xué)基金項目(61762007)；廣西自然科學(xué)基金項目(2017GXNSFAA198269，2017GXNSFAA198267)；廣西教育廳項目(2017KY0026，KY2016YB026)；廣東省自然科學(xué)基金項目(2017A030313347)

蘇 鵬(1987-)，男，黑龍江牡丹江人，碩士研究生。主要研究方向?yàn)橛嬎銠C(jī)圖形學(xué)。E-mail：thebigapple@163.com

尹夢曉(1978-)，女，河南南陽人，副教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)橛嬎銠C(jī)圖形學(xué)、數(shù)字幾何處理。E-mail：ymx@gxu.edu.cn