融合形狀與語義相關(guān)性的三維模型標(biāo)注方法

韓 麗，朱永玲

（遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，遼寧 大連116029）

0 引 言

隨著三維模型的大量生產(chǎn)及廣泛應(yīng)用，如何高效的進(jìn)行三維模型的語義檢索備受關(guān)注。而高效的模型語義檢索的一個(gè)重要前提就是提高模型語義標(biāo)注的準(zhǔn)確性。傳統(tǒng)的語義標(biāo)注方法一般分為以下兩種：一是基于模型分割的語義標(biāo)注方法。文獻(xiàn) ［1］通過模型的組合特性將模型分解為相應(yīng)的部分，其分解方法只對(duì)CAD 模型有效。文獻(xiàn) ［2］采用的分割方法是一種理想狀態(tài)下的分割方法，并不能完成實(shí)際的分割過程。二是基于模型整體的語義標(biāo)注方法。文獻(xiàn) ［3］使用了概率統(tǒng)計(jì)的方法，由于沒有考慮語義詞匯之間的相似性，所以標(biāo)注效果并不理想。文獻(xiàn) ［4，5］都使用了用戶反饋，而用戶反饋中的消極反饋是難以控制和把握的。文獻(xiàn) ［6，7］在模型檢索過程中都使用了將模型進(jìn)行投影轉(zhuǎn)化為圖像的方法，此方法會(huì)使模型丟失一些細(xì)節(jié)信息。文獻(xiàn) ［8］所使用的標(biāo)注方法的速度和效率都要受到模型的定點(diǎn)數(shù)目和三角面片數(shù)目的影響。文獻(xiàn) ［9］由于互聯(lián)網(wǎng)中信息的精確性無法保障，所以標(biāo)注結(jié)果也不理想。本文以更加適合三維模型組織方式的整體語義標(biāo)注方法展開研究。在文獻(xiàn) ［7］提出的模型語義標(biāo)注方法的基礎(chǔ)上進(jìn)行了改進(jìn)，首先，在模型匹配過程中引入了骨架結(jié)構(gòu)特征和幾何細(xì)節(jié)特征進(jìn)行模型的形狀匹配；然后，在語義標(biāo)注過程中，本文提出了一種新的相關(guān)基數(shù)度量算法，以相關(guān)基數(shù)作為衡量待標(biāo)注模型與語義詞匯相關(guān)性的主要標(biāo)準(zhǔn)，從而精確最終的模型語義，為三維模型的語義檢索奠定基礎(chǔ)。

1 融合形狀與語義相關(guān)性的模型語義標(biāo)注方法

1.1 模型語義標(biāo)注流程

在三維模型檢索過程中，檢索出的結(jié)果模型與待匹配的模型間具有一定的相關(guān)性，這種相關(guān)是具有傳遞性的［10］。本文在傳統(tǒng)的三維模型語義標(biāo)注方法的基礎(chǔ)上，加入了模型語義相關(guān)基數(shù)度量算法并改進(jìn)了模型匹配方法，提出了一種融合形狀與語義相關(guān)性的三維模型語義標(biāo)注方法。具體的過程如圖1所示。

（1）建立三維模型樣本庫(kù)。模型樣本庫(kù)表述著模型與語義間的對(duì)應(yīng)關(guān)系，其樣本模型的標(biāo)注質(zhì)量對(duì)整個(gè)三維模型語義標(biāo)注效果影響極大。本文以以下5個(gè)標(biāo)準(zhǔn)［6］來衡量樣本庫(kù)的質(zhì)量：規(guī)模性、多樣性、均衡性、準(zhǔn)確性、擴(kuò)展性。

（2）形狀及語義匹配。首先，通過構(gòu)建模型的拓?fù)浣Y(jié)構(gòu)樹并融合局部突起的幾何細(xì)節(jié)特征進(jìn)行模型形狀相似性匹配［11］。模型相似度記為Sim形狀，篩選出形狀相似的模型集合及其對(duì)應(yīng)的語義集W1。其次，通過WORDNET 語義網(wǎng)，利用IS－A 關(guān)系計(jì)算W1的語義相似度。篩選出語義相似的集合W2。再次，計(jì)算待標(biāo)注三維模型的形狀與語義集合W2的相似度，篩選后的結(jié)果詞匯組成語義集合W3。

（3）模型語義相關(guān)度量。待標(biāo)注模型與樣本模型相關(guān)，所以，待標(biāo)注模型與樣本詞匯具有相關(guān)性。集合W1與待標(biāo)注模型存在直接語義相關(guān)性，設(shè)直接語義相關(guān)次數(shù)記為SemⅠ。本文引入了相關(guān)基數(shù)并以相關(guān)基數(shù)作為影響最終語義的因素之一，根據(jù)Sim形狀和SemⅠ計(jì)算出第一次篩選后所得模型的語義相關(guān)基數(shù)，篩選出詞匯集合W4。

（4）語義自動(dòng)標(biāo)注。對(duì)W3和W4求交集，確定最終的待標(biāo)注三維模型的語義。

1.2 模型語義標(biāo)注算法

1.2.1 基于拓?fù)渑c幾何特征的形狀匹配

通過對(duì)三維模型增加體現(xiàn)視覺突起和分支的關(guān)節(jié)特征點(diǎn)，有效地優(yōu)化三維模型的拓?fù)浣Y(jié)構(gòu)，構(gòu)建模型的拓?fù)浣Y(jié)構(gòu)樹，并融合局部突起的幾何特征，來共同度量?jī)蓚€(gè)模型的相似性，由此推理得到的兩模型的拓?fù)湎嗨菩院蛶缀涡螤钕嗨菩缘亩x［11］見式 （1）

其中，SimTf（S，R）為待匹配的模型S 和R 的拓?fù)湎嗨贫?，wi為模型在第i 層骨架層上所對(duì)應(yīng)的權(quán)值。因?yàn)槟Ｐ偷墓羌芄?jié)點(diǎn)具有由內(nèi)部向外部發(fā)散分布的特點(diǎn)，邊緣部分對(duì)模型的影響度最小，因此，骨架層由內(nèi)向外的權(quán)值逐漸減小。K 為模型骨架層的最高層數(shù)。p 和q 分別為模型S和R 在第i層骨架層上的骨架節(jié)點(diǎn)。Tf和Gf分別為模型的拓?fù)涮卣髋c幾何特征提取函數(shù)。D 為兩模型對(duì)應(yīng)骨架層的相差度。

由此，兩個(gè)模型的整體形狀相似度定義為式 （2）

wT和wG分別決定著拓?fù)涮卣骱蛶缀翁卣鲗?duì)模型的影響程度。

根據(jù)上面式 （2）計(jì)算出待標(biāo)注模型Ma和樣本庫(kù)中的模型Mi的整體形狀相似度值Sim形狀（Ma，Mi）。按照相似度值的大小對(duì)樣本庫(kù)中的模型進(jìn)行排序，挑選相似度值大于等于閾值τ1的前n個(gè)模型，即

提取滿足條件的樣本模型的語義詞匯，構(gòu)建語義集合如下

為了驗(yàn)證該方法的有效性，引入了一個(gè)實(shí)例，待標(biāo)注模型如圖2所示，匹配結(jié)果如表1所示。此外，經(jīng)過多次實(shí)驗(yàn)，在權(quán)衡標(biāo)注效果后將全文所涉及到的所有參數(shù)設(shè)定如下，此后不再贅述。在模型匹配過程中劃分的區(qū)域個(gè)數(shù)M＝6，wT＝0.6，wG＝0.4，τ1＝0.60，τ2＝0.60，τ3＝0.79，τ4＝0.550，η＝0.6，δ＝0.4。

1.2.2 模型語義相似性計(jì)算

計(jì)算模型的語義相似度［5］，首先計(jì)算詞匯w 的ic（information content）信息量值，定義信息量公式為式 （5）

圖2 待標(biāo)注模型及其骨架結(jié)構(gòu)

其中，maxwn為分類中概念的最大數(shù)目，hypo（w）為詞匯w 的下位詞匯數(shù)目。

通過詞匯的信息量值計(jì)算語義相似度，其計(jì)算公式為

其中，simres（wi，wj）＝maxicres（w），wi∈W，wj∈S，W，S 是兩個(gè)不同的同義詞集。然后進(jìn)行第二次篩選，確定閾值為τ2，令Sim語義（wi，wj）≥τ2，wi和wj屬于語義集合W1，將結(jié)果詞匯集定義如下

其中，k1為結(jié)果詞匯集W2中語義詞匯的數(shù)量。

通過式 （5）－式 （7）對(duì)表1中滿足條件的樣本模型的語義進(jìn)行相似性計(jì)算并篩選，不滿足條件的詞匯為airplane，snake，loach，故排除，符合要求的詞匯集合W2＝｛fish，whale，shark，dolphin，goldfish｝。

近下來，對(duì)待標(biāo)注的三維模型Ma和W2語義集進(jìn)行相似性度量

其中，wi∈W2，Mi是wi所對(duì)應(yīng)的樣本模型，max（Sim形狀（Ma，Mt））為待標(biāo)注模型和樣本庫(kù)中模型形狀相似度最大值，ss（wi）表示在語義集中相似詞匯出現(xiàn)的概率值，其定義如下

進(jìn)行第三次篩選，確定閾值τ3，滿足條件的詞匯集合為

其中，k2為W3中滿足條件的詞匯數(shù)量。

通過式 （8）－式 （10）計(jì)算實(shí)例中W2的相似詞匯出現(xiàn)的概率值及其與待標(biāo)注模型間的形狀相似度值并進(jìn)行篩選，結(jié)果見表2，則滿足條件的詞匯集合W3＝ ｛fish，shark，dolphin｝。

表2 相似詞匯出現(xiàn)的頻率值與詞匯模型間的相似度值

1.2.3 基于傳遞性的模型語義相關(guān)度量

設(shè)模型Mk出現(xiàn)在第i 次檢索結(jié)果中，即Vki＝1，則Mk和目標(biāo)模型即本文提到的待標(biāo)注模型Ma之間存在著較強(qiáng)的直接語義相關(guān)性，將L 次檢索結(jié)果中Mk和Ma之間的直接語義相關(guān)次數(shù)記為SemⅠ（Mk，Ma）［10］。由相關(guān)傳遞原理推出，L 次檢索結(jié)果中結(jié)果詞匯和待標(biāo)注模型之間同樣具有直接語義相關(guān)性，直接語義相關(guān)次數(shù)記為SemⅠ（wi，Ma）。

計(jì)算第一步 （即1.2.1）中模型形狀匹配后的結(jié)果語義詞匯集W1中的詞匯與待標(biāo)注模型之間的直接語義相關(guān)次數(shù)SemⅠ（wi，Ma），i∈ ［1，n］。據(jù)此，相關(guān)基數(shù)μ 定義如下

其中，MAX （Sim形狀（Ma，Mi））是經(jīng)過形狀匹配后的樣本詞匯所對(duì)應(yīng)的樣本模型中與待標(biāo)注模型相似度最大值，例如表1中樣本詞匯whale所對(duì)應(yīng)的樣本模型與待標(biāo)注模型的相似度值有兩個(gè)，分別為0.93和0.86，在這里我們?nèi)∑渥畲笾?.93。N 是詞匯總數(shù)目，公式SemI（wi，Ma）／N 的目的是將相關(guān)次數(shù)對(duì)相關(guān)基數(shù)的影響程度縮小在區(qū)間［0，1］之中，例如表1中詞匯fish與待標(biāo)注模型的相關(guān)次數(shù)為5，樣本詞匯總數(shù)為13，則SemI（wi，Ma）／N＝5／13。η和δ分別表示模型相似度和語義相關(guān)次數(shù)對(duì)相關(guān)基數(shù)的影響程度。進(jìn)行第四次篩選，確定閾值τ4，則滿足條件的詞匯集合為

其中，k3為W4中詞匯數(shù)量。

我們通過式 （11）、式 （12）對(duì)表1中滿足條件的模型進(jìn)行計(jì)算并篩選，結(jié)果見表3，得到滿足條件的語義集合W4＝ ｛fish，whale，shark｝。

表3 詞匯的語義相關(guān)基數(shù)值

1.2.4 確定最終待標(biāo)注模型的語義

其中，p 為最終語義的數(shù)量。

因此，我們之前引入的實(shí)例模型的最終語義為W5＝

｛fish，shark｝。

2 實(shí)驗(yàn)結(jié)果及分析

本次仿真實(shí)驗(yàn)的平臺(tái)是在VC＋＋6.0 與OpenGL 的環(huán)境下進(jìn)行的。在整個(gè)實(shí)驗(yàn)過程當(dāng)中，共使用了150 個(gè)三維模型，根據(jù)人工標(biāo)注的百分比設(shè)定模型樣本庫(kù)的規(guī)模。

在模型匹配中所使用的是通過構(gòu)建模型的拓?fù)浣Y(jié)構(gòu)樹，并融合局部突起的幾何特征所提出的基于骨架結(jié)構(gòu)和幾何細(xì)節(jié)的模型相似性匹配算法。為了驗(yàn)證該匹配算法的有效性和準(zhǔn)確性，使用了查全率和查準(zhǔn)率兩個(gè)概念來與傳統(tǒng)的拓?fù)錂z索方法進(jìn)行比較。其中查全率定義為正確檢索的相關(guān)模型與用到的所有相關(guān)模型的比值，查準(zhǔn)率定義為正確檢索的相關(guān)模型與檢索返回模型之間的比值，具體見如下公式

圖3是實(shí)驗(yàn)中基于骨架結(jié)構(gòu)和幾何細(xì)節(jié)的模型形狀相似性匹配算法與傳統(tǒng)的拓?fù)錂z索方法在查全率和查準(zhǔn)率兩個(gè)方面的比較結(jié)果，從圖3中可以很清晰的看出，基于骨架結(jié)構(gòu)和幾何細(xì)節(jié)的模型形狀相似性匹配算法與傳統(tǒng)的拓?fù)錂z索方法相比，在查全率和查準(zhǔn)率方面有非常明顯的提高，這充分表明了該方法具有非常高的有效性和準(zhǔn)確性，同時(shí)也為下一步的模型語義標(biāo)注打下良好的基礎(chǔ)。

圖3 在模型匹配過程中本文方法與原始方法在查全率和查準(zhǔn)率方面的比較結(jié)果

圖4是文中提出的基于相關(guān)傳遞性的模型語義標(biāo)注方法與傳統(tǒng)語義標(biāo)注方法［7］效果對(duì)比圖。從圖4中可以看出當(dāng)人工標(biāo)注百分比一定時(shí)，基于相關(guān)傳遞性的模型語義標(biāo)注方法的準(zhǔn)確率高于傳統(tǒng)標(biāo)注方法的準(zhǔn)確率。當(dāng)人工標(biāo)注百分比發(fā)生改變時(shí)，相同標(biāo)注百分比的情況下，基于相關(guān)傳遞性的模型語義標(biāo)注方法的準(zhǔn)確率始終高于傳統(tǒng)方法的準(zhǔn)確率，表明基于相關(guān)傳遞性的模型語義標(biāo)注方法具有較高魯棒性。

圖4 本文自動(dòng)語義標(biāo)注方法與傳統(tǒng)方法的比較結(jié)果

3 結(jié)束語

本文提出了一種融合形狀與語義相關(guān)性的三維模型標(biāo)注方法。首先，結(jié)合模型的骨架結(jié)構(gòu)特征與幾何細(xì)節(jié)特征匹配出形狀相似的模型，計(jì)算出樣本詞匯中的相似詞匯并提取出其中與待標(biāo)注模型相似程度較高的詞匯，組成一個(gè)詞匯集；然后，通過模型詞匯的相關(guān)傳遞原理計(jì)算出模型語義間的相關(guān)基數(shù)，確定樣本詞匯中相關(guān)程度較高的詞匯，組成第二個(gè)詞匯集；最后，結(jié)合兩個(gè)詞匯集確定待標(biāo)注模型的語義。通過對(duì)三維模型自動(dòng)語義標(biāo)注的準(zhǔn)確性實(shí)驗(yàn)，有效的驗(yàn)證本文提出方法的準(zhǔn)確性與魯棒性。

［1］Symonova O，Dao M S，Ucelli G，et al.Ontology based shape annotation and retrieval［C］／／Proc of the ECAI，2006.

［2］Linxweiler J，Tolke J，Krafczyk M.Part－based annotation of virtual 3Dshapes ［C］／／International Conference on IEEE，2007：427－436.

［3］Goldfeder C，Allen P.Autotagging to improve text search for 3D models［C］／／Proceedings of the 8th ACM／IEEE－CS Joint Conference on Digital Libraries，2008：355－358.

［4］Lu T，Huang S，Wu P，et al.Research on semantic annotation and retrival of 3D models based on user feedback ［R］.China Zhejiang Province Ningbo CityNew Century Grand Hotel Ningbo：Chinese Academy of Sciences Institute of Computing Technology，2010.

［5］HUANG Wen.Semantic annotation system design and implementation of 3D model［D］.Xi'an：Northwestern University，2011 （in Chinese）.［黃文.三維模型語義標(biāo)注系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) ［D］.西安：西北大學(xué)，2011.］

［6］Shaobo Y.Retrieval and semantic tagging technology research of the 3Dmodel based on the visual image［D］.Xi'an：Northwest University，2010 （in Chinese）.［楊少博.基于視覺圖像的三維模型檢索與語義標(biāo)注技術(shù)研究［D］.西安：西北大學(xué)，2010.］

［7］FAN Yachun，ZHOU Mingquan，SONG Yi，et al.3D models semantic annotation method combined with feature of depth and label information ［J］.Journal of Computer Applications and Software，2011，28（11）：40－44 （in Chinese）.［樊亞春，周明全，宋毅，等.結(jié)合深度特征和信息量的三維模型標(biāo)注方法［J］.計(jì)算機(jī)應(yīng)用與軟件，2011，28 （11）：40－44.］

［8］WANG Xiaofeng，ZHOU Pengbo，GENG Guohua，et al.Automatic semantic annotation technology research of 3D model［OL］.Journal of China Scientific Papers Online，http：／／www.paper.edu.cn／releasepaper／content／201202－653（in Chinese）.［王小鳳，周蓬勃，耿國(guó)華，等.三維模型自動(dòng)語義標(biāo)注技術(shù)研究［OL］.中國(guó)科技論文在線，http：／／www.paper.edu.cn／releasepaper／content／201202－653.］

［9］TIAN Feng，SHEN Xukun，LIU Xianmei，et al.3Dmodel semantic automatic annotation based on weak label［J］.Journal of System Simulation，2012，24（9）：1873－1876 （in Chinese）.［田楓，沈旭昆，劉賢梅，等.一種基于弱標(biāo)簽的三維模型語義自動(dòng)標(biāo)注方法［J］.系統(tǒng)仿真學(xué)報(bào)，2012，24 （9）：1873－1876.］

［10］WANG Xinying，LV Tianyang，WANG Zhengxuan.Classification and annotation of 3Dmodels based on semantic relationship ［OL］.Journal of Chinese Scientific Papers Online，http：／／www.paper.edu.cn／releasepaper／content／2009（in Chinese）.［王新穎，呂天陽，王鉦旋.基于語義相關(guān)性的三維模型分類及標(biāo)注 ［OL］.中國(guó)科技論文在線，http：／／www.paper.edu.cn／releasepaper／content／2009.］

［11］HAN Li，ZHANG Lina，CHU Bingzhi.3D model retrieval based on MRG skeleton tree ［J］.Computer Engineering and Applications，2011，47 （31）：167－170 （in Chinese）.［韓麗，張黎娜，楚秉智.一種MRG 骨架樹的三維模型檢索算法［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47 （31）：167－170.］