融合信息熵和CNN的基于手繪的三維模型檢索

劉玉杰，宋 陽(yáng)，李宗民，李 華

?

劉玉杰1，宋 陽(yáng)1，李宗民1，李 華2,3

(1. 中國(guó)石油大學(xué)計(jì)算機(jī)與通信工程學(xué)院，山東 青島 266580； 2. 中國(guó)科學(xué)院計(jì)算技術(shù)研究所智能信息處理重點(diǎn)實(shí)驗(yàn)室，北京 100190； 3. 中國(guó)科學(xué)院大學(xué)，北京 100190)

基于手繪草圖的三維模型檢索(SBSR)已成為三維模型檢索、模式識(shí)別與計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)。與傳統(tǒng)方法相比，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的三維深度表示方法在三維模型檢索任務(wù)中性能優(yōu)勢(shì)非常明顯。本文提出了一種基于手繪圖像融合信息熵和CNN的三維模型檢索方法。首先，通過(guò)計(jì)算模型投影圖的信息熵得到模型的代表性視圖，并將代表性視圖經(jīng)過(guò)邊緣檢測(cè)等處理得到三維模型投影圖的輪廓圖像；然后，將輪廓圖像和手繪草圖輸入到CNN中提取特征描述子，并進(jìn)行特征匹配。本文方法在Shape Retrieval Contest (SHREC) 2012數(shù)據(jù)庫(kù)和SHREC 2013數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)證明，該方法的效果較其他傳統(tǒng)方法檢索準(zhǔn)確度更高。

三維模型檢索；卷積神經(jīng)網(wǎng)絡(luò)；代表性視圖；信息熵

1 相關(guān)工作

由于三維模型廣泛應(yīng)用于計(jì)算機(jī)輔助設(shè)計(jì)、機(jī)器人自動(dòng)化、自動(dòng)駕駛等領(lǐng)域，在計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的發(fā)展中，如何從數(shù)據(jù)集中準(zhǔn)確地獲取三維模型成為一個(gè)重要課題。在過(guò)去的十幾年中，許多研究者認(rèn)識(shí)到僅依靠基于關(guān)鍵字的文本檢索技術(shù)進(jìn)行檢索已不能滿(mǎn)足需要，試圖利用三維模型作為輸入從三維數(shù)據(jù)庫(kù)中檢索相似的模型。雖然三維建模技術(shù)和三維掃描設(shè)備的發(fā)展使得三維模型獲取變得容易，但過(guò)程仍然復(fù)雜。隨著觸屏手機(jī)、平板電腦等智能移動(dòng)終端的普及，手繪圖的獲取越來(lái)越容易，這也從一定程度上拓寬了基于手繪草圖的三維模型檢索(sketch-based shape retrieval，SBSR)的應(yīng)用范圍，并提高了SBSR技術(shù)在學(xué)術(shù)研究領(lǐng)域的關(guān)注度。

SBSR技術(shù)發(fā)展至今，學(xué)者們發(fā)現(xiàn)與基于模型的三維模型檢索相比，手繪草圖更容易獲得。但根據(jù)手繪草圖檢索數(shù)據(jù)庫(kù)中的三維模型是一個(gè)具有挑戰(zhàn)性的問(wèn)題，由于手繪草圖的多變性和隨機(jī)性，基于手繪草圖的三維模型檢索的現(xiàn)有方法精度普遍較低。大多數(shù)算法其目的是使三維模型或模型在某個(gè)視角與手繪草圖在特征空間上更接近，圖1為SHREC 2012數(shù)據(jù)庫(kù)中部分手繪草圖和相應(yīng)的3D模型。因?yàn)槭掷L草圖和三維模型屬于不同的域空間，兩者在高層視覺(jué)感知上有明顯的差異，這種域差異直接削弱了基于底層圖像特征設(shè)計(jì)的特征描述子的有效性，SBSR技術(shù)力求建立手繪圖像與三維模型之間相似度度量關(guān)系，所以在過(guò)往的研究中，通常的解決方法是通過(guò)投影過(guò)程將三維模型投影成二維圖像，再對(duì)投影圖像進(jìn)行邊緣檢測(cè)等處理生成輪廓圖，并將其看作是一種特殊形式的手繪圖[1]。

SBSR技術(shù)需要解決一個(gè)重要問(wèn)題即尋找具有描述力強(qiáng)而魯棒性好的特征描述子?；诓輬D的三維模型檢索方法有：基于局部特征的方法、基于全局特征的方法，基于深度特征的方法。傅立葉描述子特征[2]，Zernike moments特征[3]，Shape Context特征[4]，方向梯度直方圖(histogram of oriented gradients，HOG)特征[5]在圖像檢索、三維模型檢索領(lǐng)域中顯示了良好性能并被廣泛應(yīng)用于SBSR技術(shù)中。有研究者在圖像、三維模型檢索技術(shù)的基礎(chǔ)上，結(jié)合手繪圖的特點(diǎn)，對(duì)傳統(tǒng)特征描述子進(jìn)行改進(jìn)以實(shí)現(xiàn)基于手繪的三維模型檢索。另外，隨著深度學(xué)習(xí)(Deep Learning)的迅速發(fā)展其特征學(xué)習(xí)方法備受關(guān)注，并在學(xué)術(shù)界和工業(yè)界掀起了一股研究浪潮。Deep Learning 利用大規(guī)模訓(xùn)練數(shù)據(jù)通過(guò)深層人工神經(jīng)網(wǎng)絡(luò)的方式來(lái)學(xué)習(xí)特征，經(jīng)過(guò)多層的卷積和池化等操作后提取圖像的內(nèi)在信息。Deep Learning在二維圖像和三維模型識(shí)別領(lǐng)域得到廣泛的應(yīng)用，在手繪圖像分類(lèi)檢索領(lǐng)域也取得了很大的進(jìn)展。

圖1 數(shù)據(jù)庫(kù)中手繪草圖與其對(duì)應(yīng)的模型

文獻(xiàn)[6-7]通過(guò)提取SIFT特征并使用改進(jìn)后的詞包模型提出CDMR-BF-fGALIF+CDMR-BF- fDSIFT方法，利用流形排序的方法優(yōu)化檢索結(jié)果，取得了比較好的效果。文獻(xiàn)[8-9]提出了通過(guò)Shape Context特征的基于手繪草圖三維模型檢索方法，該算法選取了一組與手繪圖相似的模型投影圖，再對(duì)其進(jìn)行特征距離計(jì)算。文獻(xiàn)[10-12]利用HOG、Gabor Filter局部特征，并結(jié)合詞包模型實(shí)現(xiàn)檢索算法，目標(biāo)是找到模型的最佳視圖(即，手繪草圖由該視圖角度繪制)，然而，一般計(jì)算得到的最佳視圖往往和手繪草圖的角度不同。2015年WANG等[13]提出了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的Siamese網(wǎng)絡(luò)算法，前提是數(shù)據(jù)庫(kù)中三維模型均為豎直方向，取兩個(gè)間隔大于45°視圖取代計(jì)算最佳視圖的方法，并將其命名為極簡(jiǎn)視圖方法(minimalism approach)，取得了良好的效果。但隨著三維模型數(shù)據(jù)庫(kù)的模型數(shù)量不斷擴(kuò)大也給該方法帶來(lái)不確定性，使得到的極簡(jiǎn)視圖與手繪圖的繪圖角度不一定相同，而且該方法仍存在檢索精度不高的問(wèn)題。

2 基于代表性視圖和卷積神經(jīng)網(wǎng)絡(luò)的SBSR方法

本文提出了通過(guò)計(jì)算模型投影圖的熵值選取模型的代表性視圖，進(jìn)而利用CNN提取得到的三維模型與手繪草圖的特征進(jìn)行匹配，其流程如圖2所示。

2.1 數(shù)據(jù)預(yù)處理

手繪草圖的三維檢索面臨的最大挑戰(zhàn)是手繪草圖和三維模型之間的語(yǔ)義鴻溝，本文通過(guò)對(duì)三維模型數(shù)據(jù)進(jìn)行處理克服這一問(wèn)題，實(shí)現(xiàn)手繪草圖和三維模型在圖像域上的統(tǒng)一。利用文獻(xiàn)[14]中提出的方法將一個(gè)三維模型包圍在正十二面體中，在各頂點(diǎn)處進(jìn)行投影，并在每個(gè)頂點(diǎn)位置旋轉(zhuǎn)5次，此時(shí)三維模型可以由100個(gè)大小為225×225像素的深度圖像表示。本文利用Canny邊緣檢測(cè)算法對(duì)深度圖像進(jìn)行邊緣提取，不同于自然場(chǎng)景圖片，手繪圖和三維模型投影圖的背景較為純凈，經(jīng)過(guò)邊緣提取的深度圖像，在視覺(jué)上接近于手繪草圖的輪廓圖。

圖2 本文方法的流程圖

2.2 代表性視圖的選取

三維模型中最具代表性的視圖應(yīng)盡可能多地包含模型的信息，且最能幫助描述模型。換言之，代表性視圖是獲得模型最多信息的視圖。繪制手繪草圖需根據(jù)這些視圖來(lái)選擇繪制視角，而且冗余的投影圖會(huì)給檢索帶來(lái)很大地挑戰(zhàn)，利用文獻(xiàn)[13]方法嘗試解決這個(gè)問(wèn)題。該方法假設(shè)在數(shù)據(jù)庫(kù)中的三維模型均為豎直的且間隔大于45°，隨機(jī)采樣兩個(gè)視圖，并以此代表模型，但垂直方向隨機(jī)選擇的視點(diǎn)可能與手繪草圖的繪制角度不同，從而影響特征匹配的正確性。本文方法受文獻(xiàn)[15]的啟發(fā)，提出了基于視圖信息熵的三維模型視圖的度量方法。熵是對(duì)系統(tǒng)或?qū)ο蠡靵y程度的度量，即表示其平均信息含量。離散隨機(jī)變量={1,2, ···,}的熵定義為

式(1)為有個(gè)投影圖的三維模型，視圖的熵值是在視點(diǎn)為中心的方向上投影面相對(duì)面積的概率分布。因此，可將視圖的熵定義為

通過(guò)計(jì)算視圖的信息熵，解決了模型的代表性視圖選取問(wèn)題。如圖3所示，在三維模型的投影圖中，視圖的熵值越大包含的信息越多，越易分辨出模型的類(lèi)別。只選取1個(gè)代表性的視圖不能保證獲得足夠的信息。實(shí)驗(yàn)證明，選擇6個(gè)代表性視圖時(shí)，檢索的效果最佳。因此，本文選擇了6個(gè)熵值最大的視圖作為代表性視圖。

2.3 CNN特征提取

通過(guò)對(duì)手繪草圖和三維模型的數(shù)據(jù)預(yù)處理，三維模型的投影圖被轉(zhuǎn)換成與手繪圖類(lèi)似的輪廓圖像；之后的任務(wù)是提取適合SBSR并且具有高描述力的描述特征。本文利用CNN提取特征，采用經(jīng)典的深度網(wǎng)絡(luò)框架AlexNet[16]，AlexNet是通過(guò)ILSVRC 2012 Image Net數(shù)據(jù)集訓(xùn)練的。此數(shù)據(jù)集由1 300萬(wàn)個(gè)數(shù)據(jù)組成，利用深度神經(jīng)網(wǎng)絡(luò)提取特征的方法，主要包括：

圖3 三維模型不同視圖的熵值

步驟1.對(duì)AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進(jìn)行修改；

步驟2.輸出網(wǎng)絡(luò)的全連接層作為輸入對(duì)象的特征。

AlexNet在二維圖像領(lǐng)域是一個(gè)可靠的CNN。然而，與AlexNet龐大的二維圖像訓(xùn)練集不同，手繪草圖數(shù)據(jù)有其自身的特點(diǎn)，比如背景純凈，以線(xiàn)條為主。步驟1中，以SHREC 2013數(shù)據(jù)庫(kù)中的訓(xùn)練集對(duì)深度CNN進(jìn)行微調(diào)。本文中，考慮到Sketch-a-Net[17]在手繪草圖像領(lǐng)域的優(yōu)勢(shì)，借鑒其網(wǎng)絡(luò)設(shè)計(jì)方法，修改Alexnet結(jié)構(gòu)。CNN成功地使用了極小的3×3濾波器，相比文獻(xiàn)[17]發(fā)現(xiàn)較大的濾波器更適合手繪草圖的處理。第一卷積層的參數(shù)可能是最敏感的，因此，在第一個(gè)卷積層中，使用大小為15×15的濾波器取代原有的11×11的濾波器，在之后的卷積層中，均使用大小為3×3的濾波器，本文選擇最后一個(gè)連接層7作為輸入對(duì)象的特征。表1展示了修改后的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)；基于深度神經(jīng)網(wǎng)絡(luò)的手繪草圖和模型投影圖的特征匹配過(guò)程如圖4所示。

表1 修改后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)

圖4 基于深度神經(jīng)網(wǎng)絡(luò)框架的手繪草圖和模型投影圖的特征匹配

2.4 相似度度量

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文所提出方法的有效性，分別在SHREC 2012和SHREC 2013兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)并評(píng)估檢索的性能。

SHREC 2012數(shù)據(jù)集包含基礎(chǔ)版和擴(kuò)展版兩個(gè)版本，分20類(lèi)，每類(lèi)有20個(gè)模型，共計(jì)400個(gè)模型。在實(shí)驗(yàn)中，使用的是基礎(chǔ)版本數(shù)據(jù)集，其包括手繪圖和三維模型兩部分，手繪草圖分為13個(gè)類(lèi)，共有250幅圖像。三維模型分為13個(gè)類(lèi)，每類(lèi)20個(gè)模型。

SHREC 2013是基于大規(guī)模手繪草圖的三維模型數(shù)據(jù)庫(kù)。該數(shù)據(jù)集中包含1 258個(gè)三維模型和7 200個(gè)手繪草圖，分為90個(gè)類(lèi)。在每個(gè)手繪草圖類(lèi)中，50個(gè)草圖用于訓(xùn)練，其余30個(gè)草圖用于測(cè)試。值得注意的是，其是一個(gè)類(lèi)間模型數(shù)量非常不平衡的數(shù)據(jù)集。在不同的模型類(lèi)中模型的數(shù)量變化很大，這對(duì)實(shí)驗(yàn)結(jié)果造成了很大的挑戰(zhàn)。例如，airplane類(lèi)有184個(gè)模型，axe類(lèi)只有4個(gè)模型。評(píng)價(jià)過(guò)程中，本文采用三維檢索領(lǐng)域基本的評(píng)價(jià)指標(biāo)Nearest Neighbor (NN)、First Tier (FT)、Second Tier (ST)、E-Measure (E)、Discounted Cumulated Gain (DCG)、mean Average Precision (mAP)和Precision- Recall (P-R)曲線(xiàn)圖。其中，NN表示返回的第一個(gè)模型屬于目標(biāo)類(lèi)的比例，F(xiàn)T表示返回的前C–1 (C為目標(biāo)類(lèi)模型的數(shù)量)個(gè)模型屬于目標(biāo)類(lèi)的比例，ST表示返回的前2 (C–1)個(gè)模型屬于目標(biāo)類(lèi)的比例，E、DCG是綜合查全率和查準(zhǔn)率的指標(biāo)，mAP反映平均檢索精度，P-R曲線(xiàn)圖則能體現(xiàn)總體檢索效率。

3.2 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

本文在SHREC 2012和SHREC 2013兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)與幾種傳統(tǒng)經(jīng)典方法進(jìn)行對(duì)比。其在Caffe框架下實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的修改及微調(diào)，訓(xùn)練過(guò)程在GeForce GTX TITAN GPU上完成，用Caffe的MATLAB接口實(shí)現(xiàn)輸出全連接層作為輸入對(duì)象的特征。

選取不同數(shù)量的代表性視圖對(duì)檢索結(jié)果有著很大的影響，代表性視圖選取得過(guò)少對(duì)模型的描述將不夠完整，選取得過(guò)多會(huì)產(chǎn)生許多有歧義性的投影圖，很難分辨出物體。圖5是在SHREC 2012數(shù)據(jù)集上完成。實(shí)驗(yàn)結(jié)果表明，選取6個(gè)代表性視圖時(shí)，平均mAP值達(dá)到最高點(diǎn)，之后基本保持平穩(wěn)，所以本文采用6個(gè)熵值最大的投影圖來(lái)描述。另外，為了驗(yàn)證熵值最大的方式選取代表性視圖的合理性，在SHREC 2013數(shù)據(jù)集上進(jìn)行了前6個(gè)熵值最大值、前6個(gè)熵值最小值、隨機(jī)選取6個(gè)視圖對(duì)比實(shí)驗(yàn)。圖6為以不同方式選取代表性視圖在檢索實(shí)驗(yàn)中得到的PR曲線(xiàn)，實(shí)驗(yàn)證明選取熵值最大的6個(gè)視圖時(shí)，檢索精度最高。

圖5 在SHREC 2013數(shù)據(jù)庫(kù)上選取不同數(shù)量的代表性視圖對(duì)檢索精度的影響

圖6 以不同方式選取代表性視圖的PR曲線(xiàn)結(jié)果對(duì)比

本文以特征向量之間的歐氏距離作為代表性視圖與手繪草圖的相似度度量方式，CNN的全連接層作為輸入數(shù)據(jù)的特征，與其他幾種經(jīng)典的方法進(jìn)行對(duì)比，SHREC 2012數(shù)據(jù)集中的部分檢索結(jié)果如圖7所示，本文方法在形狀比較簡(jiǎn)單的圖像上檢索精度較高(如圖7第2、7行)，且在一些歧義比較大的手繪圖像，出現(xiàn)部分誤檢(如圖7第3、6行)，誤檢結(jié)果在檢索列表中用方框標(biāo)出。這些誤檢結(jié)果的出現(xiàn)主要是因?yàn)槭掷L草圖的自身歧義性造成的，比如蜘蛛、章魚(yú)、螞蟻在手繪圖像表達(dá)上區(qū)分度較小。在該數(shù)據(jù)集實(shí)驗(yàn)中，本文的方法與傳統(tǒng)的特征進(jìn)行了對(duì)比，其中，利用SIFT特征描述三維模型和手繪圖像的方法結(jié)果表現(xiàn)較好，直接使用 HOG特征表達(dá)力較弱，從表2中可以看出，本文方法的各項(xiàng)指標(biāo)均優(yōu)于其他方法。其中NN評(píng)價(jià)標(biāo)準(zhǔn)比傳統(tǒng)特征中表現(xiàn)最好的方法提升了12.5%，并且在FT、ST等指標(biāo)上都有顯著提高。

在SHREC 2013數(shù)據(jù)集中，本文方法與幾種經(jīng)典方法進(jìn)行對(duì)比，見(jiàn)表3。圖8是本文與其他方法在PR曲線(xiàn)上的比較，實(shí)驗(yàn)結(jié)果顯示，本文的方法優(yōu)于其他方法。由于SHREC 2013數(shù)據(jù)庫(kù)屬于較大規(guī)模的基于手繪草圖的三維模型數(shù)據(jù)庫(kù)，模型數(shù)量的增加和手繪圖的多變性，致使現(xiàn)有的方法在該數(shù)據(jù)庫(kù)上的檢索精度均不理想。另一個(gè)重要的原因是該數(shù)據(jù)庫(kù)各類(lèi)中的三維模型數(shù)量相差很大且及不平衡，如：airplane有184個(gè)模型，而bed僅有4個(gè)模型，模型數(shù)量太少，會(huì)極大影響檢索的查全率和查準(zhǔn)率。

表2 在SHREC 2012數(shù)據(jù)庫(kù)中各方法檢索結(jié)果對(duì)比

圖7 本文方法在SHREC 2012數(shù)據(jù)庫(kù)上的部分檢索結(jié)果(框內(nèi)的模型是誤檢模型)

表3 在SHREC 2013數(shù)據(jù)庫(kù)中各方法檢索結(jié)果對(duì)比

針對(duì)以上提出的SHREC 2013數(shù)據(jù)庫(kù)中各類(lèi)模型數(shù)量不平衡的問(wèn)題，本文評(píng)估了該數(shù)據(jù)庫(kù)中類(lèi)間模型數(shù)量的不齊對(duì)實(shí)驗(yàn)精度的影響，在實(shí)驗(yàn)中，選取了該數(shù)據(jù)庫(kù)中的9類(lèi)數(shù)據(jù)以3項(xiàng)指標(biāo)對(duì)其進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果見(jiàn)表4，可以看出，模型數(shù)量較多的模型類(lèi)3項(xiàng)指標(biāo)精度高于模型數(shù)量較少的類(lèi)。由此可見(jiàn)，模型數(shù)量少的類(lèi)對(duì)精度影響較大，尤其是FT、ST評(píng)價(jià)指標(biāo)。

圖8 本文方法在SHREC 2013數(shù)據(jù)庫(kù)上與其他方法比較的PR曲線(xiàn)

表4 SHREC 2013數(shù)據(jù)庫(kù)中部分類(lèi)的檢索結(jié)果對(duì)比

4 結(jié)束語(yǔ)

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，圖像獲取變得越來(lái)越簡(jiǎn)單，獲取方式變得越來(lái)越多樣化?；谑掷L草圖的多媒體檢索技術(shù)受到了廣泛的關(guān)注。本文針對(duì)手繪草圖與三維模型之間存在的語(yǔ)義差異，提出了一種基于熵值計(jì)算對(duì)三維投影獲得的輪廓視圖選取代表性視圖，進(jìn)而利用CNN提取特征進(jìn)行相似性匹配。在SHREC 2012和SHREC 2013兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上對(duì)本文方法進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果證明相同評(píng)價(jià)標(biāo)準(zhǔn)下本文方法在檢索精度上高于其他算法。進(jìn)一步研究發(fā)現(xiàn)，現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)對(duì)手繪草圖這一類(lèi)特殊圖像的描述力不足，在SHREC 2013這種具有挑戰(zhàn)性的數(shù)據(jù)庫(kù)中的檢索精度還是較低。下一步工作將主要研究基于深度神經(jīng)網(wǎng)絡(luò)的手繪草圖特征提取問(wèn)題。

[1] LI B, LU Y, GODIL A, et al. A comparison of methods for sketch-based 3D shape retrieval [J]. Computer Vision & Image Understanding, 2014, 119(2): 57-80.

[2] ZHANG D, LU G. A comparative study of Fourier descriptors for shape representation and retrieval [C]// Proceedings of 5th Asian Conference on Computer Vision (ACCV). Berlin: Springer, 2002: 646-651.

[3] KHOTANZAD A, HONG Y H. Invariant image recognition by zernike moments [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 12(5): 489-497.

[4] LI B, LU Y, JOHAN H. Sketch-based 3D model retrieval by viewpoint entropy-based adaptive view clustering [C]//Eurographics Workshop on 3D Object Retrieval. New York: ACM Press, 2013: 49-56.

[5] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]//Computer Vision and Pattern Recognition (CVPR), 2005. New York: IEEE Press, 2005: 886-893.

[6] LI B, SCHRECK T, GODIL A, et al. SHREC’12 track: sketch-based 3D shape retrieval [C]//Eurographics Conference on 3D Object Retrieval. New York: ACM Press, 2012: 109-118.

[7] FURUYA T, OHBUCHI R. Dense sampling and fast encoding for 3D model retrieval using bag-of-visual features [C]//ACM International Conference on Image and Video Retrieval. New York: ACM Press, 2009: 26.

[8] LI B, JOHAN H. Sketch-based 3D model retrieval by incorporating 2D-3D alignment [J]. Multimedia Tools & Applications, 2013, 65(3): 363-385.

[9] LI B, LU Y, GODIL A, et al. SHREC’13 track: large scale sketch-based 3D shape retrieval [C]// Eurographics Workshop on 3D Object Retrieval. New York: ACM Press, 2013: 89-96.

[10] EITZ M, HILDEBRAND K, BOUBEKEUR T, et al. Sketch-based 3D shape retrieval [C]//SIGGRAPH 2010. New York: ACM Press, 2010: 5.

[11] EITZ M, HILDEBRAND K, BOUBEKEUR T, et al. Sketch-based image retrieval: benchmark and bag-of-features descriptors [J]. IEEE Transactions on Visualization & Computer Graphics, 2011, 17(11): 1624-1636.

[12] EITZ M, RICHTER R, BOUBEKEUR T, et al. Sketch-based shape retrieval [J]. Acm Transactions on Graphics, 2012, 31(4): 1-10.

[13] WANG F, KANG L, LI Y. Sketch-based 3D shape retrieval using convolutional neural networks [C]//Computer Vision and Pattern Recognition (CVPR), 2015. New York: IEEE Press, 2015: 1875-1883.

[14] CHEN D Y, TIAN X P, SHEN Y T, et al. On visual similarity based 3D model retrieval [C]//Computer Graphics Forum. Oxford: Blackwell Publishing, Inc, CiNii, 2003: 223-232.

[15] FEIXAS M, SBERT M, HEIDRICH W. Viewpoint selection using viewpoint entropy [C]//Vision Modeling and Visualization Conference. New York: ACM Press, 2001: 273-280.

[16] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]//International Conference on Neural Information Processing Systems. New York: ACM Press, 2012: 1097-1105.

[17] YU Q, YANG Y, LIU F, et al. Sketch-a-Net: a deep neural network that beats humans [J]. International Journal of Computer Vision, 2017, 122(3): 411-425.

[18] UIJLINGS J R, SANDE K E, GEVERS T, et al. Selective search for object recognition [J]. International Journal of Computer Vision, 2013, 104(2): 154-171.

Sketch-Based 3D Shape Retrieval with Representative View and Convolutional Neural Network

LIU Yujie1, SONG Yang1, LI Zongmin1, LI Hua2,3

(1. College of Computer & Communication Engineering, China University of Petroleum, Qingdao Shandong 266580, China; 2. Key Laboratory of Intelligent Information Processing, Institute of Computing Technology Chinese Academy of Sciences, Beijing 100190, China; 3. University of Chinese Academy of Sciences, Beijing 100190, China)

Sketch-based shape retrieval (SBSR) has become a hot research spot in the field of model retrieval, pattern recognition, and computer vision. 3D deep representation based on convolutional neural network (CNN) enables significant performance improvement over state-of-the-arts in task of 3D shape retrieval. Motivated by this, in this paper a sketch-based 3D model retrieval algorithm by utilizing entropy representative views and CNN feature matching is proposed. The representative views are obtained by viewpoint entropy. And the representative views are processed by edge detection to get the contour image of 3D model projection. The CNN descriptors extracted as features for representative view of each object. And the method of feature matching is based on CNN descriptors. Our experiments on Shape Retrieval Contest (SHREC) 2012 database and SHREC 2013 database demonstrate that our method is better than state-of-the-art approaches.

3D shape retrieval; convolutional neural network; representative view; entropy

TP 391

10.11996/JG.j.2095-302X.2018040735

A

2095-302X(2018)04-0735-07

2017-11-09；

2018-01-23

國(guó)家自然科學(xué)基金項(xiàng)目(61379106，61379082，61227802)；山東省自然科學(xué)基金項(xiàng)目(ZR2013FM036，ZR2015FM011)

劉玉杰(1971-)，男，遼寧沈陽(yáng)人，副教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形圖像處理、多媒體數(shù)據(jù)分析、多媒體數(shù)據(jù)庫(kù)。 E-mail：50312700@qq.com

李宗民(1965-)，男，山東聊城人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、圖像處理、科學(xué)計(jì)算可視化。 E-mail：lizongmin@upc.edu.cn