形狀的全尺度可視化表示與識(shí)別

閔睿朋，李一凡，黃瑤，楊劍宇*，鐘寶江

1.蘇州大學(xué)軌道交通學(xué)院, 蘇州 215100； 2.蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 蘇州 215100

0 引 言

視覺目標(biāo)的形狀是分析和理解該目標(biāo)的重要依據(jù)，在目標(biāo)識(shí)別、目標(biāo)跟蹤、圖像檢索和醫(yī)學(xué)影響分析等領(lǐng)域具有廣泛應(yīng)用價(jià)值(周瑜 等，2012；畢威 等，2017)。因此形狀特征的提取與表達(dá)一直是視覺領(lǐng)域的重要問題。例如在安檢系統(tǒng)中，對(duì)偽彩色X光照片大多僅通過形狀來判斷是否含危險(xiǎn)品；在醫(yī)學(xué)影像中大多以形狀作為診斷依據(jù)。雖然由于深度傳感器等硬件設(shè)備的進(jìn)步，物體的3維信息更容易獲取，但是傳統(tǒng)相機(jī)仍然是使用最廣泛的視覺采集設(shè)備，對(duì)2維形狀的分析和識(shí)別仍然具有重要價(jià)值。形狀特征的提取與表達(dá)的結(jié)果對(duì)后續(xù)的識(shí)別分類非常重要，尤其是特征對(duì)不同類形狀的區(qū)分度，以及對(duì)各種變換和噪聲的魯棒性。隨著大數(shù)據(jù)的獲取與應(yīng)用日益廣泛，深度學(xué)習(xí)模型體現(xiàn)出強(qiáng)大的學(xué)習(xí)能力。探索適合深度網(wǎng)絡(luò)的高效特征表達(dá)方法，能夠有效利用深度學(xué)習(xí)模型的學(xué)習(xí)能力，提高識(shí)別效果。

現(xiàn)有方法大多基于形狀輪廓的位置關(guān)系和幾何特征。經(jīng)典的形狀上下文(Belongie等，2002；Bai等，2010)方法及其改進(jìn)方法IDSC(inner-distance shape context)(Ling和Jacobs，2007)利用輪廓點(diǎn)之間的位置關(guān)系。CCS(class segment sets)(Sun和Super，2005)等方法利用曲線幾何特征，如曲率等。近年來，基于不同的形狀上下文特征出現(xiàn)了一系列的形狀表達(dá)和匹配方法(劉望舒 等，2017；Zhu等，2021)。Height function(Wang等，2012)利用輪廓點(diǎn)之間的距離關(guān)系取得了不錯(cuò)的效果。基于輪廓層次特征的方法從不同尺度獲得輪廓特征(徐浩然 等，2017)。賈棋等人(2018)基于曲率分級(jí)對(duì)形狀編碼，獲得不錯(cuò)的識(shí)別效果。但是這些方法獲取的形狀特征多為一系列離散輪廓點(diǎn)各自的獨(dú)立特征數(shù)據(jù)，形成一組特征序列，從而輪廓起點(diǎn)的選取對(duì)特征表達(dá)的影響較大。尤其是有些方法需要在采樣點(diǎn)對(duì)齊的前提下才能實(shí)現(xiàn)較好的特征匹配(Belongie等，2002；Ling和Jacobs，2007)，這在實(shí)際應(yīng)用中較難實(shí)現(xiàn)。在識(shí)別階段也多為使用動(dòng)態(tài)規(guī)劃等序列匹配方法(Müller，2007)，在訓(xùn)練數(shù)據(jù)量大的情況下運(yùn)算效率較低。目前常用的深度學(xué)習(xí)模型如卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)等方法的學(xué)習(xí)效率較高，而且適用于大數(shù)據(jù)應(yīng)用，但以上這些形狀特征表征方式不適用于深度學(xué)習(xí)網(wǎng)絡(luò)模型。實(shí)驗(yàn)表明，直接將形狀圖像輸入CNN模型進(jìn)行分類的效果并不理想(Lee等，2017；Yang等，2017)。因此，亟待提出一種能夠適用于深度學(xué)習(xí)模型的高效的形狀特征表達(dá)方法以及相應(yīng)的形狀分類和檢索方法，以適應(yīng)在日益廣泛的視覺大數(shù)據(jù)中的應(yīng)用。

形狀輪廓在二值化圖像中僅是一條曲線，具有的信息量有限，對(duì)CNN網(wǎng)絡(luò)來說，不足以獲取足夠的形狀特征。因此直接使用二值化圖像訓(xùn)練CNN模型進(jìn)行分類無法獲得較高的精度。為了能夠充分利用CNN模型的學(xué)習(xí)能力，最關(guān)鍵的問題是如何充分提取形狀特征并以圖像的形式充分表達(dá)出來，從而供CNN模型進(jìn)行特征學(xué)習(xí)以更好地完成分類任務(wù)。

本文提出一種新的形狀特征提取和表示方法，通過充分提取形狀輪廓的全部尺度的特征，并緊湊地將全部特征表示在單幅彩色圖像上，形成一種全尺度單彩圖形狀表示方法，適用于深度卷積模型來完成分類任務(wù)。流程如圖1所示。首先使用自適應(yīng)離散輪廓演化(adaptive discrete contour evolution，ADCE)算法提取形狀輪廓的顯著特征點(diǎn)，接著使用多尺度不變量(Yang 等，2016)提取形狀特征，然后將該描述擴(kuò)展到整個(gè)尺度空間，獲得全部離散尺度的特征表達(dá)，再將3種不同描述結(jié)果分別用RGB圖像的3個(gè)通道進(jìn)行色彩表達(dá)，獲得一幅RGB圖像，并以形狀原圖作為參考圖像，一起輸入本文設(shè)計(jì)的雙流CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以達(dá)到形狀識(shí)別的目的。

本文提出的單圖表示方法可將形狀特征進(jìn)行彩色可視化，從圖像上直觀反映形狀的相似性和不變性。從形狀輪廓提取的全尺度特征能夠充分獲取形狀的各方面特征信息。本文方法不需要將形狀輪廓起點(diǎn)對(duì)齊，可以使用任意起點(diǎn)，從而簡化步驟，提高精度，并擴(kuò)大應(yīng)用范圍，具有較高的魯棒性，可適應(yīng)形狀的多種幾何變換與不同程度的噪聲干擾。

1 全尺度形狀描述子

1.1 多尺度形狀描述子

在2D形狀檢索和分類任務(wù)中，原始的形狀數(shù)據(jù)是由形狀輪廓上一系列采樣點(diǎn)組成的閉合曲線S，定義為S={p(i)|i∈[1,N]}，其中N為輪廓采樣點(diǎn)的總個(gè)數(shù),p(i)為第i個(gè)采樣點(diǎn)。在形狀匹配任務(wù)中，一種常用的方法是設(shè)計(jì)形狀描述子來提取采樣點(diǎn)處的形狀特征信息。其中多尺度形狀描述子(Yang等，2016)能夠提取較為豐富的形狀特征，且不同特征之間具有互補(bǔ)作用。該描述子使用歸一化面積s、歸一化弧長l和歸一化重心距c等特征，并分別在半徑逐次減半的多個(gè)離散尺度q∈[1,Q]上提取形狀特征，其中Q為總尺度個(gè)數(shù)。因此獲取的多尺度描述為

M={sq(i),lq(i),cq(i)|i∈[1,N],q∈[1,Q]}

(1)

式中，sq，lq和cq的定義為

(2)

(3)

(4)

圖2 形狀描述子計(jì)算區(qū)域示意圖Fig.2 Calculation area of shape descriptor

在特定的尺度q下，特征圓Cq(i)的半徑rq定義為

(5)

雖然該方法中3個(gè)多尺度描述子可以分別從0維、1維和2維3個(gè)方面提取從全局到局部的形狀特征，但是存在以下幾個(gè)問題：

1)使用多尺度描述子計(jì)算出的特征函數(shù)集較大，每個(gè)形狀需要3×Q個(gè)函數(shù)曲線來抽象地表達(dá)，如圖3(b)所示，對(duì)形狀特征不易可視化。

圖3 多尺度形狀描述子的形狀特征表達(dá)Fig.3 Shape representation with multi-scale shape descriptors ((a) certain scale 1 4；(b) the feature functions at the corresponding scale)

2)特征圓半徑rq以2的指數(shù)倍變化，忽略了大尺度特征的變化情況，默認(rèn)特征細(xì)節(jié)隨著尺度增大而減少，而且只能提取特定離散尺度下的部分信息，丟失了尺度空間中的大部分特征信息。

3)提取的描述子中，每個(gè)輪廓點(diǎn)的特征是獨(dú)立的，沒有表達(dá)出輪廓點(diǎn)之間以及不同尺度之間的特征關(guān)系。由于使用動(dòng)態(tài)規(guī)劃等點(diǎn)匹配算法，輪廓點(diǎn)之間和不同尺度之間的特征關(guān)系也未能用于識(shí)別和檢索。

4)使用動(dòng)態(tài)規(guī)劃算法進(jìn)行抽樣點(diǎn)對(duì)應(yīng)匹配計(jì)算量較大，不適合大數(shù)據(jù)量的分類和檢索任務(wù)。

本文提出的形狀表示方法旨在克服上述缺點(diǎn)，提高形狀特征的提取和表達(dá)能力，以適應(yīng)深度學(xué)習(xí)模型，利用其學(xué)習(xí)能力更好地完成檢索和識(shí)別任務(wù)。

1.2 全尺度空間形狀描述子

為了提取形狀特征在所有尺度上的特征信息，本文方法在整個(gè)尺度空間對(duì)描述子進(jìn)行連續(xù)采樣。因?yàn)槊枋鲎拥某叨茸兞渴翘卣鲌A半徑rq，將其取值設(shè)為rq∈(0,R)，即從0到半全局半徑R之間的全部數(shù)值。由于數(shù)字圖像是離散采樣，以像素為最小單位，故選擇rq取(0,R)區(qū)間內(nèi)的全部整數(shù)值。r1=1為第1個(gè)尺度，因此，尺度q下的特征圓Cq(i)的半徑rq為

rq=q,q∈[1,R),q∈N

(6)

圖4 全尺度表達(dá)的特征圓Fig.4 Feature circles of all the scales

1.3 顯著特征點(diǎn)的提取

在計(jì)算全尺度空間形狀描述子時(shí)，若形狀輪廓的所有點(diǎn)都參與計(jì)算，會(huì)使得許多沒有顯著特征的冗余點(diǎn)與顯著特征點(diǎn)有相同的權(quán)重。這會(huì)削弱描述子的表達(dá)能力，而且冗余點(diǎn)的存在會(huì)大幅增加計(jì)算成本。因此，有必要去掉形狀輪廓中的冗余點(diǎn)。

為了提取輪廓的顯著特征點(diǎn)，Latecki等人(2000)提出了離散輪廓演化(discrete contour evolution，DCE)算法。但是這一方法不能自適應(yīng)地演化至收斂。因此，本文使用自適應(yīng)離散輪廓演化(adaptive discrete contour evolution，ADCE)算法(Yang 等，2016)，該算法引入了一個(gè)基于區(qū)域的自適應(yīng)結(jié)束函數(shù)，當(dāng)該函數(shù)值超過設(shè)定閾值后，輪廓顯著特征點(diǎn)提取結(jié)束。需要注意的是，ADCE步驟只是用來找到具有代表性的特征點(diǎn)，計(jì)算全尺度空間形狀描述子還是通過原始形狀輪廓進(jìn)行計(jì)算。這樣做的目的是保留顯著特征點(diǎn)的原始形狀特征。

2 形狀的圖像表示

如前所述，使用多尺度描述子計(jì)算出的特征函數(shù)集較大，形狀特征不易可視化，且輪廓點(diǎn)之間和不同尺度下的形狀特征關(guān)系未能利用。因此，本文提出一種緊湊的彩色圖像表示方法，用一幅彩色圖像表示整個(gè)形狀在所有尺度下的不變量特征。

2.1 單尺度形狀描述子的圖像表示

在單一尺度q下，對(duì)所有輪廓采樣點(diǎn){p(i)}計(jì)算不變量描述子，獲取對(duì)應(yīng)的3種形狀不變量特征{sq(i),lq(i),cq(i)|i∈[1,N]}。3種特征可以分別表示為特征函數(shù)，如圖5(b)所示，其中橫軸為輪廓點(diǎn)序列，縱軸為描述子數(shù)值。將這3個(gè)特征函數(shù)的取值記入3個(gè)大小為1×n的特征矩陣，并進(jìn)行灰度歸一化顯示，如圖5(c)所示，3個(gè)大小為1×n的灰度圖分別表達(dá)對(duì)應(yīng)的特征函數(shù)包含的形狀信息。將這3個(gè)灰度圖分別取色R、G和B，即可表示為3幅單色圖像。

圖5 特征函數(shù)的彩色表達(dá)Fig.5 Color representation of feature functions ((a) original shape image; (b) feature functions of descriptor; (c) visualization of the feature functions with gray degrees; (d) visualization of the feature functions with RGB)

2.2 全尺度形狀描述子的圖像表示

由上一小節(jié)可知，在單一尺度下，特征圖像能夠取代特征函數(shù)曲線表示該尺度下的形狀特征信息。以此類推，對(duì)于全尺度空間下所有尺度q∈[1,Q]，其不變量描述函數(shù)可以表示為Q個(gè)大小為1×n的特征矩陣。將這Q個(gè)特征矩陣按照尺度連續(xù)變化的順序合并，即構(gòu)成3個(gè)尺寸為Q×n的特征圖。如圖6所示，這3個(gè)單色特征圖能夠緊湊地表示出描述子在所有尺度下提取出的全部形狀特征信息。

圖6 形狀的彩色表達(dá)圖Fig.6 Color representation of shape

2.3 全尺度形狀描述子的彩圖表示

將上述3個(gè)單色特征圖作為R、G、B這3個(gè)通道合成一幅彩色特征表達(dá)圖像I，即可更加緊湊地用一幅圖像表示形狀的全部特征。如圖6所示，示例形狀的RGB表示圖不僅同時(shí)包含了全尺度空間描述子提取的所有形狀特征，而且直觀地實(shí)現(xiàn)了原始形狀的特征可視化。在該彩色圖像表示中，不同尺度和相鄰輪廓點(diǎn)的形狀特征之間的關(guān)系，在圖像中皆以鄰接像素(x軸為相鄰輪廓點(diǎn)，y軸為相鄰尺度)體現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)能夠有效學(xué)習(xí)相鄰像素之間的關(guān)系，即可以學(xué)習(xí)到相鄰輪廓點(diǎn)之間的形狀特征關(guān)系、相鄰尺度之間的特征變化關(guān)系以及3類形狀特征描述子之間的互補(bǔ)關(guān)系，從而可以利用深度卷積模型來學(xué)習(xí)形狀特征，并完成分類和檢索等任務(wù)。

3 形狀分類與檢索

本文方法將形狀表示成一幅RGB圖像，該圖像能夠同時(shí)包含原始形狀在全尺度空間下的多個(gè)不變量形狀特征信息，因此可將其作為形狀分類的依據(jù)。此外，由于本文方法將輪廓形狀轉(zhuǎn)換為張量表達(dá)，尤其適合利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)強(qiáng)大的圖像特征抓取和表達(dá)能力，從而提高識(shí)別和檢索精度，所以本文選擇構(gòu)造CNN框架來實(shí)現(xiàn)分類任務(wù)。首先微調(diào)VGG16(Visual Geometry Group 16-layer net)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)特征表達(dá)圖像I進(jìn)行分類。在其連續(xù)卷積的計(jì)算過程中，既能夠提取各顯著點(diǎn)在全尺度空間中的特征，又能夠同時(shí)抓取相鄰顯著點(diǎn)之間的特征關(guān)系。相比以往方法將對(duì)應(yīng)輪廓點(diǎn)的形狀特征序列進(jìn)行匹配計(jì)算形狀間的特征距離，本文方法能夠更加全面地分析形狀所包含的信息。

雖然該彩色圖像表示具有豐富的多層次信息，但其表示的形狀特征信息是原始形狀特征投影到不變量空間和尺度空間的結(jié)果的可視化，這在圖像層面較為抽象。再經(jīng)過多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取后，得到的特征為該投影圖像的深度特征，與原始形狀輪廓圖像的直觀幾何特征之間差距很大，并有可能在訓(xùn)練過程中造成梯度消失等問題，對(duì)形狀分析和識(shí)別任務(wù)增加難度。受ResNet啟發(fā)，本文在將彩色特征圖I輸入CNN模型的同時(shí)，將形狀輪廓的原始圖像S作為輔助信息直接輸入VGG16網(wǎng)絡(luò)，以獲取更加直接的形狀幾何特征，從而形成兩路CNN結(jié)構(gòu)。然后將兩個(gè)CNN模塊的輸出特征一起輸入全連接層進(jìn)行識(shí)別。

在檢索任務(wù)中，本文使用從CNN模塊輸入全連接層的特征矢量作為檢索特征，計(jì)算不同形狀的檢索特征矢量之間的歐氏距離作為形狀之間的差異大小，并依據(jù)Bull-eye(Latecki等，2000)標(biāo)準(zhǔn)計(jì)算檢索結(jié)果。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)從3方面驗(yàn)證本文方法。首先驗(yàn)證本文提出的形狀表示方法對(duì)剛體變化具有不變性，包括旋轉(zhuǎn)和縮放變換。然后驗(yàn)證本文形狀表示方法對(duì)類內(nèi)變化、鉸接變換、部分遮擋和噪聲干擾的魯棒性。此外，在幾個(gè)重要的形狀數(shù)據(jù)集上進(jìn)行形狀分類和檢索，包括MPEG-7(Latecki等，2000)數(shù)據(jù)集、Animal(Bai等，2009)數(shù)據(jù)集和鉸接(Ling和Jacobs，2007)數(shù)據(jù)集等，并將本文方法的實(shí)驗(yàn)結(jié)果在相同條件下與對(duì)比方法(Zheng等，2019；Shen等，2018)進(jìn)行比較。

4.1 形狀表示的不變性

實(shí)驗(yàn)首先驗(yàn)證本文提出的形狀表示方法對(duì)形狀圖像旋轉(zhuǎn)和縮放變換得到的表示結(jié)果的不變性。本文將原始形狀圖像分別進(jìn)行這兩種變換，然后分別計(jì)算得到彩色特征表示圖，并與原始形狀圖像的彩色特征表示圖進(jìn)行對(duì)比，如圖7所示。圖7(a)(b)分別為形狀圖像及進(jìn)行旋轉(zhuǎn)和縮放對(duì)應(yīng)的特征表示圖。從特征表示圖可見，原始形狀和對(duì)應(yīng)的旋轉(zhuǎn)或縮放后的形狀特征圖相同，驗(yàn)證了本文的表示方法對(duì)旋轉(zhuǎn)和縮放這兩種剛體變換具有不變性。

4.2 形狀表示的魯棒性

同類物體的形狀往往具有較大的類內(nèi)變化，使得提取的形狀特征往往具有較大差異，給形狀識(shí)別和檢索帶來困難。如圖8所示，各列為同類的形狀。從對(duì)應(yīng)的特征圖可以看出，同類的形狀雖然具有較大差異，但是仍然具有相似的特征圖(馬匹的特征圖也是對(duì)稱的)，從而降低了類內(nèi)差異對(duì)形狀識(shí)別和檢索任務(wù)的影響。

鉸接變換是一種典型的類內(nèi)差異，如圖9所示，圖9(a)兩個(gè)鹿的形狀分別為站立和奔跑姿勢(shì)，兩者的腿部之間具有顯著的鉸接變換關(guān)系。類似的情況還有人的手指、物品中的剪刀等，都會(huì)對(duì)形狀識(shí)別任務(wù)造成困難。為此，Ling和Jacobs(2007)提出一個(gè)鉸接數(shù)據(jù)集專門用來測(cè)試鉸接變換下的形狀識(shí)別精度。從圖9(a)鹿形狀的特征圖可以看出，紅色框內(nèi)的鉸接部分形狀對(duì)應(yīng)的特征具有很高的相似度，說明本文的表示方法在鉸接變換下具有魯棒性。

除了類內(nèi)差異，在形狀分析的實(shí)際應(yīng)用中，還會(huì)遇到部分目標(biāo)遮擋的情況。如圖9(b)所示，第2行馬匹形狀的頭部被遮擋，將會(huì)對(duì)識(shí)別分析造成影響。從對(duì)應(yīng)的特征圖可以看出，除了紅色框內(nèi)部與馬匹頭部對(duì)應(yīng)的形狀特征圖外，其他部分完全一致，驗(yàn)證了本文特征表示方法對(duì)形狀部分遮擋情況的魯棒性。

圖7 形狀的旋轉(zhuǎn)和縮放變換前后的特征圖表示Fig.7 Feature map of shapes before and after rotation and scaling((a)rotation;(b)scaling)

圖8 類內(nèi)差異形狀的特征圖表示Fig.8 Feature map of shapes with intra-class variations((a)bat;(b)beetle;(c)horse)

圖9 鉸接變換、部分遮擋和噪聲干擾下的特征圖表示Fig.9 Feature map of shapes with articulation, partial occlusion and noise ((a)articulated variation;(b)partial occlusion;(c)noisy disturbance)

因此在實(shí)際應(yīng)用中，仍然可以利用未遮擋部分的形狀信息進(jìn)行識(shí)別。

噪聲干擾對(duì)圖像識(shí)別同樣具有影響，如圖9(c)所示，第2行的形狀為第1行形狀加入噪聲后的形狀。從兩個(gè)形狀對(duì)應(yīng)的兩幅特征圖可見，其特征圖像相似度很高，幾乎不受到噪聲的影響，從而驗(yàn)證了該表示方法對(duì)噪聲的魯棒性。

4.3 形狀分類與檢索

使用MPEG-7(Latecki 等，2000)數(shù)據(jù)集、Animal(Bai 等，2009)數(shù)據(jù)集、鉸接(Ling和Jacobs，2007)數(shù)據(jù)集和PLD(projective landmarks database)(Bryner等，2014)射影變換數(shù)據(jù)集對(duì)本文方法的分類和檢索精度分別進(jìn)行測(cè)試，并與其他模型方法進(jìn)行比較，以驗(yàn)證本文方法的效果。

4.3.1 實(shí)驗(yàn)設(shè)置

對(duì)于形狀數(shù)據(jù)，在輪廓上統(tǒng)一采樣100個(gè)輪廓點(diǎn)，并設(shè)置尺度空間總尺度數(shù)為100，從而得到100×100像素的特征表達(dá)圖像。同時(shí)，將原始輪廓形狀尺寸歸一化為100×100像素。將原始形狀及其對(duì)應(yīng)特征表達(dá)圖像二者同時(shí)輸入雙路卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型中進(jìn)行訓(xùn)練。實(shí)驗(yàn)網(wǎng)絡(luò)選擇SGD(stochastic gradient descent)優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，延遲率設(shè)置為1E-6，損失函數(shù)選用交叉熵，雙流特征權(quán)重設(shè)為1 ∶1，分類器選擇softmax。實(shí)驗(yàn)中將模型訓(xùn)練100個(gè)epoch，每個(gè)epoch中batch size大小選擇為128。

在訓(xùn)練過程中引入VGG16模型在ImageNet數(shù)據(jù)集中訓(xùn)練所得參數(shù)作為預(yù)訓(xùn)練，解鎖VGG16模型中最后3個(gè)全連接層進(jìn)行訓(xùn)練并根據(jù)收斂速率進(jìn)行參數(shù)微調(diào)。在形狀分類和檢索時(shí)，在MPEG-7和Animal數(shù)據(jù)集上分別使用一半訓(xùn)練一半測(cè)試及留一法兩種測(cè)試方法。一半訓(xùn)練一半測(cè)試即將目標(biāo)數(shù)據(jù)集中每一類形狀隨機(jī)平分為兩個(gè)子集，一半用于訓(xùn)練，另一半用來測(cè)試，執(zhí)行10次后計(jì)算準(zhǔn)確率的平均值；留一法即將數(shù)據(jù)集中每一個(gè)形狀分別作為一次測(cè)試集，其余形狀全部作為訓(xùn)練集。

4.3.2 MPEG-7數(shù)據(jù)集

MPEG-7(Latecki等，2000)數(shù)據(jù)集是最為廣泛用來進(jìn)行形狀匹配與形狀檢索任務(wù)的公開數(shù)據(jù)集，共1 400個(gè)不同的形狀樣本，分為70個(gè)形狀類別，每個(gè)類別包含20個(gè)形狀樣本。部分形狀樣本如圖10所示，包含每個(gè)類別的2個(gè)代表形狀。

圖10 MPEG-7數(shù)據(jù)集形狀示例Fig.10 Example shapes of MPEG-7 dataset

本文方法在MPEG-7數(shù)據(jù)集中的分類準(zhǔn)確率與其他典型方法的對(duì)比結(jié)果如表1中第2列所示。該分類結(jié)果為采用一半訓(xùn)練一半測(cè)試方式的分類精度，本文方法取得了99.09%的分類準(zhǔn)確率，超過了目前最新方法的分類精度，達(dá)到目前最高準(zhǔn)確率。

表1 不同方法在MPEG-7和Animal數(shù)據(jù)集的分類準(zhǔn)確率對(duì)比Table 1 Comparison of classification accuracy on MPEG-7 and Animal datasets among different methods /%

在形狀檢索實(shí)驗(yàn)中，采用Bull-eye準(zhǔn)則計(jì)算檢索準(zhǔn)確率。本文方法在MPEG-7數(shù)據(jù)集中的檢索準(zhǔn)確率與對(duì)比方法結(jié)果如表2的第2、3列所示，分別為一半訓(xùn)練一半測(cè)試方式和留一法的結(jié)果。可以看出，本文方法在兩種測(cè)試方式中分別獲得了99.14%和99.57%的檢索精度，超過了所有其他方法。

由此可見，本文方法與傳統(tǒng)形狀描述子相比，在尺度空間下更全面地提取了形狀輪廓的特征信息，而且特征圖表示法利用了卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征的學(xué)習(xí)能力，充分學(xué)習(xí)了數(shù)據(jù)集中的形狀特征，從而獲得了出色的形狀分類和檢索精度。

4.3.3 Animal數(shù)據(jù)集

Animal(Bai等，2009)數(shù)據(jù)集由2 000個(gè)不同的動(dòng)物輪廓作為形狀樣本構(gòu)成，包含20個(gè)不同的動(dòng)物種類，每個(gè)動(dòng)物種類有100個(gè)動(dòng)物形狀樣本。在每一類動(dòng)物中，100個(gè)形狀樣本具有顯著的形狀變化，對(duì)分類和檢索任務(wù)增加了較大難度。圖11展示了每個(gè)動(dòng)物類別中的6個(gè)代表形狀，從中不難發(fā)現(xiàn)同類動(dòng)物的輪廓形狀之間具有很大差異，這一類內(nèi)變化對(duì)于分類和檢索任務(wù)來說具有更高難度。本文方法和對(duì)比方法在該數(shù)據(jù)集中測(cè)試得到的分類結(jié)果如表1第3列所示，本文方法獲得了90.02%的分類正確率。相比于其他方法，本文方法取得了最高分類準(zhǔn)確率。

表2第4列列出了在Animal數(shù)據(jù)集中進(jìn)行形狀檢索的準(zhǔn)確率，該結(jié)果同樣使用Bull-eye準(zhǔn)則。從表中結(jié)果可見，其他方法在Animal數(shù)據(jù)集上的檢索準(zhǔn)確率都不高，說明該數(shù)據(jù)集對(duì)于檢索任務(wù)具有較高難度。而本文方法獲得了90.75%的檢索準(zhǔn)確率，超過其他方法最好結(jié)果24%，說明本文方法對(duì)于各種類內(nèi)變化具有較好的魯棒性，對(duì)于類內(nèi)變化較大的數(shù)據(jù)集仍具有很強(qiáng)的檢索能力。

4.3.4 鉸接形狀數(shù)據(jù)集

鉸接變換是一種常見的類內(nèi)變化，對(duì)形狀分類和檢索等任務(wù)造成困難。為了測(cè)試形狀識(shí)別和檢索方法針對(duì)形狀發(fā)生鉸接變換時(shí)的魯棒性，Ling等人(2007)采集了一個(gè)鉸接形狀數(shù)據(jù)集，共40個(gè)樣本，分別屬于8個(gè)不同物體，每個(gè)物體采集5種不同的鉸接變換姿態(tài)，數(shù)據(jù)集的形狀都是剪刀、折疊刀等具在該數(shù)據(jù)集上進(jìn)行檢索實(shí)驗(yàn)，并與其他方法進(jìn)行對(duì)比，結(jié)果如表3所示。可以看出，本文算法進(jìn)行形狀檢索的準(zhǔn)確率為100%，超過其他方法10%以上。由此可見，本文方法對(duì)形狀的鉸接變換具有很好的魯棒性。

表2 不同方法在MPEG-7和Animal數(shù)據(jù)集的檢索準(zhǔn)確率對(duì)比Table 2 Comparison of retrieval accuracy on MPEG-7 and Animal datasets among different methods /%

圖11 Animal數(shù)據(jù)集形狀示例Fig.11 Example shapes of Animal dataset

有較大幅度的鉸接變換的物體形狀，對(duì)算法的魯棒性要求很高，如圖12所示。

圖12 鉸接形狀數(shù)據(jù)集樣本圖Fig.12 Shapes of articulated dataset

表3 鉸接形狀數(shù)據(jù)集檢索準(zhǔn)確率Table 3 Retrieval results on articulated dataset /%

4.3.5 PLD數(shù)據(jù)集

在實(shí)際的圖像采集中，常常因?yàn)榕臄z的視角問題，在圖像中呈現(xiàn)目標(biāo)的不同角度的投影，從而造成同一目標(biāo)得到不同的形狀輪廓。不同輪廓之間的變化稱為形狀的射影變換。較為顯著的射影變換會(huì)使形狀分類和檢索精度受到影響。PLD數(shù)據(jù)集中的樣本具有顯著的射影變換，專門用來測(cè)試形狀分類和檢索方法在射影變換下的魯棒性，如圖13所示。該數(shù)據(jù)集由100個(gè)形狀組成，包含MPEG-7數(shù)據(jù)集中的10類不同形狀，有9種不同的射影變換，樣本與原始樣本之間具有明顯的射影形變。

圖13 射影變換形狀數(shù)據(jù)集樣本圖Fig.13 Shapes of projective dataset

本文方法使用PLD數(shù)據(jù)集進(jìn)行形狀分類時(shí)取得了100%的準(zhǔn)確率，與其他方法的對(duì)比結(jié)果如表4所示。表4第2、3列分別為一半訓(xùn)練一半測(cè)試方式和留一法訓(xùn)練的分類結(jié)果。本文方法在兩種訓(xùn)練方式中都將全部形狀正確分類，說明在射影變換中具有很好的魯棒性，可以適應(yīng)實(shí)際應(yīng)用中的復(fù)雜投影情況。

表4 PLD數(shù)據(jù)集分類準(zhǔn)確率Table 4 Classification results on PLD dataset /%

5 結(jié) 論

本文提出一種單幅彩色圖像的全尺度形狀表示方法，以及相應(yīng)的基于深度學(xué)習(xí)的形狀分類和檢索方法。該方法在整個(gè)尺度空間全面提取目標(biāo)輪廓的形狀特征，并緊湊地進(jìn)行圖像可視化特征表達(dá)，適合深度學(xué)習(xí)模型，并適用于大數(shù)據(jù)環(huán)境，同時(shí)對(duì)各種圖像干擾具有魯棒性，在干擾情況下仍能獲得較高的識(shí)別和檢索精度。但在Animal數(shù)據(jù)集上的實(shí)驗(yàn)精度存在一定的錯(cuò)誤率，主要是因?yàn)閯?dòng)物身體多為軟體而非剛體，因此形變較大且無規(guī)律，使得在部分樣本中能夠捕捉的特征有限。

本文方法主要針對(duì)2維形狀的輪廓特征進(jìn)行分析，未開展面向3維形狀的特征分析與識(shí)別。隨著3維圖像采集系統(tǒng)的廣泛使用，3維目標(biāo)的形狀信息獲取變得更加容易。相對(duì)于2維的目標(biāo)輪廓，目標(biāo)的3維形狀包含更加豐富的信息。因此，今后將分析本文方法在面向3維形狀特征時(shí)遇到的問題，進(jìn)一步研究3維形狀的特征表示與識(shí)別方法，提高表示、分類和檢索能力。