少數(shù)民族服飾圖像分類檢索技術(shù)綜述

王 淳 逯 洋

（吉林師范大學(xué)，吉林 四平 136000）

少數(shù)民族服飾很大意義上象征了每個民族的文化傳承，也是中國傳統(tǒng)文化中最寶貴的重要財富之一。由于文化發(fā)展的不同，形成了風(fēng)格、習(xí)慣不同的民族。在風(fēng)格各異的少數(shù)民族服飾中，人們?nèi)菀谆煜鱾€民族的類別。根據(jù)調(diào)查發(fā)現(xiàn)，少數(shù)民族服飾圖像分類的方法稀少，一方面由于少數(shù)民族服飾文化隨著時間的流逝，部分服飾元素消失在歷史長河里，導(dǎo)致無法追溯；另一方面，從計算機的視角對少數(shù)民族服飾圖像進(jìn)行分類需要研究者對計算機領(lǐng)域和少數(shù)民族服飾文化領(lǐng)域均有所涉獵。少數(shù)民族服飾是民族文化的具象體現(xiàn)。不過隨著社會科技化，大量需要傳承的傳統(tǒng)民族服飾逐漸趨向日常化，喪失了屬于本民族的民族特色元素，如何對少數(shù)民族服飾圖像進(jìn)行保護(hù)，值得深入研究。為了處理人工手動對少數(shù)民族服飾圖像分類存在的誤差與問題，越來越多的研究者采用圖像處理技術(shù)來代替手動分類。

少數(shù)民族服飾圖像分類的實質(zhì)是利用圖像的形象特征來確定服飾所屬的民族與類別，按圖像的任務(wù)分類可以細(xì)分為民族種類分類（例如侗族、苗族、布依族等）以及民族服飾屬性分類（比如紋樣分類、顏色分類、款式分類等）兩種。分類基本流程如圖1所示，首先對少數(shù)民族服飾的圖像采取預(yù)處理操作，然后用傳統(tǒng)或深度學(xué)習(xí)的方法提取處理后的圖像中的圖像特征，可以得到特征向量。最后將獲取到的特征向量準(zhǔn)確輸入到對應(yīng)的分類器中，進(jìn)行相對細(xì)化的分類，由此就可以輸出少數(shù)民族服飾的類別。

圖1 少數(shù)民族服飾圖像分類基本流程

當(dāng)前少數(shù)民族服飾圖像的分類方式可以分為基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法和基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法這兩種。

少數(shù)民族服飾圖像分類方法的常用評估標(biāo)準(zhǔn)與服裝圖像分類方法相同，常用的評估標(biāo)準(zhǔn)有準(zhǔn)確率（Accuracy）[1]、召回率（Recall）[2]、精準(zhǔn)度（Precision）[3]和平均精度均值（mean Average Precision，mAP）[4]等。

1 基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法

基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法所提取的圖像特征中，包括局部特征和全局特征，有一定的局限性。局部特征是針對圖像中的某個特定區(qū)域被提取出來的圖像描述符，如尺度不變特征(Scale Invariant Feature Transform，SIFT)[5]?；谌痔卣鞯姆椒m然可以描述整體屬性，但是區(qū)分度不大，對部分特征具有局限性，如場景特征。全局特征可以分為紋理特征、顏色特征和形狀特征等。基于傳統(tǒng)圖像的內(nèi)容，從全局特征和局部特征這兩個方面，描述少數(shù)民族服飾圖像的分類檢索。

1.1 基于全局特征的少數(shù)民族服飾圖像分類檢索

1.1.1 基于紋理特征的少數(shù)民族服飾圖像分類檢索

紋理特征屬于全局特征，用來說明圖像以及圖像區(qū)域下所對應(yīng)物體表面的性質(zhì)，比如圖像紋理的粗細(xì)、稠密等特征。研究圖像紋理特征最早可以追溯到1962年Julesz[6]的工作。常見的紋理特征提取算法有Laws紋理能量測度算法[7]、灰度共生矩陣、局部二值模式（Local Binary Pattern，LBP）[8]等。

賈學(xué)明等[9]針對彝族服飾，提出了一種基于圖像紋理與統(tǒng)計概率分析的識別方法，通過對區(qū)域特點的不同，實現(xiàn)對圖像的分割，提取出基礎(chǔ)服飾的紋理，利用Laws算法的特性對基礎(chǔ)圖案紋理的能量進(jìn)行提取，同時用矢量圖統(tǒng)計相應(yīng)紋理數(shù)量，并對向量統(tǒng)計的有效性與相似度進(jìn)行分析，最后得到紋理差異比，驗證了地域改變，會造成服飾之間的差異性。

紋理特征通過計算少數(shù)民族服飾圖像中局部重復(fù)出現(xiàn)次數(shù)的方式來描述對應(yīng)圖像，有較不錯的旋轉(zhuǎn)不變性，不過就算同一個地區(qū)或相鄰的地區(qū)，其服飾的紋理也不盡相同。

1.1.2 基于顏色特征的少數(shù)民族服飾圖像分類檢索

顏色特征提取方法有很多種，包含但不限于顏色相關(guān)圖和顏色直方圖等。顏色直方圖在衡量和比較圖像全局差的方面具有優(yōu)勢。它具有旋轉(zhuǎn)不變的特性，同時也具有很好的魯棒性，但是傳統(tǒng)的直方圖沒有空間信息因素。Shen等[10]通過對少數(shù)民族服裝圖像中定義的幾個子塊的顏色直方圖進(jìn)行組合，將空間信息融入其中，并采用不同的量化數(shù)的RGB、HSV和LAB 3個顏色空間來測試融入后的性能；文獻(xiàn)也運用了融合RGB顏色空間下的顏色直方圖[11-13]，以此為特征，從而進(jìn)行后續(xù)的分類操作。

1.1.3 基于形狀特征的少數(shù)民族服飾圖像分類檢索

形狀特征描述了物體的形狀，是全局特征的一種，相對穩(wěn)定并且在魯棒性方面較好[14]。常見的形狀特征可以分為邊界輪廓和內(nèi)部區(qū)域特征兩種。由于目前提出的單一類型的全局特征的算法，都存在一定的局限性，所以越來越多的研究者采用多種全局特征融合的方法進(jìn)行研究，力求提高準(zhǔn)確率。文獻(xiàn)[13]描述形狀邊緣，得到形狀特征直方圖，融合相似性度量公式，進(jìn)行后續(xù)操作，從而實現(xiàn)對圖像的檢索。

1.2 基于局部特征的少數(shù)民族服飾圖像分類檢索

全局特征是針對少數(shù)民族的服飾圖像特征的整體描述，所以對局部特征信息較為遲鈍。但在一定條件下，提取到一定量的局部特征信息就可以完成少數(shù)民族服飾圖像的分類。常用的局部特征描述子有快速魯棒性尺度不變（speeded up robust features，SURF）[15]、尺度不變變換（Scale Invariant Feature Transform，SIFT）、方向梯度直方圖（Histogram of Oriented Gradient，HOG）[16]、梯度位置和方向直方圖（Gradient Location and Orientation Histogram，GLOH）[17]和旋轉(zhuǎn)不變特征變換（Rotation-Invariant Feature Transform，RIFT）[18]等。

在局部特征描述子中，SIFT描述子具有代表性，并且應(yīng)用廣泛，該描述子具有較強的區(qū)分性，針對一定視角光照的變化、圖像旋轉(zhuǎn)以及尺度變化具有比較高的魯棒性。SURF描述子采用的主要策略和SIFT描述子都是通過計算主方向本身及旋轉(zhuǎn)方向來達(dá)到旋轉(zhuǎn)不變性，不過SURF運用積分圖以及海森矩陣行列式特征點檢測的方法提高計算速度。陳金廣等[19]人對比了在噪聲干擾、尺度變化和圖像旋轉(zhuǎn)等情況下，SIFT和SURF算法在民族服飾圖案特征上所提取的匹配率，驗證了某些情況下SIFT算法正確匹配率比SURF算法高，但相比之下SURF算法有較低的時間復(fù)雜度；Huo等[20]針對民族服飾分類任務(wù)提出了基于局部和特征相互融合的分類方法，在該方法中融入了SIFT特征，實現(xiàn)了對多個少數(shù)民族服飾圖像的分類，并提高了準(zhǔn)確率。

HOG特征通過計算梯度方向出現(xiàn)的次數(shù)來實現(xiàn)統(tǒng)計，是較為常見的局部特征，基于該特征的分類方法更偏向形狀方向的少數(shù)民族服飾圖像分類。Zhang等[21]結(jié)合HOG和結(jié)構(gòu)森林算法對少數(shù)民族服飾圖像進(jìn)行特征計算，得到了更強的適應(yīng)性，并且具有較高的分類精度。

1.3 基于多種特征的少數(shù)民族服飾圖像分類檢索

提取單一類型的全局或局部圖像特征進(jìn)行分類，具有一定的局限性。為了擴(kuò)大分類檢索任務(wù)適用范圍，需要融合多種特征的方法。Zhao等[22]人模糊顏色形成多特征融合，有效地避免了簡單分割算法導(dǎo)致的分割不準(zhǔn)確和復(fù)雜分割算法造成的計算復(fù)雜度高，同時，引入了區(qū)域權(quán)重因子抑制了復(fù)雜背景和干擾區(qū)域產(chǎn)生的負(fù)面影響，提高了算法的魯棒性；周前前等[23]構(gòu)建了一種全局-局部特征的提取模型，提出關(guān)于新的細(xì)粒度民族服飾的圖像檢索提取方法，實現(xiàn)了細(xì)粒度檢索。然而，現(xiàn)有的各類方法難以針對少數(shù)民族服飾圖像中細(xì)粒度屬性特征來進(jìn)行分類和檢索，需要結(jié)合重排序完成細(xì)粒度檢索任務(wù)。許多工作使用重排序方法提高檢索準(zhǔn)確率，Pedronette等[24]引入最短路徑算法，對上下文圖像進(jìn)行了重定義和重排序，在算法的每一個步驟中根據(jù)檢索列表的相似度更新圖像之間的距離，完成圖像重排序；Yu等[25]直接對全局特征以及局部特征進(jìn)行了融合，根據(jù)模糊對象在特征空間中的鄰域?qū)ζ涮卣鬟M(jìn)行細(xì)化的相似度計算，得到了重排序的結(jié)果，但是沒有考慮到在特征融合過程中，可區(qū)分的細(xì)粒度特征不能得到很好地表示，導(dǎo)致其檢索準(zhǔn)確率較低。

1.4 少數(shù)民族服飾圖像數(shù)據(jù)集

少數(shù)民族服飾圖像數(shù)據(jù)集是評估和衡量少數(shù)民族服飾分類性能的重要數(shù)據(jù)來源，但是關(guān)于少數(shù)民族服飾圖像的公共數(shù)據(jù)集較為稀少，大多數(shù)的服飾圖像數(shù)據(jù)集都是來自線上圖像庫以及研究者自建的少數(shù)民族服飾圖像數(shù)據(jù)集。自建少數(shù)民族服飾圖像數(shù)據(jù)集的原始數(shù)據(jù)來自實地拍攝、博物館信息采集、網(wǎng)絡(luò)搜索等多種途徑，收集的圖片格式不夠系統(tǒng)，圖片大小、格式也不統(tǒng)一，因此需要通過對原始圖片進(jìn)行格式大小、區(qū)域分割等一系列操作，才構(gòu)成了各個自建的少數(shù)民族服飾圖像數(shù)據(jù)集。

上述基于傳統(tǒng)的少數(shù)民族的服飾圖像分類檢索方法分別針對不同問題，各類傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法的對比分析結(jié)果見表1。但是由于少數(shù)民族服飾種類不斷增多，傳統(tǒng)的方法進(jìn)行前的預(yù)處理、匹配等過程耗時較長，不能詳盡地描述復(fù)雜的分類任務(wù)?？偟膩碚f，傳統(tǒng)的方法對某些分類任務(wù)具有局限性，過于依靠特征選擇，適合分類類別數(shù)量少且區(qū)分度高的分類任務(wù)。

表1 傳統(tǒng)圖像內(nèi)容分類檢索方法的對比分析

2 基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法

深度學(xué)習(xí)的快速發(fā)展，促進(jìn)了各個領(lǐng)域的研究，在少數(shù)民族服飾圖像分類領(lǐng)域中也出現(xiàn)了一些基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法。

基于深度學(xué)習(xí)的少數(shù)民族服飾圖像分類檢索方法由神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)獲得。深度學(xué)習(xí)的方式有3種，分別是有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，同時根據(jù)特征深度的不同，分為淺層特征和深層特征。

2.1 基于神經(jīng)網(wǎng)絡(luò)的少數(shù)民族服飾圖像的分類檢索方法

神經(jīng)網(wǎng)絡(luò)擁有大量的神經(jīng)元，神經(jīng)元之間互相連結(jié)搭成神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層3層構(gòu)成。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的模型如圖2所示。

圖2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型

常用的深度神經(jīng)網(wǎng)絡(luò)模型主要有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[26]、全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[27]、概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network，PNN）[28]以及徑向基神經(jīng)網(wǎng)絡(luò)（Radial Basis Function，RBF）[29]等。

卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像處理任務(wù)，其中包括但是不限于圖像分割、分類以及圖像檢索等。CNN網(wǎng)絡(luò)構(gòu)成如圖3，主要有輸入層、卷積層、池化層和全連接層4部分，將上述幾層疊加構(gòu)成完整的CNN。CNN是一種擁有自動提取特征，待訓(xùn)練參數(shù)相對較少等優(yōu)點的神經(jīng)網(wǎng)絡(luò)。

圖3 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

孔謙等[30]采用CNN算法和Faster R-CNN算法[31]對瑤族紋樣符號進(jìn)行分類，分別用這兩種算法訓(xùn)練好的模型對相應(yīng)測試集中的圖像進(jìn)行檢測，證明了Faster R-CNN算法比CNN算法更有較好的分類檢測能力；趙海英等[32]利用CNN卷積神經(jīng)網(wǎng)絡(luò)中間層學(xué)習(xí)服飾本體信息，較高層學(xué)習(xí)隱義信息，通過兩者的依賴關(guān)系設(shè)計出融合“本體-隱義”的多標(biāo)簽圖像分類模型，分類圖像的深層隱義信息；Sun等[33]通過R-CNN神經(jīng)網(wǎng)絡(luò)提取特征,使用目標(biāo)檢測方法對民族服飾圖像進(jìn)行人體和屬性檢測,最后完成識別；趙海燕[34]介紹了深度卷積神經(jīng)網(wǎng)絡(luò)，并利用現(xiàn)有的數(shù)據(jù)庫和網(wǎng)絡(luò)框架，用3種不同的網(wǎng)絡(luò)結(jié)構(gòu)模型訓(xùn)練優(yōu)化圖像樣本，通過對比發(fā)現(xiàn)CaffeNet網(wǎng)絡(luò)模型的識別效果最好。

沒有全連接層的CNN，就是全卷積網(wǎng)絡(luò)，全卷積網(wǎng)絡(luò)可以輸入不同大小的圖像。張茜等[35]提出的服裝圖像檢索方法利用視覺風(fēng)格分析概率模型標(biāo)簽優(yōu)化，加入側(cè)分支網(wǎng)絡(luò)，利用標(biāo)注標(biāo)簽進(jìn)行語義分割，計算相似度實現(xiàn)檢索。

RBF是一種包括輸入層、隱藏層、輸出層在內(nèi)的3層神經(jīng)網(wǎng)絡(luò)（圖4），訓(xùn)練簡潔，具有較簡單的結(jié)構(gòu)。

圖4 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

PNN基于統(tǒng)計原理，是徑向基網(wǎng)絡(luò)的一種，學(xué)習(xí)過程簡單且訓(xùn)練速度快，在模式分類方面較優(yōu)秀。PNN一般由輸入層、模式層、求和層和輸出層4層組成（圖5）。PNN具有較好的容錯性。

圖5 PNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

徐紅梅[36]結(jié)合PNN神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)，提出一種以民族服飾視覺特征為主的識別方法，對互助土族的女性衣袖“秀蘇”和土族盤繡繡片實現(xiàn)自動識別。其中，“秀蘇”的識別準(zhǔn)確率達(dá)到98%，而盤繡繡片準(zhǔn)確率為75%。

2.2 其他的少數(shù)民族服飾圖像的分類檢索方法

除了基于神經(jīng)網(wǎng)絡(luò)的方法外，還有其他的少數(shù)民族服飾圖像的分類檢索方法。

多任務(wù)學(xué)習(xí)就是把多個相關(guān)聯(lián)的任務(wù)放在一起學(xué)習(xí)，目的是為了使多個任務(wù)之間產(chǎn)生相互影響。吳圣美等[37]結(jié)合人體檢測和多任務(wù)學(xué)習(xí)，提出新的少數(shù)民族服裝識別方法，并以云南少數(shù)民族服裝為例，提取出5種底層特征包括顏色直方圖、HOG以及LBP算子等，用多任務(wù)分類器模型來實現(xiàn)少數(shù)民族服裝圖像的識別。

主成分分析（Principal Component Analysis，PCA）[38]常用于數(shù)據(jù)降維，用于提取數(shù)據(jù)的特征分量。姜興瓊[39]利用PCA方法提取少數(shù)民族服飾圖像上的主成分特征，提取閾值分割下所得到的PCA特征。

以上介紹了幾種基于深度學(xué)習(xí)的少數(shù)民族服飾圖像的分類檢索方法，相比于傳統(tǒng)圖像內(nèi)容方法，精準(zhǔn)度有了顯著的提高，且分類任務(wù)更偏向于日常實際應(yīng)用的場景。各類基于深度學(xué)習(xí)的少數(shù)民族服飾圖像分類對比與分析見表2。

表2 深度學(xué)習(xí)分類方法的對比與分析

3 總結(jié)與展望

就目前的研究情況來看，少數(shù)民族服飾圖像分類檢索任務(wù)以民族種類和民族服飾屬性為主。不同文獻(xiàn)的分類、識別任務(wù)類別數(shù)目不同難度也不同。一般來說類別數(shù)量越多，分類、識別難度越大。不管是基于傳統(tǒng)圖像內(nèi)容的少數(shù)民族服飾圖像分類檢索方法還是基于深度學(xué)習(xí)的少數(shù)民族服飾圖像分類檢索方法都取得了一定進(jìn)展，但是目前還尚未成熟，還需要克服一定的問題。其中可以加強研究的問題有：

（1）添加新類別困難。由于少數(shù)民族服飾存在遺失，所以大部分的少數(shù)民族服飾分類不全面。一旦添加新種類的少數(shù)民族服飾，就需要輸入全部的少數(shù)民族服飾圖像數(shù)據(jù)進(jìn)行模型的重新訓(xùn)練。隨著少數(shù)民族服飾不斷被恢復(fù)，圖像種類不斷被增加，同時圖像數(shù)目達(dá)到一定的數(shù)量，訓(xùn)練變得困難。

（2）如何進(jìn)行特征選取。圖像特征是少數(shù)民族的服飾圖像分類檢索的基礎(chǔ)，使用不同的圖像特征會直接影響到少數(shù)民族服飾的分類任務(wù)準(zhǔn)確率?；趥鹘y(tǒng)圖像的內(nèi)容容易依賴于圖像特征，對研究者定義的圖像特征要求較高，但是對數(shù)據(jù)數(shù)量要求較低。而深度學(xué)習(xí)的方法中，在進(jìn)行一系列卷積池化的操作后，使用最后一個全連接層時，容易丟失部分少數(shù)民族服飾圖像的細(xì)節(jié)信息，導(dǎo)致分類結(jié)果出現(xiàn)偏差。

（3）數(shù)據(jù)集稀缺。數(shù)據(jù)集是訓(xùn)練模型時的必需品。但是現(xiàn)有的少數(shù)民族服飾圖像不足以支撐完整的龐大的數(shù)據(jù)集，數(shù)量上還是有欠缺，只能在線上或博物館才能收集到少數(shù)民族的服飾圖像，收集到的圖像還需要進(jìn)行一系列的預(yù)處理才能使用。而且，每個研究者對少數(shù)民族服飾的分類理解不同，就目前來說，還沒有較為標(biāo)準(zhǔn)的數(shù)據(jù)集。

（4）相關(guān)參考文獻(xiàn)稀少。少數(shù)民族服飾的研究，大多屬于文科或藝術(shù)類學(xué)科，大部分都是少數(shù)民族文化研究或少數(shù)民族服飾圖樣款式研究，與計算機結(jié)合的方法沒有那么多，因此相關(guān)參考文獻(xiàn)較為稀少，還有大量發(fā)展的空間。