基于草圖的圖像檢索技術(shù)分析

周文惠

摘要：圖像作為媒體信息的重要載體之一，在我們的日常生活中有著廣泛的應(yīng)用。如何在大量的圖像中檢索出用戶(hù)想要的圖片成為一項(xiàng)有意義的研究?jī)?nèi)容。通過(guò)對(duì)比不同的圖像檢索方法，該文對(duì)基于草圖的圖像檢索這一項(xiàng)工作進(jìn)行總結(jié)，將現(xiàn)有的工作分為基于傳統(tǒng)方法的草圖跨域圖像檢索工作和基于深度學(xué)習(xí)的草圖跨域圖像檢索工作，并對(duì)不同的檢索方法進(jìn)行分析與比較，最后展望了該項(xiàng)工作的發(fā)展前景。

關(guān)鍵詞：跨域;草圖;圖像

中圖分類(lèi)號(hào)：TP3 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）28-0208-02

隨著多媒體技術(shù)的發(fā)展，圖像作為媒體信息的重要載體，對(duì)圖像進(jìn)行檢索成為一項(xiàng)有研究意義的工作?，F(xiàn)有的檢索方法中，使用文字描述方法對(duì)媒體信息進(jìn)行檢索有著一定的缺陷：1）只有少量的多媒體信息能夠被文字準(zhǔn)確的描述;2）不同國(guó)家、地區(qū)對(duì)同一種物體的描述也不相同，這些缺陷導(dǎo)致基于文字的跨域檢索工作存在著檢索范圍狹窄、檢索準(zhǔn)確率低等問(wèn)題。由于草圖提供了比文字更多的信息且草圖能夠消除不同語(yǔ)言對(duì)檢索目標(biāo)描述的差異等特性，研究者們提出了基于草圖的跨域檢索這一工作，克服了上述基于文字跨域檢索的缺陷。圖1[1]為基于草圖的圖像檢索過(guò)程。

1基于草圖的圖像檢索研究背景

基于草圖的圖像檢索自1992年[2]首次提出后備受計(jì)算機(jī)視覺(jué)等領(lǐng)域的關(guān)注，近年來(lái)也取得了越來(lái)越高的準(zhǔn)確率。根據(jù)現(xiàn)有的研究可以將該項(xiàng)工作分為特征提取，特征空間嵌入，度量學(xué)習(xí)，和相似度檢索四個(gè)步驟，其具體方法為將草圖和圖像進(jìn)行特征表示，并將得到的特征嵌入到特征空間中，再使用度量學(xué)習(xí)使嵌入空間中同類(lèi)的特征距離拉近不同類(lèi)特征距離推遠(yuǎn)，最后使用相似度進(jìn)行檢索。本文根據(jù)檢索過(guò)程中使用的方法將該項(xiàng)工作分為基于傳統(tǒng)方法的草圖跨域圖像檢索和基于深度學(xué)習(xí)的草圖跨域圖像檢索兩項(xiàng)工作。

基于草圖的圖像檢索工作存在以下特點(diǎn)：1）模態(tài)差異性：手繪草圖一般只包含整體形狀和有代表性的局部特征形狀，而圖像在形狀、顏色和紋理上有著更比草圖豐富的細(xì)節(jié)，二者屬于不同模態(tài)，有著一定的差異性。2）草圖類(lèi)間差異性：草圖由于手繪草圖通常只由幾筆構(gòu)成，與此同時(shí)，草圖存在著相同類(lèi)別中特征差異很大的特點(diǎn)，因此如何在內(nèi)容較少的草圖中提取到草圖具有代表性的特征也是一個(gè)問(wèn)題。

2基于草圖的圖像檢索技術(shù)分類(lèi)

2.1 基于傳統(tǒng)方法的草圖跨域圖像檢索

在基于傳統(tǒng)的檢索方法中，Kato等人[2]提出了使用基于像素的檢索方法，該方法首先提出將標(biāo)準(zhǔn)化的草圖和需要檢索的圖像分成相同數(shù)量的塊，然后將塊與塊之間像素的相似性進(jìn)行比較，從而達(dá)到檢索的目的。在該方法中由于塊和塊之間的距離較小，可以解決圖像的隨機(jī)失真等問(wèn)題，但由于草圖和檢索的圖像存在著像素不匹配等特性，該方法仍然存在一定缺陷。為了解決上述基于檢索方法中存在的問(wèn)題Chans[3]提出了而且使用了曲線（率）模型來(lái)提取特征和編碼解決上述問(wèn)題，都在一定程度上提高準(zhǔn)確率。隨著多媒體技術(shù)的不斷發(fā)展，圖像的數(shù)據(jù)量也越來(lái)越大，如何對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行特征提取成為草圖跨域圖像檢索的一大挑戰(zhàn)。針對(duì)大規(guī)模圖像數(shù)據(jù)的特征，有研究者提出了基于手工特征描述符的方法[4-6]，該方法使用手工特征描述符對(duì)草圖和三維物體特征進(jìn)行特征描述，然后在詞袋模型[7]內(nèi)執(zhí)行匹配過(guò)程，以評(píng)估查詢(xún)草圖和所檢索對(duì)象之間的相似性從而進(jìn)行檢索，其中手工描述符包含：SIFT[8]， HOG[9]， SelfSimilarity[10]等。

2.2 基于深度學(xué)習(xí)的草圖跨域圖像檢索

近年來(lái)，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的快速發(fā)展，研究者們提出了基于深度學(xué)習(xí)的草圖跨域圖像檢索方法，該方法能夠克服傳統(tǒng)方法中耗費(fèi)大量人力和手工特征描述符提取能力有限等問(wèn)題。Qi[11]等認(rèn)為使用傳統(tǒng)的檢索方法基本思想是通過(guò)對(duì)圖片的邊緣提取生成與草圖相近的圖片以減少草圖和視圖之間的差異，然而真實(shí)圖像的邊界很難與素描的筆畫(huà)相匹配，為了解決這一問(wèn)題，該作者提出利用Siamese卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)草圖和圖像進(jìn)行特征提取，從而獲得一個(gè)將輸入模式映射到目標(biāo)空間的函數(shù)，再使用度量函數(shù)減少同類(lèi)之間目標(biāo)空間距離。由于現(xiàn)有的方法只有在圖像背景純凈的情況下檢索效果才好，且不適用于大規(guī)模的草圖跨域圖像檢索任務(wù)，為了提高大規(guī)模草圖檢索的效率，Liu[12]等人提出了基于哈希編碼的草圖跨域檢索方法，該方法將草圖和圖像使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，在進(jìn)行特征提取時(shí)使用了權(quán)值共享的提取方法。與此同時(shí)，該方法提出從圖像中生成sketch-tokens的圖像，不同于使用canny算子的生成方法，他們只反映自然圖像的基本邊緣，沒(méi)有詳細(xì)的紋理信息。與此同時(shí)，該方法還使用了將草圖與圖像和生成的sketch-tokens三個(gè)特征共同送入三個(gè)cnn進(jìn)行特征提取后進(jìn)行二進(jìn)制編碼計(jì)算距離的網(wǎng)絡(luò)框架。該網(wǎng)絡(luò)使用了Cross-view Pairwise Loss和Semantic Factorization Loss兩種損失函數(shù)，其中Cross-view Pairwise Loss度量了草圖和圖像之間二進(jìn)制編碼的距離，使草圖和圖像之間同一個(gè)類(lèi)距拉近，不同類(lèi)距離推遠(yuǎn)。Semantic Factorization Loss對(duì)存在內(nèi)在語(yǔ)義關(guān)聯(lián)的不同標(biāo)簽之間的特征空間進(jìn)行度量。

3總結(jié)與展望

在計(jì)算機(jī)視覺(jué)領(lǐng)域，基于草圖的其他研究工作也在飛速發(fā)展，如：對(duì)草圖進(jìn)行識(shí)別與分類(lèi)、基于筆畫(huà)生成草圖、基于草圖的跨模態(tài)二維圖像檢索、基于草圖的跨模態(tài)三維模型檢索等工作。隨著該項(xiàng)工作的不斷發(fā)展，如何提高其實(shí)用性也越來(lái)越受研究者們的關(guān)注，在基于草圖的圖像檢索領(lǐng)域，研究者們?cè)趥鹘y(tǒng)的檢索工作的基礎(chǔ)上提出了基于細(xì)粒度的草圖跨域圖像檢索和基于零樣本的草圖跨域圖像檢索，如何對(duì)這研究工作進(jìn)行效率的提升和模型的簡(jiǎn)化方法使其檢索效率更高也成了一項(xiàng)值得研究的工作。

參考文獻(xiàn)：

[1] Li Y，Li W Z.A survey of sketch-based image retrieval[J].Machine Vision and Applications，2018，29（7）：1083-1100.

[2] Kato T，Kurita T，Otsu N，etal.A sketch retrieval method for full color image database-query by visual example[C].IAPR International Conference on Computer Vision and Applications， 1992：530–533.

[3] ChansY，LeiZ，LoprestiDP.etal.A feature-basedapproach for image retrieval by sketch[C].SPIE International Symposium on Voice， Video and Data Communications， 1997：220–231.

[4] Li B， Lu Y J， Johan H. Sketch-based 3D model retrieval by viewpoint entropy-based adaptive view clustering[C]//Proceedings of the 6th Eurographics Workshop on 3D Object Retrieval. Aire-la-Ville： Eurographics Association Press， 2013：49-56.

[5] Li Y H， Lei H P， Lin S J， et al. A new sketch-based 3D model retrieval method by using composite features[J].Multimedia Tools and Applications，2018，77（2）： 2921-2944.

[6] Zhang D S， Lu G J. A comparative study of Fourier de-scriptors for shape representation and retrieval[C]//Proceedings of the 5th Asian Conference on Computer Vision. Heidelberg：Springer，2002： 646-651.

[7] Eitz M，Richter R，Boubekeur T，et al.Sketch-based shape retrieval[J].ACM Trans.Graphics，2012，31（4）：10.

[8]D avid GLowe.Distinctive image features from scaleinvariantkeypoints[J].IJCV， 2004.

[9] NavneetDalal，Bill Triggs.Histograms of oriented gradients for human detection[J].CVPR，2005.

[10]S hechtmanE，Irani M.Matching localself-similarities across images and videos[J].2007IEEE Conference on Computer Vision and PatternRecognition，2007：1-8.

[11] Qi Y G，Song Y Z，Zhang H G，etal.Sketch-based image retrieval via Siamese convolutional neural network[J].2016IEEEInternational Conference on Image Processing（ICIP），2016：2460-2464.

[12] Liu L， Shen F， Shen Y， et al. Deep sketch hashing： Fast free-hand sketch-based image retrieval[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：2862-2871.

【通聯(lián)編輯：代影】