關于“基于內容的圖像檢索”的調查報告

趙謙

目前，檢索技術已成為應用的熱點，人們對于檢索的需求也不斷提高?？焖僬系臋z索能力，支持混合檢索并提供友好的查詢界面，向用戶提供多種用途的檢索服務，適應網絡化、智能化和個性化的檢索方式是視音頻內容檢索實現的目標。為適應這一要求，特就基于內容的圖像檢索（CBIR）有關技術應用并利用這一技術就百度和Google兩大搜索引擎的功能進行調查分析。

一、基于內容的圖像檢索（Content-based Image Retrieval）

從20世紀70年代開始，有關圖像檢索的研究就已開始，當時主要是基于文本的圖像檢索技術（Text-based Image Retrieval，簡稱TBIR），利用文本描述的方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等。目前還在廣泛使用，一張照片，配以文字說明照片拍攝的時間、地點、事件的主要內容等。

到90年代以后，出現了對圖像的內容語義，如圖像的顏色、紋理、布局等，利用這些語義內容對圖像進行分析和檢索的技術，即基于內容的圖像檢索（Content-based Image Retrieval，簡稱CBIR）技術。此技術屬于圖像分析的一個研究領域。

圖像內容可以分為兩類：①低層視覺，其內容主要包括顏色、形狀、紋理等；②語義內容，它包含高層的概念級反應（如大漠孤煙直，長河落日圓），需要對物體進行識別和解釋，往往要借助人類的知識推理。

二、CBIR的檢索原理和建立索引的方式

2.1 CBIR的檢索原理

CBIC的檢索原理主要包括三方面：（1）對用戶需求的分析和轉化，形成可以檢索索引數據庫的提問；（2）收集和加工圖像資源，提取特征，分析并進行標引，建立圖像的索引數據庫；（3）根據相似度算法，計算用戶提問與索引數據庫中記錄的相似度大小，提取出滿足閾值的記錄作為結果，按照相似度降序的方式輸出。

2.2建立索引的方式

建立索引的方式是通過提取底層特征，然后通過計算比較這些特征和查詢條件之間的距離，來決定兩個圖片的相似程度：

1、提取特征值：利用一些數學規(guī)則（公式），把圖像進行一個量化的描述，按照色彩、形狀、圖案、紋理等不同要求，把一張圖片轉化為一組數字，稱其為特征值。由于是采用的同樣的規(guī)則，所以每一張圖片都能提取出一組特征值。

2、特征值的比對：由于采用的規(guī)則是相同的，如果兩張圖片是一樣的，提取的特征值也會相同，這樣就可以把兩張圖片的內容比較轉化為兩組特征值的數字比較，也就是用數字量的比較代替了模擬量的比較：a、如果兩張圖片是相似的，提取的特征值也是相近的；b、如果兩張圖片相差很大，其特征值也會有很大的差距。

3、結合語義分析：相同特征值的圖片不一定就是相同的內容，結合圖片的語義進行分析判斷單純使用圖像的底層特征值，容易產生混淆，因為不同的圖像也會有近似的特征組合。低層的特征并不直接代表圖像的語義信息，還需要抽取圖像的語義特征。采用了相關文字信息來表征圖像的語義特征，比如：時間、產品特點、創(chuàng)作人、聯(lián)系方式等。通過使用文字信息，使不同類別、不同名稱之間的圖像有了明顯的區(qū)分，避免了混淆，提高了檢索精度。

三、關于CBIR的調查

3.1基于圖像內容的搜索引擎及其評價

目前國際上已經有很多頂級企業(yè)如Google、Bing、Ebay、Amazon等進軍CBIR的領域。Google連續(xù)投資或收購了Plink、Pixazza、Like三家公司，累計金額超過1億2千萬美元；蘋果則收購了人臉視覺搜索Polar Rose；微軟也在Bing上大力推廣圖像相似搜索。

⑴：TinEyehttp：//tineye.com/TinEye是加拿大Idée公司研發(fā)的相似圖片搜索引擎，其特點是：1、發(fā)現圖片的來源與相關信息；2、研究追蹤圖片信息在互聯(lián)網的傳播；3、找到高分辨率版本的圖片；4、找到有你照片的網頁；5、看看這張圖片有哪些不同版本。

⑵：百度http：//shitu.baidu.com 百度正式上線了其最新的搜索功能——“識圖（shitu.baidu.com）。該功能是百度基于相似圖片識別技術，讓用戶通過上傳本地圖片或者輸入圖片的URL地址之后，百度再根據圖像特征進行分析，進而從互聯(lián)網中搜索出與此相似的圖片資源及信息內容。但需要注意的是，用戶上傳本地圖片時，圖片的文件要小于5M，格式可為JPG、JPEG、GIF、PNG、BMP等圖片文件。

⑶：GazoPahttp：//www.gazopa.com/GazoPa搜索圖片時，不依據關鍵詞進行檢索，而是通過圖片自身的某些特征（例如色彩，形狀等信息）來進行搜索。

GazoPa搜索有兩大特色：一是通過手繪圖片搜索圖片，這種方式其實沒太大用處，但也算是一個很有獨創(chuàng)性的搜索引擎。GazoPa目前還處在內測階段，想要加入測試的可以在官網上留下你的郵箱地址，收到邀請后你就可以測試使用了。二是通過視頻縮略圖搜索視頻，GazoPa僅憑一張視頻縮略圖就可找到相關視頻。只要有截圖，就可以找到截圖的視頻。

⑷：Googlehttp：//similar-images.googlelabs.com/Google實驗室的圖片搜索：輸入一個關鍵詞后，例如“l(fā)ake”，返回的頁面里面點擊某個圖片的下面的Similar images，運用Google 類似圖片搜索功能引擎，即刻為你把類似的圖片全部搜索出來，展示給用戶以便查看。其準確率、相似率相對比較高。

⑸：Picituphttp：//www.picitup.com/Picitup是一個剛開始公測的專業(yè)圖片搜索引擎，功能非常強大，并支持中文關鍵字的搜索，是國內圖片愛好者的不錯選擇。Picitup主要支持關鍵字的搜索，但在它的特色搜索項目——名人匹配搜索（Celebritymatchup）中，你可以通過上傳本地照片來進行搜索，不過結果一般讓人失望。Picitup可以通過在搜索結果頁選擇過濾方式來篩選圖片，比如可以按顏色、頭像（人臉）、風景、產品四種類別來過濾搜索結果。

⑹：Tiltomohttp：//www.tiltomo.com/Tiltomo是由 Flickr開發(fā)的一個搜索工具，主要用來維護Flickr 自己的圖片數據庫，其搜索算法主要是基于相似的主題風格或相似的色調和材質。

⑺：Incognahttp：//www.incogna.comIncogna的搜索速度非?？?，主要是基于色彩和形狀上的相似性。

⑻：Terragalleriahttp：//www.terragalleria.comTerragalleria主要基于視覺上的相似性，而不考慮圖片的內容。

⑼：必應http：//cn.bing.com/ Bing.com允許你進行一次關鍵字搜索后再執(zhí)行相似性的搜索。你可以為Live索引中的任意一張圖片尋找相似的圖片，但搜索結果看起來并不是很精確。

3.2搜索引擎調查對象

這次調查從兩個圖像搜索功能比較強大的的搜索引擎網站百度和Google進行

四、百度識圖與Google以圖搜圖

4.1關于調查內容

此次調查一共選用約58張圖片。網上下載圖片42張：人物圖片共14張，其中男女性明星各7張；植物圖片共6張，其中花朵3張，樹木3張；風景圖共22張，校園風景圖6張，風景16張。數碼相機拍攝照片16張：人物共10張，寵物4張，二維碼2張。

4.2百度識圖

下載圖片：14張知名人物圖片的搜索結果中，男性明星中有6張可以搜索出人物姓名并提供圖中人物的詳細介紹，未能搜索出人物姓名的那張圖片給出的結果“背帶嬰兒”這幅圖片是此男星斜背吉他，與“背帶”也有一定的關系。其中有1張是一個國外明星的背影圖片，而搜索結果中依然能夠給出了人物名稱。而7張女星圖片的搜索結果中中都可以得出搜索姓名，其中有4名中國女星，3名外國女星。其中1幅圖片是電影《成長教育》的截圖，搜索結果中不僅給出了圖中人物的名字，同時還提到了這部電影的名稱。6張植物圖片的搜索結果中都可以得出詳細的植物名稱。圖片選用了1張鐵桿海棠，2張西府海棠，1張龍爪槐，2張白楊樹。其中對鐵桿海棠的搜索結構中出現了“鐵桿海棠”一詞。西府海棠中出現“西府海棠”“櫻花”兩種結果，這兩種花型較為相似，人肉眼也不好區(qū)分。在對龍爪槐的搜索中能準確顯示“龍爪槐”，而兩張白楊樹均顯示“山藥”“甘蔗”等結果。6張大學校園圖片中有4張可以顯示出大學的名字，另外2張分別顯示的是“大學校園”和“建筑”。圖片選用了2張北京大學的圖片，其中博雅塔1張，西門1張；選用了3張山東大學的圖片，其中洪家樓教堂1張，軟件學院大門1張，中心校區(qū)餐廳1張；選用1張南京大學圖片，內容是南京大學北大樓。博雅塔圖片能給出“校園”標簽，但是沒有顯示北京大學，在類似圖片中給出了多張博雅塔的圖片。西校門的搜索結果中有“北京大學”的搜索結果。3張山東大學的圖片中，其中軟件學院圖片結果中可以得出“山東大學”的介紹。洪家樓教堂的搜索結果中出現“西式教堂”的搜索結果，但沒有出現“山東大學”條目。中心校區(qū)餐廳則只給出了“建筑”的結果。在南京大學的圖片中只給出了“校園”的條目16張風景圖片中全部都可以找到相似圖片，部分搜索結果給出了風景區(qū)的名稱。采用海洋2張，霞光4張，河流4張，海灘2張，山川4張。其中，2張海洋圖片均為馬爾代夫天堂島的圖片，在搜索結果中，其中1張可以準確顯示“天堂島”搜索結果。霞光圖片3幅朝霞，1幅晚霞，晚霞圖片可以準確得到的“晚霞”搜索結果，3張朝霞圖片均顯示“霞光”。河流圖片中，1張黃河壺口瀑布圖片，1張長江瞿塘峽圖片，另外2張分別是長江黃河流域源頭的圖片。其中壺口瀑布的圖片可以準確得出“壺口瀑布”的搜索結果，瞿塘峽圖片也可以準確得出“瞿塘峽”的搜索結果，長江源頭圖片得出“長江流域”的顯示結果，黃河源頭的圖片沒有顯示結果，而海灘和山川也分別顯示出不同程度的結果。

自己拍攝的圖片：10張人物圖片有6張可以搜索出類似特征，4張無法搜索出結果。其中有6張女性圖片，4張男性圖片。女生圖片中4張給出了“美女”“古典美女”等搜索結果，另外2張無搜索結果。4張男性圖片中，2張顯示搜索結果是“土豪”“墨鏡男”，另外2張無顯示結果。4張寵物圖片可以搜索出寵物的品種。采用2張?zhí)┑先畧D片，2張貓咪的圖片。2張?zhí)┑先乃阉鹘Y果中均給出了“貴賓”“泰迪”的搜索結果，貓咪圖片的索索結果顯示為“貓咪”“萌寵”“動物”等。2張二維碼圖片可以顯示二維碼的搜索結果，但無法搜索出其代表含義。2張二維碼的內容分別“你好”“再見”，搜索引擎能顯示“二維碼”“二維碼 手機”的搜索結果，但是卻沒有讀出其中包含的信息。

3.3 Google以圖搜圖

下載圖片：14張知名人物圖片搜索結果中全部都可以可以搜索出人物姓名并給出詳細介紹，和百度不同的是，Google給出的是“對圖片的最佳猜測”，而百度給出的是多種標簽。百度的搜索結果相對寬泛一點，而Google的搜索結果相對精準一點。那張國外明星的背影圖片，Google同樣也給出了搜索結果。那張在百度搜索結果顯示為“背帶嬰兒”的照片，Google沒有給出結果，但下面的搜索條目中出現了此明星的名字。對于國內某知名影星的1張賽車服照片，搜索結果甚至中給出了拍攝時間“2013年”。其中1張國內某知名青年作家的圖片，給出了“中國知名人物”的搜索結果，而另一相對不太出名的作家的圖片，則給出了“棕黃色”的搜索結果，此作家的頭發(fā)是金黃色的。而7張女性圖片搜索結果中全都給出了正確的“最佳猜測”結果。其中有5名中國女性，2名外國女性。建筑學家林徽因的圖片搜索結果給出了“林徽因”，而作家張愛玲的那張圖片的結果則給出了“民國女子”，與韓寒的那張“中國知名人物”相對應，可以推測，在人物查詢方面，Google不僅利用了語義特征，還綜合利用底層基本特征，并且其所做的貢獻占了相當大的比重。6張植物圖片的搜索結果中都可以得出植物名稱，但不能給出詳細的品種。Google只是給出了“海棠”的結果，并沒有給出“西府海棠”“鐵桿海棠”等精確的結果，但是并沒有出現百度中“櫻花”的錯誤。和百度識圖一樣，Google并沒有給出2張楊樹圖片的搜索結果，但槐樹圖片給出了“龍爪槐”的搜索結果?？梢奊oogle中的查詢結果但求正確率，不求精準率。而百度比較精準，但也更容易出錯。6張校園圖片中有6張全可以搜出大學的名字。博雅塔能給出“北京大學”的推薦，相對百度要準確一點。西校門的搜索結果中有“北京大學”的搜索結果。另外三張山東大學的圖片和一張南京大學的圖片，都沒有最佳猜測結果。16張風景圖片中全部都可以找到相似圖片，但效果不太好。采用海洋2張，海灘2張，山川4張，霞光4張，河流4張。海洋和山川的圖片中沒有給出相關搜索結果猜測，霞光圖片4張都沒有搜索結果。河流中，4張圖片均可以準確判斷河流流域，搜索結果分別為“長江流域”“長江三峽”“黃河”“壺口瀑布”?？傮w來說，Google對風景圖的搜索效果不太好，在海洋的圖片搜索結果中給出了“background wallpaperhd（高清壁紙）”的猜測，另一個給出了“ chinese character classification（漢字分類）”的猜測。

自己拍攝的圖片：10張人物圖片均沒有給出最佳推薦。戴墨鏡圖片的搜索結果則出現很多類似墨鏡男的圖片。在這一方面可以看出Google的嚴謹性性，但同時又缺少了趣味性和娛樂性。4張寵物圖片不能給出寵物的品種猜測。這一張貴賓犬泰迪裝，搜索結果中沒有給出搜索結果。但卻給出了大量的貴賓犬相似圖片。2張二維碼圖片可以顯示“qr code mcdonalds”字樣，同樣無法搜索出其代表含義，Google亦不能讀出其中的信息

四、結論

百度識圖58張圖片中，有正確搜索結果的51張，錯誤搜索結果的3張，未給出搜索結果的4張，正確率為87.93%，失誤率5.17%。通過以上調查可以知道百度識圖的整體功能強大，對于知名人物和著名的建筑物有很好的識別能力，對于風景、植物和寵物的鑒別較為精確，失誤率不高。

（1）在人物的搜索結果中，所得圖片可以明確得到人物信息，并且識別率很高。搜索結果類似圖片中的顏色、形狀有很大差異，但都是關于此明星的圖片?？梢酝茰y百度識圖通過圖像語義來實現搜索的貢獻相對底層特征的貢獻要大一些。

（2）在風景的搜索結果中，其所得類似圖片中，絕大多數的色彩和構圖與原圖類似，可見在風景這一搜索范圍，是采用顏色、形狀和紋理等底層特征來進行鑒別。

（3）在植物和動物的搜索結果中，所得結果的顏色比較類似，在楊樹的搜索結果中顯示“甘蔗”，而圖片中的楊樹是成排的，可以推測其搜索功能應該主要是靠顏色特征和形狀特征來實現的。

Google以圖搜圖58張圖片中，有正確搜索結果的36張，錯誤搜索結果的1張，未給出搜索結果的21張，正確率為62.06%，失誤率1.72%。通過以上調查可以知道Google識圖的整體功能比較強大，同樣是對于當紅明星和著名的建筑有很好的識別功能，但對于風景、植物和寵物的鑒別比較差，正確率和失誤率均比較低。

（1）人物的搜索結果中，特別是女性，所得結果可以明確得到人物信息，并且識別率很高。搜索結果類似圖片中的顏色、形狀有很大差異，但都是關于此明星的圖片?？梢酝茰yGoogle搜圖中通過圖像語義來實現搜索結果的貢獻相對底層特征的貢獻要大一些。

（2）風景的搜索結果不盡人意，搜索結果給出的信息較少，可見在風景這一搜索領域，Google還有所欠缺。

（3）植物和動物的搜索結果中，所得結果的顏色比較類似，其搜索功能應該主要是靠顏色來實現，同樣但不排除形狀和紋理的貢獻。

此次通過58張不同圖片的比較，可以看出百度的搜索功能更為強大特別是在人物、風景、植物方面較為突出。但是搜索結果錯誤率相對Google搜索較高，搜索結果寬泛，不太嚴謹。在使用自己拍攝的圖片搜索的時候，所得結果新穎有趣，相比Google更具有娛樂性和趣味性。

Google意圖搜索雖然錯誤率低，但相對來說比較嚴謹，缺乏靈活性，搜索功能以知名人物為主，風景和動植物圖片的搜索能力較弱。

參 考 文 獻

[1]井濤.基于顏色形狀紋理綜合特征的CBIR.數字圖像處理.2012.12

[2]袁順波.性能評價研究：現狀與建議.情報雜志2008年第5期

[3]中國教程網.十一個相似圖片搜索網站.（http：//www.u148.net/article/33760.html）

[4]呂琳.數字媒體資產管理.DMA-04.2015.04