基于BOW模型的相似圖像分類檢索方法

汪弋琛

摘 要傳統(tǒng)的相似圖像檢索大多基于顏色、紋理、場景等特征，缺少對圖像的局部特征提取，忽視了局部特征對相似圖像檢索的影響，檢索效果較差。本文采用視覺BOW（Bag of words）模型，提取圖像中尺度不變的SIFT特征，形成視覺單詞向量，設(shè)計了一個基于視覺單詞的相似圖像分類檢索方法，取得了較好的分類檢索效果。

【關(guān)鍵詞】圖像分類 檢索 BOW模型 SIFT

1 引言

當(dāng)今，在“互聯(lián)網(wǎng)+”環(huán)境下，圖像己經(jīng)成為網(wǎng)頁內(nèi)容中必不或缺的一部分，在基于關(guān)鍵字從網(wǎng)頁中尋找文本信息的同時，需要考慮如何能夠快速幫助用戶基于圖像的內(nèi)容找到相似的圖片?；趦?nèi)容的圖像檢索CBIR（Content Based Image Retrieval）是指根據(jù)圖像本身、圖像的內(nèi)容語義以及上下文聯(lián)系進行查找，以圖像語義特征為線索從圖像數(shù)據(jù)庫中檢出具有相似特性的其它圖像。這一概念是于1992年由T.Kato提出的，被廣泛應(yīng)用于各種研究領(lǐng)域，如統(tǒng)計學(xué)、模式識別、信號處理和計算機視覺。

認(rèn)知心理學(xué)派認(rèn)為，人類大概可以分類三萬個不同的類別。計算機視覺要模仿并達到人類對圖像的分類處理能力，在處理新類別圖像時，必須學(xué)習(xí)已有知識以加快分類過程。目前，國內(nèi)外現(xiàn)有的基于內(nèi)容的圖像分類檢索系統(tǒng)主要有四種：基于顏色信息的檢索、基于圖像紋理的檢索、基于形狀特征的檢索和基于空間位置的檢索。美國麻省理工學(xué)院、荷蘭阿姆斯特丹大學(xué)等相繼開展了圖像檢索系統(tǒng)相關(guān)應(yīng)用及技術(shù)研究，典型代表是Vasconcelos提出的調(diào)整權(quán)的原則和Rui提出的貝葉斯法則。

2 視覺BOW模型

2.1 BOW模型

BOW模型最早出現(xiàn)在自然語言處理和文本信息檢索領(lǐng)域，該模型忽略掉文本的語法、語序等要素，將文檔看作若干詞匯的集合，文檔中的單詞是獨立出現(xiàn)的，使用一組無序的單詞（words）表達一個文檔。根據(jù)文本中單詞的統(tǒng)計信息完成對文本的分類。

首先給出兩個簡單的文本文檔如下：

John likes to watch movies. Mary likes too.

John also likes to watch football games.

根據(jù)文檔中出現(xiàn)的單詞，構(gòu)建如下一個詞典 （dictionary）：

{"John"： 1， "likes"： 2，"to"： 3， "watch"： 4， "movies"： 5，"also"： 6， "football"： 7， "games"： 8，"Mary"： 9， "too"： 10}

上面的詞典中包含10個單詞， 每個單詞有唯一的索引（標(biāo)號）， 那么每個文本可以使用一個10維的向量來表示。如下：

[1， 2， 1， 1， 1， 0， 0， 0， 1， 1]

[1， 1， 1， 1， 0， 1， 1， 1， 0， 0]

該向量的維度是單詞的個數(shù)，值是每個單詞在文本中出現(xiàn)的頻率。以上向量也可以用單詞的直方圖表示，詞表相當(dāng)于直方圖的基，要表述的文檔向這個基上映射。

并非所有的單詞都用來構(gòu)建詞表，相似的單詞用一個單詞表示。例如“walk， walking ，walks”都用 “walk”表示。單詞對區(qū)分文檔的重要性通過計算單詞TF-IDF（term frequency–inverse document frequency，詞頻-逆向詞頻）實現(xiàn)。

BOW模型用于文本分類包括詞表的建立、樣本訓(xùn)練、新來樣本識別三個步驟。

與文本相似，圖像可以視為與位置無關(guān)的局部特征的集合，局部特征的地位就類似于文本中的單詞，稱作“視覺單詞”，視覺單詞的集合稱為“視覺詞典”。詞袋模型可以類比地應(yīng)用于圖像分類中，文獻[3，4，5]中，BOW模型被廣泛用到了圖像的目標(biāo)分類。

2.2 SIFT算法

尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform或SIFT）是一種特征點提取算法，用來偵測與描述影像中的局部特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉(zhuǎn)不變量。此算法由David Lowe在1999年所發(fā)表，2004年完善總結(jié)。

SIFT算法的實質(zhì)是在不同的尺度空間上查找關(guān)鍵點（特征點），并計算出關(guān)鍵點的方向。SIFT所查找到的關(guān)鍵點是一些十分突出，不會因光照，仿射變換和噪音等因素而變化的點，如角點、邊緣點、暗區(qū)的亮點及亮區(qū)的暗點等。

2.3 視覺BOW模型分類過程

圖像的BOW模型表示即圖像中所有圖像塊的特征向量得到的直方圖。具體分類過程如下：

2.3.1 提取訓(xùn)練樣本圖像塊中的特征向量

SIFT算法在構(gòu)建好的尺度空間的基礎(chǔ)上搜索尺度空間中的極值點（特征點），然后確定極值點的尺度信息以及位置，再確定極值點的方向（其鄰域梯度的主方向），最終可以得到具有魯棒性的128維（4*4*8）的特征描述子。

2.3.2 利用K-Means算法構(gòu)造詞表

K-Means算法是一種基于樣本間相似性度量的間接聚類方法，此算法以K為參數(shù)，把M個對象分為K個簇，使簇內(nèi)具有較高的相似度，而簇間相似度較低。若K=n，通過K均值聚類算法后，得到n個新的聚類中心。每一個聚類中心為一個視覺單詞，n個聚類中心即為構(gòu)建的詞典，即圖像視覺單詞直方圖的一個基。

以SIFT 128維為例，假如現(xiàn)在有3張訓(xùn)練圖片：人臉、自行車、小提琴，對每一張訓(xùn)練圖片都提取SIFT的128維特征，那么最終可以得到 M = N1+N2+N3 個128維的特征，Ni 代表第i張圖特征點的個數(shù)。

SIFT提取的視覺單詞向量，根據(jù)距離的遠(yuǎn)近，可以利用K-Means算法將詞義相近的詞匯合并，作為詞表中的基礎(chǔ)詞匯，假定我們將K設(shè)為4，那么經(jīng)過聚類后，詞表中單詞數(shù)為4個。endprint

2.3.3 利用視覺BOW量化圖像特征，利用詞頻直方圖表示圖像

統(tǒng)計詞表中每個單詞在圖像中出現(xiàn)的次數(shù)，將圖像表示為K維數(shù)值向量。上例中，可以將圖像表示成為一個K=4維數(shù)值向量：

人臉：[3，30，3，20] 自行車：[20，3，3，2] 小提琴：[8，12，32，7]

每幅圖的視覺單詞與詞頻直方圖如圖1所示。

實際應(yīng)用中，為了達到較好的效果，單詞表中的詞匯數(shù)量K往往非常龐大，并且目標(biāo)類數(shù)目越多，對應(yīng)的K值也越大，一般情況下，K的取值在幾百到上千。

BOW模型建好后，對于新來的圖像，同樣通過下面三步判斷圖像類別。

（1）先提取圖像的SIFT特征；

（2）用詞表中的單詞將圖像表示成數(shù)值向量直方圖；

（3）通過分類器進行分類，看它屬于哪一類圖片。

3 基于BOW模型的圖像檢索方法

基于BOW模型的圖像檢索分兩個階段：訓(xùn)練階段和測試階段。

在訓(xùn)練階段，構(gòu)建詞典。將圖像用很多“塊”（patch）表示，以SIFT特征為例，圖像中每個關(guān)鍵點就是一個patch，每一個patch特征向量的維數(shù)128。筆者用500幅訓(xùn)練圖像樣本，詞典的大小為1000，用K-Means算法對所有的patch進行聚類，等K-Means收斂時，將得到每一個聚類最后的質(zhì)心，這1000個質(zhì)心（維數(shù)128）就是詞典里的1000個詞。

在測試階段，按照圖像的詞典表示進行比較，檢索圖像。對每幅圖像初始化一個維數(shù)1000、值全為0的直方圖，計算測試圖像每個patch與詞典中單詞的歐氏距離，距離最近的單詞對應(yīng)的直方圖計數(shù)加1，將所有patch計算完畢后的直方圖即為圖像的詞典表示。訓(xùn)練圖與測試圖都以1000維向量表示，對每個待檢索圖像，只需計算所有訓(xùn)練圖與其歐式距離，并返回最近的若干幅即可。

4 系統(tǒng)的Python實現(xiàn)

為了驗證基于BOW模型的相似圖像分類檢索效果，筆者開發(fā)了一個小型圖片管理系統(tǒng)，實現(xiàn)了用戶管理、用戶登錄、圖片上傳、圖片檢索等功能。并對圖片庫中500張圖片樣本建立了詞庫，用于進行相似圖像檢索。檢索效果如圖2所示。

圖2（a）為隨機排列的500幅訓(xùn)練樣本圖片，（b）為選擇一幅測試樣本圖片檢索后的搜索結(jié)果，由圖可以看出，相似的4幅圖片按相似度從高到低排列在第一行最左位置。

5 結(jié)語

視覺BOW模型能夠有效的將文本挖掘技術(shù)用于檢索相似圖像，但是，視覺BOW模型本身也存在一定的局限性。進一步研究可以采用區(qū)域劃分、分層詞袋模型、空間金字塔匹配等方法減少特征點空間信息損失；可以利用機器學(xué)習(xí)方法，構(gòu)造具有語義保護的視覺單詞詞典，用以減少語義信息丟失。

參考文獻

[1]DN Osherson，SM Kosslyn，LR Gleitman.An Invitation to Cognitive Science.2nd edition.MIT Press.1995.Chapter 4.121-165.

[2]O.G Cula.K.J.Dana.Compact. Representation of bidirectional texture functions.IEEE Conference on Computer Vision and Pattern Recognition，2001（01）.1041-1047.

[3]L.Fei Fei，R.Fergus，P.Perona.One-Shot Learning of Object Categories.IEEE Transactions on Pattem Analysis and Machine Intelligence，2006.28（04）.594-611.

[4]G Csurka，C.Dance，L Fan.Visual categorization with bags of keypoints.In Workshop on Statistical Learning in Computer Vision（ECCV），2004，1.

[5]G Dorko.C.Schmid.Object class recognition using discriminative local features.IEEE Transactions on Paaem Analysis and Machine Intelligence，2004.

[6]David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision，2004，60（02）：91-110.

[7]David G.Lowe.Object Recognition from Local Scale-Invariant Features.IEEE International Conference on Computer Vision，1999，2：1150.

作者單位

江蘇省新海高級中學(xué) 江蘇省連云港市 222003endprint