基于組合特征檢索策略的圖像檢索技術(shù)研究

劉 晙， 劉 丹

（河南機(jī)電高等?？茖W(xué)校 計(jì)算機(jī)科學(xué)與技術(shù)系，河南 新鄉(xiāng) 453003）

0 引 言

在各種信息爆炸式增長的今天，如何從海量信息中檢索到所需要的、最有價(jià)值的信息是非常關(guān)鍵的。相比于文本、音頻信息的檢索，圖像檢索的數(shù)據(jù)量更加龐大，檢索過程也更加復(fù)雜［1］。

圖像檢索方法有3個(gè)分支，即基于文本的圖像檢索、基于內(nèi)容的圖像檢索和基于語義的圖像檢索［2－3］?；谖谋镜膱D像檢索以圖像名等文本信息為檢索依據(jù)，易因?yàn)槲谋緲?biāo)注的錯(cuò)誤而產(chǎn)生歧義；基于語義的圖像檢索是建立在圖像特征進(jìn)一步抽象上的檢索，可以看作基于內(nèi)容圖像檢索的升級(jí)；基于內(nèi)容的圖像檢索是當(dāng)前的主流方法，其常用的檢索特征包括顏色特征、形狀特征和紋理特征。

用于檢索的顏色特征有顏色直方圖、顏色矩等［4］，紋理特征有灰度共生矩陣、Gabor紋理等［5］，形狀特征有輪廓、梯度、邊緣等［6］。

對(duì)于一幅圖像而言，往往同時(shí)包含顏色特征、紋理特征和形狀特征信息，因此基于一類特征的圖像檢索效果往往不理想，多特征融合的策略才更有利于提高檢索結(jié)果的準(zhǔn)確性［7－9］。

本文將分別從顏色特征、紋理特征、形狀特征中選取有代表性的特征，構(gòu)建一種基于組合特征檢索策略的圖像檢索方法，以期獲得更好的檢索效果。

1 3種特征的求取

為了增強(qiáng)圖像檢索技術(shù)的魯棒性，將顏色特征、紋理特征、形狀特征組合在一起，作為判別查詢圖像和數(shù)據(jù)庫圖像相似性的依據(jù)是本文方法的核心思路。選取空間顏色直方圖為顏色特征，選取局部二值陣列為紋理特征，選取基于輪廓的Hu矩為形狀特征，作為組合特征的3種不同輸入。

1.1 空間顏色直方圖特征

顏色直方圖是基于統(tǒng)計(jì)規(guī)律表示圖像顏色信息的重要特征，也是圖像檢索中最為常用的顏色特征。

在已有的圖像檢索方法中，有顏色直方圖、全局直方圖、模糊直方圖、累計(jì)直方圖等。但這些方法都只關(guān)注了顏色的統(tǒng)計(jì)信息，而沒有考慮到顏色特征與像素空間位置的關(guān)系?？臻g顏色直方圖是將顏色信息和空間信息有機(jī)地結(jié)合在一起，也是本文圖像檢索方法中采用的顏色特征。假設(shè)圖像的表征變量為f，圖像的尺寸為M×N，則定義一個(gè)新的中間描述變量為：

其中，hf（k）為顏色直方圖信息，并且進(jìn)行了歸一化處理。

再定義2個(gè)中間描述變量如下：

其中

其中，d（p，bf（k））為歐幾里德度量。

基于hf（k）、bf（k）、σf（k）這3個(gè)變量，可以將空間顏色直方圖定義為：

1.2 局部二值陣列特征

圖像紋理特征是圖像檢索技術(shù)中常用的特征，也形成了包括灰度共生矩陣、小波紋理、Gabor紋理在內(nèi)的眾多特征。

局部二值陣列也稱LBP特征，是一種重要的圖像紋理表達(dá)形式。

對(duì)于3×3像素大小的圖像鄰域而言，局部二值陣列的具體求解流程為：以這個(gè)鄰域的中心位置處的像素作為閾值，記作f（xc，yc）；然后，逐一取鄰域中其他像素與中心點(diǎn)像素進(jìn)行對(duì)比；如果其灰度大于中心點(diǎn)像素灰度，更新其灰度為1，如果其灰度小于中心點(diǎn)像素灰度，更新其灰度為0；從而實(shí)現(xiàn)所有鄰域像素的二值化處理。具體數(shù)學(xué)公式如下：

其中，gc為中心點(diǎn)像素的灰度；gi為鄰域中其他位置像素的灰度。

當(dāng)整個(gè)鄰域的像素全部執(zhí)行二值化處理后，8個(gè)鄰域像素的s（gi，gc）值構(gòu)成了8個(gè)字節(jié)的二進(jìn)制數(shù)，再將這個(gè)二進(jìn)制數(shù)執(zhí)行十進(jìn)制處理，并用此十進(jìn)制數(shù)更新中心像素的灰度，即完成了一個(gè)像素的局部二值陣列計(jì)算，具體計(jì)算如下：

一個(gè)像素局部二值陣列計(jì)算過程如圖1所示。

圖1 一個(gè)像素的局部二值陣列計(jì)算過程

當(dāng)局部二值陣列的計(jì)算遍歷圖像中全部像素以后，圖像將變?yōu)長BP的形式。相比于原始圖像信息，局部二值陣列圖像的紋理特征更加明顯，特別適用于紋理特征相似性的比較。局部二值陣列圖像的紋理特征效果及其灰度直方圖特征如圖2所示。

圖2 局部二值陣列圖像紋理特征的視覺效果和灰度直方圖

1.3 基于輪廓的Hu矩特征

圖像的形狀可以看作是圖像視覺效果的高層表達(dá)，但是在圖像基本信息（如尺寸）不一致的情況下，圖像形狀也會(huì)表現(xiàn)出變化，這樣不利于在圖像檢索中使用。為此，各種基于形狀不變形的特征描述算子被提煉出來，如慣性矩、內(nèi)角、梯度、Harris角點(diǎn)、Hu矩等。本文對(duì)于圖像形狀特征的表達(dá)，采用Hu矩特征。

為了準(zhǔn)確地提取Hu矩特征，對(duì)于圖像執(zhí)行去噪、特征區(qū)域連通等預(yù)處理工作是非常必要的。本文首先通過LOG濾波去除圖像中的噪聲像素，執(zhí)行閾值判斷形成二值化圖像，對(duì)各個(gè)區(qū)域進(jìn)行標(biāo)記處理，最后執(zhí)行形態(tài)學(xué)的閉合處理將閉合不完整的區(qū)域徹底閉合。

一般的Hu矩是基于區(qū)域計(jì)算出來的，其計(jì)算復(fù)雜度高且計(jì)算量大。為此，本文采用一種基于輪廓的Hu矩計(jì)算思路，以便用更短的時(shí)間完成Hu矩的計(jì)算。

具體的操作步驟如下：

（1）完成（7）式的線性積分。

其中，（x，y）為曲線C經(jīng)過的所有像素點(diǎn)的坐標(biāo)；…。

當(dāng)p＝q＝0時(shí)，m00表示曲線的弧長。

（2）求解p＋q階的中心矩θpq。

（3）求解Hu矩的7個(gè)分量。

當(dāng)π1～π77個(gè)分量全部求解出來以后，基于輪廓的Hu矩可以用這7個(gè)分量構(gòu)成的一維數(shù)組加以描述，即

2 組合特征檢索策略

經(jīng)過上述處理，分別獲得了空間顏色直方圖特征、局部二值陣列特征和基于輪廓的Hu矩特征，將它們作為本文圖像檢索方法的顏色特征、紋理特征和形狀特征。如果僅采用其中的一類特征作為檢索依據(jù)往往無法對(duì)千差萬別的圖像形成可靠表達(dá)，為此本文制定了將顏色特征、紋理特征、形狀特征組合在一起的檢索策略，其原理框圖如圖3所示。

圖3 檢索策略的原理框圖

從圖3可以看出，首先對(duì)查詢圖像分別求取顏色特征、紋理特征、形狀特征，對(duì)數(shù)據(jù)庫中要參與與查詢圖像進(jìn)行相似性比較的圖像分別進(jìn)行對(duì)應(yīng)圖像特征的求取，再逐一比較查詢圖像和數(shù)據(jù)庫圖像的顏色特征相似性、紋理特征相似性、形狀特征相似性，形成測(cè)度1、測(cè)度2、測(cè)度3，然后分別根據(jù)3個(gè)相似性測(cè)度的重要性乘以對(duì)應(yīng)的權(quán)重系數(shù)，將配置了對(duì)應(yīng)權(quán)重系數(shù)的相似性測(cè)度疊加在一起，形成最終用于圖像檢索的檢索測(cè)度。通過比較查詢圖像和數(shù)據(jù)庫圖像的檢索測(cè)度，形成檢索結(jié)果相似性的順序排名。

本文中，測(cè)度1需要比較查詢圖像和數(shù)據(jù)庫圖像的空間顏色直方圖相似性，計(jì)算公式為（16）式，其中，Simcolor（q，t）為查詢圖像和數(shù)據(jù)庫圖像之間的顏色特征相似性；q為查詢圖像；t為數(shù)據(jù)庫圖像。

測(cè)度2需要比較查詢圖像和數(shù)據(jù)庫圖像的局部二值陣列的相似性，計(jì)算公式為：

其中，Simtexture（q，t）為查詢圖像和數(shù)據(jù)庫圖像之間的紋理特征相似性。

測(cè)度3需要比較查詢圖像和數(shù)據(jù)庫圖像的輪廓Hu矩特征相似性，計(jì)算公式為：

其中，Simshape（q，t）為查詢圖像和數(shù)據(jù)庫圖像之間的形狀特征相似性。

最后，在組合特征檢索策略框架下，形成的檢索測(cè)度公式為：

其中，λ1、λ2、λ3分別代表3種特征相似性的權(quán)重系數(shù)。

3 實(shí)驗(yàn)與分析

為了驗(yàn)證基于組合特征檢索策略圖像檢索方法的有效性，本文進(jìn)行了如下實(shí)驗(yàn)和實(shí)驗(yàn)結(jié)果分析。

實(shí)驗(yàn)所用的計(jì)算機(jī)為Dell Inspiron靈越筆記本，CPU芯片為Intel酷睿i5 4200U，CPU主頻為1.8GHz，內(nèi)存型號(hào)為DDR3L，內(nèi)存容量為4GB，硬盤容量為500GB。

實(shí)驗(yàn)所用的數(shù)據(jù)庫為自行構(gòu)建的小型圖像庫，圖像庫中包含建筑、人物、花鳥、山水、云天等10類圖像，每類圖像數(shù)量為100幅，數(shù)據(jù)庫總大小為1 000幅圖像。

基于組合特征檢索策略的圖像檢索方法用C＋＋語言編寫，顏色特征、紋理特征、形狀特征分別封裝在不同的類中，檢索測(cè)度的最終生成也由獨(dú)立函數(shù)實(shí)現(xiàn)。

以一幅建筑圖像為查詢圖像，按照基于組合特征檢索策略的檢索方法獲得檢索結(jié)果，如圖4所示。

圖4 以一幅建筑圖像為查詢圖像的檢索結(jié)果

圖4b～圖4f所示為相似度排名前5位的圖像，圖像類別都符合查詢圖像的要求，檢索結(jié)果在顏色特征、紋理特征、形狀特征上也都與查詢圖像有明顯的相似之處。

為了進(jìn)一步證實(shí)本文方法在檢索性能上的優(yōu)勢(shì)，將本文方法與分別使用單一檢索特征的方法進(jìn)行檢索效果的對(duì)比，并從查準(zhǔn)率和查全率2個(gè)指標(biāo)考察檢索性能上的差異，統(tǒng)計(jì)分析結(jié)果見表1所列。

表1中，前3種檢索方法僅使用了單一特征，對(duì)于建筑、花鳥、山水3類圖像的實(shí)驗(yàn)結(jié)果來看，3種方法的查準(zhǔn)率均值最高為0.673，查全率均值最高為0.677，后3種方法都是基于組合特征策略的檢索方法，空間顏色直方圖特征、局部二值陣列特征、基于輪廓的Hu矩特征都被使用，但各自的權(quán)重系數(shù)不同。

由表1可以看出，同時(shí)使用3種特征的組合檢索方法，無論在查準(zhǔn)率和查全率方面都具有明顯的優(yōu)勢(shì)。此外，3種特征配置權(quán)重不同也會(huì)影響到檢索效果，但也為組合檢索策略提供了靈活性，可以根據(jù)檢索圖像的性質(zhì)進(jìn)行調(diào)整。

表1 不同檢索方法的檢索性能比較

4 結(jié)束語

針對(duì)單一檢索特征造成的圖像檢索方法魯棒性不高的問題，本文提出了一種基于組合特征檢索策略的圖像檢索方法。在此方法中，分別使用了空間顏色直方圖作為顏色特征、局部二值陣列作為紋理特征、基于輪廓Hu矩作為形狀特征，每種特征配置相應(yīng)的權(quán)重因子，最終組合在一起形成檢索特征。實(shí)驗(yàn)結(jié)果表明，基于組合特征檢索策略的檢索方法無論在查準(zhǔn)率還是查全率方面都比單一特征檢索方法有了明顯的提高，并且具備較好的權(quán)重調(diào)節(jié)靈活性，更加適用于圖像性質(zhì)發(fā)生變化的情況。

［1］ Oosten J P V，Schomaker L.Separability versus prototypicality in handwritten word－image retrieval［J］.Pattern Recognition，2014，47（3）：1031－1038.

［2］ Ghosh S，Ghosh A.Content based retrieval of malaria pos－itive images from a clinical database VIA recognition in RGB colour space［J］.Advances in Intelligent Systems and Computing，2014，249：1－8.

［3］ 夏利民，朱 城，張海燕，等.基于分塊權(quán)值的語義圖像檢索［J］.計(jì)算機(jī)科學(xué)，2013，40（9）：266－269.

［4］ 陳秀新，賈克斌.三維量化顏色直方圖在彩色圖像檢索中的應(yīng)用［J］.計(jì)算機(jī)應(yīng)用與軟件，2012，29（9）：31－33.

［5］ 孫君頂，毋小省.紋理譜描述符及其在圖像檢索中的應(yīng)用［J］.計(jì) 算 機(jī) 輔 助 設(shè) 計(jì) 與 圖 形 學(xué) 學(xué) 報(bào)，2010，22（3）：516－520.

［6］ 袁 杰，魏寶剛，王李冬.一種綜合PHOG形狀和小波金字塔能量分布特征的圖像檢索方法［J］.電子學(xué)報(bào)，2011，39（9）：2114－2119.

［7］ 黨長青，宋鳳娟，劉樹明.基于多特征融合和相關(guān)反饋的圖像檢索［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44（3）：186－189.

［8］ 曾接賢，王軍婷，符 祥.K均值聚類分割的多特征圖像檢索方法［J］.計(jì)算機(jī)工程與應(yīng)用，2013，49（2）：226－230.

［9］ 程 剛.一種基于形狀的圖像相似性檢索方法［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，30（2）：148－150.