顏色和紋理混合描述符圖像檢索方法*

嚴 宇，宋 威

1.江南大學 物聯(lián)網工程學院，江蘇 無錫 214122

2.物聯(lián)網技術應用教育部工程研究中心，江蘇 無錫 214122

顏色和紋理混合描述符圖像檢索方法*

嚴 宇1,2+，宋 威1,2

1.江南大學 物聯(lián)網工程學院，江蘇 無錫 214122

2.物聯(lián)網技術應用教育部工程研究中心，江蘇 無錫 214122

如何從數據龐大的圖像數據庫中建立索引并準確檢索出相關圖像是現(xiàn)階段急需解決的問題。從圖像的局部2×2像素網格提取圖像的顏色和紋理特征，其中顏色特征從經過非均勻量化的HSV顏色空間提取，定義了5類新穎的紋理結構描述符用來描述圖像的紋理。通過分別提取每個顏色值的紋理特征結構得到最終的具有旋轉和尺寸不變性的顏色和紋理混合特征描述符（color and texture hybrid descriptor，CTHD）。在Corel標準圖片庫和Corel-5K圖片庫中進行了實驗，經過與其他圖像檢索方法對比，所提方法具有更好的檢索準確率。

顏色特征；紋理特征；結構元素描述符；旋轉和尺寸不變性

1 引言

隨著多媒體技術的發(fā)展，圖像在各個領域的應用越來越廣泛。如何有效地組織、管理和檢索大規(guī)模的圖像數據庫已成為目前研究的熱點問題[1]。早期的基于文本的圖像檢索算法是一種人為對圖像內容做出注釋，并進行關鍵詞搜索的技術。由于人為的注釋具有不充分、主觀、費時費力等缺點，基于內容的圖像檢索（content-based image retrieval，CBIR）技術[2]受到學術界及其實際應用領域的廣泛關注。CBIR是指根據圖像中對象或區(qū)域的顏色、形狀、紋理、空間位置關系等特征以及這些特征的組合來查詢圖像[3]?；趦热莸膱D像檢索技術在人臉識別、數字圖書館、衛(wèi)星遙感圖像、公安系統(tǒng)、商標版權等領域有著很廣泛的應用，CBIR技術的好壞取決于所提取的圖像特征描述符對圖像的鑒別能力，一個好的檢索系統(tǒng)能夠提取出圖像更多的細節(jié)信息。近年來，基于語義的圖像檢索[4]技術開始流行，相較于CBIR技術，該方法能夠描述圖像的語義信息，更符合人類的視覺感知。一些研究者運用相關反饋技術獲取用戶的喜好，能夠解決圖像底層特征與用戶認知之間的語義鴻溝，但是該方法缺少靈活性，且需要用戶及時地提供反饋信息。

在CBIR的研究中，學者們提出了很多典型的算法來提取圖像的顏色、紋理和形狀特征。顏色特征是最主觀且易于區(qū)分的視覺特征，它計算簡單，具有旋轉、尺寸、平移無關性。比較常見的顏色檢索方法有顏色直方圖、顏色相關圖、顏色一致性矢量、顏色矩等[5]。紋理是一種反映圖像中同質現(xiàn)象的視覺特征，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結構組織排列屬性。紋理分析的主要算法有灰度共生矩陣、馬爾可夫隨機模型、Gabor濾波、小波分解等。形狀特征被廣泛地應用于目標識別和圖片檢索等領域，典型的形狀描述算法有不變矩、傅里葉變換系數、邊緣曲率和弧長等[6]。

近年來，出現(xiàn)了很多典型的基于內容的圖像檢索算法。吳建波等人提出了一種基于SIFT（scaleinvariant feature transform）優(yōu)化的圖像檢索算法[7]，該算法采用高斯核自適應的方法來構建金字塔影像，對于圖像的局部位置、尺度、旋轉不變量進行特征提取。該算法具有尺度、平移、旋轉不變性，但其尺度空間耗時，計算復雜。2013年Subrahmanyam等人[8]在MCM（motif co-occurrence matrix）基礎上使用改進后的基元共生矩陣（modified color motif co-occurrence matrix,MCMCM）表示圖像。上述兩者都主要從紋理特征出發(fā)，通過基元描述符提取圖像屬性信息，然而后者過于依賴權值，且對于一些特定的網格在基元提取中存在歧義。2013年Liu等人提出了顏色差分直方圖[9]（color difference histogram,CDH），該方法雖然考慮了圖像的顏色以及方向特征，但是未能充分地結合圖像的紋理空間分布信息。Wang等人提出的一種新穎的結構元素描述符[10]（structure elements’descriptor,SED）將RGB顏色空間轉換為HSV顏色空間，并將顏色空間量化為72柄，提出了5種結構描述符來描述圖像的紋理結構。該方法結合了圖像的顏色和紋理特征，但因為提取的紋理基元只保留符合條件的像素點，所以容易造成圖像信息的失真。

綜合上述問題，本文提出了一種有效的顏色和紋理混合特征描述符（color and texture hybrid descriptor，CTHD）來表示圖像，該描述符應用定義的5類新穎的結構元素符提取圖像的紋理特征，量化為72柄的HSV顏色空間被用來提取圖像的顏色特征。實驗中，逐次統(tǒng)計每個顏色級數下出現(xiàn)定義的5類結構元素的頻數，本文方法能夠有效地獲取圖像顏色和紋理特征之間的相互關聯(lián)信息。實驗表明本文提出的CTHD方法能夠高效地結合圖像的顏色紋理特征，相比于 SIFT[7]、MCMCM&DBPSP[8]、CDH[9]、SED[10]、HID（hybrid information descriptor）[11]等方法，本文方法具有很好的檢索性能。

2 HSV顏色空間量化

HSV顏色空間被廣泛地應用于顏色特征的提取。在HSV顏色空間中，H表示圖像的色調，S表示飽和度即顏色接近光譜色的程度，V表示圖像的明亮程度，HSV顏色空間符合人類的視覺感知。眾所周知，顏色提供了圖像的很多視覺特征，人眼無法在同一時間分辨出很多顏色，但是可以分辨出相似的一類顏色[10]。

為了分辨出相似的一類顏色，本文參考文獻[12]將HSV顏色空間量化為72級，經量化后的顏色空間能夠減少計算復雜度。實驗中將RGB顏色空間轉換到HSV顏色空間，根據HSV顏色空間的屬性特征，H∈[0,360],S∈[0,1],V∈[0,1],量化為72柄（bin）的過程如下：

按照人類的視覺分辨能力，將H分量非均勻量化為8級，S分量和V分量量化為3級，見式（1）、（2）、（3）：

構造一維特征矢量，按照以上的量化級，把3個顏色分量合成一維特征矢量:

式（4）中，QS、QV表示分量S、V被量化的級數，顯然QS=3,QV=3,則式（4）可以表示為：

這樣，H、S、V分量在一維矢量上分布開來。根據上述公式P的取值范圍為[0,1,2,…,71],計算P獲得72柄（bin）的一維直方圖。

3 特征提取

3.1 結構元素描述符

在基于內容的圖像檢索系統(tǒng)中，顏色、紋理和形狀扮演著非常重要的角色。圖像是由底層的顏色、紋理和形狀等特征表示的。作為同一類型的圖片，它們的局部結構特征往往具有一定的相似性。文獻[13]認為圖片的內容是由多個結構元素按照一定的規(guī)則組合而成的。如果能夠將特定的結構元素提取出來并進行有效的描述，即可將這些結構特征作為比較與分析不同圖像紋理信息的基礎。因此如何定義有效的結構元素描述符，將圖像的內容用結構元素描述符刻畫出來是實現(xiàn)圖像匹配的關鍵。針對2×2的像素網格，本文定義了5類結構元素描述符用來描述圖像的紋理結構，見圖1。

Fig.1 5 structure elements descriptors圖1 5類結構元素描述符

圖1中的結構元素描述符由2×2的像素網格定義而成，描述符（1）表示該網格中僅存在某一顏色值的像素；（2）表示兩個相鄰的像素擁有相同的顏色值；（3）表示對角的兩個像素擁有相同的像素值；（4）表示3個像素網格擁有相同的顏色值；（5）表示2×2的4個像素網格擁有相同的顏色值。文獻[13]只考慮了2×2的像素網格0°、45°、90°、135°和無方向這5個結構描述符作為圖像的紋理結構描述符，該結構元素描述符僅僅考慮了有限的幾種特殊的紋理分布，在提取圖像紋理特征過程中是一種失真處理，不具有全面性，無法反應圖像所有像素的結構信息。文獻[8]針對2×2的像素網格定義了6種基元結構，這6種基元都從2×2網格的左上角開始掃描，掃描順序遵循像素值變化最小的規(guī)則，即最先掃描左上角網格，緊接著掃描與左上角網格像素差值最小的網格。不論像素值的大小只要像素值變化趨勢一樣，就會擁有一樣的紋理結構，忽略了顏色信息，且只考慮了從左上角開始掃描的情況。相比于傳統(tǒng)的紋理結構描述符，本文的5類結構元素符考慮了2×2網格能夠出現(xiàn)的所有紋理結構情況，能更全面地表示圖像的紋理信息。

為了說明運用結構元素描述符提取圖像紋理特征的原理，針對2×2的像素網格假設原始圖像矩陣僅被量化為兩個顏色柄。定義Pi(i=0～5)表示2×2網格提取出的結構元素描述符類別，其中Pi由5位字符表示，第1位字符描述結構（1）出現(xiàn)的情況，當某個2×2網格出現(xiàn)結構（1）時，Pi第1位字符置1；依次類推，Pi第i位描述結構（i）的情況，當某個2×2網格出現(xiàn)結構（i）時，Pi的第i位字符置1。具體提取過程見圖2。圖2（a）中沒有出現(xiàn)任何定義的5類結構元素描述符的情況，則Pi所有值皆為0，定義無結構的情況為P0=00000;圖2（b）中出現(xiàn)了結構（1）的情況，則有P1=10000;繼續(xù)觀察圖2（c）～（f），當2×2網格出現(xiàn)結構（i）的情況時Pi(i=2～5)的第i位字符置為1，其他位字符置為0。分別有P2=01000,P3=00100,P4=00010,P5=00001。

Fig.2 Patterns extracted from structure elements圖2 結構元素描述符提取

3.2 顏色紋理結構描述符

Pi存儲了2×2像素網格應用5類結構元素符提取的圖像紋理信息，但是僅僅刻畫了圖像的紋理結構信息。為了在提取紋理特征的同時獲取圖像的顏色特征，定義SPC表示顏色值為C時出現(xiàn)紋理結構Pi的情況。實驗中通過統(tǒng)計SPC的情況，可以有效結合圖像的顏色和紋理信息。圖3描述了2×2的圖像網格紋理信息的提取過程，為了更簡單直觀地描述該提取過程，定義該網格只有0～3共4個顏色值。由圖3可以看出，當顏色值為0時，該網格出現(xiàn)的結構元素描述符為結構（2），即P2,則有SP0=P2;顏色值為1和3時出現(xiàn)的都是結構（1），即有SP1=SP3=P1;由于該網格中沒有出現(xiàn)顏色值2，不存在任何結構特征，則SP2=P0。

Fig.3 Extraction of structure map for each quantized color圖3 不同顏色值的結構圖提取

實驗中將各級顏色的SPC進行連結得到最終的特征向量SP,計算過程見式（6），其中(x,y)表示大小為m×n的圖像M的像素坐標，Q(Q∈[0,71])表示HSV顏色空間量化的顏色值，SPC(x,y)是每個像素點(x,y)的結構特征，其有5種不同的結構描述符。因此SP(x,y)是大小為72×5維的特征向量。

為了提取過程的簡單直觀，定義原始圖像是一幅顏色值為0～3，大小為4×4的圖像矩陣。圖4描述了SP(x,y)詳細的提取過程：

（1）實驗從矩陣的(0,0)位置出發(fā)，從左往右，從上往下，以兩個單位步長依次移動2×2的像素網格掃描圖像矩陣；

（2）觀察每個2×2網格顏色值i(i∈[0,3])出現(xiàn)結構Pj(j∈[1,5])的情況；

（3）得到最終的SP(x,y)={SP0∪SP1∪SP2∪SP3}。

Fig.4 Extraction flowchart ofSP(x,y)圖4 SP(x,y)提取流程圖

圖4（a）分析了顏色值為0時，紋理結構出現(xiàn)的情況。在圖像矩陣中有兩個2×2網格出現(xiàn)了顏色值為0的情況，第一個2×2網格顏色值出現(xiàn)在對角像素，即結構（3）的情況，則Pi的第3位字符置1；另外一個2×2網格符合結構描述符（2）的情況，即將Pi的第2位字符置1，得到最終的SP0=01100。圖4（b）分析了顏色值為1時的紋理結構信息，2×2網格出現(xiàn)顏色值1且結構（1）的頻數為2，出現(xiàn)結構（3）的頻數為1，則SP1=20100。依次類推，分別統(tǒng)計出顏色值為2、3時，SP2=30100,SP3=10100。根據式（6）得到最終的特征向量：SP={01100 20100 30100 10100},其中SP的維數為顏色值個數乘以結構元素描述符的個數，即4×5=20維。

觀察本文定義的紋理結構描述符，不難發(fā)現(xiàn)，它能解決旋轉圖像的檢索問題，本文的結構元素描述符具有旋轉不變性。進一步地，為了解決圖像縮放帶來的檢索困難，實驗中進行了歸一化處理，見式（7）：

式（7）中，Q表示HSV顏色空間被量化的顏色柄數，本文取值72；S表示結構元素描述符的個數，文中為5。因此CTHD是大小為72×5=320維的特征向量。

4 實驗結果與分析

實驗是在Matlab R2011b，MyEclipse 8.6和My-SQL搭建的平臺上進行。計算機系統(tǒng)配置如下：CPU為Intel?Corel i3-3240；主頻為3.40 GHz；內存為 4 GB；操作系統(tǒng)為Microsoft Windows7。實驗采用Corel標準圖像庫[14-15]。第一個圖像庫Corel-1K包括非洲土著、海灘、建筑、大巴、恐龍、大象、花卉、馬、山和食物10類圖片，每類數目為100張，一共1 000幅RGB彩色圖像。圖片大小均為256×384像素或384×256像素，JPG格式。第二個圖像庫Corel-5K包含日落、汽車、老虎等50類彩色圖像，每類數目為100張，一共5 000幅RGB彩色圖像，圖片大小為128×192像素或192×128像素，JPEG格式。

精確度precision與召回率recall是信息檢索領域中使用最為頻繁的兩種評價度量值。本文將PR值作為衡量檢索系統(tǒng)性能好壞的標準，其中精確度precision是指檢索到的相關圖像數M與當前檢索到的所有圖像總數N之間的比例，用于衡量圖像檢索的查準率。召回率recall是指檢索到的相關圖像數M與所有與檢索圖像相關的圖像數S的比例，用于衡量圖像檢索的查全率。具體計算公式如下：

在Corel-1K及Corel-5K圖像庫中，相同類別的圖像數目都為100，則S的值為100。實驗中，隨機抽取每個類別圖像中的15張圖片作為查詢圖像，則相應的在Corel-1K中要完成150次檢索，在Corel-5K中要完成750次檢索，求得M為10,20,…,100時precision的值，將其作為本文檢索方法的評價指標。

4.1 相似度度量

怎樣在數量龐大的數據庫中找到所需要的圖片，需要通過相應的相似度度量算法衡量圖片之間的相似性，從而檢索出與檢索圖片相似的圖片。對于圖像檢索，相似度度量是一個非常重要的環(huán)節(jié)，它直接決定了檢索時間以及檢索結果的正確性。常見的相似度度量算法有d1距離、歐氏距離、cos值等。假設查詢圖片的特征向量為Q={q1,q2,…,qn},圖片庫中圖片特征向量為T={t1,t2,…,tn},則這3種相似度度量公式定義如下。

d1距離：

歐氏距離：

cos值：

式中，M表示圖片特征向量的維數。本文針對式（10）～（12）進行了PR值對比實驗，對比結果見圖5及圖6。

在Corel-1K圖像庫中針對相同的檢索算法，本文提出的3種相似度度量方法d1距離、cos值和歐氏距離擁有不同的檢索表現(xiàn)。由圖5可以看出，d1距離度量方法的平均精確度-召回率曲線位于另外兩種相似度度量方法的上方，說明d1距離度量方法擁有比較好的檢索性能。

Fig.5 Mean precision-recall pair comparison of 3 similarity metrics on Corel-1K dataset圖5 Corel-1K圖像庫上3種相似度度量的平均精確度-召回率對比

圖6顯示了Corel-5K圖像庫中3種相似度度量算法的平均精確度-召回率對比結果。其中d1距離度量方法的檢索性能遠遠好于其他兩種相似度度量方法。本文的特征向量是維度為320的一維向量，針對同類樣本之間特征值的大小通常差異較小，而對于不同類別的圖像樣本之間，同維像素值相差通常比較大，通過計算比較檢索圖像與同種類別圖像的距離，及其與異類別圖像距離，d1距離的區(qū)分度要優(yōu)于歐氏距離和cos距離。并且本文采用的d1距離公式中不涉及平方、開方操作，運算簡單，檢索準確率高。因此本文將d1距離作為圖像檢索的相似度度量方法。

4.2 不同檢索方法的實驗結果分析

為了驗證本文方法的有效性，將其與SED、CDH、MCMCM&DBPSP（以下簡稱M&D）、HID、SIFT這5種方法分別在Corel-1K和Corel-5K圖片庫上進行對比實驗，得到的平均精確度-召回率對比結果如圖7和圖8所示。

由圖7可以看出，平均精確度-召回率曲線基本都呈現(xiàn)逐漸遞減的狀態(tài)。其中CTHD方法曲線都位于其他曲線上方，這表示本文方法在召回率相同的情況下?lián)碛懈叩臋z索準確率。觀察召回率為0.1時的情況，SED、CDH、MCMCM&DBPSP（以下簡稱M&D）、HID、SIFT方法的檢索準確率分別為77.6%、67.8%、62.5%、82.4%、2.1%，而本文方法擁有94.7%的檢索準確率，這說明本文方法具有很好的實用性。

Fig.6 Mean precision-recall pair comparison of 3 similarity metrics on Corel-5K dataset圖6 Corel-5K圖像庫上3種相似度度量的平均精確度-召回率對比

Fig.7 Mean precision-recall pair comparison of 6 retrieval methods on Corel-1K dataset圖7 Corel-1K圖像庫上6種檢索方法的平均精確度-召回率對比

觀察圖8，針對Corel-5K圖像庫，隨機抽取每個類別的15張圖像，完成750次檢索，統(tǒng)計召回率為0.1～1.0時的平均精確度，本文CTHD方法相比于其他檢索方法在召回率為0.1時比檢索結果次好的HID方法平均檢索準確率提高了20%，在召回率為0.2～0.4時平均精確度也高于次好的檢索方法10%左右。在其他的召回率下，本文檢索方法也擁有最高的檢索準確率。說明本文方法擁有較好的檢索性能。為了充分說明本文方法的有效性，還針對圖像庫中各類別圖像，對比了CTHD方法與其他方法前N張圖像的檢索準確率，結果見表1。

Fig.8 Mean precision-recall pair comparison of 5 retrieval methods on Corel-5K dataset圖8 Corel-5K圖像庫上5種檢索方法的平均精確度-召回率對比

表1統(tǒng)計了Corel-1K圖像庫中，每類圖片前12張圖像的平均檢索準確率-召回率。從表1中可以清晰地看出，本文方法針對Corel庫中的10個類別，都有著較高的檢索準確率，特別是針對花、恐龍、食物、馬和建筑，本文方法擁有95%以上的檢索精確率，對于沙灘和山這類圖像內容不太好描述的自然景觀，也有著相對比較高的檢索準確率。其中SIFT結構特征提取圖像的特征點及每個特征點對應的特征向量，由于某些圖像得到特征點數較少，不能很好地表示圖像內容，以及檢索結果受比例閾值等參數影響較大，魯棒性不強，因此檢索效率不高。SED方法只考慮了符合條件的結構元素描述符，提取過程中存在部分圖像紋理信息的失真。而本文方法從更符合人類視覺感知的HSV顏色空間提取圖像的顏色特征，提出的5類新穎的結構元素描述符考慮了2×2像素的各種顏色值下紋理分布的情況，綜合考慮了圖像的顏色和紋理信息。本文的檢索算法還擁有旋轉、縮放不變性，魯棒性強。

Table 1 Comparison of mean precision with respect to first-N percentage on Corel-1K dataset表1 Corel-1K圖像庫上前N張圖像平均檢索準確率-召回率

為了評價本文方法的檢索效率，實驗將5種檢索方法分別在Corel-1K圖像庫中提取圖像特征的時間進行了對比，對比結果如表2所示。

Table 2 Comparison of time for 5 retrieval methods on Corel-1K dataset表2 Corel-1K圖像庫上5種算法時間對比

從表2中可知，在特征提取時間的對比中，本文方法CTHD比HID方法慢，但是比其他3種方法快。其中M&D方法需要計算顏色基元共生矩陣，是圖像基元二維空間的紋理統(tǒng)計，空間復雜度高，時間消費大。CDH方法涉及LAB顏色空間的轉換，需要消耗大量時間。本文方法不涉及復雜顏色空間的計算，特征提取過程簡單，計算快速。

進一步地，為了更直觀反映檢索效果，從Corel-5K圖像庫中隨機抽取2幅圖像進行檢索，并根據相似度由高到低的順序進行顯示，檢索結果見圖9及圖10。

圖9顯示了老虎類語義圖像的檢索結果，分別列出了與查詢圖像最相似的前12張圖像，從檢索結果中可以看出，前12張圖像都是與檢索圖像同種類別的。圖10綠色植物檢索結果除了296.jpeg圖像，其他檢索結果皆與查詢圖像屬于同類別的圖像，其中第296.jpeg屬于珊瑚類別，雖然按照Corel-5K的圖像分類，珊瑚圖像與查詢圖片不屬于同一類別，但是它與綠色植物在紋理及顏色上有著相似的屬性，因此會被檢索出來?？傮w來說，本文方法具有良好的檢索表現(xiàn)。

5 結束語

Fig.9 Image retrieval for tiger圖9 老虎的檢索結果

本文提出了一種結合顏色和紋理混合描述符（CTHD）的圖像檢索方法，運用提取出的5類結構元素描述符歸納圖像的紋理結構信息，通過將RGB顏色空間轉換到HSV顏色空間，量化為72個顏色柄的HSV顏色空間來描述圖像的顏色信息。統(tǒng)計每個顏色柄的紋理結構分布情況，運用該方法可以在考慮圖像顏色信息的同時提取圖像的紋理結構信息，該方法魯棒性強，且具有旋轉、縮放無關性。通過與其他實驗的對比，本文方法具有很好的檢索性能。

Fig.10 Image retrieval for plant圖10 綠色植物的檢索結果

[1]Song Linlin,Wang Xianghai.Image retrieval algorithm based on comprehensive color and texture features[J].Computer Engineering andApplications,2011,47(34):203-207.

[2]Chen Xiangtao,Wang Aiyun,Xie Weiping,et al.Survey of clustering algorithm based in content-based image retrieval.[J].Application Research of Computers,2008,25(12):3546-3549.

[3]Zhuang Yueting,Pan Yunhe,Wu Fei.Web-based multimedia information analysis and retrieval[M].Beijing:Tsinghua University Press,2002:28-70.

[4]Liu Ying,Zhang Dengsheng,Lu Guojun,et al.A survey of content-based image retrieval with high-level semantics[J].Pattern Recognition,2007,40(1):262-282.

[5]Huang Jing,Kumar S R,Mitra M,et al.Image indexing using color correlograms[C]//Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition,San Juan,Puerto Rico,Jun 17-19,1997.Washington:IEEE Computer Society,1997:762-768.

[6]Liu Guanghai,Yang Jingyu.Image retrieval based on the texton co-occurrence matrix[J].Pattern Recognition,2008,41(12):3521-3527.

[7]Wu Jianbo,Zhao Jianmin,Zhu Xinzhong,et al.Image retrieval based on improved SIFT features[J].Microcomputer Applications,2011,27(5):4-7.

[8]Subrahmanyam M,Wu Q M J,Maheshwari R P,et al.Modified color motif co-occurrence matrix for image indexing and retrieval[J].Computers&Electrical Engineering,2013,39(3):762-774.

[9]Liu Guanghai,Yang Jingyu.Content-based image retrieval using color difference histogram[J].Pattern Recognition,2013,46(1):188-198.

[10]Wang Xingyuan,Wang Zongyu.A novel method for image retrieval based on structure elements’descriptor[J].Journal of Visual Communication and Image Representation,2013,24(1):63-74.

[11]Zhang Ming,Zhang Ke,Feng Qinghe,et al.A novel image retrieval method based on hybrid information descriptors[J].Journal of Visual Communication and Image Representation,2014,25(7):1574-1587.

[12]Liu Junling,Kong Degang,Zhao Hongwei,et al.Image retrieval based on weighted blocks and color feature[C]//Pro-ceedings of the 2011 International Conference on Mechatronic Science,Electric Engineering and Computer,Jilin,China,Aug 19-22,2011.Piscataway,USA:IEEE,2011:921-924.

[13]Liu Guanghai,Li Zuoyong,Zhang Lei,et al.Image retrieval based on micro-structure descriptor[J].Pattern Recognition,2011,44(9):2123-2133.

[14]Liu Yang,Jin Rong,Mummert L,et al.A boosting framework for visuality-preserving distance metric learning and its application to medical image retrieval[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2010,32(1):30-44.

[15]Walia E,Pal A.Fusion framework for effective color image retrieval[J].Journal of Visual Communication and Image Representation,2014,25(6):1335-1348.

附中文參考文獻：

[1]宋琳琳,王相海.一種綜合顏色和紋理特征的圖像檢索算法[J].計算機工程與應用,2011,47(34):203-207.

[2]陳湘濤,王愛云,謝偉平,等.基于內容圖像檢索的聚類算法研究[J].計算機應用研究,2008,25(12):3546-3549.

[3]莊越挺,潘云鶴,吳飛.網上多媒體信息分析與檢索[M].北京:清華大學出版社,2002:28-70.

[7]吳建波,趙建民,朱信忠,等.基于一種SIFT優(yōu)化算法的圖像檢索[J].微型電腦應用,2011,27(5):4-7.

2016-09,Accepted 2016-11.

Image Retrieval Based on Color and Texture Hybrid Descriptor*

YAN Yu1,2+,SONG Wei1,2
1.School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Engineering Research Center of Internet of Things Technology Applications,Ministry of Education,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:18762672458@163.com

Accurate image retrieval is required to index and retrieve large number of images from huge databases.This paper presents an efficient approach to encode the color and textural features of images from the local 2×2 pixel grids.The color features are extracted by quantizing the HSV color space into a single channel with reduced number of shades.The texture information is encoded with 5 structuring patterns generated from the locally structured elements chosen as a basis.Color and textural features are fused together to construct the inherent color and texture hybrid image descriptor(CTHD)which is rotation and scale invariant.This fusion is carried out by extracting textural cues over each shade independently.CTHD has been tested on the Corel-1K and Corel-5K datasets,and the experimental results suggest that CTHD outperforms state-of-the-art descriptors.The performance of the CTHD can also be effectively used under more complex image transformations.

color feature;textural feature;structure element descriptor;rotation and scale invariant

10.3778/j.issn.1673-9418.1609080

*The National Natural Science Foundation of China under Grant No.61673193(國家自然科學基金);the Fundamental Research Funds for the Central Universities of China under Grant Nos.JUSRP51635B,JUSRP51510(中央高?；究蒲袠I(yè)務費專項資金);the Natural Science Foundation of Jiangsu Province under Grant No.BK20150159(江蘇省自然科學基金).

CNKI網絡優(yōu)先出版:2016-11-07,http://www.cnki.net/kcms/detail/11.5602.TP.20161107.1703.010.html

YAN Yu,SONG Wei.Image retrieval based on color and texture hybrid descriptor.Journal of Frontiers of Computer Science and Technology,2017,11(11)：1816-1825.

A

TP391.4

YAN Yu was born in 1991.She is an M.S.candidate at School of Internet of Things(IOT)Engineering,Jiangnan University.Her research interests include image retrieval,pattern recognition and data mining.

嚴宇（1991—），女，江蘇淮安人，江南大學碩士研究生，主要研究領域為圖像檢索，模式識別，數據挖掘。

SONG Wei was born in 1981.He received the Ph.D.degree in computer science from Chonbuk National University,Korea in 2009.Now he is an associate professor at School of IOT Engineering,Jiangnan University,and the member of CCF.His research interests include pattern recognition,information retrieval,evolutionary computing,neural networks,image processing,data mining and knowledge discovery.

宋威（1981—），男，湖北恩施人，2009年于韓國全北國立大學獲得博士學位，現(xiàn)為江南大學物聯(lián)網工程學院副教授，CCF會員，主要研究領域為模式識別，信息檢索，演化計算，神經網絡，圖像處理，數據挖掘，知識發(fā)現(xiàn)。