基于內(nèi)容的圖像檢索（CBIR）中圖像顏色特征提取方法的研究和改進

楊光皓等

摘要：該文給出了一種基于顏色分布直方圖借助四叉樹圖像分割進行圖像檢索的方法，該方法使用與人類視覺感知相符合的HSV顏色模型，通過構(gòu)造四叉樹借助MeanShift算法對圖像進行分割，提取出特征顏色，得到顏色分布的直方圖。最后利用EMD算法衡量圖像與圖像之間的距離，實現(xiàn)圖像的搜索。

關(guān)鍵詞：基于內(nèi)容檢索；均值漂移；四叉樹；圖像分割；特征顏色

中圖分類號：TP18 文獻標(biāo)識碼：A 文章編號：1009-3044（2014）11-2642-05

Abstract： The paper presents a method for image retrieval with the aid of image segmentation. This method is based on color distribution histogram and uses the HSV color model which is consistent with human visual. With the help of MeanShift Algorithm， we use quadtree to divide the image and extract the main color， which is helpful for us to get the distribution of color histogram. Last but not least we use the EMD algorithm to measure the distance between images， so that we can implement the image search.

Key words：CBIR； meanshift； quadtree； image retrieval； main color

隨著網(wǎng)絡(luò)和多媒體技術(shù)的發(fā)展，以及數(shù)字圖像的大量應(yīng)用和存儲空間成本的降低，數(shù)字圖像的數(shù)量正在飛速的增張，從而催生了基于內(nèi)容的圖像檢索（Content-Based Image Retrieval，CBIR），在電子商務(wù)[1]，醫(yī)學(xué)[2]等方面產(chǎn)生了各種優(yōu)化和改進的算法。在一幅圖像中，顏色是最主要的特征，且顏色具有與生俱來的旋轉(zhuǎn)不變性和尺度性，對大小和方向都不敏感，有很強的魯棒性，因此顏色可以被用于圖像檢索。常見的檢索方法包括Swain等人提出的基于顏色直方圖相交的方法，為了加強空間分布信息，改進的方法包括：使用累加直方圖的檢索算法[3]，分塊主顏色的圖像檢索算法[4]。但是這些方法都注重強調(diào)的是圖像顏色直接特征，而沒有考慮人的視覺感受，人們的視覺會自動將相似顏色歸類，區(qū)域分布也會影響顏色的實際感受。

傳統(tǒng)的圖像分割技術(shù)包括基于閾值的分割方法、基于區(qū)域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法等，這些分割方法容易產(chǎn)生較精確的邊緣，但實際上對顏色來說，這些精確的邊緣并不重要，設(shè)置一些噪聲會對實際的圖像內(nèi)容解釋產(chǎn)生一些偏差。我們將特征空間聚類和基于區(qū)域的方法結(jié)合起來，提出了基于四叉樹分割圖像的辦法，將圖像的顏色以一種快速的方式按照大小不同的矩形進行劃分，提高了執(zhí)行效率，也減小了噪聲的干擾。

1 算法的基本思路

首先我們將圖像的顏色值從RGB空間轉(zhuǎn)換到HSV空間以符合人眼的視覺模型，然后再對圖像利用四叉樹進行分割，其中以Mean Shift均值漂移作為是否分割區(qū)間的判斷標(biāo)準(zhǔn)。分割完成后對圖像直方圖進行統(tǒng)計，得出多個顏色特征值以及其權(quán)重。最后進行圖像檢索時，通過EMD距離計算這些特征值之間的相關(guān)程度從而找出語義上最近似的圖像。算法的整體框圖如圖1所示。

1）色彩空間變換

傳統(tǒng)的統(tǒng)計直方圖是按照色相這個值來將整幅圖像轉(zhuǎn)化為一維的直方圖。雖然在這樣一個直方圖上相鄰的組在色相上互相接近，但是沒有考慮亮度和飽和度對人類視覺的影響。在同樣的色相值的前提下，亮度過高，人類的視覺會把它辨認(rèn)為白色，而飽和度過低的話，人們會把它辨認(rèn)為灰色，所以我們對直方圖統(tǒng)計做了一個改進。

首先將圖像從RGB空間轉(zhuǎn)化為HSV空間。依此遍歷處理圖像中的每個像素點，主要分析其色相，劃歸到相應(yīng)的H中，再計算同樣H的所有像素點的S和V的平均值[S]和[V]，以H[S][V]的值對應(yīng)的顏色作為代表顏色繪制出來，更符合人類視覺。2）圖像的分割

我們不直接使用顏色直方圖作為我們獲取圖像顏色特征的依據(jù)，是因為顏色直方圖丟失了圖像的空間信息， 為了要尋找出直方圖中的特征值，我們利用四叉樹對圖像進行了分割，對圖像中的顏色根據(jù)空間信息重新修正，并離散化以得到相對獨立且明顯的顏色特征。

四叉樹分割的流程如下：首先設(shè)置一個迭代層數(shù)k，我們將最多的對圖像實施k次分割。我們將按照如圖2所示的流程來完成對圖像的分割。設(shè)置兩個隊列，一個是待合并隊列，另一個是待分裂隊列。我們先將原始圖像作為窗口放入待分裂隊列。然后重復(fù)以下步驟直到滿足K層的迭代深度。

檢測分裂隊列，對選定的窗口進行劃分（初始窗口是原始圖像）讓圖像分為上下左右四個等份，并將它們標(biāo)記為當(dāng)前窗口的孩子。我們需要檢測這幾個子窗口中是否有一個區(qū)域中顏色一致，如果有，那我們就將它們稱為確定的目標(biāo)區(qū)域，不再需要對其進行分割，并放入下一輪的合并隊列，以該父區(qū)域的特征顏色作為其特征顏色。最后把余下的子窗口放入下一輪的分裂隊列。

檢測合并隊列，如果隊列非空，說明有目標(biāo)區(qū)域，因為按照之前的四分窗口的方法，可能出現(xiàn)同一個對象被分在了兩個窗口的情況，所以需要對兩個相鄰的目標(biāo)區(qū)域檢測是否滿足合并的條件。如果兩個區(qū)域特征顏色相近，那么我們就可以把兩個區(qū)間合并為一個新的確定區(qū)域。

如果目標(biāo)區(qū)域是一個很小的區(qū)域，但旁邊有個很大的目標(biāo)區(qū)域。我們在對他們進行合并操作的時候，就需要檢測兩者的根節(jié)點。從而讓同屬同一個對象的區(qū)域能夠自動合并到父親區(qū)域中。endprint

交替處理這兩條隊列，最后，就可以得到整張圖像的區(qū)域劃分結(jié)果。

由于采用了四叉樹的結(jié)構(gòu)，時間復(fù)雜度將會大大降低，特別是對于顏色較少的純色圖像，將會獲得更快的劃分結(jié)果，并且這會將大多數(shù)的噪聲消除。最終分割出來的結(jié)果也將會是色塊構(gòu)成的圖像。我們需要的顏色信息在劃分的過程中已經(jīng)完成了統(tǒng)計，故最終我們會得到按照區(qū)域面積度量的顏色分布直方圖。

3）Mean Shift算法：

如何在一個窗口中找出是否含有目標(biāo)的子區(qū)域，我們采用的是Mean Shift聚類算法[6]。Mean Shift是一種非參數(shù)化的多模型分割方法，它的基本計算模塊采用的是傳統(tǒng)的模式識別程序，即通過分析圖像的特征空間和聚類的方法來達到分割的目的。它是通過直接估計特征空間概率密度函數(shù)的局部極大值來獲得未知類別的密度模式，并確定這個模式的位置，然后使之聚類到和這個模式有關(guān)的類別當(dāng)中[5]。

這里利用局部最大值的點來判斷何處的區(qū)域為可能的目標(biāo)區(qū)域。我們首先通過提取窗口中心顏色的值，然后從之前的顏色直方圖中找出對應(yīng)的亮度和飽和度信息還原出圖像的顏色信息。通過幾次Mean Shift的均值漂移，若漂移距離超過閾值，則可認(rèn)為從中心到新的局部極大值點中存在著一塊密度上升的脊線，而且這個區(qū)域可以基本覆蓋整個子區(qū)域。

4） 特征值的提取

由于圖像按照四叉樹分割，從而原來隨著區(qū)域面積連續(xù)變化的顏色直方圖被離散化，顏色直方圖上一個個波峰就得以被分了開來而這一分開的依據(jù)就是顏色的空間信息。原來兩個波峰相連的顏色實際上可能只是兩個對象的邊緣顏色，雖然可能面積很大，但是人類還是會將它們有選擇的忽視。這就是我們的算法的另一個優(yōu)勢。將直方圖分成零星的幾個柱之后，我們可以將每個柱群看作是一個顏色特征，它具體的值由最高峰來決定。

最后我們從這些柱群中挑選值最大的幾個作為該圖片的顏色特征值。

3.2 圖像檢索

我們隨機選取了108幅圖像組成的數(shù)據(jù)集來對提出的算法進行檢驗。給定一幅原圖像后，計算所有圖像與之的EMD距離，設(shè)定一個圖像相關(guān)的閾值，并對結(jié)果進行分析。

這幾組實驗結(jié)果證明，我們所提出的這種算法總體上均優(yōu)于累加直方圖加權(quán)距離法。雖然在和基于分塊主顏色方法比較的時候，查全率較低和較高的部分表現(xiàn)的有些不理想，但是在0.5以上的查全率的時候，隨著查全率的升高，查準(zhǔn)率還能穩(wěn)定在一個較高的水平，具有較高的穩(wěn)定性。

4 結(jié)束語

本文針對顏色直方圖丟失顏色空間分布信息的缺點，提出了一種通過將圖像進行四叉樹劃分的方法對顏色進行聚類分割的方法。為了突出一幅圖像的主體部分（人們最感興趣的部分） ，設(shè)計了一種包含顏色優(yōu)化的圖像分塊方法，再根據(jù)量化后的幾種顏色信息構(gòu)造圖像的顏色特征，并給出了相應(yīng)的圖像內(nèi)容相似度計算方法。實驗表明，該方法簡單、有效，通過利用顏色的空間分布特征能夠更加靈活、準(zhǔn)確地表示圖像主體內(nèi)容的特征，從而提高了圖像的檢索精度。

參考文獻：

[1] 姚琪，蔣達央.電子商務(wù)中基于內(nèi)容的商品圖像檢索技術(shù)研究[J]技術(shù)研究，2013（7）；74-76.

[2] 王如杰.基于特征融合的醫(yī)學(xué)圖像檢索[D].南京：南京理工大學(xué)，2013：1-2.

[3] Montiel E. Texture Classification via Conditional Histograms[J]. Pattern Recognition Letters， 2005， 26（11）：1740-1751.

[4] 林克正， 張彩華， 劉丕娥. 基于分塊主顏色匹配的圖像檢索[J].計算機工程， 2010， 36（13）：186-188.

[5] Fukunaga K， Hostetler L. The estimation of the gradient of a density function， with applications in pattern recognition[J]. Information Theory， IEEE Transactions on， 1975， 21（1）：32-40.

[6] Comaniciu D， Meer P. Mean shift：A robust approach toward feature space analysis[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2002， 24（5）： 603-619.

[7] Pele O， Werman M. Fast and robust earth mover's distances[C]//Computer vision， 2009 IEEE 12th international conference on. IEEE， 2009：460-467. [8] Smith J R， Chang S. Querying by color regions using the VisualSEEk content-based visual query system[J]. Intelligent multimedia information retrieval， 1997， 7（3）：23-41.

[9] http：//wang.ist.psu.edu/docs/related/（test database used in SIMPLIcity paper）

[10] 茹芳， 冀小平. 基于內(nèi)容的圖像檢索技術(shù)研究[J]. 科技情報開發(fā)與經(jīng)濟， 2008， 18（30）：153-154.endprint

交替處理這兩條隊列，最后，就可以得到整張圖像的區(qū)域劃分結(jié)果。

由于采用了四叉樹的結(jié)構(gòu)，時間復(fù)雜度將會大大降低，特別是對于顏色較少的純色圖像，將會獲得更快的劃分結(jié)果，并且這會將大多數(shù)的噪聲消除。最終分割出來的結(jié)果也將會是色塊構(gòu)成的圖像。我們需要的顏色信息在劃分的過程中已經(jīng)完成了統(tǒng)計，故最終我們會得到按照區(qū)域面積度量的顏色分布直方圖。

3）Mean Shift算法：

如何在一個窗口中找出是否含有目標(biāo)的子區(qū)域，我們采用的是Mean Shift聚類算法[6]。Mean Shift是一種非參數(shù)化的多模型分割方法，它的基本計算模塊采用的是傳統(tǒng)的模式識別程序，即通過分析圖像的特征空間和聚類的方法來達到分割的目的。它是通過直接估計特征空間概率密度函數(shù)的局部極大值來獲得未知類別的密度模式，并確定這個模式的位置，然后使之聚類到和這個模式有關(guān)的類別當(dāng)中[5]。

這里利用局部最大值的點來判斷何處的區(qū)域為可能的目標(biāo)區(qū)域。我們首先通過提取窗口中心顏色的值，然后從之前的顏色直方圖中找出對應(yīng)的亮度和飽和度信息還原出圖像的顏色信息。通過幾次Mean Shift的均值漂移，若漂移距離超過閾值，則可認(rèn)為從中心到新的局部極大值點中存在著一塊密度上升的脊線，而且這個區(qū)域可以基本覆蓋整個子區(qū)域。

4） 特征值的提取

由于圖像按照四叉樹分割，從而原來隨著區(qū)域面積連續(xù)變化的顏色直方圖被離散化，顏色直方圖上一個個波峰就得以被分了開來而這一分開的依據(jù)就是顏色的空間信息。原來兩個波峰相連的顏色實際上可能只是兩個對象的邊緣顏色，雖然可能面積很大，但是人類還是會將它們有選擇的忽視。這就是我們的算法的另一個優(yōu)勢。將直方圖分成零星的幾個柱之后，我們可以將每個柱群看作是一個顏色特征，它具體的值由最高峰來決定。

最后我們從這些柱群中挑選值最大的幾個作為該圖片的顏色特征值。

3.2 圖像檢索

我們隨機選取了108幅圖像組成的數(shù)據(jù)集來對提出的算法進行檢驗。給定一幅原圖像后，計算所有圖像與之的EMD距離，設(shè)定一個圖像相關(guān)的閾值，并對結(jié)果進行分析。

這幾組實驗結(jié)果證明，我們所提出的這種算法總體上均優(yōu)于累加直方圖加權(quán)距離法。雖然在和基于分塊主顏色方法比較的時候，查全率較低和較高的部分表現(xiàn)的有些不理想，但是在0.5以上的查全率的時候，隨著查全率的升高，查準(zhǔn)率還能穩(wěn)定在一個較高的水平，具有較高的穩(wěn)定性。

4 結(jié)束語

本文針對顏色直方圖丟失顏色空間分布信息的缺點，提出了一種通過將圖像進行四叉樹劃分的方法對顏色進行聚類分割的方法。為了突出一幅圖像的主體部分（人們最感興趣的部分） ，設(shè)計了一種包含顏色優(yōu)化的圖像分塊方法，再根據(jù)量化后的幾種顏色信息構(gòu)造圖像的顏色特征，并給出了相應(yīng)的圖像內(nèi)容相似度計算方法。實驗表明，該方法簡單、有效，通過利用顏色的空間分布特征能夠更加靈活、準(zhǔn)確地表示圖像主體內(nèi)容的特征，從而提高了圖像的檢索精度。

參考文獻：

[1] 姚琪，蔣達央.電子商務(wù)中基于內(nèi)容的商品圖像檢索技術(shù)研究[J]技術(shù)研究，2013（7）；74-76.

[2] 王如杰.基于特征融合的醫(yī)學(xué)圖像檢索[D].南京：南京理工大學(xué)，2013：1-2.

[3] Montiel E. Texture Classification via Conditional Histograms[J]. Pattern Recognition Letters， 2005， 26（11）：1740-1751.

[4] 林克正， 張彩華， 劉丕娥. 基于分塊主顏色匹配的圖像檢索[J].計算機工程， 2010， 36（13）：186-188.

[5] Fukunaga K， Hostetler L. The estimation of the gradient of a density function， with applications in pattern recognition[J]. Information Theory， IEEE Transactions on， 1975， 21（1）：32-40.

[6] Comaniciu D， Meer P. Mean shift：A robust approach toward feature space analysis[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2002， 24（5）： 603-619.

[7] Pele O， Werman M. Fast and robust earth mover's distances[C]//Computer vision， 2009 IEEE 12th international conference on. IEEE， 2009：460-467. [8] Smith J R， Chang S. Querying by color regions using the VisualSEEk content-based visual query system[J]. Intelligent multimedia information retrieval， 1997， 7（3）：23-41.

[9] http：//wang.ist.psu.edu/docs/related/（test database used in SIMPLIcity paper）

[10] 茹芳， 冀小平. 基于內(nèi)容的圖像檢索技術(shù)研究[J]. 科技情報開發(fā)與經(jīng)濟， 2008， 18（30）：153-154.endprint

交替處理這兩條隊列，最后，就可以得到整張圖像的區(qū)域劃分結(jié)果。

由于采用了四叉樹的結(jié)構(gòu)，時間復(fù)雜度將會大大降低，特別是對于顏色較少的純色圖像，將會獲得更快的劃分結(jié)果，并且這會將大多數(shù)的噪聲消除。最終分割出來的結(jié)果也將會是色塊構(gòu)成的圖像。我們需要的顏色信息在劃分的過程中已經(jīng)完成了統(tǒng)計，故最終我們會得到按照區(qū)域面積度量的顏色分布直方圖。

3）Mean Shift算法：

如何在一個窗口中找出是否含有目標(biāo)的子區(qū)域，我們采用的是Mean Shift聚類算法[6]。Mean Shift是一種非參數(shù)化的多模型分割方法，它的基本計算模塊采用的是傳統(tǒng)的模式識別程序，即通過分析圖像的特征空間和聚類的方法來達到分割的目的。它是通過直接估計特征空間概率密度函數(shù)的局部極大值來獲得未知類別的密度模式，并確定這個模式的位置，然后使之聚類到和這個模式有關(guān)的類別當(dāng)中[5]。

這里利用局部最大值的點來判斷何處的區(qū)域為可能的目標(biāo)區(qū)域。我們首先通過提取窗口中心顏色的值，然后從之前的顏色直方圖中找出對應(yīng)的亮度和飽和度信息還原出圖像的顏色信息。通過幾次Mean Shift的均值漂移，若漂移距離超過閾值，則可認(rèn)為從中心到新的局部極大值點中存在著一塊密度上升的脊線，而且這個區(qū)域可以基本覆蓋整個子區(qū)域。

4） 特征值的提取

由于圖像按照四叉樹分割，從而原來隨著區(qū)域面積連續(xù)變化的顏色直方圖被離散化，顏色直方圖上一個個波峰就得以被分了開來而這一分開的依據(jù)就是顏色的空間信息。原來兩個波峰相連的顏色實際上可能只是兩個對象的邊緣顏色，雖然可能面積很大，但是人類還是會將它們有選擇的忽視。這就是我們的算法的另一個優(yōu)勢。將直方圖分成零星的幾個柱之后，我們可以將每個柱群看作是一個顏色特征，它具體的值由最高峰來決定。

最后我們從這些柱群中挑選值最大的幾個作為該圖片的顏色特征值。

3.2 圖像檢索

我們隨機選取了108幅圖像組成的數(shù)據(jù)集來對提出的算法進行檢驗。給定一幅原圖像后，計算所有圖像與之的EMD距離，設(shè)定一個圖像相關(guān)的閾值，并對結(jié)果進行分析。

這幾組實驗結(jié)果證明，我們所提出的這種算法總體上均優(yōu)于累加直方圖加權(quán)距離法。雖然在和基于分塊主顏色方法比較的時候，查全率較低和較高的部分表現(xiàn)的有些不理想，但是在0.5以上的查全率的時候，隨著查全率的升高，查準(zhǔn)率還能穩(wěn)定在一個較高的水平，具有較高的穩(wěn)定性。

4 結(jié)束語

本文針對顏色直方圖丟失顏色空間分布信息的缺點，提出了一種通過將圖像進行四叉樹劃分的方法對顏色進行聚類分割的方法。為了突出一幅圖像的主體部分（人們最感興趣的部分） ，設(shè)計了一種包含顏色優(yōu)化的圖像分塊方法，再根據(jù)量化后的幾種顏色信息構(gòu)造圖像的顏色特征，并給出了相應(yīng)的圖像內(nèi)容相似度計算方法。實驗表明，該方法簡單、有效，通過利用顏色的空間分布特征能夠更加靈活、準(zhǔn)確地表示圖像主體內(nèi)容的特征，從而提高了圖像的檢索精度。

參考文獻：

[1] 姚琪，蔣達央.電子商務(wù)中基于內(nèi)容的商品圖像檢索技術(shù)研究[J]技術(shù)研究，2013（7）；74-76.

[2] 王如杰.基于特征融合的醫(yī)學(xué)圖像檢索[D].南京：南京理工大學(xué)，2013：1-2.

[3] Montiel E. Texture Classification via Conditional Histograms[J]. Pattern Recognition Letters， 2005， 26（11）：1740-1751.

[4] 林克正， 張彩華， 劉丕娥. 基于分塊主顏色匹配的圖像檢索[J].計算機工程， 2010， 36（13）：186-188.

[5] Fukunaga K， Hostetler L. The estimation of the gradient of a density function， with applications in pattern recognition[J]. Information Theory， IEEE Transactions on， 1975， 21（1）：32-40.

[6] Comaniciu D， Meer P. Mean shift：A robust approach toward feature space analysis[J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2002， 24（5）： 603-619.

[7] Pele O， Werman M. Fast and robust earth mover's distances[C]//Computer vision， 2009 IEEE 12th international conference on. IEEE， 2009：460-467. [8] Smith J R， Chang S. Querying by color regions using the VisualSEEk content-based visual query system[J]. Intelligent multimedia information retrieval， 1997， 7（3）：23-41.

[9] http：//wang.ist.psu.edu/docs/related/（test database used in SIMPLIcity paper）

[10] 茹芳， 冀小平. 基于內(nèi)容的圖像檢索技術(shù)研究[J]. 科技情報開發(fā)與經(jīng)濟， 2008， 18（30）：153-154.endprint