融合顏色與LBP紋理特征的布料色卡圖像檢索

劉嘉唯+肖勇鋒+白小明+肖建

摘 要：針對(duì)在采購(gòu)與銷售布料中存在人工配色不準(zhǔn)確、查找分類難等問(wèn)題，基于圖像檢索相關(guān)技術(shù)，通過(guò)融合布料色卡圖像的顏色特征和紋理特征進(jìn)行圖像檢索應(yīng)用研究。設(shè)計(jì)了布料色卡圖像顏色特征提取算法和基于LBP的紋理特征提取算法，并提出融合顏色特征和紋理特征的布料色卡檢索算法。對(duì)提出的融合顏色和紋理特征的布料色卡圖像檢索算法在3個(gè)標(biāo)準(zhǔn)圖像紋理庫(kù)和實(shí)際布料色卡圖像數(shù)據(jù)集進(jìn)行了詳細(xì)的對(duì)比測(cè)試。通過(guò)對(duì)測(cè)試結(jié)果的分析，得出在融合顏色和LBP紋理特征的布料色卡圖像檢索方法中采用先顏色后紋理的策略進(jìn)行布料色卡圖像檢索是最有效的檢索方案。

關(guān)鍵詞關(guān)鍵詞：圖像檢索；顏色特征；紋理特征；LBP算子；布料色卡

DOIDOI：10.11907/rjdk.161835

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2016）008-0173-04

0 引言

目前布料制品加工行業(yè)還存在以下影響生產(chǎn)與加工效率的問(wèn)題：①找料難；②檢料難；③分類難；④排版切割難。通過(guò)將布料色卡掃描成數(shù)字圖像，利用基于內(nèi)容的圖像識(shí)別檢索技術(shù)對(duì)布料色卡進(jìn)行查找和分類，可以有效解決上述問(wèn)題，而且可以使企業(yè)提高生產(chǎn)效率和產(chǎn)品質(zhì)量，從而更具有市場(chǎng)競(jìng)爭(zhēng)力。

國(guó)外在基于計(jì)算機(jī)進(jìn)行布料圖像檢索領(lǐng)域的發(fā)展較早，所形成的布料檢索方法也較為成熟，如美國(guó)研究人員Choonjong Kwak、Jose A Ventura提出采用神經(jīng)網(wǎng)絡(luò)進(jìn)行布料紋理分類識(shí)別的方法等。我國(guó)科研工作人員在該領(lǐng)域也有一些相關(guān)研究工作，如韓立群建立了基于自組織神經(jīng)網(wǎng)絡(luò)的布料紋理分類器，劉健勤提出了布料紋理分類的神經(jīng)元網(wǎng)絡(luò)算法等。雖然國(guó)內(nèi)外在布料紋理識(shí)別與檢索領(lǐng)域的研究取得了很多進(jìn)展，但依然存在許多問(wèn)題。因此，近年來(lái)許多新的研究方法也不斷出現(xiàn)，如冉友廷[1]提出織物色彩管理系統(tǒng)的設(shè)計(jì)方案和一種新的織物花型提取方法；徐琪[2]提出一種新的紋理描述方法——多尺度斑塊特征（Multiscale Blob Features，MBF）；趙楊[3]提出一系列局部紋理描述子來(lái)研究在局部紋理信息中起關(guān)鍵作用的判別信息。

雖然提出的方法和理論很多，但目前還沒(méi)有一種方法可以適合各領(lǐng)域的圖像檢索或分類，或者處理時(shí)間過(guò)長(zhǎng)，不能在實(shí)際生產(chǎn)中廣泛應(yīng)用。因此，為滿足布料生產(chǎn)和銷售領(lǐng)域?qū)Σ剂仙▓D像識(shí)別技術(shù)的需求，針對(duì)該領(lǐng)域研究合適的基于內(nèi)容的圖像檢索方法具有實(shí)際應(yīng)用價(jià)值。

1 圖像顏色與紋理特征及其表示

1.1 圖像顏色空間和圖像特征表示

對(duì)于圖像顏色的特征描述必須是在一個(gè)特定的顏色空間中，常用的顏色空間有RGB空間和HSV空間[4-6]。

1.1.1 顏色空間

（1）RGB顏色空間。RGB顏色空間是由紅色（R）、綠色（G）、藍(lán)色（B）3種基色混合編碼形成的。在三維坐標(biāo)中，紅（Red）、綠（Green）、藍(lán)（Blue）為3個(gè)顏色通道，數(shù)值大小分別代表在各自通道上的強(qiáng)度值。

（2）HSV顏色空間。HSV顏色空間模型把顏色空間分為3種屬性：色調(diào)H（Hue）、飽和度S（Saturation）和亮度V（Value）。色調(diào)H表示光的顏色，飽和度S指顏色深淺程度，亮度V指顏色明暗程度。HSV顏色空間模型應(yīng)用非常廣泛，與人眼的視覺(jué)特性非常接近。各通道之間相互獨(dú)立，可以獨(dú)立感知各顏色通道的變化。

RGB空間轉(zhuǎn)換為HSV空間的計(jì)算公式如下：

1.1.2 顏色特征表示——顏色直方圖

圖像的顏色直方圖是一種概率分布圖，它描述了不同亮度值在圖像中出現(xiàn)的頻率。一副圖像I的灰度值范圍為[0，K-1]，它的直方圖h正好包含K個(gè)條目，每一個(gè)單獨(dú)的條目被定義為：

h（i）=I中灰度值為i的像素點(diǎn)總數(shù)/圖像總像素?cái)?shù)

其中，0≤i

顏色直方圖定義了圖像或圖像中區(qū)域的顏色分布，如果在圖像旋轉(zhuǎn)和縮放過(guò)程不丟失圖像信息，顏色直方圖具有與生俱來(lái)的旋轉(zhuǎn)不變性和縮放不變性。

1.1.3 HSV空間上的顏色量化

一個(gè)顏色空間包含的顏色種類非常多，如果每一種顏色都需要考慮，計(jì)算機(jī)的計(jì)算量和所需存儲(chǔ)空間都比較大，所以可以把一些顏色合并在一起，以提高圖像識(shí)別檢索效率。因此，將HSV顏色空間分割成許多個(gè)顏色塊，并且每個(gè)顏色塊都有一個(gè)特定的塊標(biāo)號(hào)。

HSV由RGB轉(zhuǎn)換而來(lái)，其中0≤H≤360，0≤S≤1，0≤V≤1。此時(shí)需要對(duì)各個(gè)分量進(jìn)行劃分，得到各個(gè)分量的區(qū)間號(hào)。根據(jù)人眼的分辨能力，色調(diào)H分為8份，飽和度S分為3份，亮度V分為3份，即可達(dá)到要求。不同顏色對(duì)人眼的刺激強(qiáng)度不一樣，在這里各個(gè)分量并不是平均劃分，具體劃分方式如下所示：

圖像顏色直方圖的計(jì)算可統(tǒng)計(jì)每個(gè)顏色塊中的像素點(diǎn)個(gè)數(shù)，最后得到一個(gè)Nh*Ns*Nv維的特征向量。

1.2 圖像紋理特征

目前，對(duì)于圖像紋理的描述分析方法主要有統(tǒng)計(jì)類分析方法和結(jié)構(gòu)類分析方法。而局部二值模式（Local Binary Patterns，LBP）是結(jié)合了統(tǒng)計(jì)類分析方法和結(jié)構(gòu)類分析方法的紋理描述方法，其雖然簡(jiǎn)單，但功能強(qiáng)大，能較好地體現(xiàn)局部紋理特征。

1.2.1 傳統(tǒng)的LBP算子

芬蘭奧盧（Oulu）大學(xué)的Ojala等學(xué)者在1996年提出局部二值模式算法[7-8]，該算法中的局部最初是定義為一個(gè)3×3的窗口，實(shí)現(xiàn)過(guò)程為：先將該窗口中心像素點(diǎn)的亮度值作為閾值，其余8個(gè)鄰近像素點(diǎn)的亮度值與閾值進(jìn)行比較，如果大于或等于閾值，該像素點(diǎn)標(biāo)記為1，否則標(biāo)記為0；然后，將鄰近像素點(diǎn)的二值編碼銜接起來(lái)構(gòu)成一個(gè)8位的二進(jìn)制編碼，也稱為L(zhǎng)BP編碼，LBP編碼值的計(jì)算公式如下：

DX2（H，I）的值越小，表示以H和I為特征直方圖的兩張圖片越相似。實(shí)驗(yàn)中以識(shí)別率和平均排序值作為評(píng)價(jià)標(biāo)準(zhǔn)。識(shí)別率表示算法正確識(shí)別圖片的能力，越大則能力越強(qiáng)。平均排序值表示檢索正確的圖片在結(jié)果集中的排名位置，越小說(shuō)明效果越好。

2 融合顏色特征與LBP紋理特征的圖像檢索算法

由于顏色和紋理特征的識(shí)別能力可能有差別，在結(jié)合過(guò)程中，紋理顏色的先后匹配順序可能會(huì)影響結(jié)果，所以進(jìn)行了以下匹配識(shí)別：①僅顏色：僅依靠顏色特征對(duì)圖像進(jìn)行篩選排序得出結(jié)果；②先顏色，后紋理：先經(jīng)過(guò)顏色篩選排序，取前15張進(jìn)行紋理排序，顯示結(jié)果；③先紋理，后顏色：先經(jīng)過(guò)紋理篩選排序，取前15張進(jìn)行顏色排序，顯示結(jié)果；④顏色優(yōu)先：先經(jīng)過(guò)顏色篩選排序得到圖片I的排名為C，取前N張進(jìn)行紋理排序，得到圖片I的排名T，取（C+T）/2為圖片新的排名，再排序一次，顯示結(jié)果；⑤紋理優(yōu)先：先經(jīng)過(guò)紋理篩選排序得到圖片I的排名為T(mén)，取前N張進(jìn)行顏色排序，得到圖片I的排名C，?。–+T）/2為圖片新的排名，再排序一次，顯示結(jié)果。

算法1：先顏色（紋理），后紋理（顏色）的檢索算法，具體實(shí)現(xiàn)描述如下：

函數(shù)名：DetectByCfandTf（rs，cf，tf）

輸入：特征庫(kù)中的記錄rs（ResultSet），測(cè)試圖片的顏色特征值和紋理特征值cf、tf

輸出：經(jīng)過(guò)先顏色（紋理）后紋理（顏色）比較后的排序值

建立HashMap hm1，hm2；

for（rs中的記錄）

{

計(jì)算rs中第i條記錄的顏色特征與cf的區(qū)別度d1；

將第i條記錄的Id號(hào)和d值放入hm1中，hm1.put（Id，d1）；

}

建立一個(gè)包含hm1內(nèi)容的list1=new ArrayList（hm1.entrySet）；

利用Collections的排序功能，根據(jù)hm1中的value值由小到大排序

for（list1中的前N1條記錄）

{

計(jì)算list1中第i條記錄的紋理特征與tf的區(qū)別度d2；

將第i條記錄的Id號(hào)和d值放入hm2中，hm2.put（Id，d2）；

}

建立一個(gè)包含hm2內(nèi)容的list2=New ArrayList（hm2.entrySet）；

利用Collections的排序功能，根據(jù)hm2中的value值由小到大排序

取list2前N張圖像，觀察與測(cè)試一張或一類圖片庫(kù)中的記錄，記下其排序值

一般而言，N1的值可以大一些，以免第一遍篩選就把正確的圖像淘汰了，但也不宜過(guò)大，否則會(huì)集中圖片過(guò)多，影響第二遍篩選的性能。

算法2：顏色（紋理）優(yōu)先的匹配識(shí)別算法，具體實(shí)現(xiàn)描述如下：

函數(shù)名：DetectByCfFirst（rs，cf，tf）

輸入：特征庫(kù)中的記錄ds（ResultSet）、測(cè)試圖片的顏色特征和紋理特征cf、tf

輸出：經(jīng)顏色（紋理）優(yōu)先特征比較后的排序值

建立HashMap hm1，hm2；

建立HashMap hm3；

for（ds中的記錄）

{

計(jì)算rs中第i條記錄的顏色特征與cf的區(qū)別度d1；

將第i條記錄的Id號(hào)和d值放入hm1中，hm1.put（Id，d1）；

}

建立一個(gè)包含hm1內(nèi)容的list1=new ArrayList（hm1.entrySet）；

利用Collections的排序功能，根據(jù)hm1中的value值由小到大排序

for（list1中的前N1條記錄）

{

計(jì)算list1中第i條記錄的紋理特征與tf的區(qū)別度d2；

將第i條記錄的Id號(hào)和d值放入hm2中，hm2.put（Id，d2）；

}

建立一個(gè)包含hm2內(nèi)容的list2=New ArrayList（hm2.entrySet）；

利用Collections的排序功能，根據(jù)hm2中的value值由小到大排序

for（list2中的記錄）

{

if（list2中第i條記錄與list1中第j條記錄的Id號(hào)相同）

{

將list2中第i條記錄的Id號(hào)和（i+j）/2放到hm3中，hm3.put（Id，（i+j）/2）；

}

}

建立一個(gè)包含hm3內(nèi)容的list3=New ArrayList（hm3.entrySet）；

利用Collections的排序功能，根據(jù)hm3中的value值從小到大排序；

取list3前N張圖像，觀察與測(cè)試一張或一類圖片的庫(kù)中的記錄，記下其排序值

3 對(duì)比實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

系統(tǒng)的開(kāi)發(fā)平臺(tái)與測(cè)試環(huán)境信息如表1所示。

3.2 數(shù)據(jù)集——布料色卡圖片集

布料色卡圖片集是從實(shí)際企業(yè)收集得到的真實(shí)布料色卡數(shù)據(jù)集，通過(guò)EPSON PERFETION V10全彩掃描器對(duì)每張布料色卡進(jìn)行掃描得到的，共有近1 500張。

3.3 實(shí)驗(yàn)結(jié)果與分析

針對(duì)實(shí)際采集到的布料色卡圖片集，基于圖像和紋理特征相結(jié)合的圖像檢索方法，分別按照6種不同的測(cè)試方案進(jìn)行實(shí)驗(yàn)。通過(guò)10次實(shí)驗(yàn)取平均值，實(shí)驗(yàn)結(jié)果如表2所示，表中增加了最大排序值這一評(píng)價(jià)標(biāo)準(zhǔn)。

從整體而言，對(duì)于色彩鮮明、顏色豐富的布料色卡圖片集，加入顏色特征顯然有效，實(shí)驗(yàn)數(shù)據(jù)也可以證明這一點(diǎn)。僅采用LBP紋理測(cè)試識(shí)別率為96.28%，僅采用顏色測(cè)試識(shí)別率為96.50%，而結(jié)合LBP紋理和HSV顏色特征，圖像識(shí)別率都超過(guò)這兩個(gè)值，最高可達(dá)99.63%。HSV顏色特征和LBP紋理不同的篩選順序和相似度排序，對(duì)結(jié)果也有影響。顏色（紋理）優(yōu)先比先顏色（紋理）后紋理（顏色）在最大排序上略有改善，先經(jīng)過(guò)顏色篩選比先經(jīng)過(guò)紋理篩選效果要好，主要是僅顏色識(shí)別的最大排序值7比LBP紋理識(shí)別的最大排序要小。因此，采用顏色特征作初篩選顯然更精確、穩(wěn)定。

結(jié)合顏色和紋理特征的布料色卡圖像檢索效果十分理想，雖未達(dá)到百分之百，但對(duì)于絕大多數(shù)圖片都能識(shí)別正確，少數(shù)一些圖片的正確結(jié)果也能在前幾張顯示，該效果對(duì)使用者來(lái)說(shuō)可以接受，具有較強(qiáng)的實(shí)用性。

4 結(jié)語(yǔ)

雖然LBP算子具有強(qiáng)大的紋理描述能力，運(yùn)用圖像的LBP紋理特征進(jìn)行圖像識(shí)別檢索可以得到較好的效果，并且LBP擁有多種不同的模式，適用于不同圖像，但僅依靠紋理這一單一特征，對(duì)于顏色豐富的布料色卡，識(shí)別能力仍然有限。而結(jié)合圖像紋理和顏色特征的圖像識(shí)別方法在布料色卡圖像上的識(shí)別率能達(dá)99%以上，符合實(shí)際應(yīng)用要求。下一步將在完善所做工作的基礎(chǔ)上，研發(fā)一套實(shí)用性強(qiáng)、識(shí)別率高，且操作更簡(jiǎn)單的融合圖像LBP紋理和顏色的布料色卡圖像識(shí)別系統(tǒng)。

參考文獻(xiàn)：

[1]冉友廷.織物表面顏色紋理特征的檢測(cè)與應(yīng)用[D].武漢：武漢紡織大學(xué)，2013.

[2]徐琪.一種新的紋理描述方法及其應(yīng)用——多尺度斑塊特征法[D].上海：復(fù)旦大學(xué)，2011.

[3]趙洋.基于局部描述算子的紋理識(shí)別方法及其在葉片識(shí)別方面的應(yīng)用[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2013.

[4]張長(zhǎng)江.數(shù)字圖像處理及其應(yīng)用[M].北京：清華大學(xué)出版社，2013：277-280.

[5]張虹.基于MVC框架的色卡圖像檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].南昌：南昌大學(xué)，2013.

[6]黃海泉.基于多粒度的CBIR在布料圖像領(lǐng)域的研究與應(yīng)用[D].南昌：南昌大學(xué)，2013.

[7]T OJALA，M PIETIKAINEN，T MAENPAA.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[8]T OJALA，T MAENPAA，M PIETIKAINEN，et al.Outex-new framework for empirical evaluation of texture analysis algorithms[C].In 16th International Conference on Pattern Recognition，2002：701-706.

（責(zé)任編輯：黃 ?。?