基于多特征融合的織物圖像檢索

李 鋒，馮益青

(東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620)

0 引言

圖像檢索問題起源于 1970s末期，早期的研究主要是基于文本的圖像檢索（Text-based Image Retrieval，TBIR），它利用文本標(biāo)注的方式對圖像的內(nèi)容進(jìn)行描述，為每幅圖片形成相關(guān)的描述特征的特征標(biāo)注文本，在進(jìn)行圖像檢索時(shí)，用戶可提供待檢測圖像的關(guān)鍵字，檢索系統(tǒng)將根據(jù)關(guān)鍵字檢索出描述特征相符的結(jié)果，并將結(jié)果反饋給用戶。但是，基于文本的圖像處理不僅耗費(fèi)巨大的人力、財(cái)力，使圖像的檢索效率有極大的局限性，而且圖像的豐富內(nèi)容很難由極短的文本清晰的標(biāo)注出來。故傳統(tǒng)的檢索技術(shù)，例如基于文本的圖像檢索，已不能完全滿足人們的要求[1]。由于基于文本的圖像搜索存在許多的問題，1990s出現(xiàn)了基于內(nèi)容的圖像檢索（Content-based Image Retrieval，CBIR）[2]，它通過提取圖像本身的內(nèi)在特征例如顏色、形狀、紋理、區(qū)域空間關(guān)系等圖像特征，并比較這些視覺特征的相似性，從而篩選出符合用戶要求的圖片。相對于基于文本的圖像檢索，基于內(nèi)容的圖像檢索利用圖片內(nèi)容的底層特征對圖像進(jìn)行檢索，融合了計(jì)算機(jī)視覺、圖像處理、圖像理解和數(shù)據(jù)庫等多個(gè)領(lǐng)域的研究成果，其中特征的提取有專門的特征算法完成，有效的避免了因人工參與而產(chǎn)生的主觀因素的影響。目前，隨著機(jī)器學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)等技術(shù)的不斷完善和發(fā)展，出現(xiàn)了基于語義的圖像檢索?；谡Z義的圖像檢索立足于圖像的語義特征，研究如何將圖像的低層視覺特征映射到圖像高層語義，使計(jì)算機(jī)檢索圖像的能力達(dá)到人的理解水平[3-4]。

本文在基于對圖像檢索背景的分析下，進(jìn)一步考慮到相關(guān)的具體應(yīng)用?？萍嫉目焖僭鲩L使得紡織行業(yè)飛速發(fā)展，織物圖片不斷增加。中國作為全世界最大的紡織品服裝生產(chǎn)和出口國，保證紡織行業(yè)的可持續(xù)發(fā)展十分重要[5]?？椢锸羌徔椥袠I(yè)生產(chǎn)和發(fā)展的主要資源，每天都有成千上萬的數(shù)據(jù)流動，圖像作為織物的主要呈現(xiàn)方式，如何快速準(zhǔn)確的從圖庫中取出符合用戶需求的織物圖片成為生產(chǎn)商和銷售商面臨的主要問題。不管是花型設(shè)計(jì)、庫存管理還是材料采購等方面，判斷樣品花型圖案是否存在，以及具體的庫存位置都離不開圖像檢索技術(shù)。所以，本文結(jié)合現(xiàn)存圖像檢索技術(shù)和市場織物檢測的需求，將圖像檢索的相關(guān)技術(shù)應(yīng)用到對織物圖片的檢索，通過對織物圖片的分析和技術(shù)的改進(jìn)，希望能在織物檢索的精確度上得到提高并縮短時(shí)間，這對于后續(xù)有關(guān)圖像檢索的性能和評估都有一定的參考意義，同時(shí)在解決目前市場對織物檢測的把控和紡織業(yè)的可持續(xù)發(fā)展也起到一定的推動的作用。

1 方法

1.1 圖像預(yù)處理

為了降低圖像像素、尺寸不均等因素影響，有效地提取出織物圖像特征信息，在織物圖像特征提取前需要對初始織物圖像進(jìn)行預(yù)處理。本文預(yù)處理是將圖片格式化成相同的尺寸。

1.2 特征提取

為克服單一特征提取的信息量有限，無法全面描述織物圖片的內(nèi)容的難題，并且結(jié)合織物圖像自身的特點(diǎn)，依次提取織物圖像的顏色特征、LBP特征、GLCM特征、SIFT特征，實(shí)現(xiàn)多特征融合。

1.2.1 基于顏色直方圖的顏色特征

顏色特征是圖像檢索領(lǐng)域使用很廣泛的特征。因?yàn)閳D像大部分都具有豐富的顏色信息，且圖像顏色的提取很方便，已經(jīng)形成了很多成熟的顏色提取方法。此外，顏色特征在差異性判斷和相似性判斷時(shí)，不僅效果好而且速度快。直方圖是對圖像數(shù)據(jù)進(jìn)行統(tǒng)計(jì)的一種方法，可統(tǒng)計(jì)每一個(gè)強(qiáng)度值所具有的像素個(gè)數(shù)。

因?yàn)轭伾卣鞯谋姸鄡?yōu)勢，首先選用顏色特征作為融合算法的基本特征。為了充分利用圖像的顏色信息，考慮將圖像的顏色信息進(jìn)一步分解。圖像有多種格式的顏色空間，其中最常見的是RGB空間。RGB顏色空間是由紅色、綠色和藍(lán)色三個(gè)顏色通道構(gòu)成的?，F(xiàn)有的許多圖像檢索方法都是直接考慮圖像顏色信息的RGB整體表達(dá)，并沒有從三個(gè)通道上獨(dú)立的去提取特征。

本小節(jié)檢索方法的主要思路是，將待檢索圖像和數(shù)據(jù)庫圖像從紅色、綠色、藍(lán)色三個(gè)顏色通道上的顏色信息出發(fā)，分別提取各顏色通道顏色信息并生成其相應(yīng)顏色直方圖，最終綜合三個(gè)通道特征比較結(jié)果得出檢索結(jié)果，并以此增加圖像檢索的精度。圖像中的三個(gè)通道顏色所占的頻率可分別通過顏色直方圖直觀顯示，對圖像特征提取結(jié)果的統(tǒng)計(jì)如式（1）所示，其中rk為像素的顏色等級，nk表示該顏色級為 rk的像素?cái)?shù)量，n為圖像像素總個(gè)數(shù)。

在采集圖像的過程中，可能會因?yàn)楣庹盏韧庠谝蛩貙D像產(chǎn)生噪聲干擾。為了減少噪聲對原始圖像的干擾，可以采用圖像平滑的方法對灰度直方圖進(jìn)行平滑處理，從而減少噪聲對距離計(jì)算造成的影響。實(shí)質(zhì)上圖像平滑是一種低通濾波，它的目的就是減少突變梯度，把圖像的亮度平緩漸變，從而改善圖像的質(zhì)量。對灰度直方圖進(jìn)行插值平滑處理為公式（2），表示把當(dāng)前像素灰度值的2倍和該像素水平方向前后領(lǐng)域各像素的灰度值求和，然后求平均值，再將此平均灰度值再重新賦給當(dāng)前像素。經(jīng)過平滑操作會減少噪聲對織物圖像檢索的影響，增強(qiáng)檢索的準(zhǔn)確率。

其中 f(i)為當(dāng)前處理的像素的灰度值，f(i–1)為水平方向前領(lǐng)域的像素灰度值，f(i+1)為水平方向后領(lǐng)域的像素灰度值。

1.2.2 基于局部二值模式的紋理特征

顏色是圖像檢索領(lǐng)域使用很廣泛的特征，但是由于織物圖像的信息豐富，若單一的使用顏色特征可能會使得圖像信息提取有限。紋理是反映圖像里同質(zhì)現(xiàn)象的一種視覺特征，它表達(dá)了物體表面具有周期性變化或緩慢變化的表面結(jié)構(gòu)組織排列屬性。紋理有著三大標(biāo)志：不斷重復(fù)某些局部序列性、非隨機(jī)排列、紋理區(qū)域內(nèi)為均勻的統(tǒng)一體。特別的，紋理特征不同于顏色特征，它通過綜合像素值和其周圍鄰域的灰度來表現(xiàn)。紋理特征對于圖像內(nèi)容的區(qū)域性表達(dá)很有代表性。且同顏色特征一樣，紋理特征的提取也比較方便，已經(jīng)形成統(tǒng)計(jì)型紋理特征、模型型紋理特征、信號處理型紋理特征、結(jié)構(gòu)型紋理特征等在內(nèi)的多種紋理特征類別。

LBP（Local Binary Pattern）即局部二值模式[6,7]，是一種典型的用于描述圖像局部紋理特征的算子，由于其特征計(jì)算簡單、檢索效果好、具有灰度不變性和旋轉(zhuǎn)不變性等多個(gè)顯著優(yōu)點(diǎn)，其在多個(gè)計(jì)算機(jī)視覺領(lǐng)域都得到了廣泛的應(yīng)用，其中比較著名的是LBP在人臉識別和目標(biāo)檢測中的應(yīng)用。故本文選用LBP算子進(jìn)行圖像紋理特征的統(tǒng)計(jì)。

經(jīng)過LBP算子的計(jì)算之后，圖像的每個(gè)像素都會產(chǎn)生對應(yīng)的 LBP特征值，本文定義 LBP計(jì)算時(shí)的采樣點(diǎn)為 8個(gè)，形成的 LBP特征也是 0～255，也可表示為圖像，一般稱之為 LBP圖譜。根據(jù)形成的LBP特征可以統(tǒng)計(jì)各特征值個(gè)數(shù)，從而形成一個(gè)直方圖。把生成的直方圖作為一個(gè)長度為256的向量。

在實(shí)際應(yīng)用過程中，若直接使用該向量，一張圖像至多生成一個(gè)長度為256的向量，可以反映圖像灰度的像素值出現(xiàn)的次數(shù)，但是將會丟失圖像的全部位置信息，造成重大的精度損失。故本文將圖像分成4×4個(gè)區(qū)域，統(tǒng)計(jì)每個(gè)子區(qū)域的直方圖向量，生成特征向量的維數(shù)為 256×4×4，然后再將各子向量結(jié)合表達(dá)織物圖像的LBP紋理特征，并以此在控制檢索時(shí)間的同時(shí)，盡可能的增加檢索精度。LBP處理圖像過程如圖1所示。

圖1 LBP處理圖像過程Fig.1 The process of image processing by LBP

1.2.3 基于灰度共生矩陣的紋理特征

LBP是一種有效的局部紋理描述算法，將其與直方圖結(jié)合可以實(shí)現(xiàn)紋理特征的描述。為了充分提取圖像的紋理特征，對紋理特征繼續(xù)進(jìn)行深入研究，發(fā)現(xiàn)了Haralick等人提出了基于紋理特征的灰度共生矩陣表示法，這個(gè)方法提取紋理的灰度級相關(guān)性，根據(jù)像素之間的距離和方向建立灰度共生矩陣（GLCM），并由此灰度共生矩陣結(jié)合數(shù)學(xué)、物理等理論知識，提取有意義的統(tǒng)計(jì)量作為紋理特征向量?；叶裙采仃囀且环N較為成熟的統(tǒng)計(jì)型紋理特征，其具有較好的適應(yīng)能力和穩(wěn)健性，在服裝圖像的檢測和分類也有著較為廣泛的應(yīng)用。

灰度共生矩陣不能用來直接表示紋理特征，為了從灰度共生矩陣中得到更多的信息，將進(jìn)一步計(jì)算它的能量、對比度、熵、逆差距。其中 L表示灰度圖像的灰度級，P(i,j)表示GLCM中灰度值分別為i和j的像素對的條目數(shù)值[8]。

中心對稱二值模式（Center symmetric local binary pattern，CS-LBP）是一種描述局部紋理的描述算子，是在LBP的基礎(chǔ)上延伸而來的，它與基礎(chǔ)的LBP算子相比降低了一半的數(shù)據(jù)維度，減少了一半的計(jì)算量。如圖2所示，LBP計(jì)算時(shí)以nc為中心點(diǎn)，計(jì)算八個(gè)鄰域上中心點(diǎn)與像素點(diǎn)差值的符號，若符號為負(fù)則賦值為0，反之賦值為1，按照 n0順時(shí)針編碼，最后將編碼后的數(shù)據(jù)賦給nc。CS-LBP是對中心對稱點(diǎn)的亮度差進(jìn)行編碼，即秩序編碼四個(gè)方向上的梯度符號，LBP可以得到 2N個(gè)編碼數(shù)，故 LBP算子的維度為 2N。而CS-LBP可以得到2N/2個(gè)編碼數(shù)，相比于LBP，CS-LBP的計(jì)算量減少了一半。

圖2 LBP和CS-LBP計(jì)算過程Fig.2 LBP and CS-LBP calculation process

在半徑為 R的圓形區(qū)域里，中心點(diǎn)為(x,y),其中 ni和 ni+N/2是中心對稱的兩個(gè)像素點(diǎn)的灰度值，T為取值范圍為[0,1]的閾值。

由于LBP算子編碼的數(shù)據(jù)維度很高，本文將以步長為1，角度為0度、45度、90度、135度分別提取灰度共生矩陣，并計(jì)算它們的能量、熵、對比度和逆差距。在計(jì)算灰度共生矩陣時(shí)，為了加快速度，將設(shè)置16個(gè)灰度級，即GLCM本身需要降低灰度級，LBP與中心點(diǎn)比較大小，編碼大小為256，CS-LBP與對稱點(diǎn)比較大小，編碼大小為16。CS-LBP直接生成16灰度級的特征圖而LBP生成的灰度級是256。由于GLCM本身需要降低灰度級，而CS-LBP直接生成16灰度級的特征圖，故本文選用CS-LBP與GLCM結(jié)合檢測，以此提高檢索精度和速度。

1.2.4 基于尺度不變特征變化的形狀特征

LBP算法和GLCM算法都是從紋理的角度對織物特征進(jìn)行全局統(tǒng)計(jì)，織物的印花形狀或其他圖案的形狀也是織物的重要信息。故為了提高系統(tǒng)檢索的準(zhǔn)確率，織物的形狀特征不可忽略。SIFT[9-12]即尺度不變特征變換，可以檢索出圖像中的關(guān)鍵點(diǎn)，是一種局部特征描述子。SIFT有許多優(yōu)點(diǎn)，具有很好的穩(wěn)定性和不變性，可以適應(yīng)尺度縮放、旋轉(zhuǎn)和亮度的變化，在一定程度上，還能不受視角變化和噪聲的干擾；區(qū)分性好，可以在海量圖像庫中快速準(zhǔn)確的進(jìn)行匹配；多量性，一張圖片會產(chǎn)生多個(gè)特征點(diǎn)；可擴(kuò)展性，能夠和其他的特征聯(lián)合。SIFT可以準(zhǔn)確的描述圖像局部信息，主要檢索角點(diǎn)、拐點(diǎn)等等信息，SIFT可很好的統(tǒng)計(jì)局部特征。

使用SIFT進(jìn)行特征提取的四個(gè)步驟：生成高斯差分金字塔（DoG）構(gòu)建高斯差分尺度空間；利用高斯拉普拉斯函數(shù)（LoG）檢測多尺度空間極值點(diǎn)，選擇DoG空間中的局部極值作為候選關(guān)鍵點(diǎn)；基于梯度方向的局部直方圖，為每個(gè)關(guān)鍵點(diǎn)分配一個(gè)或幾個(gè)主方向；為每個(gè)關(guān)鍵點(diǎn)復(fù)制一個(gè)128維方向參數(shù)并生成關(guān)鍵點(diǎn)描述符。圖3是使用SIFT取織物圖像的特征點(diǎn)。

圖3 使用SIFT取特征點(diǎn)Fig.3 Use SIFT to get feature points

1.2.5 織物圖像相似性度量

主要思想是對待檢測圖像和數(shù)據(jù)庫中圖像利用計(jì)算機(jī)視覺和圖像處理技術(shù)分析并提取其自身的視覺特征，并映射為特征向量的形式來描述圖像所包含的內(nèi)容，然后選取適合的距離度量函數(shù)，根據(jù)提取的特征向量之間的距離來衡量樣本圖像與數(shù)據(jù)庫圖像間的相似度，從而實(shí)現(xiàn)從數(shù)據(jù)庫中檢索出目標(biāo)圖像的目的。

不同的相似性距離度量方法展現(xiàn)的效果不同，本文針對不同的特征向量采用不同的相似性距離度量方法。采取暴力匹配度量尺度不變特征變換，采用歸一化度量顏色直方圖、灰度共生矩陣、局部二值模式[13]。

2 特征融合

對經(jīng)過圖像處理提取特征的結(jié)果進(jìn)行分析，根據(jù)每種特征值挑選相似圖片的精準(zhǔn)度、決定各特征在加權(quán)融合中所占的權(quán)重。各特征權(quán)重的選擇尤為講究，本文各特征的初始權(quán)重根據(jù)各特征的搜索準(zhǔn)確度來分配。

加權(quán)融合算法[14]定義為：

式（9）中：Lh，Lg，Lb，Ls分別HIST特征、GLCM特征、LBP特征、SIFT特征待檢測圖片與圖庫中各圖片特征向量間的距離；wh，wg，wb，ws為分別直方圖、GLCM、LBP、SIFT特征對應(yīng)的權(quán)重。

多特征的融合[15]可以全面表達(dá)圖片內(nèi)容，加大搜索精度，也可以有效避免單一特征不準(zhǔn)確、單一特征的局限性、圖像內(nèi)容表達(dá)不完全等等問題，故多特征的良好融合尤為重要。

3 實(shí)驗(yàn)結(jié)果

準(zhǔn)確率測試的數(shù)據(jù)集為1 000張512×384的紡織織物圖像，其中包含事先標(biāo)定的花朵印花、天空印花、波點(diǎn)印花、幾何印花、卡通印花各16張，剩下920張為其他類型的織物印花，系統(tǒng)的檢索準(zhǔn)確率是對衡量系統(tǒng)性能的一個(gè)很重要的部分。本節(jié)根據(jù)多特征融合[1]的織物圖形檢索系統(tǒng)設(shè)置對比試驗(yàn)，進(jìn)行系統(tǒng)的準(zhǔn)確率測試。主要是將本文的特征融合檢索方法與基于單一特征的織物圖像檢索方法進(jìn)行對比實(shí)驗(yàn)。分別從單個(gè)特征和特征融合檢索的查全率和查準(zhǔn)率對本系統(tǒng)進(jìn)行測試。本文從查全率和查準(zhǔn)率兩個(gè)角度對該系統(tǒng)進(jìn)行檢索準(zhǔn)確率分析。

查全率是從數(shù)據(jù)庫中檢索出相關(guān)信息量和總量的比率。查準(zhǔn)率是檢索出的相關(guān)信息量和檢索出的全部信息的百分比。將兩者綜合起來，可以有效的表示圖像檢索系統(tǒng)的檢索效率。

查準(zhǔn)率和查全率[1]的定義如式（10）和式（11）所示。

其中P表示查準(zhǔn)率，R表示查全率，m表示檢索到的圖像總數(shù)，n表示圖像庫相關(guān)圖像的個(gè)數(shù)，t表示正確檢索到相關(guān)圖像的個(gè)數(shù)。

分析以上公式可知，若查準(zhǔn)率較小，表明算法的檢索精度低；若查全率較低，說明檢索到了大量不相關(guān)的圖像。一個(gè)優(yōu)秀的檢索算法要求查全率和查準(zhǔn)率較高。

在本次測試中，對基于每種特征檢索出的前6張圖像進(jìn)行查準(zhǔn)率評估，對每一種特征分別采用10張不同的圖片進(jìn)行10輪檢索，以獲得最終的平均準(zhǔn)確率。其中，多特征融合的方法采用了經(jīng)過權(quán)重反饋后的權(quán)重參數(shù)進(jìn)行檢測，各花型的查準(zhǔn)率測試結(jié)果如表1所示。

表1 各花型查準(zhǔn)率測試（單位%）Tab.1 Accuracy test of each pattern (unit %)

測試過程中，系統(tǒng)會在數(shù)據(jù)庫中對樣本圖片按相似度排序，由于測試樣本中事先標(biāo)定的每種待檢測印花均為16張，因此對基于每種特征檢索出的前16張圖像進(jìn)行查全率評估，使用不包含于測試樣本中的不同織物印花圖案對所標(biāo)定的每種印花織物進(jìn)行 10輪檢索，統(tǒng)計(jì)最終的平均查全率。各花型的查全率測試結(jié)果如表2所示。

表2 各花型查全率測試（單位%）Tab.2 The recall rate test of each pattern (unit %)

從表 1中可以看出對于天空印花這類紋理特征不明顯，但是色彩特征較為固定的織物印花，顏色直方圖的準(zhǔn)確率相對較高，而對于波點(diǎn)印花這類顏色不固定，紋理特征規(guī)律且明顯的織物印花，LBP與GLCM這種基于紋理的檢索方式能獲得相對更高的準(zhǔn)確率，而對于花朵印花這類顏色鮮艷、形狀特別、但紋理不均勻的織物印花，基于顏色直方圖與 SIFT特征的檢索方式會獲得相對較高的準(zhǔn)確率。

從表1與表2的對比可以看出當(dāng)某種特征對某種印花的查準(zhǔn)率越高，則相應(yīng)的查全率也越高，查全率普遍低于查準(zhǔn)率。但使用多特征融合以后查全率與查準(zhǔn)率都有了一定程度地提升，這說明了采用多特征融合機(jī)制的正確性與必要性。

對兩表進(jìn)行分析，將多特征融合的查全率、查準(zhǔn)率和單個(gè)特征的查全率、查準(zhǔn)率對比，發(fā)現(xiàn)不同的特征對不同印花的敏感度不同，多特征融合的目的是在融合之后使得系統(tǒng)向檢索精度最大的特征靠近，使得系統(tǒng)有較強(qiáng)的適用性。

4 結(jié)論

紡織行業(yè)的快速發(fā)展，大量花色、形狀不同的織物圖片信息由此產(chǎn)生。如何從海量的圖像庫中快速、精準(zhǔn)的找出滿足用戶需求的圖像資源信息，成為了圖像處理領(lǐng)域的極具挑戰(zhàn)性的研究性課題。本文對顏色直方圖、局部二值模式、灰度共生矩陣、尺度不變特征變換進(jìn)行融合，解決了單一特征的不準(zhǔn)確、表達(dá)圖像信息有限的缺點(diǎn)。運(yùn)用特征權(quán)重融合各個(gè)特征，最后通過實(shí)驗(yàn)表明了多特征融合的有效性。本文方法在織物圖像檢索方面較一些傳統(tǒng)的方法有優(yōu)異的性能，但也存在不足之處，因此下一步的工作，將各權(quán)重修改成動態(tài)修改。