一種基于加權(quán)顏色形狀特征和LBP服裝圖像檢索方法

葛俊，于威威

（上海海事大學(xué)信息工程學(xué)院，上海201306）

0 引言

近些年來，依附于計算機(jī)軟硬件技術(shù)的更新迭代，信息技術(shù)實現(xiàn)快速發(fā)展。在互聯(lián)網(wǎng)和智能時代的背景下，電子商務(wù)因便利性和時效性而越加深入人們的生活。服裝銷售作為電商中不可忽視的組成部分占有著重要的市場份額。研究機(jī)構(gòu)發(fā)表了最新的《2015-2016年度中國服裝電商行業(yè)報告》[1]。報告中顯示：2015年，我國人民在服裝方面的網(wǎng)上消費金額達(dá)到了7457億元，同2014年相比提升了21.1%，并依據(jù)數(shù)據(jù)分析，預(yù)估2016年將進(jìn)一步提高并達(dá)到9343億元。在購物時，人們有著越來越多的訴求，例如查詢與明星相同款式的服裝等。目前訪問流量較大的電子商務(wù)網(wǎng)站的服裝檢索方法仍是依據(jù)傳統(tǒng)的文本的檢索方式。

在這種方式下，用戶需要輸入文本從而實現(xiàn)搜索圖像，這就需要所有圖片都被注釋。使用文本查詢的第一個挑戰(zhàn)是指定所有圖像的注釋，這是一項艱巨的任務(wù)，第二個挑戰(zhàn)是注釋中的歧義[2]。由于這些困難，圖像查詢比文本查詢更有優(yōu)勢。這種方式被叫做基于內(nèi)容的圖像檢索。

基于內(nèi)容的圖像檢索模型，首先進(jìn)行特征的選擇與提取，然后進(jìn)行相似性度量，最后進(jìn)行檢索輸出結(jié)果[3]。特征的選擇和提取可以是基于局部、區(qū)域或整個圖像進(jìn)行的也可以通過借助顏色、形狀、紋理和空間布局信息獲得圖像描述符，然后將這些全局描述符用于圖像檢索。文獻(xiàn)[4]是對顏色直方圖作了研究，文獻(xiàn)[5]在Hu不變矩方面作了介紹并驗證了特征加權(quán)的實驗可行性，文獻(xiàn)[6]對紋理特征作了介紹?；诿枋鼍植繄D像的信息，局部描述符的使用在過去幾年變得越來越流行，常用的局部描述符有局部二值模式（Local Binary Pattern,LBP）[7]、尺度不變特征變換（Scale Invariant Fea?ture Transform，SIFT）[8]等。

本文提出一種基于累加直方圖與Hu不變矩加權(quán)特征和LBP的服裝檢索方法。首先對顏色特征和形狀特征進(jìn)行加權(quán)處理進(jìn)行第一步檢索，對返回的檢索結(jié)果構(gòu)建新的數(shù)據(jù)集，并利用局部二值模式進(jìn)行第二步檢索，由實驗數(shù)據(jù)分析可以表明本文的檢索方法具有可行性。

1 顏色特征和形狀特征的檢索

1.1 顏色特征

顏色特征作為圖像的底層物理特征之一，其具有易理解且高效的特點[9]。顏色不僅是表達(dá)服裝的內(nèi)容，且視覺屬性能夠直接快速地引起人們的注意力。因此在生活中，面向不同顧客的需求，服裝的顏色往往會不一樣。有的服裝由單一顏色呈現(xiàn)，有的服裝是多種顏色的組合。顏色模型能夠有助人們實現(xiàn)對顏色理解和處理。常見的顏色模型有：RGB（紅色、綠色、藍(lán)色）、HSV等。RGB顏色模型是被使用很多的模型，借助于三種基本顏色進(jìn)行不同程度的累加可以生成多樣的不同顏色。但這種模型所產(chǎn)生的顏色差不是線性的，不能很好地被人視覺認(rèn)知。因此進(jìn)行特征提取時，通常將RGB轉(zhuǎn)化為HSV顏色模型，這能夠更好符合人的視覺感官。轉(zhuǎn)換公式為：

其中，r,g,b∈[0…255],h∈[0…360],s∈[0…1],v∈[0…1]。

將HSV顏色空間非等間距量化，可以合成一維特征向量：

其中，Wh、Ws和Wv依次被定義為色調(diào)H、飽和度S和亮度V的權(quán)重。由于色度包含了很多信息，并且為了降低圖像亮度和飽和度對檢索結(jié)果的干擾，通常會對Wh作較大的權(quán)重的處理。顏色的變換和量化是對顏色進(jìn)行特征提取前的處理操作[10]。通過減少顯示一幅圖像所需的顏色數(shù)目達(dá)到簡化計算的目的，但量化操作往往會造成顏色信息的缺失[11]。

研究中有很多提取顏色特征的方法，在本文中主要研究了顏色直方圖[12]和顏色矩[13]。全局顏色直方圖表達(dá)的是分布情況，即在空間中出現(xiàn)的幾率。直方圖可以用列向量表示，bins為列向量里面的值。假設(shè)在劃定的空間中顏色量化為n個bins，那么一幅包含N個像素的圖像I的顏色直方圖可以表示為：

其中，hi=NiN定義為圖像中一個像素屬于第i個bin的概率，hi可定義為：

其中，Pj表示從圖像I中選擇第 j個像素的概率，即Pj=1 N;Pi|j稱為隸屬函數(shù)，理解為第 j個像素屬于第i個bin的條件概率，定義為：

累計直方圖是一個1-D的離散函數(shù)，即：

其中，k為特征取值，L為特征能夠取值的數(shù)量，ni是特征值為i的像素的數(shù)量，N是所有像素的和。

顏色矩是容易計算而很有作用的顏色特征[13]?？梢越柚?、二、三階矩來描述顏色的分布狀況。定義的公式為：

一階矩為均值：

二階矩為均方差：

三階矩為三階中心距：

其中，gij是第 j個像素的第i個分量的值，N為像素所有數(shù)之和。

1.2 形狀特征

服裝由于季節(jié)變更和穿著身材等因素，產(chǎn)生了許多不同款式的樣體。在服裝圖像中，例如：大衣、長褲、短褲、襯衫等都有其固定的形狀特征，體現(xiàn)不同款式的服裝各自的幾何屬性。形狀的表述對于圖像識別及分類具有重要的作用，在圖像檢索中也是持續(xù)研究的課題[14]。目前對形狀描述使用較多的方法為：基于區(qū)域和基于輪廓。兩類方法在圖像識別中應(yīng)用較多的是Hu不變矩描述子[15]和傅里葉描述子[16]等。傅里葉描述子從信號頻率的角度來解釋輪廓信息，對人的視覺屬性的表述存在局限性。Hu不變矩描述子注重幾何形狀的全局特征，具有空間幾何不變性。圖像f（x,y）的p+q階矩和p+q階中心距公式為：

重心坐標(biāo)的計算公式為：

Hu提出了如下的7個不變矩：

2 紋理特征

紋理是被研究非常多的一類度量，可以被認(rèn)為是物體的表面。服裝是由不同材質(zhì)的織布制成，有棉型、麻型、絲型等，通過紋理分析能夠?qū)崿F(xiàn)對服裝圖像的檢索。紋理分析的研究成果被總結(jié)為：結(jié)構(gòu)方法、統(tǒng)計方法、基于模型的方法、變換或基空間方法。結(jié)構(gòu)方法是通過一組稱為紋理元素的微紋理模式來描述紋理，如邊緣度量[17]和Laws度量[18]。統(tǒng)計方法是基于灰度統(tǒng)計的空間分布描述紋理特征，如共生矩陣[19]和局部二值模式（LBP）[7]?；谀Ｐ偷姆椒ㄓ须S機(jī)模型以及各種半隨機(jī)場，如Markov隨機(jī)場模型[20]?；谧儞Q的方法包括Fourier、小波等。

Ojala等人提出的LBP度量簡單但體現(xiàn)著強(qiáng)大的功能。LBP是一種新的編碼方法，其目的是對像素創(chuàng)建一個二進(jìn)制編碼的領(lǐng)域描述子。每個像素同它鄰近的像素進(jìn)行比較，將比較結(jié)果加到一起作為二進(jìn)制值，依此創(chuàng)建LBP值。LBP算子可以利用不同大小的核計算各種的領(lǐng)域。例如定義為3×3的模式，中間像素要與鄰近8個像素進(jìn)行比較。如果鄰近像素大于中心像素，則二進(jìn)制值為1，否則為0。如圖1所示。

圖1 LBP計算示例

LBP碼表示為8位二進(jìn)制的十進(jìn)制形式：

其中ic為中間像素( )xc,yc的灰度值，in為鄰近的8個像素點的灰度值。LBP碼對灰度有著不變性，但欠缺旋轉(zhuǎn)不變性。文獻(xiàn)[21]給出了一種旋轉(zhuǎn)不變的LBP編碼方案。通過對局部LBP上的圓形按位旋轉(zhuǎn)來找到最小的二進(jìn)制值。旋轉(zhuǎn)不變的LBP：其中，ROR( )x,i表示x循著中心順時針旋轉(zhuǎn)i個單位。LBP值被記為LBPP,R，P表示領(lǐng)域，R表示半徑。

3 檢索算法

綜合多特征檢索就是在檢索過程中對圖像的多個特征描述進(jìn)行提取從而實現(xiàn)檢索。目前的研究中，有異步和同步兩種檢索結(jié)構(gòu)[11]。同步組合檢索是同時計算多個特征向量，在特征匹配時，需要加權(quán)的處理。加權(quán)計算公式：

∑i=1

n

x,y=∑i=1

n

Wi=1, d( )Widi( )x,y （20）

異步組合檢索的直接理解就是分多次實現(xiàn)檢索。即上一步的檢索后的結(jié)果，作為新的數(shù)據(jù)集，成為下一步相似性度量的輸入。每一步的檢索都是一次相似性匹配，在多次度量中，逐步減少數(shù)據(jù)集中的搜索對象，從而提升檢索精度。兩幅圖像的計算公式為：

d0( )

x,y=0 d( )

x,y=D1…n( )x,y=Wndn( )x,y+D1…()n-1( )

x,y （21）

作為檢索的不可或缺環(huán)節(jié)，相似性度量方法的研究和選擇將直接影響著檢索結(jié)果。歐氏距離因簡單且易理解而被廣泛使用。本文也采用了歐氏距離應(yīng)用于相似性度量。

歐氏距離的計算公式為：

其中，p表示查詢圖像，q表示目標(biāo)圖像。

針對服裝圖像的多特征情況，本文提出將同步、異步兩種檢索結(jié)構(gòu)相結(jié)合的檢索方法。算法流程如下：

（1）先進(jìn)行同步組合檢索，利用顏色特征和形狀特征多次組合實驗，以確定參數(shù)，實現(xiàn)最佳加權(quán)組合；

（2）對服裝圖像的數(shù)據(jù)集進(jìn)行基于累加顏色直方圖和Hu不變矩的加權(quán)檢索，

（3）基于第一步檢索的結(jié)果，構(gòu)建新的檢索輸入；

（4）將新的檢索輸入作灰度變換處理，基于紋理特征LBP算子第二步檢索；

（5）根據(jù)歐氏距離進(jìn)行特征匹配，按相似度值由高到低順序輸出，實現(xiàn)最終的檢索結(jié)果。

4 實驗及結(jié)果分析

4.1 實驗平臺和數(shù)據(jù)

實驗平臺為Windows 7操作系統(tǒng)，實驗工具是MATLAB 2016a的環(huán)境下分別進(jìn)行了：單一的顏色特征檢索、單一的形狀特征檢索、累加顏色直方圖和Hu不變矩的加權(quán)檢索，以及本文的檢索方法。數(shù)據(jù)庫中服裝圖像的選取于互聯(lián)網(wǎng)共計600張圖像，其中大衣150張，短褲150張，長褲150張，短裙150張。

4.2 實驗方案和評價方法

完成了六組實驗：不同顏色特征和Hu不變矩的各自單一特征的服裝圖像檢索；對四次實驗結(jié)果分析比較，選擇顏色特征和形狀特征進(jìn)行加權(quán)處理完成第五組實驗，實現(xiàn)對加權(quán)參數(shù)的確定；先用加權(quán)特征完成第一步檢索，再使用LBP算子進(jìn)行二次檢索作為第六組實驗。實驗時從每個分類圖像中隨機(jī)選取10張圖像作為查詢圖像，進(jìn)行40次查詢實驗。每次的查詢結(jié)果取返回的前20張圖片，計算前20個檢索結(jié)果平均查準(zhǔn)率并引入排序評價方法[22]。

查準(zhǔn)率：

其中，A代表相關(guān)圖像的集合，B代表返回圖像的集合，a代表返回結(jié)果中被正確檢索圖像，b代表返回結(jié)果中被誤檢的圖像。

排序評價方法：

假定檢索輸出的數(shù)目為N，在N幅輸出結(jié)果里，NR為結(jié)果中相關(guān)的數(shù)量，ρr為返回結(jié)果中相關(guān)圖像的排列序號，NA為實際相關(guān)數(shù)量，則評價參數(shù)定義為[22]：

用K1表示平均序號：

最佳情況的平均序號K2：

其中，K2為處于最佳狀態(tài)下，返回結(jié)果中的期望圖像都能夠排在最靠前的平均序號。如果K1K2的值與數(shù)值1的差值越接近于0則意味著查詢的效果越好。

4.3 實驗結(jié)果和分析

以大衣的檢索返回結(jié)果作為各組實驗的方法展示。如圖2所示。

丟失的相關(guān)圖像率M計算公式為：

圖2 待檢索大衣圖像

圖3 本文方法的檢索結(jié)果

表1 以大衣的圖像進(jìn)行顏色形狀加權(quán)系數(shù)選定的實驗

表2 以大衣為例檢索的平均排序比值

表3 六組實驗的平均查準(zhǔn)率

圖2展示了以服裝圖像中的大衣為示例進(jìn)行檢索的返回結(jié)果，由返回結(jié)果可以看出圖像中相關(guān)圖像較多，且相似度很高的圖像在檢索輸出中都排序靠前，實現(xiàn)良好的檢索期望。表1是對加權(quán)參數(shù)的選定，由表中數(shù)據(jù)可以看出，不同的加權(quán)參數(shù)設(shè)置會產(chǎn)生較大的差異，并基于此，選擇為20%顏色特征和80%形狀特征的加權(quán)。依據(jù)表2、表3的數(shù)據(jù)分析，可以看出相較于其他的方法，本文的檢索方法有更高的查準(zhǔn)率以及平均排序比值更加接近于1；但也能夠看出圖像背景因素的對檢索結(jié)果導(dǎo)致的不利影響。

5 結(jié)語

本文提出了一種基于累加直方圖與Hu不變矩加權(quán)特征和LBP的服裝圖像檢索方法。實驗數(shù)據(jù)分析說明：先利用顏色形狀特征加權(quán)處理的同步組合檢索進(jìn)行第一次檢索，后利用LBP算子進(jìn)行第二次檢索的檢索方法具有可行性。同只使用一種特征檢索的方式比較，本文的檢索方法在服裝圖像的場景中能較好提升檢索的準(zhǔn)確率。但由實驗結(jié)果分析，服裝圖像的背景噪點對檢索結(jié)果產(chǎn)生了不利的影響，下一步的研究工作在于引入圖像分割的方法對服裝圖像進(jìn)行處理以及結(jié)合其他特征算子以提高檢索的準(zhǔn)確率和優(yōu)化檢索時間。