基于多特征融合技術(shù)的商品圖像分類

甄澤冰，池 靜，張欣欣，王亞鳳

(河北工程大學(xué) 信息與電氣工程學(xué)院，河北 邯鄲 056000)

基于多特征融合技術(shù)的商品圖像分類

甄澤冰，池 靜，張欣欣，王亞鳳

(河北工程大學(xué) 信息與電氣工程學(xué)院，河北 邯鄲 056000)

針對網(wǎng)上商品圖像的特點，提出了一種多特征融合的分類方法，針對顏色和商品圖案風(fēng)格兩方面對圖像進(jìn)行分類。首先對商品圖像進(jìn)行分割，再提取特征，顏色特征選擇提取顏色直方圖特征和顏色矩特征；提取PHOG和SIFT特征來描述圖案風(fēng)格。然后采用基于決策的加權(quán)融合方法將兩種特征結(jié)合起來進(jìn)行分類，最后在數(shù)據(jù)集上進(jìn)行實驗，與僅用單一特征分類和使用普通多特征拼接方法作比較，使用提出的融合特征的方法進(jìn)行分類，準(zhǔn)確率較高，并且其準(zhǔn)確率有8%～10%的提升。實驗結(jié)果表明提出的方法是一種有效的商品圖像分類方法。

圖像分類；多特征融合；商品圖像

互聯(lián)網(wǎng)的不斷進(jìn)步促進(jìn)了電子商務(wù)的快速發(fā)展，在線購物也受到了更多人的青睞，而這將引發(fā)圖像數(shù)據(jù)呈幾何級數(shù)的增長。目前商品圖像分類方法除了人工手動分類外，主要采用基于文本的商品圖像分類方法,也就是通過商家上傳的圖像描述的文本進(jìn)行分類，而商家會添加大量描述文本，其關(guān)鍵字紛繁復(fù)雜，并且準(zhǔn)確性有待提高[1]。如果系統(tǒng)能夠幫助商家將上傳的商品圖像按照顏色和款式分類，則會節(jié)省人力的消耗，并提高商品標(biāo)注信息的準(zhǔn)確性。商品圖像的顏色和款式與圖像的內(nèi)容特征息息相關(guān)，因此，如何通過圖像的內(nèi)容特征來完成對在線商品的分類是電子商務(wù)智能化的迫切要求[2]。

圖像的內(nèi)容特征描述了圖像內(nèi)容和圖像的自身屬性信息。經(jīng)常運(yùn)用到的圖像內(nèi)容特征一般為底層視覺特征，如顏色、紋理、形狀等。由于同一類物體在圖像中的表示形式多樣化，同一場景的不同圖像的顯著特征也存在差異，因而基于單一特征的圖像分類通常不能令人滿意。組合多種圖像特征有助于提高分類的準(zhǔn)確度[3]。對于多特征融合的問題，Wang[4]等人采用方向梯度直方圖(HOG)與局部二值模式(LBP)結(jié)合進(jìn)行部分遮擋處理的人體檢測；Gehler[5]等運(yùn)用了多核學(xué)習(xí)(MKL)的方法評估多類目標(biāo)分類中不同特征的綜合性能；翟艷東[6]等以不同的特征向量作為SVM的輸入對圖像進(jìn)行比較，研究不同的圖像特征對圖像分類的影響，利用多級分類的思想對圖像進(jìn)行分類。

多特征融合技術(shù)雖然已有效地應(yīng)用在很多專業(yè)領(lǐng)域，但在電子商務(wù)中的應(yīng)用還是一個較新的研究方向。綜合在線商品圖像的特征和應(yīng)用多特征進(jìn)行圖像分類的優(yōu)勢，本文首先分割圖像，然后對圖像進(jìn)行顏色和圖案風(fēng)格兩方面的分類，并運(yùn)用一種基于決策的加權(quán)融合方法，將顏色直方圖和顏色矩特征融合起來進(jìn)行顏色的分類，將塔式梯度直方圖(PHOG)和局部特征描述子SIFT融合起來進(jìn)行圖案風(fēng)格的分類。

1 圖像分割

商家上傳的商品圖像除了重點突出的商品外，大多都有復(fù)雜背景干擾，所以需要對圖像中商品所在區(qū)域進(jìn)行分割，然后再進(jìn)行下一步的特征提取。這里采用顯著區(qū)域檢測算法[7],檢測顯著性區(qū)域后，進(jìn)行圖像分割。首先對圖像進(jìn)行迭代二值化過濾，去除噪聲點后，提取圖像中的最大連通區(qū)域，得到一個初始范圍，再將該連通區(qū)域的最小外接矩形作為初始待選前景點。大部分在線商品圖像是由模特展出，所以還需要在該矩形中進(jìn)行膚色區(qū)域檢測。最后，根據(jù)超像素塊的平均位置和顏色，計算平均位置在該矩形內(nèi)的每個超像素塊與該矩形中心的平均距離d1和與膚色區(qū)域的平均距離d2，從d1+d2與最小的非膚色區(qū)域超像素塊中選取待選前景點，最后利用Grabcut[8]方法進(jìn)一步分割提取。

2 商品圖像特征提取

2.1 顏色特征

對于商品圖像，需要關(guān)注全局的顏色特征。顏色直方圖(Color Histogram，CH)是應(yīng)用最廣泛的全局顏色統(tǒng)計特征，本文采用HSV空間下的顏色直方圖。HSV的3個分量H，S，V分別為色彩(Hue)、飽和度(Saturation)和亮度(Value)，與RGB相比能更好地反映人眼對顏色的感知能力。HSV顏色直方圖的生成步驟采用非均勻量化分塊顏色直方圖算法[9]，將HSV中H分為8塊，S和V分別分為3塊，然后統(tǒng)計8×3×3=72維的HSV顏色直方圖，進(jìn)行歸一化后，形成顏色特征向量。

顏色矩(Color Moments，CM)常用的有顏色矩中的一階矩(Mean，均值)、二階矩(Viarance，方差)和三階矩(Skewness，偏度)來構(gòu)成圖像的特征向量。在各個通道提取顏色矩特征前，將顯著區(qū)域分割后圖像的最小外接矩形劃分為n×n的互相獨(dú)立的子區(qū)域，計算第i個子圖的H、S、V通道的一階矩，利用一階矩再計算出二階矩和三階矩，最后構(gòu)成一個n×n×3×3維的特征向量。本文取n=5，在分割分辨率310×310的商品圖像時效果較好。

2.2 分層梯度方向直方圖(PHOG)

2.3 尺度不變特征變換(SIFT)

運(yùn)用SIFT(Scale Invariant Feature Transform)算法[11]進(jìn)行特征提取具有縮放，旋轉(zhuǎn)不變性，并且當(dāng)視角及亮度轉(zhuǎn)換時也能表現(xiàn)出很好的穩(wěn)定性。

獲得SIFT描述符分為兩步：關(guān)鍵點探測和特征提取。第一步，用高斯積分(Difference of Gaussian，DoG)來探測關(guān)鍵點，這個關(guān)鍵點就是局部極值(最大值或最小值)。第二步，在每一個關(guān)鍵點周圍選取8×8的鄰域窗口，此鄰域窗格將會進(jìn)一步被分割成16個4×4的子窗格。在每一個子窗格中，計算它們的方向并形成有8個區(qū)間的梯度直方圖，最后得出1個128(4×4×8)維的向量，用來描述這個關(guān)鍵點。

3 多特征融合方法

在圖像分類時，如果只利用單一的特征進(jìn)行分類，那么每幅圖像的顯著特征就不能被很好的利用，而組合多種特征對圖像分類算法的性能是有所提高的。

3.1 權(quán)值的計算方法

每個特征在自己的類中，通過距離類中心的距離來確定該樣本在這個特征分類中的可靠度。首先需要定義一個類中心矩，類中心矩公式為

(1)

式中：n和N為樣本個數(shù)：m為每個樣本所含有的向量個數(shù)：p為樣本的特征向量。

確定類中心矩后，要確定的為每個樣本距離中心矩的距離，也就是類間距，類間距的定義為

(2)

本文定義了一個樣本特征在該類中的可靠度，也就是該樣本屬于該類的可能性大小。本文的可靠度為該類的類間距和類中心矩差的絕對值與類中心矩的比值，即

(3)

式中：w在0～1的范圍內(nèi)，數(shù)值越趨近于1，該樣本屬于該類的可能性越大，反之則越小。因而，可把此可靠度作為融合特征的權(quán)值w。

3.2 分類算法流程

1)對訓(xùn)練樣本圖像進(jìn)行圖像分割，然后提取全局特征：HSV顏色直方圖和顏色矩(CM)；然后提取局部特征PHOG和SIFT；再分別用支持向量機(jī)SVM訓(xùn)練，得到4種不同的SVM分類器，分別為Sh，Sc，Sp，Ss，其中的Sh和Sc用于顏色的分類，Sp和Ss用于圖案風(fēng)格的分類。

3)根據(jù)本文的權(quán)值計算方法分別計算出每一特征的權(quán)值依次為wh，wc，wp，ws。

4)將步驟2)中Ph，Pc，Pp，Ps與對應(yīng)的權(quán)重相乘并求和，最后結(jié)果中最大值所對應(yīng)的類別即為分類結(jié)果。

4 實驗及結(jié)果分析

4.1 數(shù)據(jù)集

本文中直接選取了購物網(wǎng)站上的商品圖像，包括上衣、裙裝等，圖像平均分辨率約為310×310。由于人工標(biāo)注需要的人力有限，文中只選擇了6種顏色進(jìn)行標(biāo)注，分別為黑、白、紅、黃、藍(lán)、其他；5種典型的圖案風(fēng)格，分別為碎花、格子、條紋、印花、無花紋。其中每種顏色及圖案風(fēng)格的圖片分別為100幅，形成一個圖片庫，實驗中選取70%作為訓(xùn)練集，30%作為測試集。示例圖像如圖1所示(原圖為彩圖)。

圖1 圖片庫示例圖像

4.2 實驗結(jié)果及對比

本文利用SVM算法進(jìn)行分類。核函數(shù)選擇RBF，其中懲罰因子C=32，核參量γ=0.125。采用本文多特征融合方法對顏色和圖案風(fēng)格進(jìn)行分類，并與多特征拼接方法分類作對比，分類結(jié)果如圖2和圖3所示。圖中x軸代表圖像的類別，y軸代表對各類圖像分類的準(zhǔn)確率。從圖2中可以看出，對于黑色、紅色、黃色類的圖像，HSV顏色直方圖的分類效果較好，而對藍(lán)色、白色和其他類圖像，顏色矩的效果較好。由圖3所示的結(jié)果可以看出，對于碎花和無花紋類的圖像，PHOG的分類效果好，而對格子、條紋、印花類的圖像分類效果，SIFT的表現(xiàn)較好。HSV顏色直方圖和顏色矩的總體平均分類準(zhǔn)確率分別為78.0%，80.1%；PHOF和SIFT的總體平均分類準(zhǔn)確率為77.4%，77.3%。

從結(jié)果圖中可以看出，利用多特征分類每一類的分類準(zhǔn)確率都比利用單一特征的最大分類準(zhǔn)確率要高，圖2中普通多特征拼接方法和本文多特征融合方法的平均分類準(zhǔn)確率分別為82.4%，90.5%，圖3中為80.2%，88.1%?？梢钥闯觯\(yùn)用本文方法比普通多特征拼接的方法平均準(zhǔn)確率高出約8%，而比運(yùn)用單一特征最高的平均分類準(zhǔn)確率也高出約 10%～11%。

圖2 單一特征與多特征融合方法對顏色的分類準(zhǔn)確率和平均分類準(zhǔn)確率

圖3 單一特征與多特征融合方法對圖案風(fēng)格的分類準(zhǔn)確率和平均分類準(zhǔn)確率

5 小結(jié)

本文提出了一種多特征融合的方法，并采用此方法對商品圖像進(jìn)行分類，與僅利用單一特征分類和普通多特征拼接的融合方法分類進(jìn)行了對比實驗，并且在本文數(shù)據(jù)集上進(jìn)行實驗，驗證了本文方法的有效性，并且該方法具有更高的分類準(zhǔn)確率。對于多特征融合也可采用多核學(xué)習(xí)的融合方式，如果將多核學(xué)習(xí)過程設(shè)計和決策級融合結(jié)合在一起，分類精度應(yīng)該會有更大的提高。

[1] 孫林，吳相林，羅松濤，等.基于人體檢測的網(wǎng)絡(luò)商品圖像分類算法[J].微計算機(jī)信息，2010，26(10)：15-17.

[2] 賈世杰.基于內(nèi)容的商品圖像分類方法研究[D].大連：大連理工大學(xué)，2013.

[3] FERNANDO B，F(xiàn)ROMONT E，MUSELET D，et al. Discriminative feature fusion for image classification[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition(CVPR). [S.l.]：IEEE Press，2012：3434-3441.

[4] WANG X，HAN T X，YAN S. An HOG-LBP human detector with partial occlusion handling[C]//Proc. 2009 IEEE 12th International Conference on Computer Vision. Kyoto，Japan：IEEE Press，2009：32-39.

[5] GEHLER P，NOWOZIN S. On feature combination for multiclass object classification[C]//Proc. 2009 IEEE 12th International Conference on Computer Vison. [S.l.]：IEEE Press，2009：221-225.

[6] 翟艷東，于明，王巖，等.一種圖像多級分類方法[J].電視技術(shù)，2013，37(19)：32-35.

[7] PERAZZI F，KRAHENBUHL P，PRITCH Y，et al. Saliency filters：contrast based filtering for salient region detection[C]//Proc. the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington，DC，USA：IEEE Computer Society，2012：733-740.

[8] ROTHER C，KOLMOGOROV V，BLAKE A. Grabcut：Interactive foreground extraction using iterated graph cuts[J].ACM Trans. Graphics，2004(23)：309-314.

[9] 姜蘭池，沈國強(qiáng)，張國煊.基于HSV分塊顏色直方圖的圖像檢索算法[J].機(jī)電工程，2009，26(11)：54-57.

[10] ZISSERMAN B，MUNOZ X. Representing shape with a spatial pyramid kernel[C]//Proc. the 6th ACM International Conference on Image and Video Retrieval (CVIR 07). [S.l.]： ACM，2007：401-408.

[11] WANG Zhiyong，LU Bin，CHI Zheru，et al. Leaf image classification with shape context and SIFT descriptors[C]//Proc. International Conference on Digital Image Computing：Techniques and Applications. Noosa，QLD：IEEE Press，2011：650-654.

甄澤冰(1990— )，女，碩士生，主研計算機(jī)科學(xué)與技術(shù)；

池 靜(1973— )，碩士生導(dǎo)師，主要研究方向為計算機(jī)科學(xué)與技術(shù)；

張欣欣(1989— )，女，碩士生，主研計算機(jī)科學(xué)與技術(shù)；

王亞鳳(1989— )，女，碩士生，主研計算機(jī)科學(xué)與技術(shù)。

責(zé)任編輯：任健男

Product Image Classification Based on Fusion of Multiple Features

ZHEN Zebing, CHI Jing, ZHANG Xinxin, WANG Yafeng

(SchoolofInformationScienceandElectricalEngineering,HebeiUniversityofEngineering,HebeiHandan056000,China)

According to the characteristics of online product images, a new approach of using multiple features is proposed. The image is classified through two aspects, the color and the product design style. Commodity image segmentation is firstly presented. And then features are extracted from the images. Color histogram and color moments are utilizing to describe color feature. PHOG and SIFT are using to describe pattern styles. Then weighted fusion method based on decision is applied to combine two kinds of features. The proposed method is evaluated on a product image dataset. Compared with using single feature method and the multi-feature splicing method, the classification accuracy of using proposed method is higher and the accuracy is improved by 8% to 10%. Comprehensive experimental results indicate that the proposed approach is effective and suitable for product image classification.

image classification; multi-feature fusion; product image

TP391.4

A

10.16280/j.videoe.2015.18.023

2015-03-26

【本文獻(xiàn)信息】甄澤冰，池靜，張欣欣，等.基于多特征融合技術(shù)的商品圖像分類[J].電視技術(shù),2015，39(18).