基于Surf和改進(jìn)顏色矩的服裝圖像檢索算法研究

施怡澄，劉洞波，陳玉婷

（湖南工程學(xué)院 計(jì)算機(jī)與通信學(xué)院，湘潭411104）

0 引言

互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)繁雜，快速準(zhǔn)確檢索到期望的服裝圖像成為亟待解決的難題.基于現(xiàn)有圖像匹配算法的主要衡量指標(biāo)是匹配速度、匹配概率、匹配算法的魯棒性和并行處理能力.許多學(xué)者對(duì)此做了大量的研究，Tanimoto［1］提出利用圖像金字塔的分層匹配策略提高匹配速度；Chang和Cheng［2］利用圖像的平移、旋轉(zhuǎn)和尺度不變特征提出了點(diǎn)模式匹配的快速算法，提高了算法的運(yùn)算速度；Jane［3］提出了基于小波的圖像尺度由粗到精的圖像匹配方案，算法的局限性在于要求圖像間要有較高的相似度；Borgefors［4］提出基于分布式系統(tǒng)的分層倒角匹配算法，不足之處是需要考慮節(jié)點(diǎn)下限的問題，增加了算法的復(fù)雜性.薛利軍等［5］提出了一種減少檢索分支的快速匹配算法，孫遠(yuǎn)［6］提出了基于投影的一種新式快速模板匹配算法，陳凱迪與陳鵬［7］提出了一種基于分塊顏色直方圖的快速圖像檢索，翟銘晗和高玲［8］提出了一種基于顏色和紋理特征的圖像檢索算法，Herbert Bay等［9］提出了一種基于Sift的Surf特征提取方法.

針對(duì)，單一匹配算法會(huì)導(dǎo)致檢索效率不高和精度較低等問題出現(xiàn)，本文提出一種基于Surf和改進(jìn)顏色矩的服裝圖像檢索算法，首先采用改進(jìn)的顏色矩進(jìn)行特征篩選，獲得新的目標(biāo)圖像數(shù)據(jù)庫，減小檢索范圍；再利用Surf算法進(jìn)行圖像匹配檢索得到目標(biāo)圖像，從而提高了算法的準(zhǔn)確性和檢索效率.

1 系統(tǒng)總體方案原理

顏色特征是圖像的一種底層特征，包含了圖像的目標(biāo)內(nèi)容和應(yīng)用場(chǎng)景內(nèi)容.顏色特征與Surf特征在檢索中可以互相彌補(bǔ)各自的缺點(diǎn)，同時(shí)使用兩種特征可以在提取圖像色彩信息的同時(shí)，可識(shí)別圖像的旋轉(zhuǎn)、平移和尺度變換特征.因此，本文將顏色特征與Surf特征結(jié)合，提出一種新的圖像匹配算法CM（Color Moment）-Surf算法，以此實(shí)現(xiàn)服裝圖像的快速檢索.首先，提取目標(biāo)圖像在HSV顏色空間的顏色矩特征，利用歐氏距離篩選出目標(biāo)區(qū)域；然后，使用Surf特征匹配算法在已篩選出的區(qū)域提取特征點(diǎn)；最后，通過目標(biāo)圖像和源圖像特征點(diǎn)歐氏距離的相似性度量匹配出源圖像.

圖1 CM-Surf算法流程圖

2 CM-Surf算法分析

2.1 圖像的非均勻量化

顏色空間的轉(zhuǎn)換是分別對(duì)H、S、V三個(gè)分量進(jìn)行非均勻量化，達(dá)到減小計(jì)算量的目的，即把色調(diào)、飽和度、亮度分別分為16份、4份、4份.再將三維H、S、V轉(zhuǎn)化為一維分量，含參公式為：L=H*Qs*Qv+S*Qv+v，用公式表示為L(zhǎng)=16H+4S+I.

由于HSV顏色空間的色調(diào)、飽和度、明度與人眼對(duì)顏色的主觀認(rèn)識(shí)相對(duì)比較符合，與其他顏色空間相比HSV空間能更好地反映人類對(duì)顏色的感知，所以本算法采用HSV顏色空間下的顏色矩作為顏色特征.

表1 RGB轉(zhuǎn)HSV顏色空間參數(shù)設(shè)定

色調(diào)H（Hue）每隔60°表示一種基本顏色，轉(zhuǎn)換顏色空間后的H值由R、G、B與其他常數(shù)計(jì)算得到，見式（1）；飽和度S（Saturation）由R、G、B值和其他常數(shù)計(jì)算得到，見式（2）；明度V（Value）由R、G、B值和其他常數(shù)計(jì)算得到，見式（3）.

為色調(diào)、飽和度、亮度參數(shù)進(jìn)行賦值，不同的賦值突出不同的特點(diǎn)，設(shè)置16、4、1則突出了人類視覺對(duì)色調(diào)敏感的特點(diǎn)，減小了圖像亮度和飽和度對(duì)檢索結(jié)果的影響［10］.

2.2 顏色矩特征提取

顏色矩的一階矩用圖像的像素總數(shù)N和某點(diǎn)像素值P ij來計(jì)算，二階矩在前者基礎(chǔ)上加入了所有像素第i個(gè)顏色通道的顏色均值E ij，而三階矩綜合了前兩者的內(nèi)容，其中i為顏色通道數(shù)，s i具有的幾何意義是：當(dāng)s i=0時(shí)，圖像的顏色分布是對(duì)稱的，否則不對(duì)稱［11］.顏色矩是多階矩，一、二、三階均可以描述圖像的顏色分布，則說明顏色分布一般集中在低階矩，一、二、三階中心矩分別表示圖像或子區(qū)域圖像的均色、標(biāo)準(zhǔn)差和三次根非對(duì)稱性［10］.

2.3 相似性度量計(jì)算

利用改進(jìn)的顏色矩計(jì)算出數(shù)據(jù)庫中所有圖片的三階顏色矩，對(duì)各階顏色矩進(jìn)行加權(quán)，然后與目標(biāo)圖像的顏色矩進(jìn)行歐氏距離相似性度量，更高效準(zhǔn)確地獲得場(chǎng)景信息，全面呈現(xiàn)圖像的顏色分布特征.

相似性度量方法有歐式距離、曼哈頓距離、馬氏距離等，本文采用歐式距離對(duì)顏色矩進(jìn)行相似性度量，歐氏距離可以克服變量之間的相關(guān)性干擾，且計(jì)算速度較快.若將源圖像I和目標(biāo)圖像M的顏色通道數(shù)定義時(shí)，源圖像I的顏色矩分別為E i、σi、S i，目標(biāo)圖像M的三階顏色矩分別為D i、τi、R i.兩圖像間的歐氏距離相似度定義如式（7）所示：

其中ωi是權(quán)重系數(shù)向量.

通過對(duì)兩圖像的歐式距離進(jìn)行計(jì)算，得出兩個(gè)圖像特征點(diǎn)的實(shí)際距離，從而得到兩幅圖像的相似度，以此來判斷兩幅圖像是否包含同一物體或同一圖像.

2.4 構(gòu)建新數(shù)據(jù)庫

傳統(tǒng)的RGB顏色矩特征在提取后，對(duì)9個(gè)通道的顏色矩進(jìn)行處理，本文采用HSV顏色空間的顏色矩特征，更能體現(xiàn)服裝的顏色和亮度，從而達(dá)到提高檢索準(zhǔn)確度的目的，在進(jìn)行兩個(gè)圖像歐氏距離的計(jì)算時(shí)，不再進(jìn)行權(quán)重系數(shù)設(shè)定，以初始顏色矩的歐氏距離進(jìn)行運(yùn)算，通過對(duì)比篩選出相關(guān)圖像，為Surf特征匹配做準(zhǔn)備.

2.5 顏色矩匹配

通過顏色矩來對(duì)新數(shù)據(jù)庫中相似性較高的圖像進(jìn)行Surf特征提取，特征點(diǎn)提取的前提是要在圖像上檢測(cè)到特征點(diǎn)，而特征點(diǎn)的檢測(cè)則基于尺度空間理論，即先將此圖像與高斯核函數(shù)做卷積運(yùn)算，得到該圖像的尺度空間，且尺度空間各不相同.構(gòu)建尺度空間的預(yù)先步驟是構(gòu)造Hessian矩陣，好的Hessian矩陣可以為特征提取建立更好的基礎(chǔ).Surf尺度空間是由X組Y層組成的，與Sift的區(qū)別在于后者的尺度空間內(nèi)圖像尺寸是逐組減半的，在同組中擁有同樣的尺寸；而前者的不同組間圖像的尺寸也是一致的，僅改變了高斯模糊模板的尺寸以及尺度的值.因Surf算法無須在不同組間進(jìn)行尺寸縮小，因此該階段的處理速度更快.

2.6 計(jì)算Hessian矩陣

在待求圖像中，每一個(gè)像素點(diǎn)都可以求得一個(gè)Hessian矩陣，通過特定核間的卷積計(jì)算二階偏導(dǎo)數(shù)，計(jì)算出Hessian矩陣的三個(gè)矩陣元素L x x、L yy、L xy從而得到Hessian矩陣的定義式如式（8）所示.

每個(gè)像素的Hessian矩陣行列式的近似值如式（9）所示：

Hessian矩陣判別式中的f( )x,y是原始圖像的高斯卷積，Surf和Sift有一個(gè)顯著不同在于，前者使用了盒式濾波器來代替了后者中的高斯濾波器，從而提高了運(yùn)算速度，加權(quán)系數(shù)ω平衡了使用濾波器近似所帶來的誤差造成的影響.

構(gòu)造完畢Hessian矩陣后，將經(jīng)過Hessian矩陣處理過的每個(gè)像素點(diǎn)與其相鄰2個(gè)空間的8鄰域點(diǎn)包括該點(diǎn)在其他空間的位置共9個(gè)點(diǎn)，以及該點(diǎn)在該空間的8鄰域點(diǎn)共26個(gè)點(diǎn)進(jìn)行大小比較，如果該點(diǎn)是這26個(gè)點(diǎn)中的最大值或者最小值，則作為初步特征點(diǎn)進(jìn)行保留.然后通過閾值篩選以及增加極值使檢測(cè)得到的特征點(diǎn)減少，得到特征最明顯的點(diǎn).

2.7 確定主方向

與Sift不同的是，Surf采用統(tǒng)計(jì)特征點(diǎn)圓形領(lǐng)域內(nèi)的harr小波特征.在該點(diǎn)的圓形鄰域內(nèi)，統(tǒng)計(jì)60°扇形內(nèi)所有點(diǎn)的水平、垂直harr小波特征總和，然后扇形以一定間隔進(jìn)行旋轉(zhuǎn)并再次統(tǒng)計(jì)該區(qū)域內(nèi)harr小波特征值，最后將值最大的扇形方向作為該特征點(diǎn)的主方向.確定主方向后，在特征點(diǎn)周圍取一個(gè)4×4的矩形區(qū)域塊，所取矩形區(qū)域塊方向即特征點(diǎn)主方向.然后對(duì)該矩形區(qū)域塊的每個(gè)子區(qū)域內(nèi)的harr小波特征點(diǎn)進(jìn)行統(tǒng)計(jì)，每個(gè)像素點(diǎn)相鄰2個(gè)空間的8鄰域點(diǎn)包括該點(diǎn)在其他空間的位置共9個(gè)點(diǎn)，以及該點(diǎn)在該空間的8鄰域點(diǎn)共25個(gè)像素的水平、垂直方向的haar小波特征，該處水平、垂直方向均為相對(duì)主方向而言的方向.此時(shí)得到的harr小波特征為水平、垂直值，加上水平絕對(duì)值以及垂直絕對(duì)值之和.通過減少每個(gè)特征點(diǎn)的向量數(shù)從而提高了特征匹配的速度.

2.8 Surf匹配

通過計(jì)算兩個(gè)特征點(diǎn)間的歐氏距離來判斷是否匹配，距離越小則相似度越高.Surf還引進(jìn)積分圖的概念，通過矩形區(qū)域內(nèi)像素和來加速計(jì)算達(dá)到加速匹配的效果，另外Surf還加入了Hessian矩陣跡的判斷，可以判斷排除一些歐氏距離為0但不是目標(biāo)點(diǎn)的特征點(diǎn).

3 實(shí)驗(yàn)結(jié)果及分析

采用DeepFashion圖像數(shù)據(jù)集中的圖片，數(shù)據(jù)集來自香港中文大學(xué)，包含服裝實(shí)物圖片、賣家秀、買家秀圖片等對(duì)應(yīng)的數(shù)據(jù)集，每個(gè)商品id對(duì)應(yīng)的文件夾中包含一張賣家秀和幾張買家秀.總共33881種商品，239557張圖片.為驗(yàn)證改進(jìn)算法的有效性，選取MATLAB2014b作為實(shí)驗(yàn)平臺(tái)進(jìn)行仿真實(shí)驗(yàn).

3.1 仿真結(jié)果及結(jié)論

單獨(dú)采用Surf算法提取源圖像中所有的特征點(diǎn)，并與目標(biāo)圖像提取到的所有特征點(diǎn)進(jìn)行匹配，現(xiàn)就部分實(shí)驗(yàn)匹配結(jié)果進(jìn)行展示，圖2（a）為待檢測(cè)圖像a的特征點(diǎn)提取結(jié)果，圖2（b）為待檢測(cè)圖像b的特征點(diǎn)提取結(jié)果，圖2（c）為待檢測(cè)圖像c的特征點(diǎn)提取結(jié)果.圖3（a）、圖3（b）、圖3（c）分別為傳統(tǒng)Surf算法對(duì)于圖像圖3（a）的圖像匹配結(jié)果，因?yàn)闆]有先過濾數(shù)據(jù)庫，所以得到了源圖像、同款不同色服裝圖像以及無相關(guān)且特征點(diǎn)相近圖像的三個(gè)檢索結(jié)果，使得檢索結(jié)果混亂且計(jì)算量增大，單獨(dú)使用Surf算法而丟失了顏色信息，不但匹配到了不同顏色相同型號(hào)的服裝，還對(duì)完全不一致的服裝進(jìn)行了匹配，降低了算法效率以及準(zhǔn)確性.圖4為CMSurf算法對(duì)圖像圖3（a）的圖像檢索結(jié)果，因?yàn)镃M-Surf算法首先對(duì)數(shù)據(jù)庫進(jìn)行過濾，消除了同款不同色服裝圖像以及無相關(guān)且特征點(diǎn)相近圖像對(duì)檢索結(jié)果的影響，從而得到了精確的檢索結(jié)果.

圖2 特征點(diǎn)提取結(jié)果

圖3 Surf算法圖像匹配結(jié)果

圖4 CM-Surf圖像匹配結(jié)果

3.2 算法性能比較

兩種算法的不同之處主要在于單獨(dú)使用Surf算法無法通過顏色矩過濾掉一部分圖像，算法效率較低，雖然在特征匹配階段，兩種算法對(duì)目標(biāo)圖像提取到的特征點(diǎn)是一樣多，但是采用CM-Surf特征匹配算法，解決了丟失顏色信息而導(dǎo)致的相同形狀而不同顏色的誤匹配，再加上顏色矩既能表示豐富的顏色信息，又包含一定的空間分布信息，而且具備特征矢量維數(shù)少的特點(diǎn)［12］.通過改進(jìn)顏色矩匹配的方法過濾掉一部分圖像，并在此基礎(chǔ)上，利用Surf算法對(duì)剩下的目標(biāo)圖像進(jìn)行尋找特征點(diǎn)以及匹配，匹配過程直接通過顏色矩過濾了圖像顏色矩歐氏距離差距過大的圖像，減少了在匹配階段的工作，使檢索結(jié)果明確，消除無用的檢索結(jié)果帶來的影響，減少計(jì)算量并縮短運(yùn)算時(shí)間，圖像檢索時(shí)間比單一算法縮短了62.5%，效率提高了166%，

CM-Surf算法結(jié)合2種算法作出改進(jìn)，在實(shí)際應(yīng)用上可以得到更多較為準(zhǔn)確的目標(biāo)服裝圖像，同時(shí)也可以在匹配后得到唯一的目標(biāo)服裝圖像，得到更佳的檢索結(jié)果.

實(shí)驗(yàn)結(jié)果如表2及圖5（a）、圖5（b）所示.圖5（a）為兩種算法匹配過程所需時(shí)間對(duì)比圖像，其中縱坐標(biāo)表示匹配所需時(shí)間，橫坐標(biāo)表示不同算法，值越小代表匹配時(shí)間越短，算法效率更高.圖5（b）為兩種算法得到的匹配目標(biāo)個(gè)數(shù)對(duì)比圖像，縱坐標(biāo)表示檢索結(jié)果個(gè)數(shù)，橫坐標(biāo)表示不同算法，值越小代表檢索結(jié)果越少，得到的結(jié)果越精確.

表2 部分實(shí)驗(yàn)結(jié)果對(duì)比

圖5 實(shí)驗(yàn)結(jié)果對(duì)比

4 結(jié)論

針對(duì)服裝圖像檢索效率偏低和準(zhǔn)確率不高的問題，提出了一種基于Surf特征與改進(jìn)顏色矩特征相結(jié)合的CM-Surf服裝圖像檢索算法，算法仿真實(shí)驗(yàn)結(jié)果表明，算法結(jié)合了顏色特征和Surf特征的互補(bǔ)性關(guān)系，改善了Surf特征匹配法對(duì)顏色不敏感的問題，能夠更準(zhǔn)確地檢索出需要的服裝圖像，證明了算法的準(zhǔn)確性以及高效性.