一種集合型MHU-SIFT商標(biāo)檢索方法的研究

陳 剛，高曉莉，楊 青

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，沈陽(yáng) 110159)

一種集合型MHU-SIFT商標(biāo)檢索方法的研究

陳 剛，高曉莉，楊 青

(沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，沈陽(yáng) 110159)

為提高商標(biāo)檢索的查準(zhǔn)率和快速性，提出一種將全局特征修正HU不變矩和局部特征SIFT相結(jié)合的MHU-SIFT集合型商標(biāo)檢索方法。該方法首先對(duì)圖像進(jìn)行初步的濾波去噪等處理，其次，提取圖像的HU修正矩和角點(diǎn)特征SIFT建立索引，最后運(yùn)用基于圖像內(nèi)容的檢索方法(CBIR)對(duì)商標(biāo)進(jìn)行檢索。在機(jī)器為2GB+64位的筆記本電腦，使用標(biāo)準(zhǔn)2000張商標(biāo)圖像庫(kù)進(jìn)行檢驗(yàn)。結(jié)果表明，MHU-SIFT方法查準(zhǔn)率較HU-SIFT方法提高了10%。

商標(biāo)檢索；全局特征；局部特征； HU修正不變矩；尺度不變特征變換(SIFT)

近幾年，隨著科技的飛速發(fā)展，各種仿冒產(chǎn)品由于與正品存在很大的相似性，如何快速辨別商標(biāo)真?zhèn)螌?duì)于消費(fèi)者的需要也越來(lái)越強(qiáng)烈。如何在商標(biāo)和企業(yè)之間建立一個(gè)有效的關(guān)聯(lián)，讓商標(biāo)作為企業(yè)形象和名譽(yù)的代表顯得尤為重要，因此商標(biāo)檢索具有廣泛的應(yīng)用前景。圖像的特征包括顏色形狀紋理等，但由于商標(biāo)圖像一般是二值圖像，且紋理信息也不明顯，一般采用形狀特征作為全局特征。1993年David S.Doermann 等人率先提出了基于全局不變特征的商標(biāo)檢測(cè)和識(shí)別算法[1]。最近幾年，出現(xiàn)了各種使用形狀特征的商標(biāo)圖像檢索方法，F(xiàn)atahiyah Mohd Anuar等[2]整合局部和全局特征，形狀特征如Zernike矩相關(guān)系數(shù)等來(lái)描述，局部特征使用邊緣梯度相關(guān)矩陣。黃敏等[3]通過(guò)采用HU修正不變矩進(jìn)行商標(biāo)形狀特征提取，提高了商標(biāo)的識(shí)別率。王振海[4]提出了融合HU不變矩和SIFT特征的商標(biāo)檢索，利用圖像的形狀特征HU矩和SIFT特征，節(jié)約了檢索時(shí)間。Chia-Hung Wei 等[5]使用Canny提取邊緣特征結(jié)合局部特征，取得了較好的檢索效果。提取圖像全局特征僅可以識(shí)別具有相似輪廓的圖像，對(duì)圖像細(xì)節(jié)信息不敏感很容易誤檢，需要結(jié)合局部特征來(lái)描述圖像。SIFT(Scale-Invariant Feature Transform)特征[6]由于具有捕捉圖像細(xì)節(jié)信息的突出特點(diǎn)而被廣泛應(yīng)用。汪慧蘭等[7]使用SIFT描述子進(jìn)行商標(biāo)檢索，具有良好的識(shí)別相似或子圖像的能力，對(duì)圖像的尺度、鏡像、旋轉(zhuǎn)等變換具有不變性，抗遮擋和抗噪聲能力強(qiáng)，但其對(duì)于圖像的輪廓描述能力較弱。另外，SIFT的特征點(diǎn)用128 維向量表示，而一幅圖像有大量的SIFT 特征點(diǎn)，因此SIFT是一種高維向量[8]，這樣對(duì)于計(jì)算時(shí)間和空間的需求大大提高。根據(jù)存在的這些問(wèn)題，本文基于圖像的全局特征和局部特征提出結(jié)合HU修正矩和SIFT特征的商標(biāo)檢索算法，先使用HU修正不變矩進(jìn)行初步檢索，接著提取SIFT 特征進(jìn)一步準(zhǔn)確匹配，通過(guò)減少需要計(jì)算圖像數(shù)量，可以進(jìn)一步減少運(yùn)算時(shí)間，提高檢索效率。

1 修正HU不變矩

對(duì)圖像來(lái)說(shuō)，像素相當(dāng)于二維隨機(jī)變量，則圖像可以用概率密度函數(shù)f(x,y)表示。不變矩具有圖像平移、旋轉(zhuǎn)和尺度等變換具有不變性的特點(diǎn)。1962年HU提出了不變矩(Invariants Moments)，當(dāng)圖像連續(xù)時(shí)，則圖像的p+q階幾何矩(標(biāo)準(zhǔn)矩)和中心矩分別定義為式(1)、(2)。

(1)

(2)

而對(duì)于離散的數(shù)字圖像，則有

(3)

(4)

式中N和M分別是圖像的高度和寬度。

歸一化的中心距定義：ηpq=μpq/(μ00ρ)

其中ρ=(p+q)/2+1。

HU通過(guò)計(jì)算圖像的二階幾何矩和三階幾何歸一化中心矩構(gòu)造了7個(gè)不變矩m1～m7。

HU不變矩滿足平移、旋轉(zhuǎn)和尺度不變特點(diǎn)是在圖像連續(xù)的情況下，但圖像在離散情況下，圖像比例變換產(chǎn)生圖像重采樣和重量化，這時(shí)使用HU矩提取圖像的特征，會(huì)造成特征信息的丟失。文獻(xiàn)[9]對(duì)七個(gè)不變矩做了修正，一方面由于不變矩的數(shù)據(jù)大小變化范圍很大，需要壓縮，采用取對(duì)數(shù)的方法；另外對(duì)數(shù)計(jì)算時(shí)，要求數(shù)為正數(shù)，不變矩可能會(huì)出現(xiàn)負(fù)值，所以先取絕對(duì)值再求對(duì)數(shù)，實(shí)際使用的HU不變矩為

φi′=lg|φi|,i=1,2,…,7

(6)

2 商標(biāo)圖像局部特征SIFT

SIFT是一種基于尺度空間的圖像局部特征描述算子，對(duì)圖像進(jìn)行旋轉(zhuǎn)、縮放甚至仿射變換具有魯棒性，由D.G.Lowe于1999 年首次提出，且在2004 年進(jìn)行完善和總結(jié)[10]。

2.1 生成尺度空間

第一步建立尺度空間，設(shè)圖像的尺度空間L(p,q,σ)，利用高斯卷積則有

Lp,q,σ=Gp,q,σ×Ip,q

(8)

式中：Gp,q,σ是尺度可變高斯函數(shù)，

構(gòu)造高斯差分尺度空間(DOG scale-space)：

D(p,q,σ)=(G(p,q,kσ)-G(p,q,σ))×I(p,q)

=L(p,q,kσ)-L(p,q,σ)

(9)

2.2 求出檢測(cè)尺度空間極值點(diǎn)

逐個(gè)比對(duì)尺度空間上的每個(gè)點(diǎn)與相鄰8個(gè)方向及上下兩層尺度的點(diǎn)，如果在DOG尺度空間本層及相鄰上下兩層鄰域的26個(gè)相鄰點(diǎn)中，當(dāng)某一個(gè)點(diǎn)為最大值時(shí)，則定義該點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn)，接著獲得該點(diǎn)的位置和相應(yīng)的尺度，如圖1所示。X表示任意一個(gè)點(diǎn)，圓圈就是與之相鄰尺度空間層的26個(gè)鄰域的點(diǎn)。

圖1 DOG尺度空間中的極值檢測(cè)

2.3 精確定位關(guān)鍵點(diǎn)

擬和三維二次函數(shù)可以定位關(guān)鍵點(diǎn)的位置和尺度，同時(shí)使用DOG 的二次Taylor 展開式[6]插值可得特征點(diǎn)位置及尺度的亞像素值，并濾除邊緣響應(yīng)較強(qiáng)的不穩(wěn)定點(diǎn)和低對(duì)比度的點(diǎn)，從而實(shí)現(xiàn)對(duì)特征點(diǎn)的精確定位，加強(qiáng)圖像穩(wěn)定的匹配，提高抗噪聲能力[11]。DOG 的二次Taylor 展開式為

(10)

去除低對(duì)比度的點(diǎn)：即對(duì)式(10)求導(dǎo)，得精確位置為

(11)

式(11)代入式(10)得

(12)

消除邊緣響應(yīng)：

Tr(H)=Dpp+Dqq=α+β

(13)

Det(H)=DppDqq-(Dpq)2=αβ

(14)

(15)

兩個(gè)特征值相等時(shí)滿足γ+12/γ最小，是γ的增函數(shù)，主曲率滿足

(16)

式中γ一般取10。

2.4 確定關(guān)鍵點(diǎn)方向

使SIFT算子具有旋轉(zhuǎn)不變性，關(guān)鍵是指定每個(gè)關(guān)鍵點(diǎn)方向參數(shù)。梯度的模和方向如下：對(duì)每一個(gè)采樣點(diǎn)L(p,q)，其梯度模為m(p,q)和方向?yàn)棣?p,q)，則關(guān)鍵點(diǎn)的大小和方向：

(17)

以關(guān)鍵點(diǎn)為中心，相鄰窗口采樣進(jìn)行計(jì)算，鄰域像素的梯度方向由計(jì)算梯度直方圖得到。梯度直方圖的范圍是[0°，360°]，分8個(gè)柱，45°一個(gè)柱，如圖2所示。關(guān)鍵點(diǎn)的主方向?yàn)樘荻戎狈綀D的主峰值，占主峰值能量80%及以上的峰值為輔助方向，進(jìn)一步增強(qiáng)魯棒性[12]。

圖2 梯度直方圖

2.5 生成特征向量

以關(guān)鍵點(diǎn)主方向?yàn)樽鴺?biāo)軸原點(diǎn)保證旋轉(zhuǎn)不變性。下一步以特征點(diǎn)為中心，將特征點(diǎn)16×16的鄰域均勻分成16個(gè)4×4的子區(qū)域[6]，接著計(jì)算每個(gè)子區(qū)域里8個(gè)方向( 0°、45°、90°、135°、180°、225°、270°、315°) 梯度累加和，得到梯度直方圖，同時(shí)生成128 維特征描述子，如圖3所示。

圖3 特征向量描述子

2.6 相似性度量

本文使用歐氏距離作為特征點(diǎn)匹配時(shí)相似度的衡量標(biāo)準(zhǔn)。假設(shè)特征點(diǎn)對(duì)pi、qj，則其歐氏距離定義為

(19)

求出最相近的前兩個(gè)鄰近距離d1、d2的比值，確定特征點(diǎn)并匹配。

3 MHU-SIFT檢索算法

算法的基本原理是：先對(duì)標(biāo)準(zhǔn)示例圖像分別提取HU修正不變矩特征和SIFT 特征并存入已知數(shù)據(jù)庫(kù)中。商標(biāo)檢索時(shí)，對(duì)待檢索商標(biāo)預(yù)處理后，提取待檢索圖像的HU修正矩，計(jì)算待檢索圖像的HU修正矩特征向量與商標(biāo)庫(kù)中的修正HU矩特征向量的歐氏距離，比較大小并排序，獲得商標(biāo)圖像集，然后對(duì)其中的商標(biāo)提取SIFT 特征，進(jìn)行精確匹配，按照匹配點(diǎn)數(shù)從多到少排序，返回檢索結(jié)果，流程圖如圖4所示。

圖4 檢索流程圖

檢索步驟如下：

Step1 讀取待檢索圖像X，先進(jìn)行預(yù)處理，然后提取圖像的MHU矩特征及SIFT特征Fx存入數(shù)據(jù)庫(kù)。

Step2 通過(guò)計(jì)算X與庫(kù)中圖像之間的歐氏距離，初步選出匹配圖像。

Step3 分別提取X與初步匹配的圖像的SIFT特征，計(jì)算二者間的歐式距離并進(jìn)行相似度測(cè)量，去掉不匹配或者誤匹配的雜點(diǎn)，獲得有效匹配點(diǎn)，并記錄。

Step4 重復(fù)上述步驟，計(jì)算商標(biāo)X與初匹配商標(biāo)集中每幅圖像匹配的特征點(diǎn)個(gè)數(shù)N。

Step5 按匹配的特征點(diǎn)個(gè)數(shù)N從大到小排序，返回檢索結(jié)果圖像。

4 實(shí)驗(yàn)結(jié)果和分析

算法在Inter(R) Pentium(R) 4 CPU 4.00GHz，2GB內(nèi)存的硬件平臺(tái)上，采用VS2010+OPENCV仿真。選用200張商標(biāo)作為標(biāo)準(zhǔn)檢索圖像，對(duì)每張圖像進(jìn)行變換得到10個(gè)基準(zhǔn)圖像，構(gòu)成2000張圖像的商標(biāo)庫(kù)。按相似度大小排列，并返回10張圖像。圖5為檢索界面。

圖5 檢索界面

圖6是待檢索圖像，圖像形狀分明，拐點(diǎn)較多，故采用作為測(cè)試圖像，檢測(cè)本文的特征檢索方法。

圖6 待檢索圖像

圖7是單獨(dú)一張圖像進(jìn)行匹配的圖示。

圖7 SIFT匹配和消除誤匹配示意圖

圖8是只采用HU矩，利用CBIR進(jìn)行初步檢索的結(jié)果。

圖8 使用HU檢索結(jié)果

由圖8可看出，單獨(dú)使用HU矩來(lái)描述圖像進(jìn)行提取比較，找不到圖像，存在很大誤差，返回的圖像有形狀相近的，但不是需要的檢索圖像，10張中基本都是誤檢，只有2張是相似圖像。

圖9是使用HU矩+SIFT進(jìn)行檢索的結(jié)果。

圖9 HU+SIFT檢索結(jié)果圖

由圖9可看出，相比于普通的HU矩在精確度上有部分提高，但是誤檢率仍然很高，因此單獨(dú)使用形狀特征不能完整的代表圖像的特征，需要更多的特征提取方法對(duì)圖像特征進(jìn)行表述。

圖10為使用MHU+SIFT的匹配圖。

圖10 使用MHU+SIFT檢索結(jié)果

由圖10可看出，SIFT對(duì)于圖像的角點(diǎn)特征具有良好的表達(dá)，因此可以作為描述圖像的局部特征，結(jié)合MHU特征，進(jìn)行檢索效果很好。

檢索性能一般使用查準(zhǔn)率、查全率和檢索時(shí)間評(píng)估，而檢索時(shí)間根據(jù)不同的機(jī)器型號(hào)，不同的版本，時(shí)間也有不同，因此，采用查全率和查準(zhǔn)率進(jìn)行算法評(píng)估。查全率和查準(zhǔn)率的計(jì)算方法如式(20)所示。通過(guò)計(jì)算，HU、文獻(xiàn)[4]中的HU+SIFT特征與本文算法修正HU+SIFT的查全率、查準(zhǔn)率以及檢索時(shí)間如表1所示。

(20)

表1 圖10對(duì)應(yīng)圖像SIFT特征點(diǎn)匹配個(gè)數(shù)

表2為HU矩和MHU矩結(jié)果比較，表3為HU矩、HU+SIFT、MHU+SIFT三種方法檢索結(jié)果的比較。

表3 幾種方法的比較 %

從實(shí)驗(yàn)結(jié)果看到,MHU+SIFT特征檢索時(shí)間比文獻(xiàn)[4]提出的HU+SIFT特征，查全率、查準(zhǔn)率都提高了10%，達(dá)到了預(yù)期的效果。

表2 HU矩和MHU矩結(jié)果比較

5 結(jié)束語(yǔ)

對(duì)于商標(biāo)圖像的特點(diǎn)，通過(guò)改善形狀特征HU矩，綜合應(yīng)用圖像的全局特征及局部特征有效表示了圖像的全局信息。通過(guò)MHU矩的初匹配，減少了需要計(jì)算局部特征圖像的數(shù)量，縮短了圖像的處理時(shí)間，相比于文獻(xiàn)[4]的匹配率有所提高。未來(lái)進(jìn)一步完善商標(biāo)庫(kù)可以實(shí)時(shí)更新并即時(shí)計(jì)算的功能，擬達(dá)到圖像庫(kù)的實(shí)時(shí)性。

[1] DS Doermann,E Rivlin,I Weiss.Logo Recognition Using Geometric Invariants[J].Document Analysis and Recognition,1993(1):894-897.

[2] Fatahiyah Mohd Anuar,Rossitza Setchi,Yu-kun Lai.Trademark image retrieval using an integrated shape descriptor [J].Expert System with Applications,2013(40):105-121.

[3] 黃敏,馬亞瓊,朱顥東,等.基于HU修正不變矩的商標(biāo)識(shí)別[J].華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版,2014,48(2):182-185.

[4] 王振海.融合HU不變矩和SIFT特征的商標(biāo)檢索[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(1):187-190.

[5] Wei Chia-hung,Li Yue,Chau Wing-yin.Trademark image retrieval using synthetic features for describing global shape and interior structure.[J].Pattern Recognition,2009,42(3):386-394.

[6] D G Lowe.Distinctive Image Features from Scale-in-variant Keypoints.[J].International Journal of Computer Vision,2004,60(2):91-110.

[7] 汪慧蘭，毛曉輝，楊晶晶,等.融合小波變換和SIFT特征的商標(biāo)檢索方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015(4):89-92.

[8] 朱玉濱.基于SIFT的圖像檢索技術(shù)研究[D].長(zhǎng)春：吉林大學(xué),2014.

[9] Hu K M.Visual pattern recognition by moment invariant [J].IEEE Transactions on Information Theory,1962,8(2)：179-187.

[10] 張蕾,劉勇,范慶輝.基于修正不變矩和范數(shù)的物體特征識(shí)別方法[J].微電子學(xué)與計(jì)算機(jī),2008,25(6):42-45.

[11] 孫晉博,余隋懷,陳登凱.基于證據(jù)理論融 合多特征的物體識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用,2014,8(1):187-190.

[12] Mikolajczyk K,Schmid C. A performance evaluation of local descriptors [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

TheMethodofTrademarkRetrievalBasedonHUModifiedInvariantMomentsandSIFTFeatures

CHEN Gang，GAO Xiaoli，YANG Qing

(Shenyang Ligong University,Shenyang 110159,China)

In order to improve the precision and rapidity of trademark retrieval,a method of trademark retrieval algorithm is proposed by global features modified HU moment invariants and local features SIFT,so as to MHU-SIFT.This method firstly carries on preliminary filter of image denoising processing.Second,the image of modified HU moment invariants and SIFT features is extracted.And then the index is built by using the method.Finally,trademark is retrieved by using the method based on image content retrieval(CBIR)method.The proposed retrieval technique is tested using the standard trademark database of 2000 images.Simulations results show 10% precision/recall improvement in the case of trademarks database,in the machine for 2GB+64 Laptop.

trademark image retrieval;global feature；local feature；HU modified invariant moments;scale-invariant feature transform (SIFT)

2016-09-03

遼寧省教育廳科學(xué)技術(shù)研究項(xiàng)目(L2014083，L2015467)；遼寧省自然科學(xué)基金指導(dǎo)計(jì)劃項(xiàng)目(201602651)；遼寧省重點(diǎn)實(shí)驗(yàn)室開放基金項(xiàng)目(4771004kfs55)

陳剛(1965—)，女，教授，博士，研究方向：圖像識(shí)別；通信作者：楊青(1963—)，男，教授，博士，研究方向：圖像檢索與分類。

1003-1251(2017)06-0078-06

TP319.41

A

馬金發(fā))