一種基于SIFT算法的衣架指夾圖像定位方法

董煜文,王曉華，張森宇,李 琪,葉浩劼

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

0 引 言

相較傳統(tǒng)的服裝生產(chǎn)方式, 服裝吊掛系統(tǒng)[1]大幅度節(jié)約了捆扎、 搬運(yùn)、 拆包等非生產(chǎn)時(shí)間,但其中的掛片工作仍需人工完成,該站位成本較高,且隨著工作時(shí)間的延長, 及人工主觀因素的影響, 容易出現(xiàn)漏掛和錯(cuò)掛的問題, 掛片效率極大降低. 智能掛片是利用機(jī)器人將衣服裁片精確掛在衣架指夾的工作.在這個(gè)過程中, 需要對吊掛衣架上的各個(gè)指夾進(jìn)行定位． 該過程分為2個(gè)部分[2-3]: (1) 用局部特征匹配的方法從衣架圖像中識(shí)別出匹配點(diǎn)集; (2) 對衣架圖像匹配點(diǎn)集進(jìn)行處理，得出衣架指夾圖像坐標(biāo).

David Lowe[4-5]提出的SIFT算法具有對圖像平移、旋轉(zhuǎn)和尺度變化不變性的優(yōu)點(diǎn),使其成為近十年來最流行的圖像特征點(diǎn)檢測方法;Luc Van Gool等[6]發(fā)明的加速穩(wěn)健特征(SURF,speeded up robust features)算法具有提取速度更快、維度更低的優(yōu)點(diǎn),但在精確度上不及SIFT算法;Rublee等[7]將FAST[8](features from accelerated segment test)算子與BREIF[9](binary robust independent elementary features)描述子進(jìn)行結(jié)合和改進(jìn),提出了ORB(oriented FAST and rotated BRIEF)算法,該算法在應(yīng)用時(shí)具有很高的效率,但是不具備尺度不變性[10].

由于衣架指夾坐標(biāo)必須足夠準(zhǔn)確才能控制機(jī)器人進(jìn)行掛片操作, 而 SIFT 算法精度較高， 且匹配效果穩(wěn)定,所以本文采用基于 SIFT 算法對衣架指夾進(jìn)行圖像定位． 得到衣架指夾匹配點(diǎn)集后, 利用 Graham[11-12]算法維護(hù)匹配點(diǎn)集, 形成點(diǎn)集凸包[13-14], 再通過凸包求取點(diǎn)集的最小外接矩形[15]． 因?yàn)楦鱾€(gè)夾具分割衣架最小外接矩形長邊的距離之比是確定的, 所以得到衣架最小外接矩形之后即可求得指夾圖像坐標(biāo).

1 基本原理

1.1 SIFT算法

SIFT算法十分穩(wěn)定,在改變圖像尺度、亮度、拍攝視角或旋轉(zhuǎn)角度的情況下,都能得到良好的匹配效果,整個(gè)算法分為4個(gè)部分:

(1) 構(gòu)建尺度空間利用不同尺度的高斯差分核[16]與圖像卷積生成高斯差分尺度空間,可表示為

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)

(1)

(2) 檢測DOG尺度空間極值點(diǎn).以每一個(gè)采樣點(diǎn)為中心的九宮格中的點(diǎn),與其上下兩層相對應(yīng)的點(diǎn)相加,共有27個(gè)點(diǎn),若采樣點(diǎn)是27個(gè)點(diǎn)中的最大值或最小值,就認(rèn)為該采樣點(diǎn)是該尺度下的一個(gè)特征點(diǎn)．由于DOG存在局部曲率很不對稱的像素,所以還需要去除對比度低的特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn).

(3) 特征點(diǎn)描述子對于每一個(gè)關(guān)鍵點(diǎn),用梯度直方圖統(tǒng)計(jì)其領(lǐng)域像素的梯度方向(梯度直方圖的橫軸范圍是0°～360°,其中每10°一個(gè)柱),梯度直方圖的峰值即為該特征點(diǎn)的主方向.將坐標(biāo)軸旋轉(zhuǎn)到與特征點(diǎn)主方向重合,以特征點(diǎn)為中心取16×16的像素領(lǐng)域,將此領(lǐng)域分成16個(gè)4×4的子區(qū)域.計(jì)算每個(gè)子區(qū)域內(nèi)的像素的梯度(梯度方向?yàn)閷?60°均分為8個(gè)部分的方向)和模值,將各個(gè)方向的模值累加,得到梯度直方圖,這樣對于每個(gè)特征點(diǎn)將生成16×8=128維的特征描述符.

1.2 匹配點(diǎn)集最小外接矩形

SIFT算法只是將模版圖像上的特征點(diǎn)與待匹配圖像上的特征點(diǎn)進(jìn)行匹配,匹配點(diǎn)分布在衣架圖像上的各個(gè)位置,計(jì)算匹配點(diǎn)的最小外接矩形是為了得到衣架圖像坐標(biāo),為求解衣架指夾坐標(biāo)做準(zhǔn)備.

1.2.1 匹配點(diǎn)集凸包計(jì)算 本文采用Graham算法求得點(diǎn)集凸包,利用凸包的特性計(jì)算點(diǎn)集最小外接矩形．取點(diǎn)集最左邊(橫坐標(biāo)最小)的點(diǎn)作為參考點(diǎn),如果有多個(gè)這樣的點(diǎn)就取最下面的(縱坐標(biāo)最小)點(diǎn)作為參考點(diǎn),將此點(diǎn)標(biāo)為p0,其余點(diǎn)按從下至上,從左到右的順序,依次標(biāo)記為p0,p1,p2,…,pn.排序后開始刪除p0,p1,p2,…,pn上不在凸包上的點(diǎn),建立一個(gè)棧,先把p0,p1,p2入棧中,對于p3,p4,p5,…,pn的每個(gè)點(diǎn),若棧頂?shù)膬蓚€(gè)點(diǎn)和當(dāng)前的點(diǎn)按順序連接時(shí),連線的方向是順時(shí)針方向,則刪除棧頂?shù)狞c(diǎn),繼續(xù)將棧頂?shù)膬蓚€(gè)點(diǎn)和當(dāng)前的點(diǎn)按順序連接,若連線的方向是逆時(shí)針方向或者棧內(nèi)只有2個(gè)元素(p1,p2),就把當(dāng)前點(diǎn)入棧,所有點(diǎn)處理完之后棧中保存的點(diǎn)就是凸包的所有頂點(diǎn).

1.2.2 匹配點(diǎn)集最小外接矩形計(jì)算 得到點(diǎn)集凸包后,按照以下步驟進(jìn)行點(diǎn)集最小外接矩形的求取:

(1) 取凸包上任意一條邊作為矩形的一條邊;

(2) 遍歷凸包上的頂點(diǎn),取距離(1)所得直線最遠(yuǎn)的點(diǎn),過該點(diǎn)做平行線,定為矩形第二條邊所在的直線;

(3) 將凸包上所有頂點(diǎn)向(2)所得的直線投影,過相互距離最遠(yuǎn)的兩個(gè)投影點(diǎn)做(1)所得直線的垂線,作為矩形另外兩條邊所在直線(至此,可得到一個(gè)矩形);

圖 1 衣架Fig.1 Coat hanger

(4) 遍歷凸包的所有邊,重新運(yùn)行(1)～(3),將面積最小的矩形作為點(diǎn)集的最小外接矩形．

如圖1所示,為服裝吊掛系統(tǒng)上的衣架.每個(gè)衣架上包含5個(gè)指夾,各個(gè)指夾在吊掛衣架上的分布是固定的, 不論如何采集圖像,各個(gè)指夾分割衣架最小外接矩形長邊的距離之比是確定的,所以得到衣架最小外接矩形就可求得指夾圖像坐標(biāo).

2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用的運(yùn)行環(huán)境為Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz,4GB內(nèi)存的PC機(jī)．在VS2012上選用OpenCV開源圖像處理數(shù)據(jù)庫作為開發(fā)平臺(tái)．實(shí)驗(yàn)采用5組圖像數(shù)據(jù),分別為不同尺度、不同視角、不同亮度、蘋果和茶杯(作為干擾物)及不同顏色下的SIFT算法匹配.

2.1 匹配方法驗(yàn)證

同為局部特征匹配方法,SURF算法采用Hessian[17]行列式的斑點(diǎn)特征檢測方法,在不同的尺度上利用積分圖像有效計(jì)算出近似Harr[18]小波值,簡化了二階微分模版的構(gòu)建,提高了尺度空間的特征檢測效率;而ORB算法在FAST特征基礎(chǔ)上提出通過強(qiáng)度中心法得到點(diǎn)的方向,并在BREIF中加入旋轉(zhuǎn)因子[19]進(jìn)行改進(jìn)使描述符具備旋轉(zhuǎn)不變性．

對于包含衣架的圖像分別使用SURF、ORB和SIFT算法進(jìn)行特征提取,得到的結(jié)果如圖2所示.可以看出,SIFT算法的特征點(diǎn)均勻地分布在衣架圖像上,匹配效果穩(wěn)定,準(zhǔn)確度高;SURF算法的特征點(diǎn)較多,但匹配效果很差;ORB算法的特征點(diǎn)匹配的效果良好,但是特征點(diǎn)分布不均勻,衣架上有些部分沒有提取出特征點(diǎn),這不利于對衣架指夾位置的確定.定位衣架指夾在識(shí)別過程中需要獲取吊掛衣架的整體結(jié)構(gòu)信息,即特征點(diǎn)應(yīng)該均勻分布在吊掛衣架上的各個(gè)位置,故SIFT算法最適合對吊掛衣架進(jìn)行識(shí)別.

(a) SURF算法 (b) ORB算法 (c) SIFT算法圖 2 特征匹配方法Fig.2 Feature matching method

2.2 吊掛衣架識(shí)別

對不同類別的吊掛衣架圖像用SIFT算子進(jìn)行識(shí)別,效果如表1所示.由表1中“尺度”、“視角”、“亮度”可以看出,算法能夠?qū)Σ煌叨取⑿D(zhuǎn)角度、亮度的目標(biāo)進(jìn)行識(shí)別,表1中“蘋果和茶杯”驗(yàn)證了算法能夠排除蘋果和茶杯的干擾進(jìn)行識(shí)別,表1中“顏色”說明該算法在顏色相近的背景下對吊掛衣架的識(shí)別率很差,實(shí)際使用時(shí)應(yīng)改善吊掛衣架的顏色避免錯(cuò)誤識(shí)別.

2.3 吊掛衣架指夾圖像坐標(biāo)確定

用SIFT算法匹配后,可以得到吊掛衣架圖像的匹配特征點(diǎn)集,利用Graham算法對圖像中的匹配點(diǎn)集進(jìn)行維護(hù),得到點(diǎn)集的凸包,再將凸包上的頂點(diǎn)按1.2的方法進(jìn)行迭代求取點(diǎn)集的最小外接矩形,如圖3所示. 得到點(diǎn)集最小外接矩形后,按照吊掛衣架實(shí)物可知,各個(gè)指夾分割吊掛衣架最小外接矩形長邊的比為1∶1.25∶1.35∶1.35∶1.25∶1,如圖4所示．根據(jù)比例即可求得指夾圖像坐標(biāo).

表1 SIFT特征匹配效果

Table 1 Effect of SIFT feature matching

3 結(jié)束語

為了對吊掛衣架指夾進(jìn)行定位,分別采用SIFT、SURF、ORB算法對衣架圖像進(jìn)行匹配.實(shí)驗(yàn)表明,SIFT算法更適合對衣架圖像進(jìn)行識(shí)別．根據(jù)Graham算法和凸包最小外接矩形算法成功計(jì)算出衣架圖像匹配點(diǎn)集的最小外接矩形,最后利用指夾在吊掛衣架上位置的比例關(guān)系,實(shí)現(xiàn)了吊掛衣架指夾的定位,為智能服裝吊掛系統(tǒng)的智能掛片環(huán)節(jié)提供借鑒.實(shí)驗(yàn)過程中發(fā)現(xiàn),采用SIFT算法進(jìn)行匹配會(huì)出現(xiàn)少量的誤匹配點(diǎn),且如果背景顏色和吊掛衣架顏色相近則識(shí)別效果很差,因此,在剔除誤匹配點(diǎn)的方法上還有待改進(jìn),并且應(yīng)使背景顏色與吊掛衣架顏色有較大差異,易于區(qū)分.

圖 3 匹配點(diǎn)集的最小外接矩形 圖 4 指夾分割吊掛衣架示意圖 Fig.3 The smallest circumscribed rectangle of a matched set of points Fig.4 Sketch map for separating hangers by finger clip

參考文獻(xiàn)(References)：

[1] 王瑞卿,洪良,王曉華.基于RFID和ZigBee技術(shù)的服裝吊掛系統(tǒng)生產(chǎn)線設(shè)計(jì)[J].紡織高校基礎(chǔ)科學(xué)學(xué)報(bào)，2017,30(4):490-495.

WANG R Q,HONG L,WANG X H.Design of garment hanging system production line based on RFID and ZigBee[J].Basic Sciences Journal of Textile Universities,2017,30(4):490-495.

[2] 馬浩,景軍鋒,李鵬飛.基于機(jī)器視覺的管紗毛羽檢測[J].西安工程大學(xué)學(xué)報(bào),2017,31(3):377-382.

MA H,JING J F,LI P F.Detection of tube hairiness based on machine vision[J].Journal of Xi′an Polytechnic University,2017,31(3):377-382.

[3] 王曉華,傅衛(wèi)平.零件的雙目視覺識(shí)別定位與抓取系統(tǒng)研究[J].制造業(yè)自動(dòng)化,2010,32(12):129-132.

WANG X H,FU W P.Research on recognition and location system of work-piece based on binocular vision[J].Manufacturing Automation,2010,32(12):129-132.

[4] LOWE D G.Distinctive image features from scale-invariant keypoints [J].International Journal of Computer Vision,2004,60(2):91-110.

[5] 姚楚楚,陳寧.側(cè)臉識(shí)別在在線考試系統(tǒng)中的應(yīng)用[J].西安工程大學(xué)學(xué)報(bào),2017,31(2):238-243.

YAO C C,CHEN N.The application of side face recognition in online examination system[J].Journal of Xi′an Polytechnic University,2017,31(2): 238-243.

[6] BAY H,TUYTELAARS T,GOOL L V.SURF: Speeded up robust features[J].Computer Vision & Image Understanding,2006,110 (3):404-417.

[7] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB: An efficient alternative to SIFT or SURF[J].IEEE International Conference on Computer Vision,2011,58(11):2564-2571.

[8] KARIM S,ZHANG Y,ASIF M R,et al.Comparative analysis of feature extraction methods in satellite imagery[J].Journal of Applied Remote Sensing,2017,11(4):1.

[9] SHARIF H,HOLZEL M.A comparison of prefilters in ORB-based object detection[J].Pattern Recognition Letters,2017,93(S1):154-161.

[10] SAHU N,SUR A.SIFT based video watermarking resistant to temporal scaling[J].Journal of Visual Communication and Image Representation,2017,45:77-86.

[11] GOMES A J P.A total order heuristic-based convex hull algorithm for points in the plane[J].Computer-aided Design,2016,70(C):153-160.

[12] FAN J,YANG J,AI D,et al.Convex hull indexed Gaussian mixture model (CH-GMM) for 3D point set registration[J].Pattern Recognition,2016,59(S1):126-141.

[13] 李必棟,閆浩文,王中輝,等.坐標(biāo)排序的離散點(diǎn)凸包生成算法[J].測繪科學(xué),2017,42(2):14-17.

LI B D,YAN H W,WANG Z H,et al.Algorithm of convex hull generation for point sets based on sorted coordinates[J].Science of Surveying and Mapping,2017,42(2):14-17.

[14] LIU R Z,TANG Y Y,FANG B,et al.An enhanced version and an incremental learning version of visual-attention-imitation convex hull algorithm[J].Neurocomputing,2014,133(8):231-236.

[15] 侯占偉,賈玉蘭,王志衡.基于最小外接矩形的珠寶定位技術(shù)研究[J].計(jì)算機(jī)工程,2016,42(2):254-260.

HOU Z W,JIA Y L,WANG Z H.Research on jewelry positioning technology based on minimum bounding rectangle[J].Computer Engineering,2016,42(2):254-260.

[16] 管聲啟,何建新,王杰,等.應(yīng)用小波域高斯差分濾波的起球疵點(diǎn)客觀評(píng)價(jià)[J].紡織學(xué)報(bào),2017,38(9):155-161.

GUAN S Q,HE J X,WANG J,et al.Pilling objective evaluation based Gaussian filtering in wavelet domain[J].Journal of Textile Research,2017,38(9):155-161.

[17] BRAU N M.Sparse HessianFD:An R package for estimating sparse hessian matrices[J].Journal of Statistical Software,2017,82(10):1-22.

[18] DAI H,ZHENG Z,WANG W.A new fractional wavelet transform[J].Communications in Nonlinear Science and Numerical Simulation,2017,44:19-36.

[19] 侯毅,周石琳,雷琳,等.基于ORB的快速完全仿射不變圖像匹配[J].計(jì)算機(jī)工程與科學(xué),2014,36(2):303-310.

HOU Y,ZHOU S L,LEI L,et al.Fast fully affine invariant image matching based on ORB [J].Computer Engineering and Science,2014,36(2):303-310.