應(yīng)用機(jī)器視覺(jué)的鞋面數(shù)量統(tǒng)計(jì)與尺寸測(cè)量

景軍鋒， 謝 佳， 李鵬飛， 張 蕾， 張宏偉

(西安工程大學(xué) 電子信息學(xué)院， 陜西 西安 710048)

應(yīng)用機(jī)器視覺(jué)的鞋面數(shù)量統(tǒng)計(jì)與尺寸測(cè)量

景軍鋒， 謝 佳， 李鵬飛， 張 蕾， 張宏偉

(西安工程大學(xué) 電子信息學(xué)院， 陜西 西安 710048)

針對(duì)鞋面數(shù)量統(tǒng)計(jì)和尺寸測(cè)量過(guò)程中人工檢測(cè)方法效率低、成本高的問(wèn)題，提出利用機(jī)器視覺(jué)的鞋面數(shù)量統(tǒng)計(jì)與尺寸測(cè)量方法。采用基于邊緣方向的模板匹配算法對(duì)鞋面進(jìn)行數(shù)量統(tǒng)計(jì)。運(yùn)用最小外接矩形(MER)算法對(duì)鞋面進(jìn)行尺寸測(cè)量。為驗(yàn)證方法的可靠性，對(duì)3種鞋面分別在光照變化、混亂和遮擋條件下進(jìn)行了檢測(cè)實(shí)驗(yàn)，并與絕對(duì)誤差和算法、歸一化相關(guān)系數(shù)法和Hausdorff距離匹配算法的檢測(cè)結(jié)果進(jìn)行對(duì)比。將MER測(cè)量結(jié)果和人工測(cè)量結(jié)果進(jìn)行對(duì)比，結(jié)果表明：基于邊緣方向的模板匹配算法在復(fù)雜環(huán)境下的魯棒性更高，可完成鞋面數(shù)量統(tǒng)計(jì)；MER方法和人工測(cè)量的相對(duì)誤差在0.67%以內(nèi)，滿足工業(yè)生產(chǎn)中的實(shí)際需求。

鞋面數(shù)量； 鞋面尺寸； 邊緣方向； 最小外接矩形算法

目前，國(guó)內(nèi)制鞋企業(yè)的生產(chǎn)效率明顯落后于發(fā)達(dá)國(guó)家[1]，一些手工操作的生產(chǎn)程序直接影響生產(chǎn)效率，其中在鞋面檢測(cè)環(huán)節(jié)，需要人工來(lái)完成鞋面的數(shù)量統(tǒng)計(jì)和尺寸測(cè)量，存在勞動(dòng)強(qiáng)度大、速度慢、人力成本高等問(wèn)題，降低了企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。為此，提出運(yùn)用機(jī)器視覺(jué)的方法完成鞋面數(shù)量統(tǒng)計(jì)和尺寸測(cè)量。

在傳統(tǒng)鞋面計(jì)數(shù)方法中，鞋面數(shù)量為生產(chǎn)的面料長(zhǎng)度與每只鞋高度的比值，本文研究采用模版匹配算法進(jìn)行鞋面定位，完成數(shù)量統(tǒng)計(jì)，不僅可適應(yīng)鞋面復(fù)雜的生產(chǎn)環(huán)境，如光照變化、混亂和遮擋情況，進(jìn)行同步計(jì)數(shù)，還可根據(jù)匹配分值大小統(tǒng)計(jì)鞋面合格品與次品個(gè)數(shù)。常用的絕對(duì)誤差和(SAD)算法[2]、誤差平方和(SSD)算法[3]以模版圖像和待搜索圖像的灰度值之差作為相似度量，在光照穩(wěn)定的情況下匹配效果良好，一旦光照發(fā)生變化，其返回值很大。歸一化相關(guān)系數(shù)(NCC)法[4]是對(duì)以上2種算法的改進(jìn)，適應(yīng)了線性變化的光照，但對(duì)噪聲十分敏感[5]。文獻(xiàn)[6]提出基于2個(gè)點(diǎn)集之間的Hausdorff距離匹配算法，該算法主要是計(jì)算模板邊緣點(diǎn)與待搜索圖像邊緣點(diǎn)二者之間的最大距離，如果圖像中存在遮擋和混亂情況則會(huì)影響匹配結(jié)果[7]。Steger[8]提出的基于邊緣方向的模板匹配算法可解決光照變化、混亂和遮擋這些問(wèn)題帶來(lái)的影響。采用基于機(jī)器視覺(jué)的非接觸式測(cè)量方法完成鞋面尺寸測(cè)量。苑瑋琦等[9]利用矩實(shí)現(xiàn)植物葉片長(zhǎng)寬的測(cè)量，但是計(jì)算量過(guò)大。李洋等[10]提出一種快速提取植物葉片最小外接矩形(MER)算法，可快速精確地提取出目標(biāo)最小外接矩形完成尺寸測(cè)量。本文采用基于邊緣方向的模板匹配算法進(jìn)行匹配，完成鞋面數(shù)量統(tǒng)計(jì)，并且與SAD、NCC、Hausdorff距離算法進(jìn)行了對(duì)比；采用最小外接矩形算法測(cè)量鞋面尺寸，與人工測(cè)量結(jié)果進(jìn)行了驗(yàn)證。結(jié)果表明，采用機(jī)器視覺(jué)的方法可代替人工完成鞋面的數(shù)量統(tǒng)計(jì)和尺寸測(cè)量。

1 鞋面檢測(cè)系統(tǒng)

鞋面檢測(cè)系統(tǒng)主要由檢測(cè)臺(tái)、光源、CCD相機(jī)、計(jì)算機(jī)組成。鞋面檢測(cè)系統(tǒng)如圖1所示。將待測(cè)鞋面平鋪于檢測(cè)臺(tái)上，檢測(cè)臺(tái)上方安裝光源，通過(guò)CCD相機(jī)采集鞋面圖像，傳入計(jì)算機(jī)中進(jìn)行算法處理獲得鞋面數(shù)量和鞋面尺寸。

圖1 鞋面檢測(cè)系統(tǒng)圖Fig.1 Detection system map

2 鞋面數(shù)量統(tǒng)計(jì)

2.1基于邊緣方向的模板匹配算法

基于邊緣方向的模板匹配算法分為創(chuàng)建模版階段和圖像匹配階段，采用索貝爾(Sobel)算子獲得圖像的方向梯度，然后利用模板圖像與待搜索圖像對(duì)應(yīng)邊緣點(diǎn)的梯度方向向量點(diǎn)積之和作為相似度量函數(shù)進(jìn)行匹配定位。算法流程圖如圖2所示。

圖2 基于邊緣方向的模板匹配算法流程圖Fig.2 Flow chart of template matching algorithm based on edge direction

2.1.1模板創(chuàng)建

將模板對(duì)象定義為由點(diǎn)集構(gòu)成的圖像，采用Sobel算子求取點(diǎn)集對(duì)應(yīng)的方向梯度，其中點(diǎn)集為pi(xi,yi)T(i=1,2,…,n)，方向梯度為di=(ti,ui)T(i=1,2,…,n)，本文的模板圖像為標(biāo)準(zhǔn)的鞋面圖像。圖3示出模版圖像通過(guò)Sobel算子獲得的梯度圖像。

圖3 Sobel算子獲取模版圖像梯度Fig.3 Template image gradient obtained using Sobel operator. (a) Template image；(b) Gradient map of template image

2.1.2圖像匹配

同樣，采用Sobel算子獲得待搜索圖像中每個(gè)點(diǎn)(x,y)對(duì)應(yīng)的方向梯度ex,y=(vx,y,wx,y)T。圖4示出Sobel算子獲取待搜索圖像梯度。

圖4 Sobel算子獲取待搜索圖像梯度Fig.4 Searched image gradient obtained using Sobel operator. (a) Searched image；(b) Gradient map of searched image

以模版圖像上邊緣點(diǎn)與待搜索圖像上相對(duì)應(yīng)邊緣點(diǎn)方向向量點(diǎn)積之和的平均值作為相似度量函數(shù)。在待搜索圖像中某點(diǎn)q(x,y)T處，其相似度量為

2.2結(jié)果與分析

為實(shí)際評(píng)估算法在鞋面檢測(cè)中的表現(xiàn)情況，采用分辨率為2 592像素×1 944像素的acA2500-14gm型BASLER面陣相機(jī)作為圖像采集設(shè)備，分別在光照變化、混亂及遮擋條件下對(duì)3種鞋面各采集100張圖像，分組進(jìn)行鞋面數(shù)量統(tǒng)計(jì)實(shí)驗(yàn)，鞋面圖像大小為1 024像素×1 024像素。3種鞋面樣本如圖5所示。

圖5 3種鞋面樣本Fig.5 Three vamps samples. (a) Vamp sample 1； (b) Vamp sample 2；(c) Vamp sample 3

2.2.1光照變化

采用照度為100 Lux的條形光源，3種鞋面各采集100張圖像進(jìn)行匹配。圖6示出運(yùn)用本文算法對(duì)3種鞋面匹配的部分結(jié)果。

注：圖中從左至右依次為相機(jī)曝光時(shí)間3 000、6 000、9 000 μs，以及使用條形LED光源作為外界光源，模擬不均勻光照條 件下采集的圖像，矩形框即為匹配到的鞋面目標(biāo)。圖6 3種鞋面在光照變化下的部分匹配結(jié)果Fig.6 Some matching results of three vamps under change of illumination.(a) Vamp sample 1；(b) Vamp sample 2； (c) Vamp sample 3

表1示出在光照變化條件下采用SAD、NCC、Hausdorff距離以及本文算法的匹配結(jié)果。

表1 光照變換下4種算法的匹配結(jié)果Tab. 1 Matching results of four algorithms under change of illumination

SAD算法計(jì)算模版圖像與待搜索圖像之間的灰度差，當(dāng)光照發(fā)生變化時(shí)會(huì)引起灰度值的變化，使得返回值較大，影響匹配結(jié)果，且SAD算法不適應(yīng)非線性的光照變化，故而識(shí)別率低；當(dāng)最小分值Smin為0.3時(shí)，采用NCC算法的識(shí)別率為85%，光照的變化使得灰度值會(huì)相應(yīng)地變大或變小，不管所有的灰度值變大或變小與它們的均值作差后，差值會(huì)比較小，再除以單位方差，這樣就對(duì)圖像的亮度等級(jí)變化很不敏感，所以NCC算法的識(shí)別率高于SAD算法；Hausdorff距離匹配算法的識(shí)別率為94%，匹配效果良好。本文算法可準(zhǔn)確匹配300張圖像，識(shí)別率為100%，由于基于邊緣方向的模版匹配算法進(jìn)行了歸一化處理，故不受光照變化的影響。

2.2.2混亂情況處理

鞋面生產(chǎn)環(huán)境中難免會(huì)出現(xiàn)噪聲和其他方式的干擾，這些通常稱為混亂。噪聲的產(chǎn)生可能是由于圖像采集設(shè)備、傳輸過(guò)程等原因?qū)е碌?，噪聲的產(chǎn)生是隨機(jī)的；干擾則是因?yàn)橥饨绻ぷ鳝h(huán)境產(chǎn)生的，比如振動(dòng)，算法的魯棒性在一定程度上體現(xiàn)在抗噪聲和抗干擾能力上[12]。設(shè)置曝光時(shí)間為6 000 μs，圖7示出在混亂情況下，采用本文算法匹配3種鞋面的部分結(jié)果圖。

注：圖中從左到右依次為采用本文算法對(duì)相機(jī)視場(chǎng)范圍內(nèi) 模擬操作工可能進(jìn)行的人為手動(dòng)干擾的匹配結(jié)果。圖7 3種鞋面在混亂情況下的部分匹配結(jié)果Fig.7 Some matching results of three vamps in clutter. (a) Vamp sample 1；(b) Vamp sample 2； (c) Vamp sample 3

表2示出在混亂情況下采用4種算法對(duì)鞋面識(shí)別定位的結(jié)果。由表可知：采用SAD算法的識(shí)別率最低為39%；當(dāng)最小分值Smin為0.3時(shí)，NCC算法的識(shí)別率為72%。原因是噪聲會(huì)掩蓋相關(guān)峰值，導(dǎo)致識(shí)別率下降；Hausdorff距離算法的識(shí)別率為88%，混亂會(huì)使得點(diǎn)與點(diǎn)之間的距離產(chǎn)生偏差；本文算法可很好地匹配到鞋面目標(biāo)，識(shí)別率為100%，這是因?yàn)槿绻阉鲌D像中某個(gè)特征消失，噪聲會(huì)產(chǎn)生隨機(jī)的方向向量，這些方向向量平均起來(lái)并不會(huì)對(duì)相似度量函數(shù)產(chǎn)生影響，所以具有很好的抗干擾性。

表2 混亂情況下4種算法的匹配結(jié)果Tab.2 Matching of four algorithms under clutter

2.2.3遮擋情況處理

在工業(yè)生產(chǎn)環(huán)境中會(huì)出現(xiàn)鞋面被部分遮擋的情況，此時(shí)也要求能定位到目標(biāo)。設(shè)置曝光時(shí)間為6 000 μs，對(duì)3種鞋面進(jìn)行遮擋處理，遮擋面積不超過(guò)鞋面面積的30%，各采集100張圖像進(jìn)行匹配測(cè)試。圖8示出3種鞋面樣本在遮擋情況下的部分匹配結(jié)果。

注：圖中從左到右依次為采用本文算法對(duì)100 mm×80 mm的 白色紙片遍歷鞋面輪廓1周的匹配結(jié)果。圖8 3種鞋面樣本在遮擋情況下的部分匹配結(jié)果Fig.8 Some matching results of three vamps in occlusion. (a) Vamp sample 1； (b) Vamp sample 2；(c) Vamp sample 3

表3示出在遮擋情況下4種算法對(duì)鞋面識(shí)別定位的結(jié)果。在30%以內(nèi)遮擋情況下，SAD算法的識(shí)別率為34%；最小分值Smin為0.3時(shí)，NCC算法的識(shí)別率為76%；Hausdorff距離算法識(shí)別率為93%，Hausdorff距離由2個(gè)距離最大值決定，為得到低的總距離，必須保證模板邊緣點(diǎn)與圖像邊緣點(diǎn)二者之間的距離非常接近，因此圖像中的遮擋會(huì)影響匹配結(jié)果；采用本文算法可有效地定位鞋面，識(shí)別率為100%，遮擋會(huì)導(dǎo)致待搜索圖像某些特征值消失，但是并不會(huì)對(duì)總和產(chǎn)生貢獻(xiàn)值，所以匹配效果良好。

表3 遮擋情況下4種算法的匹配結(jié)果Tab. 3 Matching results of four algorithms under occlusion

采用4種算法分別匹配不同環(huán)境下的鞋面，實(shí)驗(yàn)結(jié)果表明，不論是在光照變化、混亂，還是遮擋的情況下，采用基于邊緣方向的模板匹配算法均可有效地定位到目標(biāo)鞋面，從而完成鞋面的數(shù)量統(tǒng)計(jì)。

3 鞋面尺寸測(cè)量

3.1用MER算法測(cè)量鞋面尺寸

定位到鞋面后，采用Canny算子獲取鞋面輪廓，用基于平面掃描法的Graham算法構(gòu)造鞋面凸包[13]。一個(gè)凸多邊形的最小外接矩形必定經(jīng)過(guò)這個(gè)凸多邊形的一條邊，遍歷鞋面輪廓凸包上的每條邊，以該邊構(gòu)造矩形，計(jì)算該矩形的面積，比較得出的所有矩形面積，面積最小時(shí)確定其為該鞋面的MER，此時(shí)MER的長(zhǎng)和寬即為鞋面的長(zhǎng)和寬。圖9示出鞋面進(jìn)行MER提取的各階段檢測(cè)結(jié)果。

圖9 提取鞋面最小外接矩形Fig.9 Extraction of vamp minimum enclosing rectangle. (a) Vamp; (b) Results of edge detection; (c) Convex hull of vamp; (d) Result of minimum enclosing rectangle

3.2實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

采用靜態(tài)測(cè)量，相機(jī)與檢測(cè)臺(tái)的距離為2 m，視場(chǎng)范圍為400 mm×300 mm，確?？刹杉揭粋€(gè)完整的鞋面圖像，將鞋面平鋪于檢測(cè)臺(tái)上，鞋面的長(zhǎng)邊對(duì)應(yīng)于視場(chǎng)長(zhǎng)邊，通過(guò)2.1小節(jié)方法進(jìn)行鞋面的尺寸測(cè)量。為得到鞋面的真實(shí)尺寸，將以像素為單位的尺寸轉(zhuǎn)換為空間中的物理尺寸[14]，計(jì)算公式如下。

l=n×d

(3)

式中：d為單位像素所代表的實(shí)際距離大小，可由物理空間的實(shí)際距離與圖像像素距離對(duì)應(yīng)比例關(guān)系得到，即d=400 mm/2 592像素=0.154 mm/像素；n為總的像素個(gè)數(shù)；l為鞋面物理尺寸。

在相同環(huán)境條件下，對(duì)10個(gè)鞋面樣本分別采用手工方法和MER方法進(jìn)行測(cè)量，求出測(cè)量結(jié)果的相對(duì)誤差，更能反映測(cè)量的可信程度。采用的相對(duì)誤差公式為

表4示出采用2種方法對(duì)鞋面長(zhǎng)和寬的測(cè)量結(jié)果。從表可看出，MER和手工方法測(cè)量鞋面的長(zhǎng)和寬的平均測(cè)量誤差為0.37%和0.47%，最大相對(duì)誤差為0.67%，出現(xiàn)在鞋面樣本6的寬度測(cè)量時(shí)，其誤差為280 mm-278.18 mm=1.88 mm，小于實(shí)際誤差范圍2 mm。由表4中結(jié)果還可知，MER測(cè)量值與手工測(cè)量值很接近，充分說(shuō)明該計(jì)算方法是可行的，有較高的準(zhǔn)確率，可代替人工完成鞋面尺寸的測(cè)量，解決人力成本高、測(cè)量誤差大的問(wèn)題。

表4 鞋面長(zhǎng)和寬測(cè)量結(jié)果Tab.4 Measure results of length and width of vamps

4 結(jié) 語(yǔ)

本文提出將機(jī)器視覺(jué)運(yùn)用到鞋面檢測(cè)中，代替人工完成鞋面數(shù)量統(tǒng)計(jì)和尺寸測(cè)量。通過(guò)對(duì)比不同環(huán)境下4種算法測(cè)試的結(jié)果表明，采用基于邊緣方向的模板匹配方法可有效地適應(yīng)鞋面生產(chǎn)環(huán)境中光照變化、混亂和遮擋的影響，準(zhǔn)確定位，完成鞋面數(shù)量統(tǒng)計(jì)；采用最小外接矩形算法測(cè)量鞋面的尺寸，和手工測(cè)量方法進(jìn)行了驗(yàn)證，最大相對(duì)誤差為0.67%，滿足實(shí)際生產(chǎn)中鞋面尺寸的測(cè)量要求。在鞋面實(shí)際生產(chǎn)中需要實(shí)時(shí)采集與處理，所以算法的實(shí)時(shí)性將是下一步的研究方向。

FZXB

[1] 郝根旺. 基于機(jī)器人的制鞋成型過(guò)程智能控制策略設(shè)計(jì)[D]. 大連：大連理工大學(xué)，2014:1-2.

HAO Genwang. The design of intelligent control strategy for shoemaking assembly process based on robot[D]. Dalian：Dalian University of Technology, 2014：1-2.

[2] NGUYEN V A, TAN Y P. Efficient block-matching motion estimation based on integral frame attributes[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(3)：375-385.

[3] NICKELS K, HUTCHINSON S. Estimating uncertainty in SSD based feature tracking[J]. Image & Vision Computing, 2002, 20(1)：47-58.

[4] HANEDECK U D. Template matching using fast normalized cross correlation[J]. Aerospace/defense Sensing, Simulation & Controls, 2001, 4387：95-102.

[5] ZHANG B, YANG H, YIN Z. A region-based normalized cross correlation algorithm for the vision-based positioning of elongated IC chips[J]. IEEE Transactions on Semiconductor Manufacturing, 2015, 28(3)：345-352.

[6] RYCKLIDGE W J. Efficiently locating objects using the Hausdorff distance[J]. International Journal of Computer Vision, 1997, 24(3)：457-464.

[7] STEGER C, ULRICH M, WIEDEMANN C. Machine Vision Algorithms and Applications[M]. Weinheim：Wiley-VCH, 2008：321-343.

[8] STEGER C. Similarity measures for occlusion, clutter, and illumination invariant object recognition[J]. Lecture Notes in Computer Science, 2001, 2191：148-154.

[9] 苑瑋琦，胡迪. 利用矩實(shí)現(xiàn)植物葉片長(zhǎng)寬的測(cè)量[J]. 計(jì)算機(jī)工程與應(yīng)用，2013，49(16)：188-191.

YUAN Weiqi，HU Di. Measurement of leaf blade length and width based on moment[J]. Computer Engineering and Applications，2013，49(16)：188-191.

[10] 李洋，李岳陽(yáng). 一種快速提取植物葉片最小外接矩形的算法[J].江南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2015，14(3)：273-277.

LI Yang, LI Yueyang. Fast algorithm for extracting minimum enclosing rectangle of plant leaves[J]. Journal of Jiangnan University(Natural Science Edition), 2015, 14(3)：273-277.

[11] 趙振民，彭國(guó)華，符立梅. 基于形狀模板的快速高精度可靠圖像匹配[J]. 計(jì)算機(jī)應(yīng)用，2010，30(2)：441-444.

ZHAO Zhenmin, PENG Guohua, FU Limei. Fast high-precision reliable image matching algorithm based on shape[J]. Journal of Computer Applications, 2010, 30(2)：441-444.

[12] 吳曉軍，鄒光華. 基于邊緣幾何特征的高性能模板匹配算法[J]. 儀器儀表學(xué)報(bào)，2013，34(7)：1462-1469.

WU Xiaojun, ZOU Guanghua. High performance template matching algorithm based on edge geometric features[J]. Chinese Journal of Scientific Instrument, 2013, 34(7)：1462-1469.

[13] 劉宏兵，鄔長(zhǎng)安，周文勇. 基于二維凸包的TSP算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2009，30(8)：1954-1956.

LIU Hongbing, WU Changan, ZHOU Wenyong. TSP algorithm based on two dimensional convex hull[J]. Computer Engineering and Design, 2009, 30(8)： 1954-1956.

[14] PATIL S B, BODHE S K. Betel leaf area measurement using image processing[J]. International Journal on Computer Science and Engineering, 2011, 3(7)：2656-2660.

Quantitystatisticsandsizemeasurementofvampsbasedonmachinevision

JING Junfeng， XIE Jia， LI Pengfei， ZHANG Lei， ZHANG Hongwei

(SchoolofElectronicandInformation，Xi′anPolytechnicUniversity，Xi′an，Shaanxi710048，China)

Focusing on the problems of low efficiency and high cost of artificial detection in vamps statistics and size measurement, a machine vision method of counting and measuring vamps was presented. The template matching algorithm based on the edge direction to complete quantity statistics of vamps was used. The minimum enclosing rectangle algorithm measured the size of vamps was employed. To verify the reliability of the proposed method, three kinds of vamps were detected in illumination changes, clutter and occlusion, and the results were compared with sum of absolute differences, normalized cross correlation and Hausdorff distance matching algorithm. The measurement results of minimum enclosing rectangle algorithm were compared with the manual test. The experimental results demonstrate that template matching algorithm based on the edge direction is more robust in complex environment, and it can finish the quantity statistics of vamps. The relative error between the minimum enclosing rectangle method and the artificial measurement is smaller than 0.67%, which meets the actual needs of industrial production.

vamp quantity; vamp size; edge direction; minimum enclosing rectangle algorithm

10.13475/j.fzxb.20161203906

TS 101.9

A

2016-12-23

2017-08-10

國(guó)家自然科學(xué)基金項(xiàng)目(61301276)；陜西省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2017GY-003)；陜西省工業(yè)科技攻關(guān)項(xiàng)目(2015GY034)；西安工程大學(xué)研究生創(chuàng)新基金項(xiàng)目(CX201730)

景軍鋒(1978—)，男，副教授，博士。主要研究方向?yàn)闄C(jī)器視覺(jué)與圖像處理。E-mail:413066458@qq.com。