基于機(jī)器視覺的鞋面特征點(diǎn)自動識別改進(jìn)方法

徐 洋， 朱治潮， 盛曉偉， 余智祺， 孫以澤

(東華大學(xué) 機(jī)械工程學(xué)院， 上海 201620)

運(yùn)動鞋面生產(chǎn)過程中，將運(yùn)動鞋面原料與轉(zhuǎn)印紙進(jìn)行精確匹配是極其重要的一道工序。目前，國內(nèi)絕大多數(shù)運(yùn)動鞋服企業(yè)均采用人工比對鞋面原料特征點(diǎn)的方式，以確定該鞋面紋案是否合格。這種傳統(tǒng)接觸式測量方法的工作強(qiáng)度大、工作效率低、勞動成本高，而且工人視線與測量工具的平行度還會導(dǎo)致讀數(shù)誤差[1]，極易產(chǎn)生廢品。近年來隨著信息技術(shù)的發(fā)展，機(jī)器視覺和圖像處理相關(guān)課題的研究不斷深入，其應(yīng)用領(lǐng)域也在不斷拓展[2]，被廣泛地應(yīng)用于目標(biāo)跟蹤、圖像拼接、模式識別等領(lǐng)域[3-4]。因此，采用基于機(jī)器視覺的方法對鞋面進(jìn)行定位可以克服傳統(tǒng)接觸式識別方式的缺陷，降低企業(yè)成本，提升識別正確率，滿足檢測實(shí)時性，具有良好的實(shí)用價(jià)值和發(fā)展前景。

機(jī)器視覺鞋面圖像檢測方法中，正確的圖像分割是獲取鞋面特征點(diǎn)區(qū)域的核心，直接影響后續(xù)步驟中目標(biāo)特征提取和識別任務(wù)的效果。目前，圖像分割方法主要有閾值分割法[5]、區(qū)域分割法[6]、邊緣分割法[7]等。其中，Otsu法[8]以最大類間方差作為判別依據(jù)來獲取最佳分割閾值，具有算法高效的優(yōu)點(diǎn)，被廣泛運(yùn)用在各個圖像領(lǐng)域；但是，該算法沒有考慮圖像領(lǐng)域的空間信息，因此，當(dāng)圖像中存在噪聲或不清晰邊緣時，其分割結(jié)果不夠理想。為有效提高算法的抗噪性，研究者又提出了二維Otsu法[9]。二維的Otsu算法在一維基礎(chǔ)上進(jìn)行了改進(jìn)，該方法基于圖像二維直方圖雙斜率進(jìn)行閾值劃分。由于需要計(jì)算圖像的二維直方圖，增加了算法的復(fù)雜度，因此無法滿足鞋面檢測的實(shí)時性要求。文獻(xiàn)[10]提出的快速一維Otsu迭代算法，雖然提升了算法速度，但是所得閾值結(jié)果與傳統(tǒng)Otsu法所得結(jié)果不同，使得正確率降低。

本文提出一種改進(jìn)的一維自適應(yīng)閾值算法，以期有效區(qū)分鞋面特征點(diǎn)區(qū)域，使處理時間比傳統(tǒng)Otsu法更快速，可獲得正確的特征點(diǎn)結(jié)果。本文設(shè)計(jì)了一套完整的鞋面特征點(diǎn)識別系統(tǒng)，驗(yàn)證了該方法的有效性和實(shí)時性。

1 鞋面檢測實(shí)驗(yàn)系統(tǒng)

鞋面檢測實(shí)驗(yàn)系統(tǒng)主要由檢測平臺、條形光源、CCD相機(jī)和計(jì)算機(jī)組成，系統(tǒng)示意圖如圖1所示。其中，相機(jī)采用GigE工業(yè)面陣相機(jī)，分辨率為4 096像素×3 072像素，像元尺寸為4.5 μm×4.5 μm。相機(jī)鏡頭到鞋面檢測臺的垂直距離為40 cm。光源為LED條形光源，對稱分布在待檢測鞋面的側(cè)面，可產(chǎn)生均勻光強(qiáng)可調(diào)的藍(lán)色LED光投射到待檢測鞋面上。為排除外界光照對打光效果的干擾和檢測結(jié)果，實(shí)驗(yàn)在封閉空間下進(jìn)行。

圖1 鞋面檢測系統(tǒng)示意圖Fig.1 Diagram of vamps detecting system

2 特征點(diǎn)識別算法

2.1 鞋面特征點(diǎn)識別算法

鞋面特征點(diǎn)識別算法流程如圖2所示，具體分為預(yù)處理階段和特征點(diǎn)識別階段。在預(yù)處理階段，可通過快速中值濾波算法消除圖像噪聲。在識別階段，先運(yùn)用改進(jìn)后一維Ostu閾值分割算法對濾波后的圖像進(jìn)行分割；其次將分割后圖像進(jìn)行形態(tài)學(xué)處理，消除分割后的細(xì)小區(qū)域，保留9個特征點(diǎn)區(qū)域；最后計(jì)算特征點(diǎn)區(qū)域最小外接圓，得到最終鞋面特征點(diǎn)坐標(biāo)并輸出結(jié)果。

圖2 特征點(diǎn)識別算法流程圖Fig.2 Flow chart of feature points recognition algorithm

2.1.1預(yù)處理濾波

相機(jī)采集到的原始鞋面圖像中夾雜著各種噪聲。如不降低圖像的噪聲，會對后續(xù)分割算法造成很大干擾。鞋樣識別實(shí)驗(yàn)中的噪聲多以隨機(jī)脈沖和椒鹽噪聲為主，中值濾波[11]是非線性濾波的典型代表，不僅能減少或去除圖像中的隨機(jī)和椒鹽噪聲，而且能較好地保留圖像的邊緣部分；因此本文選取中值濾波方法進(jìn)行噪聲預(yù)處理。圖3示出無預(yù)處理和中值濾波處理后的識別結(jié)果。為更好地展示濾波結(jié)果，將鞋面圖通過反色效果顯示，識別點(diǎn)結(jié)果用圓圈表示。圖3(a)箭頭所指表示識別結(jié)果中夾雜許多噪聲干擾點(diǎn)；圖3(b)經(jīng)過預(yù)處理后可有效去除圖像噪聲點(diǎn)，可正確識別所需9個特征點(diǎn)，提高識別正確率。

圖3 中值濾波作用Fig.3 Median filtering results. (a) Preprocessing-free results; (b) Processing results after median filtering

2.1.2改進(jìn)的均值劃分中值濾波算法

傳統(tǒng)的中值濾波算法將模板內(nèi)需要求的像素和模板中心包圍的鄰域像素灰度值進(jìn)行排序后得到的中值賦予該像素。采用排序算法，平均時間復(fù)雜度為O(Nlog2(n))。其中：n∈[-H/2,H/2]；H為窗口的垂直尺寸；N為待排序數(shù)目。其二維圖像的中值濾波公式如下：

(1)

由于實(shí)驗(yàn)采集到的鞋面圖像分辨率為4 096像素×3 072像素，若使用該算法則需要大量的數(shù)據(jù)移動和比較操作，耗時長久。

均值劃分法[12]雖可在不影響濾波結(jié)果的情況下對排序進(jìn)行了加速處理，但該算法只對劃分后數(shù)量多的一類進(jìn)行快速排序，并沒有其他篩選條件來驗(yàn)證中值結(jié)果在該類中，因此會出現(xiàn)和傳統(tǒng)算法結(jié)果不一致的現(xiàn)象。

本文在此基礎(chǔ)上提出一種迭代改進(jìn)算法，在提高結(jié)果正確性的情況下加快圖像濾波速度，提升特征識別的效率。圖4示出本文提出的快速濾波算法過程圖，濾波窗口大小為5 像素×5 像素。圖中濾波窗口內(nèi)所有像素點(diǎn)的灰度均值記為Mv。

圖4 改進(jìn)快速濾波算法過程圖Fig.4 Process diagram of improved fast filtering algorithm

基本步驟及迭代原理如下：

1)首先計(jì)算均值Mv。假設(shè)濾波窗口大小為N×N，則總像素點(diǎn)個數(shù)為N2個，記為集合M。令L=(N2+1)/2。

2)將M個像素內(nèi)的每個像素灰度值和均值Mv進(jìn)行對比，將大于均值部分的集合記為A，小于部分記為B。分別統(tǒng)計(jì)對應(yīng)元素個數(shù)為NA和NB。定義大于均值的像素?cái)?shù)量累加值為nA=0，小于均值的像素?cái)?shù)量累加值為nB=0。

3)如NA=0，令中值濾波輸出為E0，則E0=B[0]；B[i]為集合B中的第i+1個元素。同理如NB=0，則E0=A[0]。結(jié)束流程。

4)若NA≥L，則將集合A中元素代替M中元素(A=M)，更新累加值nB=nB+NB，nB值可通過該累加操作不斷增長，nA同理。更新后返回重新執(zhí)行流程2)，否則跳過此判斷繼續(xù)。

5)若NB>L，則將集合B中元素代替M中元素(B=M)，更新累加值nA=nA+NA，更新后跳回重新執(zhí)行過程2)，否則跳過此判斷繼續(xù)。

6)最后根據(jù)累加值nA+NA的大小進(jìn)行判定，如nA+NAL，則判斷中值結(jié)果在集合A中，對集合A進(jìn)行從大到小排序，取結(jié)果集合A中第L-nA元素的灰度值。即E0=A[L-nA-1]。

7)結(jié)束流程，輸出E0值為最后濾波結(jié)果。

該算法步驟6)運(yùn)用了決策算法，具體思想是：判斷累加值nA+NA是否大于窗口像素個數(shù)的一半來判斷最后結(jié)果所在集合區(qū)域。此算法在均值劃分的基礎(chǔ)上，融入策略選擇算法，可得到更精確的結(jié)果，同時降低了排序算法的計(jì)算量，優(yōu)化了濾波處理時間。

2.1.3改進(jìn)的自適應(yīng)閾值算法

設(shè)一幅灰度圖像有L個灰度級別，則該圖可被描述為一個二維矩陣FM×N=[f(x,y)]M×N。M×N為灰度圖像的大小，f(x,y)∈{0,1,…,L-1}為像素(x,y)點(diǎn)處的灰度值。設(shè)ni為圖像中灰度值i出現(xiàn)的像素點(diǎn)個數(shù)，則灰度級i出現(xiàn)的概率為

(2)

假設(shè)灰度值t為分割后的閾值，整個圖像被分為2個部分：i≤t的背景像素集合B，概率為PB；i>t的前景像素集合F，概率為PF。對應(yīng)的概率計(jì)算公式如下：

(3)

令ωB和ωF為集合B和F的灰度均值，計(jì)算公式為

(4)

整幅圖像的灰度總均值ωo為

ωo=PBωB+PFωF

(5)

為能更有效地區(qū)分2類集合，本文定義了類間分散度D，計(jì)算公式為

D=|ωFG-ωBG|

(6)

D值越大，則說明2類的距離越大，前景和背景的分離程度越高；故在此基礎(chǔ)上對比同類間每個像素之間的距離，定義為同類內(nèi)聚度C。設(shè)集合B的內(nèi)聚度為CB，集合F的內(nèi)聚度為CF，2個類的內(nèi)聚度計(jì)算公式為

(7)

從以上公式可以看出，每個類之間的距離越短，表明分割結(jié)果越好。本文提出的自適應(yīng)閾值分割法將確保D值最大，CB和CF值最小，得到較好的分割結(jié)果。定義閾值判定公式如下：

(8)

根據(jù)式(8)對整個鞋面灰度圖像進(jìn)行遍歷計(jì)算H(t)的最大值。此時的t值就是所需要的閾值分割值。根據(jù)t值對圖像進(jìn)行閾值分割，得到分割后的圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為評估本文算法的有效性和可行性，對大量鞋面原始圖像進(jìn)行實(shí)驗(yàn)，并在多種光照變化和影像非常規(guī)條件下對圖像進(jìn)行分組處理，將本文改進(jìn)算法和傳統(tǒng)方法進(jìn)行比較。

在國有林場中工作的職工，每個人工作成績是不相同的，因此實(shí)施績效考核可以指導(dǎo)和監(jiān)督職工的工作情況，讓職工更加認(rèn)真盡責(zé)的開展工作是唯一的目標(biāo)。績效考核的主要作用有以下幾點(diǎn)：

實(shí)驗(yàn)環(huán)境為Windows 7系統(tǒng),Intel Core i7 2.8 GHz處理器，8G內(nèi)存，64位操作系統(tǒng)，VS2015編程環(huán)境，采集到的圖像分辨率為4 096像素×3 072像素。

3.1 預(yù)處理實(shí)驗(yàn)結(jié)果

在光照為35 lx情況下將傳統(tǒng)中值濾波和改進(jìn)中值濾波算法進(jìn)行對比。設(shè)定初始中值濾波窗口值大小分別為3像素×3像素和5像素×5像素。為更好地展示中值濾波的去噪效果，將處理后結(jié)果圖進(jìn)行放大對比，如圖5所示。

注：M3濾波窗口大小為3像素×3像素；M5濾波窗口大小為5像素×5像素。圖5 中值濾波結(jié)果圖Fig.5 Median filtering result diagrams. (a) Conventional filtering; (b) Filtering algorithm proposed

從圖5可看出：3像素×3像素處理結(jié)果圖中仍夾雜許多條狀細(xì)紋和噪聲；而5像素×5像素的結(jié)果圖中已基本濾除。選取200張鞋面進(jìn)行批處理測試，表1示出濾波處理時間統(tǒng)計(jì)結(jié)果。分析表1可知，本文算法比傳統(tǒng)算法更省時，且隨著窗口的增大，算法優(yōu)勢更明顯。由于本文算法需要對窗口內(nèi)數(shù)據(jù)進(jìn)行均值劃分，因此窗口越大，該算法的快速排序優(yōu)勢就越顯著。基于此最終確定本次實(shí)驗(yàn)采用窗口大小為5 像素×5 像素窗口進(jìn)行預(yù)處理去噪。

表1 預(yù)處理2種算法對比結(jié)果Tab.1 Comparison results of two preprocessing algorithms

3.2 閾值處理結(jié)果

考慮到不同光照和非常規(guī)條件下對閾值處理結(jié)果的影響，將濾波后的鞋面圖像進(jìn)行分組實(shí)驗(yàn)。閾值處理算法選取傳統(tǒng)一維Otsu算法、二維Otsu算法和本文算法進(jìn)行比較。

3.2.1光照變化分析

通過比對不同光照強(qiáng)度的打光效果，最終選取30、35、40 lx 3種分析效果較好的光強(qiáng)分別對200張鞋面圖像進(jìn)行閾值處理分析。表2示出3種算法的識別率和平均識別時間結(jié)果，圖6示出3種算法的分割結(jié)果圖。

注：圖中O為濾波處理后鞋面圖像；T1、T2和W分別為采用一維Otsu算法、二維Otsu算法和本文改進(jìn)算法得到的鞋面閾值分割結(jié)果。圖6 光照變化下鞋面閾值分割結(jié)果圖Fig.6 Result diagrams of vamps threshold segmentation

分析表2和圖6可以看出，傳統(tǒng)一維Otsu算法對圖像的分割效果不佳。這是由于圖像在不同光強(qiáng)下會出現(xiàn)一些特征點(diǎn)邊緣結(jié)構(gòu)不清晰，而該算法無法將邊緣信息有效提取，導(dǎo)致無法清晰地分割出特征點(diǎn)區(qū)域，且在低光強(qiáng)壞境下算法缺陷更明顯。而本文算法和二維Otsu算法能有效地將邊緣領(lǐng)域信息提取出來，有效克服邊緣識別率低的缺點(diǎn)，識別率均高于94.0%；但二維算法因時間復(fù)雜度高，比本文算法多耗時1倍左右，因此本文算法在光照變化下具有較好的魯棒性和時效性。圖7示出本文改進(jìn)閾值算法分割曲線圖。將H(t)最大峰值對應(yīng)的灰度值作為閾值結(jié)果輸出?？芍疚乃惴捎行У胤指钶敵鲎罴验撝?。

表2 光照變化下3種算法對比結(jié)果Tab.2 Contrast results of 3 algorithms underillumination change

注：圖中從左到右最終輸出閾值結(jié)果分別為22、37和70。圖7 本文閾值算法分割曲線圖Fig.7 Segmentation curve diagrams of threshold algorithm proposed

3.2.2特殊條件分析

實(shí)際工廠生產(chǎn)環(huán)境中存在各種干擾因素，主要分為輸入圖像雜亂和噪聲干擾。噪聲干擾一般在圖像設(shè)備傳輸時產(chǎn)生和在鞋面生產(chǎn)線振動產(chǎn)生。在預(yù)處理部分對噪聲已進(jìn)行較好地抑制，因此主要考慮圖像雜亂的影響。圖像雜亂可分為鞋面圖像角度傾斜、正反顛倒等情況。

圖8示出幾種特殊情況下特征點(diǎn)的分割結(jié)果圖，將結(jié)果進(jìn)行反色處理并和原圖進(jìn)行合并操作顯示?？煽闯觯指詈蟮暮谏c(diǎn)中包含所需識別的9個特征點(diǎn)，進(jìn)行后續(xù)形態(tài)學(xué)處理后可得到這9個特征點(diǎn)，證明了本文算法對旋轉(zhuǎn)角度圖像的適用性。

圖8 特殊條件分割結(jié)果圖Fig.8 Result of segmentation diagrams under special conditions. (a) Inclination less than 30°; (b) Inversion

表3示出特殊條件下的識別率和識別時間。分析可知在旋轉(zhuǎn)條件下的識別精度略低，這是因?yàn)閳D像在不同旋轉(zhuǎn)角度下其邊緣紋理之間存在差異，對識別效果產(chǎn)生不利影響。加入椒鹽噪聲的圖像識別精度較高，原因是預(yù)處理可較好地除去椒鹽類型的噪聲。該條件下平均單張識別時間在0.2 s左右，識別成功率在93%以上，可驗(yàn)證本文算法在該條件下具有較強(qiáng)抗干擾性和較高識別精度。

表3 特殊條件下本文算法識別結(jié)果Tab.3 Recognition results of algorithm in this paper under the special conditions

3.3 特征點(diǎn)識別結(jié)果

閾值分割結(jié)果圖中包含了許多細(xì)小亮點(diǎn)和突出物。形態(tài)學(xué)處理中的開運(yùn)算操作以膨脹、腐蝕為基礎(chǔ)，可有效地除去這些圖像的冗雜信息。

開運(yùn)算是將圖像先腐蝕再膨脹的結(jié)果。腐蝕過程可消除圖像中細(xì)小區(qū)域和噪點(diǎn)，因此可將分割圖結(jié)果中細(xì)小的區(qū)域除去，只保留特征點(diǎn)所在的大區(qū)域。

本次鞋面實(shí)驗(yàn)選取半徑為10的圓形結(jié)構(gòu)元素對閾值結(jié)果圖進(jìn)行開運(yùn)算，除去閾值分割結(jié)果中大量的細(xì)小區(qū)域，得到只保留最后的9個特征點(diǎn)區(qū)域的圖。最后根據(jù)特征區(qū)域計(jì)算每個特征點(diǎn)的最小外接圓，將外接圓半徑、中心坐標(biāo)等結(jié)果輸出，完成對鞋面特征點(diǎn)的自動識別。圖9示出最終特征點(diǎn)識別結(jié)果圖，特征點(diǎn)位置由外接圓標(biāo)出。

圖9 特征點(diǎn)處理結(jié)果圖Fig.9 Results of diagram feature point processing. (a) Normal result; (b) Inclination result; (c) Inversion result

4 結(jié) 論

本文提出了一種基于機(jī)器視覺的自適應(yīng)閾值分割算法代替人工實(shí)現(xiàn)鞋面特征點(diǎn)識別檢測方法，可滿足實(shí)際工業(yè)生產(chǎn)的精度和實(shí)時性需求，具體結(jié)論如下。

1)基于均值劃分的新型濾波算法加速了濾波過程，在5像素×5像素濾波窗口下比傳統(tǒng)濾波算法快20%，提升了整體檢測的時間效率。

2)與傳統(tǒng)Otsu分割算法相比，改進(jìn)的分割算法可更有效地分割出所需的鞋面特征點(diǎn)區(qū)域，并在光照變化、混亂等實(shí)際生產(chǎn)環(huán)境下保持93%以上的識別成功率，單張識別時間低于0.5 s，具有較好的魯棒性和實(shí)用價(jià)值。

3)精度是機(jī)器視覺中重要的評估指標(biāo)，將監(jiān)督學(xué)習(xí)方法與本文算法訓(xùn)練實(shí)驗(yàn)樣本相結(jié)合，是進(jìn)一步提高識別精度的重要方向。

FZXB