基于機(jī)器視覺的柔性生產(chǎn)線零件表面缺陷檢測(cè)方法

張海民，王雪梅，何 灝

(安徽信息工程學(xué)院 計(jì)算機(jī)與軟件工程學(xué)院,安徽 蕪湖 241000)

隨著時(shí)代發(fā)展與科學(xué)技術(shù)的進(jìn)步，我國(guó)制造業(yè)在短時(shí)間內(nèi)取得了矚目的成就.制造業(yè)技術(shù)的改進(jìn)不僅推進(jìn)了制造企業(yè)的自動(dòng)化進(jìn)程，而且利用機(jī)器視覺技術(shù)改進(jìn)了傳統(tǒng)人工檢測(cè)方式，加快了產(chǎn)品的分類及定位[1].進(jìn)而提高了制造企業(yè)的生產(chǎn)效率，減少了產(chǎn)品的制造成本，同時(shí)改善了員工的工作環(huán)境.目前制造企業(yè)面臨著生產(chǎn)模式轉(zhuǎn)變的挑戰(zhàn)，原有的大批量、單一化的生產(chǎn)方式已經(jīng)難以滿足越來(lái)越多的小批量、個(gè)性化定制需求.現(xiàn)有的生產(chǎn)線自動(dòng)化產(chǎn)品智能檢測(cè)技術(shù)也難以適應(yīng)多種類產(chǎn)品識(shí)別的需求[2].

目前已有相關(guān)研究嘗試解決該問題，文獻(xiàn)[3]針對(duì)板材柔性變形和背景平臺(tái)光斑噪聲問題，對(duì)柔性印刷電路板走線上凸起缺陷檢測(cè)提出了檢測(cè)方法.定義曲線形狀因子，從預(yù)處理所得的走線邊緣中提取候選凸起區(qū)域.計(jì)算所得候選區(qū)域最大能量弧與基于點(diǎn)分布模型所得凸起輪廓的平均形狀之間的匹配分?jǐn)?shù)，同時(shí)計(jì)算候選區(qū)域內(nèi)最大能量區(qū)域灰度曲面與基于柱狀體配準(zhǔn)模型所得的凸起區(qū)域平均曲面間的匹配分?jǐn)?shù).將兩個(gè)匹配分?jǐn)?shù)融合形成復(fù)合判別因子，根據(jù)與預(yù)先設(shè)定閾值的數(shù)值關(guān)系甄別凸起缺陷.測(cè)試結(jié)果表明，該方法在抗柔性形變方面具有算法誤率低、對(duì)板材背景噪聲有較強(qiáng)的魯棒性等優(yōu)勢(shì)，但檢測(cè)的圖像質(zhì)量偏低.文獻(xiàn)[4]提出了一種基于局部馬爾科夫模式(LMP)的檢測(cè)方案.設(shè)計(jì)LMP算法的基本模型，將預(yù)處理后FPC圖像劃分成大小均勻的區(qū)塊.提取各區(qū)塊內(nèi)部線路區(qū)域的直方圖特征并以此為依據(jù)選取種子點(diǎn)，同時(shí)為各種子點(diǎn)賦予其作為缺陷的初始概率，進(jìn)而計(jì)算其LMP值，并通過LMP的數(shù)值大小識(shí)別其中的薄漿缺陷像素.實(shí)驗(yàn)結(jié)果顯示，該方法對(duì)薄漿缺陷檢測(cè)的圖像質(zhì)量高，但存在誤差率偏大的問題.

針對(duì)上述傳統(tǒng)方法存在的問題，提出一種基于機(jī)器視覺的缺陷檢測(cè)技術(shù)，應(yīng)用在柔性生產(chǎn)線中，利用一種改進(jìn)的模板匹配方法對(duì)產(chǎn)品進(jìn)行識(shí)別，通過構(gòu)建的視覺檢測(cè)平臺(tái)獲取具體參數(shù)，對(duì)多種類、個(gè)性化產(chǎn)品進(jìn)行數(shù)據(jù)識(shí)別匹配，進(jìn)而提高生產(chǎn)效率.

1 機(jī)器視覺概述

學(xué)界對(duì)于機(jī)器視覺的普遍定義是：“機(jī)器視覺是以光學(xué)裝置與傳感器作為主要元件，對(duì)現(xiàn)實(shí)生活中的場(chǎng)景進(jìn)行自主接收與自動(dòng)處理，實(shí)現(xiàn)信息的獲取與機(jī)器人運(yùn)動(dòng)控制.”通過上述分析可知，機(jī)器視覺就是利用相關(guān)設(shè)備與軟件，對(duì)攝像機(jī)采集到的場(chǎng)景圖像進(jìn)行處理與分析，將結(jié)果作為物體運(yùn)行控制的基礎(chǔ).正因?yàn)闄C(jī)器視覺具有以上優(yōu)勢(shì)，在工業(yè)產(chǎn)品大批量生產(chǎn)的流水線中，利用其進(jìn)行產(chǎn)品缺陷檢測(cè)，才能夠及時(shí)發(fā)現(xiàn)產(chǎn)品缺陷，提升產(chǎn)品的出廠質(zhì)量.比較典型的例子是產(chǎn)品表面缺陷與清潔度檢測(cè)、電路板線錯(cuò)誤檢測(cè)等.

圖1 典型的視覺采集系統(tǒng)

機(jī)器視覺檢測(cè)方法靈活性較高，不直接接觸物體就能夠?qū)崿F(xiàn)產(chǎn)品檢測(cè)，產(chǎn)品損傷小，且測(cè)量準(zhǔn)確性好，檢測(cè)速度快.機(jī)器視覺主要利用攝像機(jī)生成的圖像對(duì)產(chǎn)品進(jìn)行檢測(cè)與分析，判斷產(chǎn)品是否出現(xiàn)了質(zhì)量問題，而且利用一臺(tái)設(shè)備可以實(shí)現(xiàn)對(duì)多種產(chǎn)品的檢測(cè)，在一定程度上節(jié)約了經(jīng)濟(jì)成本，提升生產(chǎn)企業(yè)的綜合效益[4,5].

在產(chǎn)品檢測(cè)過程中，利用圖像處理軟件對(duì)產(chǎn)品的參數(shù)在進(jìn)行分析與判斷，根據(jù)所采集圖像的相關(guān)信息特征，輸出相應(yīng)的分析結(jié)果，實(shí)現(xiàn)了產(chǎn)品檢測(cè)的自主性與智能性，提高了檢測(cè)精度與檢測(cè)效率，促進(jìn)了產(chǎn)品質(zhì)量監(jiān)測(cè)技術(shù)的進(jìn)一步發(fā)展.典型的機(jī)器視覺采集系統(tǒng)如圖 1 所示.

2 基于機(jī)器視覺的柔性生產(chǎn)線汽車零件缺陷檢測(cè)

在智能制造時(shí)代，汽車零件的生產(chǎn)模式對(duì)生產(chǎn)線的要求有了明顯的改變，這種改變主要體現(xiàn)在對(duì)生產(chǎn)線的柔性要求方面，因此，本文基于智能制造時(shí)代的特點(diǎn)與要求，從汽車零件生產(chǎn)環(huán)境出發(fā)，將個(gè)性化生產(chǎn)作為前提，以混合流水車間的智能制造為根本目標(biāo)，提高汽車零件的生產(chǎn)效率與產(chǎn)品出廠質(zhì)量，以適應(yīng)時(shí)代與經(jīng)濟(jì)發(fā)展的需要[6].

2.1 基于機(jī)器視覺的汽車零件相機(jī)標(biāo)定

為達(dá)到機(jī)器視覺檢測(cè)的高準(zhǔn)確率，首先要保障所采集圖像的真實(shí)性與可靠性，但是，由于實(shí)際生產(chǎn)中所使用的相機(jī)質(zhì)量參差不齊，會(huì)出現(xiàn)一定的失真問題[7].物體表面點(diǎn)存在于真實(shí)世界的坐標(biāo)系中，該點(diǎn)成像平面坐標(biāo)也有其對(duì)應(yīng)位置.所以，為提高檢測(cè)精度，必須對(duì)失真圖像進(jìn)行校正，因此要找出該點(diǎn)在兩個(gè)坐標(biāo)系中的位置關(guān)系，而這一點(diǎn)位置與相機(jī)成像的幾何模型的參數(shù)有關(guān)，這些參數(shù)在進(jìn)行現(xiàn)場(chǎng)測(cè)試與標(biāo)定之后才會(huì)得到，所以為了不影響后續(xù)工作，必須要保證標(biāo)定結(jié)果的準(zhǔn)確性.在利用相機(jī)對(duì)實(shí)際產(chǎn)品進(jìn)行拍照時(shí)，這個(gè)物體在成像世界就存在一個(gè)坐標(biāo)，而該物體在實(shí)際中也會(huì)有一個(gè)坐標(biāo)，因此要對(duì)這兩個(gè)坐標(biāo)的關(guān)系進(jìn)行分析，這一過程叫作標(biāo)定，也稱之為求取投影矩陣.

在通常情況下，相機(jī)的主流成像模型為線性模型和非線性模型，在這之中線性成像模型的應(yīng)用最為廣泛，且操作靈活性高，因此，本文利用線性成像模型進(jìn)行汽車零件相機(jī)標(biāo)定.

將相機(jī)的坐標(biāo)系設(shè)定為OrXrYrZr，其中Xr軸與OXY的成像坐標(biāo)系中的X軸方向保持一致，Yr軸與OXY的成像坐標(biāo)系中的Y軸方向保持一致，其中Zr軸位于機(jī)位光軸線上，如圖2所示.

隨機(jī)設(shè)定空間內(nèi)的一點(diǎn)Q(Xc,Yc,Zc)，并連接Q點(diǎn)與中心點(diǎn).Q點(diǎn)和中心點(diǎn)的連線與成像平面的公共點(diǎn)即為成像點(diǎn)P，是Q點(diǎn)在OXY坐標(biāo)系上的成像點(diǎn).

根據(jù)圖2所示，依據(jù)相似三角形理論[8]，能夠得到機(jī)位坐標(biāo)與P點(diǎn)所在的成像平面坐標(biāo)之間的關(guān)系，如公式(1)所示.根據(jù)公式(1)得到X和Y的數(shù)值，如公式(2)所示.機(jī)位坐標(biāo)與成像平面坐標(biāo)之間相互轉(zhuǎn)換后，其轉(zhuǎn)換關(guān)系為如公式(3)的矩陣形式.

(1)

(2)

(3)

公式(3)中，p為P點(diǎn)在OXY坐標(biāo)系的坐標(biāo)，其為1×3矩陣向量.

圖2 基于機(jī)器視覺的相機(jī)標(biāo)定示意圖

2.2 柔性生產(chǎn)線汽車零件缺陷檢測(cè)

2.2.1 零件圖像噪聲去除 首先進(jìn)行汽車零件檢測(cè)圖像的去噪處理.

(1)利用高斯濾波方法[9]，消除相機(jī)標(biāo)定后初始檢測(cè)零件圖像的高斯噪聲，處理后的圖像為Mi，

(4)

其中，Ni表示初始零件圖像，I表示去噪因子，H表示高斯濾波器，σ表示濾波處理平均方差.

(5)

(6)

假設(shè)θ(x,y)表示模塊m與零件檢測(cè)圖像之間形成的平均梯度夾角數(shù)值，其計(jì)算方程式為

(7)

(3)對(duì)消除高斯噪聲后的汽車零件圖像進(jìn)行歸一化處理，得到

(8)

其中，h表示衰減系數(shù)，可以用于調(diào)整圖像距離；ρ表示歸一化因子.

(4)利用式(8)求解內(nèi)容，可以獲得檢測(cè)圖像的權(quán)值函數(shù)

(9)

將公式(9)代入下式，完成對(duì)汽車零件檢測(cè)圖像的去噪處理，得到最終檢測(cè)圖像IGNLM的表達(dá)式

(10)

2.2.2 基于多邊輪廓特征模型的零件缺陷檢測(cè) 在圖像去噪處理后，構(gòu)建汽車零件缺陷檢測(cè)模型，模型的構(gòu)建基于多邊輪廓特征.提取汽車零件圖像缺陷特征，以實(shí)現(xiàn)單幀汽車零件圖像的高分辨率檢測(cè).

單幀汽車零件圖像的多分量傳遞函數(shù)[10]

(11)

式中，oj表示模糊度系數(shù)，M表示規(guī)范常量，gi表示多邊輪廓特征匹配系數(shù).

通過圖像特征的跟蹤定位得到汽車零件圖像的多尺度分解函數(shù)

(12)

式中，α為圖像跟蹤像素值，vT為跟蹤頻率，b(·)為連續(xù)映射函數(shù).

采用相關(guān)近鄰的特征權(quán)重分析方法，得到融合濾波相關(guān)系數(shù)

(13)

式中，ki為圖像的區(qū)域激光跟蹤識(shí)別分布場(chǎng)[11，12]，c為融合濾波系數(shù)，i為圖像邊緣像素點(diǎn)集，ai、ai-1分別為第i像素及第i-1像素的像素值.

根據(jù)濾波結(jié)果，采用超像素特征重構(gòu)的方法，進(jìn)行汽車零件圖像的動(dòng)態(tài)檢測(cè)，得到多邊輪廓特征檢測(cè)頻率

(14)

根據(jù)公式(14)，得到模板匹配的紋理分量

(15)

任意給定像素分布函數(shù)用B(u,v)描述，得到單幀汽車零件圖像的多邊輪廓特征檢測(cè)模型為

(16)

式中，y為單幀汽車零件圖像空間位置的分布階數(shù)，Pm,n為單幀汽車零件圖像以M×N分割成的子塊.

3 實(shí)驗(yàn)結(jié)果與分析

圖3 相機(jī)安裝調(diào)試完示意圖

為驗(yàn)證基于機(jī)器視覺的缺陷檢測(cè)技術(shù)在柔性生產(chǎn)線中的應(yīng)用效果，設(shè)計(jì)一次仿真實(shí)驗(yàn)，由于受到實(shí)驗(yàn)規(guī)模以及時(shí)間的限制，本次實(shí)驗(yàn)選擇某高校的大型實(shí)驗(yàn)室作為實(shí)驗(yàn)環(huán)境，在室內(nèi)完成實(shí)驗(yàn)樣本的采集以及實(shí)驗(yàn)相關(guān)處理.在實(shí)驗(yàn)正式開始之前，需要對(duì)相機(jī)進(jìn)行安裝和調(diào)試.利用普通型號(hào)螺釘把相機(jī)固定在平面上，利用標(biāo)尺保證相機(jī)的水平保持.相機(jī)的安裝高度距地面為1.3 m，如圖3.此高度有利于人工操作，也更有利于圖像的采集.實(shí)驗(yàn)所用電源為12 V直流電源，將實(shí)驗(yàn)室電腦與相機(jī)進(jìn)行聯(lián)網(wǎng).零件采集位置為相機(jī)的正下方，零件下方測(cè)墊有黑色橡膠墊，橡膠墊經(jīng)檢查屬于平整膠墊，這是為了保證零件的水平方向與相機(jī)的水平方向一致.

為保證實(shí)驗(yàn)圖像采集結(jié)果的質(zhì)量，需解決實(shí)驗(yàn)室光線不均問題.本次實(shí)驗(yàn)采取配光處理，采用白色全新紙張遮擋相機(jī)和零件之間的位置，逐漸增加曝光時(shí)長(zhǎng)，當(dāng)?shù)玫劫|(zhì)量較好的實(shí)驗(yàn)樣本圖像，即可停止曝光，取得滿意圖像.該方法有效避免了實(shí)驗(yàn)室光線或者零件本身反光導(dǎo)致的圖像采集質(zhì)量低問題.對(duì)比圖4兩個(gè)圓圈區(qū)域，上方圓圈曝光區(qū)域明顯無(wú)法獲得很好的樣本圖像.

3.1 不同方法樣本缺陷檢測(cè)效果對(duì)比

通過仿真實(shí)驗(yàn)，利用相機(jī)得到的3個(gè)汽車零部件樣本圖像，分別進(jìn)行相機(jī)標(biāo)定效果、汽車零件缺陷圖像去噪效果以及零件缺陷檢測(cè)效果3方面的對(duì)比.采用傳統(tǒng)的柔性生產(chǎn)線缺陷檢測(cè)方法作為實(shí)驗(yàn)對(duì)照，對(duì)比傳統(tǒng)方法的實(shí)驗(yàn)結(jié)果和本文研究方法的實(shí)驗(yàn)結(jié)果，具體分析如下：

從圖5和圖6實(shí)驗(yàn)結(jié)果中可以看出，對(duì)于樣本1的汽車環(huán)形零件，本文研究方法零件特征采集更為全面，關(guān)鍵特征更為突出，環(huán)形結(jié)構(gòu)標(biāo)定準(zhǔn)確.樣本2屬于零件表面的裂痕缺陷，可以看出本研究方法圖像對(duì)比度更適中，圖像噪聲更低，圖像質(zhì)量更高，說明本文研究方法采取的高斯濾波處理效果更優(yōu).圖7輸出的是零件樣本3綜合性缺陷檢測(cè)，利用傳統(tǒng)方法對(duì)其進(jìn)行檢測(cè)，其檢測(cè)結(jié)果不連續(xù)，且出現(xiàn)了明顯的信息缺失問題，主要特征不突出.相比之下，基于機(jī)器視覺的研究方法連續(xù)檢測(cè)出整個(gè)缺陷，缺陷輪廓清晰，特征明顯.通過這幾個(gè)實(shí)驗(yàn)結(jié)果的對(duì)比，可證明基于機(jī)器視覺的缺陷檢測(cè)技術(shù)在柔性生產(chǎn)線中的應(yīng)用效果更好.

圖4 配光示意圖

圖5 樣本1相機(jī)標(biāo)效果對(duì)比

圖6 樣本2零件缺陷圖像去噪效果對(duì)比

圖7 樣本3缺陷檢測(cè)效果對(duì)比

3.2 不同方法柔性生產(chǎn)線能耗對(duì)比

為進(jìn)一步驗(yàn)證研究方法的應(yīng)用性能，通過計(jì)算機(jī)模擬仿真實(shí)驗(yàn)，利用傳統(tǒng)文獻(xiàn)[2]方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法作為對(duì)比組，研究方法為實(shí)驗(yàn)組，以汽車零件數(shù)量為實(shí)驗(yàn)自變量，待檢測(cè)汽車零件數(shù)量為1 000 ～10 000個(gè)，在此范圍內(nèi)，柔性生產(chǎn)線的能耗變化情況，具體實(shí)驗(yàn)結(jié)果如下：

圖8 不同方法下柔性生產(chǎn)線能耗對(duì)比

相比傳統(tǒng)方法，基于機(jī)器視覺的研究方法不直接接觸物體能夠?qū)崿F(xiàn)產(chǎn)品檢測(cè)，產(chǎn)品損傷小，同時(shí)加快產(chǎn)品檢測(cè)速度，提高檢測(cè)效率，也能高效快速地識(shí)別柔性生產(chǎn)線中多種產(chǎn)品缺陷，能耗更低，實(shí)驗(yàn)結(jié)果如圖8所示.在汽車零件數(shù)量高達(dá)10 000個(gè)時(shí)，其能耗為500 kW.而相同汽車零件數(shù)量情況下，傳統(tǒng)方法的生產(chǎn)線能耗為550～700 kW，說明本研究方法具有更好的節(jié)能性能，應(yīng)用前景好.

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)方法存在的圖像質(zhì)量差、誤差率高問題，本文提出基于機(jī)器視覺的缺陷檢測(cè)方法，引入機(jī)器視覺進(jìn)行相機(jī)標(biāo)定，提高汽車零件圖像質(zhì)量，構(gòu)建單幀零件圖像重建多邊輪廓特征檢測(cè)模型，完成汽車零件柔性生產(chǎn)線的缺陷檢測(cè).該方法改進(jìn)了傳統(tǒng)人工檢測(cè)方式，靈活性高，測(cè)量準(zhǔn)確性好，檢測(cè)速度快.柔性生產(chǎn)線中產(chǎn)品種類繁多，提前將多種標(biāo)準(zhǔn)化產(chǎn)品輸入檢測(cè)系統(tǒng)，本方法更方便實(shí)現(xiàn)對(duì)多種產(chǎn)品的缺陷檢測(cè)，在一定程度上節(jié)約了經(jīng)濟(jì)成本，提升生產(chǎn)企業(yè)的綜合效益.