基于機器視覺的鈑金件缺陷在線檢測算法

李 春，李 琳，鄒焱飚，曾亮華

（1.北京理工大學 珠海學院機械與車輛學院，珠海 519088；2.華南理工大學 機械與汽車工程學院，廣州 510640）

基于機器視覺的鈑金件缺陷在線檢測算法

李 春1，李 琳2，鄒焱飚2，曾亮華1

（1.北京理工大學 珠海學院機械與車輛學院，珠海 519088；2.華南理工大學 機械與汽車工程學院，廣州 510640）

結(jié)合圖像處理技術(shù)，設計了鈑金件缺陷在線檢測系統(tǒng)，提出了一種基于機器視覺的鈑金件缺陷在線檢測算法。首先基于幾何形狀金字塔分層模板匹配算法檢測出大部分有缺陷的鈑金件，再創(chuàng)新性地結(jié)合圖像窗口、閾值分割、區(qū)域連通、區(qū)域面積及長度計算等技術(shù)，開發(fā)了膨脹窗口區(qū)域算法，以此來篩選出滿足形狀匹配要求但實際為不合格的工件，從而實現(xiàn)了對缺陷鈑金件的檢測。實驗結(jié)果表明，該算法響應速度快，正確率高，可達97.7%，滿足了實際應用中對準確度和實時性的要求。

機器視覺；缺陷檢測；模板匹配；圖像處理

0　引言

鈑金件一般是由薄板或帶料經(jīng)沖壓、剪切、折彎、拼接、焊接等工藝完成，具有重量輕、強度高、易成型、成本低等優(yōu)點，因此，廣泛應用于汽車、電子電器、醫(yī)療機械、航空航天等領域。同時，由于鈑金件的制造過程需要經(jīng)過復雜的加工工藝，不免會造成鈑金件的表面不平整、彎曲、翹邊、尺寸不一等缺陷，因此，有必要對鈑金件進行獨立于生產(chǎn)的品質(zhì)檢測，篩選出不合格的鈑金件，從而保證產(chǎn)品的質(zhì)量和安全性。

目前，我國大部分的鈑金件生產(chǎn)工廠還在使用游標卡尺、樣板、三坐標測量儀等工具進行人工檢測，這些傳統(tǒng)的檢測方法效率低、誤差大且對檢測人員的技術(shù)要求高，遠遠不能滿足現(xiàn)代化智能制造產(chǎn)業(yè)的需求。為提高檢測的效率和準確度，研究一種鈑金件缺陷檢測系統(tǒng)和檢測方法，快速、可靠地實現(xiàn)鈑金件的自動化檢測已成為必然。

隨著計算機技術(shù)的發(fā)展，國內(nèi)外學者對鈑金件缺陷自動化檢測技術(shù)做了研究，主要采用三維重建技術(shù)，電子光束、激光雷達和機器視覺技術(shù)。三維重建技術(shù)，首先識別鈑金件特征，然后對鈑金件進行分類，可獲得零件的制造誤差[1,2]，但只能檢測出某幾種特定種類的缺陷。電子光束檢測具有較好的精度，但其系統(tǒng)構(gòu)造復雜，測量效率低[3]。激光雷達檢測具有良好的定向性和抗干擾性，但其成本高，掃描成像時間長[4]。機器視覺檢測由于其成像速度快，能較好的進行算法開發(fā)，廣泛用于汽車儀表檢測[5]、焊接過程質(zhì)量控制[6]、鈑金件輪廓的跟蹤測量[7]等方面。

本文基于機器視覺技術(shù)，設計了鈑金件缺陷檢測系統(tǒng)，提出了一種鈑金件缺陷在線檢測算法。采用基于幾何形狀金字塔分層模板匹配算法，首先提取標準鈑金件的幾何特征，并分層，從而減少像素點，降低計算量，加快響應速度，然后，建立模板并進行訓練，訓練后，對新采集的鈑金件進行匹配，當匹配度小于設置值時，則認為是不合格品，最后，創(chuàng)新性地結(jié)合膨脹窗口區(qū)域算法進一步對誤判的鈑金件進行檢測，從而保證檢測結(jié)果的正確率。

1　系統(tǒng)設計

鈑金件缺陷檢測系統(tǒng)的硬件部分主要包括視覺檢測模塊和控制執(zhí)行模塊。其中，控制模塊主要由機器人及其控制器組成；視覺檢測模塊由攝像機、鏡頭、光源、圖像采集卡組成，進行圖像的采集、處理和傳輸。視覺檢測模塊與控制執(zhí)行模塊均是通過以太網(wǎng)與工業(yè)級計算機進行數(shù)據(jù)的傳輸和通訊，其中，通訊時間約為100ms。

2　鈑金件缺陷檢測關(guān)鍵算法的研究

2.1中值濾波

由于周圍環(huán)境存在雜質(zhì)、光照不均勻、工件表面不平整等因素的影響以及在圖像生成和處理的過程中受到電磁的干擾，直接獲取的鈑金件圖像存在大量的噪聲，因此首先需要對圖像進行平滑處理，濾去噪聲。中值濾波是一種非線性平滑濾波方法，其在消除噪聲的同時又可以較好的保留圖像的細節(jié)特征，特別是對于隨機噪聲具有很好的去噪效果，且模糊程度較之于線性平滑濾波器更低[8]，因此，本文通過對鈑金件圖像的分析，采用中值濾波器進行降噪處理，能達到較好的效果，滿足后續(xù)圖像處理的要求。

2.2基于幾何形狀的金字塔分層匹配算法

本文采用的金字塔分層匹配算法，是在幾何特征的基礎上進行的。該算法首先檢測工件圖像的邊緣，提取對象的幾何輪廓特征，再采用金字塔分層思想，對幾何特征進行分層[9]。該算法的分層搜索步驟可定義為：首先，根據(jù)匹配對象像素的大小，計算分層層數(shù)，層數(shù)應當保證金字塔最上層的圖像的特征清晰可辨。然后，從金字塔的最上層開始進行完整的匹配，再逐級向下搜索。

為驗證基于幾何形狀的金字塔分層匹配算法的效率和準確度，本文根據(jù)實驗對象的尺寸和特征，調(diào)整獲取圖像的大小為640×480像素，并分別基于灰度值、相關(guān)性和本算法進行匹配，結(jié)果如圖1所示，圖1(a)、圖1(b)、圖1(c)分別為不同工件，其中，圖1(c)中放入了與目標對象幾何特征相類似的干擾工件，且光照強度有所改變，基于幾何形狀的金字塔分層匹配仍然能準確地搜索到模板圖像，可見本算法具有較高的抗干擾性和魯棒性。實驗中，提取了目標圖像的外輪廓，并對其進行分層，共為4層。從圖中可以看到，每層的輪廓逐漸縮小，且清晰度也變差，但是仍保持了原始圖像的主要特征，因此，分層匹配既可以有效的減少計算量又可以成功地搜索到目標對象。

圖1　基于幾何形狀金字塔分層匹配結(jié)果

對20個不同鈑金件進行重復性實驗，分別記錄其建立模板時間、模板匹配時間及相似度量值，并求均值，結(jié)果如表1所示。從表1可知，基于灰度值的模板匹配相似度量歸一化系數(shù)只有0.72，可見其相關(guān)度低，在要求比較高的應用中，則可能造成正確目標被舍棄，從而產(chǎn)生去真錯誤?；谙嚓P(guān)性的模板匹配雖然相似度量值較大，但是建立模板的時間過長，遠遠不能滿足實際應用中對實時性的要求。而本算法響應時間短，總時間不到0.1s，且相似度量的歸一化系數(shù)約為0.97。綜上可知，與一般的模板匹配算法比較，本文研究的算法能夠快速、準確地搜索到匹配對象，為進一步檢測鈑金件缺陷打下了基礎。

表1　三種匹配算法比較

2.3膨脹窗口區(qū)域[10]

通過模板匹配可檢測出大部分有缺陷的鈑金件，但是仍然存在誤判，尤其是對于幾何形狀和模板工件相似而尺寸略有差異的工件。因此，本文在基于幾何形狀金字塔分層匹配算法的基礎上，研究了膨脹窗口區(qū)域算法，該算法的具體步驟如下：

對于模板鈑金件：

1）獲取模板鈑金件圖像的幾何形狀0，根據(jù)幾何形狀生成包容矩形R；

2）對窗口內(nèi)包容矩形R進行閾值分割；

3）區(qū)域連通，單獨計算每個連通區(qū)域的面積，并設定面積允許范圍；

4）根據(jù)面積允許范圍去除包容矩形R中的雜質(zhì)或因窗口膨脹而進入的其他工件的邊角；

5）計算包容矩形R內(nèi)模板工件的面積A和長度L，并根據(jù)實際鈑金件圖像面積和長度的變化范圍分別設定待檢測鈑金件面積和長度允許的波動范圍±δA和±δL；

對于待檢測鈑金件：

1）基于幾何形狀金字塔分層匹配后，獲得鈑金件匹配中心點的坐標位置；

2）以匹配中心點為矩形中心，生成包容矩形R'；

3）與模板鈑金件的步驟2）、3）、4）相同，閾值分割去除干擾對象；

4）計算包容矩形R'內(nèi)鈑金件的區(qū)域面積A'和長度L'；

5）判斷區(qū)域面積A'和長度L'是否在允許范圍±δA、±δL內(nèi)，由此獲得檢測結(jié)果。

算法的具體流程如圖2所示。

圖2　檢測方法流程

按照上述步驟對模板鈑金件和待檢測鈑金件分別處理，結(jié)果如圖3所示。其中圖3(a)為對模板圖像的操作，首先，根據(jù)模板圖像的幾何形狀生成包容矩形窗口，然后對包容矩形進行閾值分割，區(qū)域連通后去除干擾對象，最后獲得工件的幾何輪廓。圖3(b)為對待檢測工件的操作，由第一張圖像可知，待檢測對象的視覺區(qū)域中共有三個鈑金件，首先基于幾何形狀的金字塔分層匹配，分別獲得每個工件的匹配的中心點坐標，根據(jù)中心點分別生成包容矩形窗口，并對每個包容矩形窗口單獨處理，然后進行閾值分割。如圖3(b)所示，第一個鈑金件矩形區(qū)域內(nèi)存在大量噪聲點以及由于區(qū)域膨脹而誤入的另外兩個工件的邊角，按照待檢測工件中的步驟3）進行處理，去除窗口內(nèi)的干擾對象，最后獲得待檢測工件的幾何形狀。

圖3　圖像處理結(jié)果

3　實驗與數(shù)據(jù)分析

3.1實驗平臺介紹

鈑金件缺陷檢測系統(tǒng)的實驗平臺如圖4所示，機器人與機器視覺構(gòu)成手-眼系統(tǒng)，實現(xiàn)在線檢測。其中，機器人本體為ABB-IRB120機器人。視覺系統(tǒng)中的攝像機為BASLER acA2500-14gm，單位像素為2.2um。鏡頭為M2514-MP2百萬像素鏡頭，焦距為25mm。系統(tǒng)中采用環(huán)形光源，可有效地減少環(huán)境光對圖像的干擾。系統(tǒng)軟件是在Microsoft Visual Studio 2010語言環(huán)境下，采用HALCON程序包進行圖像處理算法的開發(fā)和編譯。

圖4　實驗平臺

3.2實驗結(jié)果

鈑金件的檢測結(jié)果如圖5所示，其中，合格的鈑金件用綠色字體“合格品”表示，有缺陷的用紅色字體“不合格品”表示。圖中藍色矩形框為膨脹各個鈑金件的區(qū)域面積和長度后生成的包容矩形窗口。由圖可知，由于對包容矩形窗口進行了膨脹，當鈑金件排列的位置比較緊湊時，容易錯誤地計算其他工件的部分面積。例如，在計算圖5中下排左數(shù)第三個鈑金件的區(qū)域面積時，包容矩形窗口囊括了左側(cè)鈑金件的右下角部分、右側(cè)鈑金件的左下角部分、上側(cè)鈑金件的底部和右上角鈑金件的左下角部分。因此，本文在計算包容矩形窗口內(nèi)的面積之前，首先連通了窗口中的區(qū)域，然后分別計算其連通區(qū)域的各個面積，再篩選出小面積區(qū)域并去除，只保留最大的連通區(qū)域，即為該包容矩形窗口內(nèi)鈑金件的區(qū)域面積。由此可見，結(jié)合模板匹配和膨脹窗口區(qū)域可以有效地實現(xiàn)鈑金件缺陷在線檢測。

圖5　檢測結(jié)果

3.3實驗數(shù)據(jù)分析

為了驗證該算法的準確度和穩(wěn)定性，在光照強度不同的條件下，共對8組圖像進行了檢測實驗。每組圖像中鈑金件的數(shù)量分別為1至8件，且每組圖像中，分別取不同的鈑金件進行4次實驗，因此，共對128個鈑金件進行了檢測，實驗結(jié)果如表2所示。

表2　18組鈑金件檢測結(jié)果

由表2可知，無論圖像中識別的對象是一個還是多個，本算法都能準確的識別出有缺陷的鈑金件。對檢測結(jié)果求平均值，正確率可達97.7%?？芍?，本算法的準確度較高，且具有一定的穩(wěn)定性。

4　結(jié)論

1）本文設計了鈑金件缺陷在線檢測系統(tǒng)，基于機器視覺構(gòu)建機器人手-眼系統(tǒng)，實現(xiàn)了鈑金件缺陷的在線實時檢測功能。該系統(tǒng)穩(wěn)定性好，可靠性高，且具有較好的適應性。

2）鈑金件缺陷檢測系統(tǒng)對圖像處理的實時性和準確度的要求非常高，因此，本文首先對圖像進行中值濾波去噪，使其具有一定的魯棒性。然后基于幾何形狀金字塔分層匹配，大大地減少了計算量，提高了運算速度，較好地解決了具有復雜噪聲的鈑金件圖像的特征提取和檢測的實時性問題。

3）針對基于幾何形狀金字塔分層匹配誤判的工件，創(chuàng)新性地結(jié)合圖像窗口、閾值分割、區(qū)域連通、區(qū)域面積和長度計算等技術(shù)，開發(fā)了膨脹窗口區(qū)域檢測算法，從而增加了本算法的準確度。通過對128個對象進行檢測，正確率達97.7%，可知，基于機器視覺的鈑金件缺陷在線檢測算法具有較好的實際應用價值。

[1] 張永軍,張祖勛,張劍清.基于序列圖像的工業(yè)鈑金件件三維重建與視覺檢測[J].清華大學學報(自然科學版),2004,(04)：534-537.

[2] 張瑩,王兆輝.面向鈑金件零件可制造性的特征識別[J].山東大學學報(工學版),2006,02：4-7,21.

[3] S. M. Tam, K. C. Cheung. A New Approach for Machined Parts Inspection[J].The International Journal of Advanced Manufacturing Technology,2001,Vol.17(1)：54-60.

[4] 張川.飛機鈑金件特征數(shù)字化檢測預處理技術(shù)研究[D].南京航空航天大學,2014.

[5] 劉曙光,劉明遠,何鉞.基于機器視覺的汽車儀表板智能檢測方法[J].機械科學與技術(shù),1998,(02)：145-147.

[6] 王振民,張麗玲,薛家祥.基于視覺處理的焊縫質(zhì)量檢測與控制系統(tǒng)[J].焊接技術(shù),2007,(03)：60-62,4.

[7] 張有權(quán).基于機器視覺的鈑金件件樣板自動影像測量系統(tǒng)[D].南京航空航天大學,2007.

[8] 李婧,黃進.一種圖像測量中的快速中值濾波算法[J].微計算機信息,2007,(21)：299-300,310.

[9] 李琳,李春,鄒焱飚.基于機器視覺焊接軌跡搜索算法[J].焊接學報,2015,(06)：57-60,115-116.

[10] Carsten Steger, Markus Ulrich, ChristainWiedemann.機器視覺算法與應用[M].楊少榮,吳迪靖,段德山,等譯.北京：清華大學出版社,2008.

A on-line defect inspection algorithm of sheet metal parts based on machine vision

LI Chun1, LI Lin2, ZOU Yan-biao2, ZENG Liang-hua1

TP278

A

1009-0134(2016)07-0056-04

2016-03-23

廣東省機械工程及自動化專業(yè)綜合改革試點項目（320006/021）

李春（1987 -），女，湖南衡陽人，碩士，研究方向為機器視覺與圖像處理技術(shù)。