基于視覺的小型沖壓件識別定位研究

盧 軍， 秦豆豆， 羅 昊

(陜西科技大學 機電工程學院， 陜西 西安 710021)

?

基于視覺的小型沖壓件識別定位研究

盧 軍， 秦豆豆， 羅 昊

(陜西科技大學 機電工程學院， 陜西 西安 710021)

結合機器視覺的優(yōu)越實時性，對雙半圓頭小型沖壓件的識別與定位進行了研究.相機標定遵循張正友標定法，利用Visual studio2012的開發(fā)平臺和OpenCV函數庫實現.通過視覺系統(tǒng)采集圖像，分析對比各類灰度和平滑的預處理方法的效果，確定雙邊濾波和閉開運算的方法.基于輪廓查找和旋轉卡殼算法提取特征參數，基于幾何參數的識別算法識別工件類型，由最小面積和最小外接矩得到中心坐標和角度.實驗結果表明，小片識別率為100%，外殼、重疊或側立的工件識別率為97%.該研究識別準確率高，定位精確，自動化和柔性化程度較高，滿足裝配作業(yè)的實際工程要求.

機器視覺； 相機標定； 圖像處理； 識別與定位

0 引言

工業(yè)生產逐漸向柔性自動化方向發(fā)展，工業(yè)機器人更多應用于沖壓流水線的抓取作業(yè)中.工件識別的正誤和定位的精度將直接影響抓取的準確度，機器視覺因其具有非接觸、定位柔性最好、采樣周期短、信息量大、成本低、穩(wěn)定性好、精度高、智能化、抗電磁輻射干擾能力強等優(yōu)勢,已被廣泛應用[1].

由于流水線作業(yè)環(huán)境復雜多變、工件工藝信息和位姿改變等偶然因素的影響，人工示教再現和離線編程將無法自適應實際生產.基于機器視覺的優(yōu)越實時性，將其用于工件的識別定位中，對實現工業(yè)自動化和智能化具有重要的現實意義和研究價值.基于以上事實，本文以一種小型沖壓件為對象，研究了其特征識別和定位.具體的檢測過程為[2]：視覺系統(tǒng)由圖像的采集、處理和分析、輸出反饋組成，該系統(tǒng)對流水線作業(yè)的沖壓件進行監(jiān)測.首先搭建視覺平臺采集圖像；其次對圖像進行點運算、濾波、形態(tài)學等預處理；最后通過綜合邊緣檢測、分割、特征提取檢測等相關算法尋找出適合該工件的識別定位最佳的一套算法，并輸出特征參數，如圖1所示.

圖1 計算機視覺檢測過程

1 搭建視覺平臺

1.1 視覺系統(tǒng)操作平臺

本文所搭建的視覺系統(tǒng)操作平臺如圖2所示.該系統(tǒng)由相機、光源、圖像采集、計算機四大模塊組成.

圖2 視覺系統(tǒng)操作平臺

視覺系統(tǒng)中的相機采用德國巴斯勒Basler工業(yè)相機acA4600-10uc，采樣最高頻率可達60 Hz,水平/垂直分辨率為4 608像素×3 288像素，水平/垂直像素尺寸為1.4μm×1.4μm,幀速率為10 fps,像素位深為12 bits.光學鏡頭采用焦距為12 mm的定焦鏡頭，主要提供正上方打光的大角度光照，圖像采集選擇USB3.0接口的計算機方式.通過專用智能-機器視覺實驗測試臺架，支撐適應實驗室的可操作環(huán)境，利用微調滑臺，固定不同的相機光源，可更好的實現相機和光源平移和旋轉，達到調整工作距離的功能.

1.2 相機標定原理

在機器視覺領域，圖像采集存在的內部結構失衡、相機光學組件加工和裝配誤差等問題，使相機標定成為保證視覺系統(tǒng)精確性的先決條件.標定技術是從二維圖像信息中提取三維信息的關鍵，目前相機標定方法主要有4種：傳統(tǒng)標定法、自標定法、基于主動視覺的標定法、基于神經網絡的標定法；其中傳統(tǒng)標定法的典型代表為張正友平面標定法、DLT方法、考慮畸變補償的Tsai經典兩步法[3].為更好的消除圖像采集畸變的缺陷并校正圖像，研究采用魯棒性好且精度高的張正友標定法為工件識別定位提供了重要保證.

張正友標定法(基于2D平面標靶的標定法)，是一種介于傳統(tǒng)標定法與自標定法之間的基于移動平面模板的相機標定法[4].它考慮了鏡頭畸變的二階徑向畸變，同時引入徑向、切向畸變和薄棱鏡畸變的校正，其算法旨在將圖像像素灰度有階躍或屋頂變化的像素點作為特征點并獲取其坐標，完成基于高斯-拉普拉斯算子的亞像素角點提取.該方法對應的畸變模型為：

(1)

式(1)中：(x,y)為畸變點初始坐標值；k1,k2,p1,p2為畸變系數；s1,s2為薄鏡畸變值；xjz,yjz為校正畸變點坐標值.

在具體實踐中，忽略薄鏡畸變在一定程度上可降低小角度誤差進而提高標定的準確性.本文采用張正友標定法，可實現小視場微距環(huán)境下的視覺系統(tǒng)標定.該方法具有低成本、易實現、高精度等優(yōu)勢，實現了節(jié)約開發(fā)新算法的時間和推進研究進度和深度的功能.

1.3 張正友標定法的實現

本文從標定和算法流程闡述了張正友標定法，結合Visual studio2012的操作環(huán)境和OpenCV函數庫，獲取相機的內參數、畸變參數、偏移向量和旋轉向量，最終實現相機標定機制.本文的主要標定流程如下：

(1)制作標準的黑白棋盤格標定模板及界面：標定板設定為6×6方格，每個黑白格尺寸為8 mm×8 mm.借助HP LaserJet Pro M1136 MFP打印機打印棋盤圖像，并貼于平面保證所有點共面.

(2)基于Harris角點檢測算子的旋轉不變性，本文采用該算法檢測圖像的特征點.

(3)采用acA4600-10uc相機，改變棋盤圖像的角度，分別拍攝角度均勻分布的25張棋盤模板；相機高度為255 mm，利用Harris角點檢測算法提取36個特征點.

(4)根據詳細的計算公式獲取相機標定的相應參數結果，優(yōu)化參數模型并獲取更加精確的數據.標定模板及界面如圖3所示.

圖3 標定模板及界面

算法主要流程如下[5]：

(1)目標平面與圖像平面的單應性矩陣估計，反映了兩幅圖像間旋轉、偏移等變換關系.

(2)相機標定求取投影和攝影內外參數，根據基本約束條件估計相機的內外參數.

(3)采用最小二乘法估計鏡頭的畸變系數，并對參數進行優(yōu)化求解.常用的非線性最小二乘法有：高斯-牛頓法、最速下降法、阻尼最小二乘法(LM).

(4)極大似然法實現迭代優(yōu)化，實質在于對未知參數進行良好的估計，使似然函數取得最大值來提高估計精度，最終的標定參數見表1所示.

表1 標定參數

2 沖壓件圖像預處理

針對采集圖像因光照、外界環(huán)境的變化而受到光學系統(tǒng)失真、系統(tǒng)噪聲、拍攝鏡頭的雜質、光強、周圍氣體介質及電產品輻射等因素干擾的現狀，對圖像作預處理則顯得尤為重要.預處理主要作平滑和灰度化處理，達到濾噪、降噪、抑制背景、加強感興趣區(qū)域圖像特征的目的.

2.1 圖像灰度化

灰度化針對單像素操作，實現對比度和閾值處理，其常用方法有平均值法、最大值法、加權平均值法.本文采用加權平均值法，給予紅綠藍分量不同的權值[6]，由YUV顏色空間獲得最合理的灰度圖像的變換公式為：

R=G=B=0.299R+0.588 7G+0.114B

(2)

2.2 濾波處理

為進一步降低各種干擾因素引入的隨機噪聲以改善圖像質量并提高識別精度，特對圖像作濾波處理.濾波處理主要增強工業(yè)流水線環(huán)境下的視覺效果，突出感興趣的成分.本文采用方框濾波、均值濾波、高斯濾波、中值濾波、雙邊濾波等算法對圖像進行增強處理.每種濾波算法分別在3×3、7×7、11×11、15×15鄰域卷積模板中進行，選取效果最佳的一組模板作為結果樣本，其結果如圖4所示.

(a)原圖像 (b)方框濾波 (c)均值濾波

(d)高斯濾波 (e)中值濾波 (f)雙邊濾波圖4 各類濾波方法的效果圖

分析對比圖4所示的各類濾波方法可知：均值濾波是方框濾波歸一化的特殊情況；均值濾波在去噪的同時破壞了圖像的細節(jié)部分，也使圖像更加模糊；高斯濾波降噪的同時不能有效的保護圖像的邊緣和紋理信息；中值濾波雖很好的去噪但導致圖像信息丟失；采用雙邊濾波則對沖壓件圖像增強效果最佳.雙邊濾波是結合圖像的空間鄰近度和像素值相似度的一種折中處理，同時考慮空間域信息和灰度相似性，達到保留邊緣且去除噪聲的目的.為更加清晰的突出邊緣和細節(jié)，需通過拉普拉斯銳化進行邊緣增強處理.采用451、891等模板實驗，最終確定邊緣特征最佳的卷積模板.

2.3 圖像二值化

借助MATLAB軟件體現統(tǒng)計特性，采用imhist(I)函數繪制直方圖，[counts,x]=imhist(…)函數繪制圖5所示的歸一化灰度直方圖.

圖5 歸一化灰度直方圖

由圖5可知：背景分布區(qū)域在0～100，沖壓件的灰度分布區(qū)域在100～250，需進行閾值分割.為得到合理閾值，本文提出了一種閾值分割算法.該算法基于顏色閾值，通過對沖壓件圖像三原色通道進行分割，獲得初閾值；其次對顏色閾值處理的灰度圖進行Otsu算法分割，對比驗證確定最佳閾值為140.Otsu法(最大類間方差法)作為經典的全局、非參數、無監(jiān)督自適應閾值法，可明顯的降低錯分概率[7].閾值處理的結果如圖6所示.

(a)基于顏色閾值灰度圖 (b)Otsu自適應閾值法圖6 閾值處理結果圖

2.4 形態(tài)學處理

經過閾值分割后的圖像存在各種噪點，為提高后續(xù)的定位精度，需對圖像進行去噪處理，從而精確的提取有效信息.形態(tài)學通過組合腐蝕、膨脹、開運算和閉運算等算子實現圖像分割、圖像濾波、圖像增強和恢復、邊緣檢測、特征提取的功能[8].形態(tài)學特征閉開運算的處理結果如圖7所示.

圖7 閉開運算結果圖

圖像的閉運算對目標圖像采用先膨脹后腐蝕的方法進行恢復，其可以消除沖壓件內部黑色噪點.圖像的開運算對目標圖像采用先腐蝕后膨脹的方法進行恢復，其消除外部白色噪點.本文基于形態(tài)學特征基本運算理論，利用先閉后開的算法，解決了二值圖像中存在的白色目標與黑色背景夾雜白色小區(qū)域和不規(guī)則孔洞的問題.

3 沖壓件識別定位方法

3.1 幾何特征提取

為實現圖像匹配，獲取目標區(qū)域的數據，需完成特征的提取.研究使用了多種邊緣檢測算法，相應的算子為梯度算子、方向算子、拉普拉斯算子[9].綜合分析圖像特征發(fā)現：Roberts、Sobel、Prewitt算子存在沖壓件邊緣不連續(xù)而斷線的現象，其對噪聲較敏感且內邊緣多.LOG、Canny算子檢測出的邊緣連續(xù)而噪聲小，結果較佳.

針對預處理后的二值圖像發(fā)現，存在將背景識別為沖壓件的情況.采用輪廓查找算法獲得輪廓序列集:A={C1，C2,C3,…,CI,…,CN},將幾何規(guī)則作為約束條件,經過輪廓的識別和優(yōu)選確定沖壓件的輪廓[10].判斷規(guī)則為：距離圖像邊緣四周寬度小于20像素，靠近邊緣輪廓小于10像素的區(qū)域視為錯誤識別而被排除的序列，即確定最終的輪廓序列集為：B={C1，C2,C3,…,CI}

獲取沖壓件輪廓的最小外接矩形，考慮到算法時間的復雜度，優(yōu)選高效的旋轉卡殼算法[11].算法實現流程：首先計算出沖壓件多邊形在x,y方向的四個極值點xmin,xmax,ymin,ymax；其次構造四條切線決定卡殼集合，當1或2條線與一條邊重合，計算此時矩形的面積記作最小值；緊接著順時針旋轉線直到1條線和多邊形的1條邊重合，構造新的外接矩形并計算面積；最后循環(huán)重復構造多個外接矩形，當線旋轉過的角度大于90 °即為外接矩形的最小面積.針對沖壓件的特征設定不同的面積閾值，得到如圖8所示的最小外接矩形面積.

圖8 沖壓件最小外接矩形

3.2 特征識別定位

機器視覺識別算法包括基于顏色空間、基于特征提取、基于幾何參數[12].關于顏色空間，選擇RGB、HIS、YUV(YCrCb)，調試發(fā)現：RGB顏色空間中B、2R、2B-G-R組合效果最優(yōu);HIS顏色空間中，H分割效果最優(yōu)，沖壓件和背景可明顯區(qū)分；YUV(YCrCb)顏色空間中色度分量Cr效果最優(yōu)，適合分割.進一步分析三類顏色空間的最優(yōu)方法可知:Cr色度綜合效果最佳，2B-G-R組合效果次之，H分量較差.

對比分析沖壓件的特征后采用基于幾何參數的識別算法，一般的特征參數為面積、周長、質心、球形度、矩形度、圓形度、矩形等.本文主要根據工件的背景面積和長寬比完成識別.

沖壓件識別定位的特征有尺寸大小、基于水平方向的角度(<90 °)、中心坐標.通過最小外接矩形長寬比(LW)和面積(S)識別規(guī)則如下：

2.15

2.7

1.032 &&S<280mm2;側立或重疊.

基于上述識別算法，計算沖壓件的位姿，從而完成沖壓件的定位.對二值圖像而言，質量分布均勻而使質心與中心重合[13].對M×N大小的數字圖像f(x,y)，計算公式為：

(3)

根據最小面積確定中心坐標，最小外接矩確定角度(最小外接矩形長邊與水平方向的正向角度).為更清晰的區(qū)分各特征，前期實驗采集的樣本圖像中同時包含小片、外殼、重疊或側立的特征.按照圖8自下而上的順序得到的參數情況如表2所示.

表2 沖壓件識別定位參數

4 實驗及結果分析

為驗證上述方法及結果的可靠性和可行性，本文進行以下實驗：按照每幅圖像的特征數量進行分組采集，主要分為5特征、6特征、7特征、8特征.每組采集25幅圖像，每幅圖像中的小片、外殼、重疊或側立三種特征隨機組合，滿足各組總特征數量即可.本實驗在相相同條件下完成，共計100次.統(tǒng)計分析100次實驗的結果如表3所示.

表3 實驗統(tǒng)計結果

實驗以雙半圓頭小型沖壓件為研究對象，通過 PD-151 數字型的游標卡尺進行理論測量，其誤差為±0.02 mm/±0.001″(<100 mm).采用多次測量取平均值的方法得到小片的理論面積為74.029 6 mm2，外殼的理論面積為134.646 2 mm2.實驗所得的4組小片和外殼面積參數分布情況如圖9所示.

圖9 小片和外殼面積參數分布圖

實驗數據表明：小片的識別率為100%，外殼、重疊或側立的識別率為97%，隨著各組特征數量的增加，識別率呈降低趨勢.該識別率的降低原因在于外殼、重疊或側立兩種特征面積閾值差異較小，識別過程中存在模糊現象，使得兩種特征混淆.由圖9分析可知，小片的面積均勻分布在理論值上下，而外殼的面積在理論值周圍波動較大，則小片的精確度較好，其實驗數據更可靠.100次實驗平均耗時為9.946 4 s，進一步驗證了本文識別定位方法的可行性，可廣泛應用于沖壓工業(yè)流水線作業(yè).

5 結論

本文主要經過張正友標定法標定，對沖壓件進行適宜的預處理，優(yōu)選輪廓查找算法和基于幾何參數的識別算法研究了沖壓件的識別與定位，并獲得具體的特征參數.大量實驗數據說明了該研究具有特征識別的準確度高、機器視覺系統(tǒng)設置精度高、平均耗時滿足生產線的實時性等優(yōu)點.算法魯棒性較好，為流水線的柔性和自動化的發(fā)展奠定了良好的基礎，對其它機器視覺的研究也具有一定的借鑒和指導作用.

[1] 王 彥.基于視覺的機械手目標識別及定位研究[D].西安：西安理工大學，2010.

[2] 區(qū)炳煜.基于機器視覺的鋸條缺陷檢測系統(tǒng)開發(fā)[D].廣州：廣東工業(yè)大學,2016.

[3] 林冬梅,張愛華,王 平,等.張氏標定法在雙目視覺脈搏測量系統(tǒng)中的應用[J].蘭州理工大學學報,2016,42(2)：78-85.

[4] 田 苗,郝向陽,劉松林,等.基于點離散度的張正友標定法[J].全球定位系統(tǒng)，2015，40(6)：86-88.

[5] 游 迪,楊世洪,趙汝進,等.高階徑向畸變對張正友平面標定算法精度的影響[J].計算機與現代化，2016(8)：118-122.

[6] 左 飛.數字圖像處理原理與實踐:MATLAB版[M].北京：電子工業(yè)出版社，2014.

[7] 李亞碩,毛文華,胡小安,等.基于機器視覺識別雞冠顏色的病雞檢測方法[J].機器人技術與應用，2014(5)：23-25.

[8] 黃博才,劉少君,黃道平.數控玻璃雕刻機上Mark點視覺定位系統(tǒng)的設計與實現[J].輕工機械，2012，30(4)：61-64.

[9] 李少華.基于機器視覺的甘藍識別及定位研究[D].重慶：西南大學,2014.

[10] 葉伯生,杜寶森,唐小琦.基于幾何特征的快速位姿識別算法研究[J].組合機床與自動化加工技術，2014(12)：73-76.

[11] 朱 良.機器視覺在工業(yè)機器人抓取技術中的應用[D].沈陽：中國科學院研究生院計算技術研究所，2016.

[12] 張傳凱.基于機器視覺的LED芯片定位與檢測技術研究[D].西安：陜西科技大學,2016.

[13] 查 英,劉鐵根,杜 東.圖像識別技術在零件裝配自動識別中的應用[J].計算機工程，2006，32(10)：178-179.

【責任編輯：蔣亞儒】

Research on recognition and location of small stamping parts based on machine vision

LU Jun, QIN Dou-dou , LUO Hao

(College of Mechanical and Electrical Engineering, Shaanxi University of Science & Technology, Xi′an 710021, China)

Combining with superior real-time of machine vision,the recognition and location of small semi-circular stamping parts are studied.Camera calibration follows Zhang Zhengyou calibration method,using development platform of Visual studio 2012 and OpenCV function library to achieve.Acquiring images through the visual system,and comparing various types of gray and smooth pre-processing methods to determine the effect of bilateral filtering and open and close operation.Extracting feature parameters based on contour search and rotating block algorithm,identifying types based on geometric parameters ,and the center coordinates and angles are obtained by minimum area and minimum circumscribed torque.The experiment shows that recognition rate of the small slice is 100%,and recognition rate of the shell and overlap or side is 97%.The study identifies a high degree of accuracy,positioning accuracy,high automation and flexibility to meet the practical assembly requirements.

machine vision; camera calibration; image processing; identification and location

2017-04-09

陜西省科技廳自然科學基金項目(2016GY-049)

盧 軍(1961-)，男，陜西咸陽人，教授，博士，研究方向:智能機器人技術、機器視覺與數字圖像處理

2096-398X(2017)04-0147-06

TP242.2

A