智能化上料系統(tǒng)中工件視覺(jué)定位的研究

郭　斌，朱　戈，陸　藝，趙　靜

(1.中國(guó)計(jì)量學(xué)院 計(jì)量測(cè)試工程學(xué)院，杭州　310018；2.杭州市沃鐳智能科技有限公司，杭州　310000)

?

智能化上料系統(tǒng)中工件視覺(jué)定位的研究

郭斌1，朱戈1，陸藝1，趙靜2

(1.中國(guó)計(jì)量學(xué)院 計(jì)量測(cè)試工程學(xué)院，杭州310018；2.杭州市沃鐳智能科技有限公司，杭州310000)

摘要：隨著我國(guó)工業(yè)生產(chǎn)行業(yè)的快速發(fā)展，人工上料越來(lái)越難以適應(yīng)，為解決工業(yè)生產(chǎn)線生產(chǎn)效率不高，人工成本過(guò)大，智能化不足等問(wèn)題；基于國(guó)內(nèi)外現(xiàn)有工件定位方法的研究，采用機(jī)器視覺(jué)對(duì)工件定位進(jìn)行研究，利用工業(yè)相機(jī)采集圖像信息，上傳到PC端中 NI Vision軟件進(jìn)行圖像預(yù)處理、邊緣檢測(cè)，并基于邊緣檢測(cè)結(jié)果提取質(zhì)心點(diǎn)，然后利用坐標(biāo)轉(zhuǎn)換算法，獲得對(duì)應(yīng)世界坐標(biāo)系下的坐標(biāo)值，通過(guò)通信單元傳送給機(jī)器人控制系統(tǒng)，控制機(jī)器手移動(dòng)；經(jīng)驗(yàn)證，算法不僅穩(wěn)定可靠，而且易于修改，所得結(jié)果精度相對(duì)較高。

關(guān)鍵詞：智能化生產(chǎn)線; 工件定位; 機(jī)器視覺(jué)

0引言

中國(guó)是全球制造大國(guó)，但在近兩年陸續(xù)發(fā)生的缺工、勞資關(guān)系緊張等問(wèn)題，引發(fā)了一波“制造業(yè)回流”的熱潮，例如美國(guó)總統(tǒng)奧巴馬主動(dòng)提出高階制造業(yè)回流政策，包括福特、蘋(píng)果、英特爾等已逐步將高階制造業(yè)生產(chǎn)線移回美國(guó)境內(nèi)。種種大環(huán)境促使制造業(yè)急需進(jìn)行轉(zhuǎn)變，而智能化生產(chǎn)線就可以很好的解決這些問(wèn)題[1-2]。一條完整的智能化沖壓線包括線首拆垛機(jī)、工件涂油機(jī)、工件定位系統(tǒng)，中端沖壓機(jī)、沖壓專(zhuān)用機(jī)器人、機(jī)器人端拾器、線尾碼垛系統(tǒng)、整線電氣控制及安全防護(hù)系統(tǒng)等[3]，其中工件定位系統(tǒng)對(duì)于提高生產(chǎn)線生產(chǎn)效率有著很大的影響。機(jī)器視覺(jué)與機(jī)器手相結(jié)合可以顯著提高生產(chǎn)線智能化，解決生產(chǎn)線因零件的改變或位置的調(diào)整帶來(lái)的難題，既可以節(jié)省人力，又可以提高勞動(dòng)效率[4]。針對(duì)以上問(wèn)題，設(shè)計(jì)了一套基于機(jī)器視覺(jué)的沖壓生產(chǎn)線柔性定位系統(tǒng)，通過(guò)工業(yè)相機(jī)采集圖像，利用NI公司視覺(jué)開(kāi)發(fā)模塊NI Vision進(jìn)行圖像處理，可以根據(jù)工件隨時(shí)修改程序算法，快速適應(yīng)新產(chǎn)品要求，顯著提高工廠生產(chǎn)效率。

1工件定位方法介紹

工件識(shí)別與定位是機(jī)器人抓取工件的前提和基礎(chǔ)，其識(shí)別的結(jié)果正確與否和定位的精度直接影響到機(jī)器人操作結(jié)果的準(zhǔn)確性，目前運(yùn)用在生產(chǎn)線的工件定位方式主要有重力定位，機(jī)械定位和視覺(jué)定位3種。

1.13種定位方式的介紹

重力定位就是當(dāng)工件到達(dá)該重力臺(tái)后，工件的自重導(dǎo)致工件會(huì)隨著重力臺(tái)面的傾斜，滑落到一個(gè)死角里，機(jī)器手則會(huì)在同一個(gè)位置對(duì)工件進(jìn)行抓??；機(jī)械定位就是當(dāng)工件到達(dá)機(jī)械定位臺(tái)后，工件會(huì)觸發(fā)傳感器，定位臺(tái)上的氣缸依次分別動(dòng)作，使工件在前后左右位置上對(duì)齊，達(dá)到定位目的；視覺(jué)定位就是利用工業(yè)相機(jī)采集工件圖像，進(jìn)行圖像處理，計(jì)算工件坐標(biāo)信息，通過(guò)以太網(wǎng)傳送給機(jī)器人控制系統(tǒng)，機(jī)器人根據(jù)傳輸過(guò)來(lái)的工件位置信息抓取工件[5]。

1.23種定位方式的區(qū)別

傳統(tǒng)的重力定位和機(jī)械定位在生產(chǎn)過(guò)程中會(huì)出現(xiàn)以下問(wèn)題：1)工件在重力作用和氣缸拍打的情況下，產(chǎn)品表面可能會(huì)出現(xiàn)瑕疵，影響產(chǎn)品品質(zhì)；2)在重力和機(jī)械拍打過(guò)程影響生產(chǎn)節(jié)拍；3)柔性差，成本相對(duì)較高。而機(jī)器視覺(jué)定位可以很好地解決了以上問(wèn)題：首先，視覺(jué)定位屬于非接觸的定位方式，安裝在輸送帶上方，避免因外力引起的產(chǎn)品質(zhì)量問(wèn)題；其次，機(jī)器視覺(jué)系統(tǒng)從取像到處理，提供給機(jī)器人坐標(biāo)信息，速度很快，可以控制在500 ms之內(nèi)，很大程度上提高了生產(chǎn)效率；最后，與傳統(tǒng)定位工藝相比，機(jī)器視覺(jué)定位柔性最好，相對(duì)成本更低，并且更穩(wěn)定，精度更高。

2視覺(jué)定位系統(tǒng)介紹

2.1機(jī)器視覺(jué)介紹

機(jī)器視覺(jué)就是用機(jī)器代替人眼進(jìn)行識(shí)別和判斷，視覺(jué)定位系統(tǒng)通過(guò)圖像攝取裝置抓拍圖像，然后將該圖像傳送至處理單元，通過(guò)數(shù)字化處理，根據(jù)像素分布和顏色等信息，來(lái)進(jìn)行尺寸、形狀、位置的判別，從而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作[6]。典型的機(jī)器視覺(jué)系統(tǒng)一般包括如下部分：相機(jī)和鏡頭、光源、傳感器、圖像采集卡、視覺(jué)處理軟件、通信單元及PC平臺(tái)等。機(jī)器視覺(jué)系統(tǒng)的工作過(guò)程：定位傳感器探測(cè)到物體已經(jīng)運(yùn)動(dòng)到攝像系統(tǒng)的視野內(nèi)，向圖像采集單元發(fā)送脈沖；圖像采集單元根據(jù)事先設(shè)定的程序，向攝像系統(tǒng)發(fā)送觸發(fā)脈沖；攝像機(jī)曝光后，將圖像輸出到計(jì)算機(jī)的處理器中，處理器對(duì)圖像進(jìn)行處理、分析、識(shí)別，獲得測(cè)量結(jié)果[7]。機(jī)器視覺(jué)系統(tǒng)的靈活性和可重組性，使生產(chǎn)過(guò)程的改變變得更加容易，原來(lái)的“工具更換”僅僅是算法的調(diào)整，避免更換昂貴的硬件，從而可以節(jié)省資源，降低成本。

2.2總體系統(tǒng)方案

機(jī)器視覺(jué)定位系統(tǒng)方案設(shè)計(jì)流程如下：首先由工業(yè)相機(jī)采集含有工件的圖像，傳送至PC平臺(tái)中圖像處理軟件NI Vision中進(jìn)行圖像處理，從而確定目標(biāo)工件在圖像中的像素坐標(biāo)位置，然后借助坐標(biāo)轉(zhuǎn)換的方法得到世界坐標(biāo)下工件的位置，并將位置信息傳送至機(jī)器人控制系統(tǒng)，從而控制機(jī)器手動(dòng)作。視覺(jué)定位流程如圖1所示。

圖1　視覺(jué)定位流程圖

3圖形處理軟件介紹

圖像處理軟件采用NI公司視覺(jué)開(kāi)發(fā)模塊NI Vision,該模塊包含NI Vision Assistant以及IMAQ視覺(jué)[8]，NI Vision Assistant可以不通過(guò)編程就快速實(shí)現(xiàn)將LabVIEW應(yīng)用成型的直觀環(huán)境，IMAQ擁有強(qiáng)大視覺(jué)處理函數(shù)的庫(kù)，兩者相互結(jié)合降低了軟件的開(kāi)發(fā)難度，提高了算法設(shè)計(jì)效率，還可以自動(dòng)生成LabVIEW程序框圖，方便快捷。

3.1算法介紹

視覺(jué)定位算法具體為：首先對(duì)采集的圖像進(jìn)行預(yù)處理，包括圖像增強(qiáng)、平滑過(guò)濾等；接著對(duì)過(guò)濾后的圖像利用閾值分割，使目標(biāo)和背景分開(kāi)；然后對(duì)分割后的圖像進(jìn)行邊緣檢測(cè)，進(jìn)而提取目標(biāo)質(zhì)心點(diǎn)坐標(biāo)；最后利用坐標(biāo)轉(zhuǎn)換算法把質(zhì)心點(diǎn)坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系中坐標(biāo)值。

3.2圖像處理

3.2.1圖像增強(qiáng)

圖像增強(qiáng)的目的是為了消除圖像中的噪聲，增強(qiáng)有關(guān)真實(shí)的信息，簡(jiǎn)化數(shù)據(jù)，提高信息的可靠性和處理速度，去除噪聲的濾波方法常用的有高斯濾波、均值濾波和中值濾波等。圖像邊緣顯示了圖像細(xì)節(jié)和高頻信息，而均值濾波和高斯濾波可能會(huì)模糊圖像中的尖銳信息，從而使邊緣變得模糊。中值濾波不僅可以去除椒鹽噪聲、脈沖噪聲，還可以盡量多地保留圖像邊緣的細(xì)節(jié)信息，所以是邊緣處理的首選。

中值濾波是一種非線性濾波技術(shù)，是一種低通濾波器。一維中值濾波器的定義為：

(1)

式中，med代表取中值。中值濾波的方法簡(jiǎn)單來(lái)說(shuō)就是將滑動(dòng)濾波窗口內(nèi)的像素進(jìn)行排序，按照大小依次排列，取該序列的中值作為濾波哦結(jié)果的輸出像素值。在NI Vision Assistant軟件中Grayscale功能下Filters項(xiàng)中設(shè)置閾值分割方法為Smooting-Median，得到圖2，所示為對(duì)灰度原圖2(a)使用中值濾波后的效果圖。

圖2　中值濾波效果圖

3.2.2圖像分割

圖像分割的目的是為了快速提取有效的圖形區(qū)域，將過(guò)濾后的灰度圖像進(jìn)行圖像分割得到有效的圖像區(qū)域。圖像閾值分割方法適用于背景和目標(biāo)占據(jù)不同灰度級(jí)范圍的圖像，可以極大地壓縮數(shù)據(jù)量，簡(jiǎn)化圖像分析與處理。迭代式閾值方法原理是首先選擇一個(gè)近似的閾值作為初始閾值，然后連續(xù)不斷地進(jìn)行優(yōu)化這個(gè)初始閾值，直到最優(yōu)。分割的過(guò)程可以簡(jiǎn)單概況如下：首先選取一個(gè)初始閾值，這個(gè)閾值會(huì)把圖像分成兩個(gè)圖像，然后分別計(jì)算這兩個(gè)圖像灰度的均值；取兩個(gè)均值的平均值作為新的初始閾值，繼續(xù)把圖像分成兩部分，求均值…重復(fù)上述步驟，直至兩個(gè)圖像的均值不再發(fā)生變化為止，所得的平均值就是最優(yōu)值。

在NI Vision Assistant軟件中Grayscale功能下Threshold項(xiàng)中設(shè)置閾值分割方法為Auto Threshold -Metric，得到圖3，利用迭代式閾值分割方法對(duì)圖2(b)的分割效果圖。因?yàn)閳D像中有小洞，影響圖像邊緣檢測(cè)，故需要進(jìn)行填洞處理。

3.2.3圖像邊緣檢測(cè)

邊緣是是圖像最基本的特征之一，是指圖像中像素發(fā)生階躍或者屋頂變化的像素的集合。邊緣檢測(cè)算子主要包含一階微分算子(Roberts算子、Sobel算子、Prewitt算子、Canny算子等)和二階微分算子(Laplacian算子、LoG算子)[9]。Sobel算子可以平滑噪聲，對(duì)噪聲的敏感程度也比較低，可以獲得較好的邊緣信息，故選擇Sobel算子。Sobel算子利用像素臨近區(qū)域的梯度值來(lái)確定1個(gè)像素的梯度值，從而根據(jù)特定的閾值來(lái)取舍。由下式可計(jì)算出：

(2)

Sobel算子是3*3算子模板。x和y方向的梯度對(duì)應(yīng)的模板可表示為：

(3)

檢測(cè)方法如下：利用上述兩個(gè)模板對(duì)圖像進(jìn)行逐像素卷積，將兩個(gè)卷積結(jié)果值相加，然后判別該結(jié)果是否大于等于某個(gè)閾值T，滿足條件，則將其作為圖像中對(duì)應(yīng)于模板中心位置處的像素值；不滿足則給處的像素賦予0值。在NI Vision Assistant軟件中Grayscale功能下Filters項(xiàng)中設(shè)置濾波方法為Edge Detection-sobel算子，利用Sobel算子對(duì)分割過(guò)的圖像3進(jìn)行邊緣處理后得到的效果如圖4所示。

圖3　圖像分割效果圖　　　　圖4　邊緣檢測(cè)效果圖

3.2.4質(zhì)心點(diǎn)提取

邊緣特征提取之后就要對(duì)工件進(jìn)行質(zhì)心提取。若二值圖像找那個(gè)物體對(duì)應(yīng)的像素位置坐標(biāo)為(ui，vi)(其中i=0,1,2,3…,n-1；j=0,1,2,3…,m-1)，則質(zhì)心坐標(biāo)(u，v)可由下面兩個(gè)公式來(lái)求：

(4)

(5)

使用NI Vision Assistant軟件中Grayscale功能下的Centroid功能對(duì)圖3進(jìn)行質(zhì)心的提取，結(jié)果如圖5所示，質(zhì)心(圖中點(diǎn))像素坐標(biāo)為(550.37，601.56)，單位為picels。

圖5　工件質(zhì)心提取圖

3.2.5坐標(biāo)轉(zhuǎn)換

在獲得工件在圖像中的質(zhì)點(diǎn)信息后就要將質(zhì)點(diǎn)像素坐標(biāo)轉(zhuǎn)換成空間世界坐標(biāo)。在這里首先以鏡頭的光心為坐標(biāo)原點(diǎn)建立攝像機(jī)坐標(biāo)系(Oc，xc，yc，zc)，以成像平面與光軸交點(diǎn)O為原點(diǎn)，建立平面坐標(biāo)系(O，x，y)。具體算法如下：

1)在上面圖像處理過(guò)程中使用的像素點(diǎn)坐標(biāo)(u，v)與成像平面坐標(biāo)系內(nèi)的點(diǎn)坐標(biāo)(x，y)是平移關(guān)系，可用下式表示兩坐標(biāo)之間的關(guān)系(式中(u0，v0)是光軸和成像平面的交點(diǎn)坐標(biāo)值dx，dy，表示單位像素所代表的實(shí)際尺寸)：

(6)

2)對(duì)于攝像機(jī)坐標(biāo)系中的點(diǎn)(xc，yc，zc)和成像平面對(duì)應(yīng)點(diǎn)(x，y)是相似比例關(guān)系，用下式表示：

(7)

3)設(shè)世界坐標(biāo)系為(Ow，xw，yw，zw)，其與攝像機(jī)坐標(biāo)系(Oc，xc，yc，zc)的關(guān)系如下式所示，式中t=[tx，ty，tz]T是三維平移向量，矩陣R是正交旋轉(zhuǎn)矩陣：

(8)

4)綜合式(6)~(8)可以得到像素坐標(biāo)和世界坐標(biāo)之間的關(guān)系式(式中M1是攝像機(jī)內(nèi)部矩陣，M2是攝像機(jī)外部參數(shù)矩陣)：

(9)

并且得到一個(gè)像素和實(shí)際物理尺寸的標(biāo)定關(guān)系1pixel=0.15 mm。利用機(jī)器手臂示教器規(guī)劃其運(yùn)動(dòng)軌跡，可以直接利用提取出的質(zhì)心點(diǎn)圖像坐標(biāo)計(jì)算出所在的世界坐標(biāo)值，然后將所得結(jié)果通過(guò)通信單元傳送給機(jī)器人控制系統(tǒng)，從而控制機(jī)器手到達(dá)指定位置，抓取零件。每次零件位置擺放不同獲得質(zhì)心坐標(biāo)結(jié)果如表1所示，經(jīng)檢驗(yàn)抓取成功率達(dá)到99%以上。

表1　圖像處理質(zhì)心坐標(biāo)實(shí)驗(yàn)結(jié)果

4結(jié)論

設(shè)計(jì)程序過(guò)程中還是用了軟件中的Baniry功能下Adv.Morphology高級(jí)形態(tài)學(xué)中Fillholes(填洞)、Removesmallobjects(去除小目標(biāo))等功能，可以使圖片中的小洞被填滿、去除小雜質(zhì)粒子等，從而提高邊緣提取的精度和質(zhì)心的準(zhǔn)確性。NIVision軟件快速方便地解決圖像處理方面的問(wèn)題，功能強(qiáng)大，使科技工作者未來(lái)可以快速準(zhǔn)確完成圖像處理方面的工作。視覺(jué)定位是智能化生產(chǎn)未來(lái)的發(fā)展方向，機(jī)器視覺(jué)的

應(yīng)用也將越來(lái)越廣泛。與發(fā)達(dá)國(guó)家相比，我國(guó)機(jī)器視覺(jué)產(chǎn)業(yè)相對(duì)落后，這也意味著更大的商機(jī)，我們需要在提高自身技術(shù)、拓展行業(yè)、引導(dǎo)用戶等方面繼續(xù)努力。

參考文獻(xiàn)：

[1] 何述平，覃開(kāi)宇，陳立軍，等.高速?zèng)_壓自動(dòng)化生產(chǎn)線優(yōu)化仿真[J].輕工科技，2012(8)：42-44.

[2] 王春生.沖壓工藝設(shè)備的技術(shù)進(jìn)步與發(fā)展[J].機(jī)械工人，2006(12)：10.

[3] 夏良正.數(shù)字圖像處理[M].南京：東南大學(xué)出版社，1999.

[4] 陳立新，郭文彥.工業(yè)機(jī)器人在沖壓自動(dòng)化生產(chǎn)線中的應(yīng)用[J].機(jī)械工程與自動(dòng)化，2010(3)：134.

[5] 陳皓.沖壓自動(dòng)化的定位方法比較[J].自動(dòng)化應(yīng)用，2011(8)：64-65.

[6] 鐘玉琢，喬秉新，李樹(shù)青.機(jī)器人視覺(jué)技術(shù)[M].北京:國(guó)防工業(yè)出版社，1994.

[7] 賈云得.機(jī)器視覺(jué)[M].北京:科學(xué)出版社，2000.

[8] 喬瑞萍. LabVIEW大學(xué)實(shí)用教程[M].北京:電子工業(yè)出版社，2008.

[9] 鄭敏，王有熙，稅冬東.基于Sobel算子含噪低對(duì)比度圖像的邊緣檢測(cè)方法[J].石河子大學(xué)學(xué)報(bào)，2008(2)：117-119.

Research on Visual Positioning of the Workpiece in Intelligent Feeding System

Guo Bin1， Zhu Ge1，Lu Yi1，Zhao Jing2

(1.College of Metrology Technology and Engineering，China Jiliang University，Hangzhou310018，China;2.Hangzhou Wolei Intelligent Technology Co.Ltd，Hangzhou310000，China)

Abstract:With the rapid development of industrial production in China, it is becoming more and more difficult to adapt to the artificial feeding, in order to solve the problem of industrial production line efficiency is not high, labor cost is too large, the problem of intelligent and so on. Based on the research of the existing methods, this method uses machine vision to study the workpiece positioning, industrial cameras capture image information, uploaded to the NI Vision software in the PC for image preprocessing, edge detection, and based on the edge detection results, the centroid points will be extracted, then the coordinate transformation algorithm is used to obtain the coordinates of the world coordinate system, transmitted via the communication unit to the robot control system, to control machine hand movement. The results show that the algorithm is stable and reliable, and is easy to be modified, the results obtained are relatively high accuracy.

Keywords:intelligent production lines;workpiece positioning; machine vision

文章編號(hào)：1671-4598(2016)02-0232-03

DOI：10.16526/j.cnki.11-4762/tp.2016.02.064

中圖分類(lèi)號(hào)：T-9

文獻(xiàn)標(biāo)識(shí)碼：A

作者簡(jiǎn)介：郭斌(1977-)，男，山東日照人，碩士，副教授，研究生導(dǎo)師，主要從事自動(dòng)化和智能化方向的研究。

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(51405463);浙江省公益性技術(shù)應(yīng)用研究計(jì)劃(2014C31105) 。

收稿日期：2015-09-06；修回日期：2015-09-30。