基于視覺的料片位姿檢測(cè)與定位算法研究

鄭紅梅,丁 鵬

(合肥工業(yè)大學(xué) 機(jī)械工程學(xué)院，安徽 合肥 230009)

0 引言

變壓器在整體上是由多層鐵芯片組合疊裝而成的，每層鐵芯片又由5片硅鋼片拼接而成。疊片的過程是將硅鋼片料片疊成“日”字型鐵芯。料片的種類多，疊裝步驟繁瑣使得人工疊裝的工作強(qiáng)度大而復(fù)雜。故本文設(shè)計(jì)了一種視覺系統(tǒng)應(yīng)用于桁架機(jī)械手，利用工業(yè)相機(jī)采集料片的特征，利用位姿信息實(shí)現(xiàn)料片的定位,從而實(shí)現(xiàn)桁架機(jī)械手的定位，并最終將機(jī)械手的位姿傳輸給下位機(jī)控制機(jī)器人進(jìn)行組合疊裝。

1 疊片機(jī)器人視覺系統(tǒng)

疊片機(jī)器人視覺系統(tǒng)分為硬件系統(tǒng)和軟件系統(tǒng)兩個(gè)部分。

硬件系統(tǒng)由工控機(jī)、安川控制器、工業(yè)相機(jī)、LED光源等組成。軟件系統(tǒng)基于Windows操作系統(tǒng)，利用Visual Studio開發(fā)工具，使用C#語言開發(fā)。圖1所示為疊片機(jī)器人視覺系統(tǒng)整體架構(gòu)。工業(yè)相機(jī)采集信號(hào)后，將圖像通過以太網(wǎng)傳輸至上位機(jī)，上位機(jī)完成圖像處理后確定目標(biāo)機(jī)械手位姿(X、Y、Z電機(jī)位置及角度)并傳給運(yùn)動(dòng)控制器，由運(yùn)動(dòng)控制器通過以太網(wǎng)通信實(shí)現(xiàn)與機(jī)械手的交互。

2 料片位姿檢測(cè)與機(jī)械手定位算法

2.1 料片位姿檢測(cè)與機(jī)械手定位算法流程

系統(tǒng)主要通過工業(yè)相機(jī)采集圖像，并利用圖像預(yù)處理、坐標(biāo)轉(zhuǎn)換算法計(jì)算目標(biāo)硅鋼片相對(duì)于機(jī)械手的位姿，將計(jì)算結(jié)果反饋給上位機(jī)控制運(yùn)動(dòng)控制器，最終由機(jī)械手實(shí)現(xiàn)對(duì)硅鋼片的搬運(yùn)。

2.2 料片位姿檢測(cè)

圖像處理是料片位姿檢測(cè)算法的核心，它的主要任務(wù)是對(duì)工業(yè)相機(jī)采集的圖片進(jìn)行一系列處理以便得到后續(xù)工作所需要的料片位姿。但由于工廠環(huán)境光線等因素干擾，會(huì)對(duì)圖像的分割、特征提取等造成很大的影響。因此，在進(jìn)行圖像特征提取前需要進(jìn)行圖像預(yù)處理。圖像預(yù)處理包括圖像濾波、圖像分割、邊緣檢測(cè)等。

圖1 疊片機(jī)器人視覺系統(tǒng)整體架構(gòu)

2.2.1 圖像濾波

常見濾波方式為均值濾波、中值濾波、高斯濾波。中值濾波屬于非線性濾波，可以高效地消除圖像的噪聲點(diǎn)。高斯濾波通過平滑，可以去除噪聲干擾，能夠提高邊緣檢測(cè)的精準(zhǔn)度，因此對(duì)拍得的硅鋼片采用中值濾波疊加高斯濾波的方式進(jìn)行處理。

2.2.2 圖像分割

圖像分割的主要方法有閾值分割、邊緣檢測(cè)等。

(1) 閾值分割。大津算法對(duì)于單一目標(biāo)的分割非常有效，計(jì)算量少，程序運(yùn)行時(shí)間短，且不受圖像亮度、對(duì)比度和飽和度影響，故采用大津算法進(jìn)行閾值分割，效果如圖2所示。

(2) 邊緣檢測(cè)。邊緣檢測(cè)的目的在于從圖像中標(biāo)記出物體輪廓，采用Canny邊緣檢測(cè)算法，圖3為針對(duì)硅鋼片的檢測(cè)結(jié)果。

圖2 硅鋼片閾值分割效果圖

圖3 硅鋼片的邊緣線

(3) 線特征提取。檢測(cè)到目標(biāo)物輪廓，對(duì)邊緣圖像進(jìn)行Hough變換用于提取目標(biāo)物表面的特征直線。圖4為提取出的硅鋼片邊緣直線的效果圖。

圖4 硅鋼片線特征提取效果圖

2.3 建立坐標(biāo)系

建立坐標(biāo)系的目的是將檢測(cè)到的料片位姿轉(zhuǎn)換成抓取料片的機(jī)械手位姿,因此需要建立起像素坐標(biāo)系到機(jī)械手坐標(biāo)系再到機(jī)床坐標(biāo)系的關(guān)系。圖5為三坐標(biāo)系模型。其中，Ow-XwYwZw為機(jī)床坐標(biāo)系,也叫世界坐標(biāo)系,Om-XmYmZm為機(jī)械手坐標(biāo)系,Oc-XcYc為像素坐標(biāo)系。

圖5 三坐標(biāo)系模型

2.3.1 像素坐標(biāo)系到機(jī)械手坐標(biāo)系的轉(zhuǎn)換

轉(zhuǎn)換的目的是將硅鋼片上任意一點(diǎn)的像素坐標(biāo)描述成機(jī)械手坐標(biāo)系下的坐標(biāo)。

像素坐標(biāo)系和機(jī)械手坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如圖6所示。圖6中，(Xc1,Yc1)為硅鋼片像素坐標(biāo)，(Xc2,Yc2)為相機(jī)中心像素坐標(biāo)，(Xm1,Ym1)為相機(jī)中心機(jī)械手坐標(biāo)。硅鋼片中心像素坐標(biāo)轉(zhuǎn)換到機(jī)械手坐標(biāo)系如公式(1)所示：

Xt1Yt1=Xm1+(Xc2-Xc1)mYm1+(Yc2-Yc1)m.

(1)

其中：m為相機(jī)分辨率。利用式(1)最終計(jì)算得到的為硅鋼片中心在機(jī)械手坐標(biāo)系下的坐標(biāo)(Xt1,Yt1)。

圖6 像素坐標(biāo)系與機(jī)械手坐標(biāo)系的轉(zhuǎn)換關(guān)系

2.3.2 機(jī)械手坐標(biāo)系到機(jī)床坐標(biāo)系的轉(zhuǎn)換

機(jī)械手坐標(biāo)系和機(jī)床坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如圖7所示。圖7中，Om是機(jī)械手中心，(Xw1,Yw1)是機(jī)械手在機(jī)床坐標(biāo)系下的坐標(biāo)，(Xm1,Ym1)即P點(diǎn)是硅鋼片中心在機(jī)械手坐標(biāo)系下的坐標(biāo)，角度θ為硅鋼片在機(jī)床坐標(biāo)系下的偏轉(zhuǎn)角。P點(diǎn)旋轉(zhuǎn)θ后得到的硅鋼片中心在機(jī)械手坐標(biāo)系下的坐標(biāo)為(Xt,Yt)。硅鋼片中心的機(jī)械手坐標(biāo)需要通過旋轉(zhuǎn)平移轉(zhuǎn)換到機(jī)床坐標(biāo)系，得到硅鋼片中心在機(jī)床坐標(biāo)系下的坐標(biāo),轉(zhuǎn)換關(guān)系如式(2)、式(3)所示：

XtYt1=Xm1Ym11cosθsinθ0-sinθcosθ0 0 0 1.

(2)

XrYr=Xt+Xw1Yt+Yw1.

(3)

最終得到硅鋼片中心在機(jī)床坐標(biāo)系下的坐標(biāo)(Xr,Yr)。

圖7 機(jī)械手坐標(biāo)系與機(jī)床坐標(biāo)系的轉(zhuǎn)換關(guān)系

2.4 機(jī)械手定位

定位的主要步驟為首先識(shí)別抓取位硅鋼片中心位姿，其次在設(shè)計(jì)的界面上提前預(yù)設(shè)好需要放置的目標(biāo)硅鋼片中心位姿，最后計(jì)算得出機(jī)械手4個(gè)軸的電機(jī)需要移動(dòng)的距離，從而實(shí)現(xiàn)定位功能。

2.4.1 抓取位硅鋼片位姿識(shí)別

首先對(duì)硅鋼片進(jìn)行拍照預(yù)處理獲得硅鋼片表面的霍夫線段，再對(duì)霍夫線段進(jìn)行分組，最后通過排序分組得到硅鋼片的邊。這個(gè)方法的目的是利用對(duì)應(yīng)的邊找到硅鋼片的中心，再利用2.3節(jié)式(1)、式(2)、式(3)得到吸附處硅鋼片中心在機(jī)床坐標(biāo)系中的坐標(biāo)(Xr,Yr)。偏轉(zhuǎn)角θ通過識(shí)別出的硅鋼片上端點(diǎn)世界坐標(biāo)系下的坐標(biāo)，并通過斜率公式即可求出。

2.4.2 機(jī)械手定位至放置位

目標(biāo)硅鋼片的位姿(機(jī)床位置，硅鋼片偏轉(zhuǎn)角)是預(yù)設(shè)好的待放置位姿，因此需要通過獲取抓取位與放置位硅鋼片偏轉(zhuǎn)角的角度差調(diào)整機(jī)械手角度，實(shí)現(xiàn)將吸取位硅鋼片定位至目標(biāo)位置的功能。

如圖8所示，P1、θ分別為吸附處硅鋼片中心位置和硅鋼片在機(jī)床坐標(biāo)系的偏轉(zhuǎn)角，P3、θ1為目標(biāo)硅鋼片中心位置和其在機(jī)床坐標(biāo)系的偏轉(zhuǎn)角，(Xh1,Yh1)是機(jī)械手在機(jī)床坐標(biāo)系下的坐標(biāo)。實(shí)現(xiàn)定位功能需要將吸附處硅鋼片中心的機(jī)械手坐標(biāo)在機(jī)械手坐標(biāo)系旋轉(zhuǎn)(θ1-θ)角度得到P2。機(jī)械手吸附硅鋼片，因此可認(rèn)定此時(shí)的硅鋼片與目標(biāo)硅鋼片平行，兩者在機(jī)床坐標(biāo)系下的偏轉(zhuǎn)角均為θ1。最后只需計(jì)算P3與P2轉(zhuǎn)換為機(jī)床坐標(biāo)系下的點(diǎn)的差值，將結(jié)果傳給下位機(jī)發(fā)送定位指令驅(qū)動(dòng)機(jī)械手移動(dòng)即可實(shí)現(xiàn)定位至目標(biāo)硅鋼片的功能。計(jì)算公式如下：

Xp3

Yp3=Xp2

Yp2cos(θ1-θ) -sin(θ1-θ)

sin(θ1-θ) -cos(θ1-θ)+Xh1

Yh1.

(4)

3 實(shí)驗(yàn)結(jié)果與分析

本課題在Visual Studio可視化編程開發(fā)軟件中搭建視覺處理平臺(tái)，設(shè)計(jì)了WinForm界面，如圖9所示。該界面能夠清晰地顯示圖像處理結(jié)果、坐標(biāo)轉(zhuǎn)換每一步的坐標(biāo)結(jié)果，方便人員使用，擴(kuò)展能力強(qiáng)。首先采集圖像，然后保存到系統(tǒng)中，接著加載圖像，對(duì)圖像進(jìn)行預(yù)處理和特征提取，根據(jù)建立的坐標(biāo)系分別得到吸附位置硅鋼片中心點(diǎn)在像素坐標(biāo)系、機(jī)械手坐標(biāo)系、機(jī)床坐標(biāo)系下的坐標(biāo)以及硅鋼片實(shí)際偏轉(zhuǎn)角度。

圖8 硅鋼片移動(dòng)至目標(biāo)位置坐標(biāo)系

進(jìn)行坐標(biāo)轉(zhuǎn)換，由2.4節(jié)驗(yàn)證坐標(biāo)轉(zhuǎn)換后硅鋼片中心的機(jī)床坐標(biāo)及偏轉(zhuǎn)角，如表1所示。

圖9 識(shí)別與定位WinForm界面

由表1可知，坐標(biāo)轉(zhuǎn)換后得出的硅鋼片開口大小誤差在1 mm以內(nèi)，料片坐標(biāo)檢測(cè)結(jié)果誤差在0.5 mm以內(nèi)，角度誤差在0.05°以內(nèi)。精度滿足疊片要求。

4 結(jié)語

算法通過圖像識(shí)別與坐標(biāo)轉(zhuǎn)換識(shí)別出抓取位的硅鋼片特征、中心位姿，通過坐標(biāo)轉(zhuǎn)換得到機(jī)械手搬運(yùn)到目標(biāo)位置所需要移動(dòng)的距離及角度，利用上位機(jī)控制機(jī)械手實(shí)現(xiàn)搬運(yùn)功能。實(shí)驗(yàn)結(jié)果表明，視覺系統(tǒng)可以滿足一般疊片機(jī)器人的疊裝要求，并且具有較好的精確性。

表1 硅鋼片中心點(diǎn)坐標(biāo)偏轉(zhuǎn)角及誤差