機(jī)器視覺在柔性制造生產(chǎn)線分揀機(jī)械手中的應(yīng)用研究*

解明利 胡占齊

(燕山大學(xué)機(jī)械工程學(xué)院，河北 秦皇島 066004)

隨著計(jì)算機(jī)技術(shù)、人工智能的迅速發(fā)展，做為數(shù)字視覺技術(shù)與工業(yè)制造相結(jié)合的機(jī)器視覺技術(shù)被越來越多的應(yīng)用在現(xiàn)代化柔性制造生產(chǎn)線中，其特點(diǎn)是代替人工在單一或惡劣的環(huán)境下對觀測對象進(jìn)行檢測，并向其他的控制系統(tǒng)提供準(zhǔn)確的輸入控制信號源。本文基于以上，以BS-8ML01型柔性制造生產(chǎn)線為基礎(chǔ)，對其基于PLC的示教式分揀系統(tǒng)進(jìn)行改進(jìn)，將機(jī)器視覺技術(shù)與工業(yè)機(jī)械手結(jié)合，設(shè)計(jì)了基于機(jī)器視覺的分揀機(jī)械手，采用多目標(biāo)分塊的Hough算法實(shí)現(xiàn)了對物料的智能分揀，解決了在實(shí)際工況中，當(dāng)目標(biāo)工件與理想工件存在位置偏差，也能迅速準(zhǔn)確地完成工件的抓取、分揀問題，具有高效、智能的優(yōu)勢。與現(xiàn)有的基于視覺的機(jī)械手相比[7]，本設(shè)計(jì)的機(jī)械手將攝像頭和機(jī)械手集成在一起而沒有分置于傳送帶的不同位置。改進(jìn)后的設(shè)計(jì)使整體系統(tǒng)結(jié)構(gòu)設(shè)計(jì)簡單，集成化程度增強(qiáng)，便于后期的維護(hù)。

1 機(jī)械手結(jié)構(gòu)設(shè)計(jì)及工作流程

針對現(xiàn)有的BS-8ML01型柔性制造生產(chǎn)線，分揀機(jī)械手布置在如圖1所示系統(tǒng)的末端分揀部分，主要包括機(jī)器視覺模塊、控制模塊、傳送帶、分揀盤等部分，其中分揀機(jī)械手結(jié)構(gòu)模型如圖2所示。采用Delta并聯(lián)機(jī)構(gòu)，其較三坐標(biāo)機(jī)械手的優(yōu)點(diǎn)是無累積誤差、精度較高、結(jié)構(gòu)緊湊、高剛度承載能力大，而且驅(qū)動裝置可置于定平臺上或接近平臺位置，這樣運(yùn)動執(zhí)行部分重量輕，速度高，動態(tài)響應(yīng)好。該機(jī)械手主要由動平臺、定平臺、機(jī)械手爪等組成。其中定平臺布置有伺服電動機(jī)、上臂，動平臺上連接有機(jī)械手爪、下臂。上臂和下臂由球形萬向節(jié)連接組成3個(gè)呈120°均勻分布的運(yùn)動鏈。機(jī)械手爪由齒輪、內(nèi)臂、外臂組成，由伺服電動機(jī)帶動齒輪內(nèi)壁、外臂實(shí)現(xiàn)手爪的夾緊和放松。

當(dāng)傳送帶來料時(shí)，光電開關(guān)被觸發(fā)，機(jī)械手調(diào)整位姿擺至工作原點(diǎn)，避讓開拍照區(qū)域。傳送帶攜物料運(yùn)行至拍照區(qū)域范圍內(nèi)后暫停，此時(shí)工業(yè)攝像頭進(jìn)行圖像采集，并進(jìn)行圖像處理，計(jì)算機(jī)根據(jù)采集到的目標(biāo)進(jìn)行機(jī)械手抓取路徑規(guī)劃，并驅(qū)動伺服電動機(jī)實(shí)現(xiàn)機(jī)械手的分揀，分揀完畢后進(jìn)入下一個(gè)工作流程。

2 相機(jī)參數(shù)標(biāo)定

工業(yè)攝像機(jī)標(biāo)定的目的是建立空間點(diǎn)在圖像坐標(biāo)系和空間坐標(biāo)系的對應(yīng)關(guān)系[8]。設(shè)M為任意空間點(diǎn)，其坐標(biāo)為(x,y,z)；(u,v)為計(jì)算機(jī)圖像坐標(biāo)點(diǎn)，則二者之間的關(guān)系可表示為(1)式。

(1)

表1 相機(jī)標(biāo)定內(nèi)參數(shù)表

fxfycxcy5247.42645247.42641263.7438964.5556

3 目標(biāo)的圖像處理與定位

3.1 圖像預(yù)處理

在圖像的采集/傳輸或者變換過程中，由于多種因素的影響，如系統(tǒng)噪聲、曝光不足或者過量等，都容易引起圖像的降質(zhì)，降低圖像的視覺效果。通過圖像預(yù)處理，可以按照特定需求改善整幅圖像的視覺效果，增強(qiáng)圖像中的某些特定信息，便于控制系統(tǒng)對視覺信號進(jìn)行準(zhǔn)確的識別。本文采用平滑線性濾波法進(jìn)行圖像預(yù)處理，其方法是以一個(gè)3×3的濾波模板為例，將模板中心像素的灰度值與其鄰域上8個(gè)像素的灰度值取平均值作為模板中心像素的新的灰度值。處理結(jié)果如圖3所示，通過濾波較好的抑制了圖像在獲取和傳輸過程中的噪聲干擾。

3.2 圖像分割

圖像分割的目的是使攝像頭采集的工件圖像與背景區(qū)分開來，以便進(jìn)一步的研究和分析。目前常用的邊緣提取算法有Sobel算子、LOG算子、Robert算子、Canny算子等。Canny算子因其對光照改變時(shí)仍然魯棒，具有較高的邊緣定位能力，所以本研究中采用Canny算子進(jìn)行邊緣檢測。具體做法是首先用高斯濾波器如式(2)所示對圖像進(jìn)行平滑濾波。

(2)

其中σ是決定圖像平滑程度的關(guān)鍵參數(shù)。設(shè)f(x，y)為原始圖像，則濾波后的圖像可表示為式(3)。

fG(x,y)=G(x,y)?f(x,y)

(3)

Canny算子使用2×2窗口大小的一階偏導(dǎo)數(shù)有限差分來計(jì)算濾波后的圖像梯度矢量。設(shè)任一點(diǎn)(i，j)處的兩個(gè)方向的偏導(dǎo)數(shù)如式(4)。

(4)

則任一點(diǎn)(i，j)處的梯度幅值表示為：

其梯度方向θ表示為：

得到梯度向量后，要對其進(jìn)行非極大抑制，找出梯度幅值局部變化較大的點(diǎn)，然后用高、低兩個(gè)閾值進(jìn)行邊緣檢測和連接。圖4即是Canny算子對工件圖像分割的結(jié)果。

3.3 工件特征提取與定位

BS-8ML01型生產(chǎn)線所分揀工件的大部分是圓形回轉(zhuǎn)體工件。所以本研究中采用基于有序Hough變換的SQHT(sequenced hough transform)算法來確定工件邊緣。該算法通過圓的幾何性質(zhì)與梯度信息，遍歷搜索圓邊緣點(diǎn)，快速定位目標(biāo)圓及獲取基元參數(shù)[11-12]。與傳統(tǒng)的Hough算法相比，SQHT算法具有檢測快速、效率提高、抗干擾力強(qiáng)等優(yōu)點(diǎn)。其計(jì)算圓心坐標(biāo)的算法流程如下：

如圖5所示，設(shè)算法遍歷的圓上3點(diǎn)為C1、C2、C3。

(1)首先算法搜索到圓上點(diǎn)C1，計(jì)算點(diǎn)C1的梯度，梯度值記為C1。

(3)在點(diǎn)C1向右同行搜索至邊緣點(diǎn)，若存在記為C2,并執(zhí)行(4),否則返回(1)。

(4)計(jì)算C2的梯度，其值記為C2，若|C1+C2|

(5)根據(jù)C1、C2，預(yù)估計(jì)圓心坐標(biāo)，以確定第三點(diǎn)C3，可得C3的目標(biāo)坐標(biāo)為(xc1，yc1+Δy)。

(6)以目標(biāo)坐標(biāo)(xc1，yc1+Δy)為中心，從上向下搜索邊緣，若存在直接確定C3點(diǎn)，否則返回(3)。

(7)計(jì)算點(diǎn)C3的梯度，其值記為C3，若|C1+C3|

(8)根據(jù)點(diǎn)C1、C2、C3計(jì)算出圓心坐標(biāo)和圓半徑。

4 分揀機(jī)械手軌跡規(guī)劃

綜合考慮設(shè)備的空間布置、避障等問題，分揀機(jī)械手將傳送帶Ⅰ上的工件放置在分揀盤Ⅱ中，其運(yùn)動軌跡規(guī)劃可由圖6表示，抓取過程路徑的序列點(diǎn)為Si(i=0，1，2，…，7)。設(shè)水平段運(yùn)行時(shí)間T1=0.2 s，上升、下降段運(yùn)行時(shí)間T2=0.1 s，則機(jī)械手的工作空間軌跡規(guī)劃詳見表2。

表2 機(jī)械手工作空間軌跡規(guī)劃表

運(yùn)行區(qū)間段始終點(diǎn)時(shí)間方向運(yùn)行狀態(tài)上升S1→S2T2/2豎直加速圓弧S2→S3T2/2水平加速豎直加速水平S3→S4S4→S5(T1-T2)/2(T1-T2)/2水平加速水平減速圓弧S5→S6T2/2水平減速豎直加速下降S6→S7T2/2豎直減速

在機(jī)械手軌跡規(guī)劃時(shí),要求同時(shí)考慮機(jī)器人的執(zhí)行時(shí)間和動態(tài)性能[13-14]。因此要求機(jī)械手在滿足較大速度、加速度的前提下，還能保證機(jī)械手運(yùn)動平穩(wěn)，不產(chǎn)生運(yùn)動突變。因此機(jī)械手動平臺在單一方向上的運(yùn)動方程可由式(5)描述。該運(yùn)動方程具有三階連續(xù)可導(dǎo)，所以在機(jī)械手作業(yè)空間的軌跡規(guī)劃設(shè)計(jì)中被普遍采用。

(5)

其中：T為運(yùn)動總時(shí)間，t為當(dāng)前時(shí)刻。

各運(yùn)動區(qū)段可按照式(5)運(yùn)動規(guī)律，通過運(yùn)動學(xué)反解求得機(jī)械手上臂運(yùn)動參數(shù)，通過傳動系統(tǒng)的傳動比反算，即可得到驅(qū)動電動機(jī)的脈沖序列，從而實(shí)現(xiàn)機(jī)械手在空間中對工件的抓取。圖7～圖9為機(jī)械手動平臺的位移、速度、加速度曲線，從圖中曲線可以看出，機(jī)械手在達(dá)到峰值后，并沒有直接保持一段勻速，而是在小范圍內(nèi)速度逐漸減小，這樣做的好處是機(jī)械手的動平臺雖然速度、加速度峰值較高，但整體速度、加速度曲線變化連續(xù)平穩(wěn)，且初始和終了處的加速度為零。這樣滿足了機(jī)械手較高的抓取效率的同時(shí)，還避免了剛性沖擊。

5 工件抓取實(shí)驗(yàn)

研究中實(shí)驗(yàn)基于BS-8ML01生產(chǎn)線進(jìn)行。實(shí)驗(yàn)系統(tǒng)樣機(jī)平臺如圖10所示，樣機(jī)采用以太網(wǎng)與上位機(jī)、工業(yè)相機(jī)、控制器相連，使用MCGS組態(tài)軟件實(shí)現(xiàn)了界面的觸屏控制以及寫入和讀取機(jī)械手運(yùn)行過程中的相關(guān)數(shù)據(jù)。

實(shí)驗(yàn)中首先采用單個(gè)和多個(gè)工件的抓取來驗(yàn)證機(jī)械手的空間定位精度。首先在以機(jī)械手為參照坐標(biāo)的坐標(biāo)系下放置工件，機(jī)械手實(shí)現(xiàn)定位抓取。通過組態(tài)軟件實(shí)時(shí)讀取抓取時(shí)的坐標(biāo)數(shù)據(jù)進(jìn)行比對，將抓取位置和預(yù)設(shè)位置在空間進(jìn)行比對,結(jié)果繪制成如圖11所示的抓取實(shí)際空間位置曲面。采用基于局部形狀特征的相似算法將之與理論空間位置曲面(圖12)進(jìn)行相似性比較，其基本過程是根據(jù)曲面產(chǎn)生的參數(shù)域曲率云圖，在其中遍歷特征點(diǎn)，計(jì)算出各特征點(diǎn)的類shift算子，將該算子組成算子集合來表征該曲面，通過比較兩個(gè)集合的相似性來比較兩個(gè)曲面的相似度。采用Matlab程序計(jì)算出兩個(gè)曲面的偏差為7.3%，考慮到手爪張開夾緊的工作范圍這個(gè)偏差是滿足工作要求的。

在多個(gè)工件的分揀實(shí)驗(yàn)中，考慮到傳送過來的工件數(shù)目可能分布不均，分別嘗試了在來料奇偶不同個(gè)數(shù)情況下的抓取，抓取結(jié)果如表3所示。實(shí)驗(yàn)表明該基于機(jī)器視覺的分揀機(jī)械手工作穩(wěn)定可靠，定位準(zhǔn)確，可用在非精密小尺寸工件的分揀場合中，裝備于柔性自動化生產(chǎn)線中可提高其智能化及人際交互水平。

表3 抓取結(jié)果

實(shí)驗(yàn)序號零件個(gè)數(shù)抓取個(gè)數(shù)未爪個(gè)數(shù)1330255036604880510100

6 結(jié)語

本文研究了一種基于機(jī)器視覺的分揀機(jī)械手可應(yīng)

用于柔性制造生產(chǎn)線中，其中工業(yè)相機(jī)直接配置于機(jī)械手的定平臺上，提高了基于機(jī)器視覺分揀機(jī)械手的集成度。采用基于有序Hough變換的SQHT算法實(shí)現(xiàn)了機(jī)器視覺下的工件識別定位，研究表明這種算法較傳統(tǒng)的Hough算法能顯著提高工件識別定位的速度，增強(qiáng)其抗干擾能力。樣機(jī)實(shí)驗(yàn)表明，該機(jī)械手識別準(zhǔn)確可靠，穩(wěn)定性好，適合于一般小尺寸工件的分揀工作，能提高柔性制造生產(chǎn)線的智能化與自動化水平，具有較廣泛的應(yīng)用價(jià)值。

[1]齊偉,張秀如.基于PLC的柔性自動生產(chǎn)線實(shí)驗(yàn)仿真系統(tǒng)的平臺設(shè)計(jì)[J].制造業(yè)自動化,2011,33(12):96-98.

[2]段振華,吳張永,王慶輝,等.工業(yè)機(jī)器人自動分揀輸送線的研究[J]. 實(shí)驗(yàn)室研究與探索,2013,32(3):113-116.

[3]趙立輝,霍春寶,陳曉英.實(shí)驗(yàn)室自動分揀倉儲系統(tǒng)設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理,2013, 30(11):130-132,150.

[4]李紅英,王耀南.高速自動化生產(chǎn)線上機(jī)械手次瓶自動分揀系統(tǒng)研究[J]. 中國儀器儀表,2008(12):44-47.

[5]王攀峰,梅江平,陳恒軍,等.基于多并聯(lián)機(jī)械手的鋰離子電池自動分揀裝備控制系統(tǒng)設(shè)計(jì)[J]. 機(jī)械工程學(xué)報(bào),2007,43(11):63-68.

[6]謝俊,劉月,肖朝蓬,等.三自由度并聯(lián)物料振動分揀平臺機(jī)構(gòu)設(shè)計(jì)及運(yùn)動仿真[J].工程設(shè)計(jì)學(xué)報(bào), 2013,20(6): 501-506.

[7]李和平,陳育新.基于LabVIEW工業(yè)機(jī)器人自動分揀系統(tǒng)設(shè)計(jì)[J]. 機(jī)床與液壓,2015,43(9):90-93.

[8]王帥,徐方,陳亮,等.視覺技術(shù)在機(jī)器人零部件裝配中的應(yīng)用研究[J]. 組合機(jī)床與自動化加工技術(shù),2015(8):107-110.

[9]鄧小峰,姚睿,周翟和,等.工業(yè)自動化產(chǎn)品質(zhì)檢中機(jī)器視覺系統(tǒng)標(biāo)定方法研究[J].測控技術(shù),2014,33(3):144-147.

[10]付貴,李克天,李陽.基于機(jī)器視覺的導(dǎo)光板模具網(wǎng)點(diǎn)測量系統(tǒng)研究[J]. 制造技術(shù)與機(jī)床,2016(10):58-61.

[11]AO Djekoune, K Messaoudi, K Amara. Incremental circle hough transform: An improved method for circle detection [J]. OPTIK, 2017,133:17-31.

[12]葉峰,陳燦杰,賴乙宗,等.基于有序Hough變換的快速圓檢測算法[J].光學(xué)精密工程,2014,22(4):1105-1111.

[13]熊永康.三自由度并聯(lián)機(jī)器人軌跡規(guī)劃及其控制實(shí)現(xiàn)[D].大連:大連理工大學(xué),2014.

[14]Jiang XL,Gosselin C. Dynamic point-to-point trajectory planning of a three-DOF cable-suspended parallel robot [J]. IEEE Transactions on Robotics, 2016,32(6):1550-1557.