基于Python 工業(yè)機(jī)器人視覺(jué)檢測(cè)與抓取研究

向艷芳，潘躍亮，劉 苗*

（1 湖南工業(yè)職業(yè)技術(shù)學(xué)院，410208，湖南長(zhǎng)沙；2 復(fù)雜薄壁精密零件智能柔性加工技術(shù)湖南省工程研究中心，410208，湖南長(zhǎng)沙）

隨著國(guó)家智能制造政策出臺(tái)，作為智能制造關(guān)鍵設(shè)備的工業(yè)機(jī)器人高速發(fā)展，在眾多場(chǎng)合中應(yīng)用起來(lái)。利用視覺(jué)識(shí)別技術(shù)實(shí)現(xiàn)機(jī)器人動(dòng)態(tài)目標(biāo)檢測(cè)與智能抓取，一方面提高機(jī)器人環(huán)境感知能力，另一方面也為技術(shù)更新升級(jí)、新產(chǎn)品研發(fā)生產(chǎn)提供動(dòng)力[1-3]。

Python 作為開(kāi)源系統(tǒng)，可供用戶(hù)自由開(kāi)發(fā)，源代碼閱讀共享，利于交流學(xué)習(xí)。其結(jié)構(gòu)簡(jiǎn)單，容易上手，在數(shù)據(jù)處理、自動(dòng)化技術(shù)、人工智能、機(jī)器視覺(jué)等領(lǐng)域得到廣泛應(yīng)用。使用Python 軟件開(kāi)發(fā)包中的灰度算法、高斯濾波算法、Canny 邊緣檢測(cè)算法，實(shí)現(xiàn)圖像的預(yù)處理；利用最小二乘算法，計(jì)算工件的中心點(diǎn)，通過(guò)數(shù)據(jù)分析建立坐標(biāo)轉(zhuǎn)換矩陣，確定機(jī)器人抓取點(diǎn)位與圖像中心點(diǎn)位坐標(biāo)關(guān)系，為開(kāi)發(fā)和應(yīng)用工業(yè)機(jī)器人視覺(jué)目標(biāo)檢測(cè)技術(shù)提供參考[4]。

1 研究問(wèn)題

用于執(zhí)行任務(wù)的機(jī)器人是華中數(shù)控公司生產(chǎn)的6自由度關(guān)節(jié)HsRobot605 機(jī)器人，使用?？怂箍礛VCA060-10GC/HIKVISION 攝像頭來(lái)進(jìn)行樣圖采集，使用FQGH2-200X150-W 視覺(jué)光源增強(qiáng)光照效果。采用圓形柱狀物料作為抓取對(duì)象，物料經(jīng)傳送帶運(yùn)至視覺(jué)鏡頭下方，傳輸位置具有隨機(jī)性。

在Python 環(huán)境下使用OpenCV 工作空間，可視化機(jī)器人圖像檢測(cè)和識(shí)別目標(biāo)位置過(guò)程。系統(tǒng)工作過(guò)程主要包括基于Python 實(shí)現(xiàn)圖像處理、物料邊緣檢測(cè)、物體中心點(diǎn)計(jì)算、抓取坐標(biāo)確定，然后通過(guò)機(jī)器人示教編程完成隨機(jī)傳送物料的動(dòng)態(tài)抓取。

2 研究?jī)?nèi)容

2.1 圖像預(yù)處理

2.1.1 灰度算法 采用色彩空間轉(zhuǎn)換方法，將色彩鮮艷物料與單一背景區(qū)別開(kāi)。同時(shí)，原始圖像由RGB 三個(gè)通道數(shù)據(jù)反映每個(gè)像素點(diǎn)的狀態(tài)信息，增加運(yùn)算時(shí)長(zhǎng)。而灰度圖像的每個(gè)像素點(diǎn)僅由一個(gè)通道數(shù)值決定，足夠表達(dá)圖像的大部分特征。

利用Python 自帶OpenCV 庫(kù)函數(shù)CvtColor 實(shí)現(xiàn)圖像灰度化，原圖如圖1（a）所示，灰度化處理后如圖1（b）所示。CvtColor 是OpenCV 里的顏色空間轉(zhuǎn)換函數(shù)，實(shí)現(xiàn)RGB 顏色空間向HSV、HSI 等顏色空間的轉(zhuǎn)換，也可以將彩色圖像轉(zhuǎn)換為灰度圖像。該函數(shù)本質(zhì)上快速地使用RGB 三通道像素值加權(quán)求和，將導(dǎo)入的彩色圖片轉(zhuǎn)化為灰色圖片。

圖1 圖像預(yù)處理

式中：gray 為灰度化后的圖像名稱(chēng)，COLOR_BGR2GRAY 表示將image 圖像進(jìn)行灰度化處理。

2.1.2 高斯濾波算法 采集到的數(shù)字圖像存在干擾噪聲，影響后續(xù)圖像處理。本次采用高斯濾波算法抑制圖像噪聲，為圖像邊緣檢測(cè)作準(zhǔn)備。利用Python 高斯模糊函數(shù)GaussianBlur 去噪，通過(guò)對(duì)鄰域內(nèi)不同位置像素賦予不同權(quán)值方式，最大限度保留圖像的總體灰度分布特征，實(shí)現(xiàn)圖像平滑處理，如圖1（c）所示。

式中：src 為輸入圖像，即源圖像；dst 即目標(biāo)圖像，需要和源圖片有一樣的尺寸和類(lèi)型；ksize 為高斯內(nèi)核的大?。籹igmaX 表示高斯核函數(shù)在x 方向的標(biāo)準(zhǔn)偏差；sigmaY 表示高斯核函數(shù)在y 方向的標(biāo)準(zhǔn)偏差。

式中：gray 為灰度處理后圖像；（5，5）表示卷積矩陣為5*5；1.5 表示x 方向和y 方向標(biāo)準(zhǔn)差均為1.5。

2.1.3 邊緣檢測(cè)算法 邊緣檢測(cè)的目的是將數(shù)字圖像中亮度變化明顯的點(diǎn)標(biāo)識(shí)出來(lái)，如深度上的不連續(xù)點(diǎn)、顏色變化明顯點(diǎn)、物質(zhì)屬性變化點(diǎn)和場(chǎng)景照明變化點(diǎn)等[5]。

邊緣檢測(cè)任務(wù)中，選用Canny 算子進(jìn)行邊緣檢測(cè)。當(dāng)設(shè)置不同的閾值時(shí)，使用Canny 算子處理后產(chǎn)生一定的結(jié)果偏差。閾值的設(shè)置會(huì)對(duì)結(jié)果產(chǎn)生影響，對(duì)比效果如圖2 所示。

圖2 邊緣檢測(cè)效果對(duì)比

2.2 圖像中心點(diǎn)確定

本次選用最小二乘法求解確定圓形物料圓心和半徑，中心點(diǎn)確定問(wèn)題轉(zhuǎn)換為邊緣點(diǎn)到圓心（A，B）距離與半徑R 差值最小化問(wèn)題。

最小二乘法擬合圓曲線：R2=（x-A）2+（y-B）2，也即x2+y2+ax+by+c=0。

樣本集（xi，yi）點(diǎn)到圓心距離平方與半徑平方差為：

根據(jù)最小二乘法原理，構(gòu)建Q（a，b，c）=∑δi2，求參數(shù)a，b，c 使得Q（a，b，c）的值最小。利用偏導(dǎo)數(shù)等于0，得到極值點(diǎn)。

解得a，b，c 值即可得A，B，R 的估計(jì)擬合值。

在Python 編程中，使用matrix 函數(shù)構(gòu)建矩陣、inv對(duì)矩陣求逆、pow 開(kāi)方等數(shù)學(xué)運(yùn)算，確定圓心坐標(biāo)A 和B 及半徑R，處理效果如圖3 所示。

圖3 確定圓心坐標(biāo)

2.3 機(jī)器人抓取

2.3.1 圖像坐標(biāo)系與相機(jī)坐標(biāo)系 定義圖像平面坐標(biāo)系（u，v），以像素為單位。相機(jī)坐標(biāo)系以攝像機(jī)光心為原點(diǎn)，其所在平面坐標(biāo)系（x，y）；z 軸為攝像機(jī)光軸，與圖像平面垂直，用f 表示[6]。圖像坐標(biāo)系與相機(jī)坐標(biāo)系關(guān)系表示為：

式中：s 為常數(shù)；dx 和dy 為像素在x 軸和y 軸方向上的物理尺寸；M1為參數(shù)矩陣。2.3.2 相機(jī)坐標(biāo)系與機(jī)器人基坐標(biāo)系 機(jī)器人基坐標(biāo)系是以大地為參考的直角坐標(biāo)系，常為機(jī)器人的默認(rèn)坐標(biāo)系。工具坐標(biāo)系用來(lái)定義工具中心點(diǎn)位置和工具姿態(tài)坐標(biāo)系[7]。兩坐標(biāo)系關(guān)系如下：

式中：x1、y1、z1為工具坐標(biāo)系下坐標(biāo)值；xb、yb、zb為機(jī)器人基坐標(biāo)系下坐標(biāo)值；M2為機(jī)器人基坐標(biāo)系與相機(jī)坐標(biāo)系的變換矩陣。

機(jī)器人坐標(biāo)與相機(jī)坐標(biāo)關(guān)系如下：

式中：M3為相機(jī)坐標(biāo)系與工具坐標(biāo)系的變換矩陣。

2.3.3 圖像坐標(biāo)系與機(jī)器人基坐標(biāo)系 由公式1 和公式3 可得

其中：M 為圖像坐標(biāo)系與機(jī)器人基坐標(biāo)系之間的轉(zhuǎn)換矩陣。

2.3.4 坐標(biāo)轉(zhuǎn)換矩陣算法 從圖像坐標(biāo)系到機(jī)器人基坐標(biāo)系轉(zhuǎn)換矩陣M，通常包括平移矩陣關(guān)系（5）、縮放矩陣關(guān)系（6）和旋轉(zhuǎn)矩陣關(guān)系（7）[8]。

利用Python 中Solve 函數(shù)求解M 矩陣。本次隨機(jī)選用標(biāo)定的3 組數(shù)值建立視覺(jué)圖像和機(jī)器人基坐標(biāo)系的矩陣關(guān)系。

經(jīng)計(jì)算與驗(yàn)證可得轉(zhuǎn)換矩陣：

3 結(jié)果驗(yàn)證與結(jié)論

結(jié)合M 矩陣數(shù)據(jù)和擬合圖像圓心數(shù)據(jù)，（u，v）=（1586.1971，995.3053），根據(jù)（8）式代入可得機(jī)器人抓取坐標(biāo)（xb，yb）=（239.7052，-491.7815），該數(shù)據(jù)通過(guò)ModBus 協(xié)議發(fā)送至機(jī)器人笛卡兒坐標(biāo)LR 寄存器。機(jī)器人獲取機(jī)器人基坐標(biāo)系抓取點(diǎn)位數(shù)值，通過(guò)示教器示教與編程，實(shí)現(xiàn)機(jī)器人動(dòng)態(tài)智能抓取物料。經(jīng)3 組隨機(jī)樣本測(cè)試，計(jì)算結(jié)果偏差在0.5 mm 以?xún)?nèi)，機(jī)器人視覺(jué)識(shí)別和動(dòng)態(tài)抓取準(zhǔn)確性很高。

本文利用Python 環(huán)境，實(shí)現(xiàn)機(jī)器人視覺(jué)圖像識(shí)別，方便物料位置快速定位，通過(guò)HsRobot 機(jī)器人完成對(duì)象精準(zhǔn)抓取。可視化再現(xiàn)了機(jī)器人視覺(jué)檢測(cè)與抓取的過(guò)程，能夠快速跟蹤視覺(jué)失敗問(wèn)題及其原因，為機(jī)器視覺(jué)應(yīng)用方案提供一種參考。盡管該算法能夠正確識(shí)別和抓取形狀簡(jiǎn)單對(duì)象，但對(duì)于復(fù)雜形狀工件檢測(cè)與識(shí)別還在進(jìn)一步研究中，接下來(lái)研究工作主要包括檢測(cè)算法優(yōu)化及基于此的柔性控制方案的設(shè)計(jì)，最終實(shí)現(xiàn)對(duì)復(fù)雜對(duì)象的快速、精準(zhǔn)識(shí)別與抓取。