花生傳送帶作業(yè)精準(zhǔn)定位方法研究

谷林峰 李 亞 丁彥玉 孫 科

(1. 天津市輕工與食品工程機(jī)械裝備集成設(shè)計(jì)與在線監(jiān)控重點(diǎn)實(shí)驗(yàn)室，天津 300222；2. 天津科技大學(xué)機(jī)械工程學(xué)院，天津 300222)

目前，花生批量分揀生產(chǎn)線主要依賴于人眼識(shí)別缺陷，人工挑揀次品、分裝成品，勞動(dòng)成本大，誤檢率高，且抗疲勞能力差。近年來(lái)，機(jī)器視覺技術(shù)[1-2]被逐漸應(yīng)用于農(nóng)作物流水生產(chǎn)線的自動(dòng)分揀工作[3-4]，生產(chǎn)效率大幅提升。實(shí)踐中，固有傳送帶生產(chǎn)線利用單目視覺引導(dǎo)機(jī)器人進(jìn)行抓取的操作最為普遍，其核心問題是需要現(xiàn)場(chǎng)完成攝像機(jī)標(biāo)定和手眼標(biāo)定過(guò)程[5]。多數(shù)基于傳送帶的標(biāo)定方法[6-7]都忽略了目標(biāo)的重心高度信息，并不適用于花生等立體目標(biāo)的定位分揀過(guò)程。利用場(chǎng)景特征[8]和結(jié)構(gòu)光平面[9]等獲取立體定位信息的手眼標(biāo)定方法，但其三維信息的求解過(guò)程較復(fù)雜，難以在手眼無(wú)重合工作空間的現(xiàn)場(chǎng)環(huán)境下實(shí)施。

文章以揀選大批量花生的典型傳送帶生產(chǎn)線為對(duì)象，根據(jù)花生的分揀要求，擬提出一種能在現(xiàn)場(chǎng)簡(jiǎn)便操作的標(biāo)定方法，并根據(jù)花生形態(tài)(圖1)作出重心定位補(bǔ)償。利用自制的高精度標(biāo)定塊，并使用與其過(guò)渡配合的標(biāo)定針，引導(dǎo)機(jī)器人手臂末端插入指定標(biāo)定孔，求取攝像機(jī)與機(jī)器人坐標(biāo)系的位姿轉(zhuǎn)換關(guān)系，避免傳統(tǒng)方法以肉眼判別接觸點(diǎn)的誤差影響；針對(duì)不同大小的油炸花生分揀高度不一致的問題，建立關(guān)于花生圖像輪廓與花生高度變化的關(guān)系模型[10-11]，以傳送帶為基準(zhǔn)面對(duì)每顆花生進(jìn)行高度補(bǔ)償，避免單一平面標(biāo)定對(duì)花生定位精度的影響，提高其對(duì)立體目標(biāo)的定位抓取精度，旨在為基于傳送帶作業(yè)的目標(biāo)三維定位提供一種求解思路和方法。

圖1 花生形態(tài)

1 系統(tǒng)組成

現(xiàn)場(chǎng)標(biāo)定系統(tǒng)(圖2)由工業(yè)級(jí)CMOS面陣相機(jī)、E6B2-C增量式旋轉(zhuǎn)編碼器、低角度條形光源、傳送帶模塊、TS6-600四自由度SCARA機(jī)器人等組成，單目相機(jī)固定在上料端正上方，傳送帶輸送待分揀花生到達(dá)機(jī)器人工作區(qū)域，進(jìn)行分揀操作，部分系統(tǒng)根據(jù)產(chǎn)量要求，添加多臺(tái)機(jī)器人對(duì)應(yīng)一個(gè)視覺模塊，協(xié)調(diào)運(yùn)作。

2 標(biāo)定原理

油炸花生流水線生產(chǎn)中，相機(jī)與機(jī)器人之間無(wú)重合工作空間，固定單目相機(jī)與遠(yuǎn)端機(jī)器人的標(biāo)定[12]是通過(guò)標(biāo)定塊在傳送帶上移動(dòng)前后的位置照片和編碼器讀數(shù)計(jì)算對(duì)應(yīng)移動(dòng)距離，工具坐標(biāo)系末端多次觸碰參考物指定點(diǎn)，求解出機(jī)器人與傳送帶的旋轉(zhuǎn)平移關(guān)系，標(biāo)定一旦完成，各部分位置關(guān)系將固定不變。

2.1 建立坐標(biāo)系

為更好地描述各坐標(biāo)系之間的相對(duì)位置關(guān)系，傳送帶坐標(biāo)系Ow-XwYwZw、相機(jī)坐標(biāo)系Oc-XcYcZc與機(jī)器人坐標(biāo)系OB-XBYBZB如圖3所示。

2.2 成像幾何關(guān)系

根據(jù)透視投影關(guān)系，從傳送帶坐標(biāo)系轉(zhuǎn)換至像素坐標(biāo)系的過(guò)程屬于三維坐標(biāo)轉(zhuǎn)二維坐標(biāo)，根據(jù)Zhang[13]提出的平面標(biāo)定方法，計(jì)算攝像機(jī)內(nèi)部參數(shù)。設(shè)傳送帶坐標(biāo)系點(diǎn)Pw(Xw,Yw,Zw)投影至像素坐標(biāo)點(diǎn)p(μ,υ)，暫不考慮Zw高度信息，以矩陣形式表示：

1. 光源 2. 標(biāo)定板 3. 相機(jī) 4. 機(jī)器人 5. 編碼器 6. 傳送帶

圖3 坐標(biāo)系的建立

(1)

式中：

α——比例因子；

fμ、fυ——μ、ν軸的比例因子；

β——μ、ν軸的傾斜程度；

(μ0、υ0)——圖像主點(diǎn)在像素坐標(biāo)系下的坐標(biāo)位置；

R、T——旋轉(zhuǎn)平移矩陣。

2.3 改進(jìn)剛性變換矩陣

傳送帶坐標(biāo)系與機(jī)器人坐標(biāo)系之間的變化可看作剛性變換，空間位置點(diǎn)P相對(duì)于傳送帶坐標(biāo)系的描述為PW，轉(zhuǎn)換成該點(diǎn)相對(duì)于機(jī)器人坐標(biāo)系的描述PB表述為：

(2)

式中：

(3)

根據(jù)旋轉(zhuǎn)平移關(guān)系得：

(4)

式中：

γ——兩平面坐標(biāo)系X軸之間的夾角；

Tx、Ty——傳送帶坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系的X、Y方向平移量。

2.4 優(yōu)化過(guò)程

3 圖像處理過(guò)程

因大小不同的花生重心高度不一致，且花生外形近似橢圓體，僅靠傳送帶水平面的二維平面位置信息不適用于花生的分揀過(guò)程，只有在平面標(biāo)定后進(jìn)行橢圓擬合算法提取花生輪廓，將花生重心高度補(bǔ)償給機(jī)器人分揀位置，才能提高分揀精度。

3.1 圖像預(yù)處理

為了更清晰地顯示花生的輪廓信息，按照一定的變換關(guān)系，將采集到的花生圖像轉(zhuǎn)化為灰度圖像， 運(yùn)用Blob分析法對(duì)圖像進(jìn)行二值化，圖像分割得到前景和背景，連通域提取得到ROI區(qū)域(圖4)。

3.2 花生輪廓提取

為了后續(xù)圖像處理中更準(zhǔn)確地進(jìn)行輪廓橢圓擬合，計(jì)算出花生的重心位置，首先需要獲取花生的邊緣軌跡?；诨ㄉA(yù)處理后的二值化圖像，在花生邊緣的法線方向會(huì)呈現(xiàn)斷層式的灰度變化，對(duì)二值化圖像進(jìn)行逐行逐列掃描，選取適合的閾值σ，記錄掃描過(guò)程中前后灰度變化Δ，若Δ>σ，記錄該像素點(diǎn)，否則舍棄，最終求得所有點(diǎn)的集為花生邊緣輪廓(圖5)。

3.3 橢圓擬合

根據(jù)Fitzgibbon等[14]提出的運(yùn)用直接最小二乘法，對(duì)輪廓至少6個(gè)擬合點(diǎn)進(jìn)行橢圓輪廓擬合，一般圓錐曲線表示為：

ax2+bxy+cy2+dx+ey+f=0。

(5)

假設(shè)提取的輪廓點(diǎn)為(xi,yi)，建立函數(shù)F(a,b,c,d,e,f)為輪廓點(diǎn)與預(yù)期的橢圓曲線的代數(shù)距離，最小化代數(shù)距離函數(shù)，并添加約束條件4ac-b2=1，防止擬合輪廓為拋物線或雙曲線，最終得橢圓輪廓(圖6)。

3.4 重心位置校正

圖4 圖像預(yù)處理

圖5 花生輪廓曲線

圖6 花生輪廓橢圓擬合

(6)

式中：

K——徑向畸變量級(jí)(決定圖像畸變程度)。

3.5 生成高度信息

取傳送帶平面的兩點(diǎn)實(shí)際距離為L(zhǎng)，采集圖像平面上點(diǎn)p1(μ1,υ1)、p2(μ2,υ2)，即傳送帶平面的實(shí)際距離與圖像像素距離之間存在映射因子Fac：

(7)

因花生呈長(zhǎng)橢圓體，在傳送帶上運(yùn)輸時(shí)橢圓長(zhǎng)半軸R近似平行于傳送帶平面，通過(guò)映射因子取像素坐標(biāo)系中橢圓短半軸r計(jì)算花生實(shí)際輪廓寬度(見圖7)。以傳送帶平面為基準(zhǔn)，可將花生重心高度補(bǔ)償至機(jī)器人定位信息中。

4 標(biāo)定過(guò)程及試驗(yàn)分析

為了提高平面標(biāo)定精度，針對(duì)生產(chǎn)線手眼安裝位置，設(shè)計(jì)適合于現(xiàn)場(chǎng)操作、簡(jiǎn)便易攜的“9+2”高精度標(biāo)定塊，呈3×3矩陣排列的9孔為高精度孔，其余2孔為定位孔，并使用能與其過(guò)渡配合的標(biāo)定針(圖8)。

4.1 相機(jī)與傳送帶標(biāo)定

標(biāo)定過(guò)程中，緩慢轉(zhuǎn)動(dòng)傳送帶使固定標(biāo)定板依次在圖9的視野前部P1、中部P2、后部P3采集圖像，提取P1、P2、P3位置點(diǎn)坐標(biāo)，記為(μ1,υ1)、(μ2,υ2)、(μ3,υ3)。

圖7 花生高度信息

圖8 “9+2”標(biāo)定塊和標(biāo)定針

建立傳送帶坐標(biāo)系，以P3點(diǎn)為原點(diǎn)，X軸正方向?yàn)閭魉蛶н\(yùn)動(dòng)方向，利用坐標(biāo)點(diǎn)反正切函數(shù)可求取像素坐標(biāo)系與傳送帶坐標(biāo)系繞Z軸夾角γ：

(8)

4.2 傳送帶與機(jī)器人標(biāo)定

使編碼器讀數(shù)歸零，勻速轉(zhuǎn)動(dòng)傳送帶使標(biāo)定板從P3位置移動(dòng)至機(jī)器人工作區(qū)域位置P4(見圖10)。

為避免機(jī)器人末端接觸指定點(diǎn)的誤差干擾，利用標(biāo)定針引導(dǎo)機(jī)器人末端準(zhǔn)確地進(jìn)入標(biāo)定孔，讀取機(jī)器人坐標(biāo)和編碼器讀數(shù)。移動(dòng)至后部P5，記錄P4至P5的移動(dòng)距離，求出傳送帶坐標(biāo)系與機(jī)器人基坐標(biāo)系的轉(zhuǎn)換關(guān)系。標(biāo)定多個(gè)機(jī)器人時(shí)，需重新從P3位置進(jìn)行標(biāo)定，重復(fù)以上操作，減小累積誤差。

4.3 試驗(yàn)分析

利用文中介紹的標(biāo)定方法，圖像采集過(guò)程如圖11所示。通過(guò)標(biāo)定試驗(yàn)，映射因子為0.128 mm/pix。

手眼轉(zhuǎn)換矩陣為：

圖9 相機(jī)視野與傳送帶平面關(guān)系

為準(zhǔn)確地評(píng)價(jià)該方法的標(biāo)定精度，取10顆大小不等花生分別固定于傳送帶上，在相機(jī)視野下進(jìn)行拍照，勻速轉(zhuǎn)動(dòng)傳送帶至機(jī)器人工作區(qū)間內(nèi)，計(jì)算得出機(jī)器人坐標(biāo)系下的坐標(biāo)位置與標(biāo)定孔的實(shí)際坐標(biāo)位置，進(jìn)行10次重復(fù)試驗(yàn)。由表1可知，試驗(yàn)標(biāo)定方法最大偏差為0.93 mm，理論點(diǎn)與實(shí)際點(diǎn)的歐氏距離平均值為0.46 mm，遠(yuǎn)高于傳統(tǒng)手眼標(biāo)定精度。

取100粒大小不等的花生進(jìn)行有無(wú)高度補(bǔ)償對(duì)比抓取試驗(yàn)，記錄機(jī)器人抓取成功率。試驗(yàn)表明系統(tǒng)平面重復(fù)定位誤差可控制在±1 mm，添加高度補(bǔ)償值后，抓取成功率由87%提高至97%，能夠滿足傳送帶分揀要求。

圖10 機(jī)器人工作區(qū)域與傳送帶平面關(guān)系

圖11 標(biāo)定過(guò)程圖像采集

表1 標(biāo)定試驗(yàn)數(shù)據(jù)

微小誤差可能來(lái)源：傳送帶傳輸過(guò)程中不穩(wěn)定，出現(xiàn)左右擺動(dòng)問題；花生傳輸過(guò)程中與傳送帶發(fā)生相對(duì)滑動(dòng)；編碼器脈沖讀數(shù)不準(zhǔn)確，導(dǎo)致傳輸方向誤差；通訊模式有延遲等問題。

5 結(jié)論

根據(jù)花生生產(chǎn)線現(xiàn)場(chǎng)操作條件，改進(jìn)了傳統(tǒng)手眼標(biāo)定方法，利用專門定制的“9+2”標(biāo)定塊進(jìn)行平面標(biāo)定，并對(duì)花生處理提取輪廓信息，進(jìn)行重心高度補(bǔ)償。結(jié)果表明，該標(biāo)定方法便于在生產(chǎn)現(xiàn)場(chǎng)實(shí)際操作，降低了傳統(tǒng)手眼標(biāo)定矩陣求解難度，可滿足基于傳送帶作業(yè)的機(jī)器人分揀精度要求。但對(duì)于相機(jī)、傳送帶平整度及安裝精度要求較高的，需后期對(duì)此方面問題繼續(xù)探索，使之得到廣泛應(yīng)用。