視覺(jué)引導(dǎo)的搬運(yùn)機(jī)器手位置測(cè)量研究*

劉文超,夏正喬,朱思斯,余 坤,吳慶華

(湖北工業(yè)大學(xué)機(jī)械工程學(xué)院現(xiàn)代制造質(zhì)量工程湖北省重點(diǎn)實(shí)驗(yàn)室,武漢430068)

汽車保險(xiǎn)杠作為汽車結(jié)構(gòu)的重要組成部分,在傳統(tǒng)的生產(chǎn)工藝中,主要是靠人工取放和搬運(yùn),這種人工工位成本高、耗時(shí)長(zhǎng)、效率低,因此急需一種高效的汽車保險(xiǎn)杠抓取方法?，F(xiàn)在的保險(xiǎn)杠主要以PP(聚乙烯)為原材料,后加入一定比例的彈性材料、無(wú)機(jī)填料、助劑、色料等經(jīng)過(guò)混煉加工而成[1],具有良好的光澤度和彈性,在托架上擺放時(shí)具有一定柔性變形特點(diǎn)。在智能化機(jī)械搬運(yùn)中,對(duì)保險(xiǎn)杠最佳抓取點(diǎn)的識(shí)別跟蹤是成功抓取的關(guān)鍵。傳統(tǒng)的雙目或者多目測(cè)量方法,標(biāo)定復(fù)雜,測(cè)量精度較低[2]。本文提出的引入視覺(jué)引導(dǎo)的搬運(yùn)機(jī)器人,通過(guò)視覺(jué)測(cè)量確定保險(xiǎn)杠的最佳抓取點(diǎn),引導(dǎo)機(jī)械手臂準(zhǔn)確抓取。與復(fù)雜繁瑣的機(jī)械抓取裝置相比,視覺(jué)引導(dǎo)搬運(yùn)機(jī)器人具有設(shè)備簡(jiǎn)單,空間占有率小,識(shí)別精度高等特點(diǎn)。激光視覺(jué)測(cè)量技術(shù)是一種利用可控光源的圖像測(cè)量技術(shù)[3-14],本質(zhì)屬于三角測(cè)量方法,其原理如圖1所示。測(cè)量系統(tǒng)由計(jì)算機(jī)、垂直方向投射的線激光投射器和與豎直方向成一定夾角的CCD相機(jī)組成。線結(jié)構(gòu)光投射在被測(cè)保險(xiǎn)杠表面,形成一個(gè)或者多個(gè)結(jié)構(gòu)光光條,光條成像于CCD相機(jī)像平面。

圖1 激光視覺(jué)測(cè)量原理圖

1 激光光條中心點(diǎn)識(shí)別算法

本文采取的激光光條中心點(diǎn)識(shí)別算法流程如圖2 所示。

圖2 激光光條中心點(diǎn)識(shí)別算法流程圖

由于汽車保險(xiǎn)杠彎曲的表面形貌,所以激光光條的形狀也不盡相同。當(dāng)激光投射在有連續(xù)高度變化的曲面上時(shí),圖像中會(huì)呈現(xiàn)出彎曲變化光條;而激光投射在連續(xù)同一高度平面上時(shí),會(huì)呈現(xiàn)豎直方向的光條。如圖3為現(xiàn)場(chǎng)激光投射在3種不同類型保險(xiǎn)杠表面的情況。

圖3 激光投射在不同類型保險(xiǎn)杠上光條情況

在選擇抓取區(qū)域時(shí),應(yīng)優(yōu)先選擇豎直方向的光條識(shí)別中心點(diǎn)作為機(jī)械手臂抓取點(diǎn)。當(dāng)圖像中激光光條處于同一個(gè)連通區(qū)域且具有不同程度的彎曲現(xiàn)象時(shí),對(duì)于識(shí)別效果的準(zhǔn)確性有一定影響。本文提出的算法利用形態(tài)學(xué)膨脹和開(kāi)運(yùn)算將豎直方向光條和彎曲的光條斷開(kāi),提高識(shí)別方法的精度。

Blob分析是對(duì)圖像中相同像素的連通域進(jìn)行分析[15]。Blob分析是一種對(duì)閉合目標(biāo)形狀進(jìn)行分析處理的基本方法,其核心是連通區(qū)域檢測(cè)算法,可提供圖像中的斑點(diǎn)的數(shù)量、位置、形狀和方向等信息,還可以提供相關(guān)斑點(diǎn)間的拓?fù)浣Y(jié)構(gòu)。所以在進(jìn)行Blob分析以前,必須把圖像分割為構(gòu)成斑點(diǎn)和局部背景的像素集合。由于光條與背景灰度值不同,可以采用閾值分割法。閾值分割法定義為:

S={(r,c)∈R|gmin≤f(r,c)≤gmax}

閾值分割將圖像f(r,c)中灰度介于gmin和gmax范圍內(nèi)點(diǎn)的集合作為輸出區(qū)域S。

在激光光條的位置確定后,對(duì)光條擬合最小外接矩,篩選出合適長(zhǎng)寬比S的矩形:

S=L/W

式中:L為擬合矩形的水平方向長(zhǎng),W為擬合矩形的豎直方向?qū)?長(zhǎng)寬比S會(huì)隨著寬度W的增大而減小。3類保險(xiǎn)杠中心點(diǎn)識(shí)別結(jié)果如圖4所示。

圖4 識(shí)別3類保險(xiǎn)杠光條中心點(diǎn)

2 透視變換校準(zhǔn)和高度標(biāo)定

2.1 透視變換

圖5 測(cè)量模型坐標(biāo)透視變換原理

2.2 透視變換校準(zhǔn)

二維圖像透視變換,可以看成三維物體向二維圖像透視投影的特殊形式,如圖6所示,為透視畸變的棋盤(pán)格圖像。將一個(gè)二維圖像經(jīng)過(guò)透視變換變成另外一個(gè)平面圖像,這個(gè)過(guò)程可以表示為:

式中:(x,y)為原始畸變圖像的像素坐標(biāo),(u,v)是矯正之后圖像像素坐標(biāo),a,b,c,d,e,f,m,l是透視變換中的若干參數(shù)。

圖6 原始棋盤(pán)格圖像

首先用Hough變換提取出棋盤(pán)格圖像的角點(diǎn)坐標(biāo)和實(shí)際坐標(biāo)[17],作為透視參數(shù)的已知量,如圖7所示提取的棋盤(pán)格交點(diǎn)信息。隨意取4個(gè)交點(diǎn)坐標(biāo),共8個(gè)參數(shù)進(jìn)行透視變換計(jì)算,其過(guò)程可以用下式表示:

記為:

UV=AM

因此,

M=A-1UV

圖7 棋盤(pán)格角點(diǎn)提取圖像

通過(guò)解出的透視變換參數(shù)對(duì)原始透視棋盤(pán)格圖像進(jìn)行矯正,矯正后的平面圖像如圖8所示,棋盤(pán)格方格數(shù)為19×19,每格代表的實(shí)際距離為20 mm(精度±4 μm)。透視變換矯正后得到變換參數(shù)信息,代入點(diǎn)P(x,y)坐標(biāo)值,計(jì)算得到點(diǎn)P相對(duì)參考點(diǎn)在圖像x軸方向?qū)嶋H偏移距離D(mm)。

圖8 矯正后棋盤(pán)格圖像

圖9 高度標(biāo)定圖像處理前后

2.3 高度標(biāo)定

高度標(biāo)定實(shí)驗(yàn)中,用長(zhǎng)寬高為200 mm×10 mm×200 mm臺(tái)階形狀的高度標(biāo)定板,每個(gè)臺(tái)階平面高度差為10 mm。通過(guò)調(diào)整標(biāo)定板位置,使激光光束能夠投射在每個(gè)高度臺(tái)階平面上,圖片經(jīng)過(guò)處理后如圖9所示效果。識(shí)別出每個(gè)高度平面激光條點(diǎn)中心點(diǎn)坐標(biāo)值Ph(x,y),相鄰中心點(diǎn)Ph在Y坐標(biāo)方向上的像素距離Δy為:

Δyn=yn-yn-1

式中:1≤n≤19。由于Δyn代表實(shí)際臺(tái)階高度10 mm,所以,可以得到標(biāo)定系數(shù)K(mm/單位像素),

Kn=10/Δyn

高度標(biāo)定數(shù)據(jù)如表1所示,其中斑點(diǎn)編號(hào)為0的點(diǎn)所在平面,作為參考基準(zhǔn)面,高度值記為H0。根據(jù)表1中Y值,確定識(shí)別點(diǎn)P(x,y)中y坐標(biāo)值范圍的上限值Y2和下限Y1值,其中,Y1值對(duì)應(yīng)的標(biāo)定系數(shù)為K1,Y2值對(duì)應(yīng)的標(biāo)定系數(shù)為K2。

表1 高度標(biāo)定實(shí)驗(yàn)數(shù)據(jù)

利用差值方法[18],求出點(diǎn)PB對(duì)應(yīng)的標(biāo)定系數(shù)KB值:

計(jì)算得到高度H:

H=yKB+H0

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中面陣CCD相機(jī)由康耐視公司生產(chǎn),型號(hào)1403-11,像素200萬(wàn),分辨率1 600×1 200,圖像長(zhǎng)寬比4∶3,采用千兆網(wǎng)口傳輸圖像數(shù)據(jù);相機(jī)鏡頭由日本Computar公司生產(chǎn),手動(dòng)光圈,焦距f=12 mm,視場(chǎng)角(D×H×V=49.2°×40.4°×30.8°),鏡頭分辨率100 lp/mm,變形率小于-0.1%;實(shí)驗(yàn)工作距離1 050 mm,相機(jī)曝光時(shí)間設(shè)為80 ms,增益55。本文算法識(shí)別出三類保險(xiǎn)杠檢測(cè)樣本激光光條中心點(diǎn)坐標(biāo),結(jié)合標(biāo)定實(shí)驗(yàn)結(jié)果計(jì)算得到如表2所示實(shí)驗(yàn)數(shù)據(jù),A、B、C 3種型號(hào)保險(xiǎn)杠,經(jīng)過(guò)圖像處理識(shí)別出中心點(diǎn)P(x,y)位置,進(jìn)而計(jì)算得到中心點(diǎn)相對(duì)參考位置所代表的沿圖像x軸方向的實(shí)際偏移距離D(mm)和實(shí)際高度H(mm),以及算術(shù)平均值E和標(biāo)準(zhǔn)差σ。計(jì)算測(cè)量值與實(shí)際值誤差情況,如圖10所示。

圖10 三類保險(xiǎn)杠測(cè)量偏差情況

從圖10中可以看出,A、B、C 3種類型保險(xiǎn)杠測(cè)量值在沿x軸方向的偏移D和高度H,與實(shí)際值的偏差值在±3 mm范圍內(nèi)。存在誤差的原因與激光線條的粗細(xì),現(xiàn)場(chǎng)保險(xiǎn)杠在托架上隨機(jī)擺放位置有關(guān)。因此,本文提出的基于激光視覺(jué)的系統(tǒng)的測(cè)量誤差較小(小于±3 mm),穩(wěn)定性好,能夠滿足工業(yè)現(xiàn)場(chǎng)要求。

4 結(jié)論

①本文針對(duì)汽車保險(xiǎn)杠提出一種激光光條中心點(diǎn)識(shí)別算法識(shí)別出最佳抓取點(diǎn),并利用透視變換原理對(duì)抓取點(diǎn)進(jìn)行矯正,結(jié)合像素標(biāo)定結(jié)果得到抓取點(diǎn)相對(duì)參考點(diǎn)的流水線方向偏移距離和相對(duì)高度參考點(diǎn)的高度信息。實(shí)驗(yàn)結(jié)果表明,該方法穩(wěn)定性能好,測(cè)量精度高,可以代替人工實(shí)現(xiàn)引導(dǎo)機(jī)械手臂抓取汽車保險(xiǎn)杠的目的,滿足工業(yè)現(xiàn)場(chǎng)要求。

②本文為搬運(yùn)機(jī)械手提供一種自動(dòng)引導(dǎo)的方法,可為視覺(jué)引導(dǎo)其他類似機(jī)械手提供方法參考。