機(jī)械手視覺系統(tǒng)的非均勻標(biāo)定法研究

田浩辰，張銀龍，趙海文，劉玉鑫，劉 聰

（河北工業(yè)大學(xué)　機(jī)械工程學(xué)院，天津 300130）

?

機(jī)械手視覺系統(tǒng)的非均勻標(biāo)定法研究

田浩辰，張銀龍，趙海文，劉玉鑫，劉 聰

（河北工業(yè)大學(xué)機(jī)械工程學(xué)院，天津 300130）

摘 要：針對惡劣工況下機(jī)械手視覺識別能力差的現(xiàn)狀，以履帶輪自動回火上下料生產(chǎn)線為例，提出了一種局部線性化的像機(jī)標(biāo)定算法，對探頭的工作原理進(jìn)行分析，采用基于粗定位和精確定位兩步走的算法，實(shí)現(xiàn)了對工件圖像坐標(biāo)下圓心位置的提取，將整個控制系統(tǒng)的算法以方框圖的形式給出，完成了控制系統(tǒng)軟件設(shè)計(jì)，為視覺定位系統(tǒng)提供新的思路。

關(guān)鍵詞：智能化生產(chǎn)線；視覺系統(tǒng)；標(biāo)定；機(jī)械手

0　引言

組成現(xiàn)代工程機(jī)械的很多必須零件，在加工之前必須經(jīng)過淬火和回火處理。為了減少淬火和回火的準(zhǔn)備時間，提高整個熱處理加工過程的效率，同時保障在此惡劣工作環(huán)境中工人的人身安全，提高生產(chǎn)安全系數(shù)，很多企業(yè)都希望引進(jìn)自動化設(shè)備。在自動化生產(chǎn)線中，對于物料的運(yùn)輸，工件的搬運(yùn)，零件的裝配，車體的焊接，機(jī)械手都得到了廣泛的應(yīng)用。為了增強(qiáng)機(jī)械手的靈活性和通用性，各類傳感器被應(yīng)用到機(jī)械手。其中將視覺傳感器應(yīng)用到機(jī)械手之中，能夠輔助機(jī)械手獲取大量的數(shù)據(jù)信息，方便對各種形狀、規(guī)格的工件進(jìn)行識別與定位，提高物料運(yùn)輸效率。

雖然視覺傳感器應(yīng)用比較廣泛，但其仍然存在很多問題，尤其在復(fù)雜環(huán)境下，如何提高視覺系統(tǒng)的魯棒性顯得十分重要。本文以履帶輪自動回火上下料生產(chǎn)線中的機(jī)械手為例，提出了一種利用基于“智能視覺+手爪末端探頭”的機(jī)器人視覺標(biāo)定方法，不需要標(biāo)定板等工具，直接借助工件完成對視覺系統(tǒng)的標(biāo)定，隨著工件搬運(yùn)數(shù)量的增多，標(biāo)定的精度越來越高，具有反饋位置信息的手爪探頭使用，克服了以往標(biāo)定板標(biāo)定過程不適于工業(yè)現(xiàn)場的特點(diǎn)，以及自標(biāo)定方法魯棒性差的特點(diǎn)，保證了在視覺精度不變的條件下，整個系統(tǒng)定位精度的提高。

1　像機(jī)線性成像模型及其存在的畸變誤差

像機(jī)線性模型即小孔成像模型，引起視覺系統(tǒng)圖像畸變的因素可分為透視誤差和鏡頭畸變誤差。

為了減少誤差，通常的做法是選擇或制作事先確定好尺寸的標(biāo)定板，包括圓點(diǎn)校正標(biāo)定板、棋盤格校正標(biāo)定板等。然而像機(jī)的畸變量在像平面上并非均勻的，隨著偏離軸線的位置的增大而增大，而標(biāo)定板標(biāo)定的方式對于整個視野中的點(diǎn)的精度是相同的，這就將導(dǎo)致標(biāo)定完的效果為：離光軸比較近的區(qū)域標(biāo)定精度高，離光軸比較遠(yuǎn)的區(qū)域標(biāo)定精度低。由此，我們需要尋求一種精度更高的標(biāo)定方法。

2　局部線性化的標(biāo)定方法

根據(jù)履帶輪自動上下料生產(chǎn)線視覺定位系統(tǒng)的特點(diǎn)我們發(fā)現(xiàn)，不檢測圖像的深度信息，只獲取二維平面的數(shù)據(jù)信息并建立起二維工件平面與二維圖像平面的映射關(guān)系，可以簡化標(biāo)定工作。首先在線性模型下建立映射關(guān)系，如圖1所示。

圖1　成像模型

在不考慮深度信息的條件下，根據(jù)圖1所示的線性模型，可得到簡化的空間任意點(diǎn)p在世界坐標(biāo)系下的齊次坐標(biāo)pw（xwywzw1）T和像素坐標(biāo)系下的齊次坐標(biāo)PP（uν 1）T之間的關(guān)系，待測平面上各點(diǎn)的坐標(biāo)可以與圖像平面上相應(yīng)點(diǎn)的坐標(biāo)用線性組合的形式表示為：

其中，wi為世界坐標(biāo)系下，待測平面上的特征點(diǎn)，其齊次坐標(biāo)為（xwiywi1）T；pi為圖像坐標(biāo)系下，圖像平面上對應(yīng)的特征點(diǎn)，其齊次坐標(biāo)為（uivi1）T；M是在wi和pi之間建立的回歸參數(shù)型矩陣，階數(shù)為3×3。

為了確定M矩陣中的參數(shù)，需要至少確定待測平面上個點(diǎn)的世界坐標(biāo)值與其對應(yīng)的像素坐標(biāo)值，再利用最小二乘法便可求出矩陣M。

W是已知標(biāo)定點(diǎn)在世界坐標(biāo)下的坐標(biāo)組成矩陣，若標(biāo)定點(diǎn)個數(shù)為n，則矩陣W為3×n階；P是已知標(biāo)定點(diǎn)在圖像坐標(biāo)下的坐標(biāo)組成矩陣，若標(biāo)定點(diǎn)個數(shù)為n，則矩陣P為3×n階。

該方法同樣是建立在線性成像模型的基礎(chǔ)上的，由于像機(jī)自身存在各種畸變，因此用該模型去測量也必定會存在誤差。

對于履帶輪自動上下料生產(chǎn)線系統(tǒng)，由于工件筐的限制，工件的圓心將會分布在整個世界坐標(biāo)系中幾個相對有限的小區(qū)域內(nèi)，相應(yīng)的圖像坐標(biāo)點(diǎn)也將分布在圖像坐標(biāo)的幾個有限的小區(qū)域內(nèi)，如圖2所示。本視覺標(biāo)定系統(tǒng)中，更關(guān)心的是各個圓心坐標(biāo)所在的鄰域內(nèi)的標(biāo)定精度，而領(lǐng)域以外的其他區(qū)域的視覺定位精度對整個視覺系統(tǒng)的精度影響不大。根據(jù)工件分布特點(diǎn)，本文采用不均勻分配的特征點(diǎn)對視覺系統(tǒng)進(jìn)行標(biāo)定，工件出現(xiàn)概率大的區(qū)域標(biāo)定點(diǎn)密度高，工件出現(xiàn)概率小的區(qū)域標(biāo)定點(diǎn)密度低。

圖2　工件圓心坐標(biāo)分布

圖中各個工件的圓心坐標(biāo)在世界坐標(biāo)系下組成的矩陣為：

其中wi，j=（xwi，j， ywi，j，0）T為各個履帶輪的圓心在世界坐標(biāo)系下的坐標(biāo)值。對應(yīng)的各個圓心坐標(biāo)在圖像坐標(biāo)系下的坐標(biāo)值組成的矩陣為：

其中pi，j=（uwi，j，vwi，j）T為各個履帶輪的圓心在圖像坐標(biāo)系下的坐標(biāo)值。

首先確定工件圓心所在的鄰域，其次選取與待測點(diǎn)相鄰的四個點(diǎn)組成一個插值單元，用最小二乘法便可求出回歸矩陣M，在根據(jù)圖像成像簡化模型便可求出該點(diǎn)在世界坐標(biāo)下的坐標(biāo)值。采用局部線性插值時，四個插值點(diǎn)所覆蓋的面積越小，標(biāo)定的結(jié)果越精確。

在工業(yè)現(xiàn)場，首先通過機(jī)械手各個坐標(biāo)軸上的磁柵尺和末端手爪探頭傳感器獲取工件在機(jī)械手坐標(biāo)系即世界坐標(biāo)系下的坐標(biāo)值，再由智能視覺系統(tǒng)通過圖像處理獲取工件在圖像坐標(biāo)系下的圓心坐標(biāo)值，利用這些可靠的數(shù)據(jù)點(diǎn)分別建立矩陣W和矩陣P。待由機(jī)械手末端的探頭檢測標(biāo)定精度，若該測量點(diǎn)精度足夠，則該點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)將會被作為有效數(shù)據(jù)插入到圓心的世界坐標(biāo)矩陣和圖像坐標(biāo)矩陣中，實(shí)現(xiàn)視覺系統(tǒng)的動態(tài)標(biāo)定。

由于工業(yè)現(xiàn)場工件搬運(yùn)的過程，就是數(shù)據(jù)收集的過程，在完成工件的搬運(yùn)過程中就完成了數(shù)據(jù)庫系統(tǒng)的建立，而不必費(fèi)為了建立數(shù)據(jù)庫而費(fèi)時費(fèi)力的收集數(shù)據(jù)。最后達(dá)到的效果就是機(jī)械手越用越好用，定位精度越來越高，工件的抓取越來越準(zhǔn)。

3　工件世界坐標(biāo)提取

在履帶輪自動上下料生產(chǎn)線中，機(jī)械手手爪末端與工件的相對位置關(guān)系劃分為5個區(qū)域，當(dāng)機(jī)械手的視覺定位精度不夠高時，很容易導(dǎo)致機(jī)械手末端探頭位于圖3的b區(qū)域內(nèi)。現(xiàn)在對機(jī)械手處于b區(qū)域時的狀態(tài)加以分析。先設(shè)定機(jī)械手Z軸從零點(diǎn)到到工件上表面的距離為Z0，探頭錐面的高度為L0，錐頂角為φ0，錐頂?shù)叫D(zhuǎn)軸心的距離為L1，如圖4所示。

圖3　工件區(qū)域劃分圖

圖4　探頭與工件的位置關(guān)系

設(shè)機(jī)械手下降距離為Z時，探頭的錐面與工件的內(nèi)圓剛好接觸，設(shè)此時探頭接觸點(diǎn)所在的截圓半徑為R0，根據(jù)機(jī)械手定位精度的不同，截圓半徑R0的值也不相同，如圖5所示。R0是下降距離Z的函數(shù)，其關(guān)系可表示為：

圖5　定位誤差與探頭截圓半徑關(guān)系

已知履帶輪的軸孔的直徑為F，設(shè)定此時機(jī)械手末端探頭的坐標(biāo)為（X1，Y1，Z1），則機(jī)械手末端手爪的位置與待抓取工件的圓心位置的距離差Δr可以表示為：

由式（4）可以確定機(jī)械手末端手爪位于以工件端面圓心為圓心，半徑為Δr的圓周上，若要確定手爪末端探頭具體與工件的那個點(diǎn)接觸，還需要一個角度坐標(biāo)信息θ，如圖6所示。

圖6　探頭與工件的角度關(guān)系

現(xiàn)在使機(jī)械手在與工件剛發(fā)生接觸后，沿Z軸方向繼續(xù)向下移動δz，此時探頭繞支撐點(diǎn)發(fā)生轉(zhuǎn)動，設(shè)此時與Z軸的夾角為α，如圖4所示。由探頭的機(jī)械結(jié)構(gòu)可知，按照元件的運(yùn)動方式分解，探頭與Z軸的夾角α可以分解為為繞x軸和y軸兩個轉(zhuǎn)動，轉(zhuǎn)角分別為β和γ，而x軸和y軸的轉(zhuǎn)動反應(yīng)為探頭x、y方向兩路霍爾元件檢測的電壓值變化。探頭末端p所能到達(dá)的空間點(diǎn)在xy平面上的投影點(diǎn)組成的集合定義為U，如圖7所示。探頭轉(zhuǎn)動角度大小與輸出電壓值的對應(yīng)關(guān)系如圖8所示。在探頭沿Z方向發(fā)生δz大小的位移時，探頭末端有點(diǎn)p運(yùn)動到p'，因此可確定此時探頭與X軸正方向的夾角θ：

其中，p'x為發(fā)生δz位移后在x軸查測出的電壓值，px為發(fā)生δz位移前即探頭與工件相切時在x軸查測出的電壓值；p'y為發(fā)生δz位移后在y軸查測出的電壓值，py為發(fā)生δz位移前即探頭與工件相切時在y軸查測出的電壓值。

圖7　探頭的有效檢測區(qū)間

圖8　探頭轉(zhuǎn)角與輸出電壓關(guān)系

由式（3）、式（4）、式（5）便可以確定機(jī)械手在抓取工件時的實(shí)際位移與工件圓心的位置關(guān)系。當(dāng)機(jī)械手抓取工件時手爪定位在工件的b區(qū)域內(nèi)時，可根據(jù)探頭反饋信息計(jì)算出當(dāng)前位置誤差，并轉(zhuǎn)化為機(jī)械手X軸和Y軸的位移量，將數(shù)據(jù)轉(zhuǎn)換后傳送給機(jī)械手的伺服電機(jī)，自動控制機(jī)械手完成誤差的校正。其中：

4　工件圖像坐標(biāo)提取

本文中機(jī)械手上下料過程中用到的視覺系統(tǒng)，主要完成對工件筐內(nèi)工件的位置和形狀信息進(jìn)行獲取，因?yàn)楣ぜ閳A柱形，因此不涉及方向信息，只需進(jìn)行位置定位。為了獲取工件的位置信息，視覺系統(tǒng)主要完成圖像采集、圖像處理、目標(biāo)識別和目標(biāo)定位。

圖像采集的過程利用CCD圖像傳感器把光信號轉(zhuǎn)化成電荷信號，再經(jīng)過采樣放大以及模數(shù)轉(zhuǎn)換，最終將光學(xué)影像轉(zhuǎn)化為數(shù)字信號。

針對本機(jī)械手系統(tǒng)工作環(huán)境特點(diǎn)，圖像識別選擇基于特征匹配的方法進(jìn)行工件識別，匹配方式為邊緣抽取。對圖像進(jìn)行邊緣抽取時，使用相同的邊緣閾值和不同的像素范圍。

因?yàn)槁膸л喪且?guī)則的圓柱體，所以可以直接利用工件的圖像是圓這一形狀特征提取中心點(diǎn)，同時選擇計(jì)算量較小定位精度較高的根據(jù)最小二乘來擬合曲線的方法獲取圓心坐標(biāo)。

對工件的定位分為兩個步驟：

第一步是粗定位，通過EC圓搜索，搜索到工件在圖像中的大概位置。對工件的匹配效果如圖9所示。

圖9　工件特征提取效果圖

第二步是精確定位，在第一部定位到圓的粗略位置后，以該位置為中心重新確定掃描區(qū)域，在該區(qū)域內(nèi)通過最小二乘擬合進(jìn)行精確定位。

最小二乘擬合即在取定函數(shù)類Φ中，對給定的數(shù)據(jù)點(diǎn)｛（xi，yi）（i =0，1，??，n）｝求取函數(shù)使誤差的平方和最小，可表示為：

采用基于圓形的最小二乘擬合法，根據(jù)最小二乘原理選取圓的方程進(jìn)行圓的輪廓擬合。圓的方程為：

則誤差的平方和δ2可表示為：

其中U為邊界點(diǎn)的集合，（xi，yi）為圖像邊界點(diǎn)坐標(biāo)，（a，b）為以圖像左上角為原點(diǎn)計(jì)算出來的圓心坐標(biāo)，r為圓的半徑。再根據(jù)像機(jī)的標(biāo)定就能獲取圓心在世界坐標(biāo)上的位置信息。

具體的圓心精確定位方法如下：

1）以粗定位中為檢測中心，定義掃描區(qū)域，并設(shè)定掃面帶的寬度，設(shè)定邊緣檢測方向，和檢測點(diǎn)數(shù)以及起始檢測角度，本文中選擇在圓周上均勻分布的n各點(diǎn)，如圖10所示。

2）在邊緣的檢測帶內(nèi)以濃度差寬度的相對位置進(jìn)行測量，確定先前選定的n個點(diǎn)的像素坐標(biāo)值，如圖11所示。

3）根據(jù)計(jì)算出來的n個點(diǎn)的坐標(biāo)值采用最小二乘法進(jìn)行近似圓擬合，計(jì)算圓的半徑和圓心，如圖12所示。

4）由于一盤工件中共含有9個工件，再進(jìn)行圓的精確匹配時測量區(qū)域固定，所以采用坐標(biāo)變化對圖像進(jìn)行平移，測量其他位置工件的圓心坐標(biāo)，如圖13所示。

圖10　區(qū)域設(shè)定

圖11　檢測點(diǎn)坐標(biāo)計(jì)算

圖12　圓擬合

圖13　多點(diǎn)測量

對于工件筐邊緣位置的確定，本文采用基于直線擬合的最小二乘法，根據(jù)最小二乘原理選取直線方程進(jìn)行工件筐邊緣直線擬合。直線方程為：

其中E為工件筐邊緣上的點(diǎn)的集合，（xi，yi）為工件筐邊界點(diǎn)坐標(biāo)，（k，b）為以圖像左上角為原點(diǎn)計(jì)算出來的直線方程待定系數(shù)。檢測效果如圖14所示。

圖14　工件筐邊緣提取

5　基于單目視覺定位控制流程

通過前述過程，我們完成了一套完整的單目視覺系統(tǒng)定位的控制研究，具體流程設(shè)計(jì)如圖15所示。

機(jī)械手上下料系統(tǒng)以機(jī)械手零點(diǎn)為原點(diǎn)，以X、Y、Z三個運(yùn)動軸正方向?yàn)樽鴺?biāo)軸方向，并以各軸上的磁柵尺為標(biāo)尺，建立現(xiàn)實(shí)世界的空間坐標(biāo)系。視覺系統(tǒng)的建立，首先通過手動操作，控制機(jī)械手末端探頭檢測工件筐位置信息，其次通過智能像機(jī)獲取工件筐的圖像位置和姿態(tài)信息，通過智能匹配算法，建立起工件筐的圖像數(shù)據(jù)與現(xiàn)實(shí)世界坐標(biāo)的對應(yīng)關(guān)系；手動控制機(jī)械手到上料位，抓取定位完成的履帶輪，記錄下此時機(jī)械手在上料位的坐標(biāo)信息，并搬運(yùn)到工件筐內(nèi)，待放料完成，記錄下此時機(jī)械手在放料位的坐標(biāo)信息，重復(fù)上述過程，直到工件筐內(nèi)有9個履帶輪，即完成一筐工件的上料，此時通過智能視覺傳感器進(jìn)行圖像采集，獲取9個履帶輪的圓心坐標(biāo)，通過智能匹配算法，建立起履帶輪的圖像數(shù)據(jù)與現(xiàn)實(shí)世界坐標(biāo)的對應(yīng)關(guān)系，經(jīng)過長期示教，建立起圖像坐標(biāo)與世界坐標(biāo)之間對應(yīng)關(guān)系的數(shù)據(jù)庫。運(yùn)動控制系統(tǒng)的建立，根據(jù)視覺系統(tǒng)獲取的工件位置信息，經(jīng)過與已有數(shù)據(jù)庫系統(tǒng)查詢，計(jì)算出工件的實(shí)際位置，實(shí)時的將參數(shù)傳遞給機(jī)械手人的控制系統(tǒng)，通過控制伺服電機(jī)控制機(jī)械手完成對履帶輪的抓取，并根據(jù)末端探頭的狀態(tài)調(diào)整或反饋?zhàn)ト⌒Ч?，待完成一個工件的抓取后將可靠的數(shù)據(jù)存入數(shù)據(jù)庫中，擴(kuò)充和優(yōu)化已有數(shù)據(jù)，上下料過程如圖16所示。

本系統(tǒng)已在實(shí)驗(yàn)室和生產(chǎn)線上進(jìn)行的實(shí)地應(yīng)用測試，不僅對工件定位準(zhǔn)確，而且運(yùn)行效率高，是一套可行性很強(qiáng)的視覺標(biāo)定系統(tǒng)。

圖15　控制系統(tǒng)流程

6　結(jié)論

本文主要完成了上下料機(jī)械手控制系統(tǒng)的關(guān)鍵技術(shù)研究。首先，提出了一種局部線性化的像機(jī)標(biāo)定算法，采用上料過程進(jìn)行標(biāo)定點(diǎn)提取，適合工業(yè)現(xiàn)場快速標(biāo)定的要求，通過標(biāo)定建立起圖像坐標(biāo)和世界坐標(biāo)之間的對應(yīng)關(guān)系，并且標(biāo)定點(diǎn)個數(shù)隨著機(jī)械手的使用不斷的增加；其次對探頭的工作原理進(jìn)行分析，建立了探頭提取工件在世界坐標(biāo)下圓心位置的算法；之后采用基于粗定位和精確定位兩步走的算法，基于最小二乘的擬合算法，實(shí)現(xiàn)了對工件圖像坐標(biāo)下圓心位置的提?。蛔詈髮⒄麄€控制系統(tǒng)的算法以方框圖的形式給出，完成了控制系統(tǒng)軟件設(shè)計(jì)，不僅為系統(tǒng)的投用打好了理論基礎(chǔ)，也為除履帶輪以外的其他生產(chǎn)線的視覺標(biāo)定系統(tǒng)改進(jìn)提供了思路。

圖16　上下料循環(huán)過程示意圖

參考文獻(xiàn)：

［1］ 郭洪紅.工業(yè)機(jī)器人技術(shù)［M］.西安：西安電子科技大學(xué)出版社2006，3.

［2］ Hirai， K， M. Hirose， Y. Haikawa， and T. Takenaka， 1998，The development of honda humanoid robot［A］.IEEE Int.Conf. Robotics and Automation［C］.1321-1326.

［3］ 陳祥勇.基于OpenGL的工業(yè)機(jī)器人操作可視化研究［D］.南京航空航天大學(xué)，2008.

［4］ 張建中，何永義，李軍.機(jī)器人裝配視覺定位應(yīng)用研究［J］.機(jī)電工程，2011，08：934-937.

［5］ 席斌，王振，雷錢鋒.機(jī)器人視覺工業(yè)檢測系統(tǒng)的應(yīng)用與發(fā)展［J］.控制工程，2006，5（13）：220-222.

［6］ Copot C， Lazar C， Burlacu A. Predictive control of nonlinear visual servoing systems using image moments［J］.IET Control The ory&Application，2012，6（10）：1486-1496.

［7］ 呂曉明.基于DSP的視覺傳感器的關(guān)鍵技術(shù)研究［D］.天津大學(xué)，2007.

Non-uniform calibration method research of loading manipulator system based on vision positioning

TIAN Hao-chen， ZHANG Yin-long， ZHAO Hai-wen， LIU Yu-xin， LIU Cong

中圖分類號：TP241.2

文獻(xiàn)標(biāo)識碼：A

文章編號：1009-0134（2016）05-0041-06

收稿日期：2015-12-16

作者簡介：田浩辰（1988 -），男，碩士研究生，研究方向?yàn)樽詣踊a(chǎn)線。