基于單目視覺的工業(yè)機(jī)器人自動化定位方法研究

郁正綱 YU Zheng-gang；丁偉 DING Wei；李瑋 LI Wei

（①江蘇安方電力科技有限公司，泰州 225300；②國網(wǎng)江蘇省電力有限公司雙創(chuàng)中心，南京 210000）

0 引言

在生產(chǎn)流水線中，工業(yè)機(jī)器人主要依靠示教或離線編程的形式來引導(dǎo)機(jī)械手抓取和放置工件，這種方式存在較大局限性，主要體現(xiàn)在兩個方面[1]：一是工作環(huán)境發(fā)生變化后，由于缺乏應(yīng)變能力，機(jī)器人的操作范圍嚴(yán)重受限，導(dǎo)致任務(wù)中斷或失??；如果工件在傳送過程中發(fā)生位置偏移，機(jī)器人依舊執(zhí)行既定操作，則會降低工件放置的精確度。二是自動化水平偏低的工廠應(yīng)用工業(yè)機(jī)器人參與生產(chǎn)流程，必須搭建配套的生產(chǎn)線，導(dǎo)致前期投資增加。隨著工業(yè)生產(chǎn)需求的多樣化，如何使工業(yè)機(jī)器人準(zhǔn)確識別工件并引導(dǎo)機(jī)械手抓取工件已成為自動化生產(chǎn)領(lǐng)域面臨的挑戰(zhàn)之一。機(jī)器視覺技術(shù)具有精度高、信息量大、檢測范圍廣、開發(fā)潛能大等特點(diǎn)，將其應(yīng)用于工業(yè)自動化中能夠快速精確識別工件、測量目標(biāo)尺寸和位姿[2]。本研究針對工業(yè)機(jī)器人機(jī)械臂抓取過程中的工件識別與定位問題進(jìn)行探究。

1 單目視覺定位模型構(gòu)建

本研究選取M2S036 工業(yè)相機(jī)采集工件圖像，為滿足機(jī)器人抓取所需要的三維空間信息，必須構(gòu)建小孔成像模型，將圖像投影至二維平面中，確定相機(jī)成像內(nèi)外部參數(shù)，并運(yùn)用算法計算目標(biāo)姿態(tài)與空間位置。如圖1 所示。

圖1 小孔成像模型

1.1 圖像坐標(biāo)系與像素坐標(biāo)系的轉(zhuǎn)化

假設(shè)重心坐標(biāo)（u0，v0）和像素點(diǎn)的物理尺寸dx、dy，可以得到如下轉(zhuǎn)換關(guān)系式：

1.2 三維空間坐標(biāo)的計算

基于相同發(fā)射光心點(diǎn)O，將OOc作為攝像機(jī)的焦距f，通過矩陣轉(zhuǎn)換得到圖像坐標(biāo)系oxy 與相機(jī)坐標(biāo)系OcXcYcZc轉(zhuǎn)換關(guān)系式：

世界參考坐標(biāo)系OwXwYwZw與相機(jī)坐標(biāo)系構(gòu)成OcXcYcZc存在剛體變換關(guān)系，可通過矩陣的齊次轉(zhuǎn)化得到兩者轉(zhuǎn)換關(guān)系式：

其中，R、T 分別表示旋轉(zhuǎn)矩陣、平移矢量，均屬于相機(jī)外參矩陣。

聯(lián)立上述公式可得到世界參考坐標(biāo)系OwXwYwZw矩陣函數(shù)：

圖像傳感器的像素陣列為m×n，目標(biāo)的長度Lx、寬度Ly，目標(biāo)長邊像素點(diǎn)個數(shù)lx、寬邊像素點(diǎn)個數(shù)ly，得到公式[3]：

計算均值并將其帶入世界坐標(biāo)矩陣函數(shù)中，即可得到目標(biāo)三維空間坐標(biāo)數(shù)據(jù)。

2 基于單目視覺的目標(biāo)識別與定位算法

2.1 工件圖像預(yù)處理

本文使用局部直方圖均衡化進(jìn)行處理，具體流程為：首先，輸入原始圖像及其圖像灰度fj（j=0，1，…，L-1），計算灰度像素數(shù)量nj（j=0，1，…，L-1）；其次，根據(jù)圖像灰度及灰度像素數(shù)量計算得到圖像直方圖Pf（fj）=nj/n，其中n 表示圖像總像素數(shù)量；再次，得到累積分布函數(shù)c（f），計算映射后的圖像灰度gj=INT[（gmax-gmin）c（f）+gmin+0.5]；最后，統(tǒng)計像素灰度數(shù)量ni（i=0，1，…，p-1），得到直方圖Pg（gi）=ni/n，i=0，1，…，p-1。結(jié)合fj與gj的映射關(guān)系，得到的圖像直方圖呈均勻分布。

2.2 工件圖像特征提取

因此，本文采用隨機(jī)樹算法進(jìn)行圖像特征點(diǎn)匹配，具體流程如圖2 所示?；陔S機(jī)樹的特征匹配算法原理為：建立隨機(jī)樹分類器Y，將圖像特征點(diǎn)匹配問題轉(zhuǎn)換為待匹配特征點(diǎn)與模板特征點(diǎn)集合C 中的哪個特征點(diǎn)相符Y（k）∈C={-1，1，2，…，N}，如果Y（k）=-1 則表示匹配失敗。隨機(jī)樹為一顆二叉樹，從根節(jié)點(diǎn)開始，每個節(jié)點(diǎn)劃分兩個子節(jié)點(diǎn)，依據(jù)分類準(zhǔn)則判斷輸入對象進(jìn)入哪個子節(jié)點(diǎn)，從而完成特征點(diǎn)分類。

圖2 隨機(jī)樹算法流程圖

Harris 角點(diǎn)檢測法對于圖像變化具有較強(qiáng)的適應(yīng)性和旋轉(zhuǎn)不變性，本文首先運(yùn)用該方法對模板圖像特征點(diǎn)進(jìn)行檢測，計算圖像窗口移動所產(chǎn)生的灰度變化，尋找角點(diǎn)并將其作為圖像特征點(diǎn)；然后以特征點(diǎn)為中心建立圖塊p（n×n），將所有圖塊輸入隨機(jī)樹，計算不同類型圖塊的統(tǒng)計概率；最后判斷圖塊走向，除特征點(diǎn)外，隨機(jī)選擇圖塊中的兩個像素點(diǎn)，對其灰度值進(jìn)行比較，若m1＞m2，則圖塊走向右節(jié)點(diǎn)，反之則走向左節(jié)點(diǎn)。選定比較像素點(diǎn)后，下一個圖塊進(jìn)入該節(jié)點(diǎn)時，仍以之前選取的兩個像素點(diǎn)的比較為判斷準(zhǔn)則。節(jié)點(diǎn)比較公式為：

式中，I（p，m2）為圖塊p 中像素點(diǎn)m 的灰度值。將所有圖塊輸入隨機(jī)樹后，在葉節(jié)點(diǎn)處得到相應(yīng)的概率分布情況，即待檢測特征點(diǎn)的分類準(zhǔn)則。

本文使用多棵隨機(jī)樹對不同區(qū)域的特征點(diǎn)進(jìn)行分類，同時圖塊多大會降低分類準(zhǔn)確性和計算效率，綜合考慮上述因素最終經(jīng)過多次參數(shù)調(diào)整驗(yàn)證，確定了隨機(jī)樹的棵數(shù)為30，層數(shù)為11，圖塊尺寸為17，建立隨機(jī)樹分類器，得到圖塊p 的概率分布：

其中，Y（p）為圖塊分類結(jié)果，c 為特征點(diǎn)類別，η（l，p）為圖塊到達(dá)第l 棵樹的葉節(jié)點(diǎn)，為到達(dá)葉節(jié)點(diǎn)中圖塊p 的數(shù)量和所有圖塊數(shù)比值。

最后，根據(jù)所有特征點(diǎn)圖塊的概率分布情況對待檢測點(diǎn)進(jìn)行類別匹配，建立圖塊與模板圖像中某圖塊的匹配關(guān)系：

2.3 工件位姿估計

計算目標(biāo)工件的圖像姿態(tài)，即求取目標(biāo)工件主軸與圖像坐標(biāo)系Xw軸的夾角θ，若夾角θ 位于Y 正方向則θ＞0，若夾角θ 位于Y 負(fù)方向則θ＜0。假設(shè)目標(biāo)兩條平行邊上像素點(diǎn)坐標(biāo)，計算該點(diǎn)斜率來確定其與主軸的夾角[4]：

本文采用張正友標(biāo)定法獲得圖像坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系，使用Tsai-Lenz 標(biāo)定法確定相機(jī)坐標(biāo)系與機(jī)器人坐標(biāo)系的轉(zhuǎn)換關(guān)系，然后基于隨機(jī)樹算法通過特征點(diǎn)的像素坐標(biāo)、世界坐標(biāo)求得目標(biāo)工件的實(shí)際位姿，從而引導(dǎo)機(jī)械臂抓取工件。

3 試驗(yàn)結(jié)果與分析

3.1 設(shè)定實(shí)驗(yàn)條件

本研究根據(jù)實(shí)驗(yàn)需要搭建了單目視覺定位系統(tǒng)，該系統(tǒng)由ABB-IRB120 型工業(yè)機(jī)器人、Mecanum 輪移動平臺、Artcam-130mi-nir 工業(yè)相機(jī)、氣動手爪、控制器組成。實(shí)驗(yàn)控制系統(tǒng)中，由上位機(jī)進(jìn)行圖像處理和總體控制，工業(yè)相機(jī)接口為GigE，通過千兆以太網(wǎng)實(shí)現(xiàn)與上位機(jī)之間的通訊。

3.2 特征匹配算法性能驗(yàn)證

本研究將該算法與基于RANSAC 方法改進(jìn)的SIFT算法性能進(jìn)行對比。雜亂、傾斜、遮擋、陰暗四種情況下，兩種算法的特征匹配效果如圖3、圖4 所示。兩種算法的特征點(diǎn)匹配率以及匹配時間如表1 所示。

表1 隨機(jī)樹算法與改進(jìn)SIFT 算法的特征點(diǎn)匹配結(jié)果

圖3 基于隨機(jī)樹的特征匹配效果圖

圖4 基于改進(jìn)SIFT 算法的特征匹配效果圖

從表1 可以看出，在遮擋、陰暗環(huán)境下，隨機(jī)樹算法和改進(jìn)SIFT 算法檢測到的特征點(diǎn)偏少，匹配率較低；在雜亂、傾斜環(huán)境下，兩種算法檢測到的特征點(diǎn)較多，運(yùn)算時間較長?？梢园l(fā)現(xiàn)，隨機(jī)樹算法的匹配率更高、運(yùn)算時間更短，原因在于該算法在目標(biāo)識別之前就通過離線訓(xùn)練對穩(wěn)定特征點(diǎn)進(jìn)行了篩選，剔除了不穩(wěn)定的特征點(diǎn)；改進(jìn)SIFT算法在線檢測特征點(diǎn)過多，并且直接進(jìn)行在線匹配，經(jīng)過RANSAC 算法剔除錯誤的匹配點(diǎn)后，導(dǎo)致匹配率較低。

3.3 工件定位實(shí)驗(yàn)

使用ABB-IRB120 型工業(yè)機(jī)器人進(jìn)行工件定位實(shí)驗(yàn)。本研究共進(jìn)行6 組抓取實(shí)驗(yàn)，每次實(shí)驗(yàn)中抓取不同位姿的工件，并記錄平均抓取位置誤差，實(shí)驗(yàn)結(jié)果如表2 所示。同時，機(jī)械臂完成抓取作業(yè)后，需將工件放置在特定工位，共進(jìn)行6 組放置實(shí)驗(yàn)，記錄每次實(shí)驗(yàn)的平均放置誤差，實(shí)驗(yàn)結(jié)果如表3 所示。

表2 單目視覺系統(tǒng)抓取作業(yè)最大誤差

表3 單目視覺系統(tǒng)放置作業(yè)最大誤差

可以看出，單目視覺定位系統(tǒng)放置作業(yè)X、Y、Z 方向的最大誤差范圍為1.1～6.3mm，比抓取作業(yè)的精度稍高，這是因?yàn)檫M(jìn)行放置作業(yè)時，指定工位點(diǎn)的標(biāo)志圖案擺放整齊，相機(jī)采集到的正俯視圖與圖像模板的姿態(tài)相近，因此計算得到的工件位姿誤差較小。

4 結(jié)論

本研究提出了一種基于隨機(jī)樹的特征匹配算法，實(shí)現(xiàn)對目標(biāo)工件特征點(diǎn)的識別與定位，該算法較基于RANSAC改進(jìn)的SIFT 算法相比具有更高的性能，匹配率更高、匹配速度更快。工件定位實(shí)驗(yàn)結(jié)果表明單目視覺定位系統(tǒng)能夠精確識別與定位工件，較好地引導(dǎo)移動機(jī)械臂完成工件抓取與放置作業(yè)，對于提升工業(yè)生產(chǎn)效率具有重要意義。