3D視覺表面匹配技術(shù)在曲軸毛坯無序抓取中的應(yīng)用

陸賢輝 申紅森

摘 要：本文主要研究對無序排列曲軸毛坯的自動(dòng)抓取，通過3D視覺技術(shù)實(shí)現(xiàn)空間位置搜索，并轉(zhuǎn)換為機(jī)器人抓取坐標(biāo)，在實(shí)際運(yùn)行過程中，為解決3D算法在速度、可靠性、穩(wěn)定性等方面的不足，視覺識別成功率低，機(jī)器人抓取發(fā)生碰撞的問題，利用全局模型局部匹配的算法優(yōu)化基于PPF特征的投票原理，最終實(shí)現(xiàn)高效穩(wěn)定的3D物體匹配識別，并實(shí)現(xiàn)了無序排列曲軸毛坯穩(wěn)定、可靠、快速的抓取，滿足了現(xiàn)實(shí)生產(chǎn)過程的需求。

關(guān)鍵詞：3D視覺 無序抓取 Point Pair Feature （PPF） 投票原理

Abstract：This paper researched the robot loading system for the free-form crankshaft. It was applied with 3D visual camera to search the object in a big steel case， and it would communicate with the robot and sent the coordinate of the specific character in the whole crankshaft. In the practice， the paper propound a new algorithm to improve the Voting Scheme based on PPF and more efficiently matched objects in the point clouds The method was met the production requirement and achieved the stability， reliability and high efficiency in the robot loading system for the free-form crankshaft.

Key words：3D visual camera， free-form， Point Pair Feature （PPF）， Voting Scheme

在工廠自動(dòng)化、智能化的發(fā)展進(jìn)程中，機(jī)器視覺技術(shù)扮演著一個(gè)重要的角色。而一般的2D視覺是可以用來進(jìn)行工業(yè)產(chǎn)品的檢測與定位，難以精確呈現(xiàn)待檢測和識別的物體的三維信息，視覺工件定位與抓取技術(shù)則在工業(yè)各領(lǐng)域中的應(yīng)用越來越廣泛，特別是在一些環(huán)境惡劣、定位精度要求較高的情況下[1] [2]。在實(shí)際生產(chǎn)中，經(jīng)常出現(xiàn)要求從雜亂無章的物料周轉(zhuǎn)箱或料框中逐一抓取工件的情況，目標(biāo)工件相互重疊、相互遮掩，對于此類應(yīng)用，基于2D機(jī)器視覺的機(jī)械臂抓取技術(shù)顯然無法有效地完成作業(yè)任務(wù)，然而，3D機(jī)器視覺可以很好地解決此問題[3]。本文以實(shí)現(xiàn)了發(fā)動(dòng)機(jī)曲軸毛坯從原包裝自動(dòng)上線為對象，采用激光三角3D視覺相機(jī)和普通碼垛機(jī)器人，輔助以自主設(shè)計(jì)開發(fā)的專用夾具，代替之前人工上料工作，取得不錯(cuò)的效果，完善了3D視覺算法在類似曲軸等復(fù)雜回轉(zhuǎn)體零件上的應(yīng)用場景，開發(fā)了面向工業(yè)應(yīng)用場景的視覺操作系統(tǒng)，優(yōu)化了視覺匹配算法模型，形成了適合于曲軸等產(chǎn)品的視覺標(biāo)定流程。

1 項(xiàng)目目標(biāo)和技術(shù)方案規(guī)劃

1.1 項(xiàng)目要實(shí)現(xiàn)的目標(biāo)

項(xiàng)目現(xiàn)場為曲軸毛坯人工上料工位，計(jì)劃實(shí)現(xiàn)機(jī)器人自動(dòng)從料框中抓取無序排列的毛坯，人工只需要將料框推到規(guī)定的范圍內(nèi)即可，其余動(dòng)作由機(jī)器自動(dòng)完成。

節(jié)拍要求為30秒/件，抓取成功率高于98%。

1.2 無序零件自動(dòng)抓取動(dòng)作流程設(shè)計(jì)

對現(xiàn)場使用場景進(jìn)行分析，項(xiàng)目計(jì)劃實(shí)現(xiàn)的動(dòng)作流程如圖1所示。

1.3 項(xiàng)目動(dòng)作時(shí)間分析

由表1動(dòng)作時(shí)間分析，可以看出整個(gè)循環(huán)在30秒也內(nèi)，可以滿足現(xiàn)場需要。

1.4 系統(tǒng)控制框圖

項(xiàng)目的主要控制邏輯是機(jī)器人到達(dá)指定位置后，發(fā)信號給工控機(jī)，請求坐標(biāo)信息，工控機(jī)收到請求后會(huì)調(diào)用3D相機(jī)進(jìn)行拍照，并計(jì)算出待抓取零件的坐標(biāo)，通過工業(yè)通訊總線反饋給機(jī)器人，機(jī)器人根據(jù)反饋的路徑坐標(biāo)，進(jìn)行零件抓取動(dòng)作，動(dòng)作完成后，再次請求坐標(biāo)信息。見圖2系統(tǒng)控制框圖。

1.5 相機(jī)的選擇

項(xiàng)目測試了兩種相機(jī)：

線激光掃描相機(jī)，SICK Trispector1060，采用激光三角測量法（Laser triangulation），激光光源投射到物體的表面，相機(jī)的鏡頭和激光成一定的角度，生成物體表面的輪廓線，物體在輪廓在激光線處通過，生成多條物體表面的輪廓線，相機(jī)將輪廓線組成一副3D的圖像，3D圖像是基于掃描技術(shù)，因此物體與相機(jī)必須要發(fā)生相對運(yùn)動(dòng)。

線激光掃描成像原理如圖3所示。

優(yōu)點(diǎn)，成像穩(wěn)定，受自然光干擾少，缺點(diǎn)是視野小，需要移動(dòng)相機(jī)掃描成像。

成像效果見圖4。

RVBUST RVC-X E20， 3D工業(yè)相機(jī)采用465 nm藍(lán)色條紋光投影光源和高分辨率傳感器，通過單次快照面陣成像，不需要掃描移動(dòng)機(jī)構(gòu)。

激光面陣成像原理示意見圖5。

空間光源成像，無須移動(dòng)相機(jī)，視野大，點(diǎn)云密度低，465nm為可見光源，會(huì)受到自然光干擾。

激光面陣成像效果如圖6所示。

1.6 項(xiàng)目Demo測試平臺

為了驗(yàn)證3D表面匹配理論、算法和機(jī)器人手眼標(biāo)定程序，項(xiàng)目使用Trispector 1060 和UR協(xié)作機(jī)器人UR5進(jìn)行測試，通過測試，發(fā)現(xiàn)算法的符合度可以達(dá)到使用要求。

Cognex公司的3D相機(jī)3D-A5000，輻以配套軟件VisionPro 的3D工具集（包括 PatMax 3D），能夠解決3D定位和機(jī)器人引導(dǎo)，如圖7Cognex 3D-A5000系列產(chǎn)品。

SICK公司的機(jī)器人PLB 3D定位系統(tǒng)，通過3D視覺方案實(shí)現(xiàn)三維掃描定位，通過導(dǎo)入零件數(shù)據(jù)模型到配套軟件，實(shí)現(xiàn)零件的定位匹配，分析工件抓取優(yōu)先級，引導(dǎo)機(jī)器人快速抓取工件，避開上下層工件相互干擾。系統(tǒng)由一臺三維相機(jī)、一套零件定位軟件以及相機(jī)的控制系統(tǒng)通信集成工具組成。該相機(jī)提供準(zhǔn)確可靠的三維圖像，受環(huán)境光影響小。

當(dāng)前國內(nèi)外3D產(chǎn)品層出不窮，而且大部分產(chǎn)品都是軟硬件打包在一起，算法和硬件高度集成，利用通用3D相機(jī)自主算法實(shí)現(xiàn)的案例比較少。而自主算法實(shí)現(xiàn)具有更大的操作自由空間，有利于以后的產(chǎn)品升級和應(yīng)用擴(kuò)展，因此，作者帶領(lǐng)團(tuán)隊(duì)通過這個(gè)項(xiàng)目，另辟蹊徑，研究了3D視覺定位引導(dǎo)機(jī)器人技術(shù)，為工業(yè)領(lǐng)域引用3D視覺技術(shù)提供了另一種選擇。

2 項(xiàng)目軟硬件平臺

2.1 項(xiàng)目硬件選擇

結(jié)合項(xiàng)目節(jié)拍時(shí)間，工作場地，料框大小等因素，項(xiàng)目最終選定采用RVBUST RVC-X E20 3D工業(yè)相機(jī)和FANUC-2000iB/165F機(jī)器人來完成項(xiàng)目。

同時(shí)，也開始了設(shè)備布局及工件抓手同步機(jī)械設(shè)計(jì)，見圖8所示。

2.2 項(xiàng)目軟件平臺

項(xiàng)目軟件用Vs2017 community 15.9.31 編譯，界面使用Qt 5.12.3 LTS設(shè)計(jì)?；趒t的軟件界面設(shè)計(jì)如圖9所示：

項(xiàng)目用到的視覺算法庫有OpenCv4.30和Halcon 18.12。

3 視覺程序設(shè)計(jì)

3.1 3D表面匹配理論

3D匹配的兩個(gè)對象之一是3D相機(jī)拍照獲取真實(shí)零件無序堆放的場景（scene），另一個(gè)是產(chǎn)品零件的數(shù)模（model），這兩個(gè)對象都要轉(zhuǎn)化成有限的點(diǎn)云集合數(shù)據(jù)，通過PPF（point pair feature）算法匹配零件的位置。Lowe D G提出的SIFT算法[4]在機(jī)器視覺領(lǐng)域得到廣泛的應(yīng)用。梁元月等利用SIFT算法具有尺度不變特性而對移動(dòng)、旋轉(zhuǎn)、噪音、縮放和遮擋等多種圖像變化都有較強(qiáng)的適應(yīng)能力[5]。

零件的數(shù)模處理，根據(jù)零件數(shù)模，創(chuàng)建點(diǎn)云對特征的模型，通過定義Point Pair Feature（PPF 描述了兩個(gè)有向點(diǎn)（oriented points）的相對位置和姿態(tài)）來構(gòu)建特征矢量的集合以及每個(gè)特征矢量對應(yīng)的點(diǎn)集對，構(gòu)建哈希表作為模型的Global Model Description，為以后的匹配算法做準(zhǔn)備。

通過3D相機(jī)獲得到零件（曲軸毛坯）點(diǎn)云（.ply格式文件）。稀疏化模型和場景以提高匹配速度，之后再采用一種高效的投票機(jī)制，在二維搜索空間里做局部匹配。這種算法既保證了識別率，也兼顧了匹配速度，算法概要見圖10全局模型局部匹配算法概要圖。

3.2 模型創(chuàng)建流程

導(dǎo)入零件的3D模型，因?yàn)橐曈X可見的為沿曲軸軸向表面，重直于軸向的表面在匹配中幾乎不起作用，我們在模型預(yù)處理過程中就刪除這些表面，以提高匹配的分值。

用sample_object_model_3d算子對模型進(jìn)行稀疏化采樣處理，以提高匹配速度，采樣率越高匹配精度越高，匹配運(yùn)算耗時(shí)也高。

使用surface_normals_object_model_3d 和select_points_object_model_3d算子對模型進(jìn)行法向篩選，刪除對匹配貢獻(xiàn)較少的曲面。處理后的模型如圖11所示。

使用create_surface_model算子創(chuàng)建全局模型。

3.3 表面匹配

在3D場景找到曲面模型的最佳匹配，匹配到的模型的3D位姿會(huì)賦值給Pose，它表示3D模型在坐標(biāo)系中的位姿。用到的算子如下：

find_surface_model（：： SurfaceModelID，ObjectModel3D， RelSamplingDistance，KeyPointFraction， MinScore，ReturnResultHandle， GenParamName，GenParamValue ： Pose， Score， SurfaceMatchingResultID）

該算子實(shí)現(xiàn)的過程如下：

第一步：近似匹配，在真實(shí)場景中找到模型的大概位姿。為了提高匹配速度，要對真實(shí)場景點(diǎn)云進(jìn)行均勻采樣，也要設(shè)置關(guān)鍵點(diǎn)比率，從而使對象在遮擋時(shí)也能最好使得關(guān)鍵點(diǎn)能夠覆蓋模型的表面。增加關(guān)鍵點(diǎn)，會(huì)使得匹配更加穩(wěn)定，但是匹配速度會(huì)慢。

第二步，優(yōu)化匹配位姿：這一步是對第一步得到的位姿進(jìn)行優(yōu)化，提高位姿的匹配精度。優(yōu)化位姿的目標(biāo)是使場景中的采樣點(diǎn)到模型中對應(yīng)點(diǎn)所在的平面的最近距離最小，通過計(jì)算場景中模型點(diǎn)的數(shù)量與模型總點(diǎn)數(shù)之比，獲得每個(gè)位姿的新的匹配得分，近似認(rèn)為是場景可見部分的得分，這個(gè)得分比近似匹配的分?jǐn)?shù)更加穩(wěn)定、精確。

第三步：稠密位姿優(yōu)化：使用和第二步一樣的原理，將第二步找到的位姿場景中的所有的點(diǎn)進(jìn)行重新取樣，計(jì)算其與模型中對應(yīng)點(diǎn)的平面距離，因?yàn)槿↑c(diǎn)數(shù)量比第二步多，獲得的匹配位姿精度也得到進(jìn)一步提高。

3.4 工件高度比較

通過獲取匹配的位姿在高度方向的坐標(biāo)，進(jìn)行迭代比較，得到位姿最高的零件，算法算述如下：

vector<int>：：iterator it;

for （it = iObjIds.begin（）; it ！= iObjIds.end（）; it++）

{

GetObjectModel3dParams（hvObjs[it]， "center"， &hvObjCtr）;

if （hvObjTopPs < HTuple（hvObjCtr[2]））

{

// 返回最高點(diǎn)工件序號 ： hvObjTopId

hvObjTopPs = （（const HTuple&）hvObjCtr）[2];

hvObjTopId = *it;

}

}

4 機(jī)器人與視覺系統(tǒng)坐標(biāo)標(biāo)定

4.1 點(diǎn)的坐標(biāo)變換與剛性物體空間位置變換相關(guān)理論

矩陣使用大寫字母加粗來表示（例：R），向量使用小寫字母加粗表示（例：t）。對于直角坐標(biāo)系{A}，空間任一點(diǎn)p1的位置可以用3x1的列矢量p1來表示。將坐標(biāo)系{A}進(jìn)行旋轉(zhuǎn)矩陣R變換和平移矢量t變換后得到點(diǎn)p2，點(diǎn)p2的關(guān)系有：

其中，齊次變換矩陣H可用于剛體在空間內(nèi)的變換，手眼標(biāo)定的目標(biāo)就是矩陣H的求取過程，而抓取位置的變換則是使用H的逆陣。

我們可以用描述空間一點(diǎn)的變換方法來描述物體在空間的位置和方向。例如，圖4.1（a）所示，物體可由固定該物體的坐標(biāo)系內(nèi)的六個(gè)點(diǎn)來表示。

如果首先讓物體繞z軸旋轉(zhuǎn)90°，接著繞y軸旋轉(zhuǎn)90°，再沿x軸方向平移4個(gè)單位，那么，可用下式描述這一變換：

這個(gè)變換矩陣表示對原參考坐標(biāo)系重合的坐標(biāo)系進(jìn)行了旋轉(zhuǎn)和平移操作。

我們可以對上述剛性物體的六個(gè)點(diǎn)變換如下：

變換結(jié)果如圖12（b）。

4.2 手眼標(biāo)定過程中坐標(biāo)變換關(guān)系鏈

本項(xiàng)目中相機(jī)固定位置拍照，機(jī)器人移動(dòng)抓取，如圖13所示，抓取位姿的求解變換是先從相機(jī)坐標(biāo)系換算到機(jī)器人本體坐標(biāo)系，再從工具坐標(biāo)系轉(zhuǎn)換到工件位置。

相機(jī)固定機(jī)器人抓取位姿變換關(guān)系公式描述如下：

系統(tǒng)選取了27個(gè)點(diǎn)進(jìn)行了標(biāo)定手眼標(biāo)定，標(biāo)定原始數(shù)據(jù)如下（部分?jǐn)?shù)據(jù)）

最終獲得的轉(zhuǎn)換矩陣描述如下：

# Rotation angles [deg] or Rodriguez vector：

r 0.00771315076525138 0.381556878028913 0.118107038887647

# Translation vector （x y z [m]）：

t 981.840139561957 -1106.82354359607 -691.74442885262

4.3 手眼標(biāo)定結(jié)果使用

對于標(biāo)定出來的轉(zhuǎn)換矩陣，通過式4.4描述的換算關(guān)系實(shí)現(xiàn)物料抓取位姿的求?。?/p>

使用以下算子實(shí)現(xiàn)：

pose_invert（BaseInCamPose， CamInBasePose）

pose_compose（CamInBasePose， ObjInCamPose，ObjInBasePose）

5 問題總結(jié)及推廣

（1）零件料框包裝干擾問題解決。零件運(yùn)輸過程中為了防潮，在外框包了一層塑料薄膜，抓取過程中，塑料薄膜掉落，會(huì)擋住相機(jī)視線，需要在外框增加卡槽，防止塑料薄膜掉落。（2）機(jī)器人手眼標(biāo)定注意事項(xiàng)。機(jī)器人手眼標(biāo)定過程中，需要視覺系統(tǒng)識別出的位置和機(jī)器人的抓取中心，即TCP重合，視覺標(biāo)定程序設(shè)計(jì)過程中要確認(rèn)這一點(diǎn)，否則變換矩陣求取的結(jié)果是不準(zhǔn)確的。（3）抓取點(diǎn)相鄰的零件干涉問題處理。最初設(shè)計(jì)的抓取點(diǎn)位于曲軸的第三主軸頸位置，該位置接近零件的重心，但也是曲軸相互干涉最多的位置，卡爪沒有夾緊空間。經(jīng)分析后，項(xiàng)目改變抓取點(diǎn)，更改到零件互相接觸少的芯軸位置。

通過一系列技術(shù)和工程手段，3D算法實(shí)現(xiàn)了零件的匹配和定位，再根據(jù)手眼標(biāo)定的結(jié)果進(jìn)行坐標(biāo)變換，并將抓取坐標(biāo)發(fā)給機(jī)器人，機(jī)器人執(zhí)行程序進(jìn)行抓取和送料操作，項(xiàng)目最終實(shí)現(xiàn)了用戶的需求。截止筆者收稿，設(shè)備已經(jīng)完成5萬根曲軸的抓取，成功率超過98%。

參考文獻(xiàn)：

[1]宋麗梅.雙目立體機(jī)器視覺檢測系統(tǒng)及應(yīng)用[J].西南科技大學(xué)學(xué)報(bào)，2006，21（1），第30～34頁.

[2]吳亞鵬.基于雙目視覺的運(yùn)動(dòng)目標(biāo)跟蹤與蘭維測量[D].西北大學(xué)碩士論文，2008，第1～2頁.

[3]張孫亞.面向分揀系統(tǒng)的機(jī)器視覺相關(guān)技術(shù)研究[D].華南理工大學(xué)碩士學(xué)位論文，2017，第5～6頁.