基于3D視覺的水泵生產(chǎn)線零部件無序抓取研究*

陶 杰,吳堯才,朱熙豪,于涵誠,王進(jìn)京,陳雪云

(1.浙江省機(jī)電設(shè)計(jì)研究院有限公司,浙江 杭州 310000;2.浙江省機(jī)電集團(tuán)有限公司,浙江 杭州 310000)

0 引 言

我國制造業(yè)總體規(guī)模持續(xù)擴(kuò)大,但產(chǎn)品制造技術(shù)與國際先進(jìn)水平尚存在較大差距;且發(fā)展水平參差不齊,存在手工、半手工及自動化生產(chǎn)混行狀態(tài)。面對新一輪科技變革和產(chǎn)業(yè)變革的外部形勢,及供給側(cè)結(jié)構(gòu)性改革和實(shí)現(xiàn)跨越式發(fā)展的內(nèi)部需求,我國制造業(yè)對自動化和智能化生產(chǎn)的需求日益增多。

以浙江省為例,其制造業(yè)發(fā)達(dá)且產(chǎn)業(yè)集群明顯,尤其在水泵行業(yè)方面,已建成全國最大的水泵生產(chǎn)基地。但中小企業(yè)對于生產(chǎn)過程的自動化和智能化提升均面臨想改進(jìn),又不知道如何改進(jìn)的狀況。為使其在自動化、智能化、數(shù)字化方面進(jìn)一步提升,首先要對傳統(tǒng)生產(chǎn)線實(shí)施技術(shù)改造。

生產(chǎn)線是影響產(chǎn)品生產(chǎn)效率和品質(zhì)的重要因素。生產(chǎn)線自動化的真正實(shí)現(xiàn),需要高度智能化的工業(yè)機(jī)器人,而三維(3-Dimension,3D)機(jī)器視覺恰好能發(fā)揮這一關(guān)鍵作用。以水泵為例,其主要零部件供料時(shí)一般是無序地堆疊放置在托盤上的,放置的位置和角度都無法確定,機(jī)械臂無法直接進(jìn)行抓取。

時(shí)至今日,工業(yè)界開始探索使用3D機(jī)器視覺引導(dǎo)機(jī)械臂做抓取?；?D機(jī)器視覺的堆疊零部件無序抓取關(guān)鍵技術(shù)研究,其主要工作流程是由3D傳感器組成的視覺系統(tǒng)獲取零部件三維信息,通過計(jì)算機(jī)視覺處理算法分析出目標(biāo)零部件的位姿信息,并由機(jī)械臂根據(jù)計(jì)算機(jī)的反饋信息規(guī)劃抓取路徑,完成抓取工作。因應(yīng)用場景多、復(fù)雜且技術(shù)難度高,該技術(shù)長期以來受到工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。

DROST B等人[1]提出了用于目標(biāo)識別的點(diǎn)對特征,其利用了距離、法線夾角特征,構(gòu)造出了有4個(gè)參數(shù)的特征數(shù)組;結(jié)合哈希表進(jìn)行了窮舉匹配,通過投票得出了最優(yōu)解;該方法的成熟度與穩(wěn)定性較高,但在計(jì)算效率方面依然有提升的可能。BIRDAL T等人[2]提出了對場景進(jìn)行分割,再進(jìn)行點(diǎn)對特征匹配的識別方法;但其對于遮擋情況較敏感,很難用于目標(biāo)識別和精確定位。HINTERSTOISSER S等人[3]改進(jìn)了點(diǎn)對特征法的采樣方法和投票方案,有效增強(qiáng)了噪聲抗干擾性。DIYI L等人[4]提出了一種新的基于點(diǎn)對特征的邊界描述符,使用其切線估計(jì)來準(zhǔn)確掌握工業(yè)組件的位置;但該方法僅利用了點(diǎn)云的部分幾何特征,導(dǎo)致其魯棒性較弱。LI C等人[5]將方向梯度直方圖特征與尺度不變特征變換等特征提取方法相結(jié)合,利用SVM訓(xùn)練樣本,在不同核函數(shù)的驗(yàn)證下完成了特征的檢測;但該方法會增加訓(xùn)練和匹配的所需工作量,增加其對應(yīng)的計(jì)算復(fù)雜度,減慢匹配速度以及投票效率。徐江浪等人[6]提出了一種改進(jìn)目標(biāo)檢測的室內(nèi)場景識別方法,即在目標(biāo)檢測網(wǎng)絡(luò)中引入類轉(zhuǎn)換矩陣,將目標(biāo)檢測網(wǎng)絡(luò)作為輸出進(jìn)行特征轉(zhuǎn)換,保持目標(biāo)檢測和場景特征的維度相一致,以完成室內(nèi)場景的目標(biāo)識別;雖然其在特定的數(shù)據(jù)集上的識別效果較好,但是不具備通用性。XIAO Z等人[7]通過利用共面點(diǎn)對特征的性質(zhì)和物體放置的特征平面,消除了不相關(guān)的點(diǎn)對特征,然后用簡約點(diǎn)對特征描述符進(jìn)行了特征匹配的識別,加快了三維物體在雜亂背景下的識別速度;但當(dāng)三維物體形狀較不規(guī)則時(shí),會導(dǎo)致較大抓取偏差的產(chǎn)生。BILLINGS G等人[8]提出了一種作用于感興趣區(qū)域的管道算法,預(yù)測出了一個(gè)中間輪廓來估計(jì)目標(biāo)位姿,然后從數(shù)據(jù)庫中生成抓取點(diǎn),可同時(shí)完成目標(biāo)姿態(tài)估計(jì)和抓取點(diǎn)選擇;但該方法依賴于感興趣區(qū)域的穩(wěn)定性,如果感興趣區(qū)域存在輕微偏差,會對最終抓取造成嚴(yán)重影響。

綜上所述,在特征提取、目標(biāo)識別與抓取定位等領(lǐng)域,基于3D機(jī)器視覺的堆疊零部件無序抓取的研究取得了一定的成果。但在工業(yè)環(huán)境中,其目標(biāo)識別準(zhǔn)確率與計(jì)算效率依然有較大的提升空間,且缺乏結(jié)合智能化的零部件裝配狀態(tài)的檢測以驗(yàn)證無序抓取的準(zhǔn)確率。

因此,通過分析基于3D機(jī)器視覺的堆疊零部件無序抓取的技術(shù)現(xiàn)狀和存在的問題,結(jié)合未來智能制造發(fā)展的方向,筆者擬依托浙江進(jìn)越水泵生產(chǎn)線智能化改造項(xiàng)目,實(shí)現(xiàn)堆疊零部件的識別、無序抓取及零部件裝配狀態(tài)的檢測。

1 系統(tǒng)的構(gòu)成

筆者擬設(shè)計(jì)改造的水泵生產(chǎn)線由泵體自動上料、定子自動上料和壓裝、自動翻轉(zhuǎn)、門蓋壓裝、螺釘自動擰緊、轉(zhuǎn)子自動壓裝、油缸自動壓裝、機(jī)封自動裝配、氣密性檢測、卡簧自動裝配、自動下線機(jī)械手等工位組成。

水泵生產(chǎn)線示意圖如圖1所示。

圖1 水泵生產(chǎn)線示意圖

上述生產(chǎn)線改造的核心是在現(xiàn)水泵生產(chǎn)線的基礎(chǔ)上,融入基于3D機(jī)器視覺的無序抓取系統(tǒng),從而實(shí)現(xiàn)水泵生產(chǎn)自動化。

水泵生產(chǎn)的無序抓取系統(tǒng)如圖2所示。

圖2 無序抓取示意圖

該系統(tǒng)包含3D視覺、算法執(zhí)行、運(yùn)動控制等模塊,系統(tǒng)各模塊之間、模塊各組件之間相互協(xié)作,可實(shí)現(xiàn)采集圖像、檢測零部件裝配狀態(tài)、計(jì)算定位坐標(biāo)、控制裝配信號等功能。

系統(tǒng)組成框圖如圖3所示。

圖3 3D視覺系統(tǒng)組成框圖

為了實(shí)現(xiàn)水泵零部件的檢測和定位,機(jī)械臂使用六軸機(jī)器人;抓具使用平行夾爪;3D視覺通過視覺支架安裝在泵體托盤的上方;視覺的拍照范圍可以覆蓋整個(gè)托盤;并需要根據(jù)現(xiàn)場加工環(huán)境設(shè)計(jì)照明成像方案,以獲取高質(zhì)量的圖像。

此處筆者采用平面拍照位置,對比選擇高度測量方法,確認(rèn)照明成像方案所需的硬件設(shè)備;然后根據(jù)工作距離和圖像質(zhì)量要求,對相機(jī)和鏡頭進(jìn)行選型;最后根據(jù)成像效果,決定光源的位置和角度。

此處使用的硬件主要有:機(jī)械臂、深度相機(jī)、發(fā)光二極管光源、激光器、附帶數(shù)字量輸入輸出卡的工控機(jī)、可編程邏輯控制器等,如圖4所示。

圖4 系統(tǒng)實(shí)物圖

在水泵堆疊零部件識別與定位系統(tǒng)中,上料工作流程圖如圖5所示。

圖5 系統(tǒng)上料工作流程圖

系統(tǒng)下料流程圖如圖6所示。

圖6 系統(tǒng)下料工作流程圖

圖6中,生產(chǎn)線所需的料框從倉庫運(yùn)送到指定的工位,3D視覺模塊被觸發(fā),根據(jù)信號分別進(jìn)行LED光源下拍照、激光光源下二次拍照,圖像通過算法執(zhí)行模塊的工控機(jī)進(jìn)行物料種類檢測,若物料符合要求,機(jī)器人根據(jù)定位坐標(biāo)進(jìn)行抓取,并進(jìn)行裝配;裝配完成后,對半成品再次進(jìn)行拍照,圖像通過算法執(zhí)行模塊的工控機(jī)進(jìn)行裝配狀態(tài)檢測;若裝配錯(cuò)誤,機(jī)器人根據(jù)定位坐標(biāo)移動到抓取位置,及時(shí)剔除不合格半成品,其余半成品則運(yùn)輸至下一工位,等待裝配。

2 堆疊零部件的識別

堆疊零部件的識別步驟包括特征提取、區(qū)分,標(biāo)識與離線訓(xùn)練,及在線匹配。

2.1 點(diǎn)云目標(biāo)特征描述子

深度相機(jī)通過近紅外激光器添加了一個(gè)深度測量功能,因此在3D機(jī)器視覺中通常使用深度相機(jī)來獲取三維結(jié)構(gòu)。深度相機(jī)將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上,由于被攝物體的不同深度區(qū)域而產(chǎn)生不同的圖像相位信息;然后通過運(yùn)算單元將這種結(jié)構(gòu)的變化換算成深度信息,以此獲得三維結(jié)構(gòu)[9]。

深度相機(jī)如圖7所示。

圖7 深度相機(jī)實(shí)物圖

在深度相機(jī)下堆疊零部件的2D圖如圖8所示。

圖8 堆疊零部件2D示意圖

深度圖像是物體的三維表示形式[10],通過深度相機(jī)獲取到圖像中每個(gè)點(diǎn)離攝像頭距離的數(shù)據(jù),再加上該點(diǎn)在2D圖像中的(x,y)坐標(biāo),就能獲取圖像中每個(gè)點(diǎn)的三維空間坐標(biāo)。通過深度照相機(jī)的內(nèi)標(biāo)定參數(shù),深度圖像經(jīng)過坐標(biāo)轉(zhuǎn)換可以計(jì)算為點(diǎn)云數(shù)據(jù),也就是將深度圖像轉(zhuǎn)換為點(diǎn)云圖。

筆者采集的點(diǎn)云圖即由此獲取,如圖9所示。

圖9 堆疊零部件深度及點(diǎn)云圖

總體來說,堆疊零部件場景屬于復(fù)雜場景點(diǎn)云,局部特征描述子具有較強(qiáng)的尺度不變性和魯棒性;對于復(fù)雜場景,點(diǎn)云可以很好地提取特征,但是零部件的邊緣信息在提取過程中必須呈現(xiàn)完整或是部分缺失,檢測點(diǎn)的位置必須有穩(wěn)固的支撐點(diǎn)且必須被重復(fù)利用。由于局部描述符只使用查詢點(diǎn)的鄰域信息,容易對場景分割不敏感[11];局部描述具有高維數(shù)、高內(nèi)存消耗和高計(jì)算復(fù)雜度等不足。

基于全局特征描述子的堆疊零部件識別方法需將零部件從背景中分離出來,然后通過描述零部件的全部特征或是顯著性特征來進(jìn)行目標(biāo)識別,該方法可以應(yīng)用在三維物體的分類和匹配當(dāng)中。全局特征描述子可以在不同視角下檢測到目標(biāo)物體的整體點(diǎn)云,建立不同視角下的模型庫,最終識別結(jié)果和真實(shí)位姿通過模型庫匹配得出。特征提取通過遍歷點(diǎn)云中的全部點(diǎn),全局特征描述子的計(jì)算量比較小,結(jié)構(gòu)簡單,適合在線系統(tǒng)使用。

針對筆者研究的情況,3D視覺掃描的堆疊零部件點(diǎn)云存在遮擋或者缺失的部分,需要一種魯棒性很強(qiáng)的特征描述方法,適用于具有遮擋和堆疊等條件下的零部件檢測。為了能準(zhǔn)確識別出目標(biāo)點(diǎn)云,筆者選用全局描述子進(jìn)行特征提取。點(diǎn)對特征法(point-pair-features,PPF)是最常用的方法,點(diǎn)云中的點(diǎn)兩兩形成一對,點(diǎn)對特征形成全局描述子[12]。定義特征A如下:

A(m1,m2)=(‖d‖2,∠(n1,n2),∠(n1,d),∠(n2,d))

(1)

式中:m1,m2—點(diǎn)云中任意兩個(gè)點(diǎn);n1,n2—各自的法向量;d—差矢量。

盡管PPF特征描述子只使用兩個(gè)數(shù)據(jù)點(diǎn)來描述特征,但目標(biāo)點(diǎn)云受雜波影響或存在丟失的情況,PPF也可以體現(xiàn)空間點(diǎn)在目標(biāo)模型中的實(shí)際位姿。

2.2 離線訓(xùn)練和在線匹配

通過使用特征匹配來實(shí)現(xiàn)場景中的零部件點(diǎn)云和模型點(diǎn)云的匹配[13],關(guān)鍵在于找到與場景目標(biāo)有相同特性的模型點(diǎn),最后通過點(diǎn)對點(diǎn)的對應(yīng)關(guān)系來實(shí)現(xiàn)三維目標(biāo)的匹配。

由于場景點(diǎn)云和模型點(diǎn)云中都有一組匹配點(diǎn)對,其中每個(gè)點(diǎn)都有對應(yīng)的法向量。因此筆者首先在離線階段,創(chuàng)建全局模型描述;在線階段時(shí),在場景中選擇參考點(diǎn)與模型中的參考點(diǎn)配對來創(chuàng)建點(diǎn)對特征,然后通過有效的投票方案來對零部件進(jìn)行投票,并且該投票方案最終返回最佳匹配的零部件。

2.2.1 全局模型描述

為了在離線階段構(gòu)建全局模型描述,該項(xiàng)目使用點(diǎn)對特征。其中,相似的特征向量被組合在一起[14],利用公式計(jì)算模型表面上的所有點(diǎn)對mi,mj∈M對應(yīng)的特征向量F,即:

(2)

式中:ddist—距離閾值;dangle—角度閾值;quantize(PPT)—將點(diǎn)對特征進(jìn)行離散化;F1—差矢量的絕對值;F2,F3,F4—矢量夾角。

其中:ddist=τdR;dangle=2π/nangle。

構(gòu)建特征向量所需的距離閾值ddist與角度閾值dangle要依據(jù)實(shí)際模型情況進(jìn)行適宜調(diào)整。

此處,距離閾值ddist=τdR,采樣率τd設(shè)定為15%,R為模型的直徑;角度閾值dangle=2π/nangle,法線方向的采樣閾值nangle設(shè)置為36°。經(jīng)過多次試驗(yàn),上述閾值下對水泵零部件模型和場景點(diǎn)云進(jìn)行采樣,可以使點(diǎn)云中的全部點(diǎn)都具有最小距離閾值,以更好地獲取模型表面上的細(xì)節(jié)信息。

全局模型描述是指從點(diǎn)對特征空間到模型點(diǎn)云的映射[15],其示意圖如圖10所示。

圖10 全局模型描述示意圖

圖10顯示了單個(gè)模型上具有相似特征F的點(diǎn)對示例,模型中點(diǎn)對描述由采樣特征索引的哈希表來表示。

2.2.2 局部參考系的確定

局部參考系主要用于模型點(diǎn)云與目標(biāo)點(diǎn)云之間的位置轉(zhuǎn)換關(guān)系[16],如圖11所示。

圖11 模型和場景的坐標(biāo)轉(zhuǎn)換示意圖

對于兩個(gè)具有相似特征F的點(diǎn)對,若將模型點(diǎn)對(mr,ms)∈M2對齊到場景對(sr,ss)∈S2,可通過式(3)由局部模型坐標(biāo)變換到場景坐標(biāo),即:

(3)

對于目標(biāo)點(diǎn)云中的任意一點(diǎn)si,在模型點(diǎn)云上必有一點(diǎn)mi與之對應(yīng),而點(diǎn)si到點(diǎn)mi的變換是由局部模型坐標(biāo)變換到場景坐標(biāo),其核心之處取決于旋轉(zhuǎn)角α的計(jì)算。旋轉(zhuǎn)角α是目標(biāo)點(diǎn)對特征si和原點(diǎn)的連線與模型點(diǎn)對特征mi和原點(diǎn)的連線形成的夾角,因此在提取點(diǎn)對特征過程中可以提前計(jì)算得到。旋轉(zhuǎn)角α的計(jì)算速度與準(zhǔn)確性將直接影響后文投票過程中所需時(shí)間與識別匹配零部件的準(zhǔn)確性,因此,筆者提前計(jì)算旋轉(zhuǎn)角α并保存。

2.2.3 基于霍夫變換的投票方案

霍夫變換的投票方案在目標(biāo)識別領(lǐng)域應(yīng)用廣泛。對于場景點(diǎn)云和模型點(diǎn)云構(gòu)建的點(diǎn)對特征,通過投票方案得到的局部坐標(biāo)有助于找到模型點(diǎn)云轉(zhuǎn)換至場景點(diǎn)云之間的剛體變換關(guān)系[17]。因此,筆者使用基于霍夫變換的投票策略完成目標(biāo)的識別匹配,如圖12所示。

圖12 投票方案示意圖

投票步驟可簡述如下:

(1)在場景中選定任意兩點(diǎn)sr與si形成點(diǎn)對,計(jì)算特征向量Fs(sr,si);

(2)將具有相似特征向量Fs的模型點(diǎn)對(mr,ms)∈M2保全在全局模型描述階段中建立的哈希表中,再把Fs作為檢索因子搜索哈希表,獲取模型點(diǎn)對;

(3)用α=αs-αm求解模型點(diǎn)對的旋轉(zhuǎn)角;

(4)最后利用二維累加器的對應(yīng)單位,對局部坐標(biāo)(mr,α)進(jìn)行投票。

3 堆疊零部件的點(diǎn)云位姿優(yōu)化

筆者對識別到的堆疊零部件目標(biāo)進(jìn)行粗匹配、精匹配,最終得到目標(biāo)的位姿估計(jì),通過手眼標(biāo)定的坐標(biāo)系轉(zhuǎn)換,使得機(jī)械臂能準(zhǔn)確完成抓取任務(wù)。

3.1 位姿粗匹配

筆者擬采用隨機(jī)采樣一致算法(RANdom-SAmple-Consensus,RANSAC)進(jìn)行位姿粗估計(jì),其基本流程:為減少運(yùn)算量,提取點(diǎn)云的關(guān)鍵點(diǎn);選取由PPF特征建立的目標(biāo)點(diǎn)云的特征集作為樣本集;通過將模板特征集進(jìn)行多次迭代匹配確定最優(yōu)轉(zhuǎn)換關(guān)系,完成位姿粗估計(jì)。

位姿粗匹配的流程如圖13所示。

圖13 位姿粗匹配流程圖

3.2 位姿精匹配

采用最近點(diǎn)迭代算法(iterative-closest-point,ICP)對粗估計(jì)得到的位姿進(jìn)行精確估計(jì),以進(jìn)一步減少位姿誤差,提高定位精度;將粗定位得到的旋轉(zhuǎn)平移矩陣作為初始矩陣,通過迭代最近點(diǎn)的方式獲取滿足要求的旋轉(zhuǎn)平移矩陣。

位姿精匹配的具體流程如圖14所示。

圖14 位姿精匹配的流程圖

3.3 匹配結(jié)果

此處筆者以水泵泵體為例,其匹配結(jié)果圖如圖15所示。

圖15 水泵泵體匹配結(jié)果圖

其中,圖15(a)為無序堆疊泵體零部件;圖15(b)為水泵泵體的粗匹配;圖15(c)為水泵泵體的精匹配;

通過圖15(b)可以看出,只有局部幾個(gè)未遮擋的水泵泵體的點(diǎn)云得到了匹配;圖15(c)中,通過最近點(diǎn)迭代算法對粗匹配結(jié)果進(jìn)行精確估計(jì),結(jié)果發(fā)現(xiàn)水泵泵體的模型點(diǎn)云與目標(biāo)點(diǎn)云幾乎完全重疊,實(shí)現(xiàn)了較好的點(diǎn)云匹配效果。

3.4 手眼標(biāo)定

手眼標(biāo)定是機(jī)器人抓取系統(tǒng)中的重要環(huán)節(jié)。它將3D傳感器坐標(biāo)系與機(jī)械臂坐標(biāo)系聯(lián)系到一起,確定了兩者之間的轉(zhuǎn)換關(guān)系。3D視覺系統(tǒng)定位到目標(biāo)工件的位姿信息后,需轉(zhuǎn)換到機(jī)器人坐標(biāo)系,才能使機(jī)械臂“知道”目標(biāo)工件的位置。

筆者采用的Eye-to-Hand手眼系統(tǒng)主要包括兩部分,即基于六關(guān)節(jié)軸的機(jī)械臂的機(jī)械系統(tǒng)和深度相機(jī)視覺系統(tǒng),所求的就是深度相機(jī)構(gòu)成的3D坐標(biāo)系與機(jī)械臂基座坐標(biāo)系之間的轉(zhuǎn)換關(guān)系;

通過控制機(jī)械臂夾取己知標(biāo)定物呈現(xiàn)不同位姿,基于深度相機(jī)的視覺系統(tǒng)“觀察”標(biāo)定物位姿;然后根據(jù)兩次運(yùn)動之間機(jī)械臂末端發(fā)生的移動量和視覺系統(tǒng)中標(biāo)定物位姿的變化量,計(jì)算手眼變換矩陣,從而實(shí)現(xiàn)機(jī)械臂的無序抓取。

4 零部件裝配狀態(tài)的檢測

在實(shí)現(xiàn)機(jī)械臂的無序抓取后,還需要識別并判斷裝配體各零部件狀態(tài)是否準(zhǔn)確。在無序抓取系統(tǒng)中引入零部件實(shí)時(shí)裝配狀態(tài)檢測,可以提高裝配效率及作業(yè)質(zhì)量,減少后期人工檢查時(shí)間。其中,裝配體各零部件的識別是完成裝配監(jiān)測的基礎(chǔ),由于前文已經(jīng)完成了對各零部件的識別,只需通過分析推斷出該零部件的具體狀態(tài),從而判斷裝配過程是否出現(xiàn)錯(cuò)誤。

鑒于裝配過程中會出現(xiàn)的裝配錯(cuò)誤為零部件錯(cuò)位和零部件漏裝,筆者將待測狀態(tài)零部件圖像與正確裝配零部件圖像進(jìn)行對比,以此來判斷是否存在以上兩種裝配錯(cuò)誤。其判斷過程如下:

(1)采集裝配體在該位置下正確裝配所對應(yīng)的正確裝配圖像;

(2)采集各個(gè)零部件在每個(gè)裝配過程中階段性的半成品圖像,并定義為待測圖像;

(3)將正確裝配圖像與待測圖像進(jìn)行比對,分別計(jì)算出正確裝配圖像與待測圖像的像素點(diǎn)重合率a,以及正確裝配圖像中各零部件相對于待測圖像中各零部件的像素點(diǎn)重合率b。

首先,裝配件的重合率a用于判斷裝配過程是否出錯(cuò),其重合率a接近1,基本可以認(rèn)定其裝配正確,小于1則可以認(rèn)為存在漏裝或錯(cuò)裝的可能;其次,使用各零部件的重合率b用于判斷裝配過程出錯(cuò)的類型,只要正確裝配圖像與待測圖像之間的各零部件均能重合,即可認(rèn)為不存在漏裝。

例如:當(dāng)某裝配件的重合率a遠(yuǎn)小于1,各零部件的重合率b接近1,基本可以判斷該零部件錯(cuò)位;當(dāng)某裝配件的重合率a遠(yuǎn)小于1,各零部件的重合率b遠(yuǎn)小于1,基本可以判斷該零部件存在漏裝。

5 水泵泵體實(shí)驗(yàn)分析與評估

為了驗(yàn)證基于3D機(jī)器視覺的堆疊零部件無序抓取系統(tǒng)的性能,筆者依托浙江進(jìn)越水泵自動化生產(chǎn)線改造項(xiàng)目,實(shí)際搭建了無序抓取系統(tǒng)用以驗(yàn)證改造效果。

水泵自動化生產(chǎn)線主要涉及葉輪、泵體、泵軸、軸承和填料密封裝置等零部件的組裝,因此筆者將這些零部件用于實(shí)驗(yàn)分析與評估。

抓取的準(zhǔn)確率和耗時(shí)是本系統(tǒng)性能的最終體現(xiàn),但抓取的準(zhǔn)確率和耗時(shí)直接受零部件的點(diǎn)云數(shù)據(jù)大小的影響。

此處筆者以水泵的泵體為例。點(diǎn)對特征數(shù)目對識別準(zhǔn)確率的影響曲線如圖16所示。

圖16 點(diǎn)對特征數(shù)目對識別準(zhǔn)確率的影響曲線

圖16中,隨著水泵的泵體點(diǎn)對特征數(shù)目的增加,泵體的數(shù)據(jù)信息、有效特征更加詳細(xì)明顯,因此識別準(zhǔn)確率也在顯著增加;點(diǎn)對特征數(shù)目到達(dá)7×104之后,其對識別準(zhǔn)確率的影響有限,但會增加識別的耗時(shí)。

此處仍以水泵的泵體為例,得到了點(diǎn)對特征數(shù)目對識耗時(shí)的影響曲線,如圖17所示。

由圖17可知:隨著點(diǎn)對特征數(shù)目的增加,算法對水泵泵體的識別耗時(shí)也在逐步增加。

圖17 點(diǎn)對特征數(shù)目對識別耗時(shí)的影響曲線

為保證該系統(tǒng)性能與實(shí)用性最佳,筆者最終選定點(diǎn)對特征數(shù)目為730 830,匹配準(zhǔn)確率為94.64%,匹配耗時(shí)為1.142 4 s。

對于水泵的其他各類零部件,筆者均進(jìn)行最優(yōu)的點(diǎn)對特征數(shù)目確定。

具體的評估統(tǒng)計(jì)結(jié)果如表1所示。

表1 評估統(tǒng)計(jì)

系統(tǒng)的最終現(xiàn)場直觀表現(xiàn)性能為抓取成功率,因此,筆者在機(jī)械臂無序抓取平臺中進(jìn)行實(shí)際抓取實(shí)驗(yàn)。

實(shí)驗(yàn)中,抓取對象主要有各類型水泵的泵體,包括離心泵泵體、軸流泵泵體、潛水泵泵體(3種泵體的特征均有相似之處,因此更適于作為該系統(tǒng)抓取成功率驗(yàn)證評估對象)。

實(shí)驗(yàn)中,筆者將離心泵泵體、軸流泵泵體、潛水泵泵體無序放置于箱體中,每類各10個(gè),并重復(fù)實(shí)驗(yàn)10次;記錄機(jī)械臂從箱中抓取泵體的成功次數(shù),得到系統(tǒng)抓取成功率統(tǒng)計(jì)結(jié)果,如表2所示。

表2 抓取成功率統(tǒng)計(jì)

在抓取過程中,當(dāng)多個(gè)水泵泵體相互靠近貼合時(shí),相鄰的泵體會影響零件抓取,從而導(dǎo)致部分泵體抓取失敗。

綜上所述,在實(shí)際的水泵泵體抓取實(shí)驗(yàn)中,采用該方法能夠有效地識別工件位姿,其總體平均成功率為92.3%,可以較好地引導(dǎo)機(jī)械臂實(shí)施無序抓取;同時(shí),表1中的識別耗時(shí)、位姿粗估計(jì)耗時(shí)及位姿精匹配耗時(shí)均符合實(shí)時(shí)性要求,因此,該方法具備一定的實(shí)用性。

6 結(jié)束語

筆者通過分析基于3D機(jī)器視覺的堆疊零部件無序抓取技術(shù)現(xiàn)狀和存在的問題,結(jié)合未來智能制造發(fā)展的方向,通過構(gòu)建堆疊零部件的識別定位模型及零部件裝配狀態(tài)的判別模型,實(shí)現(xiàn)了對堆疊零部件的識別及零部件裝配狀態(tài)的檢測;并以“手眼標(biāo)定”的坐標(biāo)系轉(zhuǎn)換引導(dǎo)機(jī)械臂準(zhǔn)確完成了抓取任務(wù),建立了一套基于3D機(jī)器視覺的堆疊零部件無序抓取系統(tǒng)。

該研究的主要成果如下:

(1)采用全局特征描述子PPF算法提取了零部件特征,基于霍夫變換的投票策略實(shí)現(xiàn)了對堆疊環(huán)境下的零部件識別;

(2)應(yīng)用隨機(jī)采樣一致算法進(jìn)行位姿粗估計(jì),利用最近點(diǎn)迭代算法對位姿結(jié)果進(jìn)行微調(diào),最終得到了目標(biāo)的位姿估計(jì),經(jīng)過標(biāo)定的轉(zhuǎn)換矩陣確定零部件在真實(shí)世界坐標(biāo)系下的位置和姿態(tài),以引導(dǎo)機(jī)械手對堆疊擺放的零部件進(jìn)行精準(zhǔn)抓取和放置;

(3)最終將待測狀態(tài)零部件圖像與正確裝配零部件圖像進(jìn)行對比來判斷零部件裝配狀態(tài),判斷裝配是否漏裝、錯(cuò)裝,對零部件的裝配進(jìn)行了有效監(jiān)測。

該系統(tǒng)目前已在水泵實(shí)際生產(chǎn)線應(yīng)用,但仍存在不足之處有待完善。因此,在后續(xù)的研究中,主要的方向包括:

(1)目標(biāo)需要識別的零部件種類較多,現(xiàn)采用無序抓取,且未定義抓取順序,未來將研究最優(yōu)抓取規(guī)劃;

(2)該系統(tǒng)的識別時(shí)耗、位姿粗估計(jì)時(shí)耗及位姿精匹配時(shí)耗均有提升空間,未來將對此進(jìn)行研究,尤其是針對有快速分揀需求的場景。