機(jī)器人動(dòng)態(tài)裝配生產(chǎn)線目標(biāo)中心點(diǎn)視覺跟蹤軟件設(shè)計(jì)

田 剛，曹 鳳，韓 昌*

(1.天門職業(yè)學(xué)院，湖北 天門 431700；2.武漢商學(xué)院，湖北 武漢 430056)

0 引言

隨著產(chǎn)品多樣化的發(fā)展，包裝盒的需求與日俱增，比如酒盒、手機(jī)盒、禮品盒等，這類盒子統(tǒng)稱天地蓋，盒子的蓋子為“天”，底部為“地”。傳統(tǒng)方法是手工貼合，盒子有4個(gè)角，需要貼合4次，效率極低，有的廠家使用輔助設(shè)備配合人工完成包裝盒裱糊，不僅會(huì)存在人工誤差，還會(huì)增加原料以及生產(chǎn)成本。

以機(jī)器人為主體，可以批量完成產(chǎn)品裝配的流水線，即機(jī)器人動(dòng)態(tài)裝配生產(chǎn)線[1]。此生產(chǎn)線可以讓大量勞動(dòng)力得以解放，降低生產(chǎn)成本，保證產(chǎn)品的生產(chǎn)效率和穩(wěn)定性。目前，機(jī)器視覺廣泛應(yīng)用于食品包裝、制藥、消費(fèi)電子、印刷、安防監(jiān)控等領(lǐng)域[2]。機(jī)器人視覺系統(tǒng)也在朝著智能化、高精度、多目三維發(fā)展。常見的視頻目標(biāo)檢測(cè)措施有光流法[3]、幀間差分法[4]、背景差分法[5]等。李鵬[6]等人使用了視覺注意輔助ViBe算法進(jìn)行目標(biāo)檢測(cè)。該方法首先估計(jì)背景運(yùn)動(dòng)模型，然后用輔助ViBe算法處理補(bǔ)償幀，進(jìn)而獲取運(yùn)動(dòng)背景下序列圖像中的前景目標(biāo)，提高了檢測(cè)能力，但是如果運(yùn)動(dòng)目標(biāo)較大則無法達(dá)到要求。牛文雨[7]等人在補(bǔ)償相機(jī)運(yùn)動(dòng)時(shí)，采用二維稀疏光流法，利用幀間差分法將檢測(cè)到的目標(biāo)與靜態(tài)區(qū)域分離，從而達(dá)到了更好的補(bǔ)償相機(jī)運(yùn)動(dòng)的效果，這些方法減小了運(yùn)動(dòng)目標(biāo)對(duì)相機(jī)位姿估計(jì)的影響，但是耗時(shí)有所增加，而且該方法在對(duì)垂直相機(jī)平面運(yùn)動(dòng)的物體檢測(cè)方面有待完善。近期又陸續(xù)出現(xiàn)了許多視覺定位的方法[8-9]，在定位精度或者處理速度上會(huì)有所限制。鑒于此，本文提出了基于目標(biāo)中心點(diǎn)的機(jī)器人動(dòng)態(tài)視覺定位系統(tǒng)。

1 機(jī)器人動(dòng)態(tài)視覺跟蹤與定位系統(tǒng)設(shè)計(jì)分析

1.1 機(jī)器人視覺跟蹤與定位系統(tǒng)架構(gòu)

在裱糊線機(jī)器人定位過程中，視覺系統(tǒng)屬于核心部分。光源負(fù)責(zé)給采集對(duì)象打光，使采集對(duì)象在采集的圖像中更加清晰。該設(shè)計(jì)的相機(jī)部分主要由圖像采集卡和CMOS芯片組成。圖像處理系統(tǒng)是對(duì)目標(biāo)的有效信息進(jìn)行提取，是視覺系統(tǒng)的核心部分，包括圖像分析和特征提取等。機(jī)器人視覺跟蹤與定位系統(tǒng)架構(gòu)如圖1所示。

圖1 機(jī)器人視覺跟蹤與定位系統(tǒng)架構(gòu)

1.2 圖像采集模塊設(shè)計(jì)分析

本設(shè)計(jì)選用COMS芯片的MVC5001MF數(shù)字?jǐn)z像頭，其綜合性價(jià)比較高。相機(jī)成像時(shí)，光源對(duì)成像效果具有一定影響。打光不好會(huì)使視覺系統(tǒng)采集圖像的質(zhì)量變差，甚至影響算法定位精度。光源一般有白熾燈、LED、紅外線、紫外線等。工業(yè)視覺所使用的光源主要為LED，其單色性好，顏色多樣，壽命長，成本低，是工業(yè)拍照打光首選。本設(shè)計(jì)選用紅色LED燈作為光源。依據(jù)本設(shè)計(jì)實(shí)際情況，選用vanch公司中的V4L140210-R24矩形光源及VR205-90-red環(huán)形光，是通過4根LED條形光組成的，可以更好地提高圖片質(zhì)量等。

1.3 位置標(biāo)定處理模塊分析

1.3.1 相機(jī)參數(shù)

相機(jī)成像模型表達(dá)了給定世界坐標(biāo)與圖像坐標(biāo)的關(guān)系，每臺(tái)攝像機(jī)的自身特點(diǎn)以及擺放位置等參數(shù)都對(duì)世界坐標(biāo)和圖像坐標(biāo)的轉(zhuǎn)換有極大影響，因此，需要一組已知的坐標(biāo)作為參考點(diǎn)來計(jì)算這兩種影響因素所表達(dá)的參數(shù)。從World坐標(biāo)系轉(zhuǎn)換為pixel坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

(1)

結(jié)合公式(1)，可知相機(jī)內(nèi)參矩陣為公式(2)。

(2)

1.3.2 基于多點(diǎn)測(cè)量的目標(biāo)定位

本文提出了一種基于四點(diǎn)排序篩選的四點(diǎn)目標(biāo)中心定位法。首先在像素坐標(biāo)系將工件的4個(gè)角點(diǎn)檢測(cè)出來，然后對(duì)矩形工件畫對(duì)角線，對(duì)角線的交點(diǎn)即為工件中心點(diǎn)，再用四點(diǎn)排序篩選出工件中心點(diǎn)坐標(biāo)(即工件行坐標(biāo)的中間坐標(biāo)與列坐標(biāo)的中間坐標(biāo)組合)。本文研究對(duì)象的尺寸為長350 mm、寬194 mm。設(shè)工件的角點(diǎn)為A，B，C，D，工件中心點(diǎn)為E(x,y)。工件行坐標(biāo)的中間坐標(biāo)為AB的中點(diǎn),工件列坐標(biāo)的中間坐標(biāo)為AD的中點(diǎn)。

四點(diǎn)排序過程：首先在像素坐標(biāo)系將工件初始行坐標(biāo)和結(jié)束行坐標(biāo)從小到大排序，取中間行坐標(biāo)(即為x)，將工件初始列坐標(biāo)和結(jié)束列坐標(biāo)從小到大排序，取中間列坐標(biāo)(即為y)，將篩選出的行列坐標(biāo)組合即為中心點(diǎn)(x,y)。通過像素坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系矩陣，將像素坐標(biāo)系的工件中心點(diǎn)坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)系的工件中心點(diǎn)坐標(biāo)，視覺定位系統(tǒng)將處理得到的工件中心點(diǎn)坐標(biāo)信息通過網(wǎng)絡(luò)通信傳遞給機(jī)器人，即可實(shí)現(xiàn)中心點(diǎn)定位。四點(diǎn)目標(biāo)中心點(diǎn)定位法如圖2所示。

圖2 四點(diǎn)目標(biāo)中心點(diǎn)定位法

2 機(jī)器人動(dòng)態(tài)跟蹤視覺跟蹤與定位軟件系統(tǒng)實(shí)現(xiàn)

視覺軟件實(shí)現(xiàn)過程首先要進(jìn)行相機(jī)內(nèi)參和位姿標(biāo)定，通過這兩個(gè)標(biāo)定對(duì)相機(jī)進(jìn)行矯正，然后用halcon算法提取產(chǎn)品中心點(diǎn)，最后采用四點(diǎn)排序篩選出交點(diǎn)中的工件中心點(diǎn)(見圖3)。

圖3 中心點(diǎn)跟蹤算法實(shí)現(xiàn)過程

3 軟件設(shè)計(jì)結(jié)果與驗(yàn)證測(cè)試

3.1 軟件設(shè)計(jì)結(jié)果

界面會(huì)顯示當(dāng)前時(shí)間、視覺定位系統(tǒng)通信狀態(tài)、系統(tǒng)信息以及手動(dòng)/自動(dòng)設(shè)置等信息以及模式切換，可以將系統(tǒng)模式變?yōu)楣芾韱T、顧客、自動(dòng)生產(chǎn)等模式。管理員模式可以設(shè)置7個(gè)選項(xiàng)，分別是選擇產(chǎn)品、產(chǎn)品設(shè)置、相機(jī)設(shè)置、制作模板、相機(jī)標(biāo)定、坐標(biāo)系標(biāo)定、雙相機(jī)位置標(biāo)定。

在所有的參數(shù)都設(shè)置好以及產(chǎn)品匹配、手眼標(biāo)定、傳送帶標(biāo)定完成后，系統(tǒng)會(huì)根據(jù)設(shè)置好的參數(shù)自動(dòng)進(jìn)行目標(biāo)跟蹤。在生產(chǎn)模式的界面最下面會(huì)顯示當(dāng)前系統(tǒng)狀態(tài)為自動(dòng)運(yùn)行，顯示目標(biāo)的行列坐標(biāo)以及旋轉(zhuǎn)角度，還會(huì)顯示對(duì)這3個(gè)參數(shù)的補(bǔ)償數(shù)據(jù)、生產(chǎn)效率等。另外還可以設(shè)置開始時(shí)間、產(chǎn)出數(shù)量等。

3.2 相機(jī)標(biāo)定結(jié)果

在管理員模式對(duì)相機(jī)進(jìn)行標(biāo)定。制作模板，將標(biāo)定板分別擺成各種姿態(tài)，進(jìn)行圖像采集并保存，本實(shí)驗(yàn)選取了16種姿態(tài)圖片可進(jìn)行相機(jī)內(nèi)參標(biāo)定；導(dǎo)入采集的整個(gè)標(biāo)定板圖進(jìn)行相機(jī)位姿標(biāo)定；采集標(biāo)定板的左右標(biāo)志點(diǎn)獲取橫縱坐標(biāo)，計(jì)算夾角。相機(jī)內(nèi)參和外參可利用World坐標(biāo)系和pixel坐標(biāo)系的關(guān)系矩陣進(jìn)行求取，進(jìn)行計(jì)算之后就可以對(duì)相機(jī)進(jìn)行矯正。

3.3 結(jié)果分析

在進(jìn)行相機(jī)標(biāo)定、坐標(biāo)系標(biāo)定、坐標(biāo)及角度補(bǔ)償?shù)冗^程后，機(jī)器人視覺定位系統(tǒng)成功地進(jìn)行了包裝盒中心點(diǎn)定位，因此，本次機(jī)器人視覺跟蹤與定位系統(tǒng)軟件設(shè)計(jì)測(cè)試比較成功，較精確地實(shí)現(xiàn)了工件中心點(diǎn)定位。在相機(jī)內(nèi)參標(biāo)定時(shí)選取了16種位姿，成功在圖像中建立了標(biāo)定坐標(biāo)，使標(biāo)定更加精確。對(duì)坐標(biāo)系的標(biāo)定也較成功，獲取的點(diǎn)位置計(jì)算較精確，計(jì)算夾角時(shí)算法也未出現(xiàn)異常。切換至自動(dòng)生產(chǎn)時(shí)，視覺算法較好的進(jìn)行了位置補(bǔ)償，實(shí)現(xiàn)了精準(zhǔn)定位，大大提高了包裝盒生產(chǎn)效率和裝配精度。

4 結(jié)語

本文介紹了一種視覺定位系統(tǒng)，設(shè)計(jì)了機(jī)器人視覺系統(tǒng)架構(gòu)，對(duì)圖像采集模塊進(jìn)行分析，包括相機(jī)選型、光源選型等。位置標(biāo)定處理模塊進(jìn)行分析，提出了四點(diǎn)目標(biāo)中心點(diǎn)定位法，分析了工件位置運(yùn)動(dòng)補(bǔ)償原理，設(shè)計(jì)了視覺定位軟件系統(tǒng)，最終經(jīng)過測(cè)試，該軟件可以精確實(shí)現(xiàn)包裝盒中心點(diǎn)跟蹤定位。