缺乏邊緣信息的圓中心定位

吳光宇，胡之瀚，葉霆崴

（蘇州北美國(guó)際高級(jí)中學(xué)，蘇州 215104）

0 引言

大型產(chǎn)品，例如導(dǎo)彈、衛(wèi)星、發(fā)動(dòng)機(jī)等作業(yè)安裝對(duì)接質(zhì)量在一定程度上影響了其安全性和穩(wěn)定性，國(guó)內(nèi)的對(duì)接作業(yè)基本采用V型定位支撐的人工裝配對(duì)接，其安全和質(zhì)量主要依靠安裝人員的經(jīng)驗(yàn)以及技能水平，安裝精度以及穩(wěn)定性無(wú)法保證，傳統(tǒng)的方法已經(jīng)無(wú)法滿足目前快速發(fā)展的自動(dòng)化生產(chǎn)行業(yè)需求[1～3]。

目前，有些學(xué)者利用多機(jī)器人系統(tǒng)或是力反饋進(jìn)行對(duì)接定位，例如，北京衛(wèi)星環(huán)境工程研究所的代衛(wèi)兵等[4]，基于并聯(lián)調(diào)姿平臺(tái)實(shí)現(xiàn)力反饋下的柔性對(duì)接，北京航空制造研究所的杜兆才等[5]，提出了基于多臺(tái)三坐標(biāo)直角機(jī)器人協(xié)調(diào)操作對(duì)接系統(tǒng)，這種定位裝置承載能力大、適應(yīng)性強(qiáng)，但控制技術(shù)難度大、精度相對(duì)較低。上述對(duì)接裝置都需要人工參與，效率較低，無(wú)法滿足自動(dòng)化的生成應(yīng)用。

圓孔一般被認(rèn)為是裝配過程中的基準(zhǔn)，為了達(dá)到自動(dòng)化生產(chǎn)應(yīng)用，有一部分學(xué)者利用機(jī)器人視覺伺服引導(dǎo)裝配的技術(shù)，通過檢測(cè)安裝孔位或輔助銷釘進(jìn)行對(duì)接裝配，目前常用的方法是使用Hough圓檢測(cè)方法[6]，該方法計(jì)算效率低且精度不高。隨后出現(xiàn)了Hough圓的改進(jìn)算法，但是仍然未能達(dá)到較高的精度，而且對(duì)邊緣的依賴性比較大。還有一部分學(xué)者使用聚類的方法進(jìn)行橢圓提取，該方法將所有的橢圓按中心位置進(jìn)行聚類[7,8]，將橢圓間中心距在一定范圍內(nèi)的橢圓歸為一類，從而實(shí)現(xiàn)圓的檢測(cè)，但是該方法使用了聚類，聚類使得算法效率降低，不能應(yīng)用于自動(dòng)化生產(chǎn)中；沈夏炯等[9]，利用連通區(qū)域標(biāo)記算法實(shí)現(xiàn)了圓的檢測(cè)，雖然克服了Hough圓檢測(cè)缺點(diǎn)，但是當(dāng)圖像采集得到的圓形外輪廓效果不佳時(shí)，直接影響下一步的處理結(jié)果。中科院沈陽(yáng)自動(dòng)化研究所的李展等[10]，利用線結(jié)構(gòu)光對(duì)空間目標(biāo)進(jìn)行測(cè)量，在檢測(cè)過程中不僅使用圓形帶有凹槽的對(duì)接環(huán)，限制了該方法的使用，而且使用激光跟蹤儀等裝置，測(cè)量效率較低。

實(shí)際生產(chǎn)作業(yè)中工況較為復(fù)雜，圓形零部件可能存在邊緣磨損較為嚴(yán)重的情況，磨損的邊緣對(duì)識(shí)別造成了極大的干擾。利用邊緣進(jìn)行識(shí)別，勢(shì)必?zé)o法進(jìn)行檢測(cè)，導(dǎo)致自動(dòng)化對(duì)接誤差較大，因此，本文針對(duì)大型部件對(duì)接裝配過程，提出了一種在缺乏邊緣信息情況下的圓中心定位方法，為后續(xù)的對(duì)接提供基礎(chǔ)。

1 復(fù)雜工況下大型部件對(duì)接裝置

對(duì)接裝置結(jié)構(gòu)如圖1所示，該裝置主要由一個(gè)機(jī)器人、機(jī)器人控制器以及雙目視覺傳感器和工控機(jī)等單元組成。

圖1 裝置結(jié)構(gòu)圖

具體工作過程為：預(yù)先對(duì)視覺傳感器以及機(jī)器人進(jìn)行標(biāo)定，CCD相機(jī)同步采集被測(cè)圖像，圖像處理單元對(duì)采集的缺乏邊緣信息的圖像圓中心位置進(jìn)行檢測(cè)，利用極線約束對(duì)圓中心進(jìn)行匹配，重建圓形區(qū)域的中心三維坐標(biāo)，然后將圓中心在相機(jī)坐標(biāo)系下的三維坐標(biāo)轉(zhuǎn)換到機(jī)器人坐標(biāo)系下，引導(dǎo)機(jī)器人進(jìn)行對(duì)接。

2 基于高斯差分圖像和最大穩(wěn)定極值區(qū)域的圓形區(qū)域中心定位方法

針對(duì)大型產(chǎn)品在對(duì)接過程中工況復(fù)雜以及實(shí)時(shí)性要求較高的需求，本文構(gòu)建了雙目視覺引導(dǎo)的機(jī)器人對(duì)接方法，如圖2所示。

圖2 對(duì)接裝置流程圖

2.1 預(yù)處理

為了得到圓形區(qū)域中心的三維信息，需要對(duì)雙目傳感器進(jìn)行標(biāo)定，標(biāo)定相機(jī)的內(nèi)參數(shù)矩陣以及相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。同時(shí)為了實(shí)現(xiàn)機(jī)械臂輔助對(duì)接，需要對(duì)相機(jī)坐標(biāo)系和法蘭坐標(biāo)系之間的位置關(guān)系進(jìn)行標(biāo)定，即手眼標(biāo)定。

為了方便操作，在手眼標(biāo)定的同時(shí)進(jìn)行雙目視覺標(biāo)定，借助于最小二乘法，得到雙目視覺坐標(biāo)系轉(zhuǎn)換矩陣以及各自的內(nèi)參矩陣[11]以及相機(jī)坐標(biāo)系和法蘭坐標(biāo)系之間的轉(zhuǎn)換矩陣[12]。手眼標(biāo)定的過程如圖3所示。

圖3 機(jī)器人手眼標(biāo)定

2.2 圖像處理

2.2.1 生成高斯差分圖像

為了使得圖像在尺度變化下具有不變性，需要將采集到的原始圖像在所有尺度下做到尺度無(wú)關(guān)，因此利用高斯金字塔生成高斯差分圖像，具體步驟如下：

1）利用高斯卷積核和圖像進(jìn)行卷積建立圖像尺度空間，定義圖像尺度空間為L(zhǎng)（x，y，σ）：

其中，I（x，y）為原始圖像，G（x，y，σ）是均方差為σ的高斯核函數(shù)，即，?表示卷積操作。

2）利用不同尺度對(duì)圖像進(jìn)行高斯卷積，形成高斯金字塔的第一組圖像，對(duì)第一組圖像中的倒數(shù)第三幅圖像進(jìn)行降采樣形成新圖像中金字塔第一層，再利用不同的尺度對(duì)新圖像進(jìn)行高斯卷積，形成高斯金字塔的第二組圖像，不斷重復(fù)以上操作，建立由多組尺度空間圖像構(gòu)成的高斯金字塔[13]。如圖4所示。

圖4 高斯金字塔

3）利用相鄰尺度的高斯金字塔圖像相減得到高斯差分圖像，高斯差分圖像可以表示為：

在選取金字塔組數(shù)時(shí)，竟可能選擇高的組數(shù)，因?yàn)榻M數(shù)越高，查找目標(biāo)所需的時(shí)間越短，另一方面，為了保證目標(biāo)圖像的結(jié)構(gòu)清晰，本文中金字塔的組數(shù)設(shè)置為level=5。

2.2.2 尺度空間極值區(qū)域（SSER）檢測(cè)

最大極值穩(wěn)定區(qū)域（MSERs）指的區(qū)域的面積不會(huì)隨著灰度值得微小變化而產(chǎn)生差異，在一定范圍內(nèi)是相對(duì)穩(wěn)定的，并且MSERs區(qū)域還具有仿射不變性。

因此本文結(jié)合圖像差分高斯金字塔和最大穩(wěn)定極值區(qū)域方法，在圖像差分高斯金字塔中提取尺度不變極值區(qū)域，將在圖像的高斯差分尺度空間相鄰尺度上都具有最大極值穩(wěn)定性的區(qū)域被認(rèn)為是尺度空間極值區(qū)域Si，定義為：

其中，i是高斯差分圖像Di的級(jí)數(shù)，i-1，i+1是Di相鄰尺度的級(jí)數(shù)。

因此，尺度空間極值區(qū)域具有仿射不變性和尺度不變性[14]。

2.2.3 濾出SSER嵌套區(qū)域

由于存在重疊的相似區(qū)域，因此需要對(duì)相似區(qū)域進(jìn)行精選，最終得到精確的SSER區(qū)域，如下圖所示，精選原則如式(2)所示：

其中，R是濾除嵌套之后的區(qū)域，Ri，Rj分別是SSER的第i和第j個(gè)區(qū)域。

橢圓可以更好的表達(dá)一個(gè)區(qū)域的各種信息，因此為了便于區(qū)域的特征描述，需要將檢測(cè)到的SSER區(qū)域進(jìn)行橢圓擬合，得到尺度不變極值穩(wěn)定區(qū)域的重心，即橢圓中心。

2.2.4 匹配

極線約束可以將匹配點(diǎn)從整副圖像尋找壓縮到一條直線上尋找，極大縮小了尋找范圍。記左圖上的圓中心點(diǎn)p1，利用已知的兩相機(jī)之間的內(nèi)參數(shù)以及坐標(biāo)系之間的轉(zhuǎn)換矩陣，可以求得p1點(diǎn)在右圖上的極線方程，p1所對(duì)應(yīng)的點(diǎn)p2即在該極線上。因此需要引入其他約束來(lái)確定p2。若該極線上在右圖上只通過一個(gè)圓心點(diǎn)，可以直接獲得對(duì)應(yīng)點(diǎn)的位置。若該極線在右圖上通過多個(gè)圓中心。則需要利用其他方法進(jìn)行選擇。本文借助于SIFT描述符[15]進(jìn)行精細(xì)匹配，即可得到唯一的圖像匹配點(diǎn)。

3 實(shí)驗(yàn)

為了驗(yàn)證提出方法的有效性和正確性，圖1為裝置結(jié)構(gòu)圖，該系統(tǒng)選用ABB機(jī)器人，機(jī)器人末端安裝有雙目視覺傳感器用于識(shí)別實(shí)測(cè)量，夾具用于部件之間對(duì)接。采用basler品牌300w像素相機(jī)，配有Computar公司的8mm鏡頭，相機(jī)幀率為10fps，用于對(duì)目標(biāo)進(jìn)行定位。所有的仿真實(shí)驗(yàn)均在Windows 7操作系統(tǒng)下采用Visual Studio 2008軟件實(shí)現(xiàn)。

3.1 視覺傳感器標(biāo)定

左相機(jī)的內(nèi)參矩陣相機(jī)內(nèi)參矩陣KCL和畸變系數(shù)矩陣fCL：

右相機(jī)的內(nèi)參矩陣相機(jī)內(nèi)參矩陣KCR和畸變系數(shù)矩陣fCR：

以左相機(jī)坐標(biāo)系為相機(jī)基準(zhǔn)坐標(biāo)系，右相機(jī)轉(zhuǎn)到左相機(jī)的旋轉(zhuǎn)向量R和平移向量T為：

手眼標(biāo)定的矩陣D為：

對(duì)該結(jié)果進(jìn)行重投影，利用標(biāo)定板兩個(gè)點(diǎn)之間的距離為固定值作為已知量，如表1所示，表中的數(shù)據(jù)中列指的是標(biāo)定板中的7列，利用雙目視覺得到標(biāo)定板上圓心標(biāo)志點(diǎn)的三維點(diǎn)坐標(biāo)，并且計(jì)算兩兩點(diǎn)的空間距離，并且計(jì)算空間距離誤差。從表中可以看出雙目視覺精度大于0.02mm。

表1 標(biāo)定精度

3.2 缺乏邊緣信息的圓形區(qū)域中心測(cè)量

圖8 顯示待對(duì)接產(chǎn)品A 面圓形區(qū)域中心檢測(cè)結(jié)果圖。

圖8 待對(duì)接產(chǎn)品A面圓形區(qū)域檢測(cè)

其中，圖8(a)和圖8(b)分別為左相機(jī)和右相機(jī)的檢測(cè)結(jié)果圖，圖8(c)和圖8(d)以及圖8(e)和圖8(f)同理，只是移動(dòng)了機(jī)器人末端的位置使得圖像的角度不一樣和亮度不一樣，從圖中可以看出，該方法具有尺度不變性以及旋轉(zhuǎn)不變性，在圓邊緣不明顯或是缺乏的情況下，仍然能夠精確的確定圓區(qū)域的中心位置。

表2為圖8在圓形區(qū)域檢測(cè)誤差，X，Y，Z分別是圖8(a)和圖8(b)在左相機(jī)重建出的四個(gè)圓中心三維坐標(biāo)值，通過計(jì)算相鄰兩個(gè)圓中心之間的測(cè)量值和三坐標(biāo)測(cè)量的距離進(jìn)行比對(duì)，得到圓中心的檢測(cè)誤差，測(cè)量精度為，圓個(gè)數(shù)為m+1，εm為相鄰兩圓形區(qū)域中心的檢測(cè)誤差，由表2 可以看出，誤差精度為0.117637mm。其中，使用的三坐標(biāo)測(cè)量?jī)x的測(cè)量精度為（1.6+L/333）um。

表2 待對(duì)接產(chǎn)品A面圓形區(qū)域檢測(cè)誤差（mm）

圖9顯示待對(duì)接產(chǎn)品B面圓形區(qū)域中心檢測(cè)結(jié)果圖。

圖9 待對(duì)接產(chǎn)品B面圓形區(qū)域檢測(cè)

表3 待對(duì)接產(chǎn)品B面圓形區(qū)域中心檢測(cè)誤差（mm）

其中，圖9(a)和圖9(b)分別為左相機(jī)和右相機(jī)的檢測(cè)結(jié)果圖，圖9(c)和圖9(d)以及圖9(e)和圖9(f)同理，只是移動(dòng)了機(jī)器人末端的位置使得圖像的角度不一樣和亮度不一樣，從圖中可以看出，該方法具有尺度不變性以及旋轉(zhuǎn)不變性，在圓邊緣不明顯或是缺乏的情況下，仍然能夠精確的確定圓形區(qū)域的中心位置。

4 結(jié)語(yǔ)

本文針對(duì)缺乏邊緣信息無(wú)法進(jìn)行圓中心定位的問題，研究了一種尺度不變極值穩(wěn)定區(qū)域檢測(cè)方法，該算法在檢測(cè)穩(wěn)定區(qū)域時(shí)不需要考慮區(qū)域邊界信息，利用在高斯差分圖像上進(jìn)行最大穩(wěn)定極值區(qū)域檢測(cè)得到具有尺度不變的區(qū)域特征信息，當(dāng)圖像在尺度變化大的情況下，也能對(duì)圓中心實(shí)現(xiàn)三維重建，同時(shí)借助最大穩(wěn)定極值區(qū)域的仿射不變性，該區(qū)域也具有仿射不變性。通過實(shí)驗(yàn)論證，該方法的魯棒性好，效率高，可以應(yīng)用于自動(dòng)化生產(chǎn)中。對(duì)于視覺檢測(cè)存在的誤差，為了避免在對(duì)接過程中發(fā)生碰撞，在視覺引導(dǎo)機(jī)器人到達(dá)目的后，采用現(xiàn)有比較成熟的研究成果借助于力反饋控制將大型產(chǎn)品部件準(zhǔn)確定位，保證對(duì)接受力在安全范圍內(nèi)。

在后續(xù)的工作中，需進(jìn)一步分析當(dāng)圓形區(qū)域缺失較大的情況下如何進(jìn)圓中心定位問題，增強(qiáng)算法的普適性。