大尺寸工件細(xì)小孔視覺定位研究*

劉建春，黃勇杰，黃海濱，劉林濤

(廈門理工學(xué)院 機(jī)械與汽車工程學(xué)院，福建 廈門 361024)

0 引言

大尺寸工件細(xì)小孔視覺定位在工業(yè)領(lǐng)域有著廣泛的應(yīng)用，但目前主要存在兩個(gè)問題：大視場(chǎng)一次檢測(cè)所有孔精度低畸變大；小視場(chǎng)每個(gè)孔逐一檢測(cè)速度慢效率低。

近些年來，國(guó)內(nèi)外許多專家學(xué)者對(duì)機(jī)器視覺的理論和在各個(gè)領(lǐng)域的實(shí)際應(yīng)用進(jìn)行了相關(guān)研究[1]。程艷花[2]等研究了支重輪裝配過程中的孔位精確對(duì)準(zhǔn)的問題，提出了一種位于矩形四個(gè)角點(diǎn)的孔位對(duì)準(zhǔn)算法，該算法僅用于四個(gè)孔組成的矩形的角度偏轉(zhuǎn)，具有較大的局限性；肖敏[3]等提出一種算法計(jì)算液晶顯示屏顯示區(qū)域和外殼之間的距離，誤差能夠達(dá)到0.1mm以下，具有較高的精度，但視場(chǎng)范圍太小，不適合大范圍目標(biāo)；盧清華[4]等研究了機(jī)器視覺在大幅面陶瓷地磚尺寸測(cè)量中的應(yīng)用，設(shè)計(jì)了一種特殊的裝置能在測(cè)量0.6m×0.6m和0.8m×0.8m的瓷磚的邊長(zhǎng)和對(duì)角線尺寸中精度達(dá)到0.06mm，其局限在于只能拍攝四個(gè)角的圖像用來計(jì)算矩形的邊長(zhǎng)，不能拍攝矩形內(nèi)部的特征。同時(shí)，國(guó)外的研究人員也在對(duì)機(jī)器人視覺領(lǐng)域進(jìn)行深入探索，如Oh J K[5]等用工業(yè)機(jī)器人掛載視覺傳感器來檢測(cè)橋梁的裂縫，最大寬度超過0.2mm的裂縫檢測(cè)準(zhǔn)確度達(dá)到95%以上，但這種方式也不適合用于細(xì)小孔定位。

針對(duì)大尺寸工件細(xì)小孔的傳統(tǒng)視覺定位方法多數(shù)是小視場(chǎng)范圍逐一定位每個(gè)孔。該定位方法對(duì)移動(dòng)平臺(tái)精度要求高而且檢測(cè)速度慢效率低，不符合生產(chǎn)企業(yè)的生產(chǎn)需求。而大視場(chǎng)范圍一次定位所有孔的方式精度低畸變大，不能適用于精度要求高的場(chǎng)合。液晶顯示器背板燈條螺絲孔位檢測(cè)就是這類視覺定位的典型代表。本文研究一種折中的方法兼顧檢測(cè)效率和精度，提出在較大的視場(chǎng)范圍內(nèi)通過擬合和補(bǔ)償?shù)姆绞骄_定位多個(gè)螺絲孔的坐標(biāo)并進(jìn)行坐標(biāo)轉(zhuǎn)換。能夠在較大的視場(chǎng)范圍內(nèi)一次定位多個(gè)細(xì)小螺絲孔的同時(shí)具有較高的精度，工件過大時(shí)也會(huì)進(jìn)行多次檢測(cè)而不是為追求檢測(cè)速度而放棄精度。同時(shí)通過算法將檢測(cè)到的螺絲孔坐標(biāo)轉(zhuǎn)移到世界坐標(biāo)系上，省去了手眼標(biāo)定的步驟，方便進(jìn)行工具標(biāo)定和調(diào)整，也省去了人工輔助和夾具定位的步驟，同時(shí)具有較高的檢測(cè)效率，能夠滿足大型工件細(xì)小孔定位的需求，拓展了機(jī)器視覺在螺絲鎖付領(lǐng)域的應(yīng)用。

1 定位檢測(cè)方法設(shè)計(jì)

目前工業(yè)上使用的視覺定位系統(tǒng)大多采用人工或機(jī)械輔助初步定位，外加相機(jī)對(duì)所有螺絲孔逐一拍攝的精確定位方法。這樣的方法不夠智能且效率較低，因此本文探究在沒有人工或機(jī)械輔助情況下的高效機(jī)器視覺定位檢測(cè)方式。

目前相機(jī)的固定方式主要分為相機(jī)固定式[6-8]和機(jī)器人掛載式[9-11]，其各有優(yōu)缺點(diǎn)。相機(jī)固定式一般用在單次測(cè)量，視場(chǎng)范圍大，速度快，對(duì)大面積的明顯特征的檢測(cè)和在配合機(jī)器人進(jìn)行物品搬運(yùn)時(shí)有較大的優(yōu)勢(shì)，但精度不高；機(jī)器人掛載式一般用于多次測(cè)量，視場(chǎng)范圍小，精度高，對(duì)于微小特征的識(shí)別定位及大型工件的局部瑕疵檢測(cè)有較大的優(yōu)勢(shì)，但由于多次拍攝不同局部，耗時(shí)較長(zhǎng)。本文雖然是研究相機(jī)固定式多次測(cè)量的方法，但是只要在機(jī)械系統(tǒng)上稍作修改同樣可運(yùn)用于機(jī)器人掛載式。

定位檢測(cè)原理如圖1所示，圖中黑色區(qū)域?yàn)楸嘲逍D(zhuǎn)中的四個(gè)被檢測(cè)區(qū)域。為提高精度需要將視場(chǎng)范圍盡可能縮小，但由于顯示器背板的大小達(dá)到了960×550mm，在經(jīng)過實(shí)驗(yàn)之后選擇了600×450mm的視場(chǎng)范圍。從傳送帶送來的用于實(shí)驗(yàn)的42寸顯示器背板只要位置偏差不太大，在任意初始姿態(tài)下都有的四分之一的部分會(huì)在視場(chǎng)范圍內(nèi)。相機(jī)安裝在偏離工作臺(tái)中心的位置，根據(jù)實(shí)際情況旋轉(zhuǎn)平臺(tái)帶著背板每旋轉(zhuǎn)一定角度相機(jī)拍攝一張圖片或由機(jī)器人掛載相機(jī)在大致的四個(gè)位置拍攝四張圖片，在程序中將這四張圖片得到的螺絲孔位坐標(biāo)進(jìn)行計(jì)算，將重復(fù)的合并，得到一系列螺絲孔位坐標(biāo)，再由計(jì)算機(jī)規(guī)劃螺絲鎖付順序。

圖1 檢測(cè)原理圖

在此前對(duì)于機(jī)器人視覺系統(tǒng)的標(biāo)定楊守瑞等人做過研究[12]，該研究中標(biāo)準(zhǔn)球的誤差會(huì)帶進(jìn)機(jī)器人視覺系統(tǒng)中，并且這種標(biāo)定方法成本高、效率低，并不適用于此。本文提出了一個(gè)方法，設(shè)計(jì)一個(gè)最有利于圖像處理方式的平面原點(diǎn)標(biāo)記。此標(biāo)記用于將機(jī)構(gòu)的世界坐標(biāo)系與相機(jī)的圖像坐標(biāo)系聯(lián)系起來，機(jī)構(gòu)可以在設(shè)備開機(jī)時(shí)標(biāo)定該標(biāo)記的中心和X、Y軸方向，相機(jī)則在拍攝到此標(biāo)記時(shí)直接記錄此標(biāo)記的中心和X、Y軸方向，如此相機(jī)即可任意安裝，縱使機(jī)構(gòu)有些振動(dòng)或移動(dòng)也不需要重新對(duì)相機(jī)進(jìn)行標(biāo)定和調(diào)試，只需要在設(shè)備開機(jī)時(shí)標(biāo)定一次即可。

此標(biāo)記根據(jù)圖像處理方式的特點(diǎn)進(jìn)行設(shè)計(jì)，兩條橫豎交叉的直線兩側(cè)使用黑白交替的顏色填充，其目的是在直線擬合時(shí)只呈現(xiàn)出一條直線。圓形標(biāo)記的邊緣經(jīng)過描邊加粗使之更容易被捕捉到，以豎著的直線為例，由于直線上一半的黑色部分在左邊而下一半則在右邊導(dǎo)致直線的寬度會(huì)使擬合出的線條有細(xì)微交錯(cuò)，在實(shí)驗(yàn)中出現(xiàn)角度約1.5°的偏差。將兩條線都改為一半黑一半白之后，偏差縮小為0.01°。在使用時(shí)只需將此原點(diǎn)標(biāo)記按比例放大或縮小后打印并粘貼在工作平臺(tái)上。相機(jī)固定式將此標(biāo)記粘貼在攝像機(jī)的視場(chǎng)范圍內(nèi)，若是機(jī)器人掛載式則粘貼在機(jī)械臂能夠到達(dá)的拍攝范圍內(nèi)，并把機(jī)器人的世界坐標(biāo)系原點(diǎn)設(shè)在此標(biāo)記中心點(diǎn)，且將X、Y軸方向定位為此標(biāo)記的兩條直線的方向即可。

2 基于原點(diǎn)標(biāo)記的孔位檢測(cè)算法設(shè)計(jì)

如圖2所示為600×450mm的視場(chǎng)范圍下拍攝得到的960×550mm的顯示器背板和原點(diǎn)標(biāo)記圖像。

圖2 待檢測(cè)圖像

2.1 原點(diǎn)標(biāo)記識(shí)別

本文使用500萬像素的工業(yè)相機(jī)進(jìn)行實(shí)驗(yàn)。安裝并調(diào)試好相機(jī)之后，需要對(duì)相機(jī)進(jìn)行畸變矯正，補(bǔ)償相機(jī)鏡頭畸變帶來的偏差。常見的搜尋棋盤格格點(diǎn)方式矯正畸變的速度較慢，甚至高分辨率圖像中的格點(diǎn)偶爾還無法被尋找到，但是縮小標(biāo)定圖像的尺寸會(huì)造成標(biāo)定結(jié)果無法被用于正常尺寸的圖像。針對(duì)這個(gè)問題提出了一種更加快速的標(biāo)定方法。該方法在傳統(tǒng)標(biāo)定程序中的格點(diǎn)檢測(cè)之前，按比例縮小圖像尺寸，之后將得到的格點(diǎn)坐標(biāo)按相同比例放大進(jìn)行亞像素點(diǎn)檢測(cè)。通過實(shí)驗(yàn)對(duì)比，在橫縱像素都縮小一倍的時(shí)候檢測(cè)速度提升了十倍，且高分辨率圖像也都可以檢測(cè)，標(biāo)定具體消耗的時(shí)間隨相機(jī)的像素、格點(diǎn)的數(shù)量、相機(jī)視場(chǎng)的大小和電腦的運(yùn)行速度有所不同。

標(biāo)定完成得到相機(jī)內(nèi)參矩陣和畸變矩陣，將此矩陣用于矯正原始圖像，之后對(duì)圖像進(jìn)行處理，使其在600×450mm的視場(chǎng)范圍中識(shí)別出一個(gè)直徑90mm的圓型標(biāo)記，如圖4所示。首先對(duì)圖像二值化，可以有效隱藏不必要的特征，且在光照不均勻或明暗有些變化的條件下，也能凸顯出檢測(cè)需要的特征，原點(diǎn)標(biāo)記這樣的黑白特征尤為明顯。其次進(jìn)行開運(yùn)算, 如圖3a所示，形態(tài)學(xué)濾波中的開運(yùn)算是先腐蝕后膨脹，常被用于填充圖像中的黑色部分，對(duì)原點(diǎn)標(biāo)記的開運(yùn)算可以有效填補(bǔ)黑色區(qū)域內(nèi)的一些白色噪點(diǎn)。最后進(jìn)行高斯濾波, 如圖3b所示，使原點(diǎn)標(biāo)記邊緣平滑，有利于之后的曲線擬合。

圖3 原點(diǎn)標(biāo)記處理

計(jì)算原點(diǎn)坐標(biāo)和計(jì)算X、Y軸參數(shù)，首先在圖中以霍夫圓擬合算法搜尋原點(diǎn)標(biāo)記的外圈圓環(huán)，計(jì)算出圓心坐標(biāo)。如圖4所示，通過實(shí)驗(yàn)得知：標(biāo)記的外圓環(huán)在沒有描邊的情況下只能找到四分之一圓的黑色區(qū)域，擬合出來的圓心會(huì)偏離實(shí)際中心；而有描邊的標(biāo)記則會(huì)識(shí)別到整個(gè)圓。

圖4 描邊前后對(duì)比

在X、Y軸參數(shù)計(jì)算前，為保證原點(diǎn)標(biāo)記中的X、Y軸方向直線能夠被準(zhǔn)確識(shí)別且沒有其他直線的干擾，需要對(duì)原點(diǎn)標(biāo)記所在區(qū)域進(jìn)行提取。通過原點(diǎn)坐標(biāo)和圓檢測(cè)時(shí)的半徑，計(jì)算出能夠完全包含標(biāo)記的矩形區(qū)域四個(gè)頂點(diǎn)的坐標(biāo)。通過這四個(gè)坐標(biāo)形成的矩形區(qū)域，從原圖中摳出一個(gè)只包含原點(diǎn)標(biāo)記的小圖，由于圖像在此過程中沒有旋轉(zhuǎn)，所以X、Y軸方程的檢測(cè)不會(huì)受到影響。

圖5 刪除重疊直線

若是相機(jī)由機(jī)器人掛載的情況，只需要將機(jī)器人世界坐標(biāo)坐標(biāo)與在檢測(cè)位置時(shí)的坐標(biāo)做一個(gè)轉(zhuǎn)換即可。

2.2 背板檢測(cè)

在檢測(cè)區(qū)域上，由于鏡頭的限制不可避免會(huì)造成一定程度的畸變。雖然在進(jìn)行畸變矯正之后偏差會(huì)有所減少，但離光軸中心越遠(yuǎn)的畸變?cè)酱?，針?duì)這個(gè)問題可以使用區(qū)域提取法排除邊緣一定寬度，提取出畸變較少的圖像。因?yàn)樵c(diǎn)標(biāo)記檢測(cè)時(shí)的處理方式不適合顯示器背板燈條螺絲孔的定位，所以重載矯正后的圖像進(jìn)行區(qū)域提取、二值化、閉運(yùn)算、高斯濾波和圓擬合，由于燈條的白色與背板的灰色有明顯的反差，所以二值化可以將背板上燈條以外的孔都去掉。使用圓形掩模進(jìn)行閉運(yùn)算可以填充燈條的白色區(qū)域，并使燈條上的黑色小圓的邊緣更加平滑，有利于圓檢測(cè)?；舴驁A擬合提取出螺絲孔的坐標(biāo)，如圖6所示。

(a)燈條閉運(yùn)算 (b)螺絲孔定位

3 實(shí)驗(yàn)結(jié)果與分析

使用500萬像素的工業(yè)相機(jī)，將視場(chǎng)范圍調(diào)整為600×450mm，通過該視覺定位系統(tǒng)對(duì)背板進(jìn)行檢測(cè)實(shí)驗(yàn)獲得像素坐標(biāo)，繪制局部孔位坐標(biāo)分布圖，如圖7所示。

圖7 局部孔位坐標(biāo)分布圖(像素)

根據(jù)得到的像素坐標(biāo)數(shù)據(jù)，分析得到左列和右列孔的中心之間的距離的數(shù)值在692.18～694.78之間，這兩列孔中心的實(shí)際距離為163mm；上中下三排孔之間的距離的數(shù)值在397.18～402.19之間，每排孔之間的實(shí)際距離為95mm，由于制造誤差導(dǎo)致的每個(gè)孔之間位置的輕微偏移和視場(chǎng)較大而導(dǎo)致的輕微畸變，該視覺定位系統(tǒng)的橫向最大誤差為±0.25mm，縱向最大誤差為±0.5mm，符合企業(yè)生產(chǎn)要求。

4 結(jié)束語

本文提出了一種基于機(jī)器視覺的單相機(jī)大尺寸液晶顯示器背板螺絲孔位坐標(biāo)的測(cè)量方法并設(shè)計(jì)了易于識(shí)別的原點(diǎn)標(biāo)記，詳細(xì)介紹了所使用的主要算法，首先將背板的區(qū)域分四次采集，其次對(duì)圖像中的原點(diǎn)標(biāo)記進(jìn)行擬合，計(jì)算原點(diǎn)坐標(biāo)和X、Y軸方向，最后檢測(cè)背板螺絲孔并計(jì)算其世界坐標(biāo)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在檢測(cè)960mm×550mm的液晶顯示器背板時(shí)的最大誤差為0.5mm，能夠滿足液晶顯示器生產(chǎn)企業(yè)的要求。在該視場(chǎng)范圍下這樣的精度已具較大的優(yōu)勢(shì)，相對(duì)于已有的精度更高的小視場(chǎng)一拍一鎖和每個(gè)孔逐一拍攝的方式具有更快的鎖付節(jié)拍、更低的硬件要求和更加方便的工具標(biāo)定方法，省去了對(duì)機(jī)器人進(jìn)行手眼標(biāo)定的環(huán)節(jié)。若對(duì)定位結(jié)果有更高精度的要求可以選擇更小范圍的視場(chǎng)，但這樣就需要延長(zhǎng)定位所需的時(shí)間，或者選用更高像素的工業(yè)相機(jī)。

[1] 賈丙西, 劉山, 張凱祥, 等. 機(jī)器人視覺伺服研究進(jìn)展: 視覺系統(tǒng)與控制策略[J]. 自動(dòng)化學(xué)報(bào), 2015, 41(5): 861-873.

[2] 程艷花, 錢魯泓, 徐升, 等. 機(jī)器人裝配中孔位對(duì)準(zhǔn)算法的研究與實(shí)現(xiàn)[J]. 上海交通大學(xué)學(xué)報(bào), 2016, 50(1):83-89.

[3] 肖敏, 莊春剛, 熊振華. 基于機(jī)器視覺的液晶顯示屏裝配尺寸檢測(cè)算法的研究[J]. 中國(guó)機(jī)械工程, 2014, 25(1): 7-11.

[4] 盧清華, 許重川, 王華, 等. 基于機(jī)器視覺的大幅面陶瓷地磚尺寸測(cè)量研究[J]. 光學(xué)學(xué)報(bào), 2013,33(3): 165-171.

[5] Oh J K, Jang G, Oh S, et al. Bridge inspection robot system with machine vision[J]. Automation in Construction, 2009, 18(7): 929-941.

[6] 董輝躍, 周華飛, 尹富成. 機(jī)器人自動(dòng)制孔中絕對(duì)定位誤差的分析與補(bǔ)償[J]. 航空學(xué)報(bào), 2015, 36(7): 2475-2484.

[7] Kobayashi N, Shibata M. Visual tracking of a moving object using a stereo vision robot[J]. Electronics and Communications in Japan, 2008, 91(11): 19-27.

[8] Loredo-Flores A, González-Galván E J, Cervantes-Sánchez J J ú, et al. Optimization of industrial, vision-based, intuitively generated robot point-allocating tasks using genetic algorithms[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2008, 38(4): 600-608.

[9] 吳斌, 孫長(zhǎng)欽, 楊兵, 等. 結(jié)構(gòu)光傳感器在柔性視覺測(cè)量系統(tǒng)中的應(yīng)用研究[J]. 光電子· 激光, 2008, 19(10): 1309-1311.

[10] 蔣再男, 劉宇, 劉宏. 融合視覺的柔性虛擬夾具輔助遙操作研究[J]. 華中科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2011, 39(12): 68-71.

[11] Ma H, Wei S, Sheng Z, et al. Robot welding seam tracking method based on passive vision for thin plate closed-gap butt welding[J]. The International Journal of Advanced Manufacturing Technology, 2010, 48(9-12): 945-953.

[12] 楊守瑞, 尹仕斌, 任永杰, 等. 機(jī)器人柔性視覺測(cè)量系統(tǒng)標(biāo)定方法的改進(jìn)[J]. 光學(xué)精密工程, 2014, 22(12): 3239-3246.