機(jī)器視覺(jué)在物體位姿檢測(cè)中的應(yīng)用

李　彬， 羅　彪

(北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

?

應(yīng)用技術(shù)

機(jī)器視覺(jué)在物體位姿檢測(cè)中的應(yīng)用

李彬， 羅彪

(北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

摘要:研究了機(jī)器視覺(jué)技術(shù)在物體位姿檢測(cè)中的應(yīng)用。從兩個(gè)方位架設(shè)工業(yè)相機(jī)采集目標(biāo)圖片，采用張正友基于2D平面靶標(biāo)的相機(jī)標(biāo)定方法對(duì)相機(jī)進(jìn)行標(biāo)定。使用目標(biāo)圖像減去背景圖像和形態(tài)學(xué)運(yùn)算的方法進(jìn)行粗定位，初步檢測(cè)目標(biāo)區(qū)域。利用Hough變換檢測(cè)目標(biāo)直線邊緣，依據(jù)極線約束原則、灰度相似性以及直線約束進(jìn)行邊緣直線及其端點(diǎn)的匹配。計(jì)算出各直線端點(diǎn)的空間三維坐標(biāo)及其單位方向向量。在已知目標(biāo)模板的條件下，目標(biāo)的幾何參數(shù)已知，利用簡(jiǎn)單的幾何關(guān)系求取目標(biāo)的位姿數(shù)據(jù)。

關(guān)鍵詞：機(jī)器視覺(jué)； 攝像機(jī)標(biāo)定； Hough變換； 角點(diǎn)檢測(cè)和匹配； 幾何模板

0引言

機(jī)器視覺(jué)是指利用計(jì)算機(jī)系統(tǒng)模仿人視覺(jué)系統(tǒng)的功能，實(shí)現(xiàn)計(jì)算機(jī)對(duì)目標(biāo)物體的感知、定位等功能。隨著機(jī)器視覺(jué)理論的發(fā)展，機(jī)器視覺(jué)在工業(yè)中的應(yīng)用越來(lái)越廣泛。比如：在工業(yè)零件的分類中，現(xiàn)在依然主要依靠人工手段對(duì)混雜的工業(yè)零件進(jìn)行分類，這種分類方式不僅效率低下，錯(cuò)誤率較高，且是對(duì)人力資源的一種浪費(fèi)。若能夠?qū)崿F(xiàn)對(duì)零件的自動(dòng)分類，將大大提高工業(yè)生產(chǎn)效率。

當(dāng)對(duì)大量堆疊的同類工業(yè)零件進(jìn)行分類時(shí)，必然存在工件相互遮擋的情況?？紤]到目標(biāo)區(qū)域內(nèi)的工件都是同一樣式，幾何參數(shù)模板可以得到，則即使圖像中某一工件被遮擋無(wú)法得到其完整圖像信息，也有可能利用幾何關(guān)系計(jì)算出它的位姿數(shù)據(jù)。

1相機(jī)標(biāo)定

相機(jī)標(biāo)定是指通過(guò)測(cè)量相機(jī)的各種內(nèi)部和外部參數(shù)，建立起相機(jī)所采集到的圖像與世界中場(chǎng)景點(diǎn)的位置關(guān)系的過(guò)程。相機(jī)標(biāo)定一般可分為傳統(tǒng)標(biāo)定方法[1～3]、主動(dòng)視覺(jué)中的標(biāo)定方法[4～6]和自標(biāo)定方法三類[7，8]。相機(jī)標(biāo)定中需要標(biāo)定出的內(nèi)、外部參數(shù)如表1所示。

表1　相機(jī)標(biāo)定參數(shù)

傳統(tǒng)標(biāo)定方法使用2D或3D靶標(biāo)。通過(guò)建立靶標(biāo)上特征點(diǎn)和圖像中特征點(diǎn)的空間坐標(biāo)關(guān)系，計(jì)算攝像機(jī)的內(nèi)外參數(shù)。主動(dòng)視覺(jué)標(biāo)定方法令攝像機(jī)按著一定運(yùn)行軌跡移動(dòng)，利用軌跡的幾何性質(zhì)和圖像坐標(biāo)計(jì)算攝像機(jī)參數(shù)。自標(biāo)定法不需要知道靶標(biāo)特征點(diǎn)的三維坐標(biāo)，利用多幅圖像間一定數(shù)目對(duì)應(yīng)點(diǎn)的圖像坐標(biāo)關(guān)系來(lái)求解攝像機(jī)參數(shù)。三種方法相比，主動(dòng)視覺(jué)的標(biāo)定方法實(shí)現(xiàn)起來(lái)比較復(fù)雜，而自標(biāo)定法結(jié)果不夠穩(wěn)定，故采用傳統(tǒng)標(biāo)定法進(jìn)行標(biāo)定[9]。

這里采用張正友提出的基于2D平面靶標(biāo)的相機(jī)標(biāo)定方法。標(biāo)定假定兩相機(jī)的內(nèi)部參數(shù)維持不變，將相機(jī)架設(shè)在兩個(gè)不同的方位與角度，保持相機(jī)固定。不斷改變2D平面靶標(biāo)的擺放位置與角度，兩相機(jī)同時(shí)采樣。對(duì)靶標(biāo)的部分采樣圖如圖1所示。

標(biāo)定可以使用Matlab標(biāo)定工具箱或使用Opencv標(biāo)定。一般使用Matlab標(biāo)定的準(zhǔn)確度更高一些，因此,這里標(biāo)定軟件使用Matlab 2014b。

圖1　靶標(biāo)部分采樣圖Fig 1　Sampling figures of planar target

2圖像處理

為快速實(shí)現(xiàn)目標(biāo)的粗定位，需要對(duì)采集到的圖像進(jìn)行初期圖像處理。這里主要采用圖像與背景圖像做差和形態(tài)學(xué)運(yùn)算中的腐蝕與膨脹運(yùn)算。

2.1背景處理

在采集目標(biāo)圖像前，保證光照條件不變，相機(jī)位置不移動(dòng)，首先對(duì)背景圖像采圖如圖2。

圖2　背景圖像Fig 2　Background image

對(duì)采集到的目標(biāo)圖像與背景圖像做差,以提取目標(biāo)區(qū)域，效果如圖3。

可見(jiàn)做差后可以初步提取出目標(biāo)，但圖像中仍存在部分高光區(qū)域，可能會(huì)影響后續(xù)檢測(cè)。使用形態(tài)學(xué)運(yùn)算去除這些區(qū)域。

圖3　目標(biāo)粗定位Fig 3　Target coarse positioning

2.2形態(tài)學(xué)運(yùn)算

基于數(shù)學(xué)形態(tài)學(xué)[10，11]的邊緣檢測(cè)算法對(duì)噪聲不像經(jīng)典微分算法那樣敏感，而且提取的邊緣比較平滑。膨脹和腐蝕是形態(tài)學(xué)運(yùn)算的基本運(yùn)算[12～14]：膨脹可用于填補(bǔ)分割后目標(biāo)中的小空洞；腐蝕可用于消除目標(biāo)圖像中不必要的細(xì)小連線和一些孤立的小點(diǎn)。

如圖4，對(duì)于去除背景的圖像二值化后，首先進(jìn)行若干次腐蝕運(yùn)算，可以消去被測(cè)立方體附近的反光區(qū)域。接著進(jìn)行數(shù)次膨脹運(yùn)算，恢復(fù)被腐蝕掉的立方體邊緣。由于腐蝕和膨脹并不是一對(duì)可逆運(yùn)算，所以，為保證立方體邊緣數(shù)據(jù)不丟失，應(yīng)使膨脹次數(shù)多于腐蝕次數(shù)。

圖4　形態(tài)學(xué)運(yùn)算后的二值圖像Fig 4　Binarized image after morphological operations

由圖5，最終提取出的目標(biāo)區(qū)域中已經(jīng)去除了高光區(qū)域的干擾，且完整的保留了目標(biāo)物體的輪廓。

圖5　提取出目標(biāo)區(qū)域Fig 5　Extracted target area

3邊緣檢測(cè)與匹配

3.1邊緣檢測(cè)

在圖像特征檢測(cè)過(guò)程中，邊緣和角點(diǎn)特征是圖像最重要的特征之一。目前有多種對(duì)物體邊緣進(jìn)行檢測(cè)的技術(shù)，這里使用Hough變換實(shí)現(xiàn)對(duì)直線邊緣的檢測(cè)。

Hough變換將笛卡爾坐標(biāo)系中用斜率和截距(k,b)表示的直線映射到極坐標(biāo)系中用極徑和極角(r,θ)表示的直線，對(duì)直線參數(shù)進(jìn)行累加，實(shí)現(xiàn)對(duì)直線的檢測(cè)。由于其根據(jù)局部度量來(lái)計(jì)算全面描述參數(shù)，因而,對(duì)于區(qū)域邊界被噪聲干擾或被其他目標(biāo)遮蓋而引起邊界發(fā)生某些間斷的情況具有很好的容錯(cuò)性和魯棒性。

如圖6，使用基于Opencv的Hough變換對(duì)左右兩幅圖像中的目標(biāo)物體進(jìn)行直線檢測(cè)，可以得到部分物體的邊緣，同時(shí)得到這些直線的起始點(diǎn)坐標(biāo)。

圖6　Hough變換檢測(cè)邊緣Fig 6　Edge detection using Hough transform

3.2直線匹配

為得到直線邊緣的三維空間坐標(biāo)，需要對(duì)角點(diǎn)進(jìn)行匹配。角點(diǎn)匹配是機(jī)器視覺(jué)中最關(guān)鍵也是最有難度的一個(gè)步驟，關(guān)系到后續(xù)工作能否進(jìn)行。由于對(duì)于每一條直線已經(jīng)得到其起點(diǎn)與終點(diǎn)兩個(gè)端點(diǎn)的坐標(biāo)，這里同時(shí)對(duì)兩個(gè)端點(diǎn)進(jìn)行角點(diǎn)的匹配，可以增加一個(gè)約束條件、減少匹配錯(cuò)誤。

為減弱采樣噪聲、光照變化、透視畸變等因素的干擾，進(jìn)行匹配時(shí)使用以下三個(gè)條件作為約束:

1)極線約束:由于得到兩幅圖像的兩個(gè)相機(jī)存在一定的位置關(guān)系，可以將這種位置關(guān)系轉(zhuǎn)換為圖像上點(diǎn)的位置約束。極線約束是進(jìn)行圖像匹配的最重要的約束條件之一。

2)灰度相似性:雖然獲得兩幅圖像的兩個(gè)相機(jī)采圖角度不同，致使得到的兩幅圖像中同一空間點(diǎn)周圍的環(huán)境并不相同，但依然存在一定的相似性，尤其對(duì)于表面紋理與周圍環(huán)境不同、或與環(huán)境色差較大的情況，灰度相似性仍具有一定參考價(jià)值。

3)直線約束:相匹配的兩個(gè)點(diǎn)應(yīng)該為同一條邊緣的起點(diǎn)或終點(diǎn)。

3.2.1極線約束

如圖7所示，pl,pr為空間點(diǎn)p在左右兩相機(jī)采樣圖像上的成像點(diǎn)，兩光心Cl,Cr和p點(diǎn)組成的平面稱為極平面。極平面與左右兩圖的交線稱為極線。觀察可知pl與pr在左右圖像中的位置存在一個(gè)約束，即都位于極線上，而一旦p點(diǎn)確定了，左右極線是唯一的[15]。

圖7　極線約束幾何關(guān)系Fig 7　Epipolar constraint

3.2.2灰度相似性

以待匹配特征點(diǎn)為中心，(2N+1)×(2N+1)大小的區(qū)域?yàn)榇翱谀０?，?jì)算兩個(gè)特征點(diǎn)的灰度相似性。

使用區(qū)域相關(guān)系數(shù)作為判斷兩點(diǎn)灰度相似性的依據(jù)

C的范圍為[-1,1]，值越大表示兩個(gè)點(diǎn)的灰度相似性越高。設(shè)置一定閾值，當(dāng)C大于該閾值時(shí)認(rèn)為兩點(diǎn)匹配。

3.2.3直線約束

即使兩點(diǎn)同時(shí)滿足以上兩個(gè)約束條件，也有可能出現(xiàn)錯(cuò)誤匹配?？紤]到進(jìn)行匹配的每一個(gè)點(diǎn)都是一條直線的端點(diǎn)，兩個(gè)匹配點(diǎn)同時(shí)應(yīng)該在同一條直線上，利用這一條件作為約束。當(dāng)有一個(gè)點(diǎn)匹配成功時(shí)，繼續(xù)尋找直線另外一個(gè)端點(diǎn)的匹配點(diǎn)，若同樣可以找到且與之前的匹配點(diǎn)共線，則認(rèn)為找到了一條直線上兩個(gè)點(diǎn)的匹配點(diǎn)，同時(shí)也是找到了左右圖中的一條匹配直線，如圖8。

圖8　直線匹配Fig 8　Straight line matching

4坐標(biāo)計(jì)算與位姿計(jì)算

工業(yè)生產(chǎn)中對(duì)堆積的同類工件進(jìn)行識(shí)別時(shí)，由于背景中的物體全部為同種樣式，因此,即便出現(xiàn)遮擋導(dǎo)致無(wú)法得到某一個(gè)體的全部信息，利用已知的物體模板信息也可以實(shí)現(xiàn)對(duì)物體的檢測(cè)識(shí)別。

以立方體為例，所需知道的物體信息僅有邊長(zhǎng)。實(shí)驗(yàn)中立方體的邊長(zhǎng)為100mm。有多種方法可以確定一個(gè)立方體的準(zhǔn)確位姿，如,立方體質(zhì)心和一個(gè)角點(diǎn)、質(zhì)心和一條邊、三條相互垂直的邊、三個(gè)角點(diǎn)等。由于進(jìn)行Hough直線檢測(cè)得到的可能并不是立方體的一條完整邊界，這里采用計(jì)算質(zhì)心和一個(gè)角點(diǎn)的方法確定位姿。

首先尋找滿足以下條件的三條線段：

2)三條線段相互垂直；

3)至少存在一個(gè)交點(diǎn)。

如圖9，此交點(diǎn)必定為立方體上的一個(gè)角點(diǎn)，記為M。

圖9　定位三條線段Fig 9　Locate three lines

為計(jì)算三條線段的空間坐標(biāo)，實(shí)現(xiàn)從圖像像素坐標(biāo)到世界坐標(biāo)的轉(zhuǎn)換,如圖10。

圖10　坐標(biāo)系的轉(zhuǎn)換Fig 10　Conversion of coordinate system

計(jì)算出a,b,c三條線段的起始端點(diǎn)分別為:(130.12,105.36,536.77),(136.24,12.17,505.16);(136.45,13.05,508.90),(220.13,32.13,463.81);(138.44,7.31,496.12),(184.51,-11.05,588.87)。

如圖11，分別求取三條線段的單位方向向量，取交點(diǎn)M的坐標(biāo)為(136.45,13.05,508.90)。a,b的方向向量都以M為起點(diǎn)。

圖11　求解立方體質(zhì)心Fig 11　Calculate centroid of cube

計(jì)算出線段a,b的單位方向向量為(-0.062,0.945,0.321),(0.863,0.197,-0.465)。 此時(shí)第三個(gè)向量的方向無(wú)法確定，可能為c1(0.438,-0.175,0.882) 或c2(-0.438,0.175,-0.882)，可以求出兩個(gè)可能質(zhì)心O1,O2，計(jì)算O1與三條線段端點(diǎn)的距離可以將其排除。只有O2滿足一個(gè)立方體的幾何關(guān)系，故該立方體被唯一確定。

5結(jié)論

本文研究了相機(jī)標(biāo)定算法，在張正友基于2D平面靶標(biāo)的標(biāo)定方法上進(jìn)行相機(jī)多個(gè)位置的標(biāo)定，用原圖像減去背景圖像和形態(tài)學(xué)運(yùn)算方法初步提取出目標(biāo)，使用Hough直線檢測(cè)方法檢測(cè)邊界并根據(jù)極線約束和灰度相似性進(jìn)行匹配，計(jì)算出匹配直線的空間三維坐標(biāo)。利用已知的目標(biāo)模板數(shù)據(jù)，基于幾何關(guān)系計(jì)算出物體的位姿狀態(tài)。

本文研究的基于機(jī)器視覺(jué)的檢測(cè)方法，基于目標(biāo)模板數(shù)據(jù)，利用簡(jiǎn)單的幾何關(guān)系計(jì)算出目標(biāo)的位姿狀態(tài)，獲得了較好的效果。但在背景復(fù)雜、遮擋嚴(yán)重的環(huán)境下，檢測(cè)效果會(huì)下降，影響最終結(jié)果的精度，需要進(jìn)一步研究。

參考文獻(xiàn):

[1]Tsai R Y.An efficient and accurate camera calibration technique for 3D machine vision[C]∥IEEE Conference on Computer Vision and Pattern Recognition,1986：364-374.

[2]Tsai R Y.A versatile camera calibration technique for high-accu-racy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE J Robotics and Automation,1987，3(4):323-344.

[3]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1300-1331.

[4]Ma S De.A self-calibration technique for active vision system-s[J].IEEE Transaction on Robotics and Automation,1996,12(1):111-120.

[5]Hartley R I.Self-calibration of stationary cameras[J].International Journal of Computer Vision,1997,22(1):5-23.

[6]Jiang Guangwen,Chao Zhichao,Fu Sihua，et al.High-accurate camera calibration technique based on controllable rotation[J].Acta Optica Sinica,2010,30(5):1308-1314.

[7]Maybank S J,Faugeras O D.A theory of self-calibration of a mo-ving camera[J].International J Computer Vision,1992,8(2):123-151.

[8]Faugeras O D,Luong Q T,Maybank S J.Camera self-calibration:Theory and experiments[J].Computer and Information Science,1992,588(1):321-334.

[9]楊博文，張艷麗，葉南,等.面向大視場(chǎng)視覺(jué)測(cè)量的攝像機(jī)標(biāo)定技術(shù)[J].光學(xué)學(xué)報(bào)，2012,9(32)：0915001—1-0915001—7.

[10] 劉松濤，王學(xué)偉，周曉東,等.基于傳感器參數(shù)和目標(biāo)輪廓中心的自動(dòng)配準(zhǔn)算法研究[J].光學(xué)精密工程，2005，13(3)：354-363.

[11] 陳智君，林玉池，趙美蓉,等.萬(wàn)能工具顯微鏡目鏡視場(chǎng)字符識(shí)別的預(yù)處理算法[J].光電子·激光，2005，16 (1)：80-82.

[12] 張艷玲，劉桂雄，曹東，等.數(shù)學(xué)形態(tài)學(xué)的基本算法及在圖像預(yù)處理中應(yīng)用[J].科學(xué)技術(shù)與工程，2007，7(3)：356-359.

[13] 林玉池，崔彥平，黃銀國(guó).復(fù)雜背景下邊緣提取與目標(biāo)識(shí)別方法研究[J].光學(xué)精密工程，2006，14(3)：509-514.

[14] 許維星.復(fù)雜背景下的目標(biāo)識(shí)別及高精度定位技術(shù)研究[D].西安：中國(guó)科學(xué)院研究生院(西安光學(xué)精密機(jī)械研究所)，2011.

[15] 張廣軍.機(jī)器視覺(jué)[M].北京：科學(xué)出版社，2005:109-112.

Application of machine vision in detection of objects pose

LI Bin, LUO Biao

(School of Automation Science and Electrical Engineering,Beihang University,Beijing 100191,China)

Abstract:Application of machine vision technology in detection of objects pose is researched.Set up industrial cameras in two different directions and take pictures of target objectsthen complete camera calibration using Zhang Zhengyou’s method based on 2D planar target.Complete preliminary target detection by subtracting background image from the target image and Morphological operation,so the target area is determined.Then use Hough transform to detect line edge,Epipolar constraint,gray similarity and line constraint is adopted to match the lines and their endpoints.Calculate three-dimensional(3D)space coordinates and unit direction vector of endpoint of each straight lines.Since the target template is known,the geometry parameter is available,using simple geometric relationship to calculate pose data of target.

Key words:machine vision; camera calibration; Hough transform; corner points detection and matching; geometric template

DOI:10.13873/J.1000—9787(2016)02—0150—04

收稿日期：2015—06—11

中圖分類號(hào)：TP 391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1000—9787(2016)02—0150—04

作者簡(jiǎn)介:

李彬(1989-)，男，山東淄博人，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺(jué)、嵌入式控制。