基于雙目立體視覺技術(shù)的運(yùn)動物體空間位置信息測量方法研究

孫瑞軒，董 浩，肖 磊，張?zhí)稞?/p>

(河北省自動化研究所，河北石家莊 050081)

基于雙目立體視覺技術(shù)的運(yùn)動物體空間位置信息測量方法研究

孫瑞軒，董 浩，肖 磊，張?zhí)稞?/p>

(河北省自動化研究所，河北石家莊 050081)

為了使Delta機(jī)器人能夠快速、準(zhǔn)確地拾取隨機(jī)出現(xiàn)在輸送帶不同位置上的不同高度的目標(biāo)物體，設(shè)計了一套可獲取運(yùn)動目標(biāo)物體空間位置信息的測量系統(tǒng)。利用LabVIEW與Matlab混合編程技術(shù)，同時結(jié)合雙目立體視覺技術(shù)和圖像處理技術(shù)以及光電傳感設(shè)備，實現(xiàn)了對運(yùn)動物體空間位置信息的準(zhǔn)確獲取。對該系統(tǒng)的測試方法和測試數(shù)據(jù)進(jìn)行了實際檢測和分析，檢測數(shù)據(jù)表明，經(jīng)過圖像徑向畸變矯正后，由該系統(tǒng)及測試方法獲取的空間位置信息數(shù)據(jù)具有較小的相對誤差。

工業(yè)機(jī)器人技術(shù)；混合編程；雙目視覺；空間位置信息；Delta機(jī)器人

機(jī)器人技術(shù)整合各領(lǐng)域的研究成果，有機(jī)集成各領(lǐng)域的技術(shù)優(yōu)勢，并且應(yīng)用范圍廣泛,對現(xiàn)代化的新技術(shù)產(chǎn)業(yè)有著極其重要的引領(lǐng)作用[1]。工業(yè)機(jī)器人已經(jīng)被廣泛應(yīng)用于汽車領(lǐng)域的焊接、噴漆、熱處理、搬運(yùn)、裝配等作業(yè),在碼垛、食品和藥品等領(lǐng)域，工業(yè)機(jī)器人正在逐步代替人工從事繁重枯燥和大量重復(fù)性的搬運(yùn)、分揀、包裝等作業(yè)。作為典型的機(jī)電一體化數(shù)字化裝備，工業(yè)機(jī)器人已經(jīng)成為衡量一個國家制造業(yè)水平和科技水平的重要標(biāo)志[2]。

Delta機(jī)器人屬于高速、輕載的并聯(lián)機(jī)器人，有剛度大、承載能力強(qiáng)、動力性能好等特點[3],主要應(yīng)用在電子、食品、醫(yī)藥等行業(yè)中進(jìn)行快速分揀、包裝等作業(yè)。在分揀作業(yè)中，由于散落在輸送帶上的目標(biāo)物體位置一般是隨機(jī)的，所以通常利用機(jī)器視覺技術(shù)首先對目標(biāo)物進(jìn)行定位，然后由機(jī)器人進(jìn)行拾取。但現(xiàn)有大多數(shù)機(jī)器視覺系統(tǒng)為單目視覺系統(tǒng)，只能獲取目標(biāo)物體的二維平面位置信息，而物體的高度信息則無法測量，將目標(biāo)物限制在必須擁有相同高度這個條件下，這并不符合柔性化生產(chǎn)方式的發(fā)展要求。

本文在結(jié)合現(xiàn)有機(jī)器人視覺識別方法的基礎(chǔ)上，提出了一種基于LabVIEW與Matlab混合編程方式的雙目立體視覺定位系統(tǒng)和測量方法，利用該定位系統(tǒng)及測量方法可以對輸送帶上的動態(tài)物體特征點實現(xiàn)定位及三維測量。

1 雙目立體視覺技術(shù)

立體視覺技術(shù)是機(jī)器人技術(shù)研究中最為活躍的一個分支，是工業(yè)機(jī)器人智能化的重要標(biāo)志[4]。雙目立體視覺技術(shù)是通過兩幅從不同視角獲取的同一目標(biāo)圖像，通常經(jīng)過圖像采集、攝像機(jī)標(biāo)定、特征提取、圖像立體匹配、空間點重建5個步驟獲得目標(biāo)的三維信息，實現(xiàn)三維坐標(biāo)定位和測量的目的。

雙目立體視覺技術(shù)通過計算空間點在兩幅圖像中的視差獲得該點的三維坐標(biāo)值，工作原理如圖1所示。

圖1 雙目視覺成像原理示意圖Fig.1 Imaging principle sketch of binocular vision

假設(shè)一套理想的實驗裝置，鏡頭無畸變、兩像平面ML，MR嚴(yán)格處于同一平面上、相機(jī)光軸嚴(yán)格平行且距離為定值等[5]。若將投影中心OL設(shè)為世界坐標(biāo)原點，光軸與像平面交點分別為主點CL和CR，點P對應(yīng)世界坐標(biāo)為(XW，YW，ZW)，兩像平面成像點PL和PR相對各自主點的坐標(biāo)分別為(xL，yL)和(xR，yR)，焦距均為f，基線距離為B，則由相似三角形易得

(1)

同時易得

(2)

(3)

這樣點P相對于OL的空間三維坐標(biāo)值就可以唯一確定。

但在實際應(yīng)用中，如圖2所示，無法保證成像平面的嚴(yán)格共面和光軸嚴(yán)格平行等條件成立，故一般需要在應(yīng)用前首先對雙目視覺系統(tǒng)進(jìn)行標(biāo)定，最終可以通過去除畸變、旋轉(zhuǎn)和平移等手段矯正統(tǒng)一系統(tǒng)坐標(biāo)系，實現(xiàn)相機(jī)在數(shù)學(xué)上的對準(zhǔn)同一成像面[6-11]，便于后期運(yùn)算。

圖2 實際雙目視覺成像示意圖Fig.2 Practical imaging sketch of binocular vision

2 構(gòu)建測量系統(tǒng)平臺

測量系統(tǒng)平臺由雙目立體視覺測量軟件系統(tǒng)和硬件系統(tǒng)構(gòu)成。軟件系統(tǒng)包括雙目立體視覺圖像采集軟件和雙目立體視覺圖像處理軟件，可以在互動式人機(jī)界面下實現(xiàn)系統(tǒng)參數(shù)標(biāo)定、圖像實時采集、目標(biāo)識別、數(shù)據(jù)處理的功能；硬件系統(tǒng)包括2個通過以太網(wǎng)通信的彩色工業(yè)相機(jī)、2個白色LED條形光源、1個光電傳感設(shè)備、1條輸送設(shè)備，能夠?qū)崿F(xiàn)物體的勻速運(yùn)動和相機(jī)的外部硬件觸發(fā)，捕獲到目標(biāo)物清晰的圖像。

2.1 圖像采集軟件

圖像采集軟件利用由美國NI公司研制的LabVIEW進(jìn)行開發(fā)，LabVIEW擁有圖形化編輯語言、大量與傳統(tǒng)儀器儀表外觀相似的控件以及龐大的函數(shù)庫[12-13]，這些都十分方便地創(chuàng)建一個美觀有效的用戶界面，同時可并行處理的程序運(yùn)行方式為雙目視覺圖像采集的同步性提供了必要保證。

LabVIEW圖像采集程序流程圖如圖3所示，該程序共包含8個子VI，其中相機(jī)設(shè)置VI通過將相應(yīng)值賦給IMAQdx屬性節(jié)點中對應(yīng)的項[14]，配置相機(jī)的觸發(fā)方式及觸發(fā)條件；本測量系統(tǒng)結(jié)合外部光電傳感設(shè)備實現(xiàn)相機(jī)的外部硬件觸發(fā)；照片保存設(shè)置VI將捕獲的照片以系統(tǒng)時間加相機(jī)名稱的格式保存至指定路徑下，圖片可保存為BMP，JPEG，PNG等格式；最終圖像以引用句柄型式輸出，便于后期圖像處理調(diào)用。通過程序前面板可以對單個相機(jī)的曝光時間、數(shù)據(jù)包大小進(jìn)行設(shè)置，并可以實時讀取相機(jī)的幀率。實驗證明，2個相機(jī)拍攝的時間差不超過3 ms，可以滿足常見速度下動態(tài)物體的測量。

圖3 基于LabVIEW圖像采集程序Fig.3 Image acquisition program based on LabVIEW

2.2 圖像處理軟件

圖像處理軟件基于LabVIEW和Matlab混合編程技術(shù)開發(fā)，實現(xiàn)LabVIEW和Matlab混合編程主要有3種方法[15-16]：利用LabVIEW的Matlab腳本功能模塊；利用COM組件調(diào)用Matlab算法；利用LabVIEW調(diào)用動態(tài)鏈接庫。方法1中，可以在LabVIEW的Matlab Script節(jié)點中直接編輯調(diào)用Matlab命令，易于操作，但必須保持Matlab進(jìn)程始終處于運(yùn)行狀態(tài)；方法2可以脫離Matlab運(yùn)行環(huán)境，效率較高，但是比較繁瑣，適用于大型系統(tǒng)設(shè)計[17];方法3會造成Matlab圖像處理中的一些功能無法使用。綜上，針對本系統(tǒng)的特性，選擇調(diào)用LabVIEW中Matlab腳本模塊實現(xiàn)混合編程，既可以實現(xiàn)較好的人機(jī)界面設(shè)計，同時也可以滿足圖像處理的可靠性。

在進(jìn)行圖像處理前需要對雙目相機(jī)進(jìn)行標(biāo)定，利用Matlab工具箱中立體標(biāo)定工具可以較好地完成標(biāo)定工作，將標(biāo)定參數(shù)保存為MAT格式，方便后期調(diào)用。

測試實驗用已知固定高度的圓形目標(biāo)物作為識別對象，如圖4所示程序流程圖，通過Matlab Script調(diào)用雙目相機(jī)標(biāo)定參數(shù)對雙目圖像進(jìn)行矯正等處理，實現(xiàn)目標(biāo)物的邊緣檢測、尺寸大小、中心定位以及物體中心世界坐標(biāo)的測量。

圖4 基于LabVIEW Matlab Script圖像 處理程序Fig.4 Image processing program based on LabVIEW Matlab Scrip

2.3 硬件系統(tǒng)

為了增加測量系統(tǒng)的通用性及可靠性，該系統(tǒng)中圖像信息通過以太網(wǎng)傳輸，光電傳感設(shè)備用于實現(xiàn)相機(jī)的硬件外部觸發(fā)，可以有效保證雙目相機(jī)捕獲圖像的同步性。相機(jī)采集圖片分辨率為2 590×1 942，最高采集速率為14 幀/s，可以滿足系統(tǒng)測量要求。LED輔助光源能夠克服環(huán)境光干擾,保證圖像的穩(wěn)定性，降低了圖像處理的算法難度。由伺服電機(jī)驅(qū)動的輸送帶設(shè)備可以保證物體勻速運(yùn)動。

相機(jī)視場大小為256 mm×192 mm，相機(jī)工作距離為550 mm，因此相機(jī)能夠檢測到的最小特征尺寸(2個像素可表達(dá)的實際視場圖像)約為0.197 7 mm，從硬件性能上能夠保證本測量系統(tǒng)擁有較高精度。

3 測試實驗及數(shù)據(jù)分析

為了驗證測量系統(tǒng)和測試方法結(jié)果的可靠性，進(jìn)行了2組實驗檢測。

實驗1，分別對放置在同一起始位置的4種不同高度目標(biāo)物體進(jìn)行了三維坐標(biāo)的測量，每個高度下的雙目圖像經(jīng)過數(shù)據(jù)處理后如圖5和圖6所示,圖像處理軟件可以較好地捕捉到目標(biāo)物體邊緣，即使在視野內(nèi)目標(biāo)物體不完整的情況下依然能夠較為準(zhǔn)確地實現(xiàn)邊緣識別，為準(zhǔn)確地計算出物體中心位置和尺寸參數(shù)提供了有效保證。

圖5 高度Ⅰ和高度Ⅱ物體處理后雙目圖像Fig.5 Processed binocular images of objects at heightⅠand height Ⅱ

圖6 高度Ⅲ和高度Ⅳ物體處理后雙目圖像Fig.6 Processed binocular images of objects at height Ⅲ and height Ⅳ

目標(biāo)物高度位置Ⅰ世界坐標(biāo)XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mm位置Ⅱ世界坐標(biāo)XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mmHeightⅠ-8．680．11-6．210．16550．95-0．1431．771．17-48．850．20552．060．97HeightⅡ-8．140．43-6．270．10528．71-0．1832．560．38-49．380．33530．711．82HeightⅢ-8．640．07-6．410．04506．41-0．2833．330．39-48．960．10508．481．79HeightⅣ-8．810．24-6．580．21484．05-0．4434．101．16-49．030．02486．692．20∑Xi/N-8．750．21-6．370．13573．29-0．2632．940．78-49．050．16573．291．70標(biāo)準(zhǔn)差S0．290．180．391．100．252．25目標(biāo)物高度位置Ⅲ世界坐標(biāo)XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mm位置Ⅳ世界坐標(biāo)XW/mm誤差/mmYW/mm誤差/mmZW/mm誤差/mmHeightⅠ73．991．9933．180．52553．452．3699．822．23-71．970．62557．936．84HeightⅡ75．020．9533．010．35531．652．76101．570．48-72．460．13535．716．82HeightⅢ76．610．6432．490．17509．372．68102．820．77-72．600．01514．507．81HeightⅣ78．282．3131．970．69486．962．47103．981．94-73．320．73493．418．92∑Xi/N75．981．4732．660．43573．292．57102．051．35-72．590．37573．297．60標(biāo)準(zhǔn)差S2．060．603．321．950．609．86

從表1中可以看出，隨著距離d的增大，坐標(biāo)XW和YW相對誤差變化并不明顯，可以實現(xiàn)這2個坐標(biāo)方向上的準(zhǔn)確定位，但是ZW的相對誤差亦隨之增大。參考式(1)可知，焦距f和基線距離B為定值，則ZW與xL和xR有關(guān)，隨著距離d的增加，由于鏡頭透鏡會在成像平面的邊緣產(chǎn)生畸變，導(dǎo)致xL和xR偏離理論值增大，進(jìn)而使得ZW的相對誤差變大。本系統(tǒng)中的系統(tǒng)誤差主要來自于相機(jī)標(biāo)定過程中產(chǎn)生的標(biāo)定誤差和鏡頭畸變產(chǎn)生的誤差，而后者是系統(tǒng)誤差的主要來源?？紤]到徑向畸變是鏡頭畸變的主要形式，故對其進(jìn)行矯正，通過相機(jī)標(biāo)定后可得式(4)—式(7)。

xL(corrected)=xL(1-0.202 3r2+0.057r4),

(4)

yL(corrected)=yL(1-0.202 3r2+0.057r4),

(5)

xR(corrected)=xR(1-0.170 1r2+0.043r4),

(6)

yR(corrected)=yR(1-0.170 1r2+0.043r4),

(7)

表2 圖像徑向畸變矯正后中心點ZW坐標(biāo)測量數(shù)據(jù)

4 結(jié) 語

1)研究設(shè)計了一套基于雙目立體視覺技術(shù)獲取運(yùn)動物體三維坐標(biāo)的測量系統(tǒng)，該系統(tǒng)主要包括基于LabVIEW開發(fā)的圖像采集軟件、基于LabVIEW與Matlab混合編程技術(shù)開發(fā)的圖像處理軟件、高分辨率工業(yè)相機(jī)、光源、光電傳感設(shè)備和伺服電機(jī)驅(qū)動的輸送設(shè)備，能夠較穩(wěn)定地實現(xiàn)目標(biāo)物邊緣檢測、尺寸檢測和中心點三維坐標(biāo)的測量，為Delta機(jī)器人實現(xiàn)準(zhǔn)確、快速拾取不同高度目標(biāo)物提供了一個有效的解決方法。

2)對基于雙目立體視覺技術(shù)獲取運(yùn)動物體三維坐標(biāo)測量系統(tǒng)的測試數(shù)據(jù)結(jié)果進(jìn)行了分析，分析認(rèn)為，由于鏡頭成像畸變，處于圖像邊緣的物體中心點高度坐標(biāo)的測量相對誤差較大，經(jīng)過對圖像徑向畸變矯正后，可以將高度坐標(biāo)測量相對誤差減小至4 mm以內(nèi)。

[1] 徐揚(yáng)生.智能機(jī)器人引領(lǐng)高新技術(shù)發(fā)展[N].科學(xué)時報,2010-08-12(1).

[2] 王田苗, 陶永.我國工業(yè)機(jī)器人技術(shù)現(xiàn)狀與產(chǎn)業(yè)化發(fā)展戰(zhàn)略[J].機(jī)械工程學(xué)報, 2014, 50(9): 1-13. WANG Tianmiao, TAO Yong. Research status and industrialization development strategy of Chinese industrial robot[J]. Journal of Mechanical Engineering，2014, 50(9): 1-13.

[3] 馮李航,張為公,龔宗洋,等. Delta系列并聯(lián)機(jī)器人研究進(jìn)展與現(xiàn)狀[J]. 機(jī)器人, 2014, 36(3): 375-384. FENG Lihang, ZHANG Weigong, GONG Zongyang, et al. Developments of Delta-like parallel manipulators: A review[J]. Robot, 2014, 36(3): 375-384.

[4] 林琳. 機(jī)器人雙目視覺定位技術(shù)研究[D]. 西安:西安電子科技大學(xué), 2009. LIN Lin. The Research of Visual Positioning Technology on the Binocular Robot[D]. Xi’an: Xidian University, 2009.

[5] BRADSKI G,KAEHLER A. 學(xué)習(xí)OpenCV[M]. 于仕琪, 劉瑞禎，譯.北京:清華大學(xué)出版社, 2009.

[6] TSAI R Y. An efficient and accurate camera calibration technique for 3D machine vision[J]. Proceedings of IEEE Conference of Computer Vision and Pattern Recognition, 1986, 10(3):364-374.

[7] 張蓬, 王金磊, 趙弘. 機(jī)器人雙目立體視覺測距技術(shù)研究與實現(xiàn)[J].計算機(jī)測量與控制, 2013, 21(7): 1775-1778. ZHANG Peng, WANG Jinlei, ZHAO Hong. Research and implementation of robotic binocular visual distance measuring technology[J]. Computer Measurement & Control, 2013, 21(7): 1775-1778.

[8] 石繼雨. 機(jī)器人雙目立體視覺技術(shù)研究[D]. 哈爾濱:哈爾濱工程大學(xué),2003. SHI Jiyu, Research on Robot Binocular Stereo Vision[D]. Harbin: Harbin Engineering University, 2003.

[9] 孫鳳連. 機(jī)器人雙目視覺系統(tǒng)的三維測量方法[D].廣州:廣東工業(yè)大學(xué), 2015. SUN Fenglian. The 3D Measurement Method of Binocular Vision System of Robot[D].Guangzhou: Guangdong University of Technology, 2015.

[10]王殿君. 雙目視覺在移動機(jī)器人定位中的應(yīng)用[J].中國機(jī)械工程, 2013, 24(9): 1155-1158. WANG Dianjun. Application on binocular vision system of a mobile robot[J]. China Mechanical Engineering, 2013, 24(9): 1155-1158.

[11]陳熙引.基于雙目視覺的機(jī)器人焊縫識別及軌跡規(guī)劃研究[D].廣州:華南理工大學(xué),2014. CHEN Xiyin. Research on Seam Recognition and Path Planning of Robot Based on Binocular Vision[D].Guangzhou: South China University of Technology,2014.

[12]阮奇楨.我和LabVIEW:一個NI工程師的十年編程經(jīng)驗 [M]. 2版.北京:北京航空航天大學(xué)出版社,2012.

[13]陳樹學(xué)，劉萱. LabVIEW寶典[M].北京:電子工業(yè)出版社,2011.

[14]唐穎. 基于線形光源掃描照明的激光散斑襯比血流成像系統(tǒng)研究[D].武漢:華中科技大學(xué), 2013. TANG Ying. Laser Speckle Contrast Blood Flow Imaging System Based on Scanning Line Beam Illumination[D].Wuhan: Huazhong University of Science & Technology, 2013.

[15]徐何, 李滔, 李勇. Matlab與LabVIEW混合編程方法應(yīng)用研究[J]. 科學(xué)技術(shù)與工程, 2010， 10(33):8267-8271. XU He, LI Tao, LI Yong. Research and application of Matlab and LabVIEW mixed programming[J]. Science Technology and Engineering, 2010, 10(33):8267-8271.

[16]徐峰,何黎明, 田作華. 基于數(shù)據(jù)庫的LabVIEW與Matlab混合編程及其實現(xiàn)[J]. 測控技術(shù), 2007, 26(2): 70-72. XU Feng, HE Liming, TIAN Zuohua. Formulation optimization with Matlab and LabVIEW based on database[J].Measurement & Control Technology, 2007, 26(2):70-72.

[17]姚世鋒, 薛德慶, 張彥斌,等. LabVIEW與Matlab的混合編程[J].兵工自動化, 2005, 24(6):111-112. YAO Shifeng, XUE Deqing, ZHANG Yanbin, et al. Method of hybrid programming with LabVIEW and Matlab[J]. Ordnance Industry Automation, 2005, 24(6):111-112.

Research on measurement method of spatial position information of moving objects based on binocular stereo vision technology

SUN Ruixuan, DONG Hao, XIAO Lei, ZHANG Tianlong

(Hebei Automation Research Institute, Shijiazhuang, Hebei 050081, China)

In order to make Delta robots rapidly and precisely pick objects with various heights which random appears in different locations of the conveyor belt, a measurement system is developed for getting the spatial position information of moving objects. The system realizes precisely measurement of the spatial position information of moving objects by using hybrid programming technology of LabVIEW and Matlab, combined with binocular stereo vision technology, image processing technology and photoelectric sensing equipment. The measurement method and test data of this measurement system are obtained and analyzed, and the detection data shows that after image radial distortion correction, the data of spatial position information obtained by the system and method has little relative error.

industrial robot technology; hybrid programming; binocular stereo vision; spatial position information; Delta robot

1008-1534(2017)01-0030-06

2016-09-14;

2016-11-28；責(zé)任編輯：陳書欣

河北省科技計劃項目(16291807D)

孫瑞軒(1987—)，男，河北石家莊人，助理工程師，碩士，主要從事機(jī)器視覺、機(jī)器人控制、機(jī)電一體化方面的研究。

E-mail：srx313@163.com

TP242.2

A

10.7535/hbgykj.2017yx01006

孫瑞軒，董 浩，肖 磊，等.基于雙目立體視覺技術(shù)的運(yùn)動物體空間位置信息測量方法研究 [J].河北工業(yè)科技,2017,34(1):30-35. SUN Ruixuan, DONG Hao, XIAO Lei, et al.Research on measurement method of spatial position information of moving objects based on binocular stereo vision technology[J].Hebei Journal of Industrial Science and Technology,2017,34(1):30-35.