物流紙箱三維尺寸測(cè)量系統(tǒng)的研究①

肖 鵬 王金龍 周志峰

(上海工程技術(shù)大學(xué)機(jī)械工程學(xué)院)

物流紙箱三維尺寸測(cè)量系統(tǒng)的研究①

肖 鵬 王金龍 周志峰

(上海工程技術(shù)大學(xué)機(jī)械工程學(xué)院)

基于OpenCV視覺函數(shù)庫(kù)，開發(fā)了一個(gè)物流紙箱三維尺寸測(cè)量系統(tǒng)。首先，利用雙目視覺棋盤格點(diǎn)進(jìn)行攝像機(jī)標(biāo)定，求出攝像機(jī)的內(nèi)外參數(shù)；然后，采用Canny算子對(duì)圖像進(jìn)行邊緣處理，得到合適的邊緣特征；最后，在對(duì)極幾何和極線約束的條件下，對(duì)強(qiáng)特征點(diǎn)進(jìn)行插值處理，完成圖像的立體匹配，并計(jì)算出世界坐標(biāo)系下的三維坐標(biāo)。實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)的物流紙箱三維尺寸測(cè)量精度可以控制在2mm以下，滿足分類精度要求。

三維尺寸測(cè)量系統(tǒng) 物流紙箱 攝像機(jī)標(biāo)定 OpenCV Canny算子

計(jì)算機(jī)視覺測(cè)量理論與技術(shù)是一種根據(jù)裝置目標(biāo)圖像獲取實(shí)時(shí)物理過程參數(shù)，從而求解目標(biāo)相關(guān)信息的方法。近年來，傳統(tǒng)的接觸式測(cè)量設(shè)備因效率低、速度慢，已無法適應(yīng)現(xiàn)代制造業(yè)的發(fā)展需要。而雙目視覺測(cè)量技術(shù)作為一種新型非接觸式測(cè)量技術(shù)，在工業(yè)產(chǎn)品的加工、檢測(cè)等領(lǐng)域具有重要的應(yīng)用意義，在物流箱的分類過程中，可以減少人為測(cè)量時(shí)間，提高分類速度[1]。在此，筆者采用一種雙目視覺測(cè)量方法：首先，利用雙目視覺的棋盤圖像對(duì)攝像機(jī)進(jìn)行標(biāo)定；然后，采用Canny算子測(cè)量圖像邊緣，在極線約束的條件下完成圖像的立體匹配，計(jì)算出世界坐標(biāo)系下的三維坐標(biāo)，最終實(shí)現(xiàn)物流紙箱的三維測(cè)量和全自動(dòng)分類。

1 立體視覺測(cè)量原理

雙目視覺測(cè)量原理是：分別用兩臺(tái)攝像機(jī)采集同一物體的左右圖像，根據(jù)圖像之間的像素匹配關(guān)系，計(jì)算空間點(diǎn)在兩幅圖像中的視差并獲得該點(diǎn)的三維坐標(biāo)值[2]，進(jìn)而得到兩點(diǎn)的距離信息，如圖1所示。需要注意的是，在進(jìn)行三維測(cè)量之前必須對(duì)攝像機(jī)的模型進(jìn)行標(biāo)定，計(jì)算出攝像機(jī)的內(nèi)外參數(shù)。

攝像機(jī)標(biāo)定主要是為了找出圖像坐標(biāo)系、空間坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系，進(jìn)而獲取相機(jī)的內(nèi)參(焦距、圖像中心、畸變系數(shù))和外參(旋轉(zhuǎn)、平移矩陣)。筆者采用OpenCV中的張氏標(biāo)定算法對(duì)雙目視覺系統(tǒng)進(jìn)行攝像機(jī)標(biāo)定，張氏標(biāo)定法只需要利用相機(jī)從多個(gè)視角采集固定靶標(biāo)的數(shù)幅圖像，而后通過標(biāo)定板上各特征點(diǎn)與之在成像平面上的投影點(diǎn)之間的映射關(guān)系[3]，利用矩陣運(yùn)算即可求出相機(jī)的內(nèi)外參數(shù)。

圖1 雙目立體視覺中的幾何關(guān)系

2 邊緣特征點(diǎn)提取

圖像的邊緣是圖像重要的特征之一，相對(duì)于整幅圖像冗雜的信息來講，邊緣用極少的數(shù)據(jù)量即可反映出更多的圖像信息[4]。OpenCV中常用的邊緣提取算子有羅伯特邊緣檢測(cè)算子、Sobel邊緣提取算子、Canny邊緣檢測(cè)算子[5]及Laplace邊緣檢測(cè)算子等。在此，筆者選用Canny算子，Canny邊緣檢測(cè)分為4步：

a. 采用高斯平滑濾波器卷積降噪；

b. 計(jì)算梯度幅值和方向；

c. 非極大值抑制，保留一些細(xì)線條作為候選邊緣；

d. 滯后閾值若高于高閾值則保留為邊緣像素，低于低閾值則被排除，若介于兩者之間，則保留連接高于高閾值像素的像素。

3 立體匹配與測(cè)量

根據(jù)選擇的基元，雙目立體匹配算法可以分為3種：基于區(qū)域、基于特征和基于相位的立體匹配算法[6]。

筆者運(yùn)用Canny算子對(duì)圖像進(jìn)行邊緣特征提取，之后在提取的邊緣特征的基礎(chǔ)上，進(jìn)行特征點(diǎn)(邊緣點(diǎn)、角點(diǎn)及拐點(diǎn)等[7])匹配。特征點(diǎn)匹配通常包括匹配特征點(diǎn)、計(jì)算匹配點(diǎn)深度、對(duì)稀疏深度進(jìn)行插值獲取深度圖3方面。OpenCV中采用的是塊匹配立體算法，該算法運(yùn)用絕對(duì)誤差累計(jì)方法來尋找左右圖像間的匹配點(diǎn)。塊匹配過程是在整幅圖像中滑動(dòng)SAD窗口[8]，當(dāng)圖像校正之后，每一行就是所要尋找的極線。如果檢測(cè)紋理較多，可以在右側(cè)攝像頭中找出相對(duì)應(yīng)的匹配位置，再通過最小二乘法對(duì)場(chǎng)景進(jìn)行三維點(diǎn)的云計(jì)算[9]。

假設(shè)某世界坐標(biāo)系中物點(diǎn)在左右兩個(gè)攝像機(jī)的圖像坐標(biāo)系中的投影點(diǎn)的圖像坐標(biāo)分別為(uL，vL)、(uR，vR)，左右兩個(gè)攝像機(jī)的投影矩陣分別為ML、MR，則有：

(1)

(2)

由解析幾何可知，三維空間的平面方程為線性方程，因此可以利用最小二乘法求出矩陣X、Y、Z[10,11]。

4 實(shí)驗(yàn)結(jié)果分析

在光線合理的情況下，實(shí)驗(yàn)采用左右各11幅圖像(像素點(diǎn)數(shù)為2340×1728)對(duì)雙目相機(jī)進(jìn)行標(biāo)定，得到的左、右相機(jī)內(nèi)參數(shù)分別為：

則攝像機(jī)外參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣T分別為：

標(biāo)定完成后，利用物流紙箱三維尺寸測(cè)量系統(tǒng)通過雙CCD獲取的三維紙箱立體圖像對(duì)如圖2所示。

圖2 三維紙箱立體圖像對(duì)

對(duì)該立體圖像對(duì)進(jìn)行邊緣特征提取，運(yùn)用Canny算子中的雙閾值優(yōu)勢(shì)，調(diào)整最佳的最大閾值和最小閾值，得到實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 三維紙箱邊緣化圖像對(duì)

運(yùn)用SAD窗口對(duì)左右圖像進(jìn)行特征匹配，效果如圖4所示。為了便于圖像顯示，所有圖像均經(jīng)過直方圖均衡化處理。可以看出，圖像整體的匹配準(zhǔn)確度較高，選擇能夠代表物體長(zhǎng)、寬、高的4個(gè)特征點(diǎn)，按基于最小二乘法的點(diǎn)的三維坐標(biāo)的確定方法求解4個(gè)特征點(diǎn)的世界坐標(biāo)，并與測(cè)得的實(shí)際值進(jìn)行比較，結(jié)果見表1、2。

圖4 特征匹配效果

表1 4個(gè)特征點(diǎn)的世界坐標(biāo)和像素坐標(biāo)

表2 測(cè)量數(shù)據(jù)對(duì)比 mm

通過雙目視覺立體匹配與測(cè)量方法測(cè)量物流箱體的三維尺寸，可以減少人為測(cè)量時(shí)間，實(shí)現(xiàn)傳輸帶的自動(dòng)化，提高物流的傳輸效率。在測(cè)量過程中，攝像機(jī)系統(tǒng)誤差、光照、對(duì)基線的距離控制、物距及光強(qiáng)等因素對(duì)實(shí)驗(yàn)結(jié)果影響較大，因此這將是今后繼續(xù)研究和改進(jìn)的方向。

5 結(jié)束語

筆者以雙目視覺技術(shù)、圖像處理與精密測(cè)量等技術(shù)為基礎(chǔ)，設(shè)計(jì)了一個(gè)物流紙箱三維尺寸測(cè)量方案。實(shí)驗(yàn)結(jié)果表明，基于OpenCV的立體視覺三維測(cè)量系統(tǒng)穩(wěn)定性較好，在特征點(diǎn)提取準(zhǔn)確的情況下，對(duì)物體的三維尺寸測(cè)量精度可以控制在2mm以下，滿足分類精度要求，可以應(yīng)用到物流自動(dòng)分類系統(tǒng)中。但是實(shí)驗(yàn)過程中，三維測(cè)量時(shí)加入了人為操作，并且只對(duì)長(zhǎng)方體紙箱進(jìn)行了測(cè)量，因此后續(xù)需對(duì)其他形狀包裹的測(cè)量方法和全自動(dòng)檢測(cè)方法進(jìn)行更深入的研究。

[1] 羅世民,李茂西.雙目視覺測(cè)量中三維坐標(biāo)的求取方法研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2006,27(19):3622～3624.

[2] 李克國(guó),李大運(yùn),陶學(xué)恒.一種雙目立體視覺技術(shù)中三維坐標(biāo)點(diǎn)的改進(jìn)求取算法[J].機(jī)電產(chǎn)品開發(fā)與創(chuàng)新,2008,21(5):31～32.

[3] 馬頌德,張正友.計(jì)算機(jī)視覺——計(jì)算理論與算法基礎(chǔ)[M].北京:科學(xué)出版社,1998.

[4] 霍智勇,朱秀昌.基于區(qū)域的立體匹配算法研究[J].南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,31(3):44～49.

[5] 陳勝勇,劉盛.基于OpenCV的計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)[M].北京:科學(xué)出版社,2008.

[6] 任重,邵軍力.雙目立體視覺的匹配方法研究[J].軍事通信技術(shù),2001,22(2):46～49.

[7] 周東翔,蔡宣平,孫茂印.一種基于特征約束的立體匹配算法[J].中國(guó)圖象圖形學(xué)報(bào),2001,6(7):653～656.

[8] Marapane S B,Trivedi M M.Multi-Primitive Hierarchical(MPH) Stereo Analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1994,16(3):227～240.

[9] Reich C,Ritter R,Thesing J.White Light Heterodyne Principle for 3D-measurement[J].SPIE Proceedings,1997,3100:236～244.

[10] Richard H,Andrew Z,著,韋穗,楊尚駿,章權(quán)兵,等譯.計(jì)算機(jī)視覺中的多視圖幾何[M].合肥:安徽大學(xué)出版社,2002:171～173.

[11] 孟磊,鄒志云,郭宇晴,等.機(jī)器視覺在化工過程液位檢測(cè)中的應(yīng)用研究[J].石油化工自動(dòng)化,2015,51(4):39～43.

ResearchonThreeDimensionalMeasurementSystem
forLogisticsCartons

XIAO Peng, WANG Jin-long, ZHOU Zhi-feng
(CollegeofMechanicalEngineering,ShanghaiUniversityofEngineeringScience)

Having OpenCV visualization toolkit based to develop a three-dimensional measurement system for logistics cartons was implemented, including having binocular vision checkerboard used to calibrate the camera and determine its intrinsic and extrinsic parameters; making use of Canny operator to measure edge of the image so as to obtain a proper edge feature and finally, under the condition of epipolar geometry and line constraint, having character points interpolated to complete stereo matching of the image and calculate three-dimensional coordinate of the world coordinate system. The experimental results show that, the system’s measurement accuracy can be controlled less than 2mm and satisfy the requirements of classification accuracy.

three-dimensional measurement system, logistics carton, camera calibration, OpenCV, Canny operator

肖鵬(1994-)，碩士研究生，從事硬件系統(tǒng)開發(fā)設(shè)計(jì)和機(jī)器視覺的研究。

聯(lián)系人周志峰(1976-)，副教授，從事衛(wèi)星北斗導(dǎo)航定位的研究，zhousjtu@126.com。

TH862

A

1000-3932(2017)12-1155-04

2017-07-13，

2017-09-03)