基于靶標(biāo)的三目視覺3維坐標(biāo)測量系統(tǒng)

張紹兵，熊顯名，蔣曲博，張文濤，胡放榮

（桂林電子科技大學(xué)電子工程與自動化學(xué)院，桂林541004）

基于靶標(biāo)的三目視覺3維坐標(biāo)測量系統(tǒng)

張紹兵，熊顯名*，蔣曲博，張文濤，胡放榮

（桂林電子科技大學(xué)電子工程與自動化學(xué)院，桂林541004）

為了解決復(fù)雜環(huán)境中大視場、高精度、非接觸3維測量問題，采用三目攝像機(jī)結(jié)構(gòu)，通過靶標(biāo)成像來測量被測點(diǎn)3維坐標(biāo)的測量系統(tǒng)。測量時攝像機(jī)采集測量靶標(biāo)的圖像，計算機(jī)通過圖像處理的方法獲取測量靶標(biāo)上標(biāo)志點(diǎn)的3維坐標(biāo)，并提出基于被測點(diǎn)與標(biāo)志點(diǎn)間距離方程與直線約束的被測點(diǎn)求解優(yōu)化方法。測量系統(tǒng)通過高精度光柵位移平臺帶動測量靶標(biāo)移動來完成測試。結(jié)果表明，測量系統(tǒng)在視場范圍、測量精度、使用靈活性等方面有較大的改進(jìn)，能夠測量視場深度從2m～5m范圍內(nèi)的視場，測量精度優(yōu)于0.2mm。

測量與計量；圖像處理；3維坐標(biāo)測量；三目視覺；測量靶標(biāo)

引 言

基于計算機(jī)視覺的3維坐標(biāo)測量技術(shù)［1］具有精度高、量程大、通用性強(qiáng)等特點(diǎn)，因此目前被廣泛地應(yīng)用于汽車、航空和機(jī)械制造業(yè)等領(lǐng)域。當(dāng)前國內(nèi)外3維坐標(biāo)測量技術(shù)發(fā)展勁頭十分迅猛，非接觸式維測量技術(shù)具有探測速度快、測量的柔性好、測量精度高、量程大等優(yōu)點(diǎn)，必將成為未來一個重要的發(fā)展方向。在3維坐標(biāo)測量方面，清華大學(xué)、北京航空航天大學(xué)、天津大學(xué)、浙江大學(xué)、中國科學(xué)院模式識別國家重點(diǎn)實(shí)驗(yàn)室等科研院所和高校積極從事該領(lǐng)域的科研開發(fā)工作，并取得了一些不錯的進(jìn)展?；诎袠?biāo)的3維坐標(biāo)測量技術(shù)是通過攝像機(jī)采集手持式靶標(biāo)的圖像，后由計算機(jī)得到被測點(diǎn)坐標(biāo)。目前，基于手持式靶標(biāo)的3維坐標(biāo)測量系統(tǒng)多采用單目或雙目攝像機(jī)結(jié)構(gòu)，天津大學(xué)LIU等人［2-3］采用單目攝像機(jī)和直線光筆完成測量過程，中國海洋大學(xué)XIE等人［4］也對基于光筆的雙目攝像機(jī)坐標(biāo)測量系統(tǒng)進(jìn)行了研究。單目視覺坐標(biāo)測量系統(tǒng)具有攜帶方便、使用簡單等優(yōu)點(diǎn)，但有效視場較小，不能夠滿足大測量視場的要求，精度有限且系統(tǒng)的可靠性由單個攝像機(jī)決定。雙目視覺坐標(biāo)測量系統(tǒng)［5］用視差原理求解空間坐標(biāo)，擴(kuò)大了有效視場范圍，提供了一種提高3維坐標(biāo)測量系統(tǒng)性能的可行性思路。

鑒于此，本文中給出了一種基于靶標(biāo)成像的三目攝像機(jī)3維坐標(biāo)測量方案，該方案擁有更廣闊的測量范圍以及在不穩(wěn)定環(huán)境中更高的可靠性，同時能夠給予手持靶標(biāo)更多的靈活性。

1 測量系統(tǒng)構(gòu)成

基于靶標(biāo)的三目視覺3維坐標(biāo)測量系統(tǒng)如圖1所示，其主要由測量靶標(biāo)、3臺攝像機(jī)、幀同步觸發(fā)裝置、圖像采集卡和計算機(jī)組成。測量靶標(biāo)與被測物接觸的位置為微小的球形觸頭，測量靶標(biāo)上裝有5個標(biāo)志點(diǎn)，標(biāo)志點(diǎn)為紅外發(fā)光二極管或者白色發(fā)光二極管，標(biāo)志點(diǎn)呈十字形分布在同一個平面上，長軸上標(biāo)志點(diǎn)的中心和測量靶標(biāo)觸點(diǎn)近似處于一條直線上，且各個標(biāo)志點(diǎn)中心和測量靶標(biāo)觸點(diǎn)之間的距離已知。測量時，測量靶標(biāo)置于攝像機(jī)公共視場中，測量靶標(biāo)觸點(diǎn)接觸被測物表面，幀同步觸發(fā)裝置控制攝像機(jī)同時采集測量靶標(biāo)上標(biāo)志點(diǎn)的圖像信息，圖像采集卡將圖像輸送到電腦上處理，求解觸點(diǎn)的3維坐標(biāo)，即被測物體表面的3維坐標(biāo)。由于攝像機(jī)是通過采集測量靶標(biāo)上標(biāo)志點(diǎn)的圖像來計算被測點(diǎn)3維坐標(biāo)，而不是直接采集被測物體表面數(shù)據(jù)來獲取3維坐標(biāo)，故而能夠減小環(huán)境光對測量的影響。

Fig.1 Structure of themeasuring system

2 視覺測量原理

2.1 雙目視覺測量原理

雙目立體視覺測量［1，6-7］是基于視差原理，由多幅圖像獲取物體3維幾何信息。在計算機(jī)視覺系統(tǒng)中，雙目立體視覺測量一般由雙目攝像機(jī)從不同角度同時獲取周圍景物的兩幅數(shù)字圖像，已知兩攝像機(jī)之間位置關(guān)系，便可以獲取兩攝像機(jī)公共視場內(nèi)物體特征點(diǎn)的3維坐標(biāo)。當(dāng)兩個攝像機(jī)不做特殊要求擺放時，如圖2所示。設(shè)左攝像機(jī)Ol-xlylzl，位于世界坐標(biāo)系O-XYZ的原點(diǎn)處且無旋轉(zhuǎn)，圖像坐標(biāo)系為Oi，l-XlYl，有效焦距為fl，右攝像機(jī)坐標(biāo)系為Orxryrzr，圖像坐標(biāo)系為Oi，r-XrYr，有效焦距為fr，設(shè)P點(diǎn)為視場中的一點(diǎn)，該點(diǎn)在攝像機(jī)坐標(biāo)系Ol-xlylzl與Or-xryrzr下的坐標(biāo)分別為（xl，yl，zl）和（xr，yr，zr），在圖像坐標(biāo)系為Oi，l-XlYl與Oi，r-XrYr下的坐標(biāo)分別為（Xl，Yl）和（Xr，Yr），由攝像機(jī)透視變換模型有：

Fig.2 Binocular vision measurementmodel

式中，sl，sr為比例參量，Ol-xlylzl與Or-xryrzr坐標(biāo)系之間的相互位置關(guān)系可通過空間轉(zhuǎn)換矩陣Ml，r表示為：

式中，R，T分別為Ol-xlylzl與Or-xryrzr坐標(biāo)系之間的旋轉(zhuǎn)矩陣和平移變換矢量。由（1）式～（3）式可知，對于Ol-xlylzl坐標(biāo)系中的空間點(diǎn)，兩攝像機(jī)像素點(diǎn)之間的對應(yīng)關(guān)系為：

解析（4）式，可得空間點(diǎn)3維坐標(biāo)為：

如果已知焦距fl，fr和空間點(diǎn)在左、右攝像機(jī)中的圖像坐標(biāo)以及左右攝像機(jī)之間的旋轉(zhuǎn)矩陣R和平移矢量T，就可以得到被測物體點(diǎn)的空間3維坐標(biāo)。其中焦距fl和fr通過攝像機(jī)標(biāo)定［1，8］獲得，左、右攝像機(jī)間的旋轉(zhuǎn)矩陣R和平移矩陣T通過系統(tǒng)標(biāo)定獲得［1］。

.2 三目視覺測量

系統(tǒng)采用的三目視覺［9］是建立在雙目視覺基礎(chǔ)上，攝像機(jī)光軸之間互為夾角，組成3個雙目視覺測量系統(tǒng)。如圖3所示，虛線為攝像機(jī)光軸，C區(qū)域?yàn)?個雙目測量系統(tǒng)的公共視場，B區(qū)域?yàn)閮蓚€雙目視覺測量系統(tǒng)的公共視場，這些區(qū)域都是系統(tǒng)的有效測量區(qū)域。相對于單個雙目視覺測量系統(tǒng)，三目視覺測量系統(tǒng)中不同的雙目視覺系統(tǒng)視場間互相彌補(bǔ)，擴(kuò)大測量視場，使靶標(biāo)在測量中擁有更大靈活度，降低靶標(biāo)在攝像機(jī)測量系統(tǒng)中移動時視場和視角的限制。在三目視覺測量系統(tǒng)中，各個系統(tǒng)都能夠獨(dú)立完成測量過程，在不穩(wěn)定的工業(yè)環(huán)境中可靠性更高，即使有一臺攝像機(jī)不能工作，另外兩臺攝像機(jī)也能夠組成雙目測量系統(tǒng)，雖然系統(tǒng)有效視場減小，但精度可以保持，仍能夠繼續(xù)進(jìn)行測量作業(yè)；從另一方面來講，這種結(jié)構(gòu)也有利于系統(tǒng)功能的進(jìn)一步完善，如將測量靶標(biāo)采用多面標(biāo)志點(diǎn)，并在靶標(biāo)中安裝2維激光輪廓傳感器，可以完成大型輪胎表面維輪廓掃描作業(yè)。

Fig.3 Distribution diagram of viewing field in the trinocular system

3 基于距離方程和直線約束的被測點(diǎn)3維坐標(biāo)求解

攝像機(jī)采集的圖像經(jīng)過圖像處理，獲取測量靶標(biāo)上的標(biāo)志點(diǎn)中心在每個攝像機(jī)中投影坐標(biāo)，利用靶標(biāo)上標(biāo)志點(diǎn)中心的排列順序以及極線約束［10］，對不同圖像中的同一個標(biāo)志點(diǎn)中心投影進(jìn)行匹配，并通過（5）式求解標(biāo)志點(diǎn)中心的3維坐標(biāo)。如圖4所示，靶標(biāo)上5個標(biāo)志點(diǎn)中心的3維坐標(biāo)分別為P2（x2，y2，z2），P3（x3，y3，z3），P4（x4，y4，z4），P5（x5，y5，z5），P6（x6，y6，z6）以及觸點(diǎn)P1（x1，y1，z1）。根據(jù)空間幾何關(guān)系：在3維空間中，各個標(biāo)志點(diǎn)間以及觸點(diǎn)與各個標(biāo)志點(diǎn)之間的距離固定不變且直線關(guān)系保持不變。設(shè)觸點(diǎn)與標(biāo)志點(diǎn)之間的距離

式中，空間點(diǎn)P2（x2，y2，z2），P3（x3，y3，z3），P4（x4，y4，z4），P5（x5，y5，z5），P6（x6，y6，z6）在攝像機(jī)坐標(biāo)系中的圖像坐標(biāo)以及d2，d3，d4，d5，d6已知，將方程展開，整理可得：

Fig.4 Diagram ofmeasurement target projection in camera image plane

觸點(diǎn)P1（x1，y1，z1）使（7）式等號兩端的差值平方和最小，結(jié)合（7）式，整理后獲得觸點(diǎn)P1（x1，y1，z1）的距離約束目標(biāo)方程：

聯(lián)合直線約束方程（8）式與距離約束目標(biāo)方程（9）式，通過多次迭代即可獲得實(shí)際中被測點(diǎn)的3維坐標(biāo)P1（x1，y1，z1）。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)現(xiàn)場如圖5所示，采用3臺微視圖像公司500萬像素、千兆網(wǎng)接口大面陣黑白工業(yè)攝像機(jī)MVC5000SAC，12mm固定焦距Computar鏡頭，Intel千兆網(wǎng)接口卡，以ATmega8單片機(jī)為核心的幀同步觸發(fā)裝置以及攝像機(jī)底座、支架等組成測試系統(tǒng)，其中，3臺攝像機(jī)處于同一平面上，相鄰攝像機(jī)之間的間距為800mm，中間攝像機(jī)光軸與兩邊攝像機(jī)的光軸夾角為81°。系統(tǒng)采用平面黑白棋盤格為標(biāo)定物并利用Opencv視覺處理庫［12］完成攝像機(jī)以及系統(tǒng)參量的標(biāo)定過程。

Fig.5 Testing site

4.1 有效視場區(qū)域測試

視場的有效性是以靶標(biāo)在固定位置、一定角度范圍內(nèi)旋轉(zhuǎn)都能夠正確被測量為標(biāo)準(zhǔn)，靶標(biāo)旋轉(zhuǎn)的角度范圍為：在測量靶標(biāo)平行X-Y平面的基礎(chǔ)上，沿Z軸能夠旋轉(zhuǎn)360°，沿X軸、Y軸分別能夠順時針最大旋轉(zhuǎn)45°，逆時針最大旋轉(zhuǎn)45°。測試結(jié)果如表1所示，可以看出，相對于單個雙目視覺測量系統(tǒng)，在該系統(tǒng)中，靶標(biāo)能夠有效被測量的視場增加了1倍，從而保證靶標(biāo)平面可以在更大視場中從多角度被測量，從而實(shí)現(xiàn)被測物體中隱蔽位置的測量，即增加了靶標(biāo)測量的靈活性。如果靶標(biāo)采用多面標(biāo)志點(diǎn)設(shè)計，可以實(shí)現(xiàn)測量靶標(biāo)在視場中任何位置的測量。

Table 1 Viewing field range of binocular system and trinocular system

4.2 重復(fù)性測試

為驗(yàn)證測量系統(tǒng)的穩(wěn)定性，即單點(diǎn)重復(fù)性，將測量靶標(biāo)固定于攝像機(jī)視場中，保證測量靶標(biāo)與攝像機(jī)陣列不動，連續(xù)采集測量20次，得到被測點(diǎn)3維坐標(biāo)在X軸、Y軸、Z軸的變化情況。圖6中給出視場近處和遠(yuǎn)處的重復(fù)性測試結(jié)果，視深2.3m附近、4.6m附近的重復(fù)性誤差在X軸、Y軸、Z軸的偏差分別為0.03mm，0.04mm，0.03mm和0.06mm，0.08mm，0.08mm，通過對比可以看出，測量系統(tǒng)的穩(wěn)定性隨著視場深度的增加而降低。其主要原因在于隨著視場距離的增加，標(biāo)志點(diǎn)中心坐標(biāo)提取的穩(wěn)定性以及精度下降。

Fig.6 Repeatabilitytest a～c—theresultofrepeatabilitytestaround2.3mviewingfield d～f—theresultofrepeatabilitytestaround4.6mviewingfield

4.3 精度測試

為了驗(yàn)證測量系統(tǒng)在整個視場中的精度，實(shí)驗(yàn)中采用移動靶標(biāo)的方式測量相對位移精度，將測量靶標(biāo)固定于有效量程為500mm、精度為0.01mm的光柵尺位移平臺上，由位移臺帶動測量靶標(biāo)在不同情況下移動，對比測量結(jié)果與位移臺實(shí)際移動距離的差距。測試主要包括不同視場深度下與不同移動距離下的系統(tǒng)精度測試，能夠在一定程度上說明測量系統(tǒng)在不同視場深度下受圖像處理、系統(tǒng)結(jié)構(gòu)參量、參量標(biāo)定以及3維求解精度等方面的影響。表2與表3中給出了系統(tǒng)在兩種測試方法的部分結(jié)果，在硬件不變以及攝像機(jī)之間結(jié)構(gòu)關(guān)系固定的情況下，系統(tǒng)精度隨著視場深度以及移動距離的增加而降低，其主要原因在于攝像機(jī)鏡頭畸變未完全矯正、系統(tǒng)結(jié)構(gòu)參量存在誤差以及圖像處理中標(biāo)志點(diǎn)中心的提取精度隨距離增加而降低。由數(shù)據(jù)來看，在整個視場中系統(tǒng)測量精度優(yōu)于0.2mm。

Table 2 Systemaccuracytestinthedifferentdepthofviewingfield

Table 3 Systemaccuracytestinthedifferentmovingdistancein4.6m viewingfield

5 結(jié) 論

測量系統(tǒng)采用三目攝像機(jī)結(jié)構(gòu)，是對基于光筆的單目或者雙目視覺測量系統(tǒng)的一種改進(jìn)與提高，擴(kuò)大了視場測量范圍、提高了測量靶標(biāo)的測量靈活度以及系統(tǒng)可靠性。系統(tǒng)采用平面靶標(biāo)設(shè)計，合理利用平面上直線與距離的約束關(guān)系來求解、優(yōu)化被測點(diǎn)坐標(biāo)，保證計算得到的被測點(diǎn)坐標(biāo)的有效性。實(shí)驗(yàn)結(jié)果表明，基于靶標(biāo)的三目視覺3維坐標(biāo)測量系統(tǒng)的測量精度優(yōu)于0.2mm，同時，若進(jìn)一步提高攝像機(jī)以及系統(tǒng)參量的求解精度，可以獲得更好的測量精度。

［1］BOSCHJA.Coordinatemeasuringmachinesandsystems［M］.NewYork，USA：CRCPress，1995：496.

［2］LIUSG，PENGK，HUANGFS，etal.Aportable3-Dvisioncoordinatemeasurementsystemusingalightpen［J］.KeyEngineering Materials，2005，295/296：331-336.

［3］HUANG F S，QIAN H F.Single camera 3-D coordinate vision measuring system using a light pen［J］.Opto-Electronic Engineering，2007，34（4）：69-72（in Chinese）.

［4］XIE Z X，JIN M，XIN Y X.Study on 3-D-coordinatemeasurement technology using light pen based on binocular stereoscopic vision system［J］.China Mechanical Engineering，2008，19（8）：896-899（in Chinese）.

［5］ZHANG Z J，YU Q B，ZHANG Z Q.Research on probe imaging vision coordinatemeasurementwith binocular cameras［J］.Journal of Test and Measurement Technology，2004，18（4）：305-310（in Chinese）.

［6］WANG JH，HAN H Y，WANG C P，et al.Theoretic research on double-CCD stereoscopic measurement system［J］.Electronics Optics and Control，2007，14（4）：94-96.

［7］LI Z Q，YANG G S.Research of depth information measurement based on binocular convergent camera system［J］.Computer Engineering and Applications，2007，43（30）：65-66（in Chinese）.

［8］LIW，LIU X X，QIANG X F.Comparision of planar-pattern-based camera calibrate techniques［J］.Laser Journal，2006，27（2）：54-55（in Chinese）.

［9］ZHANG G X，ZHANG H W，LIU Z，et al.A trinocular vision probe for sculptured surface measurements［J］.Nanotechnology and Precision Engineering，2004，2（3）：204-209（in Chinese）.

［10］LIX Z，ZHANGG J.Trinocular stereomatchingmethod based on edge segment［J］.Opto-Electronic Engineering，2007，34（2）：23-26（in Chinese）.

［11］SUNW，ZHOU Z，LU N，et al.A product design strategy based on combination of design of experiment and inversion of partial least squaremodel［J］.CIESC Journal，2010，61（1）：110-115（in Chinese）.

［12］BRADSKIG，KAEBLE A.Learning open CV：computer vision with the open CV library［M］.Sebastopol，California，USA：O’Reilly Media Inc，2008：375-404.

Trinocular vision 3-D coordinatemeasuring system based on target

ZHANG Shao-bing，XIONG Xian-ming，JIANGQu-bo，ZHANGWen-tao，HU Fang-rong
（School of Electronic Engineering and Automation，Guilin University of Electronic Technology，Guilin 541004，China）

In order to solve the problems of the large field of view，high-precision and non-contact3-Dmeasurement in the complex environment，a trinocularmeasuring system was put forward，in which the 3-D coordinates of themeasured point weremeasured by analyzing target images.When under themeasurement，the camera captured images of themeasurement target，while the computer obtained the 3-D coordinates of the mark points in the measurement target by means of image processing，and an optimized method for solving the measured points was proposed based on the distance between the measured points andmark points，aswellas linear constraint.Themeasurement target can bemoved with the platform of the high precision grating ruler and measurement can be carried out.As shown in the experiment，the 3-D measurement system has a greater improvement in the field range，measurement accuracy，operation flexibility and so on.Its measurement accuracy is higher than 0.2mm in the depth of field ranging from 2m to 5m within the viewing field.

measurement and metrology；image processing；3-D coordinate measurement；trinocular vision；measurement target

TN911.73

A

10.7510/jgjs.issn.1001-3806.2013.04.024

1001-3806（2013）04-0523-06

廣西省科學(xué)研究與技術(shù)開發(fā)計劃資助項(xiàng)目（桂科攻11107001-40）

張紹兵（1988-），男，碩士研究生，主要從事光電檢測、圖像處理方面的研究。

*通訊聯(lián)系人。E-mail：xmxiong＠guet.edu.cn

2012-09-07；

2012-11-05