基于近景工業(yè)攝影的三維視覺測量

李云雷，蔣靈搏

（1.山東理工大學(xué) 機(jī)械工程學(xué)院，淄博 255091；2.山東工業(yè)職業(yè)學(xué)院 機(jī)電工程系，淄博 256414）

0 引言

三維測量技術(shù)主要分為接觸式和非接觸式兩種。以三坐標(biāo)測量機(jī)為代表的接觸式測量方式，具有很高的測量精度，但通常比較費(fèi)時(shí)且自動(dòng)化程度低，尤其對大型復(fù)雜工件測量時(shí)還會(huì)受到測量行程的制約。隨著光電技術(shù)和計(jì)算機(jī)技術(shù)的發(fā)展，基于光學(xué)原理、以數(shù)字圖像處理和計(jì)算機(jī)視覺為主要理論基礎(chǔ)的三維視覺測量技術(shù)得到飛速發(fā)展。三維視覺測量具有非接觸、自動(dòng)化程度高和精度較高等優(yōu)點(diǎn)，特別適合現(xiàn)代化先進(jìn)制造業(yè)自動(dòng)化的發(fā)展需求[1]。

三維視覺測量包括各種各樣的測量方法，如近景工業(yè)攝影測量、立體視覺、結(jié)構(gòu)光測量、多目視覺等。其中，近景工業(yè)攝影測量特別適合大型復(fù)雜工件的三維檢測，在反求工程、機(jī)械零件檢測、虛擬現(xiàn)實(shí)等領(lǐng)域應(yīng)用前景廣闊[2]。近景工業(yè)攝影測量技術(shù)在國外發(fā)展較早，并有成熟的商用軟件，如美國GSI公司的V-STARS系統(tǒng)，德國GOM公司的TRITOP系統(tǒng)等[3]。國內(nèi)高校和研究機(jī)構(gòu)主要有武漢大學(xué)、西安交通大學(xué)、天津大學(xué)等，大多停留在理論研究階段，其中西安交通大學(xué)開發(fā)了一套近景工業(yè)攝影測量系統(tǒng)XJTUDP[4]。

本文在介紹近景工業(yè)攝影測量工作原理的基礎(chǔ)上，分別研究了三項(xiàng)關(guān)鍵技術(shù)：標(biāo)志點(diǎn)中心坐標(biāo)的精確定位、基于本質(zhì)矩陣分解的相對定向和光束法平差解算。精度評定采用大尺寸棋盤格角點(diǎn)之間多組距離的測量來實(shí)現(xiàn)。工程實(shí)驗(yàn)以粘貼有密集標(biāo)志點(diǎn)的衛(wèi)星天線型面為對象，測量出所有標(biāo)志點(diǎn)的精確三維坐標(biāo)，同時(shí)擬合出型面的三維結(jié)構(gòu)。

1 近景工業(yè)攝影測量的關(guān)鍵技術(shù)

近景工業(yè)攝影測量基于數(shù)字圖像處理技術(shù)和攝影測量技術(shù)，將被測物體表面的結(jié)構(gòu)特征轉(zhuǎn)換為高精度的離散三維坐標(biāo)。其基本工作過程如下：在被測物體表面及周圍放置標(biāo)志點(diǎn)，然后從不同角度和位置拍攝，得到多幅圖像。經(jīng)過數(shù)字圖像處理、標(biāo)志點(diǎn)的中心定位，得到標(biāo)志點(diǎn)幾何中心的準(zhǔn)確像素坐標(biāo)。利用這些結(jié)果，再經(jīng)過相對定向、三維重建和光束法平差，最后引入比例棒的比例因子，即可計(jì)算出所有標(biāo)志點(diǎn)精確的三維坐標(biāo)。

1.1 標(biāo)志點(diǎn)中心坐標(biāo)的精確定位

圓形標(biāo)志點(diǎn)經(jīng)透鏡成像后為橢圓，如果橢圓在像平面占有幾個(gè)或是十幾個(gè)像素時(shí)，可以近似認(rèn)為橢圓中心即為標(biāo)志點(diǎn)中心的像素位置。為實(shí)現(xiàn)對橢圓中心的亞像素級(jí)精確定位，首先利用Canny邊緣檢測算子[5]確定橢圓的像素級(jí)邊緣點(diǎn)，再采用基于灰度加權(quán)的質(zhì)心法，確定標(biāo)志點(diǎn)的精確中心位置。

質(zhì)心法是對圖像中的圓、橢圓和矩形等中心對稱目標(biāo)進(jìn)行高精度定位的常用算法。所謂灰度加權(quán)質(zhì)心法，即以像素的灰度值為權(quán)，計(jì)算標(biāo)志圖像內(nèi)所有像素坐標(biāo)的加權(quán)平均值，計(jì)算公式為：

式中，(x0,y0)為標(biāo)志點(diǎn)中心的像素坐標(biāo)，F(xiàn)(x,y)為權(quán)值，即像素(x,y)的灰度值。標(biāo)志點(diǎn)中心坐標(biāo)提取的過程如圖1所示。

圖1 標(biāo)志點(diǎn)中心坐標(biāo)的精確提取

1.2 基于本質(zhì)矩陣分解的相對定向

相對定向是在立體像對所在的局部坐標(biāo)系中,確定一張像片相對于另一張像片的旋轉(zhuǎn)矩陣R和平移矢量t[6]。傳統(tǒng)的解析攝影測量將代表旋轉(zhuǎn)矩陣的三個(gè)旋轉(zhuǎn)角初值設(shè)定為零，平移矢量中的首個(gè)參數(shù)設(shè)定為1，后兩個(gè)參數(shù)用小角度表達(dá)，這在近似垂直攝影的條件下，通過方程迭代最終可收斂于正確解。但在近景工業(yè)攝影中，多數(shù)情況是利用“手持”相機(jī)的多基線、大傾角攝影，傳統(tǒng)方法會(huì)出現(xiàn)不收斂的情況。本文采用計(jì)算機(jī)視覺中本質(zhì)矩陣分解的方法，可以獲得穩(wěn)定的相對定向參數(shù)。

假設(shè)平移矢量t=[bx by bz]，基于攝影測量學(xué)中的共面條件方程[7]，可以推導(dǎo)出本質(zhì)矩陣e和R、t之間的關(guān)系：

因此,只要計(jì)算出本質(zhì)矩陣E，再對其做適當(dāng)分解便可獲得相對定向參數(shù)R和t。本質(zhì)矩陣的計(jì)算方法如下，將其寫成矩陣的一般形式：

式(4)展開得到關(guān)于九個(gè)未知參數(shù)的方程。一對同名點(diǎn)對應(yīng)一個(gè)方程，n個(gè)同名點(diǎn)得到n個(gè)方程，得：

A是n×m階的矩陣，其中m=9。設(shè)行向量為ai，則其表達(dá)式為：

e的表達(dá)式為：

計(jì)算中先對A進(jìn)行奇異值分解(SVD)。奇異值分解表述為：設(shè)A是n×m階復(fù)矩陣，則存在n階酉陣U和m階酉陣V，使得：

確定了本質(zhì)矩陣E之后，再對其進(jìn)行奇異值（SVD）分解：

則旋轉(zhuǎn)矩陣R和平移矢量t的值為：

其中，α為不等于零的任意常數(shù)。W和Z分別為：

由此可見，這里共有四組解，其中僅有一組是正確的。判斷的方法是：任選一對同名點(diǎn)P'i和P''i，根據(jù)四組R和t的值，可以計(jì)算這對同名點(diǎn)對應(yīng)的物方點(diǎn)Pi在左、右相機(jī)坐標(biāo)系中的坐標(biāo)，其中僅有一組的兩個(gè)坐標(biāo)點(diǎn)都位于左右相機(jī)的前方（即其z坐標(biāo)同為正），其對應(yīng)的R和t即為正確解。

1.3 光束法平差解算

光束法平差的數(shù)學(xué)模型是基于攝影測量共線方程，該方程的表達(dá)式為：

方程(12)實(shí)質(zhì)上描述了從世界坐標(biāo)(X,Y,Z)到對應(yīng)的圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系。式中是像片的內(nèi)方位元素，則是像片的外方位元素。外方位元素也可表示為其中是旋轉(zhuǎn)矩陣的三個(gè)旋轉(zhuǎn)角。

光束法平差解算是一種把被測點(diǎn)的空間坐標(biāo)和像素坐標(biāo)以及所有像片的內(nèi)方位元素、外方位元素量測數(shù)據(jù)的一部分或全部視作觀測值，以整體地同時(shí)求解它們的數(shù)值的解算方法，能極大的提高攝影測量的系統(tǒng)精度。光束法平差數(shù)學(xué)模型的一般表達(dá)式為：

式(13)中，i是點(diǎn)的序號(hào)，j是像片的序號(hào)。

假設(shè)像片的內(nèi)方位元素已知，以被測點(diǎn)的空間坐標(biāo)和像片的外方位元素作為觀測值。結(jié)合式(12)和式(13)，可列寫出基于共線方程的光束法平差的單點(diǎn)誤差方程為：

式(14)列出的是第i個(gè)點(diǎn)相對于第j張像片的誤差方程，由此可以列寫出所有點(diǎn)相對于全部像片的誤差方程，聯(lián)立之后得到光束法平差總的誤差方程。引入各觀測值的近似值，使用最小二乘法迭代求解，最終可獲得各觀測值的精確解。

2 精度測試

近景工業(yè)攝影測量的精度評測一般參照德國VDI/VDE2634標(biāo)準(zhǔn)[8]，受試驗(yàn)條件限制，本文采用圖2所示的大尺寸棋盤格作為測試標(biāo)準(zhǔn)。在棋盤格周圍及內(nèi)部放置23個(gè)標(biāo)志點(diǎn)，用于像片間的相對定向，其中框格標(biāo)記的兩個(gè)標(biāo)志點(diǎn)之間的標(biāo)準(zhǔn)距離為2200.140mm，作為比例尺使用。攝站位置圍繞棋盤格環(huán)形分布，拍攝距離約1.5m，共拍攝12張像片，作為一組。經(jīng)過相對定向、初步三維重建和光束法平差解算，可以計(jì)算出棋盤格每個(gè)角點(diǎn)的精確空間坐標(biāo)。

取圖2中的5段距離進(jìn)行精度評價(jià)，并重復(fù)拍攝8組，測量結(jié)果如表1所示。

圖2 采用大尺寸棋盤格的精度測試現(xiàn)場

表1 攝影測量的計(jì)算結(jié)果(mm)

由表1可得，各組的標(biāo)準(zhǔn)偏差均控制在0.02mm以內(nèi)，極差不超過0.06mm。這充分表明，精度測試試驗(yàn)的三維重建結(jié)果重復(fù)精度較高，魯棒性較好，各組的相對誤差均優(yōu)于0.15mm/m。

3 工程測量試驗(yàn)

工程測量試驗(yàn)以口徑1.1m的小型衛(wèi)星天線為測量對象，如圖3(a)所示。天線表面粘貼有標(biāo)志點(diǎn)、編碼標(biāo)志，并放置了比例尺。標(biāo)志點(diǎn)分5圈布置，共計(jì)108個(gè)，構(gòu)成天線表面的形貌。12個(gè)編碼標(biāo)志用于攝站間的相對定向，為計(jì)算方便，以攝站1處的相機(jī)坐標(biāo)系作為世界坐標(biāo)系(如圖3(b)所示)，比例尺用以確定世界坐標(biāo)系的長度基準(zhǔn)。

圖3 小型衛(wèi)星天線表面的攝影測量

手持相機(jī)從8個(gè)角度圍繞天線依次拍攝，每個(gè)攝站的位姿如圖3(b)所示，每張像片都包含了天線表面的完整圖像。相機(jī)型號(hào)為尼康D3200，等效焦距27mm，攝影距離約1.5m。在拍攝之前，相機(jī)已經(jīng)標(biāo)定，即每張像片的內(nèi)方位元素已知。通過其他7個(gè)攝站與攝站1的相對定向，確立了所有像片的外方位元素。利用攝站5和攝站1的空間前方交會(huì)計(jì)算出所有標(biāo)志點(diǎn)的近似三維坐標(biāo)。最后將像片的內(nèi)方位元素、外方位元素和標(biāo)志點(diǎn)的近似三維坐標(biāo)進(jìn)行光束法平差整體解算，得到標(biāo)志點(diǎn)的精確三維坐標(biāo)。圖4是由所有標(biāo)志點(diǎn)擬合的天線表面，直觀反映出了天線的曲面結(jié)構(gòu)特征。梯度代表了擬合曲面三維坐標(biāo)中的Z值變化。

4 結(jié)論

針對大型復(fù)雜工件的三維接觸測量中效率及自動(dòng)化程度低，且易受測量儀器的行程制約等問題，提出了基于近景工業(yè)攝影的三維視覺非接觸測量方法。該方法在精確提取標(biāo)志點(diǎn)中心像素坐標(biāo)的基礎(chǔ)上，利用基于本質(zhì)矩陣分解的相對定向技術(shù)可以穩(wěn)定獲得像片的外方位元素，最后借助光束法平差算法精確計(jì)算出每個(gè)標(biāo)志點(diǎn)的三維空間坐標(biāo)。

基于大尺寸棋盤格的精度測試試驗(yàn)表明，該方法的三維重建精度較高，魯棒性好。針對小型衛(wèi)星天線的工程測量試驗(yàn)則進(jìn)一步驗(yàn)證了該方法在實(shí)踐中的可行性。同時(shí)，基于近景工業(yè)攝影的三維視覺測量主要借助計(jì)算機(jī)技術(shù)實(shí)現(xiàn)圖像等相關(guān)數(shù)據(jù)的處理，易于實(shí)現(xiàn)自動(dòng)化，并可根據(jù)被測對象的表面形貌靈活布置標(biāo)志點(diǎn)，測量范圍從幾米到幾十米甚至更大，幾乎不受測量對象幾何尺寸的影響。

圖4 小型衛(wèi)星天線的擬合曲面(背面方向觀測)

[1]孫軍華,張廣軍,魏振忠,等.大型自由曲面移動(dòng)式三維視覺測量系統(tǒng)[J].儀器儀表學(xué)報(bào),2006,27(12):1688-1691.

[2]肖振中.基于工業(yè)攝影和機(jī)器視覺的三維形貌與變形測量關(guān)鍵技術(shù)研究[D].西安:西安交通大學(xué),2010.

[3]El-Hakim S F.Videometrics I, II, III[J].SPIE(SO277-786X),2067,2350:1992-1994.

[4]張德海,梁晉,唐正宗,等.大型復(fù)雜曲面產(chǎn)品近景工業(yè)攝影測量系統(tǒng)開發(fā)[J].光電工程,2009,36(5):122-128.

[5]張廣軍.機(jī)器視覺[M].北京:科學(xué)出版社,2005.

[6]LUHMANN T, ROBSON S, KYLE S, HARLEY I.Close Range Photogrammetry:Principles,Techniques and Applications[M].Dunbeath:Whittles Publishing,2006.

[7]張劍清,潘勵(lì),王樹根.攝影測量學(xué)[M].武漢:武漢大學(xué)出版社,2003.

[8]Optical 3D measuring systems-Multiple view systems based on area scanning[S].VDI/VDE 2364 Blatt3.2006.German.ICS17.040.01.