劉常杰,劉 洋,劉 邈,李 斌
(天津大學精密測試技術(shù)及儀器國家重點實驗室,天津 300072)
?
光柵投影測量系統(tǒng)三維形貌拼接技術(shù)研究*
劉常杰*,劉 洋,劉 邈,李 斌
(天津大學精密測試技術(shù)及儀器國家重點實驗室,天津 300072)
針對尺寸較大或型面復(fù)雜的被測物形貌的測量,提出了一種基于投影儀投射標記點和全局控制點的三維形貌拼接方案。方案充分利用光柵投影測量系統(tǒng)的優(yōu)勢,以拼接相機坐標系為中介,將被測物表面在投影系統(tǒng)視覺傳感器坐標系下的多視點云坐標轉(zhuǎn)換到全局坐標系下,實現(xiàn)了將投影系統(tǒng)視覺傳感器在不同位置、不同角度的測量數(shù)據(jù)統(tǒng)一到全局坐標系,完成拼接。該方案避免了人工標記點的粘貼,保持了被測物表面的原有形貌,提高了測量效率,同時克服了基于相鄰圖像重疊拼接中的誤差累積問題。此方案方法操作簡單,原理可行,精度可滿足要求。實驗結(jié)果表明:拼接的X,Y,Z坐標均方根誤差分別為:0.056 mm、0.023 mm、0.165 mm,測量系統(tǒng)的絕對誤差為0.33 mm。
光柵投影測量;形貌拼接;投影標記點;全局控制點
目前,如何準確快速地獲取物體表面三維信息是一個重要研究方向,在各種測量方法中,光學技術(shù)的應(yīng)用越來越廣泛。作為光學技術(shù)的一種,光柵投影三維測量技術(shù)優(yōu)勢明顯,具有非接觸、精度高、可移動、測量效率高和數(shù)據(jù)空間分辨率高等優(yōu)點[1]。但是在對于尺寸較大或型面復(fù)雜的被測物時,由于視場的限制或被測物體表面互相遮掩等問題的存在,通常不能在同一坐標系下將被測物三維數(shù)據(jù)一次測出,需要根據(jù)被測對象,從不同角度對不同的區(qū)域進行分塊測量,然后再將測量數(shù)據(jù)拼接構(gòu)建成三維數(shù)據(jù)模型,將測量數(shù)據(jù)統(tǒng)一到一個總體世界坐標系中[2]。三維形貌拼接是其中的關(guān)鍵技術(shù)之一,直接影響測量的精度和速度。
現(xiàn)階段常用的拼接技術(shù)主要為以下4種:①利用輔助精密機械結(jié)構(gòu)獲取各次測量時坐標系之間的轉(zhuǎn)換關(guān)系[3]。這種方法拼接原理簡單,但系統(tǒng)靈活性低、占用空間大、設(shè)備成本高。②基于標記點的拼接技術(shù)。此方法在被測目標表面粘貼一些人工標記點,利用標志點并結(jié)合模式識別的方法,完成整體拼接[4]。此方法拼接精度高、可靠,但不適合軟質(zhì)物體與易損物體的測量,隨著被測表面增大標記點增多,自動識別錯誤會增加,更為重要的是標記點的粘貼破壞了被測表面原有形貌,影響測量的真實性。③拼接軟件法。此方法擺脫了對于定位裝置的依賴[5],常見的如基于最靠近點的迭代ICP(Iterative Closest Point)算法的自由拼接方法[6]。方法操作簡單,但是算法復(fù)雜程度高,可靠性不高?,F(xiàn)有的自由拼接方法大多基于相鄰圖像的重疊部分,這將不可避免的引入誤差累積的問題,難以得到平滑無縫的結(jié)果。④利用如經(jīng)緯儀[7],激光跟蹤儀[8],跟蹤相機等精密測量設(shè)備跟蹤面結(jié)構(gòu)光傳感器坐標系,這種方法精度高,但是設(shè)備成本很高,同時效率較低,結(jié)構(gòu)光傳感器的姿態(tài)還會影響精密測量設(shè)備的測量,需要控制傳感器位姿。
本文充分利用投影測量系統(tǒng)的優(yōu)勢,提出一種不使用粘性標記點,利用投影測量系統(tǒng)投射標記點的方案。方案實施過程中需要使用一系列全局控制點和一個全局拼接相機,將投影系統(tǒng)在不同位置、不同視角測得的三維數(shù)據(jù)統(tǒng)一到全局測量坐標系下,完成拼接。此方案不依賴人工粘貼標記點,保證了被測物表面不被破壞,測量效率高;對投射標記點進行編碼,保證了較高的識別精度;由于拼接相機拍攝位置靈活,所以投影系統(tǒng)傳感器姿態(tài)不受限制;同時從拼接原理上克服了基于相鄰圖像重疊拼接中的誤差累積問題。
光柵投影測量系統(tǒng)主要由DLP投影儀,CCD相機和上位測量控制計算機組成[9]。如圖1所示,光柵投影測量系統(tǒng)將調(diào)制的光柵條紋投射到被測物表面,通過CCD相機采集一系列圖像,經(jīng)過相關(guān)的圖像處理算法和三維轉(zhuǎn)換模型,可以得到投射條紋區(qū)域的被測物表面的點云數(shù)據(jù)。為了保證測量精度以及考慮到投影儀每次投射區(qū)域的有限性,一次投射所測量的區(qū)域不能覆蓋被測物所有待測表面。這對于被測物尺寸較大的情況,也就需要多次測量,然后再將測量數(shù)據(jù)拼接構(gòu)建成三維數(shù)據(jù)模型。本文提出了一種投影編碼標記點的方案,與傳統(tǒng)粘貼標記點的方案相比,此方案具有較高的識別精度,不會對軟質(zhì)物體或易損物體造成損傷,同時被測表面形貌特征不會改變,保證了測量數(shù)據(jù)的準確性。
圖1 投影測量系統(tǒng)結(jié)構(gòu)圖
2.1 測量系統(tǒng)整體坐標系轉(zhuǎn)換關(guān)系
基于全局控制點拼接屬于基于圖像控制點約束拼接的一種,其基本原理是通過引入某種中介,形成測量傳感器坐標系和全局坐標系的坐標系轉(zhuǎn)換鏈,求解該轉(zhuǎn)換鏈后,便可將每次的測量數(shù)據(jù)統(tǒng)一到全局坐標系中,實現(xiàn)拼接。
如圖2所示,投影系統(tǒng)視覺傳感器對被測物的某一部分進行測量,可以得到投射條紋區(qū)域在投影系統(tǒng)視覺傳感器坐標系下三維點云數(shù)據(jù)。使用大視場高精度拼接相機對分布在被測物體周圍的全局控制點成像,建立全局測量坐標系,同時以拼接相機作為中介,首先建立每一個測量位置下拼接相機坐標系與全局測量坐標系的轉(zhuǎn)換關(guān)系矩陣Mc-g;之后在視覺傳感器移動到每個位置時建立視覺傳感器與拼接相機的轉(zhuǎn)換關(guān)系矩陣Mc-g;最后推導(dǎo)出傳感器坐標系到全局坐標系關(guān)系為Ms-g=Ms-c.Mc-g,便可將不同位置、不同視角測得的三維數(shù)據(jù)統(tǒng)一到全局測量坐標系下,完成點云數(shù)據(jù)的拼接。
圖2 三維形貌拼接示意圖
2.2 拼接相機坐標系到全局坐標系的轉(zhuǎn)換
調(diào)整拼接相機的位置,使拼接相機一次同時拍攝至少3個全局控制點。根據(jù)近景攝影測量中的角錐體原理有:以攝影中心為頂點的兩根構(gòu)像光線的像方角應(yīng)與其物方角相等[10]。如圖3所示,將以上全局坐標系建立過程中用到的三點分別命名為A、B、C,它們在拼接相機像平面上的對應(yīng)成像點分別為A′、B′、C′,其像面坐標分別為(X1,Y1),(X2,Y2),(X3,Y3)。全局控制點在全局坐標系下的坐標已經(jīng)確定,所以其間的關(guān)系固定已知,即控制點間的距離AB、AC和BC分別為d1、d2和d3,同時相機的焦距為f。拼接相機攝影中心O與3個像點的距離分別為l1,l2,l3,則有
(1)
圖3 拼接相機坐標系到全局坐標系的轉(zhuǎn)換原理圖
若OA與OB的夾角θ1、OA與OC的夾角θ2以及OB與OC的夾角θ3則有
(2)
投影中心與3個控制點間距離分別為L1、L2和L3,根據(jù)角錐體原理同樣有:
(3)
由式(1)~式(3)可以迭代獲取Li(i=1,2,3)的準確數(shù)值,需要注意的是,以上方程組是二次的,所以可能存在兩個解,需要采取適當?shù)拇胧┦筁i(i=1,2,3)的結(jié)果滿足真實的邊長長短關(guān)系[11],在此不再贅述。
依Li的數(shù)值,可以求解出3個控制點在拼接相機坐標系下的空間坐標
(4)
根據(jù)3個控制點的在相機坐標系下的坐標值[11],求出拼接相機坐標系同全局坐標系的轉(zhuǎn)換矩陣Mc。
2.3 由投影系統(tǒng)視覺傳感器坐標系到拼接相機坐標系的轉(zhuǎn)換
投影儀投射帶有標記點圖樣的圖像,由投影測量系統(tǒng)的CCD相機采集,通過圖像處理提取標記點中心的像面坐標,再通過已建立的投影系統(tǒng)測量模型轉(zhuǎn)換,即可得到投射在被測物表面的標記點在投影系統(tǒng)傳感器坐標系下的坐標(Xs,Ys,Zs)。
任取3個標記點,在得到投射標記點在投影系統(tǒng)傳感器坐標系下的坐標后,可以求得它們之間的距離關(guān)系,之后再利用2.2的方法,可以求解所有標記點在拼接相機坐標系下的坐標(Xc,Yc,Zc)。則有
(5)
R為3(3正交單位矩陣,稱為坐標旋轉(zhuǎn)矩陣,T=[ΔX,ΔY,ΔZ]T為三維平移矩陣,m為尺度因子。
常用的布爾莎(Bursa)模型在求解過程中采用了邁克勞林級數(shù)展開作了相關(guān)的近似處理,所以只適合旋轉(zhuǎn)角為小角度的情況。本系統(tǒng)中在不確定以上兩個坐標系旋轉(zhuǎn)角度的情況下,對R矩陣不做近似處理,即R矩陣可寫為:
則式(5)可以轉(zhuǎn)化為:
(6)
式(6)中x=[ΔXΔYΔZma1ma2ma3mb1mb2mb3mc1mc2mc3]T,此式即為三維任意旋轉(zhuǎn)角度坐標轉(zhuǎn)換的基本模型,關(guān)鍵在求解該模型中的12個待估參數(shù)。
式(6)可以轉(zhuǎn)化為矩陣方程l=Bx的形式,改寫為誤差方程的形式為:
V=Bx-l
(7)
由于R為正交矩陣,即RRT=RTR=E,所以待估參數(shù)滿足以下條件:
(8)
如果只有3個觀測點,利用式(7)和式(8)可以迭代求解[12],但是為了提高轉(zhuǎn)換精度,通常會增加觀測點,在這種情況下則用最小二乘法求解超定方程組。
根據(jù)最小二乘的思想,在觀測方程l=Bx中,觀測向量l中存在誤差V,此時可以用整體最小二乘法求解出參數(shù)x的最優(yōu)值。在最小二乘法中,考慮的是矩陣方程l+V=Bx,并且要滿足x的取值滿足殘差VTV的值達到最小,即VTV=min(x)。具體的計算過程中,會將式(6)展開分解為三組方程組[13],分別為:
(9)
(10)
(11)
以上3個方程組都可以寫成矩陣方程l′=B′x′的形式,可以看出式(9)、式(10)、式(11)都滿足最小二乘回歸模型,之后再根據(jù)超定方程組求解的方法求解最小二乘解,通過以上3個方程組的解,可以算出12個待估參數(shù)。
3.1 投射標記點方案
DLP數(shù)字投影儀在其投射的范圍內(nèi)可以投射上位機指定的圖像,所以需要考慮選取的圖案能夠使測量精度達到最佳;同時考慮到被測物體表面可能存在形狀突變或形狀變化較大的地方,在這些地方如果投射圓形標記點可能會被調(diào)制為一些不可預(yù)知的形狀;最后投射的標記點要具有識別特征,便于后期傳感器相機與全局相機進行標記點匹配。綜合考慮以上因素,本方案選取的投射圖樣是均勻分布的一系列排列緊密編碼同心圓環(huán)形標記點。
首先,當有大量標記點投射在物體表面時,可以選取一些形變較小的標記點用來圖像拼接,這也就剔除了那些形狀變化較大標記點;同時當投影系統(tǒng)遮擋拼接相機部分視角的情況下,保證拼接相機可以拍攝到足夠多的標記點用來解算坐標系轉(zhuǎn)換關(guān)系。再有,我們采用的編碼方式是圓形編碼點,如圖4所示,這樣通過不同編碼,可以輔助兩個相機拍到編碼點的匹配。
圖4 一個完整的8位編碼同心圓環(huán)標記點
最后,當標記點投射在被測物表面較為平緩的位置時,標記點的形狀可以看作是同中心橢圓,拼接相機和傳感器相機分別拍攝得到物體表面的標記點圖像。為了保證傳感器相機與全局拼接相機圖像中提取的標記點中心對應(yīng)的是空間中的一個點,準確解算傳感器坐標系到拼接相機坐標系的轉(zhuǎn)換關(guān)系,可以采用直接最小二乘算法[14]擬合拍攝到的圖像的中心。而采取同心圓標記點的目的是使用修正算法補償透視投影幾何變換中的圓心偏差[15]。
3.2 坐標系轉(zhuǎn)換關(guān)系的優(yōu)化求解
在求解轉(zhuǎn)換關(guān)系Mc和Ms-c的過程中,采用了單幅圖像的方法,只需3個標記點,在已知3個標記點之間的距離關(guān)系后,即可求出這3個標記點在拼接相機坐標系下的坐標,避免了交匯定向方式中匹配的問題,拼接算法效率較高,同時拼接相機在空間中拍攝的位置自由,能夠克服投影系統(tǒng)傳感器遮擋的問題。但共面三點在深度方向上無法提供有力的約束,只能依靠拼接相機標定精度,特別是深度方向的誤差不容忽視[16],因此必須采取必要的修正措施。
考慮到拼接相機的大視場、高分辨率特征,求解過程充分利用拼接相機拍到的全局控制點和投射標記點建立光束平差模型。以全局控制點為例,由相機成像模型可知,任一空間點圖像坐標與三維坐標滿足如下關(guān)系式[17]:
(12)
式(12)中:(x,y)表示實際像點坐標,(X,Y,Z)表示全局控制點在全局坐標系下的三維坐標,(x0,y0)是主點位置坐標,(Δx,Δy)表示像點坐標的畸變量,是拼接相機坐標系相對全局坐標系的旋轉(zhuǎn)矩陣因子和平移矩陣因子。設(shè)拼接相機拍到的全局控制點的個數(shù)為n,聯(lián)立成像光線方程,得到如下方程組:
(13)
式(13)中,n個全局控制點坐標在全局坐標系下的三維坐標已知,相機的內(nèi)參也已精確標定,未知量僅為r1-r9,t1-t3,實際上旋轉(zhuǎn)矩陣因子r1-r9滿足如式(8)正交關(guān)系,所以當有3個以上全局控制點被拍到時,利用非線性優(yōu)化方法進行迭代求解,而迭代初值采用3.2節(jié)的方法獲得,具體迭代過程采用牛頓迭代法。通過以上方法可以有效減小誤差,在一些對于精度要求更高的應(yīng)用場合,可以通過拼接相機在不同位姿拍攝多張圖像,利用單相機多攝站空間交匯模型進行求解坐標系轉(zhuǎn)換關(guān)系[16,18]。
實驗中用到的DLP投影儀選擇了Ti公司的DLP LightCrafter,此款投影裝置可以由上位機控制選擇投射的模式與圖像;相機采用了JAI公司的型號為CV-M4+CL工業(yè)CCD相機,這款相機最大幀率可達24 frame/s,滿足了測量速度的要求,傳感器工作距離約300 mm,投影儀與相機之間距離約250 mm,視場范圍約200 mm×120 mm;拼接相機采用Megaplus6.3i(3 066像素×2 048像素)CCD相機,滿足了高分辨率的要求,同時安裝Nikon 28 mm廣角鏡頭以最大限度地采集到視場中的全局控制點和投射標記點,使用過程中將相機固定在三腳架上,投影系統(tǒng)傳感器每到一個位置,可以適當移動三腳架的位置,以便于拼接相機拍攝投影標記點和全局控制點。
首先驗證拼接精度,采取以下實驗設(shè)計:在空間中放置一塊帶標記點的平面靶標,視覺傳感器在第一個位置對平面靶標進行測量;之后平面靶標位置不動,視覺傳感器移動到第2個位置進行測量,即視覺傳感器坐標系在前后兩次空間位置發(fā)生了變化,而平面靶標的空間位置是保持不變的。在兩次測量公共視場范圍內(nèi)的標定靶標上選取40個特征點,理論上兩次測量的靶標上特征點三維坐標應(yīng)相等,依此評價拼接精度。在視覺傳感器前后兩個位置,依據(jù)本文提出的坐標轉(zhuǎn)換模型可以分別得到公共視場范圍內(nèi)40個點在全局坐標系中的三維坐標,然后計算拼接后兩次平面靶標上40個特征點三維坐標在X、Y、Z3個方向上的差值,最后分別將40組差值的均方根值求出,得到X、Y、Z3個方向上的RMS誤差分別為:0.056 mm、0.023 mm、0.165 mm,圖5為兩次測量中得到的40個點拼接后在全局坐標系中的坐標,圖中‘○’為第一個位置所測點,‘+’為第2個位置所測點。
圖5 兩次測量公共點對比圖
之后考慮到測量中形貌拼接過程坐標系轉(zhuǎn)換對于整個系統(tǒng)精度的影響,本文設(shè)計了測量系統(tǒng)絕對精度驗證實驗:在不同的幾塊傳感器投影范圍內(nèi)貼上a1,a2,…,a1010個人工標記點,通過坐標系轉(zhuǎn)換模型將這10個點在全局坐標系下的坐標求出,這10個坐標值是測量值。再采用V-stars測量系統(tǒng)測量這10個點的空間坐標,以同樣3個全局控制點建立坐標系,可以近似得到這10個點在全局坐標系下的真實坐標值(V-stars系統(tǒng)在10 m范圍內(nèi)測量精度可以達到0.08 mm)。兩組數(shù)據(jù)比對結(jié)果如表1所示,實驗結(jié)果顯示10個點距離誤差平均值為0.33 mm,表明依據(jù)本文提出的拼接方案搭建的測量系統(tǒng)具有較高的測量精度。
表1 拼接數(shù)據(jù)誤差分析結(jié)果(單位:mm)
本文給出了基于光柵投影精密測量的三維形貌拼接實現(xiàn)方案,使精度較高、技術(shù)成熟的光柵投影測量方法可以應(yīng)用于尺寸較大的三維形貌測量,同現(xiàn)有的一系列方案相比,此方案優(yōu)勢明顯:投射標記點不影響被測形貌自身特征,且操作簡潔、效率高;對于投影系統(tǒng)視覺傳感器位姿沒有限制;從原理上克服了基于相鄰圖像重疊拼接中的誤差累積問題。從實驗結(jié)果來看,本文提出的拼接方法在X,Y,Z坐標的RMS誤差分別為:0.056 mm、0.023 mm、0.165 mm,測量系統(tǒng)的絕對精度為:0.33 mm,精度較高,可以應(yīng)用于一般精度要求,為大型面形的三維視覺測量提供了一種有效方法。
[1] 吳艷.結(jié)構(gòu)光投影三維測量方法的研究[D].西安:西安建筑科技大學,2012.
[2]張洪濤,段發(fā)階,王學影,等.多傳感器視覺測量系統(tǒng)坐標統(tǒng)一技術(shù)研究[J].傳感技術(shù)學報,2006,19(4):1301-1304.
[3]龍璽,鐘約先.結(jié)構(gòu)光三維掃描測量的三維拼接技術(shù)[J].清華大學學報(自然科學版),2002,42(4):477-480.
[4]馬揚飚,鐘約先,鄭聆,等.三維數(shù)據(jù)拼接中編碼標志點的設(shè)計與檢測[J].清華大學學報(自然科學版),2006,46(2):169-171.
[5]張效棟,孫長庫.新型簡易三維數(shù)字化全貌測量系統(tǒng)[J].傳感技術(shù)學報,2008,21(10):1798-1803.
[6]Member Paul J Besl.A Method for Registration of 3-D Shapes[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1992,14(2):239-256.
[7]張廣軍,孫軍華,魏振忠,等.基于單經(jīng)緯儀的視覺測量三維數(shù)據(jù)拼接方法[J].儀器儀表學報,2007,28(3):441-445.
[8]李喆,丁振良,袁峰.基于共面點的多視覺測量系統(tǒng)的全局標定[J].光學精密工程,2008(3):467-472.
[9]Huang Shujun,Zhang Zonghua,Zhao Yan.3D Fingerprint Imaging System Based on Full-Field Fringe Projection Profilometry[J].Optics and Lasers in Engineering,2014,52(1):123-130.
[10]張一平,龔志輝,王勃.基于大傾角的角錐體空間后方交會研究[J].測繪工程,2012,21(2):17-20.
[11]邾繼貴,王大為,任同群,等.基于單次成像的三維形貌拼接技術(shù)[J].機械工程學報,2007,43(6):186-189.
[12]王保豐,徐寧,余春平,等.兩種空間直角坐標系轉(zhuǎn)換參數(shù)初值快速計算的方法[J].宇航計測技術(shù),2007,27(4):20-24.
[13]許超鈐,姚宜斌,熊思婷,等.三維任意旋轉(zhuǎn)角度坐標轉(zhuǎn)換的整體最小二乘回歸解法[J].測繪信息與工程,2010(5):46-48.
[14]Fitzgibbon A,Pilu M,Fisher R B.Direct Least Square Fitting of Ellipses[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(5):476-480.
[15]達飛鵬,蓋紹彥.光柵投影三維測量[M].科學出版社,2011:1-2.
[16]任同群,邾繼貴,李艷軍,等.形貌測量中立體圖像拼接的關(guān)鍵技術(shù)[J].機械工程學報,2008,44(5):137-141.
[17]郭磊.移動視覺精密測量關(guān)鍵技術(shù)研究[D].天津:天津大學,2011.
[18]黃桂平,葉聲華,李廣云.數(shù)字近景工業(yè)攝影測量關(guān)鍵技術(shù)研究與應(yīng)用[D].天津:天津大學,2005.
劉常杰(1973-),男,山東威海人,博士,副教授,碩士生導(dǎo)師,主要從事激光及光電測試技術(shù)方面研究;
劉洋(1989-),男,天津人,碩士在讀,主要研究工作是光柵投影三維精密測量。
TheResearchof3DMorphologySplicingTechniquesofGratingProjectionMeasuringSystem*
LIUChangjie*,LIUYang,LIUMiao,LIBin
(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)
To solve the morphology measurement of objects which are large in size or complex in surface,a 3D morphology splicing scheme based on projection markers and global controlling points is proposed.The scheme makes full use of the advantages of grating projection measuring system.Using splicing camera coordinate system as the intermediary,multi-view point cloud coordinates of measured surfaces in the projection system vision sensor coordinate system are converted to the global coordinate system.Measurement data which are measured by the projection system vision sensor in different positions and different angles are unified into the global coordinate system so that the morphology splicing can be accomplished.This scheme avoids pasting the artificial markers and maintains the original morphology of the surface of the measured objects.Measuring efficiency is improved and the error accumulation problem based on the overlap splicing of adjacent images is overcome.The method of this scheme is simple and practical.The accuracy can also meet the requirements.The experimental results show that the splicing RMS errors ofX,Y,Zcoordinate are 0.056 mm,0.023 mm and 0.165 mm.The absolute error of the measurement system is 0.33 mm.
grating projection measurement;morphology splicing;projection markers;the global control points
項目來源:國家“863”計劃項目(2012AA041205)
2014-04-09修改日期:2014-06-03
10.3969/j.issn.1004-1699.2014.07.004
TP391;TH741
:A
:1004-1699(2014)07-0870-06