基于柔性控制點(diǎn)的三維數(shù)據(jù)拼接方法

蘭志廣，張洋，張致遠(yuǎn)，李汝鵬，劉巍，邢宏文

(1.大連理工大學(xué) 機(jī)械工程學(xué)院，遼寧 大連 116024；2.國家商用飛機(jī)制造工程研究中心，上海 200127)

0 引言

在航空航天等領(lǐng)域，為保證零件的加工精度及部件的裝配精度，需要對零件的三維幾何尺寸等數(shù)據(jù)進(jìn)行精確的測量。目前，機(jī)器視覺測量憑借其測量精度高、速度快、非接觸及易于操作等優(yōu)點(diǎn)，已被廣泛應(yīng)用于工業(yè)現(xiàn)場[1-2]。然而，航空航天的零部件外形尺寸一般較大，且放置于型架上，在特定的方向上存在遮擋等現(xiàn)象，僅憑傳感器的單一測量視場無法實(shí)現(xiàn)整個(gè)零部件的高精度全局測量要求[3-4]。因此需要利用多視數(shù)據(jù)拼接技術(shù)，即將多視場傳感器獲得的局部測量數(shù)據(jù)通過拼接算法融合在同一個(gè)坐標(biāo)系下，從而獲得大型零部件完整的外形三維數(shù)據(jù)。

目前，三維數(shù)據(jù)全局拼接方法可根據(jù)數(shù)據(jù)的獲取流程分為三類：一類是機(jī)械運(yùn)動(dòng)式拼接法[5]，即利用機(jī)械結(jié)構(gòu)獲取各次測量傳感器絕對位置，從而將局部數(shù)據(jù)根據(jù)絕對位置轉(zhuǎn)換至同一坐標(biāo)系下，完成測量數(shù)據(jù)的拼接。該類方法具有操作方便的優(yōu)點(diǎn)，但是其拼接精度取決于運(yùn)動(dòng)機(jī)構(gòu)的精度[6]，運(yùn)動(dòng)機(jī)構(gòu)的尺寸范圍一般較小，主要適用于中小零部件的拼接測量。第二類是公共區(qū)域順序拼接法[7-8]，即在相鄰的兩個(gè)測量視場的公共區(qū)域內(nèi)布置特征信息，通過特征信息在兩個(gè)不同傳感器的坐標(biāo)值利用坐標(biāo)轉(zhuǎn)換算法來求得這兩個(gè)傳感器的轉(zhuǎn)換關(guān)系，從而將后一傳感器獲得的坐標(biāo)值轉(zhuǎn)換至前一傳感器坐標(biāo)系下，以此類推，將其他所有傳感器獲得的坐標(biāo)轉(zhuǎn)換至第一個(gè)傳感器坐標(biāo)系下，最后完成數(shù)據(jù)拼接。如北航劉震等人，利用同心圓靶標(biāo)作為特征信息，放置在相鄰兩個(gè)測量視場的公共區(qū)域，實(shí)現(xiàn)三維數(shù)據(jù)的拼接[8]。此類方法針對較小零件測量時(shí)，由于坐標(biāo)轉(zhuǎn)換次數(shù)較少，需要設(shè)備較少，且操作簡便，具有很大的優(yōu)勢。然而在測量較大的零部件時(shí)，如長達(dá)10多米的機(jī)翼等，由于數(shù)據(jù)拼接的次數(shù)多會(huì)產(chǎn)生嚴(yán)重的累積誤差[9]，拼接精度較低。且在相鄰的兩個(gè)測量區(qū)域的公共視場內(nèi)要有足夠多的特征信息，對特征信息的布置和測量傳感器的拍攝角度都有較高的要求。第三類是全局控制拼接法[10-15]，即利用全局控制裝置測量傳感器在每一位置的位姿，獲得各個(gè)位置局部傳感器坐標(biāo)系到全局坐標(biāo)系的轉(zhuǎn)換關(guān)系，從而將所有局部信息統(tǒng)一至全局坐標(biāo)系下，完成拼接。如R.S.Lu等人利用雙經(jīng)緯儀系統(tǒng)作為全局控制裝置，視覺傳感器作為局部測量系統(tǒng)，視覺傳感器測量被測物獲得三維數(shù)據(jù)，雙經(jīng)緯儀測量視覺傳感器的位置求得局部測量坐標(biāo)系到全局坐標(biāo)系的轉(zhuǎn)換關(guān)系，將局部數(shù)據(jù)轉(zhuǎn)換至全局坐標(biāo)系下，實(shí)現(xiàn)拼接測量[16]。該類方法的轉(zhuǎn)換鏈簡單，具有很高的拼接精度，廣泛應(yīng)用于大型零部件的三維測量中[17-18]。然而，利用現(xiàn)有方法需要提前對全局控制點(diǎn)進(jìn)行布局并手工粘貼，效率低，例如對于3×3 m的零件粘貼控制點(diǎn)大概需要1小時(shí)左右，另外還需要時(shí)間手動(dòng)揭下控制點(diǎn);且飛機(jī)機(jī)翼蒙皮、天線罩等對表面質(zhì)量要求很高的精密零件，表面不允許粘貼控制點(diǎn)，因此粘貼控制點(diǎn)的全局拼接方法適用范圍有限。

針對具有自由曲面的大型零件的快速全局測量，本文利用雙目視覺，提出了一種基于柔性投影全局控制點(diǎn)的全局三維數(shù)據(jù)拼接方法。該方法不需要預(yù)先布置控制點(diǎn)，省去了繁瑣的布點(diǎn)流程，可根據(jù)零件表面特征自由安排測量站位，現(xiàn)場適應(yīng)性高，并且由于坐標(biāo)轉(zhuǎn)換簡便，不會(huì)隨著局部測量次數(shù)的增多而產(chǎn)生累積誤差，具有非常高的拼接精度。

1 全局三維數(shù)據(jù)拼接方法

圖1 基于柔性控制點(diǎn)的全局三維數(shù)據(jù)拼接原理圖

基于柔性控制點(diǎn)的全局三維數(shù)據(jù)拼接原理如圖1所示。全局測量系統(tǒng)由前后兩套雙目視覺測量系統(tǒng)和一臺(tái)投影儀組成。其中，后面的雙目視覺測量系統(tǒng)采用兩臺(tái)分辨力高且視場大的工業(yè)相機(jī)作為全局控制系統(tǒng)，固定于測量區(qū)域后方，用于建立全局坐標(biāo)系；采用兩臺(tái)視場較小的工業(yè)相機(jī)作為局部測量系統(tǒng)，放置于測量區(qū)域的前方，可隨時(shí)移動(dòng)用以獲取被測零件不同區(qū)域的局部信息；投影儀用以投影柔性控制點(diǎn)陣，投影出的點(diǎn)陣可同時(shí)被兩套雙目系統(tǒng)采集到，以實(shí)現(xiàn)局部坐標(biāo)系到全局坐標(biāo)系的坐標(biāo)轉(zhuǎn)換。利用全局控制系統(tǒng)和局部測量系統(tǒng)分別對柔性控制點(diǎn)進(jìn)行采集，獲得局部坐標(biāo)系與全局坐標(biāo)系間的轉(zhuǎn)換矩陣，從而實(shí)現(xiàn)不同位置三維點(diǎn)云數(shù)據(jù)的拼接。

1.1 全局坐標(biāo)系與局部坐標(biāo)系的建立

為實(shí)現(xiàn)大型零件三維點(diǎn)云數(shù)據(jù)的拼接，首先應(yīng)建立全局控制坐標(biāo)系(后文簡稱全局坐標(biāo)系)和局部測量坐標(biāo)系(后文簡稱局部坐標(biāo)系)，本文將全局坐標(biāo)系建立在全局控制系統(tǒng)中左相機(jī)的相機(jī)坐標(biāo)系上，如圖2所示。

圖2 雙目相機(jī)的測量原理

在視覺測量的過程中，首選要對相機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。通過單相機(jī)的標(biāo)定，可得到視場范圍內(nèi)任意點(diǎn)P在二維圖像坐標(biāo)系中的像素坐標(biāo)(uP,vP)與世界坐標(biāo)系中的坐標(biāo)(xP,yP,zP)間的轉(zhuǎn)換關(guān)系為

(1)

式中：K為相機(jī)的內(nèi)參矩陣；H為相機(jī)的外參矩陣；fx為焦距長度與相機(jī)芯片每個(gè)單元x方向尺寸的乘積；fy為焦距長度與相機(jī)芯片每個(gè)單元y方向尺寸的乘積；cx,cy為相機(jī)的主點(diǎn)坐標(biāo)；RC為像素坐標(biāo)系與世界坐標(biāo)系間的旋轉(zhuǎn)矩陣；TC為像素坐標(biāo)系與世界坐標(biāo)系間的平移向量。

分別對左右相機(jī)進(jìn)行標(biāo)定后，通過立體標(biāo)定得到左右相機(jī)的對應(yīng)關(guān)系，利用空間交匯的原理，即可將視場內(nèi)的任意空間點(diǎn)在左相機(jī)坐標(biāo)系下進(jìn)行重建，得到點(diǎn)在全局坐標(biāo)系下的三維空間坐標(biāo)。

按照上述建立全局坐標(biāo)系的方法，將局部坐標(biāo)系建立在局部測量系統(tǒng)的左相機(jī)上，并利用相同的標(biāo)定方法，標(biāo)定局部測量系統(tǒng)，從而可以獲得空間內(nèi)任意一點(diǎn)在局部坐標(biāo)系下的三維坐標(biāo)。

1.2 全局控制點(diǎn)的布局和匹配

為實(shí)現(xiàn)三維數(shù)據(jù)的全局拼接，需要在全局控制系統(tǒng)和局部測量系統(tǒng)的公共視場內(nèi)設(shè)立具有公共信息的全局控制點(diǎn)，并根據(jù)這些點(diǎn)陣求解全局坐標(biāo)系與局部坐標(biāo)系間的轉(zhuǎn)換矩陣。因此，全局控制點(diǎn)的建立對于全局三維數(shù)據(jù)拼接非常重要。傳統(tǒng)的全局控制點(diǎn)布置方法需要根據(jù)被測零件的尺寸及形狀，在測量視場中提前對全局控制點(diǎn)的放置區(qū)域及擺放密度進(jìn)行設(shè)計(jì)，并由人工布置，前期準(zhǔn)備工作非常繁瑣，且在局部測量過程中，若部分點(diǎn)受到遮擋，會(huì)嚴(yán)重影響拼接的精度。

圖3 柔性全局控制點(diǎn)

針對全局控制點(diǎn)布局的問題，本文提出一種柔性投影控制點(diǎn)的方法，如圖3所示，利用局部測量系統(tǒng)中的投影儀，根據(jù)被測零件的表面特征，柔性投影特征點(diǎn)陣。其中，矩形外邊框所圍成的區(qū)域?yàn)榫植繙y量系統(tǒng)的測量范圍，用以保證局部測量的過程可以覆蓋被測物所有的表面區(qū)域，邊框內(nèi)部投影的點(diǎn)陣作為全局控制點(diǎn)，充滿整個(gè)視場。由于全局控制系統(tǒng)的兩臺(tái)相機(jī)距被測零件較遠(yuǎn)，若特征尺寸較小，受相機(jī)分辨力限制，相機(jī)的測量精度降低，因此，為了保證拼接的精度，投影的柔性控制點(diǎn)尺寸根據(jù)測量現(xiàn)場全局控制系統(tǒng)與零件表面的位置關(guān)系進(jìn)行實(shí)時(shí)調(diào)整，使控制點(diǎn)占據(jù)盡可能多像素，提高點(diǎn)的提取精度，從而保證三維數(shù)據(jù)拼接的質(zhì)量。

采用這種投影控制點(diǎn)的方法，柔性高，現(xiàn)場適應(yīng)性強(qiáng)，省去了人工布點(diǎn)的繁瑣工作，操作更加簡便，且由于不需要在零件表面粘貼標(biāo)記點(diǎn)，保證了零件的表面精度。此外，根據(jù)被測零件的表面特征可以實(shí)時(shí)調(diào)整投影點(diǎn)的位置，可以避免控制點(diǎn)被遮擋或變形，極大提高了數(shù)據(jù)拼接的精度和穩(wěn)定性。

全局控制系統(tǒng)和局部測量系統(tǒng)分別采集控制點(diǎn)陣的圖像，并在各自的坐標(biāo)系下重建得到點(diǎn)陣的三維坐標(biāo)。則局部坐標(biāo)系下控制點(diǎn)集P={Pi|Pi∈P,i∈N,i≥3}，其中，Pi=(xi,yi,zi)為點(diǎn)Pi在局部坐標(biāo)系下的三維坐標(biāo)。全局坐標(biāo)系下的控制點(diǎn)集為Q={Qi|Qi∈Q,i∈N,i≥3}，其中,Qi=(xi,yi,zi)為點(diǎn)Qi在局部坐標(biāo)系下的三維坐標(biāo)。

基于控制點(diǎn)的空間特征不變性對兩點(diǎn)集中的控制點(diǎn)進(jìn)行匹配。分別構(gòu)建點(diǎn)集P和Q的描述向量。

Ai=|d(Pi,P1)d(Pi,P2)…d(Pi,Pn)|,n≠i

(2)

Bi=|d(Qi,Q1)d(Qi,Q2)…d(Qi,Qn)|,n≠i

(3)

式中：d(Pi,Pj)=‖Pi-Pj‖2，d(Qi,Qj)=‖Qi-Qj‖2分別為點(diǎn)Pi與P中其他點(diǎn)間的歐式距離和點(diǎn)Qi與Q中其他點(diǎn)間的歐式距離。

由于在控制點(diǎn)的提取和重建過程中誤差的存在，相互匹配的點(diǎn)對的描述向量并不完全相同，因此需要設(shè)定一閾值φ，若點(diǎn)Pi和點(diǎn)Qi的描述向量滿足

‖Ai-Bi‖2<φ

(4)

則認(rèn)為點(diǎn)Pi和點(diǎn)Qi是相互匹配的，即(Pi,Qi)為匹配點(diǎn)對。最后，將P，Q中的點(diǎn)根據(jù)匹配關(guān)系重新編號(hào)排序，得到高精度匹配的控制點(diǎn)集P′={Pk|Pk∈P,k∈N,3≤k≤i}和Q′={Qk|Qk∈Q,k∈N,3≤k≤i}。

1.3 三維數(shù)據(jù)的拼接及優(yōu)化

根據(jù)全局坐標(biāo)系下與局部坐標(biāo)系下對應(yīng)的匹配點(diǎn)對，可求解全局坐標(biāo)系與局部坐標(biāo)系的坐標(biāo)轉(zhuǎn)換關(guān)系。對于空間中的這兩個(gè)坐標(biāo)系，同時(shí)存在旋轉(zhuǎn)和平移，即同一控制點(diǎn)在兩坐標(biāo)系下的坐標(biāo)可表示為

Qk=R·Pk+T

(5)

式中:R為坐標(biāo)系旋轉(zhuǎn)矩陣；T為坐標(biāo)系平移向量。為方便計(jì)算，利用向量的計(jì)算先得到旋轉(zhuǎn)矩陣之間的關(guān)系，然后再利用點(diǎn)的坐標(biāo)計(jì)算平移向量，即

(6)

具體的求解過程為

首先，計(jì)算兩匹配點(diǎn)集的質(zhì)心點(diǎn)

(7)

(8)

其次，分別計(jì)算兩匹配點(diǎn)集中的向量

(9)

(10)

則

(11)

建立目標(biāo)函數(shù)

(12)

(13)

2 大型三維形面測量實(shí)驗(yàn)

圖4 大型零件三維數(shù)據(jù)測量系統(tǒng)

搭建大型零件三維數(shù)據(jù)測量系統(tǒng)如圖4所示，局部測量系統(tǒng)由兩臺(tái)工業(yè)相機(jī)(VC-12MC-M/C 65，焦距28 mm，分辨力3072×4096)和一臺(tái)投影儀(EPSON，3000 lm)組成，全局控制系統(tǒng)由兩臺(tái)高精度大視場工業(yè)相機(jī)(VC-29MC-M/C，焦距50 mm，分辨力4384×6576)組成。根據(jù)1.1的標(biāo)定方法，在實(shí)驗(yàn)室對兩套雙目相機(jī)組成的測量系統(tǒng)進(jìn)行精確標(biāo)定，并利用測量系統(tǒng)對大型零件進(jìn)行了三維數(shù)據(jù)采集和重建。

在北極這樣的寒冷地帶生活，沒有一些特殊本領(lǐng)怎么能行？一些苔蘚可以在零下10℃的環(huán)境里生存，而地衣就更厲害了，即使是零下20℃的低溫，它們也無所畏懼。苔蘚和地衣都是緊貼著地面匍匐生長的，這其實(shí)是一種對付極寒天氣的生存智慧，因?yàn)橹挥小芭吭诘厣稀保拍軌蚩癸L(fēng)、保溫，并且減少植物的蒸騰作用，更好地生存下去。

2.1 階梯式全局測量系統(tǒng)的標(biāo)定

根據(jù)雙目系統(tǒng)測量視場的大小，基于張氏標(biāo)定法，采用300×400 mm的黑白棋盤格標(biāo)定板對局部測量系統(tǒng)進(jìn)行標(biāo)定，采用600×800 mm的黑白棋盤格標(biāo)定板對全局測量系統(tǒng)進(jìn)行標(biāo)定，標(biāo)定板的精度為0.02 mm。

1)復(fù)合式全局測量系統(tǒng)的系統(tǒng)參數(shù)標(biāo)定

對全局控制系統(tǒng)即后雙目系統(tǒng)進(jìn)行標(biāo)定，得到標(biāo)定結(jié)果為

左相機(jī)內(nèi)參：fx=8767.1,fy=8751.4,cx=3106.6,cy=2242.1,k1=0.10661,k2=-0.07177;

右相機(jī)內(nèi)參：fx=8868.9,fy=8852.4,cx=3451.1,cy=2194.9,k1=0.066,k2=1.218;

對局部測量系統(tǒng)進(jìn)行標(biāo)定，標(biāo)定結(jié)果為

左相機(jī)內(nèi)參：fx=5206.1,fy=5208.4,cx=2053.9,cy=1527.6,k1=-0.026,k2=0.209;

右相機(jī)內(nèi)參：fx=5177.0,fy=5185.5,cx=2138.3,cy=1497.2,k1=-0.026,k2=0.178。

根據(jù)1.1節(jié)，全局坐標(biāo)系和局部坐標(biāo)系分別建立在前后雙目系統(tǒng)的左相機(jī)上。

2)局部坐標(biāo)系與全局坐標(biāo)系的轉(zhuǎn)換

在局部測量的第一個(gè)測量站位，利用局部測量系統(tǒng)中的投影儀，在被測零件的表面投影全局控制點(diǎn)，控制點(diǎn)的分布根據(jù)被測零件表面的特征實(shí)時(shí)調(diào)整，保證盡可能多的點(diǎn)出現(xiàn)在相機(jī)視場中。

利用前后雙目系統(tǒng)，分別采集投影的柔性控制點(diǎn)陣。根據(jù)控制點(diǎn)陣的空間不變性，前后雙目系統(tǒng)兩次采集得到的點(diǎn)陣中各點(diǎn)間的位置關(guān)系相對不變。利用式(12)和式(13)，求解得出局部坐標(biāo)系與全局坐標(biāo)系的轉(zhuǎn)換矩陣。

按照規(guī)劃的局部測量路徑，移動(dòng)局部測量系統(tǒng)到相應(yīng)的測量站位，重復(fù)上述過程，并求取每一個(gè)位置下局部坐標(biāo)系與全局坐標(biāo)系的轉(zhuǎn)換矩陣，將所有三維數(shù)據(jù)都統(tǒng)一到固定不變的全局坐標(biāo)系中，即可實(shí)現(xiàn)大型零件的全局三維測量。

2.2 全局拼接方法精度驗(yàn)證實(shí)驗(yàn)

本文采用標(biāo)準(zhǔn)殷鋼尺來驗(yàn)證階梯式全局測量系統(tǒng)的測量精度，標(biāo)準(zhǔn)尺的長度為1100.0207 mm。其驗(yàn)證的過程為：將標(biāo)準(zhǔn)尺以不同的傾角放置在測量空間中相機(jī)的合焦平面周圍，利用全局拼接系統(tǒng)分別測量標(biāo)準(zhǔn)尺兩端的兩個(gè)特征點(diǎn)A，B，并將兩次測量到的數(shù)據(jù)轉(zhuǎn)換至全局坐標(biāo)系下，計(jì)算得到標(biāo)尺長度，通過與標(biāo)準(zhǔn)尺的標(biāo)準(zhǔn)長度對比來評價(jià)本文提出的拼接方法的精度。

標(biāo)尺的三維重建圖如圖5所示，各個(gè)端點(diǎn)的測量數(shù)據(jù)如表1所示。利用本文提出的拼接方法，重建一維標(biāo)尺的最大誤差為0.1593 mm，可認(rèn)為其拼接精度為0.1593 mm，小于0.2 mm，具有很高的拼接精度。

圖5 一維標(biāo)尺拼接重建

2.3 大型壁板拼接實(shí)驗(yàn)

采用本文提出的全局測量系統(tǒng)，在實(shí)驗(yàn)室中對已知數(shù)學(xué)模型的大型復(fù)合材料壁板進(jìn)行拼接測量實(shí)驗(yàn)。根據(jù)壁板的尺寸，選取合適的三個(gè)測量站位，并在三個(gè)位置投影柔性全局控制點(diǎn)，計(jì)算獲得三次測量的轉(zhuǎn)換矩陣，如表2所示。使用局部測量傳感器在每一個(gè)位置對壁板進(jìn)行測量時(shí)，相機(jī)采集到的圖像如圖6所示。然后，將得到的每一個(gè)位置的三維點(diǎn)云數(shù)據(jù)統(tǒng)一到全局坐標(biāo)系下，進(jìn)而實(shí)現(xiàn)對大型壁板的三維拼接測量，拼接重建結(jié)果如圖7所示。完成拼接后，三個(gè)站位所得到的測量點(diǎn)云之間不存在錯(cuò)位、旋轉(zhuǎn)等問題，重建得到了被測壁板的三維型面信息。通過計(jì)算拼接點(diǎn)云數(shù)據(jù)與三維數(shù)模間的均方根誤差(RMS)對拼接方法進(jìn)行評價(jià)，測量點(diǎn)云數(shù)據(jù)與模型對應(yīng)點(diǎn)間的均方根誤差為0.4734 mm，同時(shí)對于該壁板件在三坐標(biāo)測量機(jī)上進(jìn)行測量，其測量結(jié)果與模型對應(yīng)點(diǎn)間的均方根誤差為0.254 mm，可以驗(yàn)證本文提出的方法對于復(fù)合材料壁板測量的有效性，可以滿足大型壁板的測量要求。

圖6 雙目相機(jī)采集到的灰度圖像

圖7 大型復(fù)合材料壁板拼接點(diǎn)云

表1 不同位姿標(biāo)尺拼接重建結(jié)果

表2 坐標(biāo)系轉(zhuǎn)換矩陣

3 結(jié)論

針對現(xiàn)有大型零件全局測量過程中存在的不足，提出一種基于柔性控制點(diǎn)的全局三維數(shù)據(jù)拼接方法。該方法利用投影柔性控制點(diǎn)，解決了傳統(tǒng)大型零件測量過程中控制點(diǎn)布局繁瑣、效率低的問題，提高了測量系統(tǒng)的現(xiàn)場適應(yīng)性。采用階梯式雙目系統(tǒng)進(jìn)行局部和全局的三維數(shù)據(jù)采集，便于測量過程中根據(jù)被測零件表面特征實(shí)時(shí)調(diào)整測量站位，保證公共視場中存在足夠多的拼接控制點(diǎn)，提高了數(shù)據(jù)拼接的精度和測量穩(wěn)定性。本文詳細(xì)介紹了階梯式三維數(shù)據(jù)拼接的原理和全局測量流程，在實(shí)驗(yàn)室中，利用定長標(biāo)尺對拼接方法的精度進(jìn)行了驗(yàn)證，在4000×3000 mm的測量視場范圍內(nèi)拼接精度可達(dá)0.1593 mm；此外，利用本文提出的三維數(shù)據(jù)拼接方法對大型復(fù)材壁板零件進(jìn)行了多站位測量并進(jìn)行了三維數(shù)據(jù)拼接和重建，重建結(jié)果顯示該拼接方法可以滿足大型零件的現(xiàn)場測量要求，驗(yàn)證了其有效性。