基于多線結(jié)構(gòu)光的弱紋理物體形貌測量方法

崔中原，田裕鵬，尹相杰，徐奕

(南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京 211106)

0 引言

過去10年里，增材制造技術(shù)經(jīng)歷了快速發(fā)展。由于增材制造過程中材料是一層接著一層熔化并且快速凝固，零件經(jīng)歷了涉及定向熱傳遞的復(fù)雜熱演化歷程[1]，從而導(dǎo)致應(yīng)力變形和毛孔、針孔或微裂紋的產(chǎn)生。這些因素導(dǎo)致增材制造的印刷效果無法控制。因此，通過實(shí)時(shí)監(jiān)控對象的坐標(biāo)信息和形狀變化并將其與打印模型進(jìn)行比較，在打印出現(xiàn)一定誤差時(shí)可對系統(tǒng)進(jìn)行閉環(huán)控制并及時(shí)止損，這對提高生產(chǎn)效率具有重要意義。

三維測量分為主動測量方法和被動測量方法。被動測量方法要求物體表面具有豐富的紋理信息，當(dāng)紋理信息較少時(shí)測量精度降低。對于諸如激光三維掃描的主動測量方法，通過將單線激光投射到待測對象上，激光條紋圖像被兩個(gè)相機(jī)采集并重建。代表性產(chǎn)品如FARO開發(fā)的Freestyle手持式3D掃描儀，由于采用單條激光，所獲得的圖像對環(huán)境光具有強(qiáng)抗干擾能力和高測量穩(wěn)定性。為滿足3D打印中弱紋理對象的監(jiān)測要求，本方法將多線結(jié)構(gòu)光與雙目立體視覺測量技術(shù)相結(jié)合，將多線結(jié)構(gòu)光投射到物體的表面上，采用光條序列匹配和極線約束相結(jié)合的圖像特征點(diǎn)匹配方法，解決了多線結(jié)構(gòu)光投射后的紋理重復(fù)性問題，最后根據(jù)相機(jī)標(biāo)定參數(shù)，實(shí)現(xiàn)了復(fù)雜曲面下的一次性表面重建[2]。

該方法有3個(gè)創(chuàng)新點(diǎn)：1) 采用匯聚相機(jī)模型確保測量精度，而一些主流相機(jī)開源庫采用平行相機(jī)模型，精度較低；2) 將形態(tài)學(xué)算法與傳統(tǒng)的光條提取算法相結(jié)合，實(shí)現(xiàn)了光條細(xì)化和提取；3) 解決多線結(jié)構(gòu)光的立體匹配問題。

1 雙目立體視覺系統(tǒng)

雙目立體視覺系統(tǒng)可分為平行式相機(jī)系統(tǒng)和匯聚式相機(jī)系統(tǒng)。如果兩個(gè)相機(jī)的光軸平行安裝，則構(gòu)成平行相機(jī)系統(tǒng)；如果兩個(gè)相機(jī)的光軸在安裝時(shí)形成一定角度，從而使兩個(gè)光軸同時(shí)集中在目標(biāo)物體上，則構(gòu)成了匯聚式攝像系統(tǒng)[3]。雖然平行雙目視覺系統(tǒng)的重建算法相對簡單，但在實(shí)際安置中難以保證兩臺攝像機(jī)的嚴(yán)格平行，給實(shí)際應(yīng)用帶來了一定的困難。另外，平行雙目視覺系統(tǒng)受視場限制，攝像機(jī)間距小，測量誤差大。因此，本方法采用匯聚式雙目視覺系統(tǒng)[4]。

匯聚雙目立體視覺的成像幾何關(guān)系如圖1所示。其中，點(diǎn)P是空間中一點(diǎn)，Pl和Pr分別為點(diǎn)P在左、右相機(jī)中的投影點(diǎn)，O1C1和O2C2分別是左、右相機(jī)的光軸。角度為2θ，基線距離為B。在世界坐標(biāo)系中，點(diǎn)P是PlC1和PrC2的交點(diǎn)，點(diǎn)P的坐標(biāo)可以根據(jù)上述已知參數(shù)獲得:

圖1 匯聚式雙目系統(tǒng)模型

(1)

(2)

其中：x1和x2是左、右攝像機(jī)坐標(biāo)系中相應(yīng)的x軸物理坐標(biāo)；f是相機(jī)焦距。

2 結(jié)構(gòu)光提取和匹配

2.1 圖像預(yù)處理

圖2顯示了被測物體的原始采集圖像。在圖中，背景與目標(biāo)對象的灰度值不同，并且投射到背景上的結(jié)構(gòu)光是干擾信息，需要通過合適的閾值分割算法來移除背景部分，僅保留投影到對象上的結(jié)構(gòu)光圖像。

由于物體表面不規(guī)則，結(jié)構(gòu)光條在物體表面上的強(qiáng)度分布不均勻，并且在閾值處理之后，出現(xiàn)孔洞現(xiàn)象。設(shè)計(jì)時(shí)采用了形態(tài)學(xué)處理方法，先使用膨脹算法對圖像進(jìn)行擴(kuò)展，然后使用腐蝕算法確保光條的直徑基本不變。

圖2 左相機(jī)的初始圖像

2.2 骨架提取與優(yōu)化

在二值圖像的匹配中，通常對圖像進(jìn)行細(xì)化來獲得光條的骨架。在初步細(xì)化中，采用Zhang-Suen迭代細(xì)化算法。整個(gè)迭代過程分為兩個(gè)步驟[5]：

第1步：循環(huán)所有前景像素并將符合以下條件的像素點(diǎn)標(biāo)記為刪除：

1) 2 ≤N(P1)≤6；

2)S(P1) = 1；

3)P2×P4×P6=0；

4)P4×P6×P8=0。

其中：N(P1)表示與P1相鄰的8個(gè)像素中前景像素的數(shù)量；S(P1)表示從P2到P9再到P2像素中出現(xiàn)0～1的累積次數(shù)，其中0是背景，1是前景。

第2步：類似于第1步，將滿足以下條件的像素P1標(biāo)記為已刪除，如下所示：

1) 2 ≤N(P1)≤6；

2)S(P1) = 1；

3)P2×P4×P8=0；

4)P2×P6×P8=0。

循環(huán)上述兩個(gè)步驟，直到兩個(gè)步驟中沒有像素被標(biāo)記為已刪除，并且輸出結(jié)果是二進(jìn)制圖像被細(xì)化后的骨架。輸出如圖3所示。

圖3 初步骨架提取結(jié)果

可以看到在細(xì)化之后骨架上有毛刺，局部骨架不再是單個(gè)像素，并且光條的連通性被破壞。這是由物體表面本身的復(fù)雜性和光條直徑不一致造成的。因此，本文設(shè)計(jì)了一種針對多線結(jié)構(gòu)光的智能補(bǔ)斷和優(yōu)化算法。

為去除毛刺，本文先預(yù)設(shè)毛刺的最大長度為L。查找光條骨架的所有端點(diǎn)并將其刪除，然后迭代此操作l次。在實(shí)驗(yàn)中，此方法還會在刪除毛刺時(shí)刪除頂部和底部邊緣點(diǎn)。由于上邊緣點(diǎn)和下邊緣點(diǎn)具有較大的相機(jī)畸變，因此刪除這些點(diǎn)有利于提高測量精度。

理想情況下，單光條應(yīng)是自連通但不與相鄰的光條所串接的?；诖四康模痉椒ㄔO(shè)計(jì)了一種金字塔分層連接策略，如下：

1) 設(shè)定合理的最大連接半徑R和步長d，設(shè)定連接半徑的初始值r(r

2) 使用滑動窗口找到每個(gè)帶狀線段的上端點(diǎn)P1和下端點(diǎn)P2。

3) 對于所有的下端點(diǎn)P2，尋找以點(diǎn)P2為中心，以r為半徑的圓內(nèi)的點(diǎn)P1，連接兩個(gè)點(diǎn)。

4) 令r=r+d，然后重復(fù)步驟2)-步驟4)。

圖4(a)是算法處理前的圖像，可以看到部分光條已經(jīng)斷裂，并且有些光條錯(cuò)誤地連接到相鄰光條，導(dǎo)致后續(xù)的匹配錯(cuò)誤。從圖4(b)的結(jié)果可知，光條的優(yōu)化效果比較理想，滿足了處理的需要。

圖4 補(bǔ)斷算法前后對比

2.3 立體匹配

極線約束是立體匹配過程中最重要的約束理論之一。它的本質(zhì)是建立特征點(diǎn)與其成像點(diǎn)、成像平面之間的聯(lián)系。如圖5所示，假設(shè)空間中一點(diǎn)P在相機(jī)中的成像位置為點(diǎn)p1、p2，II1、II2為成像平面即投影面，O1、O2為相機(jī)的光心即投影中心。定義兩投影中心的連線與兩個(gè)投影面的交點(diǎn)為極點(diǎn)e1、e2，空間中的點(diǎn)P與投影中心O1、O2所確定的平面為極面O1PO2。

圖5 極線約束模型

對于空間中的點(diǎn)P，與其相關(guān)的點(diǎn)p1、p2、e1、e2均在極面O1PO2上。當(dāng)點(diǎn)P沿著直線PO2移動到點(diǎn)M時(shí)，其在右相機(jī)上的投影點(diǎn)坐標(biāo)保持不變，而在左相機(jī)上的投影點(diǎn)m1與點(diǎn)p1、e1共線。也即是說，若已知右相機(jī)上的一點(diǎn)p2，則其與右極點(diǎn)e2可確定唯一的極線l，并且三維空間中位于直線p2O2上的點(diǎn)在左相機(jī)上的對應(yīng)點(diǎn)必在此極線l上。

然而，對于多線結(jié)構(gòu)光，對應(yīng)于左攝像機(jī)條帶上的某個(gè)點(diǎn)的極線與右攝像機(jī)光條有很多交叉點(diǎn)(取決于條帶的數(shù)量)，也即是說，匹配點(diǎn)具有非唯一性。鑒于此，本方法引入了空間一致性約束。具體做法如下：

(3)

2) 光條排序。由順序一致性約束可知，投影的光條排列順序具有一定的規(guī)律性，根據(jù)光條端點(diǎn)的像素坐標(biāo)關(guān)系，對每幅圖像上的光條分別排序,最終每個(gè)圖像可以生成一個(gè)以一維向量為基本的鏈表，具體表示為：

(4)

3) 光條及特征點(diǎn)匹配。當(dāng)對光條進(jìn)行成功的搜索和排序后，有n1=n2。則對于左圖像上的光條Lil，其相應(yīng)的匹配點(diǎn)應(yīng)該在右圖像單光條Lil中，反之亦然。如此結(jié)合極線約束，可以根據(jù)單線結(jié)構(gòu)光匹配算法求出唯一解，如圖6所示。

圖6 多線結(jié)構(gòu)光匹配

3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證基于多線結(jié)構(gòu)光雙目視覺的三維測量方法的可行性，進(jìn)行了現(xiàn)場實(shí)驗(yàn)。 硬件包括1個(gè)支持多線結(jié)構(gòu)光的LED投影燈，2個(gè)分辨率為1 624×1 234的Manta G-201B/C工業(yè)相機(jī)和一臺計(jì)算機(jī)，如圖7所示。

圖7 三維測量系統(tǒng)

被測物體是3D打印的曲面物體，其表面純白色無顯著紋理。對系統(tǒng)立體標(biāo)定之后，將預(yù)先設(shè)計(jì)的結(jié)構(gòu)光投射到物體上，通過調(diào)整曝光時(shí)間等參數(shù)來優(yōu)化成像效果后，對左右相機(jī)圖像進(jìn)行采集和處理，圖8為左相機(jī)的采集圖像。

在對結(jié)構(gòu)光骨架提取和優(yōu)化之后，進(jìn)行立體匹配，計(jì)算三維點(diǎn)云數(shù)據(jù)，由于骨架上的點(diǎn)云數(shù)量較大，所以對點(diǎn)云采樣后再進(jìn)行曲面重建，結(jié)果如圖9所示?？梢钥闯觯摲椒▽θ跫y理表面實(shí)現(xiàn)了較為理想的重建。

圖9 三維重建結(jié)果

被測物體的表面結(jié)構(gòu)復(fù)雜且不規(guī)則，不易直接進(jìn)行精度估算。本文通過高精度打印機(jī)在平面上打印一組平行線，利用同樣的處理算法對平行線進(jìn)行三維重建，將其線間距與真實(shí)的線間距相比較來評估算法的三維重建精度，結(jié)果如表1所示?？芍?，近距離下的測量相對誤差在3%以內(nèi)，精度較高。

表1 三維重建精度

4 結(jié)語

基于對無紋理物體表面快速重建的需求，本文設(shè)計(jì)了一種多線結(jié)構(gòu)光與雙目視覺測量相結(jié)合的方案，解決了傳統(tǒng)單線結(jié)構(gòu)光學(xué)掃描測量效率低的問題。本方法采用匯聚式雙目系統(tǒng)來提高小型物體的測量精度，同時(shí)解決了多線結(jié)構(gòu)光匹配中非唯一解的問題。在實(shí)際測量中，復(fù)雜的非連續(xù)表面仍然存在不應(yīng)忽視的測量盲點(diǎn)，這是下一步的研究方向。