提高形狀測(cè)量精度的直接與間接反射分離方法

王小磊

徐州工程學(xué)院 信電學(xué)院，江蘇 徐州 221111

1 引言

光學(xué)三維形狀測(cè)量具有非接觸、高準(zhǔn)確度和高分辨率等特點(diǎn)，廣泛應(yīng)用于CAD/CAM、逆向工程、產(chǎn)品質(zhì)量檢測(cè)、醫(yī)療診斷、機(jī)器人視覺(jué)、數(shù)字化文物保護(hù)、虛擬現(xiàn)實(shí)等諸多領(lǐng)域[1-2]。

在光學(xué)三維形狀測(cè)量方法中結(jié)構(gòu)光投影法具有成本低、分辨率高和測(cè)量速度快的優(yōu)勢(shì)，日益得到廣泛應(yīng)用[3]。該方法利用結(jié)構(gòu)光投影裝置向被測(cè)物體投射有一定規(guī)律的結(jié)構(gòu)光，由攝像機(jī)獲取被測(cè)物體表面信息的調(diào)制而發(fā)生形變的結(jié)構(gòu)光條紋圖像，并加上系統(tǒng)結(jié)構(gòu)參數(shù)計(jì)算獲得被測(cè)物體的三維形狀信息。該方法的測(cè)量前提是結(jié)構(gòu)光投射后必須在被測(cè)物體的表面上形成反射光。但這些反射光中含有兩種成分：一種是投射結(jié)構(gòu)光到達(dá)被測(cè)物體表面后直接反射所形成的，也是三維形狀測(cè)量所需的理想反射光（圖1（a））。另一種是投射結(jié)構(gòu)光進(jìn)入到被測(cè)物體內(nèi)部產(chǎn)生散亂或反射，與投射結(jié)構(gòu)光所到達(dá)位置不同的點(diǎn)射出而形成的反射光（圖1（b）和（c）），比如皮膚等；或者是投射結(jié)構(gòu)光與被測(cè)物體和另外物體間相互反射所形成的反射光（圖1（d）），如鏡面等。本文把內(nèi)部散亂、內(nèi)部反射以及相互反射統(tǒng)稱為間接反射。

圖1 直接反射和間接反射示意圖

由圖1可知間接反射是降低三維形狀測(cè)量精度的主要因素，因此分離或者消除間接反射就可以提高三維測(cè)量精度。為此，本文提出了一種分離或消除間接反射的改進(jìn)方法。

2 提出的方法

結(jié)構(gòu)光投影法是由攝像機(jī)獲取被測(cè)物體表面信息的調(diào)制而發(fā)生形變的結(jié)構(gòu)光條紋圖像。此時(shí)該條紋圖像包含了兩種反射光，即直接反射和相互反射。假設(shè)投射結(jié)構(gòu)光是沿著時(shí)間軸方向的一定初相位的調(diào)制結(jié)構(gòu)光（圖2（a）），那么如果攝像機(jī)觀測(cè)到直接反射，認(rèn)為投射結(jié)構(gòu)光的相位與攝像機(jī)所觀測(cè)到的結(jié)構(gòu)光條紋圖像的灰度值相位是相同的（圖2（b））；反之由于相互反射的投射路徑不同，與直接反射存在著一定的相位差異（圖2（c））。

圖2 投射結(jié)構(gòu)光和反射光之間的相位關(guān)系圖

結(jié)構(gòu)光條紋圖像中分離直接反射和相互反射的相位差異是一種復(fù)雜的數(shù)學(xué)解析過(guò)程[4]。為了避免數(shù)學(xué)解析過(guò)程，本文反向利用了直接反射和相互反射的相位差異，在投射結(jié)構(gòu)光中設(shè)置不同相位的調(diào)制結(jié)構(gòu)光。該調(diào)制結(jié)構(gòu)光是以格雷碼結(jié)構(gòu)光為基礎(chǔ)，將初相位為0°和相移為90°的格雷碼結(jié)構(gòu)光相結(jié)合而形成的改進(jìn)投影結(jié)構(gòu)光，如圖3所示。

圖3 提出的改進(jìn)投影結(jié)構(gòu)光

利用上述改進(jìn)結(jié)構(gòu)光，分離或消除相互反射的具體步驟如下：

（1）通過(guò)攝像機(jī)獲取一系列格雷碼結(jié)構(gòu)光和改進(jìn)結(jié)構(gòu)光正-反投影的條紋圖像A、B、C。

（2）A和B的差分獲得D-1條紋圖像，以此分離或消除直接反射對(duì)相互反射的影響；同樣A和C的差分獲得D-2條紋圖像，以此分離或消除直接反射對(duì)相互反射的影響。

（3）合成條紋圖像D-1和D-2，便可得相互反射已被分離或消除的新條紋圖像D（如圖4所示）。

圖4 直接反射和相互反射的分離方法

采用了上述方法，在有效地分離或消除了相互反射影響的同時(shí)，提高了被測(cè)環(huán)境變化時(shí)的魯棒性。并且采用改進(jìn)投影結(jié)構(gòu)光的正-反投影方法，將實(shí)現(xiàn)結(jié)構(gòu)光條紋圖像中的結(jié)構(gòu)光邊緣的亞像素定位。

3 邊緣檢測(cè)

利用結(jié)構(gòu)光三維形狀測(cè)量方法來(lái)獲取被測(cè)物體的三維坐標(biāo)信息時(shí)，應(yīng)滿足投射結(jié)構(gòu)光和攝像機(jī)所獲得的結(jié)構(gòu)光條紋圖像之間的一一對(duì)應(yīng)關(guān)系。但是由于結(jié)構(gòu)光條紋圖像是離散數(shù)據(jù)存在著量子化誤差等原因，未能實(shí)現(xiàn)被測(cè)物體三維坐標(biāo)的高精度計(jì)算。此外，實(shí)際所獲得的結(jié)構(gòu)光條紋圖像都存在著不同程度的擴(kuò)散，因此采用Otsu、Canny邊緣檢測(cè)等圖像處理算法很難達(dá)到預(yù)期的效果。為此，本文采用了投射結(jié)構(gòu)光的正-反投影方法來(lái)實(shí)現(xiàn)結(jié)構(gòu)光條紋圖像中的結(jié)構(gòu)光邊緣的檢測(cè)及亞像素定位[5-6]。具體定位過(guò)程如下：

步驟1利用結(jié)構(gòu)光投影裝置投射調(diào)制結(jié)構(gòu)光的正-反投影的同時(shí)，通過(guò)攝像機(jī)獲得形變后的調(diào)制結(jié)構(gòu)光正-反投影的結(jié)構(gòu)光條紋圖像，如圖5所示。

圖5 正-反投影結(jié)構(gòu)光條紋圖像示意圖

步驟2利用格雷碼的解碼方法對(duì)獲得的正-反投影的結(jié)構(gòu)光條紋圖像進(jìn)行解碼，并對(duì)各像素點(diǎn)進(jìn)行排序確定相同投射結(jié)構(gòu)光的像素點(diǎn)。然后，獲取相鄰?fù)渡浣Y(jié)構(gòu)光的沿時(shí)間軸方向、同一條紋S下的像素點(diǎn)的灰度值A(chǔ)S、BS、CS、DS。

步驟3根據(jù)相鄰結(jié)構(gòu)光的正-反投影中的同一個(gè)像素點(diǎn)的灰度值A(chǔ)S和BS、CS和DS，以及線性補(bǔ)償方法來(lái)確定在結(jié)構(gòu)光條紋圖像中的結(jié)構(gòu)光邊緣位置PS，如圖6所示。其中邊緣位置PS的亞像素定位表達(dá)式為：

圖6 邊緣檢測(cè)算法

4 三維信息計(jì)算

根據(jù)投射結(jié)構(gòu)光裝置和攝像機(jī)的幾何坐標(biāo)變換來(lái)計(jì)算被測(cè)物體的三維坐標(biāo)信息[7-9]，計(jì)算步驟如下所示。

步驟1建立攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系之間的對(duì)應(yīng)關(guān)系，可寫為：

式中，Cij為攝像機(jī)坐標(biāo)系的三維坐標(biāo)[Xc,Yc,Zc]到圖像坐標(biāo)系的二維坐標(biāo)[xc,yc]的變換矩陣。

步驟2根據(jù)投射結(jié)構(gòu)光裝置的一維投射結(jié)構(gòu)光的特點(diǎn)，建立攝像機(jī)坐標(biāo)系和結(jié)構(gòu)光投射裝置的投射面坐標(biāo)系之間的對(duì)應(yīng)關(guān)系，可寫為：

式中，pij為攝像機(jī)坐標(biāo)系的三維坐標(biāo)[Xc,Yc,Zc]到結(jié)構(gòu)光投射裝置的投射面坐標(biāo)系的一維坐標(biāo)[xp]的變換矩陣。

步驟3 消去上式（2）、（3）中的參數(shù)hc、hp，則可得的矩陣方程式為：

式中：

因此式（4）中只要Q-1存在，就可以計(jì)算被測(cè)物體的三維坐標(biāo)V,其表達(dá)式為：

式（2）～（5）中，變換矩陣Cij和Pij是通過(guò)系統(tǒng)標(biāo)定來(lái)確定的。為了簡(jiǎn)化標(biāo)定過(guò)程，本文采用傳統(tǒng)標(biāo)定方法，即利用空間坐標(biāo)已知的三維標(biāo)定體，由攝像機(jī)獲取圖像中標(biāo)定變換矩陣Cij；另外向標(biāo)定體的指定位置投射光標(biāo)，來(lái)標(biāo)定變換矩陣Pij。

5 實(shí)驗(yàn)及結(jié)果分析

圖7（a）為本實(shí)驗(yàn)的結(jié)構(gòu)光投影三維形狀測(cè)量系統(tǒng)；系統(tǒng)所采用的主要實(shí)驗(yàn)設(shè)備如表1。

表1 主要實(shí)驗(yàn)設(shè)備一覽表

圖7（b）為本實(shí)驗(yàn)被測(cè)環(huán)境，其被測(cè)對(duì)象采用足部關(guān)節(jié)，并利用鏡面形成間接反射。利用VC++編程生成投射結(jié)構(gòu)光，并從投影儀投射正-反結(jié)構(gòu)光，共計(jì)20幅，其空間分辨率為210=1 024。

圖7 結(jié)構(gòu)光投影三維形狀測(cè)量系統(tǒng)示意圖

結(jié)構(gòu)光投影三維形狀測(cè)量中采用Online測(cè)量（含結(jié)構(gòu)光投射、采樣圖像）和Offline計(jì)算（含三維坐標(biāo)計(jì)算、三維重建）的兩步驟處理方法，以此提高三維形狀測(cè)量速度。其測(cè)量流程如圖8所示。

圖8 結(jié)構(gòu)光投影三維形狀測(cè)量流程圖

5.1 直接反射和相互反射的分離結(jié)果

圖9所示為基于本文方法的邊緣檢測(cè)及直接反射和相互反射的分離結(jié)果。其中圖9（a）為直接反射的檢測(cè)結(jié)果，圖9（b）為相互反射的檢測(cè)結(jié)果。檢測(cè)結(jié)果可知，本文方法不僅有效地分離出了直接反射和相互反射，并且有效地檢測(cè)出了投射結(jié)構(gòu)光邊緣，消除了相互反射對(duì)測(cè)量精度的影響。

圖9 直接反射和相互反射分離結(jié)果圖

5.2 三維重建結(jié)果

根據(jù)5.1節(jié)所得的直接反射和相互反射的分離結(jié)果，以及正-反結(jié)構(gòu)光投影法獲得投射結(jié)構(gòu)光排序結(jié)構(gòu)和邊緣的亞像素定位結(jié)果，計(jì)算出被測(cè)物體的三維坐標(biāo)信息，并結(jié)合VC++和OPENGL的編程方式進(jìn)行了對(duì)被測(cè)物體的三維重建[10-11]。其重建結(jié)果如圖10所示，圖（a）為兩種反射分離后的各反射光的三維重建結(jié)果，圖（b）為兩反射光的三維重建合成結(jié)果。重建結(jié)果表明了該改進(jìn)結(jié)構(gòu)光投影方法的有效性，同時(shí)也擴(kuò)大了三維測(cè)量范圍。

圖10 足部關(guān)節(jié)的三維重建結(jié)果圖

6 結(jié)論

通過(guò)鏡面所形成的間接反射和足部關(guān)節(jié)的三維形狀測(cè)量來(lái)驗(yàn)證提出的直接反射和相互反射的分離方法；利用格雷碼結(jié)構(gòu)光和改進(jìn)結(jié)構(gòu)光的正-反投影方法來(lái)檢測(cè)結(jié)構(gòu)光條紋圖像中的邊緣亞像素定位。實(shí)驗(yàn)結(jié)果表明，本文方法不僅有效地分離出直接反射和間接反射，并且精確地計(jì)算出了足部關(guān)節(jié)的三維坐標(biāo)，并實(shí)現(xiàn)了三維重建。本文方法不僅能改善間接反射對(duì)形狀測(cè)量精度的影響，而且根據(jù)實(shí)驗(yàn)環(huán)境設(shè)置便可擴(kuò)大被測(cè)物體的三維測(cè)量范圍。

[1]Sang X Z.A method on 3D shape measurement and its trend in development[J].Measurement Transaction，2001，2：36-37.

[2]Salvi J，Pages J，Batlle J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827-849.

[3]張廣軍.視覺(jué)測(cè)量[M].北京：科學(xué)出版社，2008.

[4]Nayar S K，Krishnan G，Grossberg M，et al.Fast separation of direct and global components of a scene using high frequency illumination[J].Transaction on Graphics，2006，25：935-943.

[5]Ikuchi S，Satou G.3D imaging techniques for measurement[M].Tokyo：Shoko-do，1992.

[6]于曉洋，董秋玲，張加海，等.基于正反圖案的亞像素條紋邊緣檢測(cè)方法[J].測(cè)試技術(shù)學(xué)報(bào)，2008，22（2）：231-235.

[7]David A.Forsythandjeanponce[M]//ComputerVision：A Mordern Approach.[S.l.]：Printice Hall，2003.

[8]Rocchini C，Cignoni P.A low cost 3D scanner based on structured light[J].Proc Euro Graphics，2001，20：299-308.

[9]TsaiR Y.A versatile camera calibration techniquefor high-accuracy 3D machine vision metrology using off-theshelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation，1987，RA-3（4）：323-344.

[10]肖健，孫杰，李明媚，等.三維形貌測(cè)量系統(tǒng)的數(shù)據(jù)處理與顯示技術(shù)實(shí)現(xiàn)[J].天津理工大學(xué)學(xué)報(bào)，2009，25（3）：40-43.

[11]Bernardini F，Rushmeier H E.The 3D model acquisition pipeline[J].Computer Graphic Forum，2002，21：149-172.