基于格雷碼和多步相移法的雙目立體視覺(jué)三維測(cè)量技術(shù)研究

，

(南京理工大學(xué) 自動(dòng)化學(xué)院，南京 210094)

0 引言

眼睛在人類的所有感覺(jué)器官中最為重要，人們從外界接受的信息絕大部分都來(lái)自于我們的眼睛，我們常常通過(guò)雙眼感受這世界的種種美好[1]。計(jì)算機(jī)視覺(jué)就是模仿人類視覺(jué)系統(tǒng)，以各類成像系模仿眼睛，計(jì)算機(jī)模仿人的大腦進(jìn)行處理接受到圖像信息，其目的之一就是根據(jù)獲相機(jī)取到的圖像二維信息轉(zhuǎn)變?yōu)槟繕?biāo)物的三維坐標(biāo)[2]。因此，隨著科學(xué)技術(shù)的發(fā)展三維測(cè)量技術(shù)在工業(yè)產(chǎn)品模型設(shè)計(jì)、精密部件測(cè)量、醫(yī)學(xué)領(lǐng)域等方面有著重要的研究意義。

本文在基于格雷碼和多步相移法的基礎(chǔ)上結(jié)合雙目立體視覺(jué)進(jìn)行三維測(cè)量技術(shù)研究，第1節(jié)介紹了雙目立體視覺(jué)成像原理和立體校正方法，第2節(jié)介紹了格雷碼與多步相移法的編解碼原理，第3節(jié)通過(guò)實(shí)驗(yàn)論證了基于格雷碼和多步相移法的雙目立體視覺(jué)三維測(cè)量技術(shù)的可行性。紙盒三維測(cè)量實(shí)驗(yàn)在完成雙目校正的基礎(chǔ)上，向物體表面投射7幅格雷碼圖案和15幅相移編碼圖案，最后根據(jù)相機(jī)獲取的物體編碼圖像解碼得到物體的三維信息[3]。

1 雙目立體視覺(jué)

如圖1所示，根據(jù)是否要接觸待測(cè)物體，三維測(cè)量可以分為非接觸式和接觸式[4]。非接觸式測(cè)量中根據(jù)是否主動(dòng)向待測(cè)物體投射光源，非接觸式三維測(cè)量又可以分為被動(dòng)式和主動(dòng)式，其中主動(dòng)式三維測(cè)量通過(guò)向待測(cè)物體投射特殊的光源，形成相應(yīng)的圖像，最后由相機(jī)采集圖像經(jīng)過(guò)計(jì)算機(jī)處理，得到物體的三維信息[5]。

圖1 三維測(cè)量分類

雙目立體視覺(jué)屬于被動(dòng)式三維測(cè)量方法，由環(huán)境中的自然光，如太陽(yáng)的直射光和天空光對(duì)待測(cè)物體進(jìn)行照明，而不需要向待測(cè)物體投射人造光源進(jìn)行照明[6]。雙目立體視覺(jué)通過(guò)模擬人的雙眼，將兩臺(tái)相機(jī)安裝在待測(cè)物體的兩個(gè)不同視角位置，使得兩個(gè)相機(jī)與待測(cè)物體構(gòu)成一個(gè)三角形，最后根據(jù)對(duì)待測(cè)物體拍攝得到的兩幅圖片和三角法原理獲取待測(cè)物體的三維信息[7]。雙目立體視覺(jué)雖然不需要向待測(cè)物體提供人造光源，成本低廉，但是對(duì)沒(méi)有較多特征的物體圖像匹配困難，精度低。

編碼結(jié)構(gòu)光法屬于主動(dòng)式三維測(cè)量方法，需要向待測(cè)物體投射特定的編碼圖案，然后由相機(jī)獲取一系列的編碼圖像解碼，進(jìn)而得到物體表面每條條紋的特定編號(hào)以及對(duì)應(yīng)光線投射角，再由結(jié)構(gòu)光基本公式獲得待測(cè)物體的三維坐標(biāo)[8]。

1.1 雙目相機(jī)校正

圖2 雙目視覺(jué)系統(tǒng)

首先根據(jù)張氏標(biāo)定法求得左右相機(jī)各自的旋轉(zhuǎn)矩陣和平移矩陣。點(diǎn)P和P1，P2點(diǎn)可表示為：

(1)

由式(1)可以得到兩個(gè)相機(jī)之間的相對(duì)關(guān)系：

P1=R2R1- 1P2+T2-R2R1- 1T1

(2)

由式(2)可以得到兩個(gè)相機(jī)之間的相對(duì)旋轉(zhuǎn)矩陣R和平移矩T陣為：

(3)

首先將左右相機(jī)成像平面各旋轉(zhuǎn)R的一半，使左右相機(jī)的成像平面重投影畸變最小，左右視圖共同面積最大[10]。

(4)

此時(shí)左右相機(jī)的成像平面平行，但是與基線不平行，對(duì)此我們需要構(gòu)造變換矩陣Rrect：

Rrect=[(e1)T(e2)T(e3)T]T

(5)

構(gòu)造e1使得左視圖極點(diǎn)為無(wú)窮遠(yuǎn)處，構(gòu)造e2與主光軸方向正交，與e1垂直，構(gòu)造e3與e2和e1正交：

(6)

(7)

1.2 雙目相機(jī)成像原理

在完成雙目校正后，極點(diǎn)e1，e2位于無(wú)窮遠(yuǎn)處，兩相機(jī)的光軸平行，同一物點(diǎn)的像點(diǎn)在左右相機(jī)中高度相同。極線約束使得對(duì)應(yīng)像點(diǎn)的尋找由面搜索變?yōu)榫€搜索，二維搜索變?yōu)橐痪S搜索，而經(jīng)過(guò)相機(jī)校正后對(duì)應(yīng)點(diǎn)搜索變?yōu)橥恍兴阉?，大大減少了計(jì)算量[4]。

圖2中，根據(jù)三角相似關(guān)系可以得到：

(8)

(9)

由此我們可以得到相機(jī)圖像中點(diǎn)P1與世界坐標(biāo)系中點(diǎn)P的關(guān)系為：

(10)

其中：點(diǎn)cx,cy為左相機(jī)主點(diǎn)坐標(biāo)。根據(jù)式(10)可以得到左相機(jī)圖像坐標(biāo)系中點(diǎn)在世界坐標(biāo)系中對(duì)應(yīng)點(diǎn)坐標(biāo)為(X/W,Y/W,Z/W)[11]。

2 結(jié)構(gòu)光

編碼結(jié)構(gòu)光法是一種主動(dòng)式三維測(cè)量方法，由投影儀向待測(cè)物體投射一系列編碼圖案，使得物體具有容易識(shí)別的特征點(diǎn)[12]。再由相機(jī)獲取圖像解碼獲得特征點(diǎn)的投射角度，最后根據(jù)三角法求得物體的三維坐標(biāo)[13]。編碼結(jié)構(gòu)光法與點(diǎn)結(jié)構(gòu)光和線結(jié)構(gòu)光結(jié)構(gòu)光相比，測(cè)量速度快，時(shí)間短，與傳統(tǒng)的雙目視覺(jué)相比具有更高的匹配精度，對(duì)于特征不多的圖像也能有著很好的測(cè)量效果。

2.1 格雷碼

在結(jié)構(gòu)光編碼中，二進(jìn)制編碼使用最為普遍，其原理也最為簡(jiǎn)單[14]。投影圖像只需要用兩種顏色來(lái)區(qū)分不同的條紋，分別記為0、1，其中0對(duì)應(yīng)黑色，1對(duì)應(yīng)白色。通過(guò)向待測(cè)物體投射m幅二進(jìn)制編碼圖案，將待測(cè)物體表面劃為個(gè)區(qū)域。格雷碼由二值碼發(fā)展而來(lái)，它與普通二值碼相比更加可靠。如表1所示，十進(jìn)制的1變成2的時(shí)候，二進(jìn)制碼的每一位數(shù)值都要進(jìn)行跳變，而格雷碼只有一位進(jìn)行跳變。

表1 二進(jìn)制與格雷碼比較

格雷碼屬于可靠性編碼，當(dāng)狀態(tài)發(fā)生變化時(shí)只存在一位跳變，而不會(huì)出現(xiàn)多位跳變的情況，提高了解碼的正確率，可以更加方便檢測(cè)條紋編碼是否出錯(cuò)[15]。格雷碼編碼原理簡(jiǎn)單，準(zhǔn)確度高，但是在三維測(cè)量需要投射大量圖案，而且隨著圖案的增加，黑白條紋邊界分辨率降低，降低測(cè)量的準(zhǔn)確度。因此，我們先向待測(cè)物體表面投射如圖3所示的7幅格雷碼圖案，將待測(cè)物體表面分為128個(gè)區(qū)域。格雷碼解碼后可以獲得0～127周期次數(shù)k，再向待測(cè)物體表面投射多步相移圖案來(lái)進(jìn)行三維測(cè)量。

圖3 格雷碼圖案

圖像閾值分割中無(wú)論是采用自適應(yīng)閾值還是固定閾值都存在不可避免的錯(cuò)誤，對(duì)此我們采用簡(jiǎn)化的Daniel Scharsterin[16]方法，在向物體表面投射如圖3所示的格雷碼圖案后，再向物體表面投射如圖4所示的格雷碼取反圖案。(x,y)處投射格雷碼圖案時(shí)灰度值為I(x,y)，投射格雷碼取反圖案時(shí)灰度值為I′(x,y)，若I(x,y)-I′(x,y)>20則取值為1，反之為0。

圖4 格雷碼取反圖案

2.2 多步相移法

相移法是按順序向待測(cè)物體表面投射多幅正弦周期相移圖案，然后由相機(jī)獲取經(jīng)相移圖案調(diào)制的待測(cè)物體圖像，解碼得到待測(cè)物體表面每點(diǎn)的主相位值[17]。向物體表面投射如圖5所示相移圖案，點(diǎn)(x,y)處光照強(qiáng)度為：

In(x,y)=I′(x,y)+I″(x,y)[cosθ(x,y)+2nπ/N]

(11)

其中：In(x,y)為點(diǎn)(x,y)在第n幅相移圖中的灰度值，I′ (x,y)為條紋光的背景光強(qiáng)，I″(x,y)/I′(x,y)為條紋反差，θ(x,y)(θ∈(-π,π))為待求主相位值：

(12)

圖5 相移圖案

相移法的優(yōu)點(diǎn)在于每點(diǎn)的相位值不受鄰點(diǎn)光照強(qiáng)度的影響，分辨率高，同一周期內(nèi)每點(diǎn)相位值絕對(duì)唯一。缺點(diǎn)在于圖像中周期的確定存在二義性，因此我們需要先用格雷碼對(duì)物體表面進(jìn)行周期劃分，再用相移法對(duì)物體表面進(jìn)一步細(xì)分。格雷碼圖案的最小周期必須為相移圖案周期的N倍，以保證在主相位值發(fā)生突變時(shí)周期值k同步突變[18]。

將點(diǎn)(x,y)出由相移法得到的主相位值θ與格雷碼解碼周期k向疊加，求得點(diǎn)(x,y)的絕對(duì)唯一主相位值ψ(x,y)：

ψ(x,y)=2kπ+θ(x,y)

(13)

2.3 周期校正和匹配點(diǎn)搜索

在理想情況下主相位值θ和格雷碼解碼周期k同步發(fā)生突變，求得的每點(diǎn)主相位值ψ(x,y)單調(diào)遞增，即ψ(x,y+1)>ψ(x,y)。但是考慮到環(huán)境光照強(qiáng)度、相移圖案穩(wěn)定性等一系列因素，可能會(huì)導(dǎo)致格雷碼解碼周期k與主相位值θ之間存在著周期錯(cuò)位。若相鄰兩點(diǎn)之間發(fā)生周期錯(cuò)位，則ψ(x,y)-ψ(x,y+1)≈2π。因此我們選取閾值π來(lái)判斷是否發(fā)生周期錯(cuò)位，若ψ(x,y)-ψ(x,y+1)≥π，則令ψ(x,y+1)=ψ(x,y+1)+2π。

由圖2可知，在完成雙目校正后，點(diǎn)P在左相機(jī)中成像位置的橫坐標(biāo)x1必定大于在右相機(jī)中成像位置的橫坐標(biāo)x2。而且考慮到在周期校正后主相位值絕對(duì)遞增，因此點(diǎn)P在右相機(jī)中成像平面的對(duì)應(yīng)點(diǎn)可以在(0,x2)采用二分法進(jìn)行查找。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證基于格雷碼和多步相移法的雙目立體視覺(jué)三維測(cè)量方法的可行性，搭建三維測(cè)量系統(tǒng)結(jié)構(gòu)。實(shí)驗(yàn)器材包括：相機(jī)兩個(gè)(分辨率為1 920×1 080)，投影儀一臺(tái)(分辨率為1 280×800)，計(jì)算機(jī)一臺(tái)，一張打印棋盤格的A4紙一張和待測(cè)物體白色盒子一個(gè)。

首先對(duì)雙目相機(jī)進(jìn)行立體校正，使得左右相機(jī)嚴(yán)格遵循行對(duì)齊，校正效果如圖6所示。

圖6 棋盤圖像

完成雙目相機(jī)矯正后向白色盒子表面投射7幅格雷碼圖案和7幅格雷碼取反圖案，最后再投射15幅相移編碼圖案，如圖7所示。

圖7 格雷碼與相移法圖像

對(duì)獲取到的圖像進(jìn)行解碼，得到視差圖，結(jié)合雙目視覺(jué)成像原理，求出白色盒子的世界坐標(biāo)系中的三維信息，將點(diǎn)云導(dǎo)入到meshlab中結(jié)果如圖8所示。

圖8 白色盒子點(diǎn)云圖像

由圖8所示7步格雷碼和15步相移法很好的反映了白色盒子的三維形貌，為了進(jìn)一步確定三維測(cè)量的精度，以盒子高度為基礎(chǔ)值，求解最大測(cè)量誤差，并與4步相移法的測(cè)量結(jié)果作比較，如表二所示。

表2 三維測(cè)量比較

測(cè)量方法指標(biāo)項(xiàng) 7步格雷碼與15步相移法7步格雷碼與4步相移法點(diǎn)云數(shù)目/萬(wàn)2118點(diǎn)云距離/mm021024最大誤差/mm054082編碼圖案/幅2918點(diǎn)云計(jì)算時(shí)間/ms67655413

理想情況下相移和測(cè)量不存在誤差，則根據(jù)4步相移法可以精確計(jì)算出物體每點(diǎn)的相位值。但是，在實(shí)際應(yīng)用中測(cè)量值受到相移誤差、傳感器誤差和周圍環(huán)境的影響，導(dǎo)致測(cè)量值不精確。采用15步相移法對(duì)測(cè)量值進(jìn)行優(yōu)化統(tǒng)計(jì)，雖然無(wú)法完全消除誤差，卻大大降低了誤差帶來(lái)的影響。由表二我們可以看出采用15步相移法與4步相移法相比，雖然需要投射更多的編碼圖片，解碼并計(jì)算三維點(diǎn)云的時(shí)間更長(zhǎng)，但是在測(cè)量精度上有著極大的提高，能夠更好的體現(xiàn)三維物體的形貌。

4 結(jié)束語(yǔ)

三維測(cè)量技術(shù)在文物保護(hù)、自動(dòng)化生產(chǎn)、精密工業(yè)部件測(cè)量和逆向工程等方面有著重要的應(yīng)用，并且隨著成像設(shè)備、投影儀和其他光電元件的進(jìn)步，測(cè)量的精度也在不斷的提高。

本文基于格雷碼和多步相移法的雙目立體視覺(jué)三維測(cè)量技術(shù)研究，在完成雙目相機(jī)校正的基礎(chǔ)上向待測(cè)物體投射格雷碼圖案和多步相移圖案，對(duì)得到的編碼圖像進(jìn)行解碼很好的重構(gòu)物體的三維形貌。并與4步相移法進(jìn)行比較，證明投射多步相移圖案雖然會(huì)犧牲一些測(cè)量時(shí)間，但是能夠獲得更加細(xì)致物體三維信息，測(cè)量精度更高。

參考文獻(xiàn)：

[1]陸 樂(lè). 平面設(shè)計(jì)中的視覺(jué)流程概述[J]. 科技創(chuàng)新導(dǎo)報(bào), 2008(33):67-67.

[2]戴 磊. 基于視覺(jué)反饋的移動(dòng)機(jī)器人控制[D]. 上海：上海交通大學(xué), 2011.

[3]苑惠娟, 于 佳, 尚愛(ài)軍. 基于顏色編碼的大型物體表面三維測(cè)量[J]. 紅外與激光工程, 2008(s1):166-169.

[4]喻士領(lǐng). 基于光柵條紋投影的三維測(cè)量系統(tǒng)標(biāo)定方法的研究[D]. 南京：南京理工大學(xué), 2015.

[5]許志梁. 基于結(jié)構(gòu)光和立體匹配的稠密深度獲取技術(shù)研究[D]. 上海：上海交通大學(xué), 2009.

[6]許志梁. 基于結(jié)構(gòu)光和立體匹配的稠密深度獲取技術(shù)研究[D]. 上海：上海交通大學(xué), 2009.

[7]沈國(guó)峰. 基于雙目立體視覺(jué)的牙頜模型測(cè)量技術(shù)研究[D]. 南京：南京航空航天大學(xué), 2013.

[8]方 勇. 顏色編碼三維測(cè)量的圖像處理方法研究[D]. 哈爾濱：哈爾濱理工大學(xué), 2009.

[9]劉 偉. 基于多視點(diǎn)的三維重建技術(shù)研究[D]. 太原：太原科技大學(xué), 2009.

[10]張穎江, 潘 堯, 吳 聰. 基于車載系統(tǒng)雙目CCD相機(jī)測(cè)距[J]. 信息安全與技術(shù), 2016, 7(1):57-62.

[11]錢 真, 彭秀艷, 賈書麗,等. 動(dòng)平臺(tái)下雙目視覺(jué)定位標(biāo)定算法研究[J]. 計(jì)算機(jī)仿真, 2012, 29(10):293-297.

[12]雷 震. 單相機(jī)單投影儀的編碼結(jié)構(gòu)光三維測(cè)量方法研究[D]. 武漢：華中科技大學(xué), 2015.

[13]劉 歡. 實(shí)時(shí)彩色三維建模技術(shù)研究[D]. 成都：電子科技大學(xué), 2015.

[14]劉永久. 基于結(jié)構(gòu)光投影的運(yùn)動(dòng)物體高速實(shí)時(shí)三維測(cè)量方法研究[D]. 合肥：中國(guó)科學(xué)技術(shù)大學(xué), 2014.

[15]宋昌江. 基于雙目視覺(jué)的三維物體表面測(cè)量系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學(xué), 2012.

[16]Scharstein D, Szeliski R. High-accuracy stereo depth maps using structured light[A].Computer Vision and Pattern Recognition, 2003. Proceedings[C]. 2003 IEEE Computer Society Conference on. IEEE, 2003:I-195-I-202 vol.1.

[17]于曉洋, 單鸝娜, 曹沈楠,等. 結(jié)構(gòu)光時(shí)間編碼技術(shù)進(jìn)展[J]. 哈爾濱理工大學(xué)學(xué)報(bào), 2010, 15(1):98-102.

[18]宋昌江. 基于雙目視覺(jué)的三維物體表面測(cè)量系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 哈爾濱:哈爾濱工業(yè)大學(xué), 2012.