基于二值條紋的快速高精度三維成像系統(tǒng)的研究

查善盼, 鮑 偉, 徐玉華

(合肥工業(yè)大學(xué) 電氣與自動化工程學(xué)院,安徽 合肥 230009)

三維形貌測量在產(chǎn)品檢測、逆向工程、三維打印、人體測量、人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用。光學(xué)三維成像是目前應(yīng)用最廣泛的技術(shù)之一,分為“被動式”方法和“主動式”方法。采用自然光照明的屬于“被動式”方法,由于只使用2個攝像機(jī),具有硬件配置簡單,系統(tǒng)校準(zhǔn)直觀等優(yōu)點(diǎn),但是對于表面沒有豐富紋理的物體，其測量精度較低。而“主動式”結(jié)構(gòu)光系統(tǒng),通過向被測物體投射設(shè)計好的結(jié)構(gòu)光圖像,用相機(jī)捕獲投影到物體表面的變形光場來克服這一問題。

相移條紋技術(shù)是結(jié)構(gòu)光系統(tǒng)中的典型代表,向被測物體投影一組正弦條紋,通過相應(yīng)的相位展開算法可以對物體的相位信息進(jìn)行重建。國內(nèi)外學(xué)者在二值條紋測量方面進(jìn)行了較多的研究工作。文獻(xiàn)[1]提出了投射Ronchi光柵,通過調(diào)整合適的離焦程度來生成正弦條紋,為二值條紋離焦投影的三維測量方法奠定了理論基礎(chǔ);文獻(xiàn)[2]將該理論運(yùn)用到數(shù)字投影儀,由于投影的圖片由8 bit的灰度圖變?yōu)? bit的二值圖,提高了投影的速度,并且解決了非線性gamma的影響;文獻(xiàn)[3]提出了利用脈寬調(diào)制(pulse width modulation,PWM)技術(shù)在投影儀離焦時產(chǎn)生正弦分布光柵圖像進(jìn)行三維測量;文獻(xiàn)[4]提出了優(yōu)化脈沖調(diào)制技術(shù)(optimal pulse width modulation,OPWM),通過輕微的離焦使得較寬的二值條紋具有高質(zhì)量的正弦性;文獻(xiàn)[5]提出了新的三角PWM技術(shù)(tripolar pulse-width-modulation,TPWM),進(jìn)一步優(yōu)化了條紋離焦投影的測量;文獻(xiàn)[6]提出了抖動二值離焦技術(shù),抖動技術(shù)可以對高頻和低頻的正弦光柵進(jìn)行二值化,且不影響其調(diào)制度;文獻(xiàn)[7]通過使用一個改進(jìn)的數(shù)字投影儀(digital light processing,DLP)和快速三步移相算法,以40幀/s的速度獲得了實(shí)時三維形貌測量;文獻(xiàn)[8]提出了一種只使用4幅投影條紋和1個改進(jìn)的DLP投影儀以及 FPGA開發(fā)板的方法,達(dá)到了120幀/s的速度,但其精度相對較低,達(dá)到0.527%。

針對三維測量用參考圖進(jìn)行相位展開[9]中測量速度限制的問題,本文使用離焦投影二值圖片的方法,對測量速度和精度進(jìn)行改進(jìn)。本文的技術(shù)貢獻(xiàn)如下:

(1) 介紹一種新的三維成像系統(tǒng),只需投影3幅二值條紋圖和1幅二值散斑圖就可以完成深度測量的方法,只使用4幅二值圖片就實(shí)現(xiàn)了快速、高精度的三維成像和形貌測量。

(2) 數(shù)字投影儀投影8 bit的灰度圖一般速度在120 幀/s,投影3幅相移條紋圖和1幅二值散斑圖的理論速度不超過40 幀/s。而采用離焦投影儀的方法,在投影儀Lightcrafter 4500上投影二值圖片可以達(dá)到4 000 幀/s,投影3幅二值條紋圖和1幅二值散斑圖的方法,在理論上其投影速度可以達(dá)到1 000 幀/s。

(3) 在相位展開算法上,本文使用圖形處理單元(graphics processing unit,GPU)對算法進(jìn)行并行加速計算,在Nvidia GTX1060上進(jìn)行加速實(shí)驗,整個相位展開的速度達(dá)到195 幀/s。

1 相位展開原理

1.1 相移法

相移法條紋分析技術(shù)是相位恢復(fù)最常用的一種方法,通過在被測目標(biāo)表面投影一組相移條紋圖,利用相機(jī)采集的被測目標(biāo)表面形變的光場計算深度信息。通常需要最少投影3張條紋圖像,投影的條紋圖案數(shù)量越多,對測量準(zhǔn)確度的改善越大,但是投影條紋的數(shù)量越多,所需要的時間越多。

考慮到測量的速度,本文采用的是三步相移法[10-11],其計算過程為：

I2(x,y)=I′(x,y)+I″(x,y)cos(φ(x,y))，

(1)

其中:Ii為第i幅相移圖像的灰度值;I′為平均灰度值;I″為調(diào)制灰度值;φ為點(diǎn)P的相位值。相位值φ與投影儀坐標(biāo)系下X軸上的坐標(biāo)關(guān)系為：

(2)

其中：φ為相位值;xP為對應(yīng)坐標(biāo)值；N為條紋數(shù);ω為投影條紋的水平分辨率。當(dāng)確定了相位值φ,可以得到坐標(biāo)xP,進(jìn)而可以利用三角關(guān)系得到其深度。

對(1)式進(jìn)行求解只能得到包裹相位或者范圍在(0,2π)之間的相對相位,即

(3)

由(3)式將相對相位恢復(fù)到絕對相位φ，即

φ(x,y)=φ′(x,y)+2Kπ

(4)

其中，k為待確定的條紋序列的周期數(shù)。

1.2 參考圖相位展開

本文采用一種利用散斑參考圖進(jìn)行相位展開的框架[9]。該框架只需投影3幅相移條紋圖和1幅散斑圖就可以實(shí)現(xiàn)深度測量。該框架的具體測量是需要首先向參考平面投影3幅相移條紋圖、1幅散斑圖和1幅左邊全白右邊全黑的二值條紋圖,來完成參考平面的相位展開[12]；然后得到參考平面的相對相位圖、絕對相位圖和參考平面的散斑圖。完成準(zhǔn)備工作后,接下來進(jìn)行正式測量,對被測物體投影3幅相移條紋圖和1幅散斑圖。利用相移法可以得到1張當(dāng)前的相對相位圖,接著利用立體匹配算法對當(dāng)前參考圖和參考散斑圖進(jìn)行立體匹配,得到1張稠密視差圖。此外,利用相位約束條件進(jìn)一步提高匹配的準(zhǔn)確度進(jìn)行相位展開。

2 二值圖案三維成像方法

2.1 二值圖案結(jié)構(gòu)光系統(tǒng)

數(shù)字投影儀利用DMD微鏡工作原理,通過控制微鏡開關(guān)狀態(tài)之間切換的速率控制投影圖片像素的亮度。文獻(xiàn)[9]采用正弦相移條紋圖,圖像為8 bit的灰度圖,用采集到的條紋圖計算相位信息。在一般的商用投影儀上,投影8 bit灰度圖的速度限制在120 幀/s,投影3幅灰度相移條紋圖加上1幅散斑圖,其速度在40 幀/s以內(nèi)。另外,由于結(jié)合使用了相移法,該方法具有精確度高的特點(diǎn)，但缺點(diǎn)是對投影儀的非線性gamma比較敏感,任何非線性效應(yīng)都會使理想的正弦條紋圖案變形為非正弦的,并引入誤差。由這種非正弦波形引起的相位誤差是測量的主要誤差來源。然而,為了獲取更好的視覺效果,現(xiàn)在的商業(yè)DLP投影儀會設(shè)置為非線性的,從而使得測量誤差必須進(jìn)行補(bǔ)償才能獲取較為精確的結(jié)果。為了消除投影儀非線性gamma引起的測量誤差,文獻(xiàn)[9]采用常用的“查表法”對非線性誤差進(jìn)行標(biāo)定和校正。

針對文獻(xiàn)[9]中存在的不足,本文對該框架進(jìn)行改進(jìn),采用離焦投影二值條紋圖的方案，將投影3幅相移條紋圖和1幅散斑圖的方案改為離焦投影3幅二值條紋圖和1幅二值散斑圖。由于針對1 bit的二值圖投影速度可以突破投影灰度圖速度的限制,在投影儀Lightcrafter 4500上可以將投影速度提升到4 000 幀/s。

投影3幅二值條紋圖和1幅二值散斑圖的理論速度可以達(dá)到1 000幀/s,極大地提升了三維測量的速度。通過讓投影儀適當(dāng)離焦,可以使二值條紋圖離焦近似為正弦條紋圖,既保持了相移法的優(yōu)點(diǎn),又消除了非線性gamma的影響,不再需要額外的查表補(bǔ)償,使得測量過程中減少了計算補(bǔ)償校正的時間。本文的方法不但保證了測量的精度,而且極大地提高了測量的速度。

2.2 投影儀離焦生成條紋圖

二值條紋在數(shù)學(xué)上可以視為一個方波,二值方波的傅里葉級數(shù)展開式[13]為：

(5)

(5)式中一階諧波代表理想正弦波,而高階諧波代表方波的詳細(xì)特征。在頻域中,由于方波只有奇數(shù)次諧波而沒有偶數(shù)次諧波,若使用低通濾波器消除或抑制高階諧波,則可以近似理想正弦波。投影儀離焦技術(shù)可以對圖像產(chǎn)生平滑效果,因而可以將其建模為高斯濾波器。如果投影儀適當(dāng)散焦到一定程度,投影的二值圖像將會模糊,從而生成近似正弦條紋圖案。

投影儀離焦投影二值條紋圖時,隨著離焦程度的加深,二值條紋越來越近似正弦條紋,但同時圖像會變得越來越模糊,對比度也會逐漸下降。不同離焦程度下的二值條紋圖及剖面圖如圖1所示。

圖1a～圖1d所示為不同離焦程度下相機(jī)采集到的條紋圖像,圖1e～圖1h所示為采集圖像的剖面圖,通過剖面圖可以直觀分析二值圖像離焦投影后正弦化的效果以及圖像對比度的變化。

圖1 不同離焦程度下的二值條紋圖及剖面圖

在同一離焦程度下,不同寬度的二值條紋圖所表現(xiàn)出的正弦性也是不同的。當(dāng)二值條紋寬度較窄時,所表現(xiàn)出的正弦效果好;當(dāng)條紋寬度較寬時,正弦性效果較差，如圖2所示。

圖2 不同寬度二值條紋圖及剖面圖

通過上述實(shí)驗發(fā)現(xiàn),投影儀不同離焦的程度和條紋圖的寬度均直接影響著二值條紋圖在物體表面投影的正弦化效果,同時隨著離焦程度的增加,條紋圖的對比度不斷地下降。因此,本文采用寬度為9 pixel的二值條紋圖,在投影儀輕度離焦的狀態(tài)下,離焦投影的二值條紋有較好的正弦性且相機(jī)采集的圖像具有高對比度。

2.3 散斑調(diào)優(yōu)

本文使用的參考圖相位展開框架中,需要向參考平面和被測物體投影設(shè)計好的散斑圖案來進(jìn)行匹配。因為投影儀處于離焦?fàn)顟B(tài),相機(jī)采集的散斑圖案也處于離焦?fàn)顟B(tài),散斑圖案的質(zhì)量直接影響匹配的結(jié)果，所以需要對散斑圖進(jìn)行優(yōu)化設(shè)計,以更好地實(shí)現(xiàn)散斑匹配。

二值散斑投射到物體表面時,可以有效地對空間信息進(jìn)行編碼。散斑編碼已經(jīng)成功應(yīng)用到許多消費(fèi)產(chǎn)品中,如Microsoft Kinect V1和iPhone X。本文所使用的散斑圖是根據(jù)Kinect里面的散斑進(jìn)行設(shè)計的,具有較強(qiáng)的獨(dú)特性和抗干擾能力。實(shí)驗中,當(dāng)散斑的顆粒較小、間距較密集時,離焦投影的結(jié)果比較模糊,會影響后續(xù)的散斑匹配。當(dāng)散斑的顆粒或間距較大時,又無法對被測物體進(jìn)行有效地信息編碼,導(dǎo)致匹配不可靠。因此,本文設(shè)計了一系列不同顆粒大小和間距的散斑圖用以散斑調(diào)優(yōu)匹配實(shí)驗,采用不同密度的散斑圖進(jìn)行匹配實(shí)驗，得到的視差結(jié)果如圖3所示。其中:圖3a～圖3d為設(shè)計不同顆粒大小的散斑圖;圖3e～圖3h為散斑離焦投影在被測物體的效果圖;圖3i～圖3l為散斑匹配的視差圖。當(dāng)使用圖3a所示的密集散斑,輕微的離焦就會使得散斑變得非常模糊,如圖3e所示。模糊的散斑無法對被測物體進(jìn)行有效地信息編碼,散斑匹配無法得到正確的結(jié)果,其視差圖中的大衛(wèi)無法計算出來,如圖3i所示。當(dāng)根據(jù)離焦情況選擇顆粒大小與間距適中的散斑,散斑會均勻清晰地覆蓋在被測物體表面,對被測物體進(jìn)行有效地編碼,立體匹配會獲得正確的視差圖,如圖3f所示。當(dāng)散斑變得逐漸稀疏時,散斑編碼丟失的信息也越來越多,立體匹配產(chǎn)生的視差圖中出現(xiàn)越來越多的噪點(diǎn)及錯誤區(qū)域,如圖3g、圖3h所示。

圖3 不同顆粒大小的散斑圖

通過一系列實(shí)驗發(fā)現(xiàn),在投影儀輕度離焦?fàn)顟B(tài)下,根據(jù)離焦情況選擇顆粒大小與間距適中的散斑,可以對被測物體進(jìn)行有效編碼來獲取被測物體的正確視差圖。

2.4 匹配算法

在本文的三維成像系統(tǒng)中,利用了與文獻(xiàn)[9]類似的一種基于PatchMatch Stere[14-16]的簡化算法進(jìn)行散斑匹配。原始的算法需要優(yōu)化隨機(jī)的3D平面,使得匹配代價的計算開銷很大,而只需要優(yōu)化一維視差的簡化的PatchMatch Stereo[15-16]算法被廣泛應(yīng)用于實(shí)時測量的系統(tǒng)中。

本文的PatchMatch算法,將代價函數(shù)的計算用Census變換來代替，Census變換通過比對窗口像素與中心像素的大小進(jìn)行圖像信息的編碼,其優(yōu)點(diǎn)是對環(huán)境光照變化具有較強(qiáng)的魯棒性[17]。本文將中心像素P的灰度值IP替換為整個矩形窗口WP的平均灰度值IP,可以增加代價匹配的魯棒性。在P點(diǎn)的Census變換計算公式為：

(6)

參考散斑圖中的點(diǎn)Q和當(dāng)前散斑圖中對應(yīng)點(diǎn)P,它們之間的視差值為d,則P點(diǎn)的匹配代價可以通過漢明距離來計算,公式如下：

C(P,d)=Hamming(Census(P),Census(d))

(7)

最后利用相位約束條件可以提高散斑匹配的精度,即當(dāng)前散斑圖和參考散斑圖中對應(yīng)點(diǎn)的相位是相同的。

改進(jìn)的PatchMatch算法主要由隨機(jī)初始化、視差傳播和后處理3個部分組成。利用這3個部分得到目標(biāo)視差信息,之后利用框架進(jìn)行相位展開,再利用相機(jī)和投影儀的內(nèi)參矩陣、外參矩陣以及相機(jī)、投影儀之間的關(guān)系,計算求解出三維空間坐標(biāo),得到相應(yīng)的點(diǎn)云圖。

3 實(shí)驗及結(jié)果分析

本文采用輕度離焦的數(shù)字投影儀，投影分辨率為1 024×768的二值條紋圖和散斑圖。其中二值條紋圖的寬度為9 pixel,散斑圖根據(jù)Kinect里面的散斑圖設(shè)計,具有較強(qiáng)的獨(dú)特性和抗干擾能力。

本文設(shè)計的快速高精度三維成像的結(jié)構(gòu)光系統(tǒng)主要包括1個 CCD 相機(jī)和1個分辨率為1 024×768 的 DLP 投影儀。結(jié)構(gòu)光系統(tǒng)中基線長度為 196.34 cm,從相機(jī)到參考平面的距離為105.4 cm。相機(jī)上安裝了1個焦距為8 mm的Computar M0814-MP2鏡頭,相機(jī)的分辨率為 640×480。 測試程序采用VS2015編寫,運(yùn)行在處理器為Intel(R) Core(TM) i5-7300HQ和搭載了圖形處理器為Nvidia GTX1060的計算機(jī)上。

(1) 采用本文所設(shè)計的三維成像系統(tǒng)去測量1個高度為30 cm、表面幾何形狀復(fù)雜的大衛(wèi)雕像。大衛(wèi)雕像的重建過程如圖4所示。

圖4 大衛(wèi)雕像重建過程

(2) 為了驗證本文方法對多個分離物體的有效性,本文測量了2個不同位置相互獨(dú)立的大衛(wèi)雕像,如圖5所示。其中，一個高30cm,距離相機(jī)110 cm；另外一個高15 cm,離相機(jī)100 cm。。

圖5 分離物體的重建過程

(3) 為了驗證系統(tǒng)對具有多反射率表面物體的有效性,用系統(tǒng)對彩色布進(jìn)行測量,其重建過程如圖6所示。結(jié)果表明本文方法對于復(fù)雜紋理物體的測量也是有效的。

圖6 多反射率目標(biāo)實(shí)驗

為了驗證該系統(tǒng)的精確度,本文在距離110 cm處測量了一個光滑的平面板,獲得該平面的點(diǎn)云,將點(diǎn)云數(shù)據(jù)中的背景部分除去,然后對點(diǎn)云擬合一個平面,平面擬合的均方根誤差為0.27 mm。

在速度上,通過在圖形處理器Nvidia GTX 1060上對PatchMatch相位展開算法進(jìn)行加速,整個相位展開的速度為195 幀/s。

4 結(jié) 論

本文提出了一種基于二值條紋的快速高精度三維重建系統(tǒng)。采用基于參考圖像的相位展開框架,只需要投影4幅二值圖片,即可實(shí)現(xiàn)全場三維重建。采用Lightcrafter 4500投影儀,投影4幅二值圖片的理論速度可以達(dá)到1 000 幀/s,極大地提升了投影速度。通過在圖形處理器Nvidia GTX 1060上對PatchMatch算法進(jìn)行加速,相位展開速度為195 幀/s。在精度上,用該方法測量一個光滑平面板的均方根誤差為0.27 mm。本文驗證了基于參考圖像的相位展開框架、離焦投影3幅二值條紋圖片和1幅二值散斑圖實(shí)現(xiàn)三維重建方法的有效性。在未來的工作中,將采用高速相機(jī)和Lightcrafter搭建高速三維測量系統(tǒng)。