基于相移法的三維重建減噪算法研究

莊 一,石 巖,汪詩宇

(中國計(jì)量大學(xué) 光學(xué)與電子科技學(xué)院,浙江 杭州 310018)

三維測量技術(shù)作為高新技術(shù)[1],近年來,隨著相關(guān)計(jì)算機(jī)處理技術(shù)、圖像處理以及光電子測量等技術(shù)不斷成熟,三維測量技術(shù)得到迅速的發(fā)展,在國防安全、先進(jìn)制造、醫(yī)療診斷等領(lǐng)域有廣泛的運(yùn)用[2].目前,在相關(guān)產(chǎn)品的研發(fā)方面,德國處于領(lǐng)先地位,擁有許多在工業(yè)等領(lǐng)域的三維測量設(shè)備.國內(nèi)主要有清華大學(xué)的北京田園三維科技有限公司等研制相關(guān)的條紋三維測量設(shè)備[4].目前測量物體三維重建的主要技術(shù)難點(diǎn)有以下幾個(gè)方面:投射條紋的產(chǎn)生及投影,系統(tǒng)標(biāo)定,折疊相位[4]展開以及噪聲的影響.其中噪聲主要來源于器件的固有噪聲與投影光柵條紋不均勻帶來的噪聲[3].器件的噪聲主要通過更換不同的器件降低噪聲,但是浪費(fèi)時(shí)間并增加了成本;投射條紋不均勻?qū)е碌脑肼?常用的是對提取的相位圖進(jìn)行中值濾波等常規(guī)算法,但這樣容易改變被測物體的三維信息,導(dǎo)致被測物體的三維信息不精確.也有許多提出利用編碼的算法替換之前的正弦條紋,利用編碼結(jié)構(gòu)光[8]算法比較復(fù)雜,對于硬件的條件也比較高.

本文提出了一種基于相移法的三維重建降低噪聲的算法,通過對采集變形條紋圖進(jìn)行減噪處理,從而降低被測物體受光照不均帶來的誤差.算法主要分為三步:第一步,用四步相移法得到被測物體的相位圖;第二步,用Sobel邊緣檢測算子[9-10],人工設(shè)置合適的閾值,自動檢測出被測物體相位圖中噪聲區(qū)域;第三步,通過提取噪聲點(diǎn),依次提取并且判斷該噪聲點(diǎn)四個(gè)方向每個(gè)像素點(diǎn)是否在沒有噪聲區(qū)域內(nèi),保存其數(shù)據(jù),通過均值替換該噪聲點(diǎn),從而提高重建物體的精確度,減少噪聲.

1 消除噪聲算法設(shè)計(jì)

1.1 四步相移法提取相位

相移法[10-11]的主要原理是利用多幅光柵條紋圖像來獲得被測物體相位.如果投射的條紋是正弦,分N次投影在待測物體上,那么兩幅相鄰的正弦條紋的相位差值為2π/N,令I(lǐng)n代表第n(n=1…N)幅圖像光強(qiáng)[13-14].

(1)

式(1)中:ɑ(x,y)代表背景光的強(qiáng)度,b(x,y)為被測物體的反射率,φ(x,y)表示的是物體高度相關(guān)的調(diào)制相位[15].

四步相移法是當(dāng)N=4時(shí),即投影四幅光柵條紋圖時(shí),四幅光柵條紋的光強(qiáng)為:

(2)

對應(yīng)的相位的求解公式如下:

(3)

通過提取參考面無物體的時(shí)候條紋相位為φ1(x,y)和放置物體后的條紋的相位分布φ2(x,y)可通過式(4)得到.這樣,待測物體所形成的相位差為

Δφ(x,y)=φ2(x,y)-φ1(x,y).

(4)

最后,通過利用所求的相位差與高度的關(guān)系求出待測物體的深度,如圖1.

圖1 交叉光軸系統(tǒng)原理示意圖Figure 1 Geometry of crossed-optical-axes system

圖1中OP是投影系統(tǒng)透鏡的光軸,它與成像透鏡的光軸OC相交于點(diǎn)O,其中Ox是所在的參考平面,P和C點(diǎn)分別是投影透鏡于成像透鏡的入瞳中心,兩點(diǎn)的距離為d,距離參考平面的距離為l,通過投影儀將光柵投射至物體的表面點(diǎn)H,H成像在成像面上H’.PH與參考平面Ox相交于點(diǎn)A,CH與參考平面相交于點(diǎn)B,兩點(diǎn)之間距離為s(x,y),而物體表面點(diǎn)H距離參考平面的深度為h(x,y),通過三角形PHC于三角形BHA相似可得式(5):

(5)

實(shí)驗(yàn)中投射的是正弦光柵條紋,則參考面和物體表面上各點(diǎn)的光強(qiáng)可分別表示為I0(x,y)和I(x,y),即:

I0(x,y)=a(x,y)+b(x,y)cos[2πf0x+φ0(x,y)];

I(x,y)=a(x,y)+b(x,y)cos[2πf0x+φ(x,y)].

(6)

式(6)中:a(x,y)代表背景光的強(qiáng)度,b(x,y)為被測物體的反射率,φ0(x,y)和φ(x,y)分別對應(yīng)為參考面和被測物體表面的相位信息.可以證明AB兩點(diǎn)之間的距離s(x,y)和式(4)求得相位差Δφ(x,y)有以下的關(guān)系:

Δφ(x,y)=2πf0s(x,y).

(7)

式(7)中的f0=1/p是投影到參考面上的光柵條紋的頻率,將式(7)代入式(5)中可得

(8)

通過式(8)可知,只要得到物體表面與參考面的相位差Δφ(x,y)則可計(jì)算出物體的深度值,實(shí)現(xiàn)三位輪廓重建.

1.2 提取噪聲區(qū)域

通過投射光柵條紋至被測物體,裝置如圖2.

圖2 裝置示意圖Figure 2 Schematic diagram of installation

圖2中,(a)圖是用到的Sony投影設(shè)備,攝像設(shè)備是基于Kinect2.0.通過投影儀將光柵投影在物體上,光柵的頻率(f)為1/64,通過測量,投影設(shè)備與攝像設(shè)備的水平距離為12 cm,投影設(shè)備距離參考面距離(l)為80 cm.物體背景墻面導(dǎo)致投射的光不均勻,產(chǎn)生噪聲,產(chǎn)生“拉線”現(xiàn)象,用相機(jī)采集被測物體上的條紋信息有差異,如圖(b)中長方形框中標(biāo)記所示,重建誤差較大.因此,對采集條紋信息進(jìn)行邊緣檢測處理.

(9)

式(9)中A代表圖3(a)所示,圖像中的物體是一個(gè)紙杯子,橫縱坐標(biāo)是其像素值范圍,由于貼在背景墻上,墻上的不均勻?qū)е虏杉墓鈻判畔⒂姓`差,Gx以及Gy分別為Image1通過水平和垂直的檢測后圖像,圖像中的梯度大小為上述經(jīng)過水平和垂直檢測后圖像通過式(6)相結(jié)合得出梯度:

(10)

人工選擇合適的閾值,如圖3(b)是對采集的圖像(a)利用相移法,提取出的相位信息圖,從圖中可以清晰知道,噪聲區(qū)域,正常區(qū)域,背景區(qū)域有很大的區(qū)別,當(dāng)設(shè)置閾值在-1至0之間,當(dāng)(10)式求得每個(gè)像素在設(shè)定閾值之內(nèi),將該點(diǎn)像素值設(shè)置為某一特定數(shù)值(本文為了實(shí)驗(yàn)明顯設(shè)置為0),不在閾值的設(shè)置為255.這樣能清晰看出待測物體輪廓信息以及噪聲的信息,如圖3(c);當(dāng)設(shè)置閾值為-4,當(dāng)?shù)陀谠撛O(shè)置的閾值,將其像素設(shè)置為255,高于設(shè)置為0,能很好提取受影響的區(qū)域,如圖3(d)中長方形框中標(biāo)記區(qū)域.

1.3 噪聲區(qū)域的消除

圖3(b)中白色區(qū)域是自動識別的噪聲區(qū)域,將大于閾值的像素值設(shè)置為特定數(shù)值即噪聲區(qū)域的像素值,逐點(diǎn)判斷每行像素值,如果該像素值為設(shè)置的特定數(shù)值,則認(rèn)定為噪聲點(diǎn),如圖3.

圖3 提取噪聲示意圖Figure 3 Schematic diagram of noise extraction

當(dāng)由上述算法找到該噪聲點(diǎn),提取該點(diǎn)的行和列沒有噪聲影響的物體的像素值,對提取的噪聲點(diǎn)的鄰域取均值,算法模型如圖4.

圖4 提取噪聲點(diǎn)流程圖Figure 4 Flow chart for extracting noise points

A(i,j)B(i,j)Image(i,j)D(i,j)C(i,j)

圖5替代噪聲點(diǎn)路徑

Figure 5 Alternative noise point path

圖5中Image(i,j)表示噪聲區(qū)域的隨機(jī)噪聲點(diǎn),提取除該點(diǎn)以外的四個(gè)方向的像素值,然后進(jìn)行判斷是否在沒有受光照影響物體像素值范圍內(nèi),提取完四個(gè)方向在該范圍內(nèi)的像素值,對其取均值賦值給Image(i,j),實(shí)現(xiàn)該算法的流程圖如圖6.

圖6 替代噪聲點(diǎn)算法流程圖Figure 6 Flow chart of alternative noise point algorithm

通過上述流程圖逐點(diǎn)將噪聲點(diǎn)消除,圖7(a)中的紙杯子是受噪聲影響的原圖,圖7(b)是通過傳統(tǒng)的中值濾波算法處理后的圖,圖7(c)是利用高斯濾波處理后的圖,圖7(d)是本文提出的算法效果圖.

圖7 算法處理前后示意圖Figure 7 Schematic diagram before and after processing by using algorithm

通過比較,中值濾波的濾波效果并不能完全消除噪聲帶來的影響,如圖長方形框中標(biāo)記地方,只是將整個(gè)區(qū)域均勻,而噪聲區(qū)域并沒有因此而完全消除;而高斯濾波效果不是很好,與原始圖像比較,并沒有太大的改善,相比較而言,本文提出的算法能很好地消除噪聲,還原物體的整個(gè)三維輪廓.

如圖8(a)和8(b)是通過算法前后的三維重建圖,如圖中長方形框中標(biāo)記所示,利用上述所說的算法能很好地消除噪聲的影響,提高待測物體的還原度.

圖8 模塊三維重建示意圖Figure 8 Schematic diagram of 3D reconstruction module

2 實(shí)驗(yàn)

為了進(jìn)一步檢驗(yàn)本文提出算法的正確性,在實(shí)驗(yàn)室采用四步相移法對一個(gè)標(biāo)準(zhǔn)模塊進(jìn)行測量,并采用本文所提出的噪聲處理.本次實(shí)驗(yàn)中攝像機(jī)和投影儀分辨率都為1 024×768.攝像機(jī)與投影儀的位置與待測物體距離為1.2 m,通過投影儀將具有相位差的條紋投射在待測的模塊表面,攝像機(jī)采集變形的光柵條紋圖像.

圖9(a)是測量模塊實(shí)驗(yàn)裝置圖,圖9(b)是實(shí)驗(yàn)的模塊,所使用的模塊是規(guī)則的長方體與正方體,長方體的高度與正方體的高度分別為1.5 cm與6 cm.

圖9 模塊裝置示意圖Figure 9 Schematic diagram of module device

如圖10(a),是通過攝像機(jī)采集的原圖,由于投影光柵照射在模塊,光柵在墻面上不均勻,導(dǎo)致在模塊周圍會出現(xiàn)噪聲區(qū)域,如圖10(b)框中標(biāo)記所示,框中的區(qū)域高度會出現(xiàn)11.06 cm的錯(cuò)誤數(shù)值,從而影響物體的重建.

圖10 模塊三維重建示意圖Figure 10 Schematic diagram of 3D reconstruction module

通過利用中值濾波,高斯濾波方法去除由光照不均勻帶來的噪聲,如圖11(a)和(b).

圖11 傳統(tǒng)算法去除噪聲后三維重建圖Figure 11 3-D reconstruction diagram of removing noise by the traditional algorithm

通過圖11(a)和(b),中值濾波只能將整個(gè)重建圖變均勻,但沒有去除噪聲區(qū)域,導(dǎo)致重建的立方體多了一部分,如圖框中標(biāo)記的區(qū)域.圖12是利用本文所提出的算法對噪聲區(qū)域進(jìn)行處理的結(jié)果.

圖12 本論文算法去除噪聲后三維重建圖Figure 12 3-D reconstruction diagram of removing noise by the proposed algorithm

通過圖12重建結(jié)果與傳統(tǒng)算法重建結(jié)果相比較起來,本文提出的算法不僅能很好地還原物體三維信息,而且能很好地消除由光照不均勻帶來的誤差區(qū)域.

在圖13重建的三維圖中隨機(jī)選取8個(gè)點(diǎn)的坐標(biāo)數(shù)值,如表1.

圖13 本論文算法去除噪聲后三維重建圖Figure 13 3-D reconstruction diagram of removing noise by the proposed algorithm

表1 絕對誤差表

表1中可以看出受處理后的模塊數(shù)據(jù)的與實(shí)際的誤差值相差很小,所達(dá)到的精度很高,能很好解決光照不均勻帶來的影響.對上述隨機(jī)取的精度值取個(gè)均值,處理后的數(shù)據(jù)與實(shí)際數(shù)據(jù)精度為98.32%.

3 結(jié)語

通過上文中的實(shí)驗(yàn)結(jié)果,文中設(shè)計(jì)的減噪算法結(jié)合四步相移法有明顯的效果，如圖3(b).由于光照的不均勻,導(dǎo)致其重建的模塊與原物有很大的區(qū)別，如圖7.對噪聲區(qū)域利用傳統(tǒng)的降噪算法,雖然能減少部分噪聲影響,但不能完全消除噪聲的區(qū)域,如圖8.本文提出的算法能很好還原待測物體的三維信息,測量精度達(dá)到98.32%,取得了很好的工程效果.但是,所設(shè)計(jì)的算法還有很多改進(jìn)的地方,比如當(dāng)檢測復(fù)雜物體時(shí)該如何進(jìn)行噪聲消除等.