基于深度學(xué)習(xí)的結(jié)構(gòu)光包裹相位展開算法

何 群,薛 林,張德健,王 豪,王云森

(大連理工大學(xué)機械工程學(xué)院,遼寧大連 116024)

0 引言

結(jié)構(gòu)光相位測量輪廓術(shù)是一種高精度、高速度的非接觸式光學(xué)三維形貌測量技術(shù),其廣泛應(yīng)用在機械工程、工業(yè)檢測、計算機視覺、虛擬現(xiàn)實、生物醫(yī)學(xué)等領(lǐng)域[1-2]。最簡單的相位測量輪廓系統(tǒng)由工業(yè)相機、投影儀(光機)和計算機組成,在計算機的控制下,光機向被測對象投射光柵條紋,由工業(yè)相機同步采集被測對象調(diào)制后的光柵條紋,最終由相位解析算法從工業(yè)相機捕獲的變形條紋中提取相位信息,并通過三角測量法將其映射為物體的真實三維坐標[3]。

通過相位移法計算得到的包裹相位值在一個光柵條紋周期內(nèi)是唯一的,但是在整個測量視場內(nèi)具有多個周期的光柵條紋,由此產(chǎn)生相位值二義性。為了避免產(chǎn)生有歧義的相位,需要進行相位展開獲得絕對相位。相位解包裹算法是結(jié)構(gòu)光相位測量輪廓術(shù)的熱點研究問題,經(jīng)過多年研究和發(fā)展,目前主要有兩大類主流方法:時間相位展開與空間相位展開[4]?？臻g相位展開算法僅采用一幀包裹相位圖,其基本原理是:根據(jù)相位的連續(xù)性分析鄰近點相位值求解絕對相位?？臻g相位展開在復(fù)雜形貌以及信噪比較低情況下,由于相位突變易產(chǎn)生累積誤差,相位展開結(jié)果不完全可靠。時間相位展開是將各像素的絕對相位值在時序包裹相位上獨立計算,不依賴鄰近像素點的包裹相位值,從原理上避免了誤差累積。與空間相位展開相比,時間相位展開需要投影的條紋幀數(shù)較多,但相位展開的性能更優(yōu)越[5]。

針對傳統(tǒng)時間相位展開算法由于噪聲或其他誤差源所導(dǎo)致的條紋階次錯誤,影響三維測量精度的問題,本文在時間相位展開多頻外差算法的基礎(chǔ)上提出一種基于深度學(xué)習(xí)的多頻相位展開算法,其基本原理是將時域中絕對相位展開問題抽象為求解包裹相位圖中像素條紋階次(條紋周期),從而轉(zhuǎn)化為語義分割問題。首先使用相移法得到不同頻率光柵對應(yīng)的包裹相位,然后以包裹相位作為輸入,以多頻外差算法求解的包裹相位條紋階次作為輸出,利用語義分割模型Deeplabv3+ 網(wǎng)絡(luò)訓(xùn)練,經(jīng)過訓(xùn)練后的網(wǎng)絡(luò)模型可輸出某一種特定頻率的包裹相位對應(yīng)的條紋階次,最后結(jié)合該頻率的包裹相位,進行相位展開,進而獲得被測對象的三維點云數(shù)據(jù)。通過三維重建實驗驗證了本文提出的相位展開算法的可行性以及與傳統(tǒng)多頻外差相比,在高斯噪聲干擾的情況下,該方法具備更高的測量精度。

1 相位移原理與多頻外差算法

1.1 相位移原理

相位移計算包裹相位的基本流程是:制作多幀具有一定相移的光柵條紋,采集由被測對象調(diào)制后的多幀光柵條紋并由此計算包裹相位[6]。理論上,條紋光強服從標準正弦分布,其分布函數(shù)如下:

Ii(x,y)=A+Bcos[φ(x,y)+δi]

(1)

式中:Ii(x,y)為第i幀條紋投影圖像的光強;A為圖像的平均灰度;B為圖像的灰度調(diào)制;δi為相位移;φ(x,y)為包裹相位。

本文采用標準N幀相移算法計算光柵相位圖像的包裹相位,其光強表達式如下:

(2)

式中:k= 0,1,2,…,N-1 表示第k+1幀相位移。

將k帶入式(2)可計算出光柵圖像的包裹相位:

3.牢固樹立生產(chǎn)效率的理念。中石化集團公司、勝利石油管理局先后出臺了《關(guān)于嚴格控制用工總量、不斷提高勞動生產(chǎn)率實施意見》。用工總量要控制，工作總量還要增加，在這對矛盾的背后就是要講效率，提高資源使用效率和勞動生產(chǎn)率。公司實行的“儀器承包到個人”“服務(wù)承包到井隊”，就是提高勞動生產(chǎn)率行之有效的措施。要繼續(xù)堅持“人無我有、人有我優(yōu)、人優(yōu)我精、人精我變”的原則，不斷擴大差異化競爭的優(yōu)勢。要進一步優(yōu)化科技、人才管理，營造有利于技術(shù)創(chuàng)新的環(huán)境。把握科技發(fā)展趨勢，加快關(guān)鍵技術(shù)自主創(chuàng)新以及引進技術(shù)消化吸收再創(chuàng)新，提升自主研發(fā)水平，加大新技術(shù)的推廣應(yīng)用，加快成熟技術(shù)規(guī)模化應(yīng)用，提高科技成果轉(zhuǎn)化率。

(3)

由式(3)以及反正切函數(shù)性質(zhì)可知:包裹相位值在區(qū)間[-π,π]上呈周期分布。包裹相位無法直接使用,需要配合相位展開算法展開成絕對相位。

1.2 多頻外差算法

多頻外差算法的基本原理[7]:將2種或2種以上的不同頻率的正弦條紋通過相位作差的方式疊加生成一種頻率更低的正弦條紋,從而使整個視場內(nèi)的相位值具有唯一性。以雙頻外差為例,其原理圖如圖1所示。

圖1中光柵周期為λ1、λ2的條紋分別對應(yīng)包裹相位為φ1和φ2,其中包裹相位的值歸一化為[0,1]之間,且λ2>λ1。φ1和φ2經(jīng)過外差,得到了周期為λ12的條紋,其對應(yīng)的相位為φ12,為了前后對應(yīng),φ12的值同樣歸一化到[0,1]之間。經(jīng)過外差之后的相位φ12以及周期λ12計算如下:

(4)

(5)

(a)合成前

(b)合成后圖1 雙頻外差原理圖

對于光柵圖像上某一像素點,設(shè)周期為λ1、λ2的條紋對應(yīng)的條紋階次分別為n1、n2,這四者之間有:

λ1n1=λ2n2

(6)

又由不同周期光柵同一像素對應(yīng)的整數(shù)條紋階次相差不超過一階,可得:

φ12=n1-n2

(7)

聯(lián)立式(4)～式(7),得:

n1=λ12φ12/λ1

(8)

n2=λ12φ12/λ2

(9)

所以周期為λ1、λ2的條紋對應(yīng)的整數(shù)條紋階次N1、N2為:

(10)

(11)

2 語義分割模型Deeplabv3+

圖像語義分割任務(wù)是將目標圖像中不同類別的像素通過計算機的預(yù)訓(xùn)練與遷移學(xué)習(xí)能力識別出來并將其按照各個特征像素標簽進行分類。近年來,由于深度學(xué)習(xí)技術(shù)的發(fā)展和進步,使用卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練的語義分割研究達到了新的高度。這其中具有代表性的成果有谷歌團隊提出的DeepLab系列網(wǎng)絡(luò)模型。本文采用的網(wǎng)絡(luò)模型為DeepLabv3+[10],其基本原理是通過把原模型當作編碼結(jié)構(gòu)并設(shè)計相對應(yīng)的解碼結(jié)構(gòu)來實現(xiàn)對目標圖像的像素特征的提取,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)

DeepLabv3+網(wǎng)絡(luò)模型主要分為編碼和解碼2部分。首先將圖像送入深度卷積神經(jīng)網(wǎng)絡(luò)即主干網(wǎng)絡(luò),主干網(wǎng)絡(luò)采用的是殘差神經(jīng)網(wǎng)絡(luò)(ResNet-50),經(jīng)過主干網(wǎng)絡(luò)的提取生成淺層特征和深層特征。深層特征輸入ASPP結(jié)構(gòu)以提升小區(qū)域目標的分割精度,然后經(jīng)過調(diào)整通道與上采樣與淺層特征融合,最終經(jīng)卷積運算與上采樣調(diào)整為原圖像尺寸輸出分割結(jié)果。

對于時間相位展開而言,其最終的目的是要獲得絕對相位以完成后續(xù)的三維坐標計算,但實際應(yīng)用過程中不需要將絕對相位值設(shè)置成網(wǎng)絡(luò)模型的標簽,本文采用的策略是將包裹相位對應(yīng)的整數(shù)條紋階次作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的真值,這樣可以極大地簡化網(wǎng)絡(luò)的復(fù)雜程度。由條紋階次和包裹相位計算絕對相位公式如下:

Φ(x,y)=2πk+φ(x,y)

(12)

式中:Φ(x,y)為絕對相位;φ(x,y)為包裹相位,其取值歸一化在[0,2π];k為條紋的整數(shù)階次。

3 實驗與討論

3.1 光柵投影三維測量系統(tǒng)

光柵投影三維測量系統(tǒng)由光柵條紋投影裝置(光機)、圖像采集裝置(工業(yè)相機)、控制與數(shù)據(jù)處理裝置(計算機)構(gòu)成,由光機投射條紋至被測對象同時觸發(fā)工業(yè)相機同步采集,其結(jié)構(gòu)示意圖如圖3 所示。

圖3 光柵投影測量系統(tǒng)結(jié)構(gòu)示意圖

實驗投影光柵條紋裝置的光機采用的是DLP VisionFLY4500(物理分辨率:1 140 pixel×920 pixel),工業(yè)相機的型號為MER-051-120GM/C-P(物理分辨率:808 pixel×608 pixel),采用光機外觸發(fā)相機的圖像采集模式。

3.2 包裹相位展開三維重建實驗

在制作用于訓(xùn)練DeepLabv3+網(wǎng)絡(luò)模型的數(shù)據(jù)集中,使用的3種正弦條紋周期分別為48、60、75 pixel,為了更好地分析和比較相位展開結(jié)果的精度,采用12步相移法獲得包裹相位作為輸入,通過多頻外差算法計算周期為48 pixel的包裹相位各像素的條紋階次作為輸出(采用12步相移加三頻外差算法求解絕對相位作為絕對相位真值的參考)[11]。數(shù)據(jù)集共包含400組數(shù)據(jù),每組數(shù)據(jù)采集于隨機平移和旋轉(zhuǎn)的大衛(wèi)雕像(復(fù)雜曲面三維模型),分辨率為512 pixel×512 pixel,其中320組作為訓(xùn)練集,剩余80組作為測試集,每組數(shù)據(jù)包含3種頻率的包裹相位。

在三維重建實驗中,使用的3種正弦條紋周期與數(shù)據(jù)集中使用的正弦條紋周期保持一致,相移步數(shù)設(shè)置為4步,首先通過相移法獲得3種頻率條紋的包裹相位,然后分別由訓(xùn)練后的DeepLabv3+ 模型與多頻外差算法進行相位展開獲得絕對相位。獲得經(jīng)過被測物體調(diào)制后的變形光柵條紋的絕對相位后,可通過預(yù)先標定的系統(tǒng)參數(shù)計算被測物體表面點的三維坐標,本文采用三角立體模型求解空間點三維坐標[12]。

被測對象采用具有復(fù)雜曲面的大衛(wèi)雕像,利用12步相移加多頻外差算法計算大衛(wèi)雕像的點云作為參考(真值),設(shè)置公差 ±0.5 mm,當測量點偏離公差帶即認為是錯誤點。取100組測量結(jié)果的平均錯誤率,多頻外差算法與DeepLabv3+模型相位展開后的三維重建的實驗結(jié)果對比如圖4所示。

(a)DeepLabv3+(b)多頻外差圖4 三維重建結(jié)果對比

為了驗證本文提出相位展開算法在噪聲干擾的環(huán)境下的性能,設(shè)計高斯噪聲干擾仿真實驗:向采集的原始條紋投影圖像中添加5組高斯噪聲,方差分別為:0.000 2,0.000 4,0.000 6,0.000 8,0.001(像素值歸一化后);均值取0。此時將無噪聲重建的三維點云作為參考值,添加噪聲后,將多頻外差算法與DeepLabv3+模型相位展開后的三維重建結(jié)果分別與無噪聲重建結(jié)果對比,如圖5所示。

圖5 噪聲條件下三維重建結(jié)果對比

3.3 實驗結(jié)果分析

在驗證本文提出的基于語義分割模型DeepLabv3+的相位展開算法的可行性實驗中,采用大衛(wèi)雕像作為測量對象,以12步相移加多頻外差算法的策略計算絕對相位,再進行三維坐標計算,其計算結(jié)果作為參考,對比多頻外差算法與DeepLabv3+模型相位展開后的三維重建的結(jié)果如圖4所示:傳統(tǒng)的多頻外差算法相位展開后的三維坐標計算錯誤率為6.173%,而DeepLabv3+模型相位展開后計算錯誤率為4.705%,其測量精度優(yōu)于傳統(tǒng)多頻外差算法,證明了本文提出算法的可行性。

在噪聲模擬仿真實驗中,分別向采集的原始條紋投影圖像中添加不同程度的高斯噪聲,實驗數(shù)據(jù)如圖5所示。不同噪聲強度下,本文提出的算法計算錯誤率明顯低于傳統(tǒng)的多頻外差算法;并且隨著噪聲強度的增加,錯誤率的增長率相較于傳統(tǒng)的多頻外差算法精度更高,魯棒性更好。

4 結(jié)束語

本文提出了一種基于深度學(xué)習(xí)的結(jié)構(gòu)光相位解包裹算法,實驗證明經(jīng)過訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)可提升結(jié)構(gòu)光相位測量中包裹相位展開性能,相較于傳統(tǒng)多頻外差算法,相位展開精度更高且在噪聲的干擾下魯棒性更好?；谏疃葘W(xué)習(xí)的相位展開算法可以綜合利用時間和空間的信息,有效地從多種頻率的包裹性相位中提取出條紋階次從而恢復(fù)絕對相位,提高了相位展開的可靠性以實現(xiàn)復(fù)雜曲面物體表面的高精度三維測量。