剪切波變換和條紋方向二值掩膜的相位解包裹方法

李碧原，趙鑫春，張 軍，王 宇

（天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津 300222）

條紋投影輪廓術(shù)（fringe projection profilometry，F(xiàn)PP）是一種非接觸、快速且精度高的三維形貌測(cè)量方法，被廣泛地應(yīng)用于光學(xué)三維測(cè)量領(lǐng)域[1]。在FPP三維測(cè)量中，待測(cè)物理量與編碼在條紋中的相位信息直接相關(guān)，準(zhǔn)確地提取相位是FPP三維測(cè)量的關(guān)鍵。目前，傅里葉變換輪廓術(shù)[2]和相移輪廓術(shù)[3]是兩類最常用的相位提取方法，這兩類方法均利用反正切函數(shù)求解相位，導(dǎo)致相位值分布在[-π，π]之間且存在2π的相位跳變，這種相位分布稱為包裹相位。而真實(shí)相位φ和包裹相位φ之間的存在關(guān)系：φ=φ+2πK，-π≤φ≤π，即真實(shí)相位與包裹相位之間存在2π整數(shù)倍的相位差，從包裹相位中恢復(fù)出真實(shí)相位的過程稱為相位解包裹。

目前，相位解包裹方法主要分為時(shí)間相位解包裹方法和空間相位解包裹方法2類。時(shí)間相位解包裹方法每一個(gè)像素點(diǎn)的相位值都是獨(dú)立計(jì)算的，從而有效地減少了解包裹誤差的傳遞。Zuo等[4]對(duì)時(shí)間相位解包裹方法做了綜述性研究，并比較分析了時(shí)間相位解包裹中常用的多頻法、多波長(zhǎng)法和數(shù)論相位解包裹方法的性能。與時(shí)間相位解包裹方法相比，空間相位解包裹算法只需要一幅包裹相位圖即可獲得解包裹相位?？臻g相位解包裹方法可以分為2類：路徑跟蹤法和最小范數(shù)法。

路徑跟蹤法主要包括枝切法（branch cut）[5]、質(zhì)量圖引導(dǎo)相位解包裹法（quality guide phase unwrapping，QGPU）[6]、區(qū)域生長(zhǎng)算法[7]、遺傳法[8]和最小不連續(xù)法[9]。上述方法的區(qū)別在于如何設(shè)置積分路徑對(duì)包裹相位梯度進(jìn)行積分?；谧钚》稊?shù)的全局相位展開是一種與路徑無關(guān)的相位解包裹方法。作為目前應(yīng)用最廣泛的全局相位解包裹方法之一，加權(quán)最小二乘相位解包裹方法（weighted least square method，WLSM）[10-13]已經(jīng)被國(guó)內(nèi)外專家學(xué)者研究多年。在WLSM中，加權(quán)系數(shù)的設(shè)定是最關(guān)鍵的一步，因?yàn)樗鼪Q定了是否能夠準(zhǔn)確地區(qū)分出相位的不一致區(qū)域。近年來，針對(duì)WLSM加權(quán)系數(shù)的設(shè)定，相關(guān)專家學(xué)者提出了許多新方法：Ghiglia等[10]利用相關(guān)圖作為加權(quán)系數(shù)。hen等[11]利用小波脊作為加權(quán)系數(shù)。Lu等[12]利用導(dǎo)數(shù)相關(guān)二值掩模圖作為加權(quán)系數(shù)。Wang等[13]利用區(qū)域的可靠性圖來定義加權(quán)系數(shù)。在條紋投影輪廓術(shù)實(shí)際應(yīng)用中，由于高度劇烈變化、空間孤立的表面或圖像光強(qiáng)度的突然變化，經(jīng)常會(huì)遇到不連續(xù)的條紋和陰影。在這種情況下，相鄰像素點(diǎn)之間的相位差可能會(huì)超過2π，條紋也會(huì)因?yàn)殛幱岸ゼ?jí)次。

不連續(xù)條件下的相位展開仍然是一個(gè)具有挑戰(zhàn)性的問題。近年來，學(xué)者們提出了一些解決不連續(xù)相位展開問題的方法。Rivera等[14]提出了一種基于魯棒半二次正則化的通用正則化公式，用于處理帶有噪聲和相位不連續(xù)的相位解包裹問題。文獻(xiàn)[15]提出了一種基于殘差的質(zhì)量導(dǎo)向相位解包裹方法。Zhao等[16]提出了一種snake模型輔助的質(zhì)量導(dǎo)向相位解包裹方法。該方法利用梯度向量場(chǎng)snake模型對(duì)窗口傅里葉變換得到的質(zhì)量圖進(jìn)行修改。在一些不連續(xù)的實(shí)例中，使用snake模型得到的高質(zhì)量的圖像比直接使用基于窗傅里葉變換的方法獲得了更好的展開效果。Wang等[17]提出了一個(gè)完整的不連續(xù)條紋圖處理流程。該方法利用基于局部方位相干的條紋分割方法和基于邊界感知的相干增強(qiáng)擴(kuò)散方法得到了質(zhì)量圖。文獻(xiàn)[18]提出了一種新的加權(quán)最小二乘法，在該方法中加權(quán)系數(shù)是由反向?qū)?shù)方差相關(guān)圖的二值掩模得到。Yan等[19]提出基于模糊集理論的自適應(yīng)掩模生成算法并結(jié)合最小二乘法實(shí)現(xiàn)相位解包裹。

最近，深度學(xué)習(xí)算法也被引入到光條紋圖相位解包裹領(lǐng)域，文獻(xiàn)[20]提出基于深度學(xué)習(xí)的相位解包裹方法，該方法利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)FPP條紋圖中的周期順序進(jìn)行解碼，解決了FPP中真實(shí)相位信息評(píng)估時(shí)的模糊性問題。文獻(xiàn)[21]提出了基于聚類和卷積神經(jīng)網(wǎng)絡(luò)的二維相位解包裹網(wǎng)絡(luò)結(jié)構(gòu)“PhaseNet”。文獻(xiàn)[22]提出基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)域相位解包裹方法。文獻(xiàn)[23]提出一對(duì)多深度學(xué)習(xí)框架實(shí)現(xiàn)三步相移進(jìn)而完成相位解包裹。文獻(xiàn)[24]提出新的端到端的網(wǎng)絡(luò)模型“H-Net”，通過引入全局指導(dǎo)路徑提高了網(wǎng)絡(luò)學(xué)習(xí)性能，實(shí)現(xiàn)了條紋結(jié)構(gòu)光三維形貌測(cè)量。基于深度學(xué)習(xí)的相位解包裹方法能夠處理多幅圖像，但需要仔細(xì)地制作相應(yīng)的訓(xùn)練集。

本文基于剪切波變換和條紋方向性提出一種新的加權(quán)最小二乘相位解包裹方法，該方法利用剪切波變換提取條紋，利用條紋方向性獲取二值掩膜進(jìn)而定義新的加權(quán)系數(shù)，該加權(quán)系數(shù)可以準(zhǔn)確地區(qū)分包裹相位圖中連續(xù)區(qū)域和不連續(xù)區(qū)域。將提出的新方法應(yīng)用到模擬和實(shí)驗(yàn)獲得的條紋投影靜態(tài)和動(dòng)態(tài)測(cè)量過程中，并與5種常用的相位解包裹方法進(jìn)行比較。

1 單幅FPP條紋圖相位提取和加權(quán)最小二乘相位解包裹

1.1 單幅條紋圖的FPP相位提取技術(shù)

在FPP相位提取方法中，基于單幅FPP條紋圖的相位提取方法以其速度快、適應(yīng)性強(qiáng)和設(shè)備要求低等優(yōu)點(diǎn)得到了廣泛的應(yīng)用。圖1給出了基于單幅條紋圖的FPP相位提取的主要流程，包括：①投影條紋的設(shè)計(jì)、②系統(tǒng)標(biāo)定、③圖像預(yù)處理、④條紋圖去背景、⑤相位提取、⑥相位解包裹。

圖1 單幅FPP條紋圖相位提取流程圖

該方法僅利用一幅FPP條紋圖通過一系列的條紋分析方法便可以實(shí)現(xiàn)三維形貌的測(cè)量與顯示。利用攝影機(jī)采集到的變形FPP條紋圖的光強(qiáng)表達(dá)式為

式中：Ia為圖像的背景；Ib（x，y）cos（φ（x，y）+2πf0x）為圖像的條紋部分Ifringe；NOISE為噪聲；φ（x，y）為相位信息；2πf0x為載頻。

在單幅FPP條紋圖三維形貌還原過程中，首先要利用計(jì)算機(jī)生成光柵條紋并利用投影儀投射到被測(cè)物體表面。這里的光柵條紋的設(shè)計(jì)可以按照實(shí)際需求進(jìn)行調(diào)整。系統(tǒng)標(biāo)定的目的是用于標(biāo)定好整個(gè)測(cè)量系統(tǒng)中參數(shù)之間的關(guān)系，如標(biāo)定攝影機(jī)與投影儀光心之間的距離，攝影機(jī)焦距等。圖像預(yù)處理用于減少攝像機(jī)采集到的圖像中由于環(huán)境等因素引起的噪聲干擾；條紋圖去背景是為了從條紋圖中將有用的條紋信息從背景、噪聲中分離開；相位提取和相位解包裹用于從變形條紋圖中提取相位主值以及將相位主值連續(xù)化。

1.2 加權(quán)最小二乘相位解包裹方法

加權(quán)最小二乘相位解包裹方法（weighted least square phase unwrapping，WLSPU）的基本思想是計(jì)算解包裹相位差與包裹相位差的最小二階范數(shù)，從而獲得解包裹相位。

WLSPU的目標(biāo)函數(shù)為

式中：φi，j為解包裹后的真實(shí)相位；Δφxi，j和Δφyi，j分別為包裹相位φi，j在x和y方向上的包裹相位差；wxi，j和wyi，j分別為包裹相位φi，j在x和y方向上的權(quán)重；M×N為包裹相位圖的尺寸。

式中：wi，j為包裹相位圖中每一點(diǎn)的加權(quán)系數(shù)。

從式（2）和式（3）中可以看出，在WLSPU中，最終解包裹的精度取決于加權(quán)系數(shù)的選擇。在通常情況下，加權(quán)系數(shù)是由包裹相位圖的質(zhì)量圖進(jìn)行二值化計(jì)算得來的，將質(zhì)量圖中可靠區(qū)域的權(quán)重系數(shù)設(shè)為1，不可靠區(qū)域的權(quán)重系數(shù)設(shè)為0[13]。加權(quán)系數(shù)的一般表達(dá)式為

式中：qij為質(zhì)量圖；Γ為預(yù)先設(shè)定的閾值。

根據(jù)式（4）獲得的加權(quán)系數(shù)，式（2）可以化簡(jiǎn)成求解Neumann邊界條件下的泊松方程，等價(jià)于如下離散形式的泊松方程解

其中，加權(quán)相位拉普拉斯算子ci，j為

將式（5）改寫成矩陣形式為

式中：Q為加權(quán)拉普拉斯算子；c為加權(quán)拉普拉斯操作向量；φ為解包裹相位向量；Q=P+D，P為非加權(quán)拉普拉斯算子，D為差異矩陣。

式（7）可以利用離散余弦變換法（discrete cosine transform，DCT）和預(yù)條件共軛梯度法（preconditioned conjugate gradient，PCG）來求解。

從式（2）到式（7）以及對(duì)加權(quán)最小二乘相位解包裹方法的描述可知，二值的加權(quán)系數(shù)可以準(zhǔn)確地反映相位質(zhì)量。WLSPU的精度取決于加權(quán)系數(shù)的選擇。

2 加權(quán)系數(shù)計(jì)算方法

基于剪切波變換和條紋方向二值掩膜的加權(quán)系數(shù)計(jì)算方法，首先對(duì)FPP條紋圖進(jìn)行剪切波變換，利用剪切波變換去背景的同時(shí)獲取條紋部分。然后計(jì)算條紋部分的方向一致性，通過設(shè)置閾值生成二值掩膜圖，將二值掩膜圖作為加權(quán)系數(shù)輸入到加權(quán)最小二乘相位解包裹方法中實(shí)現(xiàn)精確的相位解包裹。

2.1 單幅FPP條紋圖剪切波變換

文獻(xiàn)[25]中提出了基于剪切波變換的FPP條紋圖去背景方法，與傅里葉方法相似，提出的剪切波變換也利用圖像的背景、噪聲和條紋的頻率在頻域內(nèi)不同來實(shí)現(xiàn)條紋圖像去背景，但剪切波變換以其各向異性、方向的敏感性以及局部多尺度細(xì)分的優(yōu)勢(shì)更加適合于條紋分析。因此，相比于傅里葉變換，剪切波變換可以實(shí)現(xiàn)更精確的FPP條紋圖背景和噪聲的剔除，避免影響后續(xù)計(jì)算精度。基于剪切波變換的背景去除方法的步驟如下：

步驟1對(duì)式（1）中描述的FPP條紋圖進(jìn)行剪切波正變換，得到剪切變換相關(guān)系數(shù)

式中：SH為對(duì)圖像進(jìn)行剪切波變換；SHI為圖像的剪切波變換系數(shù)。

步驟2對(duì)得到的剪切波變換相關(guān)系數(shù)進(jìn)行硬閾值操作，去除低頻分量

式中：shrink為硬閾值操作；δ為閾值。

閾值參數(shù)的選擇與小波變換的方式類似，小波系數(shù)的閾值與圖像中的噪聲水平成比例。

閾值δ為

式中：Tscalars（i）為1×3的向量；Tscalars（1）是低通系數(shù)的閾值標(biāo)量；Tscalars（2）是帶通系數(shù)的閾值標(biāo)量；Tscalars（3）是高通系數(shù)的閾值標(biāo)量；*為卷積運(yùn)算；σ為噪音的標(biāo)準(zhǔn)偏差；dstscalars（j）為包含標(biāo)準(zhǔn)偏差為1變換系數(shù)的高斯白噪聲單元陣列，用來估計(jì)噪聲級(jí)標(biāo)度，尺度參數(shù)j=1，2，3，4。

步驟3進(jìn)行剪切波逆變換得到FPP條紋圖的條紋部分Ifringe

利用剪切波變換去除FPP條紋圖的背景分量和噪聲，得到了精確的條紋部分，接下來利用條紋部分獲取加權(quán)系數(shù)。

2.2 計(jì)算條紋部分的方向二值掩膜

FPP條紋圖是一種明顯的方向流場(chǎng)，具有強(qiáng)烈的方向性。條紋方向相對(duì)于條紋的灰度或者梯度信息而言，是一個(gè)變化緩慢的信息量，其方向信息代表了圖像的重要特征，因此可以用條紋圖的方向信息來指導(dǎo)相位解包裹。

方向一致性是指條紋圖像中某一區(qū)域內(nèi)條紋方向的一致程度，方向一致性可以定義為

式中：Direction（i，j）和Direction（k，l）分別為在尺寸W×W的窗口中，中心像素（i，j）與其窗口鄰域內(nèi)其他像素點(diǎn)（k，l）的方向角。

從式（13）可以看出，對(duì)于條紋方向一致的區(qū)域，中心點(diǎn)的方向角Direction（i，j）與其周圍鄰域內(nèi)像素點(diǎn)的方向角Direction（k，l）接近，所以條紋的連續(xù)區(qū)域的方向一致性是一個(gè)比較大的值。相反，在條紋不連續(xù)區(qū)域中，中心點(diǎn)的方向角Direction（i，j）與其周圍鄰域內(nèi)像素點(diǎn)的方向角Direction（i，j）差距較大，所以不連續(xù)區(qū)域的方向一致性是一個(gè)比較小的值。

設(shè)置適當(dāng)?shù)拈撝祵⒁恢滦詧D轉(zhuǎn)化成二值掩模圖，將一致性大的點(diǎn)設(shè)為1，將一致性小的點(diǎn)設(shè)為0。

式中：TC為預(yù)先設(shè)定的閾值。

式（13）中涉及條紋方向角的計(jì)算，這里選用傅里葉法來計(jì)算條紋方向角，中心點(diǎn)（i，j）的方向角可以表示為

式中：E（ωk，ωl）為窗口的傅里葉功率譜；θk，l=tan-1（k，l）。

2.3 加權(quán)最小二乘相位解包裹

在獲取新的加權(quán)系數(shù)之后，將加權(quán)系數(shù)帶入到加權(quán)最小二乘相位解包裹算法中實(shí)現(xiàn)高精度的相位解包裹。具體步驟為：①利用剪切波變換將單幅FPP條紋圖去背景，并獲得條紋部分Ifringe；②依據(jù)式（15）計(jì)算條紋的方向圖Direction（Ifringe）；③依據(jù)式（13）計(jì)算條紋的方向一致性Coherence（Ifringe）；④依據(jù)式（14）將一致性圖轉(zhuǎn)化為加權(quán)系數(shù)二值掩膜圖Weight（i，j）；⑤將加權(quán)系數(shù)帶入到式（2）中實(shí)現(xiàn)相位解包裹?；诩羟胁ㄗ儞Q和條紋方向二值掩膜的加權(quán)最小二乘相位解包裹方法可以對(duì)物體表面帶有不連續(xù)性的包裹相位圖實(shí)現(xiàn)準(zhǔn)確的相位解包裹。

3 實(shí)驗(yàn)結(jié)果與討論

文中提出基于剪切波變換和條紋方向二值掩膜的加權(quán)系數(shù)計(jì)算方法，利用該加權(quán)系數(shù)與加權(quán)最小二乘相位解包裹方法結(jié)合，可以對(duì)表面帶有不連續(xù)性的包裹相位圖實(shí)現(xiàn)準(zhǔn)確的相位解包裹。將提出的方法應(yīng)用到模擬和實(shí)驗(yàn)獲得的FPP測(cè)量的相位解包裹中，并與非加權(quán)最小二乘法[10]（unweighted least square method，ULSM）、窗傅里葉質(zhì)量導(dǎo)向相位解包裹方法[26]（window fourier quality guide phase unwrapping method，WFQGPUM）、窗傅里葉脊變換質(zhì)量導(dǎo)向相位解包裹方法[27]（window fourier ridge quality guide phase unwrapping method，WFR-QGPUM）、Goldstein枝切法[5]、圖切割法[28]（PUMA）進(jìn)行比較。本文方法處理高度分布變化劇烈的FPP條紋圖如圖2所示。

圖2 本文方法處理高度分布變化劇烈的FPP條紋圖

圖2（a）給出了一幅模擬FPP條紋圖，圖2（a）的生成公式由式（1）給出，其中噪聲為高斯噪聲，方差為0.3，相位值計(jì)算公式為

從圖2（a）中可以明顯看出，物體表面的高度分布變化劇烈。圖2（b）給出利用剪切波變換對(duì)圖2（a）移除背景圖后的條紋部分，圖2（c）給出利用提出的方法從圖2（b）中獲得的加權(quán)系數(shù)圖，圖2（d）表示包裹相位圖。

理論相位和6種方法的解包裹相位圖如圖3所示。圖3（a）—（f）給出了理論三維相位圖和利用6種方法對(duì)圖2（d）解包裹后的三維相位圖。

圖3 理論相位和6種方法的解包裹相位圖

此外，為了定量評(píng)估6種方法的性能，這里利用均方根誤差（root mean square error，RMSE）作為評(píng)價(jià)指標(biāo)來評(píng)估6種方法相位解包裹后的準(zhǔn)確性。表1給出了6種方法的RMSE值，表2給出了圖3中6種方法解包裹所用的計(jì)算時(shí)間。RMSE可以被定義為

表1 6種方法的RMSE

表2 6種方法對(duì)圖2（d）解包裹所用的計(jì)算時(shí)間

式中：φi為解包裹相位值；φi*為理論相位值。

從表1中可以看到，本文方法的RMSE比PUMA方法更小。從表2中顯示的計(jì)算時(shí)間看，PUMA方法的運(yùn)算時(shí)間最長(zhǎng)，計(jì)算效率較低。從圖3中可以看出，非加權(quán)最小二乘法無法有效地識(shí)別出不連續(xù)區(qū)域，導(dǎo)致相位解包裹時(shí)的不準(zhǔn)確。利用窗傅里葉和窗傅里葉脊方法獲得的解包裹相位得到了充分的平滑，有效地抑制了噪聲。Goldstein枝切法和PUMA圖切割法不具有抑制噪聲的能力，利用這2種方法獲得的解包裹相位視覺效果較差。本文提出的基于剪切波變換和條紋二值掩膜的相位解包裹方法，無論從噪聲抑制角度還是視覺效果都取得了令人滿意的結(jié)果。

用實(shí)驗(yàn)獲得FPP條紋圖作為測(cè)試圖像來測(cè)試本文提出的方法，F(xiàn)PP條紋圖測(cè)試本文提出的方法結(jié)果對(duì)比如圖4所示。圖4（a）為實(shí)驗(yàn)獲得的塑料人臉面具FPP條紋圖，圖4（b）為利用剪切波變換獲得的條紋部分，圖4（c）為利用條紋二值掩膜法獲得的加權(quán)系數(shù)，圖4（d）為包裹相位圖。

從圖4（c）中可以明顯看出，利用本文方法得到的權(quán)重圖能夠識(shí)別出物體表面上的不連續(xù)區(qū)域。如人臉面具中的眼睛，嘴唇部分。圖5給出6種方法對(duì)圖4（d）的相位解包裹的結(jié)果，6種方法的計(jì)算時(shí)間如表3所示。

表3 6種方法對(duì)圖5（d）解包裹所用計(jì)算時(shí)間

圖4 實(shí)驗(yàn)獲取的FPP條紋圖和包裹相位圖

圖5 6種方法的解包裹結(jié)果

從圖5可以看出，利用非加權(quán)最小二乘法和Goldstein枝切法獲得的解包裹相位圖視覺效果較差。窗傅里葉和窗傅里葉脊方法在人臉面具的邊緣處的解包裹效果不夠理想。PUMA方法在人臉面具頂部區(qū)域受到了噪聲的干擾。從表3中發(fā)現(xiàn)PUMA方法計(jì)算效率較低，本文方法能夠有效地識(shí)別不連續(xù)區(qū)域避免誤差傳遞。此外，本文方法在保證精度的情況下計(jì)算時(shí)間較少。

4 結(jié)語(yǔ)

本文提出了一種新的加權(quán)最小二乘相位解包裹方法，該方法的主要優(yōu)點(diǎn)是利用剪切波變換和條紋二值掩膜準(zhǔn)確地區(qū)分包裹相位圖中不連續(xù)區(qū)域和連續(xù)區(qū)域。此外，采用模擬圖和實(shí)驗(yàn)圖對(duì)提出的方法進(jìn)行測(cè)試，并與5種常用的相位解包裹方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明：本文提出的方法精度高且計(jì)算速度較快，能夠有效地識(shí)別不連續(xù)區(qū)域，避免相位解包裹時(shí)的誤差傳遞。