基于深度神經(jīng)網(wǎng)絡(luò)的條紋結(jié)構(gòu)光相位展開方法

肖昆，宋萬忠

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

三維測(cè)量技術(shù)在恢復(fù)物體三維重構(gòu)方面發(fā)展迅速，在機(jī)器視覺、文物保護(hù)、工業(yè)元件檢測(cè)等方面得到了廣泛應(yīng)用。其中相位測(cè)量技術(shù)通過對(duì)被測(cè)物體表面投射編碼光柵，計(jì)算條紋在物體表面上的相位高度變化，進(jìn)一步映射出物體的高度信息，從而完成物體的三維重構(gòu)。實(shí)際中，由于使用反正切函數(shù)得到的相位值在[－π，π）之間，需要將相位主值準(zhǔn)確地展開為連續(xù)分布的真實(shí)值。在截?cái)嘞辔粓D噪聲較小、連續(xù)、無陰影、對(duì)比度較好等理想情況時(shí)，只需要沿相位圖的行與列逐點(diǎn)依次展開，在相位截?cái)嗵幖訙p2π的整數(shù)倍，即可獲得連續(xù)相位值。然而在實(shí)際情況中，由于物體局部形狀變換劇烈、圖像低對(duì)比度、成像陰影或投影陰影、運(yùn)動(dòng)模糊、離焦等因素的存在，對(duì)于依賴路徑展開的單頻截?cái)嘞辔徽归_方法，容易引起相位錯(cuò)誤沿著路徑傳遞，導(dǎo)致展開結(jié)果不理想或失敗。

為了解決以上問題，人們研究了不少相位展開方法，主要有時(shí)間相位展開方法和空間相位展開方法。時(shí)間相位展開方法需要多套條紋，對(duì)設(shè)備的要求也比較高，因此測(cè)量速度比較慢[1]。而空間相位展開方法只需要一套條紋圖，即可進(jìn)行相位展開，速度比較快，然而，由于噪聲、陰影、相位不連續(xù)等不可靠區(qū)域的存在，使得沿相位路徑展開的空間相位展開方法很容易造成誤差傳遞。傳統(tǒng)的空間相位展開方法可分為可靠度引導(dǎo)算法[2]、最小范數(shù)算法[3]等方法?？煽慷纫龑?dǎo)算法主要思想是首先確定相位點(diǎn)的可靠度，并對(duì)相位點(diǎn)的可靠度值進(jìn)行排序，然后相位展開沿著可靠度最高的方向進(jìn)行展開，能夠避開不可靠區(qū)域的點(diǎn)，使得相位展開把誤差降低至最小[4]。然而如果存在不連續(xù)的情況時(shí)，質(zhì)量圖就不能完美的進(jìn)行相位展開[5]。最小范數(shù)算法是指求出展開截?cái)嘞辔籉 的相鄰像素相位差和截?cái)嘞辔籮 的相鄰像素相位差最小LP 范數(shù)意義上的解，其中比較經(jīng)典的是基于快速傅里葉變換（FFT）的最小二乘法（FFT-LS）[6]，主要思路是對(duì)截?cái)嘞辔贿M(jìn)行周期延拓，通過計(jì)算得到真實(shí)的相位值。然而在展開截?cái)嘞辔粫r(shí)，需要進(jìn)行周期延拓，比較占用時(shí)間，同時(shí)要進(jìn)行FFT 變換，需要滿足一定條件，具有局限性[7]。傳統(tǒng)方法在某種程度上確實(shí)降低了誤差，然而在低對(duì)比度、條紋斷裂、圖像離焦和運(yùn)動(dòng)模糊等干擾因素比較復(fù)雜的情況下，傳統(tǒng)的可靠度引導(dǎo)算法、最小范數(shù)算法等在進(jìn)行截?cái)嘞辔徽归_時(shí)，仍然面臨很大的挑戰(zhàn)。

近年來，隨著深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)的融合發(fā)展，尤其是2012 年多倫多大學(xué)的Alex Krizhevsky 等人[8]提出的AlexNet 模型，使得深度卷積神經(jīng)網(wǎng)絡(luò)得到了快速發(fā)展，一些科技上棘手的問題得到了很好地解決，例如在語義分割、語音識(shí)別、人臉識(shí)別等方面。深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）是一種模擬人腦的行為特征，包含許多隱藏層的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)是一種基于數(shù)據(jù)進(jìn)行學(xué)習(xí)的方法，使得計(jì)算機(jī)或機(jī)器通過訓(xùn)練得到多層的深度卷積神經(jīng)網(wǎng)絡(luò)，建立圖像特征與語義之間的對(duì)應(yīng)關(guān)系[9]。

基于以上問題，本文提出了一種采用深度卷積神經(jīng)網(wǎng)絡(luò)的空間相位展開新方法，截?cái)嘞辔粓D的展開被分為不可靠區(qū)域檢測(cè)和可靠區(qū)域展開兩個(gè)子問題，深度卷積神經(jīng)網(wǎng)絡(luò)被用于檢測(cè)截?cái)嘞辔粓D中的低對(duì)比度、條紋斷裂、圖像離焦和運(yùn)動(dòng)模糊等不可靠區(qū)域，可靠區(qū)域的相位展開用傳統(tǒng)算法完成。為訓(xùn)練能處理高分辨率截?cái)嘞辔粓D的神經(jīng)網(wǎng)絡(luò)，本文提出了位移采樣方法。本文通過采用真實(shí)牙模三維掃描數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并與使用傳統(tǒng)空間相位展開算法對(duì)相位進(jìn)行展開的對(duì)比實(shí)驗(yàn)，得到了有效真實(shí)的結(jié)果，驗(yàn)證了本算法的有效性。

1 本文方法

1.1 DCNN網(wǎng)絡(luò)模型

深度卷積神經(jīng)網(wǎng)絡(luò)是一種比較復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)模型，主要是通過增加網(wǎng)絡(luò)的深度，以達(dá)到擁有更加強(qiáng)大的特征學(xué)習(xí)能力和特征表達(dá)能力。然而隨著深度的增加，神經(jīng)網(wǎng)絡(luò)會(huì)變得很復(fù)雜，系統(tǒng)參數(shù)也會(huì)越來越多，進(jìn)而使得數(shù)據(jù)訓(xùn)練變得相當(dāng)困難，最終導(dǎo)致梯度彌散問題[10]。本文的網(wǎng)絡(luò)結(jié)構(gòu)使用深度殘差網(wǎng)絡(luò)（ResNet）來解決這一問題，通過在卷積層加入越層的快捷鏈接方法有效的解決梯度彌散問題[11]。

殘差塊結(jié)構(gòu)圖如圖1 所示，其中殘差塊的輸入為x，原始映射函數(shù)（即期望輸出函數(shù)）為H（x），定義殘差函數(shù)為F（x）=H（x）-x，由圖1 可以得出，殘差塊通過快捷鏈接的方式，直接將輸入x作為輸出結(jié)果與F（x）相加得到H（x），即H（x）=F（x）+x，如果F（x）=0，則H（x）=x，即為圖中的恒等映射。所以對(duì)于殘差網(wǎng)絡(luò)，當(dāng)下層網(wǎng)絡(luò)中存在誤差時(shí)，只要網(wǎng)絡(luò)訓(xùn)練能夠使得殘差函數(shù)F（x）逼近為0，也就是通過快捷鏈接轉(zhuǎn)變?yōu)楹愕扔成?，使得輸入x近似于輸出H（x），就能夠降低由于網(wǎng)絡(luò)層數(shù)太多帶來的梯度彌散問題。

圖1 殘差塊結(jié)構(gòu)

本文采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行截?cái)嘞辔粓D的不可靠區(qū)域檢測(cè)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。網(wǎng)絡(luò)模型來自于Fastai[12]的U-Net[13]實(shí)現(xiàn)，U-Net 是一個(gè)對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)，先經(jīng)過左邊為Encoder 的網(wǎng)絡(luò)結(jié)構(gòu)，使得模型能夠?qū)Σ豢煽繀^(qū)域進(jìn)行學(xué)習(xí)、識(shí)別等，但是卻丟失了位置信息，本文Encoder 部分采用的是ResNet18 網(wǎng)絡(luò)結(jié)構(gòu)，參數(shù)如表1 所示，然后再經(jīng)過Decoder 部分，使得模型結(jié)合Encoder 加深對(duì)圖像不可靠區(qū)域的理解，并且重新得到了位置信息，實(shí)現(xiàn)了對(duì)圖像的語義分割，最終將截?cái)嘞辔粓D中不可靠區(qū)域檢測(cè)出來。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)示意

表1 不同深度ResNet 的網(wǎng)絡(luò)結(jié)構(gòu)

本文深度卷積神經(jīng)網(wǎng)絡(luò)中使用的損失函數(shù)為交叉熵函數(shù)，公式（1）中H（p，q）表示交叉熵，其中p（x）為真實(shí)概率分布，q（x）為預(yù)測(cè)概率分布。H（p，q）值越小表示網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果越好，所以使用交叉熵?fù)p失函數(shù)來進(jìn)行損失計(jì)算。

數(shù)據(jù)輸入統(tǒng)一固定大小為256×256，第一層為卷積層，使用64 個(gè)大小為7×7 的卷積核，填充padding=3，步長(zhǎng)stride=2，對(duì)輸入圖像進(jìn)行卷積運(yùn)算。下一步是對(duì)卷積運(yùn)算后的結(jié)果進(jìn)行批規(guī)范化，作用是為提高學(xué)習(xí)速率，防止速率衰減。再經(jīng)過Max 池化層，卷積核為3×3，填充padding=1，步長(zhǎng)stride=2，進(jìn)行下采樣降維，最終經(jīng)過網(wǎng)絡(luò)后輸出相位圖中不可靠區(qū)域檢測(cè)圖像。

1.2 訓(xùn)練數(shù)據(jù)集準(zhǔn)備

本文采用定制開發(fā)的手持式條紋結(jié)構(gòu)光三維成像設(shè)備對(duì)13 個(gè)石膏半口牙齒模型進(jìn)行掃描，得到了7402組數(shù)據(jù)。每組數(shù)據(jù)包括平均灰度圖、截?cái)嘞辔粓D、深度圖，數(shù)據(jù)點(diǎn)數(shù)均為1024×1024。該設(shè)備投影多組條紋，用時(shí)間相位展開方法得到連續(xù)相位分布；再結(jié)合事先標(biāo)定的相機(jī)參數(shù)計(jì)算出每幀深度圖和點(diǎn)云，通過實(shí)時(shí)地對(duì)每幀點(diǎn)云進(jìn)行拼接和融合后，實(shí)現(xiàn)對(duì)物體表面的連續(xù)掃描。針對(duì)實(shí)際應(yīng)用中，條紋結(jié)構(gòu)光圖像普遍存在的低對(duì)比度、圖像離焦、運(yùn)動(dòng)模糊、條紋不連續(xù)和背景物體等因素在深度圖中產(chǎn)生的無效數(shù)據(jù)點(diǎn)，該設(shè)備用一系列算法檢測(cè)并剔除這些無效點(diǎn)，實(shí)現(xiàn)了連續(xù)掃描深度圖的拼接。如圖3 所示為其中一組數(shù)據(jù)圖，（a）為平均灰度圖，（b）為（a）對(duì)應(yīng)的截?cái)嘞辔粓D，（c）為對(duì)應(yīng)的深度圖，其中黑色部分為無效點(diǎn)，深度范圍為[133.57mm，145.0mm]之間。該設(shè)備輸出的深度圖中，已經(jīng)剔除了不可靠點(diǎn)，并且能滿足連續(xù)的深度圖拼接和點(diǎn)云融合需要的深度圖。該深度圖的無效數(shù)據(jù)點(diǎn)可以直接作為訓(xùn)練輸入圖像的目標(biāo)圖像，避免了耗時(shí)的手工圖像標(biāo)注。

圖3 牙模三維掃描數(shù)據(jù)組

由于高分辨率圖像具有更多的細(xì)節(jié)信息，有助于進(jìn)行截?cái)嘞辔粓D不可靠區(qū)域的檢測(cè)，因此，本文將采用高分辨率真牙摸圖像作為訓(xùn)練數(shù)據(jù)對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

1.3 高分辨率數(shù)據(jù)集的訓(xùn)練方法

本文使用的數(shù)據(jù)集真實(shí)牙模圖像分辨率為1024×1024 像素，然而由于現(xiàn)有技術(shù)（包括硬件和軟件）的限制，高分辨率圖像在訓(xùn)練網(wǎng)絡(luò)時(shí)，無法有效地進(jìn)行訓(xùn)練。為解決這一問題，本文提出了位移采樣方法，流程如圖4 所示。

圖4 位移采樣流程圖

方法如下：

（1）高分辨率圖像多尺度位移下采樣。首先預(yù)設(shè)圖像分辨率，本文預(yù)設(shè)大小為256×256，采樣間距計(jì)算方法為高分辨率圖像與預(yù)設(shè)圖像的分辨率大小相除，即1024/256=4，此處采樣間距為4。根據(jù)采樣間距可以得到行采樣起始點(diǎn)和列采樣起始點(diǎn)，然后根據(jù)行和列的采樣起始點(diǎn)計(jì)算采樣起始點(diǎn)為16 個(gè)，然后對(duì)高分辨圖像進(jìn)行16 次位移下采樣，得到16 個(gè)待處理的低分辨率圖像。

（2）低分辨率圖像訓(xùn)練。預(yù)先設(shè)置每個(gè)低分辨率圖像的標(biāo)識(shí)信息，標(biāo)識(shí)與起始點(diǎn)息息相關(guān)，同時(shí)得到每個(gè)像素點(diǎn)的坐標(biāo)信息。將低分辨率圖像輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到低分辨率圖像的不可靠區(qū)域檢測(cè)圖像。

（3）低分辨率不可靠區(qū)域檢測(cè)圖像位移上采樣。通過對(duì)16 個(gè)低分辨率不可靠區(qū)域檢測(cè)圖像的采樣起始點(diǎn)進(jìn)行排序疊加的辦法，得到高分辨率區(qū)域分割圖，對(duì)高分辨率圖像和高分辨率區(qū)域分割圖進(jìn)行計(jì)算可得到高分辨的不可靠區(qū)域檢測(cè)圖像。

通過位移采樣方法能夠使得深度卷積神經(jīng)網(wǎng)絡(luò)有效地處理高分辨率圖像。

2 實(shí)驗(yàn)與分析

本文使用Fastai 在配置為Intel Core i7-9700 CPU、32G 內(nèi)存、NVIDIA TITAN RTX 的計(jì)算機(jī)上對(duì)DCNN 進(jìn)行訓(xùn)練和測(cè)試。batch size 為64，訓(xùn)練時(shí)間約為4 小時(shí)；測(cè)試時(shí)，一幅1024×1024 的截?cái)嘞辔粓D的處理時(shí)間約為80ms。

本實(shí)驗(yàn)13 個(gè)牙模掃描數(shù)據(jù)中，分別隨機(jī)選出1 個(gè)牙模掃描數(shù)據(jù)作為測(cè)試數(shù)據(jù)集，2 個(gè)牙模掃描數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)集，10 個(gè)牙模掃描數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。

為驗(yàn)證本文方法的有效性與可行性，設(shè)計(jì)了一種對(duì)真實(shí)牙模三維掃描截?cái)嘞辔粓D進(jìn)行不可靠區(qū)域檢測(cè)，并與使用傳統(tǒng)方法對(duì)原始截?cái)嘞辔粓D、去除不可靠區(qū)域的原始截?cái)嘞辔粓D進(jìn)行相位展開的實(shí)驗(yàn)，并將兩者的實(shí)驗(yàn)展開結(jié)果進(jìn)行對(duì)比分析。

首先在進(jìn)行實(shí)驗(yàn)之前，本文對(duì)比了每一幅牙模的平均灰度圖與其截?cái)嘞辔粓D，圖5 表示了含有陰影、低對(duì)比度、運(yùn)動(dòng)模糊、離焦等四種不可靠區(qū)域去除后的情況，其中（a）表示平均灰度圖、（b）表示與（a）一一對(duì)應(yīng)的原始截?cái)嘞辔粓D，（c）為用DCNN 訓(xùn)練后輸出的二值圖模板，其中不可靠區(qū)域的無效點(diǎn)統(tǒng)一設(shè)置為0，可靠區(qū)域的點(diǎn)設(shè)置為1。在實(shí)際情況中，這些干擾因素往往是無法避免，本文的重點(diǎn)將是檢測(cè)并去掉截?cái)嘞辔粓D中這些不可靠區(qū)域，然后對(duì)截?cái)嘞辔粓D中剩下的可靠區(qū)域進(jìn)行相位展開。

圖5 去除截?cái)嘞辔粓D中不可靠區(qū)域的結(jié)果

檢測(cè)結(jié)果如圖5（d）所示，是參照二值圖模板（c）將（b）中一一對(duì)應(yīng)的原始截?cái)嘞辔粓D中的陰影、低對(duì)比度、運(yùn)動(dòng)模糊、離焦等不可靠區(qū)域檢測(cè)去除后的結(jié)果。

本文使Herrae 算法[14]對(duì)截?cái)嘞辔粓D進(jìn)行相位展開，輸入數(shù)據(jù)分別為754 幅原始截?cái)嘞辔粓D像與754幅原始截?cái)嘞辔粓D去除不可靠區(qū)域后的圖像，圖像大小都為1024×1024。通過實(shí)驗(yàn)運(yùn)算，圖6（a）顯示原始截?cái)嘞辔粓D在分別存在陰影、低對(duì)比度、運(yùn)動(dòng)模糊、離焦等四種情況下的相位展開結(jié)果，圖6（b）為（a）中去掉不可靠區(qū)域后的截?cái)嘞辔粓D展開結(jié)果。

圖6 截?cái)嘞辔粓D展開結(jié)果對(duì)比

本文采用空間相位展開方法展開得到相位圖是相對(duì)相位，為更清晰地展示去除不可靠區(qū)域前后的差異，實(shí)驗(yàn)中將圖6（a）和圖6（b）中的相位圖以同一像素坐標(biāo)點(diǎn)為基準(zhǔn)進(jìn)行對(duì)齊后再進(jìn)行相位展開，選出其中一列數(shù)據(jù)顯示結(jié)果如圖7 所示。對(duì)某列數(shù)據(jù)，除物體表面的高度跳變外，曲線應(yīng)為連續(xù)平滑曲線，否則表明展開錯(cuò)誤；這種錯(cuò)誤在圖6 中表現(xiàn)為圖像灰度值出現(xiàn)跳變。圖6 和圖7 表明，原始截?cái)嘞辔粓D在遇到存在陰影、低對(duì)比度、運(yùn)動(dòng)模糊、離焦等不可靠區(qū)域時(shí)，無法有效地避開，導(dǎo)致展開錯(cuò)誤沿著路徑傳播的情況，會(huì)出現(xiàn)展開效率不理想甚至失敗的結(jié)果，而本文所用的方法可以有效地檢測(cè)出不可靠區(qū)域，然后去除掉，對(duì)截?cái)嘞辔粓D中的可靠區(qū)域進(jìn)行相位展開，效果往往比較理想。

圖7 去除不可靠區(qū)域前后展開結(jié)果對(duì)比圖

3 結(jié)語

本文提出的基于深度神經(jīng)網(wǎng)絡(luò)的條紋結(jié)構(gòu)光相位展開方法通過檢測(cè)截?cái)嘞辔粓D中不可靠區(qū)域再進(jìn)行相位展開，能夠有效地避免錯(cuò)誤沿路徑傳播的情況。然而，還有一些問題需要解決，例如本文訓(xùn)練需要大量數(shù)據(jù)，網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，參數(shù)也比較多，下一步是減少網(wǎng)絡(luò)參數(shù)，采用弱監(jiān)督與先驗(yàn)知識(shí)結(jié)合的方法來減少訓(xùn)練數(shù)據(jù)量。