基于結構光的強反射表面三維重建方法研究

薛峰 陳龍 張峰峰

摘要：采用結構光進行工件表面三維重建時，經(jīng)常出現(xiàn)因亮度飽和而導致重建缺失和精度低的問題。針對該問題，提出一種相位融合和多頻外差算法相結合的解決方法。首先，從實際的工作環(huán)境和從三維重建的物理模型角度分析了工件表面亮度飽和對三維重建的影響。然后，針對亮度飽和引起的該區(qū)域相位丟失的問題，在結構光相移法的基礎上提出了相位融合的方法來求解高質量相位。進而利用多頻外差法進行絕對相位的求解，提高三維重建的精度。最后，通過搭建基于結構光的工件三維重建實驗平臺對本文提出的方法進行驗證。實驗結果表明：基于本文提出的方法進行工件表面三維重建的平均精度和完整率分別為0.013mm和99.71%。相比于傳統(tǒng)的結構光三維重建方法，本文提出的方法在精度和完整率方面分別提高了79%和22%，具有較好的效果。

關鍵詞：結構光;相位融合;多頻外差;亮度飽和;三維重建

DOI：10.15938/j.jhust.2021.05.003

中圖分類號：TP242 文獻標志碼：A 文章編號：1007-2683（2021）05-0018-07

0 引言

自從上世紀基于結構光三維重建的技術誕生以來，其因為非接觸、速度快和精度高等原因，在工業(yè)、醫(yī)療和軍事等領域便較為廣泛的使用[1-3]。在日常生活中，人們可以利用結構光技術進行雕塑、醫(yī)學器官等物體的三維重建，并且已經(jīng)取得很好的效果。但是就目前而言，采用結構光進行物體表面的三維重建，大多希望物體表面發(fā)生漫反射而不是鏡面反射[4-6]。主要因為當物體表面發(fā)生鏡面反射時，相機采集到的圖像中將可能存在局部亮度飽和的問題，進而導致結構光的相位缺失[7-8]。特別是在工業(yè)領域，部分工件的表面光滑且材料相對易反光，會在實際的重建過程中導致工件表面三維重建缺失，從而間接影響三維重建的精度[9-11]。因此如何克服工件表面的強反射造成的局部區(qū)域亮度飽和而導致的三維重建缺失問題，是目前關于結構光三維重建的重要研究之一。

早在多年前，有研究人員提出利用在工件表面噴射漫反射的材料來進行三維重建的方法[12]。但是該方法也存在一定的問題，例如該方法會導致生產(chǎn)工序增加，并且由于噴涂的厚薄不一樣將直接影響工件自身的三維重建的精度。也有研究者從采集圖像的相機進行研究，UMEY-AMA等[13]曾提出在相機的鏡頭前方增加偏振片，以此來過濾物體表面發(fā)生的鏡面反射光線。該方法會使得大量的光線被剔除，進而導致三維重建的精度下降。劉飛等[14]也曾經(jīng)提出過利用投射格雷碼圖案來尋找工件表面的局部亮度飽和區(qū)域，在確定區(qū)域位置后進行區(qū)域過渡補償來提高重建的質量。由于格雷碼的穩(wěn)定性相對要低一點，在實際的使用過程偶爾會出現(xiàn)誤解碼的問題。除此以外，Chen和Shaffter等[15-16]團隊也提出過自適應條紋光柵投影和雙色反射模型等方法，這些方法取得一定的效果，但也存在著不足。

針對上述問題，本文從實際問題出發(fā)，從亮度飽和對重建缺失的影響以及工件表面物理光學反射模型人手進行研究。進而提出了一種相位融合和多頻外差算法相結合的方法來解決重建缺失和精度低的問題。該方法的優(yōu)點在于可以不需要依賴物體自身的顏色和外在的設備等因素，可以非?？焖佟⒕_和完整的重建工件三維表面。除此以外該方法仍具有較廣的使用范圍，在實驗過程中均取得較好的三維重建的效果。

1 方法和模型

1.1 亮度飽和對工件表面三維重建的影響

在同一個環(huán)境光下，相機從不同角度捕捉零件時，在捕捉的圖片中會顯示不同部位和顯示不同的明暗程度。除此以外金屬物體表面的粗糙度、材質以及形狀等因素也會在結構光三維重建過程中造成物體局部表面出現(xiàn)光線強反射的問題，進而會影響該物體三維重建的完整性。如圖1所示，圖中的工件出現(xiàn)強反射的高亮度區(qū)域，因此在實際的基于結構光的三維重建的效果中，該位置對應的三維點云將存在缺失。

從物理光學角度進行分析，相機采集到的光線主要包括自然環(huán)境光和投影儀投射的光柵條紋。如圖2所示，假設投影儀投射至工件表面0點的光線為Lp，反射的光線的方向為Lb，工件表面O點處的法線用Nf表示。工件表面的反射光線通常包括其漫反射和鏡面反射，其中鏡面反射主要由鏡面反射葉瓣和鏡面尖峰組成。當相機采集的圖片對應的是鏡面反射的時候，此時圖片中對應的位置將會出現(xiàn)高亮度情況。只要當進入相機的光線為漫反射的光線時，此時相機采集的圖像才能較為完整的重建出工件物體本來的面貌。

1.2 基于相移法的相位主值求解

在同一頻率下，基于傳統(tǒng)方法主要利用相移法來計算出投射在工件表面的條紋光柵圖的相位主值。在N步的相移過程中存在條紋光柵的強度的分布滿足：式中：Ii（x，y）為圖像中同一頻率下的不同像素點的光強分布;IA（x，y）為該點對應的條紋光柵的平均光強;IB（x，y）為條紋亮度的調制;δi=2πi/N為相鄰兩步間的相位的差值;φ（x，y）為相位的主值，代表被投射的工件的高度信息。

在實際的過程中需要考慮飽和區(qū)域與周邊區(qū)域的過渡的問題，此時相機所能采集到投射至工件表面而發(fā)生畸變的條紋光柵圖像為式中：Icn為相機采集的圖像的灰度的分布;IB（xc，yc）為相機采集的圖像中該像素點的調制的幅度。

結合式（1），可以求解出此時經(jīng)過相移法獲得的相位主值為

1.3 基于相位融合法的高質量相位求解

正在相機采集的圖像中，存在局部強反射而造成的局部亮度飽和現(xiàn)象。一般通過對該區(qū)域的像素點的對應的最大的光強值是否超過CCD相機最高值255進行判斷，當該值超過255，則認為該區(qū)域為局部亮度飽和區(qū)域。但是該方法與真實的光強的值存在一定的誤差，將會導致后續(xù)的飽和區(qū)域的誤判。

為了避免該問題的發(fā)生，本文拋棄傳統(tǒng)的基于圖像融合的算法，提出基于多重曝光的相位融合方法來求取高精度的相位。該方法主要通過如圖3所示的步驟進行實施，以此來獲取較好的三維重建的先決條件。

在理想的環(huán)境光條件下，不考慮工件表面的強反射問題時，此時相機可以采集并記錄到每個圖像中的像素值對應的正確的光強值。但在實際的情況下，相機記錄的強反射表面的光強值要小于實際的光強的值。因此相機所能記錄的光強值Ic與實際的工件在該區(qū)域的光強值IR之間的差異值為其中相機所能記錄的最大的光強的量化的值Ic=2k-1，k通常表示相機自身的量化的等級大小。

因此將該式與式（3）相位主值求解的方法相結合，可以推導出強反射高亮飽和區(qū)域的相位的誤差值應為其中M表示投射的光柵的圖像的個數(shù)。從式（5）可以看出飽和亮度區(qū)域的相位的誤差與投射條紋光柵的數(shù)量以及相機自身的光強的幅度相關。

假設在同一頻率下遵循二相移光柵圖案具有的對稱和周期性，則相機拍攝的第，和第t幅圖像的光強Isc（xc，yc）和Itc（xc，yc）呈現(xiàn)相反的結果?？梢赃M一步對在該頻率下的相機采集的亮度飽和區(qū)域的像素對應的光強的飽和值進行計算：

一般情況下T=1，表示設定的閾值。根據(jù)上式可以求圖像中的每個像素的飽和點的光強值IE，并根據(jù)計算當IE=M的時候，該區(qū)域為亮度飽和區(qū)域，進而可以計算出圖像中的飽和區(qū)域。

在確定亮度飽和區(qū)域后，需要對亮度飽和區(qū)域進行進一步的還原，使其能夠記錄工件原來的三維信息。此時需要將其分成兩部分進行考慮：

1）當存在于該區(qū)域的某個像素值達到飽和強度值時，此時需要在i次投影中，選擇該像素值對應的最小的飽和度值作為該點對應的飽和度值。該像素點對應的光強飽和度值為

2）當該區(qū)域的某個像素值未能達到飽和時，此時在i次投影中，必然會存在多幅投影圖像中對應的該點符合預定的要求。此時需要將這些圖像中該點光強最大的那幅圖像作為投影光柵條紋：

S=max|Q|其中Q表示該像素點在不同次投影中達到要求的點的集合;S表示利用符合條件的最大的光強替換之前的光強后的該組圖像的序列號。

因此可以獲得經(jīng)過修復后的高質量的相位為

在獲得修復之前由亮度飽和而導致的缺失的相位后，憑借此刻的相位便可以為后續(xù)較高精度的還原工件本來的信息奠定基礎。

1.4 基于多頻外差法的絕對相位值求解

不同頻率的相位主值可以通過外差解相原理疊加在一起，進而求取絕對相位。將圖像范圍內不具有唯一性的相位主值展開成連續(xù)唯一的絕對相位值，根據(jù)疊加原理可得：式中：T12為疊加之后的相位的頻率;λ1和λ2分別為兩種不同的頻率。

假設λ1和λ2頻率對應的相位主值的節(jié)距分別

2 實驗與結果

2.1 基于結構光的工件表面三維重建實驗平臺的搭建

基于結構光的工件表面三維重建實驗平臺如圖4所示，其主要由雙目結構光（包括投影儀和相機）、顯示器、工作站、零件等硬件組成。其主要硬件的重要參數(shù)和作用如表1所示，為了方便研究，本文采用的兩個相機為同一型號相機。

2.2 投影光柵條紋的制作

本文采用四步相移法對三種不同的頻率（f=32，64，128）分別進行生成不同的條紋光柵圖像，展現(xiàn)部分的條紋光柵圖像如圖5所示。在實際的操作過程中每次對工件表面進行掃描時，均需要向其表面投射12幅條紋光柵圖像。本文采用圓形標定板進行標定，該圓形標定板主要有19×15個圓組成，其中圓形距為10mm。圓形標定板中包括5個用于確定世界坐標系的大圓以及用于圓形特征點檢測的280個小圓。調節(jié)標定板的位置，使其能夠清晰、完整的出現(xiàn)在雙目相機的視野范圍內，用雙目相機拍攝標定板。不斷改變標定板的位姿，使其始終出現(xiàn)在雙目相機的視野范圍內，雙目相機同時拍攝20組標定板的圖片。在雙目結構光系統(tǒng)標定完成后，通過投影儀進行投射，并且由相機進行采集后返回到工作站來進行解相重建等操作。

2.3 工件表面強反射三維重建實驗

本文首先以桌扣作為實驗對象，利用結構光對其進行三維重建。在實際的三維重建過程中發(fā)生如圖1所示的因為桌扣局部區(qū)域強反射造成亮度飽和而導致該區(qū)域的三維重建缺失。為了克服該問題，本文采用相位融合的方法來解決局部區(qū)域出現(xiàn)高亮的情況而導致結構光相位缺失。首先對相機的幀率進行設置，本實驗在相機幀率fps=60的情況下進行。其次設定不同的相機的采集曝光時間，為了進行一定的區(qū)分并且獲得更好的實驗效果，本實驗采用的相機曝光的時間分別為5ms，20ms，40ms，100ms。通過每個曝光時間序列的不同，相機采集多組不同的圖像，具體的效果如圖6所示。

此后利用多頻外差算法對拍攝的圖像進行解相，并根據(jù)三角測量原理對桌扣進行三維重建。如圖7所示，從圖中可以看出采用本文提出的方法，桌扣因強反射高光區(qū)域的三維重建缺失已基本重建完整。相比于傳統(tǒng)的結構光方法，本文提出的方法從視覺上已看出具有更好的效果。

為了進一步對傳統(tǒng)方法和本文提出的方法進行量化的比較，本文采用面積占比的方式進行衡量三維重建的完整性。將不同的方法三維重建出的工件的表面積SR與工件實際的表面積SW進行比較，將其定義為完整率：

同時借助Matlab軟件對本文提出的三維重建方法的精度與傳統(tǒng)方法三維重建的精度進行對比分析。如圖8所示，可以更加直觀的看出本文提出的方法具有較好的完整性和較高的精度。最終通過計算可以求得本文提出的方法和傳統(tǒng)方法之間的各項結果對比，結果如表2所示。

為了進一步證明本文提出的方法的適用性，進而選擇表面光滑的金屬片作為實驗對象。同樣按照上述的實驗流程，基于傳統(tǒng)方法和本文提出的方法的最終三維重建的效果如圖9所示。

從圖9中可以看出采用傳統(tǒng)的方法進行金屬片的三維重建結果依然存在高光區(qū)域三維重建缺失的問題，相比于傳統(tǒng)的方法，本文的方法幾乎肉眼無法看見重建缺失。本文的方法將因高光而導致的重建缺失的區(qū)域已經(jīng)重建完整，各項三維重建的數(shù)據(jù)對比如表3所示。

從上述兩組不同的實驗結果可以看出無論在三維重建的精度和完整性上，本文提出的方法都要優(yōu)于傳統(tǒng)的方法。結合表2和3中的數(shù)據(jù)可以清晰看到，相比于傳統(tǒng)的方法，本文提出的方法在工件三維重建的平均精度方面達到了0.013mm，提高了約79%。在三維重建的完整度方面，基于本文提出方法的平均完整率達到99.71%，相比于傳統(tǒng)方法，整體提高了約22%。

2 結論

本文通過桌扣和光滑金屬片這種表面具有強反射效果的物體作為實驗對象，搭建了基于結構光的工件三維重建實驗平臺。通過兩組不同的實驗，來驗證對比本文提出的方法和傳統(tǒng)的結構光方法在面對工件表面出現(xiàn)高光區(qū)域時的三維重建的精度和完整性。

實驗結果表明，采用本文提出的方法進行工件表面三維重建的平均精度和完整率分別為0.013mm和99.71%。相比于傳統(tǒng)的結構光方法，本文提出的方法在精度和完整率方面分別提高了79%和22%。由此可見，本文提出的方法針對解決工件表面出現(xiàn)的局部高光區(qū)域問題時，具有較好的效果。

相比于國外的結構光設備，本文所提出的改進后的結構光的應用具有一定的針對性。其主要針對工廠室內環(huán)境下，生產(chǎn)線上強反光的工件表面進行三維重建。該產(chǎn)品對室內的光源的要求相對較低，并且在室內常溫環(huán)境下應用即可。在這些應用環(huán)境下，本文提出的改進后的結構光的三維重建精度和完整性相比于傳統(tǒng)結構光有重大改善，與國外先進水平仍有一定的差距。但從成本角度考慮出發(fā)，本文提出的改進后的結構光具有極高的性價比，有很強的適用性。

參考文獻：

[1]韓成，楊華，蔣振剛.基于結構光的計算機視覺[M].北京：國防工業(yè)出版社，2015.

[2]LIN H，GAO J，MEI Q，et al.Adaptive Digital Fringe ProjectionTechnique for High Dynamic Range Three-dimensional ShapeMeasurement[J].Optics Express，2016，24（7）：7703.

[3]QI Z，ZHAO W，HUANG J，et al.Highlight Removal Based onthe Regional-projection Fringe Projection Method[J].Optical En-gineering，2018，57（4）：041404甲

[4]XW A，ZZ A，F(xiàn)Z B，et al.Complete Calibration of a StructuredLight Stripe Vision Sensor Through a Single Cylindrical Target-Sci-ence Direct[J].Optics and Lasers in Engineering，131（12）：106096.

[5]王北一.條紋結構光三維測量中多頻相位展開與高亮抑制方法研究[D].哈爾濱：哈爾濱理工大學，2018.

[6]BABA M，OHTANI K.Determining 3D Shapes of Hybrid Surfacesby Laser Rangefinder[J].Proceedings of Spie the InternationalSociety for Optical Engineering，2001，23（12）：234.

[7]張宗華，劉小紅，郭志南，等.基于結構光的鏡面/漫反射復合表面形貌測量[J].紅外與激光工程，2020，49（3）;206.

[8]YANG Z，PENG W，LI X，et al.3D Laser Scanner System UsingHigh Dynamic Range Imaging[J].Optics&Lasers in Engineer-ing，2014，54（3）：31，

[9]SONG Z，JIANG H，LIN H，et al.A High Dynamic Range Struc-tured Light Means for the 3D Measurement of Specular Surface[J].Optics and Lasers in Engineering，2017，95（8）：8.

[10]楊鵬斌，鄧林嘉，陳元，等.基于結構光的高反物體三維形貌測量方法[J].中國激光，2019，46（2）：110.

[11]陶濤，郭紅衛(wèi)，何海濤.鏡面反射面形光學不維測量技術綜述[J].光學儀器，2005（2）：90.

[12]吳翔，陳天飛.一種非接觸式機器人表面涂層厚度檢測系統(tǒng)[J].控制工程，2017，24（6）：1266.

[13]UMEYAMA S，GODIN G.Separation of Diffuse and SpecularComponents of Surface Reflection by Use of Polarization and Sta-tistical Analysis of Images[J].IEEE Transactions on Pattern A-nalysis&Machine Intelligence，2004，26（5）：639.

[14]劉飛，何春橋，申愛民，等.結構光飽和區(qū)域分區(qū)投射優(yōu)化補償方法[J].光學學報，2018，38（6）：168.

[15]CHAO C，GAO N，WANG X，et al.Adaptive Projection IntensityAdjustment for Avoiding Saturation in Three-dimensional ShapeMeasurement[J].Optics Communications，2018，410：694.

[16]TAN P，YANG J，LEI B，et al.Illumination-ConstrainedInpaint-ing for Single Image Highlight Removal[J].Journal of Software，2004，15（1）;36.

（編輯：溫澤宇）

收稿日期：2021-09-03

基金項目：國家重點研發(fā)計劃項目（2018YFB1307700）.

作者簡介：薛峰（1979-），男，副研究員;

陳龍（1995-），男，碩士研究生.

通信作者：張峰峰（1979-），男，副教授，碩士研究生導師，E-mail：zhangfengfeng@suds.edu.cn.