逐像素調(diào)制的高反光表面三維測量方法

馮 維，徐仕楠，王恒輝，熊 芝，王選擇，翟中生

（1.湖北工業(yè)大學(xué) 機械工程學(xué)院,武漢 430068；2.現(xiàn)代制造質(zhì)量工程湖北省重點實驗室,武漢 430068）

1 引言

當前機械零部件制造的生產(chǎn)效率得到了很大的提升，但隨之而來的是大量的機械零部件需要被檢測。傳統(tǒng)的二維測量設(shè)備已不能滿足日趨智能化、微型化、復(fù)雜化的生產(chǎn)需求，光學(xué)三維測量設(shè)備應(yīng)運而生。條紋投影三維測量輪廓術(shù)因具有操作簡單、適應(yīng)性強、精度高和非接觸測量等優(yōu)點，已在機電產(chǎn)品質(zhì)量檢測、醫(yī)療診斷和模具設(shè)計等領(lǐng)域得到廣泛的應(yīng)用[1-6]。但工業(yè)零部件的表面通常具有高反光的特性，易造成相機采集的圖像出現(xiàn)過飽和現(xiàn)象，導(dǎo)致檢測失效[7]。因此，研究具有高亮、類鏡面、含局部鏡面反射的混合表面等反射率較高的高反光表面的三維面形測量技術(shù)具有重要的科學(xué)探索意義和實際應(yīng)用價值。

為實現(xiàn)高反光物體的三維面形測量，國內(nèi)外學(xué)者對多種方法進行深入研究，主要包括多重曝光法[8-9]、硬件附加法[10-11]和自適應(yīng)條紋投影法[12-17]。其中，多重曝光法常用于高反光物體的視覺成像，但它需要對同一場景采集多幅不同亮度的圖像，但被測物體運動或者相機抖動都會導(dǎo)致圖像融合時出現(xiàn)重疊的偽影，因此該方法難以應(yīng)用于復(fù)雜多變的工業(yè)現(xiàn)場。硬件附加法則是通過改變偏振濾光片透射軸之間的角度來有效的去除高光，但難以消除大多數(shù)金屬表面存在的鏡面反射分量，對高亮的物體表面去高光效果不佳。自適應(yīng)條紋投影法也是去高光的常用手段，它是基于自適應(yīng)調(diào)整條紋投影強度和反投影的思想上提出的。對于條紋投影測量系統(tǒng)，在建立相機和投影儀的映射關(guān)系后，通過改變投影圖像灰度可以使相機獲取最佳的投影條紋圖案[18]。Zhang 等提出一種只需采集具有單次曝光時間的條紋圖像以自適應(yīng)確定全局最佳灰度值，但它需要在固定場景下預(yù)先校準相機對不同反射率物體的響應(yīng)函數(shù)，場景較為單一且準備工作耗時較長[19]。Riviere 等基于偏振濾光片技術(shù)極大地降低了投影儀的輸出光強度和相機的入射光強，但該方法對于暗場景區(qū)域很難測量[20]。Wei 等通過一種基于不同強度條紋圖案融合的技術(shù)，根據(jù)最大信噪比將不飽和數(shù)據(jù)進行組合，從而使全局不出現(xiàn)過飽和情況，精度較高，但這種方法仍需要采集大量圖像，且不適用于過亮表面[21]。Chen 等通過被測物體表面的反射特性，運用多項式擬合出每個過飽和區(qū)域的最優(yōu)投射光強值，但當該過飽和區(qū)域中飽和像素對應(yīng)的表面區(qū)域反射率變化較大時，函數(shù)擬合并不準確[22]。

前述方法中，或者操作過程耗時，或者投影強度計算結(jié)果不精確，只適用于特殊場景。針對已有方法的局限性，本文建立一種基于被測表面反射率變化的強度響應(yīng)關(guān)系，提出基于逐像素調(diào)制的自適應(yīng)條紋生成方法，生成并用于高反光表面的三維測量。采用在低光照強度下進行坐標匹配數(shù)據(jù)，本方法能夠根據(jù)被測表面的反射率變化逐像素地求取最佳的投影灰度值，生成投影儀坐標系下自適應(yīng)條紋投影圖。實驗表明，本文方法擬合速度快，匹配精度高，能夠逐像素高精度地調(diào)制高反光表面的過飽和區(qū)域的投影光柵強度，且適用于大多數(shù)金屬物體表面，有效提高具有高反射表面特性物體的三維重建精度和適用范圍。

2 基本原理

2.1 自適應(yīng)條紋投影技術(shù)

本文提出的自適應(yīng)條紋投影的三維測量方法的總體流程如圖1 所示。首先，通過采集投射至被測表面的最大投影強度為Imax灰度圖來判別過飽和像素點。投影橫、縱雙向條紋進行坐標匹配，并建立相機-投影儀強度關(guān)系式以求解像素點的最佳投影灰度值。同時，對相機和測量系統(tǒng)分別進行標定。最后，將生成的自適應(yīng)條紋投影至被測表面，通過多頻外差相移法解算相位以獲取高精度的深度信息，并結(jié)合已建立的絕對相位與深度信息之間的關(guān)系，即可實現(xiàn)對高反光表面的三維重建。

圖1 自適應(yīng)條紋三維測量方法流程圖Fig.1 Flow chart of adaptive fringe 3D measurement method

2.2 相機與投影儀間的坐標匹配

在基于條紋投影的三維重建系統(tǒng)中，相機-投影儀的匹配關(guān)系如圖2 所示。其中(OW;XW,YW,ZW)為 世界 坐標系，(OC;XC,YC,ZC)和 (UC,VC)為相機坐標系及其像平面坐標系，(OP;XP,YP,ZP)和(UP,VP)分別表示投影儀坐標系及其像平面坐標系。在世界坐標系上，任意一點Pw(xw,yw,zw)對應(yīng)投影儀像平面坐標系上一點Pp(up,vp) 和相機像平面坐標系上一點Pc(uc,vc)。由于Pp和Pc兩點具有相同的相位值，通過垂直和水平的相移條紋序列可建立Pp和Pc兩點的匹配關(guān)系，即可確定相機和投影儀的對應(yīng)關(guān)系。

圖2 測量系統(tǒng)的坐標系示意圖Fig.2 Schematic diagram of coordinate of measurement system

當投影儀向物體表面投射N幅正弦條紋序列時，投射的正弦條紋圖案輸入強度可表示為：

其中，(up,vp) 為投影儀像平面上的任一點坐標，Imax為最大投影強度。通過相機采集的變形條紋Ii(uc,vc)可計算出包裹相位的主值φ(uc,vc)：

其中，(uc,vc)為相機坐標系任一點的像素點坐標，Ii(uc,vc)表示第i次獲得的條紋圖，φ(uc,vc)為[0,2π]的同余相位值模。相應(yīng)的絕對相位可通過多頻外差相移法從包裹的相位中解算。

相機坐標系下，任一點Pc(uc,vc)的絕對相位可沿著垂直和水平方向分別進行線性插值計算，分別記為φv(uc,vc) 和φh(uc,vc)，則其對應(yīng)的投影儀像平面坐標系上的像素點坐標(up,vp) 可表示為：

其中，V和H是投影條紋圖寬度和高度，T是條紋的最大周期整數(shù)。

2.3 最佳投影條紋序列的計算

利用條紋投影系統(tǒng)進行高反光物體的三維重建時，若直接向物體表面投射高亮度條紋圖，則在高反射率區(qū)域會出現(xiàn)過飽和現(xiàn)象，容易致使該過飽和區(qū)域的相位丟失；若投射低亮度的條紋圖案至物體表面，則在低反射區(qū)域會降低信噪比。因此，只有使該投影條紋圖都不會出現(xiàn)過飽和現(xiàn)象，且又能很好地保持低反射區(qū)域的調(diào)制度，才是最佳的投影灰度值。

對于一個具有未知表面反射率的任意物體，在環(huán)境光和復(fù)雜表面結(jié)構(gòu)的影響下，很難自適應(yīng)確定投影條紋圖的最佳強度。因此，本文首先估計物體的表面反射率、環(huán)境光和表面結(jié)構(gòu)相互作用產(chǎn)生的反射光。為解決此問題，需要確定從相機到投影儀的坐標映射和相機響應(yīng)函數(shù)。在這里，“自適應(yīng)”是指根據(jù)物體表面反射率的變化、環(huán)境光和表面結(jié)構(gòu)之間的影響，預(yù)測投射至不同反射率和環(huán)境光表面上的投影條紋圖案的最佳強度。

2.3.1 條紋投影圖案中最佳投影灰度值的計算

為確定相機捕獲強度與投影儀輸出強度之間的關(guān)系，有必要了解相機像素點采集到的光強組成。對于相機采集光強，被測表面可以對投射光產(chǎn)生各種影響，包括漫反射、鏡面反射、透射光和被測表面的吸收等。對于相機像素點接收的光強可以分為：相應(yīng)點反射光、其他點的反射光、環(huán)境光等，于是相機像素點采集光強Ic可表述為：

其中，k為相機敏感系數(shù)，t為相機曝光時間，r為像素點表面反射率，Ip為投影儀投射光強，Ie為反射的環(huán)境光,Ij為反射其它表面的反射光，Ia為直接入射的環(huán)境光，In為噪聲系數(shù)。被測表面的反射光的組成如圖3（彩圖見期刊電子版）所示。

圖3 被測表面反射光的組成Fig.3 Composition of reflected light from the measured surface

對于被測表面的物點不僅被使用的光源、環(huán)境光照亮，還會被場景中其他光點照亮。而對于其他點的反射光Ij可分為第二反射光和高階分量光。

其中，M、N表示投影儀的分辨率，h(uc,vc;up,vp) 為從投影儀到相機的光傳輸系數(shù)，是一個二維矩陣，表示整個投影儀像素平面除相機-投影儀匹配點外，其他點對該相機像素點的光強影響。將公式(7)代入公式(5)可得：

其中，Ip_all表示從數(shù)字相機采集投影儀光強的入射光總量。

s為采集光強與投射光強系數(shù)。設(shè)相機采集投影儀入射光的像素內(nèi)表面反射率為r1，環(huán)境光和表面互反射影響系數(shù)為r2，則相機響應(yīng)函數(shù)可以表示為：

由此可見，在環(huán)境光和相機敏感系數(shù)、曝光時間不變的情況下，相機捕獲光強依賴于投影儀光強和環(huán)境光強，將這些不變量與r1、r2結(jié)合可設(shè)為:

則可建立如下二元一次方程組：

進一步求解得：

對于投影灰度值Ip的求取，可以通過相機逆響應(yīng)函數(shù)得到。由公式(10)和(11)，可以得到

一般情況下，當相機采集到的像素點強度值等于且不超過相機所能采集的最大光強時，即為投影儀的最佳投影灰度值Iopt，表達式為：

2.3.2 自適應(yīng)條紋圖的生成

本文提出的求取最佳投影灰度值獲取的具體方法步驟如下：

Step 1：過飽和像素點的判別。采集投射的灰度圖Imax(uc,vc)，若其灰度值大于閾值Tb時，則像素視為飽和，并設(shè)該飽和像素點為第m(m=1,···,M)個飽和像素點，其中M為過飽和點的總數(shù)，Tb與設(shè)備自身產(chǎn)生的噪聲和環(huán)境光有關(guān)。在公式(16) 中，Mc(uc,vc) 是二進制矩陣，當像素點視為飽和時，該二進制矩陣等于1。

Step 2：過飽和點區(qū)域的數(shù)據(jù)獲取與坐標匹配。在低灰度模式下進行相機-投影儀坐標匹配，投射一組最大灰度值為η×Imax的橫縱正弦條紋序列Ii(up,vp)，η為調(diào)制系數(shù)，目的是使相機采集的圖像序列Ii(uc,vc)全局不產(chǎn)生過飽和現(xiàn)象。由式(3)、式(4)進行坐標匹配計算。

Step 3：最佳投影強度值的計算。設(shè)飽和像素點投影灰度值為xi,m=Ii,m(up,vp)，相機采集到的灰度值為f(xi,m)=Ii,m(uc,vc)，則可根據(jù)公式(13)建立求取系數(shù)值和為：

Step 4：最佳投影條紋序列的獲取。根據(jù)式(3)、式(4)中的像素對應(yīng)關(guān)系可知，相機與投影儀中的坐標點一一對應(yīng)，但由于兩者的分辨率不同，坐標映射時會出現(xiàn)多對一的情況。因此，根據(jù)相機與投影儀分辨率的比例對應(yīng)關(guān)系，本文將相機坐標系中的點Pc(uc,vc) 與對應(yīng)投影儀坐標系下的點Pp(up,vp) 及其周圍4 鄰域的坐標范圍相對應(yīng)，即調(diào)整Pp點的灰度值意味著點Pp及其周圍4 鄰域區(qū)域的灰度值均有調(diào)整，如圖4 所示。建立相機-投影儀坐標系的對應(yīng)關(guān)系后，再將計算得到的投影儀坐標系下點Pp的最佳投影灰度值與標準正弦條紋相結(jié)合，即可得到最佳的投影條紋序列。

圖4 4 鄰域匹配法Fig.4 Matching method based on 4 neighborhoods

3 實驗分析

3.1 硬件搭建與相位展開

自主搭建了一套自適應(yīng)條紋投影的三維重建系統(tǒng)，實驗平臺如圖5 所示。該系統(tǒng)主要由數(shù)字相機、數(shù)字投影儀、校正板、支撐件、服務(wù)器和被檢測零件構(gòu)成。數(shù)字投影儀型號為DLP4500，可實現(xiàn)RGB 三通道圖案的高速投影，有效分辨率為1 140 pixel×912 pixel。數(shù)字相機型號為Grasshopper GS3-U3-32S4M，最大分辨率為2 048 pixel×1 536 pixel，其最大幀頻可達到121 frame/s。

圖5 三維測量系統(tǒng)實驗平臺Fig.5 Experimental platform of 3D measurement system

實驗過程中選取具有局部反射率較大的機械零部件為實驗對象。

首先，對相機-投影儀測量系統(tǒng)進行校正。固定相機和投影儀位置，使相機與投影儀成一定銳角。根據(jù)張正友標定法，多次移動標定板的位置和方向，對相機的內(nèi)外參數(shù)進行標定，建立絕對相位信息和物體高度的關(guān)系[23]。

結(jié)合實驗室環(huán)境光的影響，向被測物體表面投射一幅最大投影強度Imax=255 的灰度圖，相機采集的實際場景如圖6(a)所示，可見圖像中有部分區(qū)域存在過飽和現(xiàn)象，獲取圖像中飽和像素點的位置。將相機光圈調(diào)至合適大小，以盡量減小環(huán)境光照對實驗的影響，且相機曝光時間設(shè)置為1/fp的整數(shù)倍，其中fp為投影儀的刷新幀率。因考慮到實驗過程中設(shè)備產(chǎn)生噪聲和環(huán)境光照的影響，設(shè)置飽和閾值Tb=250。根據(jù)公式(16)，即可計算出閾值分割后的圖像，如圖6(b)所示。

圖6 閾值分割效果圖Fig.6 Threshold segmentation graph

結(jié)合Step 1 中的物體表面過飽和信息，預(yù)估計并調(diào)整使實驗中的η=0.5，使物體表面不產(chǎn)生過飽和現(xiàn)象，在調(diào)制模式下實現(xiàn)過飽和區(qū)域的相機-投影儀坐標匹配。向被測表面投射一組最大灰度值為120，最佳條紋個數(shù)分別為70、64、59 的橫縱條紋圖，利用多頻外差四步相移法進行相位解算，其對應(yīng)的相位主值分別為Ф1、Ф2、Ф3。再通過外差法計算疊加相位Ф12、Ф23，最后將Ф12、Ф23的相位疊加到全場范圍內(nèi)只有一個周期的相位Ф123，實現(xiàn)流程圖如圖7所示。

圖7 相位展開流程圖Fig.7 Flow chart of phase unwrapping

根據(jù)式(3)、式(4)和Step 5 可求解相機坐標系下的過飽和點的最佳投影值，再結(jié)合最大投影灰度為Imax的標準正弦條紋，可得到投影儀坐標系下的最佳投影條紋，如圖8(a)所示，整個自適應(yīng)條紋圖的生成過程僅需要一幅最大灰度值的灰度圖和一組24 幅低灰度下的橫縱條紋圖。隨后，采集投影至物體表面的實際條紋，如圖8(b)所示。最后，通過多頻外差四步相移法求解實際采集條紋的絕對相位，并結(jié)合相位與高度的關(guān)系，即可重建出物體的三維面形。

圖8 自適應(yīng)投影條紋圖Fig.8 Adaptive projection fringe image

3.2 對比實驗及適用性分析

針對本文方法的適用范圍，分別對具有類鏡面、高亮、混合表面以及其他無規(guī)則散射等反射率較高的物體表面和具有一定曲率的高反光物體進行三維重建分析，運用傳統(tǒng)的光柵投影三維測量方法[24]與本文所提的方法對類鏡面的鼠標表面、具有高反光特性的金屬工件叉板、圓柱曲面和精密加工的拋光磨具進行三維重建，實驗結(jié)果對比如圖9（彩圖見期刊電子版）所示。從圖9（a）紅色矩形區(qū)域可看出，經(jīng)傳統(tǒng)光柵投影三維測量方法得到的被測表面的三維點云及其擬合模型中均存在明顯的局部點云缺失現(xiàn)象。圖9（b）是運用本文方法獲得的被測表面三維點云及其擬合模型，可見三維模型中點云無明顯缺失。實驗中，多組不同類型的被測對象充分證明了本文方法的有效性和適應(yīng)性。由此可知，采用本文提出的方法對含有局部鏡面反射區(qū)域的高反光被測物體表面的三維面形可被完整重構(gòu)，且適用于大多數(shù)具有一定曲率特性的物體表面。

圖9 （a）傳統(tǒng)方法及（b）本文方法三維重建結(jié)果Fig.9 3D reconstruction results obtained by (a) traditional method and (b) the proposed method

4 誤差分析

為評估本文方法的性能，對同一基準平行平面的物體進行三維測量，并對物體的點云數(shù)據(jù)進行計算，以客觀評價測量方法的精度誤差。經(jīng)實際測量物體高度值為20.00 mm，分別運用傳統(tǒng)方法[24]和文獻[21]、[22]中Wei、Chen 的測量方法與本文方法，對該平行板工件的原始點云數(shù)據(jù)進行質(zhì)量分析，重建效果如圖10（彩圖見期刊電子版）所示。

圖10 不同方法的三維重建結(jié)果Fig.10 Experimental results of 3D reconstruction with different methods

對于上述同一測量對象，不同測量方法的誤差檢測結(jié)果見表1。對采集圖像的過飽和像素點數(shù)進行了統(tǒng)計，以補償過飽和區(qū)域的有效補償率和點云坐標的均方根誤差作為評價標準，其中均方根誤差的值越小表示測量結(jié)果的精度越高，其表達式為：

表1 本文方法與現(xiàn)有方法的誤差檢測結(jié)果Tab.1 Comparison of error detection results between the proposed method and existing methods

其中，n為重建物體像素點總數(shù)，Pcap,i為重建的第i個像素點云坐標，Pmodel,i為三維模型的第i個點云坐標。

依據(jù)最小二乘法擬合平面并計算兩平面點的距離均值、平均誤差與標準偏差，以定量評價所提方法的有效性，結(jié)果見表2。規(guī)定超過物體高度值為正向偏差，小于物體高度值為反向偏差。

表2 本文方法與現(xiàn)有方法的誤差對比分析Tab.2 Error analysis comparison between the proposed method and existing methods (mm)

由表1 和表2 定量分析可知，本文所提方法對過飽和像素點的補償率可達到99%以上，且其均方根誤差、間距平均誤差和標準偏差均小于其他方法所得的測量值，其中，平均誤差與Wei、Chen 方法對比分別減小47% 和38%，標準偏差減小52%和44.4%。與傳統(tǒng)方法相比，平均誤差減少61.9%，正向誤差減少61%，反向誤差減少63.6%，標準偏差減少67.7%。因此，相比于其他方法重建出的三維物體，本文所提方法對高反光物體的三維重建精度顯著提高。

5 結(jié)論

針對高反光表面的三維測量難題，本文提出了一種可根據(jù)被測物體表面反射率逐像素調(diào)制的自適應(yīng)條紋投影方法，有效解決因被測表面的過度曝光、相位獲取不完整而導(dǎo)致三維重建過程中點云信息缺失的問題。實驗結(jié)果表明，本文方法可以有效重建出高反光表面的三維面形結(jié)構(gòu)，獲取完整的點云信息。本文所提方法不需要大量采集不同灰度值的投影灰度圖像序列，且不用對硬件設(shè)備進行改動，方法及原理新穎，操作簡便，且精度較高。實際測量誤差約為0.08 mm，均小于文中其他方法所得的測量值，相對傳統(tǒng)方法平均誤差減少61.9%，標準偏差減少67.7%。但本文方法在實際測量過程中會受到噪聲的影響，后期將深入研究去噪算法以減少外界環(huán)境的影響。