基于投影強度的快速高動態(tài)范圍三維形狀測量

周國平，朱文韜，易傳華，曾龍輝，黃舒欣，祝振敏

（1. 江西省水投建設集團有限公司，江西 南昌 330029；2. 華東交通大學 電氣與自動化工程學院，江西 南昌 330013）

引言

光學測量是一種表面非接觸式三維形狀測量技術[1]，光學測量技術具有非接觸、速度快、精度高等優(yōu)點，已被廣泛應用于工件檢測、游戲模型、文物數(shù)字化、水庫大壩形變或連接縫檢測等場合中。光學方法包括定時飛行法、立體視覺法、陰影估計法、激光距離掃描法和結構光法[2-6]。其中，結構光法是應用最廣泛的三維形狀測量技術之一。結構光測量系統(tǒng)通常由投影儀和攝像機組成。投影儀將編碼好的圖形序列投影到被測物體表面，與此同時，使用相機捕捉被物體表面調制后的圖案，這些圖案攜帶有價值的物體深度信息，可通過相移算法檢索?？梢岳玫玫降慕^對相位圖，通過對系統(tǒng)進行標定，計算出物體表面的三維坐標。

由于HDR 物體的反射率范圍較大，會導致所拍攝的圖像出現(xiàn)過亮或過暗的問題。為了克服這個問題，Zhang 提出了一種HDR 掃描的技術[7]。此技術通過拍攝多組不同曝光時間的條紋圖像，從低曝光圖像中提取高反射率區(qū)域，從高曝光圖像中提取低反射率區(qū)域。最后基于像素最大不飽和原理對圖像進行融合，從而得到高信噪比的圖像。此方法能夠很好地測量HDR 物體。但是，由于并未對曝光時間進行量化，導致在測量復雜的HDR 物體時，必須利用相機捕捉大量不同曝光時間的圖像。因此，該方法存在圖像數(shù)據(jù)耗時和冗余的缺點。為了克服這些缺點，Jiang 等人提出了一種通過同時調整曝光時間和投影光強來捕獲原始條紋圖像的技術[8]。從原始圖像中選擇像素點合成復合條紋圖像時，考慮的是最高調制強度而不是最亮的非飽和強度；因此，獲得了較高的信噪比（signal to noise ratio, SNR）和環(huán)境光效應最小化。

調整投影儀的光強是解決HDR 問題的另一種方法。Waddington 和Kofman 提出了一種用修改后的最大灰度值來投影條紋圖案的技術[9]，以此來適應可變的環(huán)境照明，從而解決圖像飽和。由于該方法只調整了條紋圖的最大灰度值，因此在測量反射率較低的表面區(qū)域時，可能會降低條紋圖像的信噪比。Zhang 等人提出了基于黑白單色條紋用于三維重構，通過使用自適應強度模版對所投影的圖案的亮度進行動態(tài)調節(jié)，以消除圖像高光的影響[10]。但是其中的問題是相機到投影儀的單應性矩陣難以被準確求解。倘若求解出的單應性矩陣不精確，就會導致坐標映射出現(xiàn)誤差，從而會在后續(xù)三維測量中產(chǎn)生誤差。

此外，還有使用偏振濾光片[11-13]、彩色信息[14-15]以實現(xiàn)對HDR 物體進行測量。然而，它們都需要額外的硬件來提高系統(tǒng)的性能，這可能會增加成本或復雜的計算。

本文則提出了一種基于投影強度的快速的測量方法，該方法通過求解相機和投影儀之間的響應函數(shù)，并結合所提出的一種簡便的最佳投影亮度的確定方法以及圖像融合算法，能夠得到高信噪比的融合圖片，再基于該融合圖片實現(xiàn)對被測物體的三維重構，能夠有效提高其三維重構的精度。此外，該方法無需盲目投射和拍攝大量圖片或計算復雜的單應性矩陣，使得測量速度有極大的提升。

1 基本原理

1.1 相機與投影儀的響應關系

如若要建立相機與投影儀的強度響應函數(shù)，前提是探究結構光系統(tǒng)中射進相機的光線的組成。一般情況下把進入系統(tǒng)的相機鏡頭的光分3 類：1)由投影儀投射出的光經(jīng)被測物體表面反射進入相機鏡頭；2)直接射進相機鏡頭的環(huán)境光；3)環(huán)境光射至被測物體表面而被反射入相機鏡頭。圖1即顯示了系統(tǒng)中的上述3 類光線。其中Ip是由投影儀發(fā)出的投影光強度，Ia為射至被測物體表面的環(huán)境光強，Ib為直接射進相機鏡頭的環(huán)境光強，ρ表示被測物體表面的反射率。

圖1 進入相機的光線組成Fig. 1 Composition diagram of light to enter camera

所以可以推導出相機拍攝的圖片的強度公式為

式中：I(x,y)為結構光系統(tǒng)中相機所拍攝的圖片灰度；ρ(x,y)是被測物的表面反射率；t與k分別代表了相機曝光時間及增益。假設測量時外界環(huán)境是黑暗的，僅有投影儀發(fā)出的光，此時可以認為Ia與Ib為零。所以為了簡化該相機-投影儀的響應關系，測量時需保證為黑暗環(huán)境。此外在測量過程中對相機參數(shù)和其位置不做改變，而只改變系統(tǒng)中投影儀所射出的投影亮度時，這意味著參數(shù)ρ(x,y)、t和k均不發(fā)生改變。因此上述3 個參數(shù)的積則應該是一個確定的常數(shù)，可以將之定義為

由于k1(x,y)為一個確定常數(shù)，而測量環(huán)境為黑暗時參數(shù)Ia及Ib均為零。所以公式（1）可以寫為

假設結構光系統(tǒng)中的投影儀投射出一個已知的光照強度到被測物體上，另一邊由相機拍攝此強度下被測物體的圖片，就能夠快速計算出參數(shù)k1(x,y)的值：

式中：Ip1是投影儀投射出的已知強度的光；Ic1(x,y)表示在Ip1下拍攝的圖片強度。并且為了保證標定的參數(shù)k1(x,y)的準確性，投影儀所投射出的光強度應該在一個較低的灰度水平，確保相機拍攝的圖片不過曝，即Ic1(x,y) 中不出現(xiàn)灰度值為255 的像素點。此時能夠推導出參數(shù)k1(x,y)為

結合上述公式，可得最終的相機-投影儀響應關系的關系式為

式中：Ipideal表示最佳投影亮度；Iideal(x,y)則表示了所期望的相機拍攝的圖片灰度。由公式（6）可知，能夠基于確定所期望的圖片灰度Iideal(x,y)求解出最佳投影亮度。

1.2 確定投影亮度策略

就理論而言，Iideal(x,y)的期望值是254，這代表相機所拍攝的圖片的像素點灰度值最大且不過曝。然而由于相機響應函數(shù)本身存在非線性因素，并且測量中還存在噪聲所帶來的影響，這便意味著要給Iideal(x,y)預留一些值，從而避免該非線性及噪聲的影響。通過大量的實驗表明，Iideal(x,y)的值為250 時測量效果最佳。所以將Iideal(x,y)為250 代入公式（6）：

由于一張圖片上擁有許許多多的像素點，因此基于參數(shù)k1(x,y)所計算出的最佳投影亮度亦數(shù)量驚人。倘若要使得融合圖片的每個像素灰度值均達到最大不飽和狀態(tài)，就需要很多投影亮度進行補償，這無疑會大幅降低測量速度。所以為保證測量效率，本文提出了一種簡便的最佳投影亮度確定策略。正常情況下使用幾個投影亮度即可較好地補償被測物體。這是由于被測物體表面反射率ρ(x,y)接近時，只用一個投影亮度即可。而對于HDR 物體ρ(x,y)較大時，則能夠把ρ(x,y)劃分成若干個小區(qū)間，再根據(jù)區(qū)間進行取值，從而獲得所需的投影亮度。而根據(jù)公式（2）可知，參數(shù)k1(x,y)與ρ(x,y)是呈正比的，所以可以對參數(shù)k1(x,y)進行區(qū)間劃分，以此獲取最佳投影亮度?；诖嗽恚渡湟粋€較低且已知強度的均勻光至被測物體表面，確保所拍攝的圖片像素點不過于飽和，此時根據(jù)已知的投影強度與拍攝的圖片可以迅速求解出參數(shù)k1(x,y)。進而得到參數(shù)k1(x,y) 的像素分布直方圖，隨后根據(jù)該像素分布直方圖進行曲線擬合，得到關于參數(shù)k1(x,y)的像素分布曲線。圖2 顯示的是一幅關于參數(shù)k1(x,y)像素分布曲線的圖例，圖中的橫坐標代表的是參數(shù)k1(x,y)的值；縱坐標則表示像素點的數(shù)量。由此像素曲線分布圖能夠把參數(shù)k1(x,y)分割成幾個小范圍的簇，而對每個簇實現(xiàn)劃分則是基于k1(x,y)明顯的一個尖峰與兩邊的峰谷。劃分后的一個簇內(nèi)的參數(shù)k1(x,y)的值是接近的，在理論上只需要一個投影亮度即可。但是為了兼顧盡可能多的像素點，本方法在一個簇內(nèi)選取3 個k1(x,y)。具體選取策略于圖2 的第一個簇內(nèi)進行了標注。其中對參數(shù)k1(x,y)的第一個取值是取簇內(nèi)左側的峰谷，這樣能夠補償反射率較小的像素點。第二個則取此簇內(nèi)尖峰處的k1(x,y)值，取這個值能夠補償簇內(nèi)最多的像素點。第三個值取本簇內(nèi)右側的峰谷，該值是本簇內(nèi)參數(shù)k1(x,y)的最大值，可以確保這部分簇內(nèi)的圖像不會出現(xiàn)過飽和像素點。因此假設對k1(x,y)像素分布曲線上的簇由左到右分別從1-i進行標記，總共i個簇。這樣一共可以獲得3i個投影亮度。隨后基于所獲得的投影亮度拍攝被測物體的圖片。

圖2 像素分布曲線圖Fig. 2 Curves of pixel distribution

1.3 圖像融合算法

得到數(shù)個最佳投影強度下的原始圖片后，需要保留圖片上各個像素點的最佳灰度值，因此能夠通過建立一個掩摸圖片Mi(x,y)來實現(xiàn)，其公式如下所示：

由公式（8）得出Mi(x,y) 后，把Ii(x,y) 和Mi(x,y)相乘后求和，這樣可以保留Ii(x,y)中的最佳像素灰度值融合到一張圖片中去，其公式如下所示:

式中：Iopt(x,y) 是在最佳投影強度下的融合圖片。此時融合圖片的像素點灰度值大多是最大不飽和的。因此這樣得到的融合圖片的信噪比較高，從而能夠提高三維重構的精度。

2 實驗與結果分析

為了驗證本文所提出的方法的有效性，搭建了如圖3 所示結構光測量系統(tǒng)。測量系統(tǒng)采用了LCD 投影儀。相機則是FLIR 公司制造的型號為BFS-U3-23S3M-M 的灰度相機(配HC1605 鏡頭)，其分辨率為1 920 pixel×1 200 pixel。本方法的實驗步驟如下：

圖3 測量系統(tǒng)Fig. 3 Physical picture of measurement system

1） 投影一張灰度值已知的均勻白光至被測物體表面且由相機進行拍攝，需保證所拍攝的圖片上無飽和像素；

2） 快速求解出相機與投影儀的響應系數(shù)，得到響應系數(shù)的分布曲線，并基于所提出的最佳投影亮度確定策略得到所需的投影亮度；

3） 將確定的投影亮度分別投影至被測物體，同時用相機拍攝各個亮度下的圖片，再根據(jù)圖像融合算法對所拍攝的圖片進行融合；

4） 基于所得的融合圖片實現(xiàn)對被測物體的三維點云重構。

2.1 基于最佳投影亮度的圖片融合

為驗證本方法的有效性，實驗對象選擇了黑白棋盤格，因為其表面動態(tài)范圍較大。圖4(a)和圖4(b)顯示了相機所拍攝的黑白棋盤格在投影亮度分別為100 和255 時的圖片。

圖4 不同投影亮度的圖像。Fig. 4 Images with different projection brightness

由圖4 可知，由于該黑白棋盤格的動態(tài)范圍較大，導致僅在單一亮度下所拍攝的圖片容易過亮或過暗，因此如果在這樣單個亮度下直接對被測物體進行三維測量很容易出現(xiàn)誤差。所以在測量此類HDR 表面物體時，很有必要使用多個亮度對被測物體進行補償。

圖5 顯示了在投影亮度為140 時黑白棋盤格的圖片。

圖5 投影亮度為140 的圖像Fig. 5 Image with projection brightness of 140

因為在投影亮度為140 時圖片上像素灰度值均不過飽和，所以本實驗使用該圖片作為輸入，即可求解相機-投影儀的響應關系。所得響應關系曲線如圖6 所示。由圖6 可知，參數(shù)k1(x,y)按最佳投影亮度確定策略進行取值可得：0.11、0.33、0.75、1.30、1.73、1.83。其中k1(x,y) 的值小于1 時，意味著被測物的此部分表面反射率過低，在這種情況下，只通過改變投影亮度，無法使相機拍攝的圖片達到最大不飽和狀態(tài)。所以在k1(x,y)小于1 時最佳投影亮度可設置為250。因此根據(jù)參數(shù)k1(x,y)的值可以計算出所需要的投影亮度為：135、145、192、250。

圖6 相機與投影儀的響應分布曲線Fig. 6 Response distribution curves of camera and projector

由上述方法得到的4 個投影亮度的原始條紋圖像如圖7（a）、7（b）、7（c）和7（d）所示，基于這4 個投影亮度下的條紋圖像進行圖像融合，得到最佳的融合圖像。融合后的圖像及其像素分布直方圖如圖8（a）、圖8（b）所示，由圖8（b）可以直觀看出在融合后的圖像中，大部分像素的灰度并不飽和，且都保持著高像素水平。

圖7 4 幅不同投影亮度的圖像Fig. 7 Four images with different projection brightness

圖8 融合圖像及其像素分布直方圖Fig. 8 Fused image and histogram of pixel distribution

對融合圖像及單張投影亮度下的圖像進行信噪比計算，結果如表1 所示。表1 顯示了融合圖片與其他幾張單個亮度下的圖片的信噪比。根據(jù)其信噪比大小可知，融合圖片在避免像素點飽和情況下保持了較高的信噪比，有效提升了圖片質量。

表1 多組圖像對的信噪比Table 1 Signal-to-noise ratio of multiple image pairs

2.2 圖像質量分析

圖9 融合圖像及各個投影強度下的圖像的頻率分布Fig. 9 Frequency distribution diagram of fused image and images under various projection intensities

條紋邊緣提取時將更加精準，從而有助于提高三維測量精度。

2.3 被測物體三維重構

本實驗中采用的結構光編碼方式是格雷碼的編碼方式，被測物體是黑白棋盤格。根據(jù)提出的原理對被測物體進行三維重構，重構結果如圖10所示。該圖顯示了被測物體的三維重構結果圖。根據(jù)該重構結果可知，被測物體的三維點云完整。這證明了本文所提出的方法即可有效消除被測物體高反射率表面過亮的影響，亦可以有效補償被測物體表面的低反射率區(qū)域，提升了對HDR物體三維點云重構的精度。

圖10 三維重構結果Fig. 10 Diagram of 3D reconstruction results

3 結論

本文提出了一種基于調整投影圖案亮度的快速測量方法，該方法通過求解相機與投影儀之間的響應關系，結合所提出的一個簡便的投影亮度確定方法，再基于所提出的圖像融合算法，可以獲得高質量的融合圖片，從而實現(xiàn)對HDR 物體的高精度三維重構。與傳統(tǒng)的基于改變投影亮度的方法相比，該方法僅需要投影一張均勻白光至被測物體上，并由相機拍攝一張圖片，即可快速求解出相機和投影儀之間的響應函數(shù)，從而能夠定量分析求得所需要的投影亮度，而無需盲目投射和拍攝大量圖片或計算復雜的單應性矩陣，使得測量速度有極大的提升。