編碼光系統(tǒng)的顏色耦合與顏色失衡校正

吳海濱，唐莎猷，程 浩，王 會，于曉洋

（哈爾濱理工大學(xué)測控技術(shù)與儀器黑龍江省高校重點實驗室，黑龍江哈爾濱150080）

編碼光系統(tǒng)的顏色耦合與顏色失衡校正

吳海濱*，唐莎猷，程 浩，王 會，于曉洋

（哈爾濱理工大學(xué)測控技術(shù)與儀器黑龍江省高校重點實驗室，黑龍江哈爾濱150080）

為了減小編碼光系統(tǒng)中的顏色耦合與顏色失衡的干擾，提高形狀與顏色重建的準(zhǔn)確度，建立了彩色編碼光系統(tǒng)，并對其所采用的編解碼方法、顏色重建的兩個相關(guān)環(huán)節(jié)及顏色校正方法進行了研究。首先，給出了系統(tǒng)的彩色梯形相移強度比編解碼法，分析了編解碼過程中存在的RGB基色相互耦合現(xiàn)象，設(shè)計了應(yīng)用Caspi模型硬件標(biāo)定的顏色耦合校正方案；然后，給出了系統(tǒng)的逐點顏色重建法，分析了顏色重建過程中由表面曲率導(dǎo)致的顏色失衡現(xiàn)象，設(shè)計了利用表面幾何信息校正顏色失衡的方案。實驗結(jié)果表明：校正后單一綠色圖像中的紅色分量值約為校正前的1/10；單色表面色差約為0.1，趨近于人眼顏色分辨率，遠(yuǎn)低于校正前的0.4；重建的單色復(fù)雜被測表面顏色均勻、視覺效果良好，符合實際情況。提出的方法符合編碼光系統(tǒng)抗干擾能力強的要求，有助于提高形狀與顏色重建的準(zhǔn)確度。

編碼結(jié)構(gòu)光；彩色編碼；顏色重建；顏色校正

1 引 言

視覺測量領(lǐng)域的編碼結(jié)構(gòu)光法以其準(zhǔn)確度和效率的綜合優(yōu)勢成為非接觸三維測量的主要方法之一。近年來，國內(nèi)外研究機構(gòu)廣泛開展了視覺測量技術(shù)的研究，并注重于該項技術(shù)的實用化［1-3］。目前，集成化程度高、速度快、準(zhǔn)確度較高的視覺測量設(shè)備已經(jīng)問世，并應(yīng)用于醫(yī)學(xué)、玩具、服裝等逆向工程領(lǐng)域。編解碼方法是決定系統(tǒng)測量準(zhǔn)確度的主要因素之一。目前，編碼方法主要包括［4-6］二值編碼、N值編碼、相位法、強度比法，以及結(jié)合法等。多種方法中，相位法結(jié)合強度比法具有抗被測物表面特性（幾何特性、顏色特性等）影響能力強的優(yōu)點。其投射的圖案多為灰度圖案，優(yōu)點是抗干擾能力強，不足是處理速度慢。因此，彩色編碼由于信息量大成為提高測量速度的更佳選擇。彩色編碼多采用相互干擾最小的R、G、B三基色構(gòu)建編碼圖案［7-8］，或進一步增加兩種基色的復(fù)合色構(gòu)建編碼圖案，顏色編碼編碼信息相對多，因而提高了測量效率，但顏色信息相對于灰度信息易受表面特性干擾產(chǎn)生顏色誤差，帶來解碼錯誤從而導(dǎo)致測量誤差。研究者在提出彩色編碼方法的同時，設(shè)計了降低顏色對測量影響的方案，主要有兩類［9-11］。一類為通過調(diào)整編碼顏色之間的時空關(guān)系，降低顏色之間的相互耦合作用；代表性的有Monks提出的以黑條紋分隔偽隨機序列彩色圖案，增加顏色之間的距離從而降低耦合程度；孫軍華提出的窗口顏色排列法，利用4種相鄰顏色綜合解碼，相對單一顏色解碼，降低了受干擾程度；Asla M.利用編碼顏色對自身歸一化，具有一定去耦合效果。另一類為通過域變換突出顏色信息；代表性的有Oleksandr A.利用傅里葉濾波濾除編碼顏色之間的耦合；M.Wegiel在HSI空間處理編碼圖像取代RGB空間，以突出顏色信息，采用類似方法的還有天津大學(xué)曹茂永等人。這兩類方法都利用編碼圖像自身進行顏色耦合校正，具有不增加編碼圖像的優(yōu)點，但輔助信息較少，效果有待進一步提高。對此本文設(shè)計了應(yīng)用Caspi模型硬件標(biāo)定的顏色耦合校正方案。

僅通過三維點云數(shù)據(jù)重建被測表面的形狀，不能真實、全面地展示其顏色、紋理，因此，需要將形狀數(shù)據(jù)和顏色數(shù)據(jù)結(jié)合重建被測表面。目前，顏色信息獲取技術(shù)通常可分為掃描法和圖像法。普遍采用的方法是在白光條件下拍攝景物的彩色圖像，從中提取顏色信息并完成顏色重建。如IBM技術(shù)中心、斯坦福大學(xué)、天津大學(xué)等研究機構(gòu)都對顏色信息的獲取及校正進行了研究［12-13］。兩類方法均能較好地重建表面顏色，但未考慮被測物表面三維幾何特征影響顏色信息的情況，由此產(chǎn)生的顏色失衡會導(dǎo)致顏色重建誤差（失真）。

針對編碼光系統(tǒng)中的顏色耦合與顏色失衡問題，本文分別給出了校正方案并進行了實驗驗證。

2 系統(tǒng)組成及其數(shù)學(xué)模型

圖1 系統(tǒng)組成Fig.1 System composition

系統(tǒng)主要包括被測景物、投影機、攝像機和用來圖像處理的計算機，如圖1所示。投影機向被測景物投射彩色編碼圖案，攝像機將被投射了彩色編碼圖案的被測物體拍下送回計算機進行圖像處理。被測物體表面的空間坐標(biāo)值根據(jù)系統(tǒng)數(shù)學(xué)模型和圖像信息求得。

編碼結(jié)構(gòu)光系統(tǒng)數(shù)學(xué)模型可以分為解析幾何模型和射影幾何模型兩類，本文采用易于標(biāo)定的射影幾何模型并加以簡化?？臻g點P的世界坐標(biāo)（Xw，Yw，Zw）與攝像機圖像坐標(biāo)（uc，vc）存在式（1）的轉(zhuǎn)換關(guān)系。

式中：（nc，mc）為攝像機圖像點坐標(biāo)，Nc和Mc表示攝像機像面尺度，和表示攝像機視場角，Rc、Tc為攝像機位姿矩陣。式中忽略了攝像機主光軸與DMD面不垂直導(dǎo)致的誤差項tanα·，主光軸與CCD像面間交點不在CCD像面中心。同理，投影機的數(shù)學(xué)模型如式（2）所示。

式中，負(fù)號含義同攝像機模型參數(shù)。投影機的編碼圖案較主光軸高，即為離軸投射，故式（2）中主點坐標(biāo)（，）中不為零，甚至超出DMD芯片。

攝像機和投影機對應(yīng)采樣點的關(guān)系體現(xiàn)為np，它需要根據(jù)編碼圖像進行解碼得到，是mc、nc、Np的函數(shù)，可表示為式（3）形式，它取決于具體的編解碼方法。

式中，ΦV（nc，mc）為數(shù)碼相機圖像采樣點的編碼值。

聯(lián)立式（1）、（2）、（3），就可求解出空間點P的世界坐標(biāo)（Xw，Yw，Zw）。

3 顏色相關(guān)環(huán)節(jié)

編碼光系統(tǒng)中，顏色校正技術(shù)主要用于顏色編解碼和顏色重建兩個環(huán)節(jié)。

3.1 顏色編解碼

基于線性變化灰度級的編碼，即所謂的強度比方法。強度比法具有處理速度快的優(yōu)點，但測量噪聲大。傳統(tǒng)正弦相移法具有較高的垂直分辨率，測量準(zhǔn)確度高，但由于計算反正切函數(shù)得到相位而比較耗時，為此出現(xiàn)了梯形相移法。利用RGB基色，強度比法結(jié)合梯形相移，兼具二者測量速度快和分辨率高的優(yōu)點，拉伸了解得的絕對碼值的取值范圍，提高了抗噪能力。此外，由于避免了反正切運算，降低了求解復(fù)雜程度，提高了實時測量能力。

圖2（a）所示為3幅彩色編碼圖案中的1幅，3幅圖案依次移相2π/3周期，編碼利用RGB三基色完成，每個基色的灰度曲線見圖2（b）。

圖像中任意采樣點（x，y）的區(qū)域強度比和全局強度比分別如式（4）和式（5）所示，進而強度比可轉(zhuǎn)換為式（3）中的np，如式（6）所示。

圖2 彩色梯形相移Fig.2 Color trapezoidal phase-shifting

3.2 顏色重建

如圖3所示，被測表面上一點P的空間坐標(biāo)為（x，y，z），其對應(yīng)的攝像機像面位置量化為1個攝像機像素（u，v），將該像素的顏色值（R，G，B）賦給點P即可重建被測表面顏色。

圖3 顏色重建Fig.3 Color reconstruction

顏色重建需要1幅彩色圖像，彩色圖像的拍攝角度與形狀重建的編碼圖像的拍攝角度需完全相同。顏色重建的基礎(chǔ)是形狀重建，即首先根據(jù)測量得到的空間點坐標(biāo)重建三維形體，然后為其表面賦色。為了便于逐點賦色以實現(xiàn)顏色重建，本文采用點云數(shù)據(jù)格式。圖中數(shù)據(jù)均為測量所得。重建表面上的每個采樣點都能找到其在彩色圖像中的對應(yīng)像素，該像素的顏色保存為（R，G，B）格式，顏色重建時將（R，G，B）值賦予重建表面上的采樣點，即可實現(xiàn)顏色重建。

4 顏色校正方法

圖4 顏色耦合Fig.4 Color coupling

4.1 顏色耦合校正

光譜重疊導(dǎo)致顏色耦合，因而在編碼圖像中三基色互相包含，使梯形相移產(chǎn)生形變，導(dǎo)致解碼誤差。這在投影機和攝像機等設(shè)備中常見，耦合程度受其光譜濾波器性能與質(zhì)量的影響。

圖4是產(chǎn)生顏色耦合的兩個圖像中某行像素的顏色分量。圖4（a）為單一綠色圖像、圖4（b）為綠色條紋圖像。在僅投射全綠圖案時，攝像機圖像中仍包含紅藍(lán)成分，即顏色耦合。由于紅藍(lán)成分與耦合情況相同，圖中僅表示了紅色耦合情況。顏色耦合將會導(dǎo)致很大的測量誤差，因此在解碼之前，需要對彩色圖像進行校正。

為了校正顏色耦合，本文設(shè)計了顏色標(biāo)定方案。即通過耦合后的彩色圖像得到耦合前的彩色圖像（未耦合的標(biāo)準(zhǔn)圖像）。本文根據(jù)Caspi光照模型［14］進行基于硬件設(shè)備的顏色標(biāo)定，如式（7）所示。

式中：O為投射圖案，A為耦合系數(shù)（矩陣形式），R為體表反射參數(shù)（矩陣形式），N為非線性變換矩陣，S為校正后圖像，S0為待校正圖像。

標(biāo)定時，紅、綠、藍(lán)、白、黑為標(biāo)定標(biāo)準(zhǔn)色，投射到被測景物，拍攝相應(yīng)圖像，利用圖像信息根據(jù)式（7）求取各項參數(shù)，然后利用得到的參數(shù)構(gòu)建校正矩陣，修正彩色編碼圖像。

4.2 顏色失衡校正

顏色失衡是顏色分量的強度變化范圍不一致。這給根據(jù)彩色圖像恢復(fù)物體表面真實顏色帶來了誤差。導(dǎo)致顏色失衡的主要原因是由于表面幾何特征導(dǎo)致的被測表面入射和反射光強的變化。

如圖5所示，一個彩色圓柱體由上至下分為7種顏色，由于測量過程中投影機的入射光強和攝像機的反射光強變化，右圖重建的圓錐體右側(cè)的顏色鮮艷，而左側(cè)較為暗淡。在觀察時，即使旋轉(zhuǎn)重建的模型，鮮艷和暗淡區(qū)域仍然不變，這即造成了顏色重建誤差。

圖5 顏色失衡Fig.5 Color unbalance

被測表面入射、反射光強的主要是受到入射距離（投影機光心到被測表面的距離）、入射角（投影機主光軸與被測表面的夾角）、反射角（進入攝像機的散射光線與被測表面的夾角）的影響。根據(jù)三維測量數(shù)據(jù)，本文將表面劃分為多個微小平面，即空間重建點附近的切面，以切面表征被測表面局部幾何特性，針對切面作入射光強分析和反射光強分析，進而計算出空間重建點的顏色校正系數(shù)。

在入射角確定的前提下，總投射面積與入射距離的平方成正比，因此入射光強與入射距離的平方成反比。切面1和切面2的入射距離分別為L1和L2，入射角分別為θ1和θ2，兩種不同幾何特性切面的入射光強比A如式（8）。

式中：Ir1、Ir2表示兩個切面的反射光強，它們符合朗伯（Lambert）方程。

綜合入射和反射光強，中心采樣點的顏色校正系數(shù)由入射光強校正系數(shù)和反射光強校正系數(shù)相乘得出，如式（9）。

式中：γ1、γ2表示兩個切面的反射角度。校正過程如下：任選一個中心采樣點切面作為基準(zhǔn)，設(shè)其顏色校正系數(shù)為1。再利用式（9）計算其它中心采樣點切面的顏色校正系數(shù)Ci。用各中心采樣點的顏色校正系數(shù)Ci分別乘以相應(yīng)的顏色信息（R，G，B）值即可得校正的顏色信息（Ci·R，Ci·G，Ci·B），最后利用線性拉伸法將顏色信息拉伸至［0，1］之間即可得真實的顏色信息。

5 顏色校正實驗

利用第4節(jié)方法分別進行兩類顏色校正實驗。圖6（a）為采用圖1系統(tǒng)獲取的彩色圖像，對其局部進行顏色校正實驗，（b）、（c）是基于硬件顏色標(biāo)定的顏色耦合校正數(shù)據(jù)，其實驗數(shù)據(jù)來源于圖（4）。由圖（b）、（c）可知，校正后的顏色耦合誤差為未校正前的1/10，證明了本文方法的有效性。

圖6 顏色耦合校正Fig.6 Color coupling calibration

表1 校正前后采樣點的顏色Tab.1 Sam p le colors before and after corrections

針對單一紅色表面進行了基于光強分析的顏色失衡校正實驗，結(jié)果見表1。表中R1和R2分別表示校正前后同一像素的R分量。校正前，R的最大差值可達(dá)0.4以上，其顏色差異以人眼即可識別，校正后，R的最大差值＜0.1，趨近于人眼對顏色分量R、G、B的分辨率。對于復(fù)雜表面，圖7中箭頭所指為被測復(fù)雜表面的顏色失真點。由圖可知，未經(jīng)顏色校正圖中藍(lán)色箭頭所指的點的顏色有誤，而非立體效果導(dǎo)致。旋轉(zhuǎn)觀察視角即可看出，這些點的顏色始終不變，即顏色失真點。校正后，重建表面顏色均勻，視覺效果良好，符合實際情況。需要說明的是，若被測表面為單色表面，則校正后的重建表面顏色均一，對比未校正前減少了立體感。但這只是錯覺，在適當(dāng)?shù)墓庹窄h(huán)境下，校正后的表面即能產(chǎn)生立體感且表面局部的顏色隨其與光源的位置關(guān)系而改變；然而，未校正表面的局部顏色與光源位置關(guān)系與實際情況不符。

圖7 顏色失衡校正Fig.7 Calibration of color unbalance

6 結(jié) 論

本文根據(jù)編碼光系統(tǒng)形狀重建與顏色重建準(zhǔn)確度高、抗干擾能力強的要求，給出了彩色編碼光系統(tǒng)的結(jié)構(gòu)和工作原理，分析了系統(tǒng)中編解碼方法、顏色重建兩個顏色相關(guān)環(huán)節(jié)產(chǎn)生顏色耦合、顏色失衡現(xiàn)象的原因，設(shè)計了針對這兩種顏色誤差的校正方案。實驗結(jié)果證明：校正后單一綠色圖像中的紅色分量值約為校正前的1/10；單色表面色差＜0.1，遠(yuǎn)低于校正前的0.4；重建的單色復(fù)雜被測表面顏色均勻、視覺效果良好，符合實際情況，提高了形狀與顏色重建的準(zhǔn)確度和抗干擾能力。

參考文獻(xiàn)：

［1］ PAGES J，SALVI J，GARCIA R.Overview of coded light projection techniques for automatic 3D profiling［C］//IEEE International Conference on Robotics and Automation，Sept14-19，2003，Taipei，China，2003，1：133-138.

［2］ ZHANG S.3D surface data acquisition［D］.New York at Stony Brook：Stony Brook University，2003.

［3］ BENVENISTE RIFAT，UNSALAN CEM.A binary coded structured light system to scan shiny surfaces［C］//2010 IEEE 18th Signal Processing and Communications Applications Conference，Apr 22-24，2010，Diyarbakir，Turkey，2010：292-295.

［4］ 單鸝娜，曹沈楠，于曉洋，等.結(jié)構(gòu)光時間編碼技術(shù)進展［J］.哈爾濱理工大學(xué)學(xué)報，2010，15（1）：98-102. SHAN LN，CAO SH N，YU X Y，etal..The review of structured light time encoding technologies［J］.J.Harbin University of Science and Technology，2010，15（1）：98-102.（in Chinese）

［5］ 蘇顯渝，張啟燦，候志凌.三維面形信息壓縮的虛擬結(jié)構(gòu)光編碼算法［J］.光學(xué)學(xué)報，2011，31（5）：0510003. SU X Y，ZHANG Q C，HOU ZH L.3D shape compression based on virtual structural lightencoding［J］.Acta Optica Sinica，2011，31（5）：0510003.（in Chinese）

［6］ XAVIER M，PIERREG，CHRISTOPHED.Real-time structured light patterns codingwith subperfect submaps［J］.SPIE，2010，7724：77240E.

［7］ 許麗，陳黎霞，張之江.結(jié)構(gòu)光系統(tǒng)的周期編碼光設(shè)計［J］.光學(xué)精密工程，2010，18（2）：294-302. XU L，CHEN L X，ZHANG ZH J.Alternate coded pattern for structured light system［J］.Opt.Precision Eng.，2010，18（2）：294-302.（in Chinese）

［8］ ZHANG S，RONALD CH.Grid point extraction and coding for structured light system［J］.Optical Eng.，2011，50（9）：093602.

［9］ OLEKS，SKYDAN R A，LALOR M J，et al..Burton.using coloured structured light in 3D surfacemeasurement［J］.Optics and Lasers Eng.，2005，43：801-814.

［10］ 孫軍華，楊揚，張廣軍.基于相移的彩色結(jié)構(gòu)光編碼三維掃描技術(shù)［J］.光學(xué)技術(shù)，2008，34（1）：122-125. SUN，JH YANG Y，ZHANG G J.Three dimensional scanning technique using color structured light patterns based on phasemoving coding strategy［J］.Optical Technique，2008，34（1）：122-125.（in Chinese）

［11］ EGIELM，KUJAWINSKA M.Fast3D shapemeasurementbased on color structure lightprojection［J］.OpticalMetrology for Arts and Multimedia，2003，（16）：121-132.

［12］ 葉聲華，許智欽.三維彩色掃描測量技術(shù)［J］.光電子技術(shù)與信息，2001，14（5）：34-37. YE SH H，XU ZH Q，ZHENG Y ZH.Three dimensional colorful scanning［J］.Optoelectronic Technology&Information，2001，14（5）：34-37.（in Chinese）

［13］ 陶立，孫長庫，何麗，等.基于結(jié)構(gòu)光掃描的彩色三維信息測量技術(shù)［J］.光電子激光，2006，17（1）：111-114. TAO L，SUN CH K，HE L，et al..A color 3-D acquisition method based on structured-light scanning［J］.J.Optoelectronics.Laser，2006，17（1）：111-114.（in Chinese）

［14］ CASPID，KIRYATIN，SHAMIR J.Range imagingwith adaptive color structured light［J］.Pattern Analysisand Machine Intelligence，1998，20（5）：470-480.

Calibration of color coupling and color unbalance in coded structured light system

WU Hai-bin*，TANG Sha-you，CHENG Hao，WANG Hui，YU Xiao-yang
（The Higher Educational Key Laboratory for Measuring&Control Technology and Instrumentations of Heilongjiang Province，Harbin University of Science and Technology，Harbin 150080，China）
*Corresponding author，E-mail：woo@hrbust.edu.cn

To reduce the interference of color coupling and color unbalance and to increase the reconstruction accuracy of shape and color in a coded structured light system，a color coded structured light system was established and two color-related sections（coding principle and color reconstruction）and their color calibration methods were investigated.First，based on the coding principle by color trapezoidal phase-shifting intensity ratio，themutual coupling phenomenon between RGB primary colors in coding processwas analyzed，and color coupling calibration scheme by Caspimodel and hardware calibration was designed.Then，based on point-bypoint color reconstructionmethod，the unbalance phenomenon caused by surface curvature in color reconstruction processwas analyzed，and color unbalance calibration scheme using surface geometry information was de-signed.Calibration experimental results indicate that the red component in pure green after calibration is about 1/10 of that before calibration；and calibrated chromatic aberration of unicolor surface is about0.1，which approaches to the visual resolving power and is significantly less than that before calibration（0.4）.Moreover，the reconstructed unicolor complex surface has uniform color and good visual effect and is accorded withmeasured surface.It can satisfy the system requirements of strong anti-interference，and is conduced to the reconstruction accuracy of shape and color.

coded structured light；color coding；color reconstruction；color calibration

TP391；O432.3

A

10.3788/CO.20130604.0521

吳海濱（1977—），男，上海人，博士后，教授，碩士生導(dǎo)師，2000年于哈爾濱工業(yè)大學(xué)獲得學(xué)士學(xué)位，2002年于哈爾濱工業(yè)大學(xué)獲得碩士學(xué)位，2008年于哈爾濱理工大學(xué)獲得博士學(xué)位，主要從事視覺檢測與圖像處理方面的研究。E-mail：woo@hrbust.edu.cn

王 會（1987—），女，吉林長春人，碩士研究生，2012年于吉林師范大學(xué)獲得學(xué)士學(xué)位，主要從事三維重建方面的研究。E-mail：765724425@qq.com

唐莎猷（1990—），女，吉林長春人，本科生，主要從事視覺圖像處理方面的研究。E-mail：shayou0930@163.com

于曉洋（1962—），男，黑龍江雙城人，博士，教授/博導(dǎo)，1999年于哈爾濱工業(yè)大學(xué)獲得博士學(xué)位，主要從事視覺檢測與圖像處理等方面的研究。E-mail：yuxiaoyang@hrbust.edu.cn

程 浩（1987—），男，黑龍江齊齊哈爾人，碩士研究生，2011年于哈爾濱理工大學(xué)獲得學(xué)士學(xué)位，主要從事三維拼接等方面的研究。E-mail：chaizxq@163. com

1674-2915（2013）04-0521-08

2013-04-14；

2013-06-17

國家自然科學(xué)基金資助項目（No.61005035，No.61071051）；黑龍江省教育廳科學(xué)技術(shù)研究資助項目（No. 12521069）；黑龍江省研究生創(chuàng)新科研資助項目（No.YJSCX2012-116HLJ）；哈爾濱理工大學(xué)青年拔尖創(chuàng)新人才培養(yǎng)計劃資助項目；哈爾濱理工大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃資助項目