快速數(shù)字條紋投影三維測量系統(tǒng)的開發(fā)

張建民 龍佳樂 許志輝 羅順祺 范智暉 陳富健

摘 要： 利用工業(yè)相機、工業(yè)投影機和計算機開發(fā)一套基于數(shù)字條紋投影的快速三維形貌測量系統(tǒng)。通過自編軟件實現(xiàn)對工業(yè)相機、工業(yè)投影機的自動控制和同步，通過標(biāo)定、投影并拍攝條紋、條紋分析、相位展開和重構(gòu)獲取了物體表面的三維點云數(shù)據(jù)。經(jīng)實驗論證，該系統(tǒng)能快速自動獲取待測物體表面三維數(shù)據(jù)，進行準(zhǔn)確的三維重構(gòu)。

關(guān)鍵詞： 三維形貌測量； 標(biāo)定； 條紋投影； 同步； 重構(gòu)； 數(shù)字條紋

中圖分類號： TN98?34； TP391 文獻標(biāo)識碼： A 文章編號： 1004?373X（2018）15?0119?05

Development of fast 3D measurement system based on digital fringe projection

ZHANG Jianmin1， LONG Jiale1， XU Zhihui1， LUO Shunqi1， FAN Zhihui2， CHEN Fujian1

（1. College of Information Engineering， Wuyi University， Jiangmen 529020， China；

2. MStar Software Development Inc.， Shenzhen 518057， China）

Abstract： A set of fast 3D shape measurement system based on digital fringe projection was developed by means of industrial camera， industrial projector and computer. The automatic control and synchronization of the industrial camera and industrial projector are realized with the self?made software. The calibration， projection， fringe photographing， fringe analysis， phase unwrapping and reconstruction are used to obtain the 3D point cloud data of the object surface. The experimental result confirms that the system can get the 3D data of the measuring object surface quickly and automatically， and perform the 3D reconstruction accurately.

Keywords： three?dimensional shape measurement； calibration； fringe projection； synchronization； reconstruction； digital fringe

0 引 言

隨著科學(xué)技術(shù)的發(fā)展和人們生產(chǎn)生活水平的不斷提高，僅僅得到三維世界中物體的二維信息已遠(yuǎn)遠(yuǎn)不能滿足需求，作為非接觸式三維測量技術(shù)的典型代表，基于數(shù)字條紋投影的三維形貌測量越來越受到關(guān)注[1?8]。該類系統(tǒng)由一個投影機、一個照相機和一個參考平面構(gòu)成，先設(shè)計一組數(shù)字條紋圖像通過投影機先后投射到參考平面和待測物體表面，并用照相機拍攝下來。由于參考平面表面形貌沒有任何起伏，所以相機拍攝到的經(jīng)參考平面直接反射的是沒有任何形變的條紋，稱為參考條紋。但經(jīng)待測物體表面反射的條紋發(fā)生了形變，顯然這種變形條紋攜帶了物體表面形貌的三維信息，基于數(shù)字條紋投影的三維形貌測量就是通過對這種變形條紋和參考條紋的對比分析提取出物體表面的三維形貌信息的。

上述傳統(tǒng)的三維形貌測量系統(tǒng)存在可操作性差，對硬件設(shè)備的位置約束過強，且需要應(yīng)用參考平面等問題，于是文獻[9]提出一種新的系統(tǒng)模型，利用該模型通過標(biāo)定、投影條紋圖的設(shè)計與投影，相位計算、相位展開四步，最終結(jié)合標(biāo)定參數(shù)即可求得待測物體表面每個像素點的三維坐標(biāo)，實現(xiàn)立體重構(gòu)[10?12]。其中快速三維形貌測量系統(tǒng)開發(fā)的關(guān)鍵是如何控制相機和投影機采集待測物體的三維數(shù)據(jù)以及實現(xiàn)兩者信號采集的同步。

1 理論模型

從二維圖像獲取三維物體信息，需要根據(jù)計算機視覺原理建立二維圖像與三維世界之間的關(guān)系。二維圖像的單位為像素，而三維世界的物體長度為模擬量，因此，首先需要確定二維數(shù)字圖像與二維物理圖像之間的關(guān)系，然后確定二維物理圖像與三維世界的關(guān)系。

以相機為例，二維數(shù)字圖像與二維物理圖像之間的關(guān)系[13]如圖1所示。

圖1中，[O1?uc?vc]為圖像坐標(biāo)系，以圖像的左上角第一個像素點為坐標(biāo)原點，圖像的上邊沿為[uc]軸，左邊沿為[vc]軸。[O1c?xc?yc]為圖像的物理坐標(biāo)系，[O1c（uo，vo）]為光心點，設(shè)1個像素[uc]方向?qū)?yīng)的物理長度為[dx]，[vc]方向?qū)?yīng)的物理長度為[dy]，則像素坐標(biāo)系與圖像物理坐標(biāo)系存在式（1）所示關(guān)系。

然后需要確定二維物理圖像與三維世界的關(guān)系，如圖2所示。圖2中，坐標(biāo)[Oc?Xc?Yc?Zc]為相機坐標(biāo)系，坐標(biāo)[O1c?xc?yc]為圖像的物理坐標(biāo)系，是一個三維的坐標(biāo)系。透鏡光心[Oc]到圖像中心點[O1c]的距離為相機的焦距，設(shè)為f。有三個維度的相機坐標(biāo)系中的點[P（Xc，Yc，Zc） ]在只有兩個維度的圖像物理坐標(biāo)系中成像，形成點[PO（xc，yc）]。由成像原理可得[△OcLP]與[△OcO1cPo]相似，則有[XcZc=-xcf，YcZc=-ycf]，結(jié)合式（1）得到式（2）：

式中：[λc]=[Zc]，[αc=-fdx]，[βc=-fdy]，[uoc]=[uo]，[voc]=[vo]。式（2）確定了圖像坐標(biāo)系與相機坐標(biāo)系之間的關(guān)系，即二維數(shù)字圖像與三維世界的關(guān)系[14]。對于投影機也有投影機圖像坐標(biāo)系與投影機坐標(biāo)系，并存在類似式（2）的關(guān)系。

在三維形貌測量中，待測物體表面的點可以用相機坐標(biāo)系的坐標(biāo)表示，也可以用投影機坐標(biāo)系的坐標(biāo)表示。為了實現(xiàn)坐標(biāo)系的統(tǒng)一，需要選定一個世界坐標(biāo)系，并用其坐標(biāo)表示待測物體表面的點。相機坐標(biāo)系、投影機坐標(biāo)系和世界坐標(biāo)系都是三維坐標(biāo)系，如圖3所示，它們存在旋轉(zhuǎn)和平移的關(guān)系[15?17]。

圖3中，坐標(biāo)系[O1?uc?vc]為CCD矩陣坐標(biāo)系，即相機的圖像坐標(biāo)系。坐標(biāo)系[O2?up?vp]為DMD矩陣坐標(biāo)系，即投影的圖像坐標(biāo)系。坐標(biāo)系[Oc?Xc?Yc?Zc]為相機坐標(biāo)系，該坐標(biāo)系以相機鏡頭光學(xué)中心為原點，平行相機CCD矩陣左邊沿過點[Oc]所在直線為[Xc]軸，平行相機CCD矩陣上邊沿過點[Oc]所在直線為[Yc]軸，相機鏡頭法線所在直線為[Zc]軸。同理，坐標(biāo)系[Op?Xp?Yp?Zp]為投影機坐標(biāo)系，該坐標(biāo)系以投影機鏡頭光學(xué)中心為原點，平行投影機矩陣左邊沿過點[Op]所在直線為[Xp]軸，平行投影機DMD矩陣左邊沿過點[Op]所在直線為[Yp]軸，相機鏡頭法線所在直線為[Zp]軸。[P（Xw，Yw，Zw）]是待測物體所在世界坐標(biāo)系坐標(biāo)。由式（2）和相機坐標(biāo)系與世界坐標(biāo)系的關(guān)系可得：

在式（3）中，等式右邊的第一個矩陣為相機的內(nèi)參數(shù)矩陣，等式右邊的第二個矩陣為世界坐標(biāo)系到相機坐標(biāo)系的旋轉(zhuǎn)平移矩陣，即外參數(shù)矩陣。同理，投影機也存在與工業(yè)相機一樣的坐標(biāo)關(guān)系：

式（3）中的相機內(nèi)外參數(shù)矩陣和式（4）中的投影機的內(nèi)外參數(shù)矩陣可通過系統(tǒng)標(biāo)定來確定。首先設(shè)計紅藍(lán)棋盤格的標(biāo)定板，通過分別投影單色光和黑白圖片并拍攝，然后利用相機Matlab工具箱進行相機標(biāo)定，接著將相機拍攝到的圖片轉(zhuǎn)換為投影機“拍攝”的圖片，進行投影機的標(biāo)定，最終確定相機的內(nèi)外參數(shù)矩陣和投影機的內(nèi)外參數(shù)矩陣[18]。

式（3）和式（4）中等式的左邊[uc]和[vc]表示圖像坐標(biāo)上的點，[up]表示投影平面上的某一橫向直線，[up]可通過條紋分析技術(shù)和相位展開技術(shù)從變形條紋中解得，因此由式（3）和式（4）即可求出待測物體表面的三維坐標(biāo)[（Xw，Yw，Zw）]，從而完成重構(gòu)，實現(xiàn)三維測量。

2 系統(tǒng)設(shè)計

根據(jù)上述數(shù)學(xué)模型，進行測量系統(tǒng)的硬件設(shè)計和軟件設(shè)計。在硬件設(shè)計上，通過控制工業(yè)投影機投影和工業(yè)相機拍照實現(xiàn)三維數(shù)據(jù)的采集；在軟件設(shè)計上，通過對硬件設(shè)備的自動控制和調(diào)用相關(guān)的三維重構(gòu)算法實現(xiàn)重構(gòu)。

2.1 硬件設(shè)計

本系統(tǒng)的硬件模型即工業(yè)相機，工業(yè)投影機和計算機之間的相互連接如圖4所示，計算機通過網(wǎng)線與工業(yè)相機連接，通過USB線和視頻傳輸線與工業(yè)投影機連接。工業(yè)投影機與工業(yè)相機通過外部觸發(fā)雙絞線連接，能實現(xiàn)兩者的通信，即工業(yè)投影機每投影出一幅圖片輸出一個外部觸發(fā)信號，觸發(fā)工業(yè)相機采集。圖5為本系統(tǒng)的實物圖，其中右側(cè)為工業(yè)相機，左側(cè)為工業(yè)投影機。

本系統(tǒng)采用的工業(yè)相機型號為Basler acA1280?60gc，其擁有GigE接口和外部觸發(fā)接口，1 280×1 024像素（60 f/s），支持外部觸發(fā)采集和內(nèi)部觸發(fā)采集。該相機內(nèi)部包括以太網(wǎng)控制器、微控制器、FPGA、圖像緩沖器、I/O寄存器和圖像傳感器等，結(jié)構(gòu)示意圖如圖6所示。當(dāng)工業(yè)相機從Pin2接收到單幀采集的控制信號時，F(xiàn)PGA根據(jù)由微控制器預(yù)先設(shè)定的曝光時間控制傳感器進行曝光，傳感器采集到的圖像數(shù)據(jù)先保存到圖像緩沖器中，再經(jīng)過以太網(wǎng)控制器傳輸?shù)接嬎銠C，這樣就實現(xiàn)了圖像數(shù)據(jù)的獲得與傳輸。其中對工業(yè)相機曝光時間、圖像增益等參數(shù)設(shè)置也通過以太網(wǎng)和微控制器實現(xiàn)。

本系統(tǒng)采用的工業(yè)投影機型號為DLP LightCrafter4500，其內(nèi)部結(jié)構(gòu)如圖7所示。該投影機擁有許多外部接口，常常用于三維形貌測量系統(tǒng)中，而本系統(tǒng)主要應(yīng)用的接口是USB接口和外部觸發(fā)接口。在圖7中，計算機通過UART接口發(fā)送控制數(shù)據(jù)，發(fā)送圖像投影信號，設(shè)置投影機的投影模式等。投影圖像數(shù)據(jù)傳輸過程是將預(yù)先設(shè)計好的條紋圖通過投影機的UART接口經(jīng)DLPC350保存到FLASH中。在投影圖像時，首先DLPC350從FLASH中加載所需要投影的圖像到其內(nèi)存中，微鏡陣列模塊根據(jù)接收到圖像數(shù)據(jù)，控制每個像素所對應(yīng)微鏡的開關(guān)頻率。投影原理是DLPC350通過控制LED驅(qū)動紅綠藍(lán)燈的電流實現(xiàn)LED亮度的控制，LED燈光透過微鏡陣列投影成像。

投影與拍攝能實現(xiàn)同步是因為投影機每投影一幅圖像的同時，DLPC350使觸發(fā)器TRIG1_OUT_CON輸出一個信號1，該信號通過外部觸發(fā)雙絞線送給工業(yè)相機的Pin2，Pin2引腳接收到該上升沿時觸發(fā)相機采集一幅圖片。正是由于投影和拍攝的同步使得該系統(tǒng)的測量速度較傳統(tǒng)的通過估算投影時間設(shè)置相機曝光時間的系統(tǒng)加快不少。

2.2 軟件設(shè)計

軟件設(shè)計的目的是實現(xiàn)工業(yè)相機、投影機的自動控制和相關(guān)重構(gòu)算法的調(diào)用。其中工業(yè)投影機的控制可通過官方提供的LightCrafter4500_v1.2.exe軟件實現(xiàn)投影的曝光時間和投影外部觸發(fā)信號的輸出，控制界面如圖8所示。

工業(yè)相機的控制可通過調(diào)用圖9所示的SDK庫實現(xiàn)初始化，觸發(fā)模式控制和拍攝與保存等功能。為了方便用戶進行系統(tǒng)標(biāo)定和三維重構(gòu)，需要使用MFC編程，編寫系統(tǒng)標(biāo)定界面和點云數(shù)據(jù)采集界面以實現(xiàn)投影和拍照（即采集）的自動化。交互界面如圖10和圖11所示。

在圖11中，點擊“投影條紋”或“外部觸發(fā)采集”按鈕后實現(xiàn)投影條紋圖和采集變形條紋圖，投影和采集完成后通過點擊“重構(gòu)立體數(shù)據(jù)”按鈕后，系統(tǒng)軟件調(diào)用條紋分析算法和相位展開算法結(jié)合標(biāo)定參數(shù)計算出待測物體三維數(shù)據(jù)，最終會在系統(tǒng)目錄下生成“result.txt”文件，該文件包含每個像素點的三維坐標(biāo)，可利用第三方Geomagic Studio軟件打開后直觀地看到三維重構(gòu)的立體視圖，并獲取待測物體表面的三維數(shù)據(jù)。

3 實驗與分析

首先設(shè)計兩組波長為23和47的光強在垂直方向（y方向上）呈正弦規(guī)律變化的條紋圖片，投影到一個玩具模型表面，通過照相機采集到的變形條紋如圖12a）和圖12b）所示。對變形條紋用六步相移的條紋分析技術(shù)處理得到的包裹相位圖如圖12c），圖12d）所示。根據(jù)首次提出的基于波長選擇的雙波長條紋相位展開算法可從包裹相位中正確地恢復(fù)出絕對相位，如圖12e）和圖12f）所示。

結(jié)合系統(tǒng)的標(biāo)定參數(shù)可求得待測物體表面每個像素點的三維坐標(biāo)，利用Geomagic Studio對測量結(jié)果進行顯示，最終得到的三維重構(gòu)立體視圖如圖13所示。其中圖13a）是待測物體的實物圖，圖13b）～圖13e）分別為該物體重構(gòu)后不同角度的三維視圖。結(jié)果顯示該玩具模型得到了準(zhǔn)確重構(gòu)，證明了該系統(tǒng)的有效性。

4 結(jié) 論

本文完成了一套基于數(shù)字條紋投影的三維相貌測量系統(tǒng)的開發(fā)，利用工業(yè)相機和工業(yè)投影機搭建三維測量系統(tǒng)，利用軟件編程實現(xiàn)工業(yè)相機和投影機的控制，并實現(xiàn)了投影和拍攝的同步，達(dá)到了快速測量的目的。該三維形貌測量系統(tǒng)的算法核心是條紋分析技術(shù)和相位展開技術(shù)，本系統(tǒng)所采用的條紋分析技術(shù)是通用的相移形貌測量法[18]，采用的相位展開技術(shù)是自主提出的基于波長選擇的多波長相位展開算法[19?20]。該快速測量系統(tǒng)的開發(fā)，將推動三維形貌測量在生產(chǎn)生活中的應(yīng)用。目前正在進一步研究多面重構(gòu)結(jié)果的拼合，以達(dá)到更好的立體重構(gòu)效果。

注：本文通訊作者為龍佳樂。

參考文獻

[1] 李中偉.基于數(shù)字光柵投影的結(jié)構(gòu)光三維測量技術(shù)與系統(tǒng)研究[D].武漢：華中科技大學(xué)，2009.

LI Z W. Research on structured light 3D measurement technology and system based on digital fringe grating projection [D]. Wuhan： Huazhong University of Science and Technology， 2009.

[2] CHEN K， XI J， YU Y， et al. Three?dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns [J]. Applied optics， 2013， 52（30）： 7360?7366.

[3] DU G， ZHANG C， ZHOU C， et al. Iterative two?step temporal phase?unwrapping applied to high sensitivity three?dimensional profilometry [J]. Optics and lasers in engineering， 2016， 79： 22?28.

[4] GUAN G， HASSEBROOK LG， LAU D L. Composite structured light pattern for three?dimensional video [J]. Optics express， 2003， 11（5）： 406?416.

[5] FENG S， CHEN Q， ZUO C. Graphics processing unitassisted real?time three?dimensional measurement using speckle?embedded fringe [J]. Applied optics， 2015， 54（22）： 6865?6873.

[6] JIANG C， JIA S， DONG J， et al. Multi?frequency color?marked fringe projection profilometry for fast 3D shape measurement of complex objects [J]. Optics express， 2015， 23（19）： 24152?24162.

[7] XU Y， JIA S， LUO X， et al. Multi?frequency projected fringe profilometry for measuring objects with large depth discontinuities [J]. Optics communications， 2013， 288： 27?30.

[8] GARCIA?ISAIS C A， OCHOA N A. One shot profilometry using phase partitions [J]. Optics and lasers in engineering， 2015， 68： 111?120.

[9] ZHANG S， HUANG P. Novel method for structured light system calibration [J]. Optics engineering， 2006， 45（8）： 8360?8368.

[10] 龍佳樂，張建民，范智暉.雙波長條紋投影三維形貌測量的實現(xiàn)[J].光電子技術(shù)，2015，35（4）：258?262.

LONG J L， ZHANG J M， FAN Z H. Implement of three dimensional topography measurement with double wavelength fringe projection [J]. Optoelectronic technology， 2015， 35（4）： 258?262.

[11] SERVIN M， PADILLA M， GARNICA G， et al. Profilometry of three?dimensional discontinuous solids by combining two?steps temporal phase unwrapping， co?phased profilometry and phase?shifting interferometry [J]. Optics and lasers in enginee?ring， 2016， 87： 75?82.

[12] 劉星明，蔡鐵，王輝靜，等.基于相位恢復(fù)的三維可視化應(yīng)用研究[J].計算機科學(xué)，2016， 43（z2）：256?258.

LIU X M， CAI T， WANG H J， et al. Research on application of 3D visualization based on phase recovery [J]. Computer science， 2016， 43（S2）： 256?258.

[13] 錢垚，童立靖，劉晶晶，等.一種基于工業(yè)相機的距離測量系統(tǒng)[J].計算機時代，2011（11）：28?31.

QIAN Y， TONG L J， LIU J J， et al. An industrial camera?based distance measuring system [J]. Computer era， 2011（11）： 28?31.

[14] 張成艷.基于雙目視覺的織物三維數(shù)字化技術(shù)研究[D].西安：陜西科技大學(xué)，2014.

ZHANG C Y. Research on 3D digital technology of fabric based on binocular vision [D]. Xian： Shaanxi University of Science and Technology， 2014.

[15] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[16] ZHANG W， CHEN Z， ZHANG R， et al. An absolute phase to world coordinates method for the defocusing structured light shape measurement system [J]. Optik?international journal for light and electron optics， 2014， 125（22）： 6819?6825.

[17] GAO W， WANG L， HU Z. Flexible method for structured light system calibration [J]. Optical engineering， 2008， 47（8）： 602?612

[18] ZHANG S. Digital multiple wavelength phase shifting algorithm [J]. Proceedings of SPIE， 2009， 7432： 1?11.

[19] LONG J L， XI J T， ZHU M， et al. Absolute phase map reco?very of two fringe patterns with flexible selection of fringe wavelengths [J]. Applied opticts， 2014， 53（9）： 1794?1801.

[20] LONG J L， XI J T， ZHANG J M， et al. Recovery of absolute phases for the fringe patterns of three selected wavelengths with improved anti?error capability [J]. Journal of modern optics， 2016， 63（17）： 1695?1705.