基于投影儀和攝像機的結(jié)構(gòu)光視覺標定方法

劉俸材，李愛迪，馬澤忠

1.重慶市國土資源和土地房屋勘測規(guī)劃院，重慶 400020

2.國家遙感應用工程技術(shù)研究中心 重慶研究中心，重慶 400020

基于投影儀和攝像機的結(jié)構(gòu)光視覺標定方法

劉俸材1，2，李愛迪1，2，馬澤忠1，2

1.重慶市國土資源和土地房屋勘測規(guī)劃院，重慶 400020

2.國家遙感應用工程技術(shù)研究中心 重慶研究中心，重慶 400020

利用計算機視覺技術(shù)實現(xiàn)三維物體的掃描和場景恢復，在產(chǎn)品質(zhì)量檢測、機器人導航、逆向工程、物體識別以及文物保護和修復等方面有著廣闊的應用前景[1]。典型的計算機視覺技術(shù)有基于雙目立體視覺技術(shù)的被動視覺測量和基于結(jié)構(gòu)光視覺的主動視覺測量[2]，而雙目立體視覺技術(shù)存在一個難以克服的問題，就是立體匹配，避免立體匹配的一種有效方法就是采用結(jié)構(gòu)光視覺[3]。

結(jié)構(gòu)光視覺傳感器的標定過程包括兩部分，一是攝像機內(nèi)參數(shù)的標定，二是結(jié)構(gòu)光參數(shù)標定即求取光柵與攝像機之間的相對位置關系[4]。攝像機內(nèi)參數(shù)的標定已經(jīng)有通用的算法[5]，因此攝像機傳感器標定的主要內(nèi)容就是結(jié)構(gòu)光參數(shù)標定。目前，已經(jīng)有很多學者對結(jié)構(gòu)光參數(shù)標定進行了深入的研究，取得了一定的成果。如R. Dewar和K.W.James使用的“拉絲法”[6]、段發(fā)階提出的“鋸齒把法”[6]、Reid于1996年提出的一種由已知平面和圖像點的匹配直接獲得攝像機像平面點與結(jié)構(gòu)光光平面點的轉(zhuǎn)換關系的方法[6]。但是目前，所有的結(jié)構(gòu)光視覺標定算法都只求解攝像機圖像平面與特定的結(jié)構(gòu)光平面的位置關系，而一旦光平面的空間位置發(fā)生了改變，則需要通過重新標定才能求取新的空間點坐標。

為實現(xiàn)結(jié)構(gòu)光視覺一次性標定后，可以實現(xiàn)任意光平面的三維測量，本文通過求取攝像機光心和投影儀光心之間的相對位置關系，可以確定攝像機圖像平面與投影儀投射的任何光平面的空間位置關系，從而實現(xiàn)對投影儀投影的任意光柵位置進行測量。

1 結(jié)構(gòu)光視覺模型

結(jié)構(gòu)光視覺測量原理如圖1所示。圖中，Oc為攝像機的光心，XcYcZcOc為攝像機坐標系；Op為投影儀的光心，XpYpZpOp為投影儀坐標系。

圖1 結(jié)構(gòu)光視覺模型

由于投影儀投影的光平面在投影儀坐標系中的坐標可以通過投影儀的各項參數(shù)計算出來，并且投影在被測物體上的光條可以通過攝像機標定確定其在攝像機坐標系中應滿足的關系，如果知道攝像機坐標系與投影儀坐標系之間的相對位置關系，則可以求解出被測物體上的光條在攝像機坐標系或者投影儀坐標系中的具體坐標[7]。如何求取攝像機坐標系與投影儀坐標系之間的旋轉(zhuǎn)矩陣R和平移向量T，即攝像機光心和投影儀光心之間的相對位置關系，就是本文要解決的問題。

2 特征點在投影儀坐標系中的坐標

本文利用標定板中的4個角點作為特征點，該4個特征點構(gòu)成一個長方形，如圖2所示。通過計算該四個角點在投影儀坐標系和攝像機坐標系中的坐標，求取投影儀光心和攝像機光心之間的相對位置關系。本文分兩步求取特征點在投影儀坐標系中的坐標，即先求取特征點在投影儀坐標系中的XY坐標，然后求取Z坐標。

圖2 標定板上的特征點

2.1 特征點在投影儀坐標系中的XY坐標

首先，固定好標定模板并調(diào)節(jié)投影儀的位置，使投影儀的光軸垂直于模板平面并通過由四個特征點構(gòu)成的長方形的中心。為實現(xiàn)這個目標，可以通過投影一個十字光柵來檢測投影儀的光軸是否通過特征點構(gòu)成的長方形的中心。為實現(xiàn)投影儀的光軸垂直于標定模板平面，可以通過調(diào)節(jié)投影儀的位置并檢測投影圖像是否為完美的長方形。如果投影儀投影的圖像為梯形，則投影儀的光軸于模板平面不垂直，可以通過調(diào)節(jié)投影儀擺放姿態(tài)實現(xiàn)投影完美的長方形圖像。

不失一般性，將標定板上特征點組成的長方形的中心作為世界坐標系的原點[8]，X軸水平向右，Y軸豎直向下，Z軸指向標定板里面。投影儀坐標系以投影儀光心為原點，三個軸的方向與世界坐標系相同。由于投影儀的光軸垂直于模板平面且穿過世界坐標系的原點，因此投影儀坐標系的XY平面與世界坐標系的XY平面平行，空間點在兩個坐標系中的坐標只有Z軸方向存在差異。因此，四個特征點在世界坐標系和投影儀坐標系中具有相同的X、Y坐標，圖中標定板每格的大小為30 mm× 30 mm，因此四個角點在世界坐標系中的坐標分別為（－60，－60，0）、（60，－60，0）、（－60，60，0）、（60，60，0），在投影儀中的坐標為（－60，－60，z）、（60，－60，z）、（－60，60，z）、（60，60，z）。這里的z本質(zhì)上就是世界坐標系和投影儀坐標系在z軸上的距離[9]。

2.2 特征點在投影儀坐標系中的Z坐標

首先，將投影儀調(diào)整到一個合適的位置，要求投影儀的光軸垂直于模板平面且通過四個特征點構(gòu)成的長方形的中心，記錄下投影圖像在模板平面上的寬度L1。然后將投影儀向后移動一段距離L，并使得移動后的投影儀仍然滿足光軸垂直于模板平面且通過四個特征點構(gòu)成的長方形的中心，記錄下投影儀投影圖像的寬度L2，兩次投影十字光柵校正投影儀位置的圖像如圖3，圖4所示。

圖3 初始位置投影“十”字光柵

圖4 改變位置后投影“十”字光柵

求取特征點在投影儀坐標系中的z坐標的原理如圖5所示。為方便計算，將圖5簡化如圖6所示。

圖5 結(jié)構(gòu)光視覺標定原理圖

圖6 結(jié)構(gòu)光視覺標定原理簡化圖

在本文實驗中，L=244，L1=270 mm，L2=390 mm，則z=793 mm，故標定模板上的四個角點在投影儀坐標系中的坐標分別為：（－60，－60，793）、（60，－60，793）、（－60，60，793）、（60，60，793）。

3 結(jié)構(gòu)光視覺標定

由于攝像機坐標系和投影儀坐標系均為正交坐標系[2，10-11]，故可以用一個3×3的矩陣 R和3×1的向量T來表示上述兩個坐標系之間的相對位置關系。設某空間點在投影儀坐標系中的點為(xp，yp，zp)，在攝像機坐標系中的點為(xc，yc，zc)，則有：

由公式（3）可得：

由于投影儀的光軸垂直于標定板并通過四個特征點構(gòu)成的長方形的中心，故可以用(-x，-y，z)、(x，-y，z)、(-x，y，z)、(x，y，z)來表示四個角點在投影儀坐標系中的坐標。再利用張正友靈活標定算法求取四個特征點在攝像機坐標系中的坐標，并將這四個特征點的坐標值代入式（4）、式（5）便可求解r11，r12，r21，r22，r31，r32。又由于矩陣R是單位正交矩陣[12]，故

最后，結(jié)合 r1·r3=0和 r2·r3=0確定 r13、r23、r33的符號，從而計算出r13、r23、r33。再將矩陣 R的相應元素代入公式（3），從而計算出tx、ty、tz。至此，已經(jīng)成功求取攝像機光心與投影儀光心之間的相對位置關系，即旋轉(zhuǎn)矩陣R和平移向量T。本文實驗結(jié)果如下：

4 投影任意光柵的三維測量

為計算投影儀投影在被測物體上的任意光柵條紋在投影儀坐標系中的坐標，現(xiàn)將投影儀投影模型簡化如圖7所示。圖中，虛線和實線投影儀分別代表標定階段移動前和移動后的投影儀位置。假設投影儀的投影夾角為α，則有：

圖7 光柵條紋在投影儀坐標系中的坐標計算

現(xiàn)設屏幕圖像中心的坐標為(u0，v0)，屏幕圖像寬度為2w（單位：像素），橫坐標為u的光柵條紋與投影儀主軸的夾角為β，則有：

因此，屏幕圖像上的任意光柵平面（假定橫坐標為u）在投影儀坐標系中的坐標為：

設被測物體上的光柵點在攝像機坐標系中的坐標為(xcyczc)，在投影儀坐標系中的坐標為(xpypzp)，則有：

上式中，3×3的旋轉(zhuǎn)矩陣R和3×1的平移向量T已通過結(jié)構(gòu)光視覺標定求解。由于光柵在屏幕圖像中的橫坐標u為已知，且投影儀坐標系中的點滿足公式（10），則：

上式中，L1、L2、d為標定過程中的已知量，w為顯示器屏幕寬度的一半（單位：像素），u0為屏幕中心像素的橫坐標，p為標定系數(shù)。

由攝像機成像原理可得，攝像機坐標系中的點(xcyczc)與其在采集得到的圖像上的對應點的坐標(ux，vx)滿足如下關系：

上式中，M為3×3的攝像機內(nèi)參數(shù)矩陣，已通過第2章攝像機標定求解，c為變量系數(shù)。對于攝像機采集得到的圖像上的任意點(ux，vx)，根據(jù)公式（13）可得：

由公式（14）可得：

現(xiàn)將式（15）中計算所得(xc，yc，zc)代入公式（11）可得：

上式中，c為未知參數(shù)，因此要求解(xpypzp)至少需要四個方程，而公式（16）實際上只有三個方程，現(xiàn)結(jié)合公式（12）可得：

在公式（17）中，旋轉(zhuǎn)矩陣R和平移向量T已通過結(jié)構(gòu)光視覺標定求解，故公式（16）中，可以通過三個方程求解三個未知數(shù)，從而可計算出(xpypzp)及參數(shù)c。

由于(ux，vx)為顯示屏幕上的任意點的坐標，因此，可以利用該方法求取投影儀投影在物體上的任意光柵條紋在投影儀坐標系或者攝像機坐標系中的坐標，從而實現(xiàn)連續(xù)快速的掃描和測量。

5 實驗與結(jié)論

本實驗使用維視MV-1300UM攝像機（分辨率均為640×480，像元尺寸為5.2 μm×5.2 μm）和明基DS550數(shù)字投影儀組成結(jié)構(gòu)光視覺系統(tǒng)并進行標定，用標定后的結(jié)構(gòu)光視覺系統(tǒng)測量精度較高的標定板（角點數(shù)為15×9，每格的大小為30 mm×30 mm）上各角點之間的距離，并與雙目立體視覺系統(tǒng)[13]測量的結(jié)果進行比較，測量結(jié)果如表1所示。

通過表1的數(shù)據(jù)可以看出，采用本文算法標定結(jié)構(gòu)光視覺系統(tǒng)的測量精度明顯高于雙目立體視覺系統(tǒng)，其相對誤差小于0.3%，僅為雙目立體視覺系統(tǒng)的1/3左右，其絕對誤差也小于0.4 mm。實驗結(jié)果表明該結(jié)構(gòu)光視覺標定算法可以應用于工藝品掃描、文物保護和恢復等領域。由于結(jié)構(gòu)光視覺系統(tǒng)的測量精度主要受系統(tǒng)標定誤差、圖像特征提取誤差、測量物距等因素的影響，可以通過多次標定視覺系統(tǒng)求取平均值、利用亞像素特征提取算法、減小測量物距等方法，進一步提高測量精度。

表1 測量結(jié)果

6 結(jié)束語

利用數(shù)字投影儀和攝像機組成結(jié)構(gòu)光視覺系統(tǒng)，再利用張正友靈活標定算法求取攝像機內(nèi)參數(shù)以及標定板上的四個特征點在攝像機坐標系中的坐標，接著計算四個特征點在投影儀坐標系中的坐標，從而求取攝像機光心與投影儀光心之間的相對位置關系，實現(xiàn)結(jié)構(gòu)光視覺標定。結(jié)合投影儀自身的參數(shù)，求取投影儀投影的任意光平面與攝像機坐標系之間的空間位置關系，因此可以求解投影儀投影在被測物體上的任意光柵的空間坐標，實現(xiàn)三維測量和掃描。并通過對精度誤差為0.05 mm的標定板進行多次測量，實驗結(jié)果的最大相對誤差為0.277%，表明該方法可以應用于標定基于投影儀和攝像機的結(jié)構(gòu)光視覺系統(tǒng)。

[1]Thomas P K，Luc V G.Real-time range acquisition by adaptive structured light[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2006，28（3）：432-445.

[2]陳天飛，馬孜，吳翔.基于主動視覺標定線結(jié)構(gòu)光傳感器中的光平面[J].光學精密工程，2012，20（2）：256-264.

[3]吳彰良，盧榮勝，宮能剛，等.線結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)參數(shù)優(yōu)化分析[J].傳感技術(shù)學報，2004，8（4）：709-712.

[4]Wang A Q，Shao L T.A simple method of radial distortion correction with center of distortion estimation[J].Journal of Mathematical Imaging and Vision，2009，35：165-172.

[5]孫軍華，張廣軍.結(jié)構(gòu)光視覺傳感器通用現(xiàn)場標定方法[J].機械工程學報，2009，45（3）：174-177.

[6]張廣軍.視覺測量[M].北京：科學出版社，2008：134-148.

[7]Bradski G，Kaebler A.Learning OpenCV[M].Beijing：Tsinghua University Press，2009.

[8]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）：1330-1334.

[9]周富強，蔡雯華.基于一維靶標的結(jié)構(gòu)光視覺傳感器標定[J].機械工程學報，2010，46（18）：7-13.

[10]Zhang G X，Liu S G，Qiu Z R.Non-contact measurement of sculptured surface of rotation[J].Chinese Journal of Mechanical Engineering，2004，17（4）.

[11]David A，F(xiàn)orsyth，Ponce J.Computer vsion—a modern approach[M].Beijing：Tsinghua University Press，2004.

[12]薛婷.三維視覺監(jiān)測儀器化關鍵技術(shù)研究[D].天津：天津大學，2006.

[13]劉俸材，李愛迪，馬澤忠.結(jié)構(gòu)光視覺系統(tǒng)誤差分析與參數(shù)優(yōu)化[J].計算機工程與設計，2013，34（2）：757-761.

LIU Fengcai1，2，LI Aidi1，2，MA Zezhong1，2

1.Chongqing Institute of Surveying and Planning for Land Resource and Buildings,Chongqing 400020,China
2.Chongqing Research Center,National Engineering Technology Research Center for Remote Sensing Applications,Chongqing 400020,China

To get continuous scanning of the structured-light vision system which is based on the projector and camera,it is needed to calculate the space position relationship between any light plane of the projector and image plane of the camera. Also the relative position between optical centre of camera and projector requires to be obtained.This paper settles the camera intrinsic parameters.Four corner points in the calibration board are used as characteristic points,also their extrinsic parameters are computed by using the intrinsic parameters of the camera.So coordinates of four characteristic points in the camera coordinate system can be found.The coordinates of the four characteristic points in the projector coordinate system can be computed by using the parameters of the projector itself.Thus,the relative position between optical center of camera and projector is obtained.That’s the process of calibration of structured-light based on camera and projector. The angular distance between corner points on calibration board is measured by structured-light vision system that has been calibrated above.The maximum relative error is 0.277%,which indicates that the calibration algorithm can be used in structure-light vision system based on projector and camera.

structured-light vision；calibration method；camera calibration；3D recovery

為實現(xiàn)基于投影儀和攝像機的結(jié)構(gòu)光視覺系統(tǒng)連續(xù)掃描，需要計算投影儀投影的任意光平面與攝像機圖像平面的空間位置關系，進而需要求取攝像機光心與投影儀光心之間的相對位置關系。求取攝像機的內(nèi)參數(shù)，在標定板上選取四個角點作為特征點并利用攝像機內(nèi)參數(shù)求取該四個特征點的外參數(shù)，從而知道四個特征點在攝像機坐標系中的坐標。利用投影儀自身參數(shù)求解特征點在投影儀坐標系中的坐標，從而計算出攝像機光心與投影儀光心之間的相對位置關系，實現(xiàn)結(jié)構(gòu)光視覺標定。利用標定后的視覺系統(tǒng)，對標定板上的角點距離進行測量，最大相對誤差為0.277%，表明該標定算法可以應用于基于投影儀和攝像機的結(jié)構(gòu)光視覺系統(tǒng)。

結(jié)構(gòu)光視覺；標定方法；攝像機標定；三維恢復

A

TP212.14

10.3778/j.issn.1002-8331.1303-0421

LIU Fengcai，LI Aidi，MA Zezhong.Method for calibration of structured-light vision based on projector and camera. Computer Engineering and Applications,2014,50（24）：168-172.

劉俸材（1985—），男，碩士，主要研究領域為計算機視覺；李愛迪（1979—），男，高級工程師；馬澤忠（1972—），男，土家族，博士后，正研級高級工程師。E-mail：524075200@qq.com

2013-03-27

2013-07-17

1002-8331（2014）24-0168-05

CNKI網(wǎng)絡優(yōu)先出版：2013-08-28，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130828.1540.006.html