基于雙目視覺測量系統(tǒng)的投影儀標定方法

施天敏，李鋒，徐鳴華

（江蘇科技大學(xué) 電子信息學(xué)院，江蘇 鎮(zhèn)江　212003）

基于雙目視覺測量系統(tǒng)的投影儀標定方法

施天敏，李鋒，徐鳴華

（江蘇科技大學(xué) 電子信息學(xué)院，江蘇 鎮(zhèn)江212003）

在三維視覺測量系統(tǒng)中，對儀器參數(shù)的標定是首先需要解決的難題，而對投影儀的內(nèi)外參數(shù)標定是三維結(jié)構(gòu)光測量系統(tǒng)中不可或缺的一部分。就目前而言，投影儀的參數(shù)標定還存在著標定精度偏低、方法單一、可操作性差等問題。提出一種基于雙目視覺的投影儀標定算法，將投影儀視為逆向相機，利用一個輔助相機捕獲投影于不同位置標定平面，確立攝像機圖像與標定平面之間的對應(yīng)關(guān)系，然后利用極線原理得到攝像機圖像與投影儀圖像之間的對應(yīng)關(guān)系，進而獲得投影面與投影儀圖像之間的準確關(guān)系，可將不成熟的投影儀標定轉(zhuǎn)化為成熟的相機標定。實驗結(jié)果表明，該方法在精度上能達到標定要求。

三維視覺；結(jié)構(gòu)光；投影儀標定；極線原理

近幾年來，三維物體的測量以及掃描已經(jīng)成為計算機視覺中最熱門的領(lǐng)域，它在文物保護與恢復(fù)、機器導(dǎo)航、工業(yè)測量、制造技術(shù)以及正逆向工程等方面擁有廣闊的研究前景[1]。傳統(tǒng)的單相機-單投影三維測量系統(tǒng)一般采用相位輪廓法[2]，測量過程中用光柵投影儀將特定光柵投射至待測物體表面，利用相機捕獲因物體表面高度信息調(diào)制而產(chǎn)生變形的光柵圖像，再對采集而得的光柵圖像進行處理，由此得出包含物體高度信息的相位，由相位信息以及標定的系統(tǒng)參數(shù)對待測物體進行三維點云重建[3]。這方法存在約束性過強、標定的精準度不高、操作性差等問題，大大影響了該技術(shù)的實用性[4]。

本文將雙目視覺的原理引入至單攝像機、單投影儀系統(tǒng)[5]。具體步驟為：1）由射影變換關(guān)系建立空間標定點的世界坐標與攝像機圖像之間的對應(yīng)關(guān)系；2）利用雙目極線原理對攝像機圖像與投影儀圖像進行圖像匹配；3）將攝像機投影儀的組合近似為一個雙目系統(tǒng)，逆轉(zhuǎn)雙目測量步驟，將投影儀視為逆向的攝像機，得到投影儀圖像與標定平面之間的單應(yīng)性關(guān)系，；4）將非成像設(shè)備投影儀轉(zhuǎn)化為相對成熟的攝像機標定技術(shù)[6]。

1　雙目視覺傳統(tǒng)模型

傳統(tǒng)的雙目視覺測量系統(tǒng)基于圖像視差原理，理論上可以確定任意物體的三維輪廓，并得到輪廓周圍的三維坐標點。如圖1所示，左右攝像機的成像平面的實際在光心后焦距 f處，空間點 PC在左相機下的坐標為（XC，YC，ZC），其在左右相機中的坐標分別為 P1（U1，V1）和 P2（U1，V1）.為簡化計算過程，令左相機坐標系 X軸 Y軸與圖像坐標系O1UV的U軸與V軸方向分別一致。則有如下三角幾何關(guān)系：

因此由式（1）和（2）可以得出，已知空間點Pc在左右相機視圖中的對應(yīng)位置就可以得到該點的三維坐標。

視差的定義為空間中某一點在左右視圖中對應(yīng)位置差：

圖1　雙目立體成像圖Fig.1　Binocular vision schematic diagram

2　單投影儀單相機模型

圖2為由雙攝相機雙目模型改進而得的單投影儀-單攝像機模型。點PW=[XWYWZW1]T是世界坐標系的一個三維坐標點，并且其對應(yīng)的相機圖像平面二維坐標點為PC=[UCVC1]T。由小孔成像原理[7]可得出這兩點的對應(yīng)關(guān)系：

其中[RCTC]稱為外參數(shù)矩陣，表示相機圖像與世界坐標系之間的旋轉(zhuǎn)和平移。S為一非零尺度因子，MC稱為相機的內(nèi)參數(shù)矩陣，其定義為：

在內(nèi)參數(shù)矩陣中，（CX，CY）為光心主點坐標，（fx，fy）分別為沿著圖像平面X軸Y軸方向的焦距。

HCW為兩點之間的單應(yīng)性矩陣，它可以表示世界坐標系與相機坐標系的關(guān)系：

投影儀圖像平面上二維坐標點Pp=[UpVp1]T與三維坐標點PW有如下關(guān)系：

投影儀可以視為反向的相機，將捕獲圖像理解為逆投射圖像，因此相機的小孔成像模型也適用于投影儀。實際光路為相機圖像平面捕獲由投影平面投射至待測物體的點PW，而虛擬投影過程將之變?yōu)橥队皥D像捕獲相機圖像坐標點PC。

圖2　單投影儀-單相機雙目成像圖Fig.2　Projector-camera Binocular imaging

圖3　投影儀角度位置變換Fig.3　Transform the angular and position of the projector

聯(lián)立式（3）和（5），得出三維坐標點PW與其在投影儀圖像對應(yīng)點的關(guān)系，HPW即為

攝像機圖像與投影儀圖像之間的基礎(chǔ)矩陣，是一個第九個元素為1的3×3矩陣。

結(jié)合張[8]的經(jīng)典相機標定法，只要知道基礎(chǔ)矩陣即可完成投影儀標定。

考慮相機模型的靈活性，攝像機標定時相機可以與標定平面在夾角小于20°的空間任意旋轉(zhuǎn)，同理可運用于投影儀，為方便計算，本方法只考慮水平方向小角度旋轉(zhuǎn)及平移。令投影儀的初始位子為{P1}，則公式（6）可以寫為：

如圖3所示，當(dāng)投影儀位子由{P1}變換到{P2}，{P3}，{Pi}，……后，投影面圖像與相機圖像之間有如下關(guān)系：

為簡化計算，本實驗僅考慮水平方向投影儀位置移動。以投影儀初始位置光心坐標建立坐標系，則投影儀圖像上某一點 （x，y，z）沿X軸方向移動后位置為（x，m，y，z），其中m為常數(shù)，i取值1，2，3……。兩幅圖之間基礎(chǔ)矩陣可以表示為：

式（9）給出了不同位置的投影儀虛擬成像之間的關(guān)系以及它與相機圖像之間的關(guān)系。可以看到，隨著投影儀位置{P1}從變換到{P2}直至{Pi}，不同位置的投影儀之間可以用基礎(chǔ)矩陣來表示。為得出如圖4所示虛擬投影面，具體步驟如下：

1）將一面結(jié)構(gòu)光圖像投射至待測平面，建立空間平面坐標系，相機捕獲圖像，確定投影儀初試位置{P1}；

2）計算相機圖像與對應(yīng)投影儀圖像之間的基礎(chǔ)矩陣；

3）左右微移動投影儀至位置{Pi}；

圖4　不同位置投影儀虛擬像圖間基礎(chǔ)矩陣Fig.4　The fundamental matrix of different locations between virtual image projectors

4）記錄待測面圖像位置變化以及投影儀圖像位置細微變化，相機捕獲全新投影圖像；

5）由步驟3）計算不同位置投影儀內(nèi)在位移矩陣；

6）通過步驟2）～5）計算相機圖像與虛擬投影面之間的基礎(chǔ)矩陣；

7）重復(fù)步驟3）～6），直到獲得充足標定圖像為止.

3　圖像間基礎(chǔ)矩陣計算

由于攝像機圖像與投影儀圖像不僅大小不一而且拍攝角度差異頗大，所以不能以傳統(tǒng)圖像匹配進行圖像間基礎(chǔ)矩陣運算。如圖5所示，在極線原理中，想找到3D點在圖像中的點，需追蹤連接該點與相機中心的直線，如果我們需要通過一副圖像中的點找到另一幅圖像中的對應(yīng)點[9]，那么必須沿著這條直線在另一幅圖像中搜索，極點x所對應(yīng)的極線為l'。任意圖像上的點與它對應(yīng)的極線之間的關(guān)系可以用一個3×3的矩陣表示，F(xiàn)為圖像間基礎(chǔ)矩陣：

它對應(yīng)于滿足等式l′1x+l′2y+l′3=0的點的集合。因此，基礎(chǔ)矩陣F將一個視角中的點映射到另一個視角中的一條直線上。

計算一對圖像的基礎(chǔ)矩陣可以轉(zhuǎn)化為求解一組等式，其中涉及到圖像中的已知匹配點，最少所需匹配數(shù)量為7。通過手動選取不少于7個已知的的高質(zhì)量點可以進行匹配，代入公式7求解，可以獲取圖像基礎(chǔ)矩陣。

圖5　極線觀測圖Fig.5　Polar observation chart

4　投影儀標定實驗及結(jié)果

本文使用圖3結(jié)構(gòu)光系統(tǒng)，對此投影儀算法進行驗證。本文使用的相機是工業(yè)相機MV-VD500SC，分辨率為2 592× 1 944，像元大小為2.2 μm×2.2 μm，主點坐標為（1 296，972）。LCD投影儀為EPSON EMP-6010，其分辨率為1 024×768。標定結(jié)果如表1和表2所示。

表1　投影儀內(nèi)參數(shù)Tab.1 Projector intrinsic parameters

表2　投影儀某一位置外參數(shù)Tab.2　Projector extrinsic parameters in a position

本投影儀標定是基于線性模型以及相機小孔成像原理的，勢必會帶來誤差。分析誤差最好的辦法是根據(jù)所得參數(shù)進行重投影誤差分析。令點P（M，N）為重投影計算點[10]，點Q（m，n）為實際測量像素點。將投影儀放置于近似平行于待測面的位置，檢測圖像中的特征點像素位置，視為實際像素點Q。根據(jù)標定內(nèi)外參數(shù)，由已知待測面的實際具體坐標求得虛擬投影面上重投影坐標P。那么重投影誤差可以用式（11）表示：

圖6為選了11張不同位置的虛擬投影圖進行的重投影分析，由圖可以看出X軸Y軸的誤差大致都在（0.31，0.32）像素范圍以內(nèi)，通過計算所有點的均方誤差在（0.192，0.167）像素，基本可以達到標定的目的。

經(jīng)過重投影后，圖7為模擬投影儀各位置的虛擬投影儀圖像位置圖，包含了不同位置不同角度的虛擬投影儀面，可以清晰的看到投影儀位置變換[11]，使標定結(jié)果一目了然。

圖6　重投影誤差分析Fig.6　The re projection error analysis

圖7　重投影后虛擬投影面Fig.7　The virtual projection plane after reprojecting

5　結(jié)　論

文中提出的投影儀標定方技術(shù)數(shù)據(jù)僅由平面黑白方塊提供，無需復(fù)雜精密設(shè)備，也能達到適合標定進行下一步研究的目的。操作簡單，如不考慮計算復(fù)雜度對投影儀位置無特殊要求，自帶光源特征點對環(huán)境適應(yīng)性強。將投影儀標定轉(zhuǎn)化為成熟相機標定，相比傳統(tǒng)標定無需對輔助相機標定也能達到令人滿意的效果。今后，本文在此基礎(chǔ)上將利用已標定投影儀實現(xiàn)對仿人眼雙目視覺的測量，最大化的利用標定成果。

[1]THOMASPK，LUCVG.Real—time range acquisition by adaptive structured light[J].IEEE，2008，28（3）:432-445.

[2]Zhenzhong Wei，Caiqin Li，Boshen Ding.Line structured light vision sensor calibration using parallel straight lines features[J].International Journal for Light and Electron，2014，125（17）:4990-4997.

[3]Soussen，Charles，Daul，Christian，Blondel Walter.Flexible projector calibration for activestereoscopicsystems[J]. Source:Proceedings-InternationalConferenceonImage Processing，2010 17th IEEE International Conference on Image Processing，ICIP，2010:4241-4244.

[4]許慶紅，鐘約先，由志福.光學(xué)投影輪廓測量的系統(tǒng)標定技術(shù)[J].光學(xué)技術(shù)，2000，26（2）:126-132，133.

[5]陳會，密保秀，高志強.結(jié)構(gòu)光三維重建系統(tǒng)中投影儀的標定[J].科學(xué)通報，2014，59（12）:1069-1078.

[6]Fengkai Ke，Jingming Xie，Youping Chen.A fast and accurate calibration method forthe structuredlightsystem based on trapezoidal phase-shifting pattern[J].International Journal for Light and Electron Optics，2014，125（18）:5249-5253.

[7]張廣軍.計算機視覺[M].北京：科學(xué)出版社，2008.

[8]Zhengyou Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）:1330-1334.

[9]巨志勇，黃凱.基于共生概率特征量的行人檢測[J].電子科技，2015（11）:139-142.

[10]段園園，高瑋，雷俊杰，等.一種新型的視頻十字光標疊加技術(shù)[J].電子設(shè)計工程，2015（20）:173-176.

[11]付振振，李蓓智，楊建國，等.撓性接頭細頸測量及圖像處理方法研究[J].中國測試，2015（10）:22-26.

The projector calibration based on binocular vision measurement system

SHI Tian-min，LI Feng，XU Ming-hua
（Department of Electronic and Information，Jiangsu University of Science and Technology，Zhenjiang 212003，China）

Calibration of the instrument parameters is the first problem in 3D vision measurement system，and the internal and external parameters of the projector calibration of structure light 3D measurement is an integral part of the system.For the present，the projector calibration still have problems，such as the precision is low，there is still a single method，it is poor operational.So we put forward a kind of projector calibration algorithm based on binocular vision，the projector is regarded as a reverse camera，the projector is used to capture images like a camera，establish the corresponding relation between the image plane and camera calibration，then obtain a correspondence between the camera and the projector image image with the help of Pole line principle.Then we can obtain the accurate relation between the projective surface and the projector image，we change the immature projector calibration into mature camera calibration.The tests show that the method can be achieved calibration requirements in accuracy.

3D vision；structure light；projector calibration；pole line principle

TN911.74

A

1674－6236（2016）01-0012-04

2015-06-03稿件編號：201506042

國家自然科學(xué)基金項目（51307074；11204109）

施天敏（1989—），男，江蘇南通人，碩士研究生。研究方向：計算機視覺。