一種改進(jìn)的投影裝置標(biāo)定方法*

孫秀清,張篤周,王 立,吳奮陟

0 引 言

在軌操控[1-2]和服務(wù)的發(fā)展對空間航天器局部模塊的快速3D模型重建和精密測量技術(shù)的需求日益迫切.自旋運(yùn)動是失效衛(wèi)星的一般存在狀態(tài)，轉(zhuǎn)動角速度很快，常規(guī)激光成像雷達(dá)由于掃描頻率較低不適合高速動態(tài)目標(biāo)；FLash Lidar存在探測器面陣小分辨率低且器件難以獲得的問題；編碼結(jié)構(gòu)光具有自動化程度高、速度快、精度高等特點(diǎn)，是空間非合作目標(biāo)的三維測量的重要技術(shù)方向.

結(jié)構(gòu)光三維測量的過程中，投影裝置標(biāo)定是影響結(jié)構(gòu)光三維測量精度的關(guān)鍵環(huán)節(jié).和相機(jī)標(biāo)定類似，投影裝置也包括內(nèi)參數(shù)標(biāo)定，以及投影裝置坐標(biāo)系和世界坐標(biāo)系之間轉(zhuǎn)換矩陣(外參數(shù))的標(biāo)定.文獻(xiàn)[3]提出了一種基于相移法的投影裝置標(biāo)定方法，標(biāo)定過程中，將兩組不同方向的光柵圖像投影到一塊帶有圓形標(biāo)志點(diǎn)的平面標(biāo)定板上；文獻(xiàn)[4]提出了一種基于平面的投影裝置標(biāo)定方法，向已知表達(dá)式的標(biāo)定平面上投影棋盤格圖像，根據(jù)線面交叉點(diǎn)確定投影圖像的標(biāo)定角點(diǎn)的三維坐標(biāo).文獻(xiàn)[5]提出了一種不需要對相機(jī)預(yù)先標(biāo)定的方法，向棋盤格標(biāo)定板上投影格雷碼條紋，首先通過試驗(yàn)得到最優(yōu)匹配區(qū)域，然后在最優(yōu)匹配區(qū)域內(nèi)計(jì)算角點(diǎn)的局部單應(yīng)性矩陣，通過單應(yīng)性矩陣直接得到棋盤格角點(diǎn)對應(yīng)投影裝置像平面的位置坐標(biāo).以上方法都需要特殊的標(biāo)定平板，只能在結(jié)構(gòu)光三維測量系統(tǒng)工作之前提前進(jìn)行標(biāo)定，在測量過程中，如果三維結(jié)構(gòu)光測量系統(tǒng)參數(shù)發(fā)生變化，系統(tǒng)無法進(jìn)行自我修正.

本文采用的編碼結(jié)構(gòu)光三維測量系統(tǒng)，由雙相機(jī)和單投影裝置組成，三維重建方式靈活，可以結(jié)合立體視覺和編碼結(jié)構(gòu)光三維測量兩種機(jī)制.編碼結(jié)構(gòu)光系統(tǒng)可以在測量的過程中，不斷修正系統(tǒng)的標(biāo)定參數(shù)，提高測量精度且不需要特定靶標(biāo).

1 投影裝置模型

投影裝置的光線方向和相機(jī)的光線方向相反，把投影裝置看作一個(gè)逆向的相機(jī)，可以采用和相機(jī)相似的物理模型來描述：

sm=A[Rt]M

(1)

其中，m=[uv1]T為像素坐標(biāo)系的擴(kuò)展坐標(biāo)，M=[XYZ1]T為世界坐標(biāo)系的擴(kuò)展坐標(biāo)，s為比例系數(shù)，A為投影裝置內(nèi)參數(shù)矩陣，[Rt]為投影裝置外參數(shù)矩陣，R為旋轉(zhuǎn)向量，t為平移向量.

設(shè)(x，y)為圖像坐標(biāo)系坐標(biāo)，(xn，yn)為歸一化的物理坐標(biāo)

(2)

(3)

2 標(biāo)定方法

2.1 投影裝置標(biāo)定原理

投影裝置參數(shù)標(biāo)定的過程中可以采用和相機(jī)一致的數(shù)學(xué)模型，但是卻沒有辦法直接像相機(jī)一樣，得到像平面標(biāo)定角點(diǎn)對應(yīng)物方點(diǎn)的三維坐標(biāo)，因此，投影裝置標(biāo)定的關(guān)鍵在于如何獲得投影圖像標(biāo)定點(diǎn)的空間坐標(biāo).采用以下解決方案：

1)投影裝置投射水平方向和豎直方向的格雷碼條紋，雙相機(jī)確定條紋三維位置，解碼得出條紋在投影裝置像平面的位置.

進(jìn)行投影裝置的標(biāo)定，首先利用結(jié)構(gòu)光雙目三維系統(tǒng)中投影裝置可以投影編碼圖案的優(yōu)勢，構(gòu)造三維標(biāo)定角點(diǎn).在實(shí)際應(yīng)用中，可以選擇復(fù)雜空間編碼圖案，一次投影就可以依賴雙目相機(jī)重建出標(biāo)定角點(diǎn)的三維坐標(biāo)，為了簡化問題，本文選擇格雷碼條紋進(jìn)行投影，如圖1所示.

圖1 四副豎向格雷碼編碼圖案Fig.1 Four pairs of vetical gray code encoding patterns

考慮到投影裝置標(biāo)定的解算步驟和相機(jī)標(biāo)定一致，相機(jī)標(biāo)定時(shí)，每幅圖像對應(yīng)的標(biāo)定點(diǎn)大約為200個(gè)，投影裝置標(biāo)定時(shí)也需要構(gòu)造相同數(shù)量的空間標(biāo)志點(diǎn)，投影裝置投射6幅格雷碼結(jié)構(gòu)光編碼圖像，投射的次序是1幅全白的圖像、1幅全黑的圖像、4幅豎向格雷碼編碼圖像，分別投影到標(biāo)定場景中，并同時(shí)用相機(jī)捕獲.

提取四幅格雷碼圖像條紋邊緣的亞像素級坐標(biāo)，根據(jù)解碼得出的投影裝置圖像單元位置為約束進(jìn)行匹配，根據(jù)三角形準(zhǔn)則重建出標(biāo)定點(diǎn)的3D坐標(biāo).雙目結(jié)構(gòu)光三維測量系統(tǒng)的示意圖如圖2所示.

在實(shí)際的應(yīng)用中，由于成像系統(tǒng)噪聲和相機(jī)標(biāo)定參數(shù)誤差等的影響，兩條直線可能并不能交于一點(diǎn)，如圖3所示，這時(shí)用兩條直線中垂線的中點(diǎn)代替重建的3D點(diǎn).

圖2 雙目結(jié)構(gòu)光三維測量系統(tǒng)的示意圖Fig.2 The abridged general view of binocular structured light 3D measurement system

圖3 異面直線公垂線中點(diǎn)示意圖Fig.3 The abridged general view of crossover line

(4)

即

(5)

求解該方程可以得到：

(6)

2)常規(guī)投影裝置標(biāo)定，標(biāo)志點(diǎn)都在一個(gè)三維平面上，可以直接采用張正友方法解算投影裝置參數(shù).本文標(biāo)志點(diǎn)根據(jù)標(biāo)定場景的不同而改變，不在一個(gè)平面上，相當(dāng)于利用立體靶標(biāo)進(jìn)行標(biāo)定.

式(1)中設(shè)投影裝置外參數(shù)為[Rt]=[r1r2r3t]，設(shè)世界坐標(biāo)系坐標(biāo)M和像素坐標(biāo)系坐標(biāo)m之間的單應(yīng)性矩陣為H，則有：

sm=HM

(7)

其中H=λA[r1r2r3t]，λ為任意系數(shù).

H中的元素為

(8)

首先，根據(jù)極大似然估計(jì)準(zhǔn)則，求取單應(yīng)性矩陣H.理想情況下，世界坐標(biāo)系坐標(biāo)M和像素坐標(biāo)系坐標(biāo)m符合式(1)，但是由于提取的圖像點(diǎn)含有噪聲，M和m并不符合式(1)，假設(shè)圖像點(diǎn)坐標(biāo)的噪聲為高斯噪聲，均值為0，協(xié)方差矩陣為Λmi，則H的極大似然估計(jì)值通過最小化以下函數(shù)得到

(9)

假設(shè)h34=1，式(7)可以寫為

(10)

當(dāng)給定n個(gè)三維點(diǎn)坐標(biāo)時(shí)，有n個(gè)上面的等式，可以寫成一個(gè)矩陣等式Lx=0，L是一個(gè)2n×n個(gè)的矩陣，n≥6時(shí)，可以得到x的最小二乘解.

假設(shè)H=[h1h2h3h4]，從式(7)得到

[h1h2h3h4]=λA[r1r2r3t]

(11)

利用旋轉(zhuǎn)矩陣的正交性，可以得到

(12)

(13)

令

(14)

B是一個(gè)對稱矩陣，定義一個(gè)六維變量

b=[B11B12B22B13B23B33]T

(15)

令hi=[hi1hi2hi3]T，則有

(16)

其中

Vij=[hi1hj1hi1hj2+hi2hj1hi2hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]T

根據(jù)式(12)～(13)可得

(17)

假設(shè)拍攝了n幅場景，則V是6n×6的矩陣.如果n≥1，可以得到b的最小二乘解.一旦得到b的值，可以計(jì)算出所有投影裝置的內(nèi)參數(shù)矩陣A，根據(jù)式(3)，可以得到投影裝置與世界坐標(biāo)系之間的外參數(shù)矩陣.

為了更符合投影裝置的實(shí)際物理模型，還需要考慮投影裝置的畸變系數(shù).畸變系數(shù)的求解和張正友方法完全相同，這里不做贅述.

通過最小化下列函數(shù)來優(yōu)化上述投影裝置參數(shù)，包括投影裝置內(nèi)參數(shù)，外參數(shù)和畸變系數(shù)：

(18)

2.2 投影裝置精度驗(yàn)證

投影裝置精度驗(yàn)證，需要對對投影裝置根據(jù)其投影模型恢復(fù)投影光線.該方法根據(jù)投影裝置內(nèi)參數(shù)及相對于基準(zhǔn)鏡的外參數(shù)，按照投影裝置模型，由已知物方點(diǎn)坐標(biāo)計(jì)算其在投影像平面的理論坐標(biāo)，并與實(shí)際圖像上的位置作差比較，從而計(jì)算投影裝置標(biāo)定的像素精度.

圖4 投影裝置精度驗(yàn)證解算步驟Fig.4 The procedure of accuracy verification

像素精度可以用來衡量投影標(biāo)定的優(yōu)劣程度，來判定是否可以滿足三維重建的精度要求.

3 標(biāo)定實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文方法的實(shí)際效果，搭建了一套雙目結(jié)構(gòu)光三維重建系統(tǒng).該系統(tǒng)采用Point Gray公司的相機(jī)，分辨率是2 048×2 448，像素尺寸為3.45×3.45 mm，鏡頭焦距是8.5 mm；聞亭公司生產(chǎn)的投影裝置，分辨率是1 140×912，基線距離為400 mm左右，投影裝置距基線的前后距離為140 mm左右.

實(shí)驗(yàn)時(shí)，安置好編碼結(jié)構(gòu)光系統(tǒng)后，投影儀投射格雷碼圖案到標(biāo)定場景中去，相機(jī)同時(shí)拍攝含有格雷碼圖案的標(biāo)定場景.接著，改變標(biāo)定場景，重復(fù)以上過程，采集若干組標(biāo)定場景的圖片.

圖5 兩個(gè)攝像機(jī)拍攝的圖片F(xiàn)ig.5 Pictures taken by two cameras

由標(biāo)定原理可以看出采用該方法單個(gè)場景即可以解算出投影裝置參數(shù)，但是通過多組實(shí)驗(yàn)驗(yàn)證，單個(gè)場景解算誤差較大，不能滿足三維重構(gòu)的精度要求，下面通過實(shí)驗(yàn)驗(yàn)證標(biāo)定場景數(shù)量對標(biāo)定精度的影響，結(jié)果如表1所示.

由表1可知：隨著標(biāo)定場景數(shù)量的增加，標(biāo)定參數(shù)反算的平均誤差逐漸減小，但是由于標(biāo)定時(shí)間和計(jì)算量的限制，在實(shí)際應(yīng)用中，標(biāo)定場景的數(shù)量不宜過多，可以根據(jù)實(shí)際精度要求決定標(biāo)定場景的數(shù)量.

使用標(biāo)定平面，對此投影裝置進(jìn)行標(biāo)定，由標(biāo)定原理可知，在標(biāo)定過程中，至少需要三組標(biāo)定圖像，通過實(shí)驗(yàn)發(fā)現(xiàn)，采用七組標(biāo)定圖像，標(biāo)定誤差為△x=0.29 μm，△y=0.18 μm，與本文提出的這種方法精度相當(dāng).

利用此三維結(jié)構(gòu)光系統(tǒng)對標(biāo)準(zhǔn)件進(jìn)行測量，利用一個(gè)相機(jī)和投影裝置重建，測得深度信息誤差為

0.058 3 mm，能夠滿足結(jié)構(gòu)光測量系統(tǒng)的三維重建精度要求.

圖6 標(biāo)定平面進(jìn)行投影裝置標(biāo)定Fig.6 The calibration of projecting apparatus by using board calibration plane

場景數(shù)量fptanαu0v0k1k2平均誤差/mm31640.95.33×10-4421.97613.770.00150.67270.00480.012441696.61.17×10-4418.81574.120.0250.36400.00140.001051704.51.17×10-4417.42572.980.0230.36220.00157.0×10-461715.51.28×10-4419.41572.070.0280.22335.8×10-44.8×10-471719.41.78e-05420.17573.410.0300.17652.2×10-41.3×10-4

4 結(jié) 論

理論分析和試驗(yàn)驗(yàn)證了提出的改進(jìn)的投影裝置標(biāo)定方法具有以下特性：1)不需要標(biāo)定平面或者靶標(biāo)；2)在實(shí)際三維測量過程中，進(jìn)行投影裝置參數(shù)的標(biāo)定；3)在實(shí)驗(yàn)室中投影裝置標(biāo)定完成后進(jìn)行投影裝置參數(shù)的更新修正.

實(shí)際的標(biāo)定實(shí)驗(yàn)驗(yàn)證了這種方法可完成投影裝置參數(shù)的標(biāo)定，可隨時(shí)修正投影裝置參數(shù)并保持標(biāo)定精度滿足測量要求，且隨著標(biāo)定場景數(shù)量的增加，標(biāo)定誤差逐漸減小.

另外，分析表明可使用復(fù)雜編碼圖案進(jìn)行投影，單次投影即可完成對一個(gè)場景的標(biāo)定，提高攝影機(jī)標(biāo)定的效率.

參 考 文 獻(xiàn)

[1] COX G. On-orbit satellite servicing study[R]. NASA Internal Project report, 2010.10:411-416.

[2] MARTIN D H, ANDERSON P R, BARTAMIAN L. Communication satellites[D]. AIAA Aerospace Press Series, 5th edition, Reston, VA., 2007:227-230.

[3] 李中偉，史玉升，鐘凱，等. 結(jié)構(gòu)光測量技術(shù)中的投影儀標(biāo)定算法[J]. 光學(xué)學(xué)報(bào)，2009，29(11):15-21.

LI Z W，SHI Y S， ZHONG K， et al.Projector calibration algorithm for the structured light measurement technique[J].Acta Optica Sinica，2009，29(11):15-21.

[4] 符紅. 結(jié)構(gòu)光投影三維輪廓測量系統(tǒng)的標(biāo)定[D].杭州：浙江大學(xué)，2013.

FU H. The calibration of structured-light 3-D measurement system[D].Hang Zhou：Zhejiang University，2013.

[5] 王中任，萬仁全，劉亞俊. 基于最優(yōu)匹配區(qū)域的結(jié)構(gòu)光系統(tǒng)的投影儀標(biāo)定[J]. 光學(xué)學(xué)報(bào)，2016，46(3)：37-43.

WANG Z R, WAN R Q, LIU Ya J.Projector calibration of structured light system based on optimal matching area[J]. Acta Optica Sinica，2016，46(3)：37-43.

[6] ZHANG.Z Y. A flexible new technique for camera calibration[J]. IEEE Journal of Pattern Anlysis and Machine Intelligence,2000,22(11):1330-1334.

[7] 張光澄．非線性最優(yōu)化計(jì)算方法[M]．北京：高等教育出版社，2005.

[8] ZHANG．Z.TOWERS E，TOWERS D P．Simple calibration of a phase-based 3D imaging system based on uneven fringe projection[J]．Optics Letters，2011,36(5)：627-629．

[9] 王偉華，孫軍華，劉震，等．鋼軌磨耗動態(tài)測量結(jié)構(gòu)光條紋中心提取算法[J]．激光與紅外，2010,40(1):87-90.

WANG W H, SUN J H， LIU Z, et al. Stripe center extrication algorithm for structured-light in rail wear dynamic measurement[J]. Laser & Infrared，2010,40(1):87-90.