一種非合作目標模型快速測量方法

，，，*，

1. 北京控制工程研究所，北京 100190 2. 中國空間技術(shù)研究院，北京 100094

衛(wèi)星在軌任務(wù)失敗、燃料耗盡等都需要利用空間機械臂進行在軌服務(wù)來減少經(jīng)濟損失[1]，目前，已完成的無人控制的技術(shù)驗證任務(wù)都是針對合作目標。非合作目標的在軌服務(wù)仍然面臨很多挑戰(zhàn)，其中一個關(guān)鍵問題是如何精確獲得動態(tài)自旋非合作目標的三維信息[2-3]。服務(wù)航天器跟蹤、接近和捕獲目標時，需要快速獲取目標衛(wèi)星局部模塊的精密3D輪廓。

失效衛(wèi)星一般處于高速自旋狀態(tài)，常規(guī)激光成像雷達由于掃描間隔較長不適合高速動態(tài)目標；FLash Lidar 存在面陣小、分辨率低且器件難以獲得的問題；雙目視覺系統(tǒng)不適合對稱、特征有限的目標，同名點匹配的效率和可靠性較低；編碼結(jié)構(gòu)光具有自動化程度高、速度快、精度高等特點，因此，編碼結(jié)構(gòu)光是當前一種非常有效的解決方案。

可以把結(jié)構(gòu)光圖像編碼的方案分為3個類別[3]：順序投影圖案；彩虹或者色碼投影；復(fù)雜的空間編碼圖案。文獻[4]首先提出格雷碼與相移法相結(jié)合的方法，解決了周期信號二義性問題，同時得到較高的空間分辨率，但是這種方法需要投影多幅圖案，不能快速獲取高速運動的非合作目標的三維輪廓。文獻[5]提出一種彩色條紋自適應(yīng)編碼方法，但是采用彩色相機，對設(shè)備要求較高，復(fù)雜的空間環(huán)境加大了顏色分辨的難度，這種方法難以在軌實現(xiàn)?？紤]到投影的圖片數(shù)量只有一幅，文獻[6]使用基于6值3次De Bruijn序列來生成水平彩色條紋圖案，這種方法雖然可以滿足快速性的要求，但是仍然采用彩色條紋，實現(xiàn)難度較大。

本文提出一種改進的De Bruijn序列編碼方法，采用黑白單色條紋，可以快速進行條紋位置的定位，且不需要進行顏色分辨；基于極線約束原理，只需要對投影的行數(shù)或者列數(shù)進行編碼；利用單目聯(lián)合投影裝置系統(tǒng)，在確定條紋邊緣的過程中解碼，不需要提前進行極線校正和畸變校正，直接重建出物體的三維信息。計算量較小，提高了重建速度。

1 相機和投影裝置成像模型

圖1為相機坐標系，由相機的小孔成像模型，利用投影關(guān)系，得到相機圖像物理坐標系和相機坐標系之間的關(guān)系：

(1)

式中：(xc,yc)為像點在像平面坐標系中的坐標；fc為相機焦距；(Xc,Yc,Zc)為物方點在相機坐標系中的坐標。

圖1 相機坐標系Fig.1 Camera coordinate system

投影裝置的光線方向和相機的光線方向相反，把投影裝置看作一個逆向的相機，采用和相機相同的物理模型來描述，得到投影裝置圖像物理坐標系和投影裝置坐標系之間的關(guān)系：

(2)

式中：fp為投影裝置焦距；(Xp,Yp,Zp)為物方點在投影裝置坐標系中的坐標。

由于制造誤差，相機和投影裝置都具有畸變，在三維重建的過程中，為了使精度更高，需要對相機單元和投影裝置單元進行畸變校正。畸變主要包括徑向畸變和偏心畸變。

鏡頭徑向畸變使像點沿徑向產(chǎn)生偏差。徑向畸變是對稱的，對稱中心與主點并不完全重合，但通常將主點視為對稱中心。徑向畸變有正有負，相對主點向外偏移為正，向內(nèi)偏移為負。徑向畸變可用奇次多項式表示：

Δr=K1r3+K2r5+K3r7+…

(3)

將其分解到像平面坐標系的x軸和y軸上，則有：

(4)

透鏡組中心偏離主光軸而產(chǎn)生偏心畸變。偏心畸變使像點既產(chǎn)生徑向偏差又產(chǎn)生切向偏差：

(5)

將其分解到像平面坐標系的x軸和y軸上，則有：

(6)

式中：P1、P2為偏心畸變系數(shù)。

綜上所述，像點的系統(tǒng)性誤差是徑向畸變和偏心畸變引起的畸變總和：

(7)

對于單目結(jié)構(gòu)光系統(tǒng)來說，重建系統(tǒng)的三維坐標，還需要知道相機和投影裝置之間的位置和姿態(tài)。通過系統(tǒng)標定，已知相機和投影裝置的外部參數(shù)分別為Rc和Rp，Tc和Tp，這兩組外部參數(shù)都是以世界坐標系為基準的，整理可以得到投影裝置坐標系和相機坐標系之間的關(guān)系：

(8)

得到物方點在投影裝置坐標系和相機坐標系之間坐標的關(guān)系：

(9)

2 單目編碼結(jié)構(gòu)光快速方法

2.1 極線約束

在雙目立體視覺中，極線幾何對兩個照相機平面的幾何關(guān)系進行了討論，投影裝置的投射過程和相機的成像過程相反，因此可以把投影裝置看作一個逆向的相機，采用和相機相同的物理模型來描述，照相機像平面和投影裝置像平面也有相同的幾何關(guān)系?？紤]一點P，通過光學中心Op和OC分別在投影裝置和照相機像平面上所成的像為P1和P2。這5個點都位于2條相交光線OpP和OCP所形成的外極平面上。特別地，P1位于該平面和投影裝置像平面的交線l1上，直線l1是和點P相關(guān)聯(lián)的外極線，它經(jīng)過點e1。e1是連接兩個光學中心Op和OC的基線和投影裝置像平面的交點，同樣，點P2位于與點P1關(guān)聯(lián)的直線上，且該直線經(jīng)過基線與照相機像平面的交點e2。當點P在極線l1和l2組成的平面上運動時，它在相機和投影裝置像平面的投影仍落在極線l1和l2上。

圖2 外極線約束Fig.2 Epipolar-slope constraint

如圖2所示，點e1和e2稱為兩個攝像機的外極點[7,8]，外極點e1是投影裝置像平面中照相機的光學中心OC的投影，反之亦然。如上文所述，如果P1和P2是同一個點的不同像點，那么P1一定位于與P2相關(guān)聯(lián)的外極線上。這就是立體幾何中的外極線約束，通過這種約束，只能找到對應(yīng)的外極線，不能找到對應(yīng)點的具體位置。外極線約束把兩幅圖像上點之間的匹配關(guān)系從二維限制到一維，極大減小了搜索范圍，是單目結(jié)構(gòu)光系統(tǒng)三維重建的基礎(chǔ)。在結(jié)構(gòu)光編碼的過程中，可以只對行數(shù)或者列數(shù)信息進行編碼，減少了投影圖片的數(shù)量。

2.2 黑白De Bruijn序列編碼圖案

結(jié)合上文所述的極線約束，投影圖案只需要對行位置或者列位置進行編碼，不需要采用空間網(wǎng)格編碼的方式，相當于降低了編碼的復(fù)雜性。空間的特殊復(fù)雜環(huán)境，比如表面反射率不均勻，能夠從拍攝的圖像中區(qū)分出不同像素單元灰度值、不同要求投影的編碼圖案灰度差較大，使得編碼時條紋可以選擇的灰度值數(shù)量較少。用有限的灰度值構(gòu)造盡可能多不同的編碼列數(shù)(或行數(shù))，選擇De Bruijn序列編碼。

De Bruijn序列是一種循環(huán)序列[9]。k個不同的字符，秩為n，可以排成長度為kn的字符串圓周，當繞這個圓周旋轉(zhuǎn)一周時，長度為n將會出現(xiàn)kn個不同的單詞，這個字符串圓周對應(yīng)的序列稱為基于k個符號的n次De Bruijn序列。圖3是De Bruijn圓周的一個簡單例子：n=3，k=2(字符為0和1)。當沿著這個圓周運動，將會依次遇到23=8個數(shù)字圖案000，001，010，011，100，101，110，111每個只出現(xiàn)一次。在一定程度上，這個圓周非常有效的編碼24位數(shù)字信息只用了8位[10]。在這個序列中，沒有重復(fù)的三位數(shù)字圖案。換句話說，任何一個序列都不可能和這個序列中其他序列對應(yīng)。De Bruijn序列這個獨特的特點可以用來重建條紋圖案，每一個都有獨特的形式圖案彼此互不重復(fù)。這樣的獨特性讓圖案解碼變得非常簡單。

為了進一步提高編碼對空間環(huán)境的適應(yīng)性，可選元素中只選擇黑白兩種元素，在De Bruijn序列編碼長度較長的情況下[11]，要求編碼次數(shù)較高，這就需要通過判斷條紋寬度來解碼，但是條紋寬度還受目標物體的形狀影響，提高了解碼的難度。

圖3 n=3，k=2時的De Bruijn序列Fig.3 De Bruijn sequence

因此，本文提出一種方法，以兩種不同比例的黑白條紋作為編碼的基本單元，如圖4所示，主要優(yōu)點如下：

條紋模板中使用的顏色是黑色和白色，這樣無需考慮攝像機和投影儀的顏色失真問題和顏色識別算法，算法復(fù)雜性降低，也不容易受到環(huán)境光或者待測物體表面顏色信息的影響，抗干擾能力增強；顏色的對比度高，后續(xù)解碼的過程中條紋邊緣更易檢測；編碼圖案黑白條紋寬度之和是相等的，即條紋存在著規(guī)律性，降低了投影儀圖案和相機圖案匹配的難度。

采用圖4所示的編碼基本單元，利用2元3次De Bruijn序列，設(shè)計的編碼圖案如圖5所示。該編碼圖案原理簡單，易于實現(xiàn)，能夠?qū)崿F(xiàn)高精度稠密深度數(shù)據(jù)的獲取。

圖4 編碼基本單元0和1Fig.4 Basic unit of coding

圖5 黑白De Bruijn序列編碼圖案Fig.5 Black-and-white coding patterns of De Bruijn sequence

2.3 物體表面三維信息的計算

在解碼的過程中，采用閾值法和灰度矩法確定條紋邊緣的位置。

綜合考慮式(1)(2)和(9)，Xc、Yc、Zc、Xp、Yp、Zp和yp是未知的，而這三式中有7個線性無關(guān)的方程，聯(lián)立這三式，可唯一地確定被測點在相機坐標系和投影裝置坐標系中的三維坐標。

式(1)(2)中的xc、yc和xp需要進行畸變校正，相機物理像平面的坐標(xc，yc)校正根據(jù)校正公式(7)即可，根據(jù)畸變模型[12]，畸變校正需要知道像素單元距離中心的距離，而我們只知道投影裝置單元的列數(shù)信息，無法直接根據(jù)校正公式(7)進行畸變校正，本文提出一種多次迭代的方法進行投影裝置單元校正。

(10)

(11)

3 試驗結(jié)果

如圖6所示，單目編碼結(jié)構(gòu)光系統(tǒng)采用單相機和投影裝置的組合，相機的分辨率為2 048×2 448，投影裝置的分辨率為912×1 140，待測目標位于系統(tǒng)前0.5 m左右。

考慮非合作目標三維輪廓測量的特殊要求，首先目標高速運動[13]，要求測量時間短；其次為了進一步實現(xiàn)非合作目標的在軌服務(wù)，要求測量精度高；再次空間目標表面材料反射率不均勻，且經(jīng)常伴有高光現(xiàn)象，不適合利用灰度值或顏色進行三維重建。

圖6 系統(tǒng)實物Fig.6 Physical map of the system

首先應(yīng)用平面靶標和標定平面完成相機和投影裝置的標定[14-17]，用Matlab生成上文提出的黑白De Bruijn序列編碼圖案，通過投影裝置投射到待測目標上，附加編碼圖像的條紋由照相機同步進行拍攝，計算機對圖片進行處理，通過單幅編碼圖案和圖片就可以計算出物體表面的三維信息。針對白色海盜雕塑目標，得到的三維信息如圖7所示(坐標系為投影裝置坐標系，單位為mm)。

圖7 白色海盜雕塑重建結(jié)果Fig.7 Reconstructed results of the sculpture

為了進一步驗證這種方法可以應(yīng)用于非合作目標的快速三維測量，以1∶6的衛(wèi)星模型為重建目標，如圖8(a)所示，圖8(b)是測量過程中相機拍攝的圖片，圖9(a)是相機圖片處理過程中的有效單元，可以看出金色的遮光材料導(dǎo)致的高光問題在一定程度上影響了重建結(jié)果。得到的三維信息如圖9(b)所示，點云能夠直接反應(yīng)出衛(wèi)星白色天線部分的結(jié)構(gòu)。

利用此單目結(jié)構(gòu)光系統(tǒng)對標準件進行測量，測得深度信息誤差為0.058 3 mm，能夠滿足結(jié)構(gòu)光測量系統(tǒng)的三維重建精度要求。

以上試驗證明，系統(tǒng)使用高速相機，采集圖像時間較短，單幅圖像即可進行重建，同時只采用黑白單色條紋，在空間環(huán)境中抗干擾能力強，速度和精度都能滿足非合作目標的三維測量要求。

圖8 衛(wèi)星模型實物與相機拍攝的附有投影編碼的衛(wèi)星模型Fig.8 Satellite model and photo with coding pattern by camera

圖9 處理過程中和衛(wèi)星模型的有效單元Fig.9 Effective unit during image processing and reconstructed results of satellite model

4 結(jié)束語

本文提出了一種改進的黑白De Bruijn序列編碼方案，與傳統(tǒng)的De Bruijn彩色條紋編碼方案不同，采用黑白單色條紋，降低了對設(shè)備的要求，更能適應(yīng)空間復(fù)雜的反射環(huán)境，同時保留了De Bruijn編碼單幅圖案就可以進行重建的優(yōu)點；利用極線約束，只對行數(shù)或者列數(shù)進行編碼，進一步降低了編碼的復(fù)雜性；在單目編碼結(jié)構(gòu)光的測量過程中，應(yīng)用文中提出的匹配重建算法，在確定條紋邊緣的過程中進行解碼，不需要事先進行極線校正；創(chuàng)新性地采用迭代的方法進行三維重建，在迭代的過程中對投影儀投影圖片進行畸變校正，不需要對圖片進行預(yù)處理，減少了計算量，同時提高了重建精度，算法更加簡單，效率更高。試驗結(jié)果表明采用這種方法，深度信息誤差為0.058 3 mm，可以滿足高速運動的非合作目標的三維測量要求。該方法可用于衛(wèi)星局部模塊3D輪廓的快速獲取，幫助服務(wù)航天器快速有效地跟蹤、接近和捕獲目標。

References)

[1] NASA. On-orbit satellite servicing study，NASA 10-204001[R]. NASA Internal Project Report，2010.

[2] MARTIN D H，ANDERSON P R，BARTAMIAN L. Communication satellites[M]. 5th Edition. Reston：Aerospace Press Series，2007.

[3] YANG R，CHENG S，YANG W，et al. Robust and accurate surface measurement using structured light [J]. IEEE Trans. Instrumentation and Measurement，2008，57(6)：1275-1280.

[4] BERGMANN D. New approach for automatic surface reconstruction with coded light[C]∥Proceedings of Remote Sensing and Reconstruction for Three- Dimensional Objects and Scenes，SPIE，San Diego，CA，1995，2572：2-9.

[5] THOMAS P KONINCKX，LUC VAN GOOL. Real-time range acquisition by adaptive structured light[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2006，28(3)：432-445.

[6] DAVID A. FORSYTH，JEAN PONCE．計算機視覺：一種現(xiàn)代方法[M]．北京：電子工業(yè)出版社，2004：6．

[7] 趙慧潔，雷炎章，姜宏志．基于投影柵相位的立體匹配方法[C]∥第十三屆圖形圖像會議論文集，2006：496-500．

ZHAO H J，LEI Y Z，JIANG H Z. Depth measurement based on projected grating phrase[C]∥，2006：496-500(in Chinese)．

[8] 關(guān)芳芳，程筱勝. 基于極線校正的相移結(jié)構(gòu)光三維測量[J]. 南京工程學院學報(自然科學版)，2014，6(9)：37-45.

GUAN F F，CHENG X S. Three-dimensional structured-light measurement based on epipolar-slope constraint[J]. Journal of Nanjing Institute of Technology (Natural Science Edition),2014，6(9)：37-45(in Chinese).

[9] JASON G. DLP-based structured light 3D imaging techno-logies and applications[C]∥SPIE MOEMS-MEMS,Inter-national Society for Optics and Photonics，2011,7932:10.

[10] 陳石平，畢婭，李曉星，等. 亞像素條紋邊緣提取技術(shù)在型面測量上的應(yīng)用[J]. 北京航空航天大學學報，2006，32(8)：94-101.

CHEN S P，BI Y，LI X X，et al. The technique of sub-pixel stripes distinguish on the surface measurement[J]. Journal of Beijing University of Aeronautics and Astronautics，2006，32(8)： 94-101(in Chinese).

[11] 陳彥軍. 基于編碼結(jié)構(gòu)光的三維重建關(guān)鍵技術(shù)研究[D]. 哈爾濱：哈爾濱工業(yè)大學，2012.

CHEN Y J. Research on key technologies for 3D Reconstruction based on coded structured light[D]. Harbin：Harbin Institute of Technology，2012(in Chinese).

[12] 李明磊，高欣圓，李廣云，等. 地面三維激光掃描儀與外架數(shù)碼相機間安置參數(shù)的高精度標定[J]. 光學精密工程，2016，24(9)：2158-2166.

LI M L，GAO X Y，LI G Y，et al. High accuracy calibration of installation parameters between 3D terrestrial laser scanner and external-installed digital camera[J]. Optics and Precision Engineering，2016，24(9)：2158-2166(in Chinese).

[13] 于洋，王世勇，蹇毅，等. 面陣探測器連續(xù)掃描成像光學系統(tǒng)[J]. 紅外與激光工程, 2016，45(S4)：120-126.

YU Y，WANG S Y，JIAN Y，et al. Realization of an optical system based on continuous-scan focal plane array[J]. Infrared and Laser Engineering，2016，45(S4)：120-126(in Chinese).

[14] 梁斌，高學海，徐文福. 基于結(jié)構(gòu)光的空間大目標特征重構(gòu)與位姿測量[J]. 中國空間科學技術(shù),2014, 34 (5)：24-31.

LIANG B，GAO X H，XU W F，et al. Feature Reconstruction and pose determination for large space target based on point structured light[J]. Chinese Space Science and Technology，2014，34 (5)： 24-31(in Chinese).

[15] ZHOU F，ZHANG G. Complete calibration of a struc-tured light vision sensor through planar target of unknown orientations[J].Image and Vision Computing，2005，23(1)：59-67.

[16] YANG R Q，WEI S C，CHEN Y Z，et al. Robust and accurate surface measurement using structured light[J]. IEEE Tans. Instrumentation and Measurement，2008，57(6)：1275-1280.

[17] CHEN Y J，WANG K Q，ZUO W N，et al. Coded structured light stripe boundary location with sub-pixel accuracy based on weighted centroid method[J]. Journal of Biological Systems，2010，1(18)：35-49.