空間機械臂可見光測量相機參數(shù)標定技術研究

譚啟蒙 賈馨 陳磊 張運 蔡錚

?

空間機械臂可見光測量相機參數(shù)標定技術研究

譚啟蒙1賈馨2陳磊1張運1蔡錚1

（1 空間智能機器人系統(tǒng)技術與應用北京市重點實驗室，北京空間飛行器總體設計部，北京 100094） （2 北京空間機電研究所，北京 100094）

空間機械臂可見光測量相機參數(shù)標定是制約空間合作目標三維位姿測量精度的關鍵技術和重要前提，它直觀表征了視覺標記三維坐標與對應的二維圖像坐標之間正確的映射函數(shù)。針對現(xiàn)有相機內(nèi)外參標定方法操作步驟繁瑣、積累誤差大、標定精度低等工程問題，文章提出一種空間機械臂可見光測量相機內(nèi)外參標定方法，引入高精度二維棋盤格標定靶與基準鏡共同作為轉(zhuǎn)換中介，且在相機有效觀測視場內(nèi)隨意移動標定靶，分布式解算相機內(nèi)參和外參。試驗表明，相機內(nèi)參離散度均不超過±0.3像元，角點重投影誤差均不超過±0.5像元；外參六自由度分量標準差均不超過（0.6mm，0.05°）。上述標定方法具有較強的可操作性，極大簡化了坐標轉(zhuǎn)換計算復雜性，有效降低了標定過程中產(chǎn)生的積累誤差，為機械臂實施視覺閉環(huán)自主捕獲合作目標提供了可靠依據(jù)。

可見光測量相機 內(nèi)外參標定 平面標定靶 基準鏡 空間機械臂

0 引言

近年來，伴隨著人工智能技術的異軍突起，空間機械臂[1]已經(jīng)逐步發(fā)展成為航天科技領域不可或缺的重大關鍵技術之一，尤其是對在軌服務、深空探測等方面具有舉足輕重的研究意義。截止目前，國外成功案例主要包括：加拿大航天飛機遙操作機械臂SRMS[2]、加拿大國際空間站遙操作機械臂SSRMS[3-4]、歐洲臂ERA[5]、日本實驗艙機械臂JEMRMS[6]、日本試驗衛(wèi)星機械臂ETS-VII[7-9]和美國“軌道快車”機械臂[10]等，主要完成艙段對接、貨物搬運、設備拆裝、輔助航天員出艙、國際空間站在軌建設等。

相比于以往各類航天器攜帶的多種載荷相機，機械臂可見光測量相機[11]（簡稱相機）不僅兼顧監(jiān)視、觀測功能，還新增了對空間合作目標[12]進行目標檢測識別以及三維位姿測量功能，為機械臂末端機構完成目標捕獲提供可靠依據(jù)。內(nèi)外參標定技術作為目標位姿測量的重要環(huán)節(jié)之一，其關鍵在于準確獲取表征相機光學成像模型的內(nèi)部參數(shù)以及描述相機與末端之間相對位置的外部參數(shù)，這是實現(xiàn)目標位姿精確測量的基本前提和重要保障。

傳統(tǒng)的內(nèi)外參標定技術將內(nèi)參標定與外參標定劃分為兩個獨立的部分。內(nèi)參標定方面，加拿大遙操作機械臂SRMS視覺系統(tǒng)SVS（Space Vision System）提出一種基于圓型標記點陣列圖案靶標的相機內(nèi)方位元素標定方法[13-14]，該方法具有較高的標定精度，但計算過程繁瑣，容易引起參數(shù)解的不穩(wěn)定性。歐洲臂ERA[15]對比分析了柵格型、棋盤格型、圓點陣列型等多種靶標圖案設計，指出棋盤格型標定靶設計標定結果明顯優(yōu)于其他圖案設計。

外參標定的關鍵是選用何種坐標轉(zhuǎn)換基準，妥善構建相機透鏡組三維光學坐標系與機械臂末端三維結構坐標系之間的映射函數(shù)。加拿大的SRMS/ SSRMS以及專用靈巧臂SPDM等關鍵機構表面均粘貼若干圓型標記[16]，標記點直徑占據(jù)相機視場約10~15個像元，粘貼厚度約1mm，且選用一種雙層結構的特殊材料：上層是二氧化硅，下層是鎳鋁合金。一方面，利用經(jīng)緯儀等精密測量儀器精測各標記點在不同結構坐標系下的三維坐標值；另一方面，利用相機觀測上述標記點，精確測算出其在相機坐標系下的三維坐標值。然而，上述方式往往對標記材料、膠粘工藝等環(huán)節(jié)要求很高，以確保標記自身基準不變性。由于國內(nèi)在材料研制、膠粘工藝等環(huán)節(jié)仍與國際先進水平存在一定差距，往往導致加工鏈路中產(chǎn)生較大誤差而難以消除。

針對傳統(tǒng)相機內(nèi)外參標定技術存在的操作步驟繁瑣、積累誤差大、標定精度低等工程問題，本文提出了一套空間機械臂可見光測量相機內(nèi)外參標定方法，利用黑白棋盤格圖案的高精度二維標定靶與基準鏡相結合共同作為坐標轉(zhuǎn)換中介，代替國際空間站普遍采用的高精度標記點，還可在相機有效觀測視場內(nèi)隨意移動標定靶，利用經(jīng)緯儀等精測設備作為精測基準，分步解算表征相機成像模型的內(nèi)參及其相對于機械臂末端的外方位參數(shù)。

1 基于可見光測量的機械臂捕獲目標位姿測量原理

圖1為機械臂末端執(zhí)行器表面固定安裝可見光測量相機示意，空間合作目標表面安裝有已知棋盤格圖案特征的視覺標記。

圖1主要涉及4個坐標系：相機坐標系（C-CCC）以相機光心C為坐標系原點，C軸表示像平面水平坐標軸，正方向指向左側，C軸表示像平面垂直坐標軸，正方向指向上方，根據(jù)右手定則，C軸為相機光軸，正方向指向外側；基準鏡坐標系（M-MMM）以基準鏡中心M為坐標系原點，規(guī)定M軸平行于相機坐標系C軸，且二者正方向一致，規(guī)定M軸平行于相機坐標系C軸，且二者方向一致，M軸則由右手定則確定；末端執(zhí)行器坐標系（E-EEE）和目標坐標系（W-WWW）定義方式與之完全類似，這里將不再贅述。

式中為表征相機光學成像模型的內(nèi)參矩陣，包括有效焦距、主點坐標、畸變系數(shù)等；CW和CW分別為旋轉(zhuǎn)矩陣和平移向量，客觀描述了目標坐標系相對于相機坐標系之間的位姿關系；（，）主要通過對采集圖像信息進行亞像元圖像特征點中心定位算法檢測得到；[W，W，W]T通常利用第三方精密測量儀器精測得到。

為使機械臂末端執(zhí)行器能夠準確捕獲到合作目標，需要精確估計末端執(zhí)行器坐標系與目標坐標系之間準確可靠的相對位置關系，計算公式為

式中EW，EW，EM，EM，MC，MC分別表示末端執(zhí)行器與目標、末端執(zhí)行器與基準鏡、基準鏡與相機之間的坐標系轉(zhuǎn)換關系。其中，EW，EW是最終待求解未知量，其結果可直接用于引導機械臂末端執(zhí)行器逐步靠近目標實施精確捕獲；末端執(zhí)行器與基準鏡之間的相對位置關系EM，EM由三坐標測量機等第三方精密儀器預先精測得到，視為已知常系數(shù)；而MC，MC構成相機外參，表征基準鏡坐標系至相機坐標系之間的相對位置關系。

2 相機內(nèi)外參標定

相機內(nèi)外參標定技術主要解算以下兩項參數(shù)：

1）表征相機光學成像模型的內(nèi)部矩陣；

2）表征相機與末端之間相對位置的外部參數(shù)，主要涉及MC，MC。

圖2為相機內(nèi)外參標定布局示意。

結合圖2所示，相機內(nèi)外參標定方法主要包括以下步驟：

其中，電子經(jīng)緯儀三維測量系統(tǒng)坐標系T-TTT定義以其中兩臺經(jīng)緯儀瞄準連線中點T為坐標系原點，規(guī)定T軸平行于基準鏡坐標系M軸，且二者正方向一致；規(guī)定T軸平行于基準鏡坐標系M軸，且二者方向一致；T軸則由右手定則確定。

步驟二，圖2中P-PPP為平面標定靶坐標系，順序選取標定靶黑白棋盤格圖案中的6個紅色十字角點并記錄各點在標定靶坐標系下的坐標值（Pi，Pi，Pi）T，（=1，2，3，…，6）；規(guī)定平面標定靶坐標系P-PPP以棋盤格左上角十字格點P為坐標系原點，規(guī)定P軸平行于基準鏡坐標系M軸，且正方向豎直向下；P軸平行于基準鏡坐標系M軸，且正方向水平向右；P軸則遵循右手定則。

步驟三，保持相機固定不動，代入相機視場角計算相機最遠距離處的最大觀測范圍，由于上述標定靶尺寸難以覆蓋相機最大觀測范圍，就需要將相機觀測視場進行劃分，見圖3。將標定靶沿P軸方向依次移動至若干指定的標定位置，確保能夠覆蓋最近、最遠位姿測量距離；針對圖3中的每個視場區(qū)域，標定靶順序擺放7種姿態(tài)（見圖4），分別為正視（標定板平面與相機光軸垂直）、向左偏擺（約30°）、向右偏擺（約30°）、向前傾斜（約15°）、向后傾斜（約15°）、向左旋轉(zhuǎn)（約45°）、向右旋轉(zhuǎn)（約45°）；

步驟四，當標定靶固定在某一位置姿態(tài)處，執(zhí)行以下操作：

1）使用經(jīng)緯儀順序觀測標定板中的紅色十字角點，精確測得每個十字角點在電子經(jīng)緯儀三維測量系統(tǒng)坐標系中的三維坐標值（Ti，Ti，Ti）T，（=1，2，3，…，6）；

2）根據(jù)步驟一的精測旋轉(zhuǎn)矩陣MT和平移向量MT，計算出各紅色十字角點分別在基準鏡坐標系下的坐標值（Mi，Mi，Mi）T，（=1，2，3，…，6）；

4）根據(jù)上述旋轉(zhuǎn)矩陣CP和平移向量CP，計算出各紅色十字角點分別在相機坐標系下的三維坐標值（Ci，Ci，Ci）T，（=1，2，3，…，6）；

5）結合步驟2）和步驟4）的計算結果，利用SVD（Singular Value Decomposition）分解法[17]，計算出從基準鏡坐標系至相機坐標系之間的旋轉(zhuǎn)矩陣MC和平移向量MC；

并轉(zhuǎn)換成三個位置量{t，t，t}和三個旋轉(zhuǎn)角{，，}等六自由度表示形式

式中，，分別為基準鏡坐標系M-MMM繞M軸、M軸、M軸的旋轉(zhuǎn)角，旋轉(zhuǎn)角正方向規(guī)定圍繞各坐標軸逆時針旋轉(zhuǎn)方向（遵循右手定則，拇指指向坐標軸正方向）；

步驟五，重復執(zhí)行步驟三、四操作，直至標定靶沿P軸方向依次移動至全部標定位置為止，完成下列操作：

1）利用基于黑白棋盤格圖案的平面靶標定方法[18-19]，分別計算得出相機的等效焦距、主點坐標以及畸變系數(shù)（含三階徑向畸變、二階切向畸變）等內(nèi)參；

3 試驗結果與分析

實驗室環(huán)境下，基于MATLAB軟件仿真平臺，對空間機械臂末端執(zhí)行器固定安裝的可見光測量相機開展內(nèi)外參標定試驗，主要目的是：

1）求解等效焦距、主點坐標和畸變系數(shù)等相機內(nèi)參；

2）求解從基準鏡坐標系至相機坐標系（M-MMMC-CCC）之間的轉(zhuǎn)換關系，包括旋轉(zhuǎn)矩陣MC和平移向量MC；

試驗使用的平面標定靶黑白棋盤格的加工精度是0.05mm；采用3臺Leica 5100電子經(jīng)緯儀建立三維測量坐標系，建站精度為0.01mm，基準鏡瞄準精度達0.02mm，則空間點位三維測量精度均優(yōu)于0.04mm；用于改變平面標定靶位姿的六自由度調(diào)整機構的位置平移誤差優(yōu)于±0.5mm，姿態(tài)角度誤差優(yōu)于±0.1°。

試驗過程具體如下：

1）在平面標定靶的黑白棋盤格圖案中，人為選定涵蓋棋盤格最大外包絡且對稱分布的6個十字角點標記為紅色，具體站位布局見圖5。

2）沿相機坐標系C軸方向，預先定義相機外參標定測量工況依次為：300mm，500mm，700mm，900mm，1 100mm，1 300mm。

3）相機固定安裝在光學氣浮平臺上的安裝支架上，保持相機位姿不變，平面標定靶隨6自由度調(diào)整機構移動至指定的測量工況處，相機實時采集標定靶圖像，利用改進型Harris角點探測器準確提取所有十字角點的二維亞像元坐標值，基于黑白棋盤格圖案的平面靶標定方法，分別計算得出的相機等效焦距、主點坐標以及畸變系數(shù)（含三階徑向畸變、二階切向畸變）等內(nèi)參標定結果，具體如表1所示。

表1 相機內(nèi)參標定數(shù)據(jù)

Tab.1 Experimental result for camera calibration of intrinsic parameters

4）標定靶中預先指定的各紅色十字角點分別在標定靶坐標系、基準鏡坐標系及相機坐標系下的三維坐標值，見表2。

根據(jù)表2數(shù)據(jù)，即可計算出相機在不同測量工況的外參結果，以6自由度形式表示，見表3。

5）將表3所列相機外參結果取平均值并代入式（7），即可作為相機外參標定結果。

表2 標定靶選取點在不同坐標系下的三維坐標

Tab.2 3D coordinates of 6 specified cross corners in different coordinate systems mm

表3 不同測量工況計算出的相機外參結果

Tab.3 Calibrated results of extrinsic parameters calculated in different specified positions

經(jīng)分析，表1列出的相機內(nèi)參數(shù)據(jù)離散度均不超過±0.3像元，標定靶十字角點重投影誤差均不超過±0.5像元，相機鏡頭畸變系數(shù)的不確定度均優(yōu)于0.0003，可忽略不計；表3所列的相機外參6自由度分量標準差均不超過（0.6mm，0.05°）。該方法既能保證較高的標定精度，又能簡化目標函數(shù)的計算難度，且具有很強的可操作性，極大地簡化了多次坐標轉(zhuǎn)換復雜性，有效降低計算過程中產(chǎn)生的積累誤差，可使標定精度提高至少一個數(shù)量級。

4 結論

空間機械臂末端執(zhí)行器配置可見光測量相機本質(zhì)上都是對已知圖案特征的視覺標記單幀圖像，實時估計空間合作目標的三維位置姿態(tài)等信息。相機參數(shù)標定作為不可或缺的重要環(huán)節(jié)，標定結果將直接影響目標位姿測量的精度水平。為解決現(xiàn)有相機內(nèi)外參標定技術存在的操作步驟繁瑣、積累誤差大、標定精度低等工程問題，本文提出了空間機械臂可見光測量相機內(nèi)外參標定方法：內(nèi)參標定借助一種包含黑白棋盤格圖案的高精度二維平面靶，可在相機有效觀測視場范圍內(nèi)任意運動（含平移、旋轉(zhuǎn)等），分步計算表征相機成像模型的內(nèi)參；外參標定，將黑白棋盤格平面靶與基準鏡相結合共同作為坐標轉(zhuǎn)換中介，引入第三方精測設備，求解相機坐標系相對于末端執(zhí)行器的外方位參數(shù)。試驗結果表明，相機內(nèi)參離散度均不超過±0.3像元，角點重投影誤差均不超過±0.5像元；外參6自由度分量標準差均不超過（0.6mm，0.05°）。上述標定方法具有很強的可實施性，精簡了標定操作步驟，減小由多次坐標轉(zhuǎn)換計算產(chǎn)生的積累誤差，為機械臂實施視覺閉環(huán)自主捕獲合作目標提供可靠依據(jù)。

[1] 林益明, 李大明, 王耀兵, 等. 空間機器人發(fā)展現(xiàn)狀與思考[J]. 航天器工程, 2015, 24(5): 1-7. LIN Yiming, LI Daming, WANG Yaobing, et al. Current Status and Analysis of Space Robot[J]. Spacecraft Engineering, 2015, 24(5): 1-7. (Chinese)

[2] ASKER J R. Canada Gives Station Partners a Hand and an Arm[J]. Aviation Week & Space Technology, 1997, 147(23): 71-73.

[3] GRAHAM G, SACHDEV S. Canada and the International Space Station Program Overview and Status[C]//Montreal, Canada, Canadian Space Agency, 54th International Astronautical Federation (IAF). Bremen, Germany, 2003.

[4] SCOTT B N. Singularity Analysis of the Canadarm2[J]. Mechanics and Machine Theory, 2007, 42(4): 442-454.

[5] HEEMSKERK C J M, SCHOONEJANS P H M. Overview of the ISS large Manipulator Operations[C]//Proceedings of the Conference Engineering, Construction and Operations in Space. Albuquerque, NM, USA: ASCE, 1996.

[6] WOERKOM V, MISRA A K. Robotic Manipulators in Space: A Dynamics and Control Perspective[J]. Acta Astronautica, 1996, 38(4): 411-421.

[7] YOSHIDA K. Engineering Test Satellite VII Flight Experiments for Space Robot Dynamics and Control Theories on Laboratory Test Beds Ten Years Ago Now in Orbit[J]. International Journal of Robotics Research, 2003, 22(5): 321-335.

[8] FUKUSHIMA Y, INABA N, ODA M. Capture and Berthing Experiment of a Massive Object Using ETS-VII’s Space Robot: AIAA-2000-4537[R]. Washington, AIAA, 2000.

[9] ODA M, NISHIDA M. Space Telerobot Experiment System Based on NASDA ETS-VII Satellite: AIAA-97-3558[R]. Washington, AIAA, 1997.

[10] WILSON J R. Satellite Hopes Ride on Orbital Express[J]. Aerospace America, 2007, 45(2): 30-35.

[11] 陳磊, 高升, 袁寶峰, 等. 基于多相機的空間機械臂視覺系統(tǒng)[J]. 航天返回與遙感, 2014, 35(3): 35-42. CHEN Lei, GAO Sheng, YUAN Baofeng, et al. Multi-camera Based Space Manipulator Vision System[J]. Spacecraft Recovery & Remote Sensing, 2014, 35(3): 35-42. (in Chinese)

[12] Committee on the Assessment of Options for Extending the Life of the Hubble Space Telescope, National Research Council. Assessment of Options for Extending the Life of the Hubble Space Telescope: Final report[M]. Washington, WA, USA: National Academies Press, 2005.

[13] MACLEAN S G, PINKEY H L. Calibration Procedures for the Space Vision System Experiment[J]. Proceeding of SPIE, 1991, 1526: 113-122.

[14] MAYBANK S. Camera Calibration of the KTH Head-eye System[R]. Technical Report CVAP 147, 1994.

[15] MACLEAN S G. Vision System Development in a Space Simulation Laboratory[J]. Proceedings of SPIE, 1990, 1395: 8-15.

[16] MCARTHY J. Space Vision System(SVS)[C]//Proceedings of 29th International Symposium on Robotics Automation and Robotics MACH'98 (Machine Tools) Control and Instrumentation. Birmingham, UK: DMG Business Media, 1998.

[17] ARUN K S, HUANG T S, BLOSTEIN S D. Least-squares Fitting of Two 3-D Point Sets[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(5): 698-700.

[18] 譚啟蒙, 胡成威, 高升. 空間機械臂視覺相機內(nèi)參標定技術研究[J]. 航天返回與遙感, 2013, 34(6): 74-80. TAN Qimeng, HU Chengwei, GAO Sheng. Research on Calibration of Intrinsic Parameters for Space Manipulator Camera Based on 2D Planar Pattern[J]. Spacecraft Recovery & Remote Sensing, 2013, 34(6): 74-80. (in Chinese)

[19] DONALD W M. An Algorithm for Least-squares Estimation of Nonlinear Parameters[J]. Journal of the Society for Industrial and Applied Mathematics, 1963, 11(2): 431-441.

Study on Parameter Calibration of Photographic Camera with Visible Light for Space Manipulator

TAN Qimeng1JIA Xin2CHEN Lei1ZHANG Yun1CAI Zheng1

（1 Beijing Key Laboratory of Intelligent Space Robotic System Technology and Applications, Institute of Spacecraft System Engineering, CAST, Beijing 100094, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

Parameter calibration is the key technique in measuring 3D pose of cooperative object by visible photographic camera for space manipulator, which can be used to represent a correct mapping function between 3D coordinates of visual target and its corresponding 2D image coordinates. The relateded coefficient matrix of characteristic parameters involves the estimation of intrinsic and extrinsic parameters calibration of photographic camera. To solve problems existed in the traditional calibrating technique, such as complicated operating steps, large accumulating error and poor accuracy, a novel approach is proposed by introducing a measuring reference combining a precise 2D planar target with a known checkerboard pattern and a datum mirror, which can accurately calculate intrinsic and extrinsic parameters step by step. Experimental results have shown that the standard deviation of intrinsic parameters lies in ±0.3pixel, with the re-projection error of corners not exceeding ±0.5pixel and the standard deviation of six degrees of freedom less than（0.6mm, 0.05°）. Accordingly, the proposed approach has obvious advantages at good maneuverability, fewer computing steps and smaller accumulating error, which can provide reliable 3D pose to assist space manipulator to capture the cooperative object.

photographic camera with visible light; calibration of intrinsic and extrinsic parameters; planar target; datum mirror; space manipulator

TP391

A

1009-8518(2018)05-0113-10

10.3969/j.issn.1009-8518.2018.05.015

譚啟蒙，女，1982年生，2012年獲北京郵電大學物理電子學專業(yè)博士學位，高級工程師。研究領域為機器人視覺、大尺寸3D測量及數(shù)字圖像處理。E-mail：tanqimeng@foxmail.com。

2018-04-28

（編輯：王麗霞）