月面探測中的單目相機(jī)成像測量方法

李立春 許穎慧 孟彥鵬 張祖麗 張偉 萬文輝 周建亮

（1 北京航天飛行控制中心，北京 100094）

（2 國防科學(xué)技術(shù)大學(xué) 航天科學(xué)與工程學(xué)院，長沙 410073）

（3 中科院遙感與數(shù)字地球研究所 遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京 100101）

0 引言

在月球及火星等地外天體表面著陸探測工程中，探測器通常搭載多類單目相機(jī)，如“嫦娥三號”任務(wù)中的降落相機(jī)、監(jiān)視相機(jī)、地形地貌相機(jī)等成像設(shè)備，這些相機(jī)不具備直接構(gòu)成雙目視覺系統(tǒng)進(jìn)行精確測量的條件。如何從單目成像中實(shí)現(xiàn)探測信息提取，以支持探測器著陸定位及就位探測是測控系統(tǒng)需要事先考慮并亟需解決的重要問題之一[1-2]。

運(yùn)用降落過程的序列成像對月面著陸點(diǎn)定位是典型的單目成像應(yīng)用過程，文獻(xiàn)[3]根據(jù)著陸區(qū)近似平面的條件提出了基于平面單應(yīng)的著陸成像引導(dǎo)方法。在飛行器制導(dǎo)與導(dǎo)航定位工程中的單目成像的應(yīng)用非常多[4-6]，其中的難點(diǎn)是實(shí)時圖像與基準(zhǔn)圖的配準(zhǔn)問題[7-8]。在天體著陸后就位探測的探測器定位方面，傳統(tǒng)的無線電測量方法精度較低，而且不能直接提供相對于任務(wù)規(guī)劃基準(zhǔn)圖的定位[4,9-10]，通常借助于單目成像或者雙目成像的視覺處理方法。

為了解決單目成像分析的難題，拓展其在著陸與探測中應(yīng)用，本文開展探測過程中單目成像工作模式及圖像處理方法的研究，提出相應(yīng)工作模式下的圖像測量方法，以解決基于降落相機(jī)成像的飛行器定位問題和天體就位探測條件下基于場景約束的測量問題。

1 基于序列成像的圖像融合及定位方法

天體表面軟著陸的避障、滑行、著陸過程中，通常用探測器搭載的降落相機(jī)對著陸區(qū)域進(jìn)行連續(xù)動態(tài)的序列成像，著陸降落軌跡及其降落成像過程如圖1所示。降落過程連續(xù)成像之間圖像具有較大的重疊區(qū)域，隨著飛行高度的降低，實(shí)時成像的視野范圍變小，同時成像的空間分辨率將升高。

通過實(shí)時成像進(jìn)行飛行器定位的基礎(chǔ)是實(shí)時圖與基準(zhǔn)圖的匹配，隨著飛行高度降低和成像視野的變小，在基準(zhǔn)圖上與實(shí)時成像相匹配的配準(zhǔn)區(qū)域?qū)⒆冃?，通常情況下將無法實(shí)施匹配定位。為解決該問題，本文提出一種基于序列圖像的大視野圖像融合生成及成像位置確定方法。

圖1 飛行器著陸過程成像示意圖Fig. 1 The imaging of target area on the process of spacecraft landing

1.1 大視野圖像融合生成

將降落過程的整個著落區(qū)域作為研究對象，則成像的空間視野滿足近似平面約束。該條件下，若連續(xù)兩次時刻t1、t2成像I1、I2之間的單應(yīng)矩陣為H12，則兩圖對應(yīng)點(diǎn)之間滿足以下關(guān)系式：

降落過程中相鄰兩次的高高度成像和低高度成像的圖像分別為Ii和Ii-1，則低高度的高分辨率成像相對于低分辨率圖像將缺少圖像范圍Ii′-1，根據(jù)式（1）的近似平面的單應(yīng)關(guān)系，該圖像上的缺失范圍Ii′-1可以從Ii上通過Ii與Ii-1的單應(yīng)關(guān)系轉(zhuǎn)移得到，從而實(shí)現(xiàn)大視野圖像合成，如圖2所示。從降落過程最高位置成像I0到最低位置成像IN，逐次進(jìn)行上述圖像擴(kuò)充過程，最終可以得到與IN圖像高分辨率等分辨率的大范圍圖像。高分辨率大圖在著陸點(diǎn)附近具有高分辨率，同時具有整個著陸區(qū)的大視野大范圍，是著陸點(diǎn)定位、著陸區(qū)態(tài)勢分析與任務(wù)規(guī)劃的數(shù)據(jù)基礎(chǔ)。

利用上述方法，對“嫦娥三號”的降落相機(jī)在100m和30m兩個不同高度上的成像進(jìn)行單應(yīng)轉(zhuǎn)移矩陣解算，基于該單應(yīng)將100m高度的圖像轉(zhuǎn)換后與30m高度成像進(jìn)行融合，如圖3所示，圖中虛線范圍內(nèi)為30m高度的高分辨率圖像。

圖2 大視野圖像生成示意圖Fig. 2 The generation process of an image with wide view

圖3 降落相機(jī)100m高度與30m高度成像數(shù)據(jù)融合Fig. 3 The merged image from images with the imaging height of 100m and 30m

1.2 基于降落相機(jī)成像的著陸過程飛行器定位方法

降落相機(jī)圖像用于探測器著陸定位的基本原理是，首先獲取著陸過程的降落相機(jī)圖像及其對應(yīng)基準(zhǔn)圖的初始粗略位置；第二步將降落相機(jī)圖像特征點(diǎn)與著陸區(qū)基準(zhǔn)圖特征點(diǎn)進(jìn)行精確匹配定位，確定特征點(diǎn)的三維位置；最后根據(jù)特征點(diǎn)的空間位置反向推導(dǎo)成像時刻探測器的位置。初始粗略位置通?？梢酝ㄟ^無線電或者慣性導(dǎo)航方法獲得。用于匹配的基準(zhǔn)圖是降落區(qū)域的正射影像圖，而降落相機(jī)的降落過程實(shí)時圖像是傾斜成像，它與正射圖之間存在縮放和剪切等變形，兩圖的匹配采用基于Forstner特征提取與SIFT不變性匹配算法聯(lián)合實(shí)現(xiàn)。

（1）特征點(diǎn)提取與匹配

著陸區(qū)域圖像上的典型紋理和地形特征在不同圖像間表現(xiàn)穩(wěn)定，根據(jù)這一特點(diǎn)，本文提出了基于多尺度Forstner算法的特征提取與匹配方法。Forstner特征提取算法通過計(jì)算各像素的Robert梯度和灰度協(xié)方差矩陣，利用兩個興趣值來選擇特征點(diǎn)[11]。在實(shí)時圖和基準(zhǔn)圖的初始位置區(qū)域提取到特征點(diǎn)后，借鑒David G. Lowe的SIFT多尺度特征描述方法，分別對兩圖上的特征點(diǎn)建立不變性特征向量作為后續(xù)匹配的基礎(chǔ)。特征向量的構(gòu)建包括以下主要步驟來實(shí)現(xiàn)：①計(jì)算特征點(diǎn)鄰域范圍所有點(diǎn)的梯度，統(tǒng)計(jì)獲取區(qū)域的主方向；②以主方向作為參考方向，消除特征分布的旋轉(zhuǎn)差異；③通過子區(qū)域劃分和梯度統(tǒng)計(jì)值建立向量描述。向量構(gòu)建的具體實(shí)現(xiàn)可參考文獻(xiàn)[12]。

特征匹配點(diǎn)通過特征距離比較和最小二乘方法兩步實(shí)現(xiàn)。特征距離比較方法的匹配過程是：首先對每一個特征點(diǎn)建立特征向量，第二步是計(jì)算待匹配點(diǎn)與每一個候選特征點(diǎn)之間的特征距離，最后對這些特征距離進(jìn)行比較，選擇距離最小的作為同名匹配點(diǎn)。特征距離dV計(jì)算公式為：

式中 V和V′為待匹配兩圖中特征點(diǎn)的不變性向量描述；vi和vi′為其向量的分量。

基于特征向量描述和特征距離比較的匹配方法能夠消除圖像旋轉(zhuǎn)的影響，可以保證點(diǎn)匹配的魯棒性。在此基礎(chǔ)上利用最小二乘方法實(shí)現(xiàn)特征點(diǎn)的精確匹配[13]。

（2）飛行器位置計(jì)算

著陸過程中對著陸區(qū)域的成像模型可用圖像點(diǎn)p（u,v）、像點(diǎn)對應(yīng)的三維空間物點(diǎn) P（X,Y,Z）以及相機(jī)參數(shù)三者之間的光束共線方程來描述，見式（3）。

式中 （u,v）表示實(shí)時成像圖像特征點(diǎn)坐標(biāo)值；fu、fv分別表示相機(jī)在橫軸和縱軸方向的等效焦距；（u0,v0）表示圖像主點(diǎn)位置；R、T分別表示在空間坐標(biāo)系中相機(jī)的姿態(tài)參數(shù)和位置參數(shù)；λ為成像的深度因子，表示空間物點(diǎn)在相機(jī)成像坐標(biāo)系的光軸方向的坐標(biāo)值。由于基準(zhǔn)圖是正射影像圖，式中三維空間點(diǎn)的X，Y坐標(biāo)通過特征點(diǎn)在基準(zhǔn)圖像的圖像坐標(biāo)直接獲得，而Z坐標(biāo)根據(jù)該點(diǎn)的X，Y坐標(biāo)從地形數(shù)據(jù)庫查詢獲得。

著陸過程飛行器定位是根據(jù)著陸過程實(shí)時圖特征點(diǎn)與基準(zhǔn)圖同名點(diǎn)配準(zhǔn)關(guān)系進(jìn)行逆向求解，其對應(yīng)的數(shù)學(xué)模型可描述為，已知N個三維控制點(diǎn)及其像點(diǎn)，根據(jù)計(jì)算機(jī)視覺的PNP問題[14]，這N個點(diǎn)提供了 N個形如式（3）的方程，從而可以構(gòu)成方程組解算飛行器搭載相機(jī)的位置、姿態(tài)，實(shí)現(xiàn)位姿參數(shù)計(jì)算，見圖4。

圖4 基于飛行器成像的位姿計(jì)算原理示意圖Fig. 4 The diagram of pose and position calculating from image

本文對基于控制點(diǎn)及其成像的位置姿態(tài)計(jì)算進(jìn)行了仿真試驗(yàn)，試驗(yàn)中的成像參數(shù)為：圖像分辨率為1 024像素×1 024像素，焦距1 500像素，像素尺寸為8μm，成像距離300m，成像空間分辨率約0.2m。仿真相機(jī)在設(shè)定的位置姿態(tài)上對7個三維空間點(diǎn)進(jìn)行成像，并對像點(diǎn)添加均方差為0.5像素的定位誤差，根據(jù)像點(diǎn)及其對應(yīng)的三維空間點(diǎn)構(gòu)建PNP問題對位置姿態(tài)進(jìn)行解算作為測量值，100次試驗(yàn)結(jié)果統(tǒng)計(jì)值見表1。試驗(yàn)結(jié)果表明了方法的有效性。

表1 基于控制點(diǎn)的位姿計(jì)算實(shí)例Tab. 1 Example of pose and position calculation from control points and its images

2 場景約束的單目成像測量方法

探測器著陸后，其搭載的單目相機(jī)可以對周圍環(huán)境進(jìn)行監(jiān)視勘察，當(dāng)探測器位置姿態(tài)已知、以及著陸區(qū)近似平面場景條件下，可以進(jìn)一步利用單目視覺實(shí)現(xiàn)目標(biāo)的測量定位，完成就位探測視野的定量分析。圖5給出了平面場景條件下單目相機(jī)成像模型的示意圖，圖中 OC-XCYCZC為成像的相機(jī)坐標(biāo)系，OW-XWYWZW是測量的參考坐標(biāo)系，稱為世界坐標(biāo)系，π是成像場景平面。

考察單目視覺對近平面場景成像測量，該平面場景內(nèi)單目相機(jī)位置姿態(tài)已知，則目標(biāo)與其成像的投影關(guān)系用式（3）表示，將式中內(nèi)、外參數(shù)項(xiàng)合并后可寫為式（4）

圖5 基于平面的單目相機(jī)成像模型Fig. 5 The projection model of planar scene imaging

式中 M 表示三行四列的投影矩陣，可根據(jù)相機(jī)的內(nèi)外參數(shù)計(jì)算[15]；XW為成像點(diǎn)在世界坐標(biāo)系的齊次坐標(biāo)值矩陣。

則根據(jù)式（4），不難得到關(guān)于像點(diǎn)與物點(diǎn)的關(guān)系，式（5）表示了相機(jī)系的像點(diǎn)轉(zhuǎn)換到世界坐標(biāo)系后投影成像的直線方程。

在世界坐標(biāo)系下平面方程π可表示為：

式中 a、b、c、d為平面方程的系數(shù)。

將平面方程與成像光線方程聯(lián)立，可得到計(jì)算目標(biāo)點(diǎn)位置的關(guān)系式：

利用平面方程及已知的像點(diǎn)坐標(biāo)作為輸入，從上式可以求解得到像點(diǎn)所對應(yīng)空間點(diǎn)的坐標(biāo)（X,Y,Z），從而完成平面點(diǎn)位置計(jì)算。

基于該方法，對“嫦娥三號”任務(wù)的著陸器監(jiān)視相機(jī)成像進(jìn)行了目標(biāo)位置計(jì)算實(shí)驗(yàn)，著陸器裝載的監(jiān)視相機(jī)的安裝位置與姿態(tài)為已知參數(shù)，則根據(jù)著陸器的著陸姿態(tài)可以得到監(jiān)視相機(jī)距月面高度以及相對月面姿態(tài)。典型配置下的監(jiān)視相機(jī)成像示意見圖 6?；谠撆渲脜?shù)，對監(jiān)視相機(jī)視野內(nèi)平面場景進(jìn)行了目標(biāo)位置測量與標(biāo)注，成功應(yīng)用于實(shí)際任務(wù)中的月球車駛離方式?jīng)Q策，如圖7所示。

圖6 監(jiān)視相機(jī)配置示意圖Fig. 6 The diagram of surveillance camera configuration

圖7 監(jiān)視相機(jī)成像視野目標(biāo)測量結(jié)果圖Fig. 7 The results of measurement labelled on the image of surveillance camera

3 基于合作目標(biāo)的投影深度與方位測量方法

在月面巡視過程中，通過月球巡視車與著陸器互拍，各自獲取了對方的影像，提供了目標(biāo)狀態(tài)判斷的定性信息。由于巡視車及著陸器的三維結(jié)構(gòu)為已知信息，在遠(yuǎn)距離成像條件下，成像模型可以用弱透視投影來近似，該條件下，根據(jù)已知的三維結(jié)構(gòu)及其成像則可以實(shí)現(xiàn)目標(biāo)位置、方位的定量估計(jì)。

月球巡視車與著陸器之間距離相對于其自身三維尺度足夠大時，互拍成像過程可以簡化為弱透視投影成像，這時，目標(biāo)可作為位于垂直于光軸的物理平面上，應(yīng)用單目視覺的幾何相似法進(jìn)行測量。在目標(biāo)本身尺寸相對其到相機(jī)光心距離很小的條件下，目標(biāo)上各點(diǎn)的深度可以用一共同的深度因子近似，這個值一般取物體質(zhì)心的深度d，此時透視投影模型可近似為

式中 d表示目標(biāo)點(diǎn)在光軸方向的成像距離；Xc、Yc表示目標(biāo)點(diǎn)在成像坐標(biāo)系兩個坐標(biāo)軸上的坐標(biāo)值；x、y表示像點(diǎn)在兩個圖像坐標(biāo)上的值；f是成像焦距。

這種近似可以看作兩個階段投影的合成，如圖 8所示。

第1步，所有目標(biāo)點(diǎn)按平行于光軸的方向正投影到假想圖像平面I′上；第2步，再按透視投影模型將假想平面投影到圖像I上，這一步實(shí)際是全局比例縮放，因此弱透視投影也稱為比例正射投影。弱透視投影條件下，成像目標(biāo)點(diǎn)的位置變化與其成像點(diǎn)的變化可由式（9）表示，則成像深度（目標(biāo)距離）估計(jì)可由式（10）給出：

圖8 弱透視投影模型Fig. 8 The model of weak perspective projection

根據(jù)成像關(guān)系，在相機(jī)系下目標(biāo)的橫軸方向的偏航角度φ和縱軸方向的俯仰角度θ由下式給出：

根據(jù)弱透視關(guān)系，圖9給出了月面巡視車對著陸器成像及其基于特征選點(diǎn)的測量示意圖。圖中O點(diǎn)是成像主點(diǎn)，S1、S2兩點(diǎn)分別是著陸器主體邊緣間距最大點(diǎn)，C點(diǎn)是著陸器質(zhì)心，則利用S1、S2兩點(diǎn)計(jì)算得到著陸器相對巡視車的距離，利用C點(diǎn)計(jì)算著陸器相對巡視車的方位信息。

圖9 基于著陸器結(jié)構(gòu)的目標(biāo)距離測量示意Fig. 9 The diagram of distance measurement for landing spacecraft based on its structure and image

4 結(jié)束語

以月面著陸與就位探測過程中幾類相機(jī)成像的應(yīng)用背景，根據(jù)工程中特定的單目成像條件及應(yīng)用環(huán)境，提出降落相機(jī)序列成像大場景高分辨率圖像生成方法，在此基礎(chǔ)上實(shí)現(xiàn)了基于圖像特征點(diǎn)匹配與解算的著陸過程飛行器定位方法；利用成像位姿信息與平面場景約束關(guān)系，實(shí)現(xiàn)了應(yīng)用單目成像的目標(biāo)測量；利用遠(yuǎn)距離成像的條件，基于目標(biāo)結(jié)構(gòu)信息實(shí)現(xiàn)了目標(biāo)距離與方位估計(jì)。對論文所提出方法結(jié)合“嫦娥三號”任務(wù)著陸降落相機(jī)圖像與就位探測中監(jiān)視相機(jī)成像進(jìn)行了驗(yàn)證，結(jié)果表明該方法在月面探測中提供了具有應(yīng)用價(jià)值的定量測量結(jié)果，有力支持了飛行探測任務(wù)實(shí)施。

（

）

[1] 張洪華, 梁俊, 黃翔宇, 等. 嫦娥三號自主避障軟著陸控制技術(shù)[J]. 中國科學(xué): 技術(shù)科學(xué), 2014, 44（6）: 559-568. ZHANG Honghua, LIANG Jun, HUANG Xiangyu, et al. Autonomous Hazard Avoidance Control for Chang'e-3 Soft Landing[J]. Science China: Technology Science, 2014. 44（6）: 559-568. （in Chinese）

[2] 田林, 戚發(fā)軔, 果琳麗, 等. 載人月面著陸地形障礙探測與規(guī)避方案研究[J]. 航天返回與遙感, 2014, 35（6）: 11-19. TIAN Lin, QI Faren, GUO Linli, et al. Study of Terrain Hazard Detection and Avoidance Scheme for Human Lunar Landing[J]. Spacecraft Recovery & Remote Sensing, 2014, 35（6）: 11-19. （in Chinese）

[3] 李立春, 周建亮, 孫軍, 等. 應(yīng)用單應(yīng)誘導(dǎo)視差的探測器月面著陸平面選擇方法[C]. 第十屆深空探測全國學(xué)術(shù)會議, 太原, 2013: 284-289. LI Lichun, ZHOU Jianliang, SUN Jun, et al. A Lunar Surface Landing Position Selection Method Based on the Parallax Induced by Plane[C]. The 10ThConference of Deep Space Exploration, Taiyuan, 2013: 284-289. （in Chinese）

[4] 王大軼, 黃翔宇. 深空探測自主導(dǎo)航與控制技術(shù)綜述[J]. 空間控制技術(shù)與應(yīng)用, 2009, 35（3）: 6-13. WANG Dayi, HUANG Xiangyu. Survey of Autonomous Navigation and Control for Deep-space Exploration[J]. Aerospace Control and Application, 2009, 35（3）: 6-13. （in Chinese）

[5] JOHNSON A, HUERTAS A, WERNER R, et al. Analysis of On-Board Hazard Detection and Avoidance for Safe Lunar Landing[C]. 2008 IEEE Aerospace Conference, Big Sky, MO, Mar. 2008.

[6] 王海濤, 馬建華. 基于降落圖像的安全著陸點(diǎn)選擇技術(shù)研究[J]. 航天返回與遙感, 2012, 33（4）: 13-18. WANG Haitao, MA Jianhua. Safe Landing Site Selection Based on Landing Image[J]. Spacecraft Recovery & Remote Sensing, 2012, 33（4）: 13-18. （in Chinese）

[7] 丁萌, 曹云峰, 吳慶憲. 月球探測器著陸中基于被動圖像的著陸場搜索及斜坡估計(jì)[J]. 宇航學(xué)報(bào), 2009, 30（6）: 2258-2264. DING Meng, CAO Yunfeng, WU Qingxian. Passive Image-based Safe Landing Site Searching and Slope Estimation in Probe Landing[J]. Journal of Astronautics, 2009, 30（6）: 2258-2264. （in Chinese）

[8] ALAN L S, ADREW E J. Terrain Hazard Detection & Avoidance during the Descent & Landing Phase of the Altair Mission[R]. NASA Johnson Space Center, Jet Propulsion Laboratory, 2010.

[9] JOHNSON A E, MONTGOMERY J F, MATTHIES L H. Vision Guided Landing of an Autonomous Helicopter in Hazardous Terrain[C], IEEE International Conference on Robotics & Automation, New York, 2005: 218-223.

[10] PRASUN N D. Entry, Descent, and Landing Performance of the Mars Phoenix Lander[C]. AIAA/AAS Astrodynamics Specialist Conference and Exhibit, Hawaii, 2008: 18-21.

[11] FORSTNER W. A Feature Based Correspondence algorithm For Image Matching[C]. Proceedings of the Intern.Arch. of Photogrammetry and Remote Sensing，Rovaniemi, 1986, 26: 150-166.

[12] MORTENSEN E N, DENG Hongli, SHAPIRO L. A Sift Descriptor with Global Context[C]. Proceedings of International Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005, 184-190.

[13] LI Lichun, ZHANG Heng, FU Dan, et al. Image Matching Based on Epipolar and Local Homography Constraints[C]. Proceedings of SPIE, Beijing, Vol6833, 68330Z （2007）.

[14] LEPETIT V, MORENO-NOGUER F, FUA P. EPnP: An Accurate O（n） Solution to the PnP Problem[J]. Int’l Journal of Computer Vision, 2009, 81（2）: 155-166.

[15] RICHARD H, ANDREW Z. Multiple View Geometry in computer vision[M]. Cambridge Univeristy Press, 2000.