基于三維點(diǎn)云模型的空間目標(biāo)光學(xué)圖像生成技術(shù)

陸婷婷，李瀟，張堯，閻巖，楊衛(wèi)東

（1.中國運(yùn)載火箭技術(shù)研究院 研究發(fā)展部，北京100176；2.河南工業(yè)大學(xué) 糧食信息處理與控制教育部重點(diǎn)實(shí)驗(yàn)室，鄭州450001）

隨著空間探測(cè)技術(shù)的快速發(fā)展，世界各主要航天強(qiáng)國均開展了大量的空間探測(cè)活動(dòng)，美國政府更是發(fā)布了重返月球并最終前往火星的太空政策指令。對(duì)于空間探測(cè)活動(dòng)中執(zhí)行交會(huì)對(duì)接、空間碎片清理、空間目標(biāo)跟蹤、行星軟著陸等任務(wù)的空間飛行器而言，其通常需要利用自身攜帶的光學(xué)攝像機(jī)獲取目標(biāo)的光學(xué)圖像，并利用計(jì)算機(jī)視覺、人工智能等技術(shù)手段從中提取目標(biāo)的狀態(tài)信息或者自身的位置和姿態(tài)信息［1-5］。這些視覺算法的設(shè)計(jì)、驗(yàn)證和評(píng)估需要以容量巨大（足以評(píng)估算法的泛化能力）、信息完備（必須包含拍攝圖像的光學(xué)攝像機(jī)的內(nèi)外參數(shù)信息）、種類多樣（能夠適應(yīng)不同的探測(cè)任務(wù)）的光學(xué)圖像數(shù)據(jù)集作為支撐。雖然當(dāng)前在人工智能領(lǐng)域出現(xiàn)了大量可用的光學(xué)圖像數(shù)據(jù)集，但這些數(shù)據(jù)集通常僅包含一些生活場(chǎng)景的圖像，且每幅圖像所能夠提供的信息十分有限，無法有效應(yīng)用于深空探測(cè)任務(wù)視覺算法的測(cè)試和評(píng)估。為此，亟需一種能夠用于快速、高效生成空間目標(biāo)光學(xué)圖像的方法。

當(dāng)前，國外許多空間探測(cè)機(jī)構(gòu)都通過在地面建立半物理仿真實(shí)驗(yàn)室的方式獲取空間目標(biāo)光學(xué)圖像。例如，為了有效模擬生成行星表面光學(xué)圖像，歐洲航天局（ESA）［6］、德國宇航局［7］、加拿大NGC航空航天公司［8］等均搭建了行星表面半物理仿真實(shí)驗(yàn)室，利用大尺度平面沙盤模擬星體表面，利用機(jī)械臂攜帶的攝像機(jī)模擬導(dǎo)航攝像機(jī)。雖然利用這種半物理仿真實(shí)驗(yàn)室能夠?qū)崿F(xiàn)對(duì)各種導(dǎo)航控制算法的測(cè)試和驗(yàn)證，但實(shí)驗(yàn)室建設(shè)費(fèi)用成本高，改造不靈活，并且構(gòu)造的星體表面區(qū)域大小受到實(shí)驗(yàn)場(chǎng)地的限制，無法高效靈活實(shí)現(xiàn)對(duì)任何需求目標(biāo)的圖像的生成［9］。為此，大量研究機(jī)構(gòu)和學(xué)者均開展了空間目標(biāo)仿真圖像全數(shù)字仿真生成技術(shù)的研究。

英國鄧迪大學(xué)在歐洲航天局的資助下開發(fā)了一套星體環(huán)境仿真模擬軟件PANGU［10］，其利用真實(shí)數(shù)據(jù)或者合成數(shù)據(jù)對(duì)星體（火星、月球、水星及小行星等）自然地質(zhì)環(huán)境進(jìn)行建模，并能夠?qū)崿F(xiàn)對(duì)光學(xué)攝像機(jī)、激光雷達(dá)等傳感器的建模，從而生成相應(yīng)的仿真圖像。PANGU可以滿足絕大多數(shù)的空間探測(cè)算法的研發(fā)與測(cè)試需求，但并不支持對(duì)航天飛機(jī)、衛(wèi)星等空間目標(biāo)仿真圖像的生成能力，且PANGU是一個(gè)商業(yè)軟件，收費(fèi)昂貴，算法的具體實(shí)現(xiàn)原理和源代碼均沒有公開，在國內(nèi)擁有PANGU軟件的單位并不多。同時(shí)，PANGU功能繁多，應(yīng)用背景復(fù)雜，對(duì)于簡(jiǎn)單的視覺算法研發(fā)和快速驗(yàn)證效率不高。

除PANGU外，目前針對(duì)空間目標(biāo)圖像生成的研究主要以星體表面隕石坑生成為主［11-12］。這些方法主要基于解析方法對(duì)空間目標(biāo)進(jìn)行建模［13-14］，并通過計(jì)算導(dǎo)航攝像機(jī)的光線反投影與空間目標(biāo)解析模型的交點(diǎn)的方式生成空間目標(biāo)光學(xué)圖像，該過程涉及復(fù)雜的多元變量?jī)?yōu)化問題，求解過程效率低，容易陷入局部最優(yōu)解，導(dǎo)致仿真圖像無法有效生成。

因此，針對(duì)傳統(tǒng)空間目標(biāo)光學(xué)圖像生成技術(shù)存在的模型復(fù)雜、求解效率低的問題，本文創(chuàng)新性地提出了一種基于三維點(diǎn)云模型和射影變換基本理論的空間目標(biāo)（小行星、航天器、無人機(jī)、航天飛機(jī)等）光學(xué)圖像生成技術(shù)，并利用大量仿真實(shí)驗(yàn)驗(yàn)證了所生成的仿真圖像可以有效地被用于測(cè)試和評(píng)估空間探測(cè)任務(wù)中的態(tài)勢(shì)感知、視覺導(dǎo)航等核心算法。

1 空間目標(biāo)光學(xué)圖像生成總體框架

本文提出的空間目標(biāo)光學(xué)圖像生成技術(shù)總體框架如圖1所示，由仿真參數(shù)設(shè)置層、仿真圖像生成層和仿真圖像輸出層構(gòu)成。首先，在仿真參數(shù)設(shè)置層對(duì)仿真攝像機(jī)內(nèi)參數(shù)和外參數(shù)進(jìn)行設(shè)置，指定需要生成仿真圖像的空間目標(biāo)，并給定空間目標(biāo)所處空間環(huán)境中的太陽光照方向。然后，在仿真圖像生成層，基于仿真參數(shù)設(shè)置層提供的參數(shù)構(gòu)建仿真攝像機(jī)模型和空間目標(biāo)三維點(diǎn)云模型；并通過仿真攝像機(jī)像平面幾何反投影計(jì)算得到投影圖像中每個(gè)像素點(diǎn)與空間目標(biāo)三維點(diǎn)云模型頂點(diǎn)的對(duì)應(yīng)關(guān)系，再結(jié)合給定的太陽光照方向和投影圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的模型空間點(diǎn)處的法向量，計(jì)算投影圖像中每個(gè)像素點(diǎn)的灰度值，該過程稱為投影圖像著色。最后，在仿真圖像輸出層得到空間目標(biāo)光學(xué)圖像。圖1所示的仿真圖像生成框架能夠逼真地模擬攝像機(jī)“看”到的場(chǎng)景，從而為空間碎片清理、空間航天器交會(huì)對(duì)接、行星探測(cè)器軟著陸等應(yīng)用場(chǎng)景提供大量可用的光學(xué)圖像數(shù)據(jù)集。

圖1 空間目標(biāo)光學(xué)圖像生成技術(shù)總體框架Fig.1 Overall framework of space object optical image generation technique

在空間目標(biāo)光學(xué)圖像生成技術(shù)總體框架中，仿真圖像生成層是其核心所在，其中，仿真攝像機(jī)模型構(gòu)建、仿真攝像機(jī)像平面幾何反投影、投影圖像著色是最核心的問題，也是本文關(guān)注的重點(diǎn)，而空間目標(biāo)的三維點(diǎn)云模型構(gòu)建可由NASA 3D模型資源網(wǎng)獲取，所以本文對(duì)三維點(diǎn)云模型構(gòu)建不進(jìn)行詳細(xì)分析。

2 仿真攝像機(jī)模型構(gòu)建

圖2 仿真攝像機(jī)模型及相關(guān)坐標(biāo)系定義Fig.2 Simulated camera imaging model and definition of relevant coordinate systems

空間目標(biāo)光學(xué)圖像生成技術(shù)總體框架中所使用的仿真攝像機(jī)模型為圖2所示的針孔成像模型，該模型有效地表征了三維空間到二維平面的中心投影關(guān)系。為有效利用代數(shù)形式對(duì)該投影模型進(jìn)行描述，先對(duì)仿真攝像機(jī)模型涉及的3個(gè)坐標(biāo)系（世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系）進(jìn)行定義。世界坐標(biāo)系（簡(jiǎn)記為WCS）為空間目標(biāo)所處的坐標(biāo)系，其原點(diǎn)ow位于空間某固定位置點(diǎn)，WCS的3個(gè)坐標(biāo)軸xw、yw、zw分別指向ow處的東、北、天方向。攝像機(jī)坐標(biāo)系（簡(jiǎn)記為CCS）的原點(diǎn)oc位于仿真攝像機(jī)光心位置，其zc軸與光軸重合，并指向仿真攝像機(jī)像平面，xc軸和yc軸分別與仿真攝像機(jī)像平面的矩形邊平行。圖像坐標(biāo)系（簡(jiǎn)記為ICS）是定義在仿真攝像機(jī)像平面上的一個(gè)二維坐標(biāo)系，其原點(diǎn)oi位于圖像像平面左下角，2個(gè)坐標(biāo)軸ui和vi分別與圖像像平面的橫向和縱向平行。

給定一個(gè)三維空間點(diǎn)X，其在WCS中的齊次坐標(biāo)為XWCS=［x y z 1］T，點(diǎn)X在仿真攝像機(jī)透視投影矩陣P=K［R t］的作用下被變換為圖像點(diǎn)x（t為平移向量，R為三維旋轉(zhuǎn)矩陣），并且點(diǎn)x在ICS中的齊次坐標(biāo)為xICS=［u v 1］T，則XWCS和xICS之間的關(guān)系可描述為

式中：s為一個(gè)非零尺度因子，表征了空間點(diǎn)X的深度信息；矩陣K為仿真攝像機(jī)的內(nèi)參數(shù)矩陣，其形式為

其中：參數(shù)f為攝像機(jī)的焦距；［u0v0］T為仿真攝像機(jī)主點(diǎn)在ICS下的非齊次坐標(biāo)；f、u0和v0都以像素為量綱。

本文假定仿真攝像機(jī)的質(zhì)量較好，不存在畸變，并且像素為長(zhǎng)寬相等的矩形，所以K僅有3個(gè)自由度，由此仿真攝像機(jī)得到的仿真圖像尺寸為2u0×2v0。

式（1）中的平移向量t和三維旋轉(zhuǎn)矩陣R分別表征了CCS和WCS之間的位置和方位信息。其中，t為WCS的原點(diǎn)ow在CCS下的非齊次坐標(biāo)；R的3個(gè)列向量r1、r2、r3分別為WCS的3個(gè)坐標(biāo)軸xw、yw、zw在CCS中的方向向量，利用R可以將WCS下的方向向量轉(zhuǎn)換到CCS下。假定仿真攝像機(jī)光心oc在WCS下的非齊次坐標(biāo)為oWCS=［x0y0h］T，h為oc與xwyw平面的距離，［x0y0］T為oc在xwyw平面的投影點(diǎn)的非齊次坐標(biāo)。那么，t和oWCS具有如下關(guān)系：

此時(shí)，可以得到仿真攝像機(jī)透視投影矩陣P的另外一種形式：

基于仿真攝像機(jī)模型，得到仿真攝像機(jī)成像基本流程，如圖3所示。

圖3 仿真攝像機(jī)模型構(gòu)建基本流程Fig.3 Basic process for constructing simulated camera imaging model

首先，設(shè)定仿真攝像機(jī)的焦距f及像平面主點(diǎn)的非齊次坐標(biāo)［u0v0］T，并利用式（2）得到仿真攝像機(jī)的內(nèi)參數(shù)矩陣K。

然后，給定仿真攝像機(jī)光心oc在WCS下的非齊次坐標(biāo)oWCS=［x0y0h］T及仿真攝像機(jī)的CCS相對(duì)于CCS0的3個(gè)歐拉角α、β、γ，規(guī)定由CCS0向CCS的轉(zhuǎn)動(dòng)按照z-x-y順序（見圖3）。CCS0是為了使3個(gè)歐拉角α、β、γ具有更加明顯的幾何意義而引入的中間坐標(biāo)系，CCS0的原點(diǎn)與CCS相同，3個(gè)坐標(biāo)軸xc0、yc0和zc0分別指向xw、-yw和zw方向。那么，仿真攝像機(jī)旋轉(zhuǎn)矩陣R和平移向量t分別為

式中：

3 仿真攝像機(jī)像平面幾何反投影

仿真攝像機(jī)像平面幾何反投影的根本目的是找到投影圖像中每個(gè)像素點(diǎn)與空間目標(biāo)三維點(diǎn)云模型之間的對(duì)應(yīng)關(guān)系。其中，空間目標(biāo)三維點(diǎn)云模型由一組屬于該目標(biāo)表面的空間點(diǎn)構(gòu)成，并且3個(gè)點(diǎn)構(gòu)成一個(gè)三角面片，圖4給出了一個(gè)典型空間目標(biāo)（月球表面某區(qū)域）三維點(diǎn)云模型?？梢钥吹剑撃Ｐ偷幕緲?gòu)成元素為點(diǎn)和三角面片，這種模型不具有解析形式。

圖4 月球表面三維點(diǎn)云模型示意圖Fig.4 Schematic diagram of 3D point cloud model of lunar surface

實(shí)際上，仿真攝像機(jī)對(duì)空間模型成像的過程就是將空間三維點(diǎn)云模型投影到仿真攝像機(jī)二維圖像平面上的過程，并且只有落入仿真攝像機(jī)視場(chǎng)范圍內(nèi)的模型部分才會(huì)被投影到圖像平面。另外，三維點(diǎn)云模型的不同區(qū)域可能會(huì)被投影到像平面的某一個(gè)相同區(qū)域，該區(qū)域呈現(xiàn)的是距離仿真攝像機(jī)光心最近的那部分模型。

基于以上思想，仿真攝像機(jī)像平面幾何反投影的基本思路為：給定圖像上某個(gè)像素點(diǎn)q，首先，計(jì)算像素點(diǎn)q的反投影光線；然后，計(jì)算該反投影光線與空間三維點(diǎn)云模型的所有可能交點(diǎn)；最后，將距離仿真攝像機(jī)光心最近的那一個(gè)交點(diǎn)確定為圖像點(diǎn)q對(duì)應(yīng)的模型空間點(diǎn)Q。由于三維點(diǎn)云模型的表面是由一系列三角面片構(gòu)成的，所以幾何反投影僅涉及反投影光線與空間三角面片的交點(diǎn)，下面給出具體方法。

對(duì)于圖像上的像素點(diǎn)q，為了高效計(jì)算其所對(duì)應(yīng)的模型空間點(diǎn)，先排除不可能與像素點(diǎn)q的反投影線ocq相交的三角面片，再計(jì)算ocq與所有可能與其相交的三角面片的交點(diǎn)，則距離仿真攝像機(jī)光心最近的那一個(gè)交點(diǎn)即為像素點(diǎn)q對(duì)應(yīng)的空間點(diǎn)Q。

為了排除不可能與反投影線ocq相交的三角面片，應(yīng)先將三維空間中所有三角面片投影到圖像平面上，得到圖像三角面片，再利用圖像三角形的外接矩形排除不可能包含點(diǎn)q的圖像三角形。如圖5所示，以點(diǎn)a、b、c為頂點(diǎn)的圖像三角形△abc為例，其外接矩形D1D2D3D4的4個(gè)頂點(diǎn)D1、D2、D3、D4的非齊次坐標(biāo)分別定義為

式中：［xa，ya］T、［xb，yb］T、［xc，yc］T分別為點(diǎn)a、b、c的非齊次坐標(biāo)；max｛｝和min｛｝分別表示求取給定集合中所有元素的最大值和最小值。

圖5 圖像三角面片及其外接矩形Fig.5 Imaged triangle patch and its circumscribed rectangle

對(duì)于像素點(diǎn) q，如果它沒有落入矩形D1D2D3D4（通過簡(jiǎn)單的坐標(biāo)比較即可判斷得到），就一定不可能被圖像三角形△abc包含。對(duì)于圖5所給出的示例，由于矩形框2、3并不包含像素點(diǎn)q，則q一定不會(huì)落入圖像三角形2、3中，而像素點(diǎn)q落入了矩形框1、4、5中，那么，圖像三角形1、4、5可能會(huì)包含像素點(diǎn)q。

利用凸錐的性質(zhì)［15］對(duì)圖像三角形是否會(huì)包含像素點(diǎn)q進(jìn)行判斷。仍以圖5中的圖像三角形△abc為例，其3個(gè)頂點(diǎn)的齊次坐標(biāo)分別為ah=［xa，ya，za］T、bh=［xb，yb，zb］T、ch=［xc，yc，zc］T，由這3個(gè)齊次坐標(biāo)向量的非負(fù)組合構(gòu)成的集合Ω是一個(gè)凸錐。如果像素點(diǎn)q位于△abc內(nèi)部（包括頂點(diǎn)和邊），其齊次坐標(biāo)向量qh一定可以由齊次坐標(biāo)向量ah、bh、ch非負(fù)線性表示；反之，如果齊次坐標(biāo)向量qh不能由齊次坐標(biāo)向量ah、bh、ch非負(fù)線性表示，那么點(diǎn)q一定位于△abc外部。所以，為了判別點(diǎn)q是否位于△abc內(nèi)部，應(yīng)先計(jì)算齊次坐標(biāo)qh由齊次坐標(biāo)向量ah、bh、ch的線性表出系數(shù)向量λ，如果λ中存在小于零的元素，則點(diǎn)q一定位于△abc外部。λ的計(jì)算方式為

對(duì)于圖5中圖像三角形1，由它的3個(gè)頂點(diǎn)構(gòu)造的凸錐并不包含點(diǎn)q，所以，像素點(diǎn)q一定不會(huì)落在圖像三角形1中，從而，像素點(diǎn)q的反投影線ocq只可能與圖像三角形4、5對(duì)應(yīng)的空間三角面片相交。

假設(shè)圖像三角形△abc包含像素點(diǎn)q，且其齊次坐標(biāo)向量qh=［uqvq1］T，需要計(jì)算點(diǎn)q反投影線ocq與△abc對(duì)應(yīng)的空間三角面片△ABC的交點(diǎn)Q?？臻g三角面片△ABC的3個(gè)頂點(diǎn)A、B、C在WCS下的齊次坐標(biāo)分別為AWCS、BWCS、CWCS，則根據(jù)式（1）所描述的仿真攝像機(jī)模型，可以得到這3個(gè)空間點(diǎn)在CCS下的齊次坐標(biāo)ACCS、BCCS、CCCS為

從而，由空間點(diǎn)A、B、C所張成的平面ABC的法向量n在CCS下的非齊次坐標(biāo)為

對(duì)于像素點(diǎn)q，其在CCS下的非齊次坐標(biāo)為

那么，反投影線ocq在CCS下的Plucker坐標(biāo)Loq為［16］

分別將式（12）～式（15）代入式（16），并進(jìn)行整理，可以得到

那么，點(diǎn)Q在CCS下的非齊次坐標(biāo)為

空間點(diǎn)Q和仿真攝像機(jī)光心oc之間的距離d為

4 投影圖像著色

在仿真攝像機(jī)像平面幾何反投影階段，已經(jīng)獲得了仿真圖像平面每個(gè)像素點(diǎn)與模型空間點(diǎn)的對(duì)應(yīng)關(guān)系，為了得到最終的空間目標(biāo)光學(xué)圖像，需要為像平面每個(gè)像素點(diǎn)賦予一個(gè)灰度值，這一過程即為圖像著色。每個(gè)像素點(diǎn)的灰度值可以由其相應(yīng)的模型空間點(diǎn)的輻射熱能確定，這主要取決于太陽光照方向、空間模型法向量方向及材料的光學(xué)性質(zhì)［17］。

太陽光照方向會(huì)對(duì)空間目標(biāo)光學(xué)圖像的光照強(qiáng)度和陰影方向產(chǎn)生影響，所以，必須充分分析太陽的光照方向。本文使用平行光模擬空間目標(biāo)所處環(huán)境中的太陽光照，每條光線都來自于無窮遠(yuǎn)處，并且具有相同的傳播方向。規(guī)定太陽光線的方向向量是一個(gè)與太陽光線實(shí)際傳播方向相同的向量s，其主要由2個(gè)參數(shù)決定：太陽高度角η和太陽方位角θ，它們的幾何意義如圖6所示。太陽高度角指太陽光照方向與WCS的xwyw平面的夾角，這里設(shè)定取值范圍為［0°，90°］；方位角指在xwyw平面上，由軸yw順時(shí)針轉(zhuǎn)至太陽光照方向在xwyw平面的投影線所經(jīng)過的角度（即WCS原點(diǎn)ow處的北偏東方向），取值范圍為［0°，360°］。那么，在WCS中，太陽光線的方向向量s為

圖6 太陽高度角和方位角示意圖Fig.6 Schematic diagram of solar elevation and azimuth

除了太陽光照外，本文忽略了其他光照（如環(huán)境光照）的影響，并認(rèn)為所有接收不到太陽光照的區(qū)域灰度值均為零。對(duì)于能夠接收到光照的模型空間點(diǎn)，利用僅含有漫反射（Lambertian漫反射模型［17］）分量的光照模型計(jì)算其光照強(qiáng)度。具體地，對(duì)于像素點(diǎn)q所對(duì)應(yīng)的模型空間點(diǎn)Q，其輻射能量iq為

式中：參數(shù)ζ為控制輻射能量取值的系數(shù)；nQ為空間目標(biāo)三維點(diǎn)云模型在點(diǎn)Q處的法向量。

5 仿真實(shí)驗(yàn)

圖7 空間目標(biāo)仿真圖像生成系統(tǒng)軟件示意圖Fig.7 Schematic diagram of software of space object simulated image generation system

本節(jié)通過仿真實(shí)驗(yàn)手段對(duì)提出的基于三維點(diǎn)云模型的空間目標(biāo)光學(xué)圖像生成算法的有效性進(jìn)行驗(yàn)證。整個(gè)仿真過程在具有W indows10操作系統(tǒng)的臺(tái)式計(jì)算機(jī)上完成。為了使得空間圖像仿真系統(tǒng)便于操作，根據(jù)本文算法開發(fā)了空間目標(biāo)仿真圖像生成系統(tǒng)軟件，該軟件的具體示意圖如圖7所示，整個(gè)仿真實(shí)驗(yàn)過程中，均利用該軟件實(shí)現(xiàn)仿真圖像的生成。

在整個(gè)實(shí)驗(yàn)過程中，始終使用相同的仿真攝像機(jī)，不改變仿真攝像機(jī)內(nèi)參數(shù)，令仿真攝像機(jī)焦距f=700像素，像平面主點(diǎn)為（u0，v0）=（320像素，240像素），圖像分辨率為640×480，而仿真攝像機(jī)外參數(shù)和太陽光照方向?qū)㈦S著具體實(shí)驗(yàn)內(nèi)容的不同而被設(shè)置為不同取值。對(duì)于空間目標(biāo)的三維點(diǎn)云數(shù)據(jù)，實(shí)驗(yàn)將使用NASA 3D模型資源網(wǎng)提供的各種空間目標(biāo)模型作為輸入，圖8分別給出了Triana衛(wèi)星、某航天飛機(jī)等典型空間目標(biāo)三維點(diǎn)云模型。

為了有效評(píng)價(jià)本文提出的空間目標(biāo)光學(xué)圖像生成技術(shù)所產(chǎn)生的圖像的真實(shí)性和有效性，設(shè)計(jì)了3組實(shí)驗(yàn)，如圖9所示。首先，利用本文算法產(chǎn)生典型空間目標(biāo)的光學(xué)圖像，從視覺效果上對(duì)本文算法進(jìn)行評(píng)估；然后，分析仿真參數(shù)取值的不同對(duì)本文算法的影響；最后，分別將基于本文算法生成的仿真圖像應(yīng)用于橢圓擬合、著陸器視覺導(dǎo)航、航天器交會(huì)對(duì)接、隕石坑檢測(cè)、空間目標(biāo)跟蹤等典型空間探測(cè)任務(wù)中，通過評(píng)估相應(yīng)任務(wù)完成的優(yōu)劣實(shí)現(xiàn)對(duì)本文算法的評(píng)估。

圖8 典型空間目標(biāo)三維點(diǎn)云模型Fig.8 Three-dimensional point cloud model of typical space objects

圖9 仿真實(shí)驗(yàn)驗(yàn)證內(nèi)容Fig.9 Verified concepts of simulation experiments

5.1 仿真圖像生成

在仿真圖像生成實(shí)驗(yàn)中，利用本文提出的空間目標(biāo)光學(xué)圖像生成技術(shù)分別產(chǎn)生行星表面、航天飛機(jī)、衛(wèi)星、著陸器等典型空間目標(biāo)的仿真圖像，從視覺角度定性實(shí)現(xiàn)對(duì)本文算法的評(píng)估。

首先，分別生成Vesta小行星［18］和Eros小行星［19］的仿真圖像，實(shí)驗(yàn)結(jié)果如圖10所示，其中，星體表面的真實(shí)圖像分別來自于美國今日太空網(wǎng)［20］和行星學(xué)會(huì)［21］。

由于仿真攝像機(jī)與獲取真實(shí)圖像的真實(shí)攝像機(jī)具有不同的拍攝視角和成像光照條件（包括太陽光照強(qiáng)度和太陽光照方向），所得到的仿真圖像和真實(shí)圖像所對(duì)應(yīng)的行星表面區(qū)域并不完全一致。為便于分析，分別在圖10所示的仿真圖像和真實(shí)圖像中利用橢圓形曲線標(biāo)注了兩者存在重合的區(qū)域，并統(tǒng)計(jì)在重合區(qū)域內(nèi)仿真圖像和真實(shí)圖像所包含的隕石坑的對(duì)應(yīng)關(guān)系。圖10中利用直線連接了仿真圖像和真實(shí)圖像中的相對(duì)應(yīng)隕石坑。根據(jù)結(jié)果可以看到，在仿真圖像和真實(shí)圖像的重合區(qū)域（即對(duì)應(yīng)于行星表面的同一個(gè)區(qū)域），仿真圖像與真實(shí)圖像所包含的典型隕石坑數(shù)量和相對(duì)之間的構(gòu)型完全一致，從而有效地說明了本文算法可以生成逼真度較高的小行星圖像。

然后，分別基于不同的仿真條件生成航天飛機(jī)、Aurora衛(wèi)星、Triana衛(wèi)星、阿波羅著陸器、全球鷹無人機(jī)的仿真圖像，實(shí)驗(yàn)結(jié)果如圖11所示，（a）～（e）分別給出了相應(yīng)模型在不同的仿真攝像機(jī)外參數(shù)條件下生成的仿真圖像結(jié)果，可以看到，本文算法可以生成逼真度較高的空間目標(biāo)仿真圖像。

另外，為了分析本文算法與解析算法［11］之間的性能差異，分別利用這2種算法生成包含多個(gè)隕石坑的星體表面圖像，從視覺和算法運(yùn)行時(shí)間2個(gè)方面對(duì)比2種算法。實(shí)驗(yàn)結(jié)果如圖12所示，根據(jù)實(shí)驗(yàn)結(jié)果可見，本文算法生成的圖像具有更好的真實(shí)性和普適性，在視覺效果上更接近于真實(shí)空間目標(biāo)圖像，并且其運(yùn)行速度要快于解析算法。這是因?yàn)槿S點(diǎn)云模型主要由大量三角面片構(gòu)成，在計(jì)算光線與模型交點(diǎn)時(shí)，只涉及到直線和平面的交點(diǎn)，而基于三維解析模型的算法需要多次計(jì)算光線和二維曲面的交點(diǎn)。

圖10 本文算法生成的Vesta小行星和Eros小行星仿真圖像與真實(shí)圖像對(duì)比Fig.10 Comparison between simulated images generated by proposed algorithm and true images of Vesta asteroid and Eros asteroid

5.2 仿真參數(shù)影響

本節(jié)實(shí)驗(yàn)主要分析不同仿真參數(shù)對(duì)空間目標(biāo)光學(xué)圖像生成技術(shù)的影響。具體地，分別討論太陽光照方向、仿真攝像機(jī)與空間目標(biāo)三維點(diǎn)云模型之間距離、仿真攝像機(jī)姿態(tài)等參數(shù)對(duì)仿真圖像生成的影響。實(shí)驗(yàn)所使用的空間目標(biāo)三維點(diǎn)云模型為NASA 3D模型資源網(wǎng)公布的灶神星北半球的Snowman隕石坑區(qū)域模型，該區(qū)域的數(shù)據(jù)由美國黎明號(hào)行星探測(cè)器獲取。圖13（a）給出了Snowman隕石坑區(qū)域的三維點(diǎn)云模型及仿真攝像機(jī)的模型，圖13（b）給出了黎明號(hào)行星探測(cè)器對(duì)Snowman隕石坑區(qū)域的真實(shí)成像結(jié)果，該圖像來自于NASA的圖像庫。

首先，分析太陽光照方向?qū)Ρ疚乃惴ǖ挠绊?。固定仿真攝像機(jī)外參數(shù)，令仿真攝像機(jī)光心在WCS下的非齊次坐標(biāo)為［-50，-70，275］Tm，CCS三個(gè)坐標(biāo)軸的歐拉角分別為：α=5°、β=7°、γ=6°。利用該仿真攝像機(jī)生成9幅隕石坑仿真圖像，每幅圖像對(duì)應(yīng)的太陽高度角和方位角依次為｛（10°，10°），（20°，20°），…，（90°，90°）｝（變化間隔為（10°，10°）），從而模擬太陽光照方向的變化，實(shí)驗(yàn)結(jié)果如圖14所示?？梢钥吹?，隨著太陽高度角的增加，隕石坑圖像的灰度值逐漸增加，對(duì)比度變?nèi)?，而太陽方位角僅影響導(dǎo)航圖像中的陰影方向。

圖11 空間目標(biāo)仿真圖像生成實(shí)驗(yàn)結(jié)果Fig.11 Experimental results of simulation image generation of space objects

圖12 不同算法仿真圖像生成對(duì)比實(shí)驗(yàn)結(jié)果Fig.12 Comparison of experimental results of simulation image generation between different algorithms

圖13 Snowman隕石坑區(qū)域三維點(diǎn)云模型及真實(shí)圖像Fig.13 Three-dimensional point cloud model and true image of Snowman crater area

圖14 隕石坑仿真圖像與太陽光照方向關(guān)系實(shí)驗(yàn)結(jié)果Fig.14 Experimental results of relationship between crater simulated image and sunlight illumination direction

然后，討論仿真攝像機(jī)高度對(duì)本文算法的影響。實(shí)驗(yàn)中，固定太陽光照方向和除仿真攝像機(jī)光心高度外的其他所有仿真攝像機(jī)外參數(shù)。令η=45°，θ=45°，CCS三個(gè)坐標(biāo)軸的歐拉角分別為：α=20°、β=5°、γ=2°，仿真攝像機(jī)光心在WCS下的非齊次坐標(biāo)為［-50m，-70m，h］T，產(chǎn)生8幅仿真圖像，每幅圖像的光心高度h分別?。?00m，450m，…，150m｝（取值間隔為50m）。實(shí)驗(yàn)結(jié)果如圖15所示，從圖像序列可以看到，仿真圖像有效模擬了著陸器的著陸過程。隨著仿真攝像機(jī)距離星體表面越來越近，出現(xiàn)在仿真攝像機(jī)像平面上的星體表面區(qū)域范圍變得越來越小，但相應(yīng)的圖像隕石坑尺寸越來越大。應(yīng)該注意，在仿真攝像機(jī)距離星體表面距離較遠(yuǎn)時(shí)，其視場(chǎng)內(nèi)包含的星體表面區(qū)域較大，超出了給定的三維點(diǎn)云模型，所以圖15中的前幾幅圖像中會(huì)出現(xiàn)部分黑色區(qū)域。

最后，驗(yàn)證仿真攝像機(jī)姿態(tài)的變化對(duì)本文算法的影響。與前2組實(shí)驗(yàn)相似，本組實(shí)驗(yàn)將固定太陽的光照方向和除zc軸的歐拉角α之外的其他所有仿真攝像機(jī)外參數(shù)。令η=45°，θ=45°，xc軸和yc軸的歐拉角分別為β=5°和γ=2°，仿真攝像機(jī)光心在WCS下的非齊次坐標(biāo)為［0m，0m，200m］T，產(chǎn)生11幅圖像，每幅圖像對(duì)應(yīng)的zc軸的歐拉角α分別?。?0°，60°，…，330°｝（取值間隔為30°）。圖16給出了實(shí)驗(yàn)結(jié)果，圖像序列模擬了仿真攝像機(jī)繞zc軸進(jìn)行的一組360°偏航運(yùn)動(dòng)的操作，由于每幅圖像的光照方向完全一致，它們的陰影方向和灰度值分布基本相同。

圖15 隕石坑仿真圖像與仿真攝像機(jī)高度關(guān)系實(shí)驗(yàn)結(jié)果Fig.15 Experimental results of relationship between crater simulated image and simulated camera height

5.3 仿真圖像應(yīng)用

在仿真圖像應(yīng)用實(shí)驗(yàn)中，利用本文提出的空間目標(biāo)光學(xué)圖像生成技術(shù)產(chǎn)生隕石坑仿真圖像、衛(wèi)星仿真圖像和行星表面仿真圖像，并應(yīng)用于橢圓擬合、著陸器視覺導(dǎo)航、航天器交會(huì)對(duì)接、隕石坑檢測(cè)、空間目標(biāo)跟蹤等典型應(yīng)用場(chǎng)景，通過將實(shí)驗(yàn)結(jié)果與各應(yīng)用場(chǎng)景原始實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，實(shí)現(xiàn)對(duì)本文算法的驗(yàn)證。

首先，分別生成月球Snowman隕石坑區(qū)域（2個(gè)視角）、Aurora衛(wèi)星、神舟飛船仿真圖像，結(jié)果如圖17所示。利用文獻(xiàn)［22］所提方法對(duì)圖17（a）、（b）中的仿真圖像進(jìn)行橢圓擬合，利用文獻(xiàn)［23］所提方法對(duì)圖17（c）、（d）中的仿真圖像進(jìn)行橢圓擬合，擬合結(jié)果如圖17中的橢圓曲線所示?？梢钥吹?，仿真圖像中的典型橢圓均被正確擬合，從而有效驗(yàn)證了本文算法對(duì)橢圓擬合算法驗(yàn)證的可靠性和準(zhǔn)確性。

圖16 隕石坑仿真圖像與仿真攝像機(jī)姿態(tài)關(guān)系實(shí)驗(yàn)結(jié)果Fig.16 Experimental results of relationship between crater simulated image and simulated camera attitude

圖17 橢圓擬合算法驗(yàn)證實(shí)驗(yàn)結(jié)果Fig.17 Experimental results of ellipse fitting algorithm verification

其次，生成Rheasilvia小行星、月球近地表面仿真圖像，并利用生成的圖像對(duì)基于隕石坑的著陸器視覺導(dǎo)航算法［24］進(jìn)行驗(yàn)證，具體的實(shí)驗(yàn)結(jié)果如圖18所示，相應(yīng)的導(dǎo)航算法位置和姿態(tài)計(jì)算誤差如表1所示?？梢钥吹剑懫饕曈X導(dǎo)航算法［24］能夠精確地實(shí)現(xiàn)基于仿真圖像的著陸階段視覺導(dǎo)航信息獲取，并且與原文的評(píng)估結(jié)果基本一致，從而有效驗(yàn)證了本文算法的有效性。

圖18 著陸器視覺導(dǎo)航算法驗(yàn)證實(shí)驗(yàn)結(jié)果Fig.18 Experimental results of lander visual navigation algorithm verification

表1 著陸器視覺導(dǎo)航算法驗(yàn)證實(shí)驗(yàn)精度Tab le 1 Experim ental accuracy of lander visual navigation algorithm verification

再次，生成Triana衛(wèi)星和Aurora衛(wèi)星仿真圖像，并利用生成的仿真圖像驗(yàn)證航天器交會(huì)對(duì)接算法［25］的有效性。基于仿真圖像計(jì)算得到的空間飛行器導(dǎo)航信息結(jié)果如圖19所示，相應(yīng)的位置和姿態(tài)解算誤差如表2所示，與航天器交會(huì)對(duì)接算法的原始實(shí)驗(yàn)結(jié)果基本一致，從而驗(yàn)證了本文算法對(duì)航天器交會(huì)對(duì)接算法驗(yàn)證的可靠性和有效性。

然后，利用本文算法生成仿真圖像構(gòu)造隕石坑圖像數(shù)據(jù)集和空間飛行器圖像數(shù)據(jù)集，其中，隕石坑圖像數(shù)據(jù)集包括12000個(gè)樣本（6000個(gè)正樣本和6 000個(gè)負(fù)樣本），空間飛行器圖像數(shù)據(jù)集包括24000個(gè)樣本（4種不同類型飛行器）。分別基于深層神經(jīng)網(wǎng)絡(luò)方法［26］和AdaBoost方法［27］構(gòu)造隕石坑分類器和飛行器分類器，利用訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)對(duì)分類器模型的訓(xùn)練，并利用測(cè)試數(shù)據(jù)集實(shí)現(xiàn)對(duì)算法的驗(yàn)證。為了比較不同算法的精度，本文利用查準(zhǔn)率P、查全率R和F1來評(píng)估算法的泛化能力，它們是分類問題中最常用性能度量。

圖19 航天器交會(huì)對(duì)接算法驗(yàn)證實(shí)驗(yàn)結(jié)果Fig.19 Experimental results of spacecraft rendezvous and docking algorithm verification

表2 航天器交會(huì)對(duì)接算法驗(yàn)證實(shí)驗(yàn)精度Tab le 2 Experim ental accuracy of spacecraft rendezvous and dock ing algorithm verification

式中：TP、FN、FP分別為真實(shí)的正例、錯(cuò)誤的負(fù)例、錯(cuò)誤的正例。

實(shí)驗(yàn)結(jié)果如表3所示。可以看到，CNN方法對(duì)于隕石坑圖像數(shù)據(jù)集和飛行器圖像數(shù)據(jù)集的分類準(zhǔn)確性要明顯高于AdaBoost方法，這與文獻(xiàn)［26］的實(shí)驗(yàn)結(jié)果完全一致，從而有效驗(yàn)證了本文算法生成的仿真圖像的有效性。

最后，利用本文算法生成Triana衛(wèi)星運(yùn)動(dòng)視頻數(shù)據(jù)，運(yùn)動(dòng)視頻時(shí)長(zhǎng)129 s，包含50幀灰度圖像。利用空間目標(biāo)跟蹤算法［2］實(shí)現(xiàn)對(duì)Triana衛(wèi)星的三維跟蹤，即實(shí)時(shí)計(jì)算得到跟蹤攝像機(jī)相對(duì)于Triana衛(wèi)星的相對(duì)位置和姿態(tài)，并利用計(jì)算得到的位姿信息將Triana衛(wèi)星三維模型投影到相應(yīng)幀灰度圖像上。典型圖像幀投影結(jié)果如圖20中的綠色曲線所示，可以看到，Triana衛(wèi)星的三維模型投影結(jié)果與Triana仿真圖像邊緣完全重合，實(shí)現(xiàn)了對(duì)Triana衛(wèi)星的精準(zhǔn)三維跟蹤，驗(yàn)證了空間目標(biāo)跟蹤算法［2］的準(zhǔn)確性，從而也充分說明了本文算法的有效性。

表3 不同分類器在隕石坑圖像數(shù)據(jù)集和飛行器圖像數(shù)據(jù)集上的分類結(jié)果Tab le 3 C lassification resu lts of different classifiers on crater dataset and spacecraft dataset

圖20 空間目標(biāo)跟蹤算法驗(yàn)證實(shí)驗(yàn)結(jié)果Fig.20 Experimental results of space object tracking algorithm verification

6 結(jié) 論

在典型空間探測(cè)任務(wù)中，基于光學(xué)圖像的態(tài)勢(shì)感知和視覺導(dǎo)航算法的設(shè)計(jì)、驗(yàn)證和評(píng)估對(duì)空間目標(biāo)光學(xué)圖像的質(zhì)量、數(shù)量和信息完備性等均提出了較高的要求。本文基于空間目標(biāo)三維點(diǎn)云模型和射影變換基本理論，設(shè)計(jì)了空間目標(biāo)光學(xué)圖像生成技術(shù)，通過充分的定性和定量仿真實(shí)驗(yàn)，驗(yàn)證了所生成的空間目標(biāo)仿真圖像的有效性，得到以下結(jié)論：

1）可以快速高效生成典型空間目標(biāo)仿真圖像，能夠滿足橢圓擬合、隕石坑檢測(cè)、著陸器視覺導(dǎo)航、航天器交會(huì)對(duì)接、空間目標(biāo)跟蹤等典型空間應(yīng)用算法的定性和定量評(píng)估需求。

2）可以實(shí)現(xiàn)行星表面隕石坑、空間飛行器等典型圖像樣本數(shù)據(jù)集的生成，能夠滿足空間智能化技術(shù)對(duì)訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的需求。

3）可以生成空間目標(biāo)運(yùn)動(dòng)視頻，能夠滿足空間目標(biāo)跟蹤算法驗(yàn)證的需求。

4）在生成圖像的真實(shí)性、普適性、快速性等方面均優(yōu)于基于解析模型的仿真圖像生成技術(shù)。

本文主要針對(duì)空間目標(biāo)的灰度圖像進(jìn)行仿真生成，這與當(dāng)前目標(biāo)空間應(yīng)用對(duì)空間目標(biāo)圖像需求一致，但隨著空間應(yīng)用的發(fā)展，未來可能對(duì)RGB彩色圖像提出需求，所以，需要開展空間目標(biāo)RGB彩色圖像仿真生成技術(shù)研究，這將是下一步研究工作中的重點(diǎn)。