非合作目標(biāo)智能感知技術(shù)研究進(jìn)展與展望

牟金震，郝曉龍，朱文山，李爽

1. 南京航空航天大學(xué) 航天學(xué)院，南京 211106 2. 上海市空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海 201109 3. 北京跟蹤與通信技術(shù)研究所，北京 100094

1 引言

盡管航天器采取了多種保護(hù)措施，但在真空、失重、高低溫和強(qiáng)輻射環(huán)境下長時(shí)間工作，仍然會(huì)發(fā)生故障。這些故障給航天器帶來了巨大的經(jīng)濟(jì)損失。在軌服務(wù)技術(shù)可以為故障失效、燃料耗盡或者模塊更換的衛(wèi)星、空間站和空間運(yùn)載器等空間目標(biāo)提供在軌維修服務(wù)，其通過服務(wù)航天器平臺(tái)攜帶的機(jī)械臂系統(tǒng)、視覺系統(tǒng)與捕獲系統(tǒng)完成在軌裝配、捕獲、維修、燃料加注等操控任務(wù)，可有效延長服務(wù)對(duì)象的使用壽命。傳統(tǒng)在軌服務(wù)技術(shù)由地面人員遙操作協(xié)助完成交會(huì)對(duì)接，存在智能化水平低、適應(yīng)差等問題。中國科技創(chuàng)新2030重大專項(xiàng)對(duì)在軌服務(wù)技術(shù)提出了更高的要求，以滿足空間無人操控任務(wù)的需求。因此，開展智能在軌服務(wù)技術(shù)的研究，有助于提高空間操控平臺(tái)的智能化水平[1]。

在軌服務(wù)任務(wù)中，服務(wù)航天器與服務(wù)對(duì)象到達(dá)交會(huì)對(duì)接距離后，利用服務(wù)航天器攜帶的感知系統(tǒng)完成對(duì)目標(biāo)的位姿信息測(cè)量、關(guān)鍵部組件三維重構(gòu)、關(guān)鍵部位識(shí)別等精細(xì)化感知。然而在軌服務(wù)對(duì)象中，由于對(duì)象先驗(yàn)信息無法獲取，此時(shí)成為非合作目標(biāo)。因此，非合作目標(biāo)的智能感知成為近年來航天在軌操控領(lǐng)域的研究熱點(diǎn)，受到各國的廣泛關(guān)注和重視[2-3]。目前，面向在軌演示驗(yàn)證，非合作目標(biāo)智能感知仍存在諸多難點(diǎn)，如小樣本、多模態(tài)、模型適應(yīng)與高維數(shù)據(jù)。

非合作目標(biāo)感知不僅應(yīng)用于在軌服務(wù)，還可以應(yīng)用于小行星著陸等領(lǐng)域。針對(duì)目標(biāo)結(jié)構(gòu)已知或部分已知的非合作目標(biāo)感知，國外研究機(jī)構(gòu)預(yù)計(jì)2021年底前完成部分關(guān)鍵技術(shù)的在軌測(cè)試，如日本宇宙尺度公司(Astroscale)于2021年8月完成非合作衛(wèi)星在軌捕獲技術(shù)驗(yàn)證，考核了核心相機(jī)、可視化技術(shù)和感知算法軟件等。試驗(yàn)中，非合作衛(wèi)星偏離一小段距離后(約10 cm)，服務(wù)衛(wèi)星點(diǎn)燃了推力器并捕獲非合作衛(wèi)星。不過，這已足以驗(yàn)證后續(xù)非合作在軌感知試驗(yàn)所需的關(guān)鍵技術(shù)。考慮到非合作目標(biāo)智能感知的重要意義，有必要分析梳理非合作目標(biāo)智能感知涉及到的關(guān)鍵技術(shù)，總結(jié)目前存在的主要問題并給出后續(xù)發(fā)展的建議。

2 非合作目標(biāo)感知系統(tǒng)

2.1 典型的非合作目標(biāo)感知系統(tǒng)

前端機(jī)器人技術(shù)驗(yàn)證項(xiàng)目(front-end robotics enabling near-tear demonstration，F(xiàn)REND)利用服務(wù)航天器末端的機(jī)械臂抓捕目標(biāo)的星箭對(duì)接環(huán)等部位。機(jī)械臂感知系統(tǒng)由3個(gè)自帶照明系統(tǒng)且互為備份的相機(jī)組成[5]。美國DARPA的鳳凰計(jì)劃(Phoenix)的機(jī)械臂末端感知系統(tǒng)由3條機(jī)械臂組成，其中有1條為柔性機(jī)械臂，2條FREND機(jī)械臂。相機(jī)系統(tǒng)依然采用自帶照明且互為備份的3目相機(jī)系統(tǒng)。單目相機(jī)為MDA(MacDonald，Dettwiler and Associates)相機(jī)。2019年公開的數(shù)據(jù)顯示，當(dāng)空間光照環(huán)境導(dǎo)致其中1個(gè)相機(jī)成像不理想時(shí)則利用剩余的2個(gè)相機(jī)組成雙目立體視覺系統(tǒng)繼續(xù)完成對(duì)非合作目標(biāo)的位姿測(cè)量，當(dāng)3個(gè)相機(jī)均能正常工作時(shí)則通過信息疊加融合提高位姿測(cè)量精度。

德國于2017年開始規(guī)劃在軌服務(wù)項(xiàng)目(Deutsche orbitale servicing，DEOS)。該項(xiàng)目主要對(duì)LEO上翻滾、失控非合作目標(biāo)衛(wèi)星進(jìn)行抓捕演示驗(yàn)證，抓捕位置包括失效衛(wèi)星的對(duì)接環(huán)、發(fā)動(dòng)機(jī)噴管等，抓捕流程包括遠(yuǎn)距離跟蹤、交會(huì)段位姿測(cè)量、操作距離閉合抓捕以及組合體離軌。機(jī)械臂末端執(zhí)行器上安裝立體視覺系統(tǒng)，即雙目相機(jī)與光源的組合。由于DEOS項(xiàng)目綜合驗(yàn)證在軌服務(wù)任務(wù)，其機(jī)械臂視覺系統(tǒng)必須滿足狹小空間成像能力，因此相機(jī)視場(chǎng)設(shè)計(jì)為60°。

美國DARPA發(fā)起的地球同步軌道衛(wèi)星機(jī)器人服務(wù)(robotics serving of geosynchronous satellites，RSGS)計(jì)劃使用了FREND計(jì)劃研發(fā)的兩條機(jī)械臂，一條臂用來捕獲和握緊非合作目標(biāo)，另一條臂用于配合在軌修理操作。RSGS 計(jì)劃的機(jī)械臂操作采用自主操作與遙操作兩種方式，臂末端的感知系統(tǒng)包括照明系統(tǒng)、視覺相機(jī)系統(tǒng)和位姿計(jì)算系統(tǒng)。相機(jī)系統(tǒng)由3個(gè)單目相機(jī)組成，功能上實(shí)現(xiàn)狹小空間與復(fù)雜光照環(huán)境成像的互補(bǔ)。

歐洲航天局OLEV(orbital life extension vehicle)計(jì)劃的目標(biāo)是拖拽地球靜止軌道上的故障非合作通信衛(wèi)星到墳?zāi)管壍?。服?wù)航天器的作用相當(dāng)于一個(gè)空間拖船，其機(jī)械臂末端的抓捕對(duì)象為發(fā)動(dòng)機(jī)噴管，視覺系統(tǒng)包括近距離立體視覺相機(jī)和照明系統(tǒng)。當(dāng)服務(wù)航天器處于交會(huì)距離后，立體視覺相機(jī)捕獲抓捕機(jī)構(gòu)的圖像后，在地面操作人員的引導(dǎo)下，OLEV逼近至離目標(biāo)0.3m處。E.Deorbit計(jì)劃屬于歐洲航天局(ESA)清潔太空倡議，目的是清除體積較大的非合作目標(biāo)，其機(jī)械臂末端的感知由兩組互為配合的視覺系統(tǒng)組成。第一個(gè)視覺系統(tǒng)任務(wù)為監(jiān)視，第二個(gè)視覺系統(tǒng)任務(wù)為人工遙操作[4-5]。

德國ESS(experimental servicing satellite)計(jì)劃的目的是在軌維修故障非合作衛(wèi)星，其機(jī)械臂抓捕對(duì)象為發(fā)動(dòng)機(jī)噴管，通過機(jī)械臂的近距離操作將抓捕工具插入到指定位置，視覺感知系統(tǒng)由激光測(cè)距儀、雙目相機(jī)以及位姿計(jì)算系統(tǒng)組成。Astroscale公司于2021年8月已完成了在軌目標(biāo)捕獲與清除技術(shù)的首項(xiàng)重要測(cè)試，釋放并重新捉回了一顆小衛(wèi)星。試驗(yàn)中，作為主星的“服務(wù)星”先是釋放了個(gè)頭很小的“客戶星”，然后又利用一個(gè)磁性機(jī)構(gòu)將其重新捉住，其末端感知系統(tǒng)包括視覺相機(jī)、可視化軟件與捕獲系統(tǒng)。整個(gè)試驗(yàn)充分驗(yàn)證了軌道保持與姿態(tài)穩(wěn)定技術(shù)。

2.2 光學(xué)敏感器技術(shù)

考慮到復(fù)雜多變的操控任務(wù)環(huán)境，光學(xué)敏感器不僅實(shí)現(xiàn)目標(biāo)狀態(tài)感知，還需要克服由目標(biāo)運(yùn)動(dòng)、觀測(cè)條件和資源限制影響。非合作交會(huì)對(duì)接主要采用微波或者激光雷達(dá)測(cè)距，視覺相機(jī)輔助測(cè)角，近距離采用成像激光雷達(dá)和視覺相機(jī)解算相對(duì)姿態(tài)。成像雷達(dá)包括激光雷達(dá)和TOF(time of fight)相機(jī)兩種方案。此外，針對(duì)遠(yuǎn)近兼顧的位姿測(cè)量問題，美國采用激光雷達(dá)和三角激光測(cè)量結(jié)合的方案設(shè)計(jì)Tridar(triangutation-lidar)敏感器。國際上，各個(gè)航天強(qiáng)國逐漸開始了非合作目標(biāo)測(cè)量的敏感器技術(shù)方案的驗(yàn)證，依據(jù)測(cè)量理論設(shè)計(jì)了不同方案的測(cè)量敏感器與測(cè)量方案，雖然各有特點(diǎn)，但基本原理和測(cè)量流程基本一致，其中典型的方案為激光雷達(dá)為主視覺相機(jī)為輔。

如前所述，非合作目標(biāo)感知任務(wù)以激光成像雷達(dá)和可見光相機(jī)為主。應(yīng)用于非合作目標(biāo)感知任務(wù)的可見光相機(jī)如表1所示[6-7]。目前，在研的激光雷達(dá)可用作非合作目標(biāo)的感知任務(wù)如表2所示。由于單一敏感器的局限性，無法應(yīng)對(duì)復(fù)雜多變的太空環(huán)境。將多種類傳感器進(jìn)行融合來彌補(bǔ)不足，從而擴(kuò)展測(cè)量能力、提高測(cè)量精度，以滿足智能化的非合作目標(biāo)感知需求，其中多敏感器融合系統(tǒng)如表3所示。

表1 可見光相機(jī)

表2 激光雷達(dá)

表3 多敏感器融合感知系統(tǒng)

3 非合作目標(biāo)位姿測(cè)量研究進(jìn)展

3.1 基于目標(biāo)先驗(yàn)信息的測(cè)量方法

根據(jù)先驗(yàn)信息的不同，非合作目標(biāo)位姿測(cè)量技術(shù)大致分為以下3類：

第1類，已知目標(biāo)航天器的結(jié)構(gòu)信息，但目標(biāo)航天器上沒有標(biāo)識(shí)信息。非合作目標(biāo)位姿估計(jì)問題變?yōu)閳D像特征點(diǎn)的二維信息與三維結(jié)構(gòu)信息匹配的PnP (perspective-n-point) 問題[8]。部分學(xué)者使用目標(biāo)的邊緣信息完成姿態(tài)測(cè)量[9]屬于另外一個(gè)思路。此外，針對(duì)模型已知的非合作目標(biāo)，還有另外一類求解方法，即建立目標(biāo)各個(gè)姿態(tài)角度的圖像數(shù)據(jù)庫，通過圖像計(jì)算的投影與數(shù)據(jù)庫匹配來確定大致姿態(tài)，這類算法主要用于姿態(tài)的粗略估計(jì)[10]。

第2類，目標(biāo)航天器上的部分特殊部組件信息已知。文獻(xiàn)[11]根據(jù)航天器上普遍安裝對(duì)接環(huán)這一特性，通過提取圓特征計(jì)算位姿的算法。文獻(xiàn)[12-13]提出基于航天器最大外輪廓識(shí)別的目標(biāo)位姿測(cè)量方法。文獻(xiàn)[14]設(shè)計(jì)了單目結(jié)構(gòu)光測(cè)量系統(tǒng)，選擇非合作故障衛(wèi)星上常見的局部矩形作為識(shí)別對(duì)象進(jìn)行非合作位姿測(cè)量。文獻(xiàn)[15]提出兩個(gè)單目相機(jī)協(xié)作的位姿確定方法，選擇非合作衛(wèi)星矩形特征為識(shí)別標(biāo)識(shí)，每個(gè)相機(jī)提供矩形的部分圖像，融合后獲取完整的特征。文獻(xiàn)[16]將多個(gè)單目相機(jī)組成非共視場(chǎng)來應(yīng)對(duì)超近距離位姿測(cè)量中的成像空間小、相機(jī)視場(chǎng)角受限問題。

第3類，完全未知的非合作航天器?，F(xiàn)有的方法是先對(duì)目標(biāo)進(jìn)行重建，獲得目標(biāo)的模型信息，然后將位姿估計(jì)問題轉(zhuǎn)換為特征點(diǎn)與模型匹配的問題，利用本質(zhì)矩陣完成位姿初始化[17-18]。不使用配對(duì)的點(diǎn)信息，文獻(xiàn)[19]提出一種基于水平和垂直特征線推導(dǎo)基本矩陣的算法。文獻(xiàn)[20]對(duì)雙目圖像的邊緣點(diǎn)進(jìn)行亞像素定位并重建出邊緣的三維點(diǎn)云，用ICP(iterative closest point)算法與ProE軟件建立的衛(wèi)星模型匹配，進(jìn)而得到目標(biāo)的位姿信息。文獻(xiàn)[21]利用序列圖像重建非合作目標(biāo)模型，將非合作問題轉(zhuǎn)為合作問題，進(jìn)而解算出非合作目標(biāo)的位姿參數(shù)。

3.2 基于傳感器配置的位姿測(cè)量方法

根據(jù)使用的測(cè)量傳感器的不同，非合作目標(biāo)位姿測(cè)量方法分為以下5類：

第1類，基于單目視覺的位姿測(cè)量方法。文獻(xiàn)[22]利用前景提取技術(shù)與基于水平集區(qū)域的姿態(tài)估計(jì)相結(jié)合，對(duì)單目圖像進(jìn)行位姿解算。使用SLAM (simultaneous location and mapping)方法[23, 33-34]對(duì)單目序列圖像進(jìn)行位姿求解，是目前的研究熱點(diǎn)。

第2類，基于雙目視覺的位姿測(cè)量方法。文獻(xiàn)[24]基于立體視覺的完成非合作目標(biāo)識(shí)別、位姿測(cè)量、服務(wù)機(jī)器人規(guī)劃3個(gè)問題。位姿測(cè)量算法包括圖像濾波、邊緣檢測(cè)、線提取、立體匹配和位姿計(jì)算等。最后，開發(fā)了三維仿真系統(tǒng)對(duì)該方法進(jìn)行了評(píng)價(jià)。文獻(xiàn)[25]基于立體視系統(tǒng)重建非合作微納衛(wèi)星的三維模型，之后基于特征匹配的方法對(duì)目標(biāo)的相對(duì)姿態(tài)進(jìn)行估計(jì)，最后開展地面試驗(yàn)測(cè)試該算法系統(tǒng)的精度。文獻(xiàn)[26]基于雙目視覺測(cè)量原理，利用擴(kuò)展卡爾曼濾波方法對(duì)目標(biāo)特征點(diǎn)進(jìn)行跟蹤觀測(cè)，實(shí)現(xiàn)了對(duì)非合作航天器的位姿測(cè)量，最后搭建非合作目標(biāo)位姿估計(jì)試驗(yàn)系統(tǒng)。

第3類，基于掃描式激光雷達(dá)的位姿測(cè)量方法。基于ICP匹配連續(xù)幀的2片三維點(diǎn)云是激光雷達(dá)測(cè)量非合作目標(biāo)位姿的主流方法。文獻(xiàn)[27]提出了一種粒子濾波方法，利用連續(xù)的深度數(shù)據(jù)流估計(jì)非合作目標(biāo)的相對(duì)位姿和旋轉(zhuǎn)速率。該方法避免了以往算法所遇到深度空洞和模糊問題，特別是在數(shù)據(jù)采集過程中使用掃描式激光雷達(dá)會(huì)導(dǎo)致運(yùn)動(dòng)失真問題。此外，與以往的試驗(yàn)相比，該方法利用更簡單的傳感器模式，仍然可以正確估計(jì)目標(biāo)狀態(tài)。通過仿真驗(yàn)證了該方法的有效性，并給出了結(jié)果。

第4類，基于無掃描三維激光成像的位姿測(cè)量方法。無掃描激光成像不需要對(duì)場(chǎng)景進(jìn)行逐行掃描，這與掃描式激光成像有很大的不同。無掃描三維成像雷達(dá)利用飛行時(shí)間法，計(jì)算光束從傳感器到目標(biāo)點(diǎn)的飛行時(shí)間獲得深度信息。通過一次性平行獲取多點(diǎn)的深度值，可以實(shí)時(shí)獲取目標(biāo)的三維圖像。文獻(xiàn)[28]提出基于二維相機(jī)和三維相機(jī)融合的非合作目標(biāo)位姿測(cè)量方法，將高分辨率二維圖像信息與三維相機(jī)深度信息進(jìn)行數(shù)據(jù)融合，獲得高分辨率三維圖像，高效準(zhǔn)確地提取特征點(diǎn)信息，實(shí)現(xiàn)了對(duì)非合作目標(biāo)的位姿測(cè)量。目前，無掃描三維激光成像技術(shù)應(yīng)用于火星著陸項(xiàng)目、月球車避障、交會(huì)對(duì)接項(xiàng)目等非合作目標(biāo)操控領(lǐng)域。

第5類，基于多傳感器融合的位姿測(cè)量方法。目前，多傳感器融合的主流方式有雙目視覺與激光測(cè)距儀的融合、TOF相機(jī)與單目相機(jī)的融合以及TOF相機(jī)和立體視覺系統(tǒng)的融合[29-30, 41-42]。

3.3 依據(jù)目標(biāo)旋轉(zhuǎn)狀態(tài)的測(cè)量方法

根據(jù)目標(biāo)的翻滾運(yùn)動(dòng)，非合作目標(biāo)位姿測(cè)量方法分為以下3類：

第1類，非合作單軸穩(wěn)定慢旋目標(biāo)。非合作目標(biāo)繞其慣性主軸做慢旋運(yùn)動(dòng)(一般指旋轉(zhuǎn)角速率小于5(°)/s)，處于一種穩(wěn)定狀態(tài)。SLAM方法可用于解決非合作慢旋目標(biāo)位姿測(cè)量問題。SLAM中環(huán)境一般為是靜止?fàn)顟B(tài)，相機(jī)在運(yùn)動(dòng)中恢復(fù)環(huán)境結(jié)果和實(shí)現(xiàn)自身定位，而非合作單軸慢旋目標(biāo)位姿測(cè)量問題中，相機(jī)是靜止的，目標(biāo)是相對(duì)運(yùn)動(dòng)的，因此二者可以等效[31-32]。ORB(oriented FAST and rotated Brief)特征算法在多個(gè)尺度空間下對(duì)圖像特征點(diǎn)進(jìn)行提取，并且賦予旋轉(zhuǎn)不變特性的描述子，基于ORB-SLAM方法的非合作慢旋目標(biāo)位姿測(cè)量是目前的主流方案[33-34]。GCN-SLAM在ORB-SLAM基礎(chǔ)上，使用深度學(xué)習(xí)提特征點(diǎn)和描述子，已成功應(yīng)用于地面試驗(yàn)[35]。但是，基于ORB-SLAM的測(cè)量方案存在累積誤差增大問題，部分學(xué)者引入位姿圖優(yōu)化[36]與閉環(huán)檢測(cè)優(yōu)化[37]對(duì)測(cè)量進(jìn)過進(jìn)行校正。

第2類，非合作單軸快旋目標(biāo)。相比于慢旋目標(biāo)，非合作單軸快旋目標(biāo)(一般指旋轉(zhuǎn)角速率大于5(°)/s)測(cè)量的困難之處在于特征提取困難與位姿遞推過程中的粗大誤差。針對(duì)特征提取困難，常見的有3種解決方法：一種解決思路是圖像增強(qiáng)，如基于低照度圖像增強(qiáng)[38]和基于圖像超分辨[39]等方法實(shí)現(xiàn)了以20(°)/s旋轉(zhuǎn)的非合作目標(biāo)位姿測(cè)量；另一種解決思路是多特征提取方法[40]；最后一種是多傳感器融合，如采用相機(jī)與慣導(dǎo)融合[41]或采用主被動(dòng)相機(jī)融合[42]。針對(duì)粗大誤差問題，常采用誤差優(yōu)化技術(shù)[43]。誤差優(yōu)化技術(shù)的核心問題可以歸納為兩個(gè)方面：閉環(huán)檢測(cè)與位姿優(yōu)化。

第3類，非合作翻滾目標(biāo)。非合作翻滾目標(biāo)在空中一般處于自由翻滾狀態(tài)，既繞自旋軸旋轉(zhuǎn)也沿著進(jìn)動(dòng)軸旋轉(zhuǎn)[44]。文獻(xiàn)[45]直接使用深度傳感器在一段時(shí)間內(nèi)采集到包含有目標(biāo)信息的連續(xù)深度圖數(shù)據(jù)流，將深度圖轉(zhuǎn)化為三維點(diǎn)云，對(duì)于相鄰兩幅三維點(diǎn)云，直接采用ICP算法對(duì)其進(jìn)行配準(zhǔn)，估計(jì)所有相鄰兩幅點(diǎn)云之間的位姿。文獻(xiàn)[46]提出一種基于激光雷達(dá)點(diǎn)模板匹配的位姿估計(jì)算法。離線階段，對(duì)所有6自由度姿態(tài)進(jìn)行采樣，以生成足夠的模板。 利用三維點(diǎn)云數(shù)據(jù)，將樣本限制3-DoF姿態(tài)域內(nèi)，利用點(diǎn)云數(shù)據(jù)的質(zhì)心估計(jì)出航天器的位置。在線階段，將激光雷達(dá)目標(biāo)點(diǎn)構(gòu)造成輪廓圖像，與模板進(jìn)行匹配。文獻(xiàn)[47]通過試驗(yàn)驗(yàn)證非線性最小二乘方法對(duì)非合作目標(biāo)的5種典型翻滾狀態(tài)具有最優(yōu)的魯棒性。文獻(xiàn)[48]研究基于雷達(dá)散射截面序列的非合作目標(biāo)翻滾周期估計(jì)。文獻(xiàn)[49]提出深度圖像和已知的模板匹配的姿態(tài)估計(jì)方法，該方法利用閉環(huán)方式實(shí)現(xiàn)的ICP算法。

3.4 基于深度學(xué)習(xí)的位姿測(cè)量方法

基于深度學(xué)習(xí)的非合作目標(biāo)位姿估計(jì)主要分為2類。

第1類，混合人工神經(jīng)網(wǎng)絡(luò)估計(jì)算法。文獻(xiàn)[50]提出一種融合卷積神經(jīng)網(wǎng)絡(luò)的特征提取CEPPnP (efficient procrustes perspect-n-points)方法與擴(kuò)展卡爾曼濾波的非合作目標(biāo)位姿估計(jì)網(wǎng)絡(luò)。文獻(xiàn)[51]提出一種基于對(duì)偶向量四元數(shù)的混合人工神經(jīng)網(wǎng)絡(luò)估計(jì)算法。文獻(xiàn)[52]提出一種神經(jīng)網(wǎng)絡(luò)增強(qiáng)卡爾曼濾波器(NNEKF)。NNEKF的主要?jiǎng)?chuàng)新之處是利用慣性特性的虛擬觀測(cè)改進(jìn)濾波器的性能。

第2類，改進(jìn)深度模型的位姿估計(jì)算法。文獻(xiàn)[53]在Google Inception Net模型的基礎(chǔ)上設(shè)計(jì)非合作目標(biāo)位姿估計(jì)網(wǎng)絡(luò)。針對(duì)空間目標(biāo)數(shù)據(jù)的小樣本問題，使用3DMax軟件構(gòu)建目標(biāo)的數(shù)據(jù)集。為了充分模擬空間光照環(huán)境，隨機(jī)設(shè)置仿真環(huán)境的太陽光亮度，隨機(jī)增加星空背景噪聲以及對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化等操作進(jìn)行數(shù)據(jù)增強(qiáng)。文獻(xiàn)[54]參考VGG和DenseNet網(wǎng)絡(luò)設(shè)計(jì)一種雙通道的神經(jīng)網(wǎng)絡(luò)，用于定位特征點(diǎn)在圖像中對(duì)應(yīng)的像素，并給出其對(duì)應(yīng)的像素坐標(biāo)，提出神經(jīng)網(wǎng)絡(luò)的剪枝方法，實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化。文獻(xiàn)[55]針對(duì)空間非合作航天器姿態(tài)測(cè)量時(shí)受光照和地球背景影響大的問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端姿態(tài)估計(jì)方法，主干網(wǎng)絡(luò)采用AlexNet與ResNet。相較于僅采用回歸方法進(jìn)行姿態(tài)估計(jì)，此方法能夠有效減小姿態(tài)估計(jì)平均絕對(duì)誤差，標(biāo)準(zhǔn)差與最大誤差。文獻(xiàn)[56]針對(duì)空間光照的干擾和小樣本問題，提出一種基于單目圖像的位姿估計(jì)網(wǎng)絡(luò)。用于訓(xùn)練網(wǎng)絡(luò)的合成圖像充分考慮了航天器在軌的噪聲、光照等因素。此外，文獻(xiàn)[57]提出SPN(spacecraft pose network)模型，該模型僅利用灰度圖像訓(xùn)練網(wǎng)絡(luò)。SPN模型包括3個(gè)分支，第1個(gè)分支利用檢測(cè)器來檢測(cè)輸入圖中目標(biāo)的邊界框，其他2個(gè)分支使用二維邊界框內(nèi)的區(qū)域來確定相對(duì)姿態(tài)。文獻(xiàn)[58]首次使用半物理仿真平臺(tái)制作非合作目標(biāo)數(shù)據(jù)集。文獻(xiàn)[59-60]基于預(yù)訓(xùn)練的深度模型實(shí)現(xiàn)了非合作航天器的6-DOF位姿估計(jì)。文獻(xiàn)[61]利用現(xiàn)有的目標(biāo)檢測(cè)網(wǎng)絡(luò)和關(guān)鍵點(diǎn)回歸網(wǎng)絡(luò)預(yù)測(cè)二維關(guān)鍵點(diǎn)坐標(biāo)，并結(jié)合多視點(diǎn)三角剖分重建三維模型，采用非線性最小二乘法最小化二維—三維坐標(biāo)，預(yù)測(cè)位置和姿態(tài)。

應(yīng)用深度學(xué)習(xí)實(shí)現(xiàn)非合作目標(biāo)的位姿估計(jì)，訓(xùn)練數(shù)據(jù)不足是必然會(huì)出現(xiàn)的問題。使用合成數(shù)據(jù)集難以完全模擬空間實(shí)際情況。此時(shí)位姿估計(jì)的準(zhǔn)確率完全依賴于數(shù)據(jù)集本身提供的信息，當(dāng)新的任務(wù)樣本與數(shù)據(jù)集本身樣本差異度過大時(shí)，準(zhǔn)確率可能急劇下降。

4 非合作目標(biāo)三維重建研究進(jìn)展

4.1 基于稠密程度的重建方法

根據(jù)非合作目標(biāo)重建模型的稠密程度，可以分為稀疏重建和稠密重建。

(1)稀疏重建

稀疏重建是通過相機(jī)的移動(dòng)來構(gòu)建目標(biāo)的稀疏模型。首先輸入非合作目標(biāo)的多視角圖像，檢測(cè)每張圖像中的特征點(diǎn)，并對(duì)特征點(diǎn)進(jìn)行匹配，然后運(yùn)用 SFM (Structure from Motion) 重構(gòu)算法，恢復(fù)出相機(jī)的參數(shù)以及相機(jī)之間的相對(duì)位置關(guān)系及場(chǎng)景的稀疏點(diǎn)云。稀疏點(diǎn)云重建的一般流程為：首先檢測(cè)特征點(diǎn)，匹配特征點(diǎn)，然后求解相機(jī)位姿初始值，接著利用光束平差法等優(yōu)化相機(jī)位姿，最后通過相機(jī)參數(shù)、位姿參數(shù)及特征點(diǎn)重構(gòu)場(chǎng)景結(jié)構(gòu)[62]。特征點(diǎn)檢測(cè)主要分為斑點(diǎn)和角點(diǎn)。斑點(diǎn)檢測(cè)[63]主要包括LOG(Laplacian of Gaussian)，SIFT(scale invariant feature transform)和SURF(speeded up robust features)等。角點(diǎn)檢測(cè)包括Harris角點(diǎn)、FAST(features from accelerated segment test)和ORB等。

(2)稠密重建

由于SFM用來做重建的點(diǎn)是由特征匹配提供的，導(dǎo)致匹配點(diǎn)稀疏，重建效果不好，所以需要MVS(multi view system)進(jìn)行完善或者直接使用稠密點(diǎn)云重建。稠密點(diǎn)云重建目的是通過立體匹配等算法，計(jì)算圖像的大部分或者全部像素的三維信息，并對(duì)其進(jìn)行三維重建。與稀疏重建法相比，稠密重建獲取的非合作目標(biāo)的三維信息更加全面[64]。文獻(xiàn)[65]提出一種基于序列圖像的空間目標(biāo)三維重建。文獻(xiàn)[66]提出基于序列圖像的三維重建方法，并可以提供翼板天線等部位的結(jié)構(gòu)信息。文獻(xiàn)[67]提出基于序列圖像的空間非合作目標(biāo)三維重建方法，但重建結(jié)果缺少目標(biāo)表面紋理和局部結(jié)構(gòu)特征關(guān)鍵。文獻(xiàn)[68]分析線陣激光成像雷達(dá)的成像機(jī)制并模擬失效翻滾衛(wèi)星的數(shù)據(jù)采集，提出一種翻滾目標(biāo)建模方法。隨著移動(dòng)端傳感器的不斷集成，尤其是集成了3D深度相機(jī)，可直接采用幾何關(guān)系得到點(diǎn)云數(shù)據(jù)，加快了稠密重建速度，可實(shí)現(xiàn)實(shí)時(shí)稠密重建[75-78]。

4.2 基于傳感器配置的重建方法

根據(jù)傳感器的配置，非合作目標(biāo)三維重建可以分為基于主動(dòng)、被動(dòng)與主被動(dòng)融合的非合作目標(biāo)重建。

非合作目標(biāo)主動(dòng)視覺重建技術(shù)：主動(dòng)視覺重建利用激光掃描法[69]、結(jié)構(gòu)光法[70]與TOF技術(shù)[71]等光學(xué)敏感器掃描非合作目標(biāo)的表面，利用獲取的深度數(shù)據(jù)或點(diǎn)云數(shù)據(jù)重建非合作目標(biāo)表面的三維結(jié)構(gòu)。

非合作目標(biāo)被動(dòng)視覺的維重建技術(shù)：利用視覺傳感器獲取目標(biāo)序列圖像，進(jìn)而基于多視圖重建方法完成非合作目標(biāo)三維重建。這種技術(shù)首先通過視覺傳感器獲取圖像序列，然后提取特征信息，最后將特征點(diǎn)三角化為點(diǎn)云，從而重建出物體的三維結(jié)構(gòu)模型。一般地，應(yīng)用于非合作目標(biāo)重建的被動(dòng)視覺三維重建技術(shù)可以分為單目視覺[72]、雙目視覺[73]和多目視覺[74]。

非合作目標(biāo)主被動(dòng)融合的重建技術(shù)：深度傳感器與彩色傳感器結(jié)合，可以實(shí)現(xiàn)空間髙分辨率的多維度數(shù)據(jù)采集。其中基于RGB-D相機(jī)的三維重建其實(shí)可以分為兩種：一種是對(duì)于靜態(tài)場(chǎng)景的三維重建，以KFusion[75]，Kintinuous[76]與ElasticFusion[77]為典型代表，一種是對(duì)于動(dòng)態(tài)場(chǎng)景的三維重建，以DynamicFusion[78]為典型代表。

綜上所述，隨著在軌航天器采用多傳感器組合的方式觀測(cè)被測(cè)空間目標(biāo)，獲取目標(biāo)數(shù)據(jù)的維度及數(shù)據(jù)量不斷增加。由于數(shù)據(jù)量與數(shù)據(jù)維度的不斷增加，難以從高維數(shù)據(jù)中提煉出能夠表征空間目標(biāo)特性的關(guān)鍵數(shù)據(jù)，不同維度的特征數(shù)據(jù)難以進(jìn)行合理有效的融合[79]。

4.3 基于深度學(xué)習(xí)的目標(biāo)重建

(1)深度學(xué)習(xí)與語義法

考慮到傳統(tǒng)三維重建方法在空間應(yīng)用的局限性，基于深度學(xué)習(xí)的三維重建技術(shù)逐漸被引入到非合作目標(biāo)重建中來[80]。文獻(xiàn)[81]提出非結(jié)構(gòu)化多視點(diǎn)三維重建網(wǎng)絡(luò)(MVSNet)。同時(shí)，文獻(xiàn)[82]對(duì)原來的MVSNet進(jìn)行優(yōu)化，提出了R-MVSNet。文獻(xiàn)[83]提出PointMVSNet神經(jīng)網(wǎng)絡(luò)框架，主要分為兩大部分：第一部分首先將不同視角的圖像輸入到網(wǎng)絡(luò)中，生成粗糙深度預(yù)測(cè)圖，然后轉(zhuǎn)換成粗糙點(diǎn)云；第二部分利用圖像金字塔網(wǎng)絡(luò)提取三維點(diǎn)云中每個(gè)點(diǎn)在各視角圖像中的紋理特征，構(gòu)建特征增強(qiáng)點(diǎn)云，然后利用點(diǎn)流模型迭代出精確而稠密的點(diǎn)云。文獻(xiàn)[84]提出一種像素感知可見性的多視圖網(wǎng)絡(luò) PVSNet，用于密集3D重建。文獻(xiàn)[85]提出一種用于單視圖和多視圖3D重建的Pix2Vox++框架，使用編碼器/解碼器可以從單輸入圖像生成一個(gè)粗糙的3D體，然后引入多尺度上下文感知融合模塊從粗糙3D體自適應(yīng)重建目標(biāo)模型。文獻(xiàn)[86]提出SurfaceNet+網(wǎng)絡(luò)，用于處理有系數(shù)MVS引起的“不完整”和“不準(zhǔn)確”問題。該框架的核心優(yōu)勢(shì)在于，利用端到端神經(jīng)網(wǎng)絡(luò)解決多視立體視覺問題能夠直接學(xué)習(xí)到圖像一致性與其幾何相關(guān)性。

(2)深度學(xué)習(xí)輔助幾何的重建方法

文獻(xiàn)[87]提出了一種從單目圖像估計(jì)場(chǎng)景深度的雙通道算法，先利用暗通道先驗(yàn)作為局部測(cè)度估計(jì)原始深度圖，然后用亮通道修正原始深度圖中誤差，最后利用語義分割信息和補(bǔ)丁匹配標(biāo)簽傳播來加強(qiáng)語義一致的幾何先驗(yàn)。該方法不需要真實(shí)深度數(shù)據(jù)進(jìn)行訓(xùn)練，使得該方法能夠適應(yīng)空間非合作目標(biāo)場(chǎng)景。文獻(xiàn)[88]提出GAN2shape模型，利用生成式對(duì)抗網(wǎng)絡(luò)從圖像中恢復(fù)目標(biāo)的三維模型，其核心是利用一種迭代策略探索和利用GAN圖像流中的各個(gè)視點(diǎn)和光照的變化，不需要2D關(guān)鍵點(diǎn)和3D注釋，也不需要對(duì)對(duì)象形狀的嚴(yán)格假設(shè)。

(3)單目深度估計(jì)法

單目相機(jī)是最簡單的光學(xué)傳感器，是大部分航天器上的標(biāo)準(zhǔn)裝備。從單幅RGB圖像中估計(jì)深度的方法也稱單目深度估計(jì)方法，對(duì)非合作目標(biāo)三維重建具有重要意義。監(jiān)督/無監(jiān)/半監(jiān)督學(xué)習(xí)、基于隨機(jī)條件場(chǎng)的方法、聯(lián)合語義信息、基于輔助信息的深度估計(jì)[89]是基于深度學(xué)習(xí)的單目深度估計(jì)方法的熱點(diǎn)。

監(jiān)督學(xué)習(xí)：文獻(xiàn)[90]提出一種在網(wǎng)絡(luò)內(nèi)高效學(xué)習(xí)特征映射上采樣的新方法，引入殘差學(xué)習(xí)的全卷積架構(gòu)來建模單目圖像和深度圖之間的模糊映射，使用Huber損失函數(shù)優(yōu)化整個(gè)網(wǎng)絡(luò)，該方法經(jīng)作者改進(jìn)后融合到單目SLAM技術(shù)當(dāng)中，可應(yīng)用于非合作目標(biāo)的單目位姿測(cè)量。文獻(xiàn)[91]提出StructDepth采用兩個(gè)額外的監(jiān)督信息進(jìn)行自監(jiān)督訓(xùn)練[91]：曼哈頓法線約束和共面約束。

無監(jiān)督學(xué)習(xí)：文獻(xiàn)[92]提出一種神經(jīng)架構(gòu)搜索框架LiDNAS，用于生存輕量級(jí)單目深度估計(jì)模型。與以往的神經(jīng)架構(gòu)搜索不同，尋找優(yōu)化網(wǎng)絡(luò)的計(jì)算要求很高，引入新穎的Assisted Tabu Search 實(shí)現(xiàn)高效架構(gòu)搜索。文獻(xiàn)[93]提出通用場(chǎng)景單目深度估計(jì)無監(jiān)督模型RealMonoDepth學(xué)習(xí)估計(jì)各種場(chǎng)景的真實(shí)深度，其包含相對(duì)深度和絕對(duì)深度損失函數(shù)。文獻(xiàn)[94]提出DeFeatNet是一種同時(shí)學(xué)習(xí)跨域密集表征表示方法以及扭曲特征一致性的深度估計(jì)模型。

半監(jiān)督學(xué)習(xí)：文獻(xiàn)[95]將圖像一致性的無監(jiān)督框架和密集深度補(bǔ)全的有監(jiān)督框架結(jié)合提出一種半監(jiān)督框架FisNets。此外，文獻(xiàn)[96]通過兩階段從單目圖像中預(yù)測(cè)深度，以半監(jiān)督的方式訓(xùn)練網(wǎng)絡(luò)。

基于隨機(jī)條件場(chǎng)的方法：文獻(xiàn)[97]考慮到深度值的連續(xù)特性，將深度估計(jì)轉(zhuǎn)化為連續(xù)條件隨空?qǐng)?CRF)學(xué)習(xí)問題，提出了一種融合深度CNN和連續(xù)CRF的網(wǎng)絡(luò)。文獻(xiàn)[98]提出一種融合了來自多個(gè)卷積神經(jīng)網(wǎng)絡(luò)輸出的互補(bǔ)信息的深度模型。

聯(lián)合語義信息：文獻(xiàn)[99-100]提出了一種聯(lián)合語義信息的深度估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，預(yù)先訓(xùn)練語義分割網(wǎng)絡(luò)，通過像素自適應(yīng)卷積來指導(dǎo)深度估計(jì)。此外，為克服語義信息的偏見性，使用兩階段的訓(xùn)練對(duì)動(dòng)態(tài)對(duì)象通過重采樣。

引入其他信息輔助深度估計(jì)：從單目場(chǎng)景恢復(fù)深度信息需要其他輔助信息，文獻(xiàn)[101]針對(duì)單目深度估計(jì)的不精確對(duì)象及深度推斷和尺度模糊問題，使用額外的Lidar并建立DNet，提出密集鏈接預(yù)測(cè)層和密集幾何約束以應(yīng)對(duì)這兩個(gè)問題。文獻(xiàn)[102]整合深度和曲面法線之間的幾何關(guān)系，提出GeoNet網(wǎng)絡(luò)預(yù)測(cè)單個(gè)圖像的深度和曲面法向量，并利用殘差模塊提高了其質(zhì)量，其中作者利用了平面區(qū)域表面法線變化不大的幾何規(guī)律來輔助和優(yōu)化單目深度估計(jì)。文獻(xiàn)[103]使用Lidar單目相機(jī)估計(jì)密集深度圖，網(wǎng)絡(luò)模型由多級(jí)編碼器/解碼器組成。文獻(xiàn)[104]將幾何與PackNet結(jié)合，利用對(duì)稱的packing 和unpacking模塊共同學(xué)習(xí)使用3D卷積壓縮和解壓縮保留細(xì)節(jié)的表征形式。

5 非合作目標(biāo)及部組件識(shí)別研究進(jìn)展

5.1 基于深度學(xué)習(xí)的非合作識(shí)別方法

由于航天任務(wù)的特殊性，目前應(yīng)用深度學(xué)習(xí)的方法識(shí)別非合作目標(biāo)仍處于起始階段，相關(guān)研究工作較少。文獻(xiàn)[106]提出用于空間目標(biāo)檢測(cè)、分割和部組件識(shí)別的數(shù)據(jù)集。由于空間目標(biāo)真實(shí)圖像獲取困難，公開的真實(shí)圖像不多。為了豐富數(shù)據(jù)集，研究人員從真實(shí)圖像和視頻中收集了3 117張衛(wèi)星和空間站的圖像。在數(shù)據(jù)集注釋過程中使用一種引導(dǎo)策略，以最大限度地減少標(biāo)注工作。首先，在小尺度上進(jìn)行手工標(biāo)記樣本標(biāo)簽。然后，利用標(biāo)記數(shù)據(jù)訓(xùn)練一個(gè)分割模型以自動(dòng)生成更多圖像的粗標(biāo)簽。接著，通過交互式工具進(jìn)行手工細(xì)化。最終，生成完整的數(shù)據(jù)集。數(shù)據(jù)集中，空間目標(biāo)包括空間站和衛(wèi)星。此外，還提供用基準(zhǔn)數(shù)據(jù)集用于評(píng)估目標(biāo)檢測(cè)和實(shí)例分割算法的先進(jìn)性。文獻(xiàn)[107]提出用于空間目標(biāo)識(shí)別的訓(xùn)練和測(cè)試圖像的單一和混合數(shù)據(jù)增強(qiáng)方法，并提出基于數(shù)據(jù)增強(qiáng)的空間目標(biāo)識(shí)別方法。其數(shù)據(jù)集的制作由STK(systems tool kit)通過一系列運(yùn)動(dòng)模糊和離焦模糊來模擬空間真實(shí)成像條件。文獻(xiàn)[108]利用YOLO(you only look once)模型對(duì)衛(wèi)星及其部件進(jìn)行識(shí)別，采用兩種衛(wèi)星模型的三維模型圖片集進(jìn)行訓(xùn)練，測(cè)試了模型對(duì)不同視角、不同距離以及不同遮擋條件下的衛(wèi)星及衛(wèi)星部件的精度，結(jié)果顯示模型準(zhǔn)確率在90%以上，但沒有考慮不同運(yùn)動(dòng)、不同光照、不同方位情況下衛(wèi)星模型的識(shí)別。文獻(xiàn)[109]提出將Mask R-CNN(mask region-based convolutional neural network)應(yīng)用于空間衛(wèi)星特征檢測(cè)與識(shí)別問題，并借鑒R-FCN(region-based fully convolutional network)和Light-head R-CNN對(duì)其進(jìn)行優(yōu)化改進(jìn)，以滿足空間衛(wèi)星識(shí)別任務(wù)實(shí)時(shí)性要求。但搭建虛擬環(huán)境與真實(shí)太空環(huán)境仍然存在較大的差異，也未考慮更加復(fù)雜的太空光照環(huán)境、復(fù)雜的章動(dòng)和進(jìn)動(dòng)等運(yùn)動(dòng)。

文獻(xiàn)[110]提出一種改進(jìn)CenterMask網(wǎng)絡(luò)用于識(shí)別衛(wèi)星及部組件，但此模型訓(xùn)練時(shí)間長、模型內(nèi)存大等原因不適合于資源受限的空間載荷部署，對(duì)于實(shí)際在軌應(yīng)用仍然存在較大的差異。在衛(wèi)星姿態(tài)和光照條件變化較大的情況下，文獻(xiàn)[111]提出基于R-CNN(region-based convolutional neural network)的衛(wèi)星部件檢測(cè)算法。首先，在Mask R-CNN的基礎(chǔ)上，結(jié)合DenseNet、ResNet和FPN構(gòu)建新的特征提取結(jié)構(gòu)，并通過提供密集的連接增強(qiáng)各層之間的特征傳播。針對(duì)訓(xùn)練樣本缺乏問題，模擬軟件生成不同角度、不同軌道高度以及不同類型的衛(wèi)星圖像數(shù)據(jù)集。最后，在構(gòu)建的數(shù)據(jù)集上測(cè)試識(shí)別模型精度。

綜上所述，目前已有的工作大部分借助傳統(tǒng)目標(biāo)檢測(cè)領(lǐng)域經(jīng)典成熟的方法，大多不能滿足實(shí)際在軌要求。用于模型訓(xùn)練的數(shù)據(jù)大多基于模擬數(shù)據(jù)集，難以完全模擬真實(shí)空間環(huán)境。訓(xùn)練完成的模型只能識(shí)別某一固定模態(tài)的衛(wèi)星數(shù)據(jù)，無法滿足大量容易獲取的其他數(shù)據(jù)模態(tài)，也無法使用一個(gè)樣本豐富的模態(tài)信息來輔助另一個(gè)小樣本的模態(tài)進(jìn)行學(xué)習(xí)。

5.2 基于多模態(tài)深度學(xué)習(xí)的目標(biāo)識(shí)別

文獻(xiàn)[112]依據(jù)真實(shí)的空間仿真環(huán)境，提出空間目標(biāo)識(shí)別和分割的多模態(tài)圖像數(shù)據(jù)集SPARK，數(shù)據(jù)集由深度圖和彩色圖組成，數(shù)量約1.5×105、目標(biāo)類別11類。文獻(xiàn)[113]提出基于本體多源信息融合的空間目標(biāo)識(shí)別方法，并首次提出使用零樣本分類技術(shù)實(shí)現(xiàn)新目標(biāo)的自動(dòng)識(shí)別。文獻(xiàn)[114]將多傳感器信息融合看成一種多元信息的融合處理技術(shù)，針對(duì)衛(wèi)星識(shí)別問題的特征級(jí)融合階段，提出神經(jīng)網(wǎng)絡(luò)組的方法，并應(yīng)用到特征級(jí)融合對(duì)目標(biāo)進(jìn)行識(shí)別。文獻(xiàn)[115]研究模糊信息的融合方法，包括基于模糊積分和模糊邏輯的特征層融合算法，針對(duì)空間目標(biāo)小樣本分類問題，在常用的模糊方法的基礎(chǔ)上實(shí)現(xiàn)了基于模糊積分的特征層融合算法。文獻(xiàn)[116]將紅外和可見光圖進(jìn)行融合，并基于判斷模型定義紅外和可見光圖進(jìn)不可融合的條件，將融合后的圖像應(yīng)用于空間目標(biāo)識(shí)別，提高復(fù)雜地球背景下識(shí)別的魯棒性。多模態(tài)數(shù)據(jù)融合中，不同模態(tài)數(shù)據(jù)具有不同的數(shù)據(jù)分布，使用傳統(tǒng)的“單源域→單目標(biāo)域”融合方法將難以獲得數(shù)據(jù)疊加效果。多模態(tài)交叉遷移下，樣本標(biāo)簽并不能有效遷移，導(dǎo)致融合后的目標(biāo)域存在較多的噪聲干擾，降低了模型的跨域識(shí)別性能。

5.3 基于遷移深度學(xué)習(xí)的目標(biāo)識(shí)別

已有的空間非合作目標(biāo)識(shí)別模型基于特定任務(wù)和數(shù)據(jù)集訓(xùn)練各自孤立的模型，學(xué)習(xí)中并未保留任何可從一種模型遷移到另一種模型上的知識(shí)，而遷移學(xué)習(xí)利用先前訓(xùn)練模型中的特征，權(quán)重等知識(shí)訓(xùn)練新模型，解決識(shí)別任務(wù)中具有較少高質(zhì)量數(shù)據(jù)的問題。在空間目標(biāo)識(shí)別任務(wù)中，由于光照環(huán)境的改變、目標(biāo)遠(yuǎn)近距離的變化、星空背景和地球背景的交替干擾等影響，導(dǎo)致地面試驗(yàn)條件下訓(xùn)練的模型無法遷移到空間環(huán)境，極易出現(xiàn)模型失效。遷移學(xué)習(xí)可以將地面條件下的模型知識(shí)，快速遷移到新的就環(huán)境中，它使模型在新的小樣本環(huán)境中快速學(xué)習(xí)新的知識(shí)。因此，利用遷移學(xué)習(xí)和深度學(xué)習(xí)結(jié)合，將地面任務(wù)與空間任務(wù)之間遷移特征學(xué)習(xí)方法，解決空間任務(wù)的多域遷移問題[117]。

5.4 基于小樣本學(xué)習(xí)的目標(biāo)識(shí)別

參數(shù)微調(diào)、模型結(jié)構(gòu)變遷、度量學(xué)習(xí)是小樣本目標(biāo)識(shí)別方的主流方法。目前直接應(yīng)用小樣本學(xué)習(xí)處理空間目標(biāo)識(shí)別主要存在以下幾方面的問題。首先，大部分模型部署后推理速度緩慢，大多不能滿足空間處理實(shí)時(shí)要求。其次，模型結(jié)構(gòu)的復(fù)雜度高，不滿足星載資源受限的應(yīng)用需求。半監(jiān)督學(xué)習(xí)利用小樣本標(biāo)簽指導(dǎo)大量為無標(biāo)簽數(shù)據(jù)學(xué)習(xí)，因此小樣本學(xué)習(xí)可與半監(jiān)督學(xué)習(xí)結(jié)合。此外，也可以先利用無監(jiān)督學(xué)習(xí)在無標(biāo)簽數(shù)據(jù)訓(xùn)練模型，然后遷移到小樣本數(shù)據(jù)中強(qiáng)化模型[118]。在非合作目標(biāo)及部組件識(shí)別任務(wù)中，由于空間任務(wù)以及目標(biāo)的改變，標(biāo)注樣本難以獲得，即使獲得樣本也非常容易過時(shí)，但無標(biāo)簽的樣本則相對(duì)容易獲得。半監(jiān)督學(xué)習(xí)為解決小樣本學(xué)習(xí)問題打開一種新的局面。但是，面向在軌服務(wù)任務(wù)，當(dāng)新的任務(wù)樣本與數(shù)據(jù)集本身樣本差異度過大時(shí)，識(shí)別準(zhǔn)確率可能急劇下降。

6 非合作目標(biāo)智能感知技術(shù)發(fā)展趨勢(shì)

目前，非合作目標(biāo)感知的部分關(guān)鍵技術(shù)已經(jīng)得到了在軌驗(yàn)證。在深度學(xué)習(xí)的影響下，研究人員開始了智能感知技術(shù)的研究。然而，面向在軌應(yīng)用，仍然存在較多的方向值得研究。下面提煉出非合作目標(biāo)智能感知的一些亟待解決的問題， 并給出研究建議。

1)小樣本圖像生成：非合作目標(biāo)在真實(shí)環(huán)境中的數(shù)據(jù)難以獲取，而地面試驗(yàn)條件下產(chǎn)生的訓(xùn)練數(shù)據(jù)樣本難以完全模擬空間實(shí)際情況。少樣本生成旨在基于同一種類的少量圖像， 生成該種類更多的圖像，可以用來增廣已有的訓(xùn)練數(shù)據(jù)，從而輔助圖像分類等下游任務(wù)。

2)多星協(xié)同測(cè)量方式：傳統(tǒng)的單星測(cè)量方式，對(duì)目標(biāo)遮擋問題處理困難，不能對(duì)指定區(qū)域進(jìn)行持續(xù)觀測(cè)。隨著空間操控任務(wù)的多樣性、復(fù)雜性和精細(xì)化需求，傳統(tǒng)的單星工作模式將無法滿足要求。多星協(xié)同觀測(cè)，特別是微納星群協(xié)同感知技術(shù)，利用多星的協(xié)同配合完成對(duì)目標(biāo)的多角度、全方位觀測(cè)。

3)多傳感器信息融合：多傳感器協(xié)同或者多傳感器數(shù)據(jù)融合的方法可以有效應(yīng)對(duì)復(fù)雜多變的空間環(huán)境，實(shí)現(xiàn)功能的互補(bǔ)。如何剔除多傳感器的冗余信息，提取有效特征為多傳感器融合的關(guān)鍵。

4)多視角數(shù)據(jù)聯(lián)合表征：多視角數(shù)據(jù)能讓服務(wù)航天器更加全面地了解待觀測(cè)的對(duì)象，因此對(duì)多視角數(shù)據(jù)進(jìn)行表征學(xué)習(xí)具有重要研究意義。如何將每個(gè)視覺的特征進(jìn)行融合，然后映射到低維空間表征多視角是未來一個(gè)值得研究的方向。

5)多特征融合表達(dá)：在獲取的多視圖信息中，尋找具有準(zhǔn)確、全面描述目標(biāo)特征信息和具有良好分類性能的圖像目標(biāo)特征以及如何提取這些特征就成為解決圖像目標(biāo)識(shí)別問題的關(guān)鍵。

6)空間目標(biāo)的精細(xì)化感知：隨著對(duì)非合作目標(biāo)操控任務(wù)和需求越來越復(fù)雜，非合作目標(biāo)感知也越來越精細(xì)。空間目標(biāo)的精細(xì)化感知包括目標(biāo)測(cè)量、目標(biāo)識(shí)別、場(chǎng)景理解與目標(biāo)重建。

7)變化場(chǎng)景下識(shí)別模型遷移與重用問題：深度神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)大多依賴其初始任務(wù)需求，對(duì)新任務(wù)的自適應(yīng)性較差。因此需要開展面向多任務(wù)應(yīng)用的航天器感知模型自適應(yīng)機(jī)制研究，設(shè)計(jì)模型遷移機(jī)制對(duì)原有權(quán)值信息進(jìn)行壓縮，自動(dòng)生成適應(yīng)新任務(wù)的模型結(jié)構(gòu)。

8)面向非合作目標(biāo)感知的高維數(shù)據(jù)機(jī)器學(xué)習(xí)：智能感知算法存在 “維數(shù)災(zāi)難”和“過擬合”問題。此外，還面臨高維小樣本問題。因此，克服因高維數(shù)據(jù)帶來的分類器的過擬合問題也是未來的研究方向；如何進(jìn)一步改善高維空間的小樣本學(xué)習(xí)的有效性和穩(wěn)定性也是未來需要解決的關(guān)鍵問題。

7 結(jié)論

目前，各個(gè)航天強(qiáng)國陸續(xù)開展了非合作目標(biāo)智能感知技術(shù)的在軌驗(yàn)證。傳統(tǒng)的非合作目標(biāo)感知技術(shù)在特定任務(wù)、特定操控對(duì)象以及特定的環(huán)境等具有局限性，盡管感知方法由單一測(cè)量方法發(fā)展為多手段協(xié)同的測(cè)量方法，仍不能滿足智能化的需求，亟需將感知技術(shù)推向人工智能感知測(cè)量的新階段。將人工智能技術(shù)引入到非合作目標(biāo)感知領(lǐng)域，將使航天器具備感知、學(xué)習(xí)與決策能力，提高航天器對(duì)空間復(fù)雜任務(wù)自主適應(yīng)的能力?？紤]到非合作航天器智能感知的重要意義，有必要對(duì)非合作航天器智能感知技術(shù)進(jìn)行深入系統(tǒng)地研究，針對(duì)其中的難點(diǎn)問題進(jìn)行突破，從而提高中國空間操控平臺(tái)的智能化水平。