基于深度學習的非合作目標感知研究進展*

何英姿，杜 航，張海博

(1.北京控制工程研究所·北京·100194；2.空間智能控制技術國防科技重點實驗室·北京·100194)

0 引 言

近年來，由于近地航天器發(fā)射數(shù)目激增，在軌失效衛(wèi)星和故障衛(wèi)星逐漸增多，為應對這些問題，空間碎片清除和在軌服務等任務陸續(xù)被提出，其中包括薩里航天中心的Remove DEBRIS任務[1]、美國國防部高級研究計劃局(Defense Advanced Research Projects Agency，DARPA)的鳳凰計劃[2]和美國航空航天局(National Aeronau-tics and Space Administration，NASA)的Restore-L任務[3]等。執(zhí)行這些任務的關鍵是準確獲取目標航天器相對于服務衛(wèi)星的位置和姿態(tài)信息，然而，失效衛(wèi)星、空間碎片等目標航天器是非合作的，沒有已知的標記信息，并且無法向服務衛(wèi)星提供有效的位姿信息。因此，要求服務衛(wèi)星能夠在無人參與的情況下估計和預測空間目標的相對位姿。為了實現(xiàn)自主姿態(tài)估計，需要從單個或一組圖像中快速獲取目標的相對位置和姿態(tài)，并且由于空間光照條件復雜、對比度低、明暗變化大，對算法的魯棒性提出了更高的要求。

非合作目標感知的主要實現(xiàn)功能是針對非合作目標的識別與測量，根據(jù)目標航天器相對服務衛(wèi)星的距離遠近，可以劃分出遠距離辨識、目標航天器位姿測量、近距離目標航天器上結構部件識別與測量等具體任務。文獻[4]對非合作航天器識別與姿態(tài)估計的不同方法進行了全面綜述。目標航天器識別與姿態(tài)估計的經(jīng)典方法通常先從2D圖像中提取目標的人工設置特征，典型方法有Harris角點檢測算法、Canny邊緣檢測算法以及通過Hough變換的線檢測和尺度不變特征檢測(Scale-Invariant Feature Transform，SIFT)。在成功提取所述特征后，采用迭代算法預測當存在異常值和未知特征情況下使某個誤差最小化的最佳姿態(tài)解。這些關于位姿估計的算法往往依賴于提前獲知目標位姿的先驗信息，或者假設目標上存在已知特征標記。

近年來，隨著卷積神經(jīng)網(wǎng)絡(Conventional Neural Network，CNN)的發(fā)展，基于深度學習的圖像分類、識別算法在計算機視覺領域取得了重大突破。一方面，已有關于圖像識別的R-CNN[5]、YOLO網(wǎng)絡[6]及用于位姿估計的Pose-CNN[7]等，但這些地面圖像處理算法所需的計算機算力很大，當算力受限時，識別精度將難以滿足在軌服務任務要求以及直接應用于在軌情景的需求；另一方面，衛(wèi)星在軌圖像具有光照情況復雜、對比度低、分辨率低等特點，使用CNN的方法相較于傳統(tǒng)方法，不依賴人工設置的輔助識別標識，魯棒性更好。因此，研究空間非合作目標智能感知的深度學習算法具有很好的應用前景。

1 非合作目標發(fā)展現(xiàn)狀

近年來，各國開展的在軌服務研究項目及其使用的空間相對測量系統(tǒng)如表1所示?，F(xiàn)有非合作目標在軌服務項目涵蓋廣泛，包括對模型已知的非合作目標的視覺監(jiān)測、輔助廢棄衛(wèi)星離軌、在軌組裝、在軌維修和在軌加注等。

在軌任務一般分為4個階段：遠距離交會階段(>300m)；近距離交會階段，又可進一步細分為接近階段(300～15m)和最后進近階段(15～1m)；目標抓捕和維修階段(<1m)。遠距離交會階段主要針對非合作航天器進行辨識，由于距離較遠，給測量工作帶來了較大難度；在近距離交會階段，隨著距離的接近，非合作航天器的外形特征逐漸清晰，可以識別出非合作航天器上的結構部件，進一步規(guī)劃在軌任務，由于非合作航天器不具備合作特征，這一階段的任務重點主要集中在通用特征的識別和動態(tài)測量；在目標抓捕和維修階段，此時距離小于1m，相機由于視場問題無法拍攝到非合作目標航天器的完整圖像，此階段的難點是針對局部圖像的特征識別與測量。

在軌任務的每個階段根據(jù)服務衛(wèi)星與目標衛(wèi)星之間的距離不同，考慮到任務的工況要求和敏感器的特點，可以采用不同的空間相對測量系統(tǒng)獲取故障衛(wèi)星與服務衛(wèi)星之間的相對狀態(tài)信息，并以此設計不同的算法。通過對表1所列項目進行分析，歸納總結出任務階段的劃分以及各階段使用的敏感器，如表2所示。

表1 非合作目標在軌服務研究項目匯總

從表2可以看出，最后接近距離操作分為2個階段(15～5m，5～1m)，由于相機視場(Field of View，F(xiàn)OV)的限制，使用了不同的敏感器。最后進近Ⅰ階段(距離15～5m)，一般選擇單目相機和激光雷達(Light Detection and Ranging，LiDAR)作為相對姿態(tài)測量的敏感器。與激光雷達或雷達測距儀(Radio Detection and Ranging，RADAR)等其他主動傳感器相比，使用基于視覺的光學敏感器(如單目相機、雙目相機等)由于其質量和功率要求較小，在衛(wèi)星上搭載更具優(yōu)勢。此外，單目相機因為構造相對簡單，更適合在新型的小型航天器如立方體衛(wèi)星上搭載。但是單目相機只能獲取RGB圖像，在極近距離(<1m)情景下，單目相機的視角無法拍攝到目標航天器整個場景的完整圖像，通常需要采用幾個相機共同工作的方式來獲取所需的信息。通過幾何計算，考慮到一定的余量，單目相機的視角應至少為80°，但是80°的視角會產生很大的鏡頭失真，這給準確提取特征點帶來了困難。換言之，實際中的光學傳感器無法在距離較近的情況下拍攝整個目標航天器結構。因此，在5～1m范圍內的相對姿態(tài)測量是一項具有挑戰(zhàn)性的任務，現(xiàn)有空間操作任務相關的非合作目標的識別與測量研究也主要集中在這一距離范圍內。

表2 空間相對測量系統(tǒng)介紹

近年來，飛行時間(Time-of-Flight，ToF)測距成像相機在商用上得到普及。文獻[23]論述了ToF相機在空間應用的可能性，其通過測量光在相機與物體表面之間的飛行時間來測量距離，通常的測量范圍為0.3～7m。與單目相機相比，ToF相機可以提供深度信息；與雙目視覺相機提供的稀疏深度信息相比，ToF相機可以提供稠密的深度數(shù)據(jù)；與激光傳感器和LiDAR相比，ToF相機的體積小、功耗低。目前，針對宇航空間適用的ToF相機的研制正處于起步階段[24-26]。

綜上，ToF相機具有諸多優(yōu)點，例如：結構緊湊，功耗低，對光照變化不敏感，可以直接提供深度信息，彌補近距離測量特征信息少的不足，算法相對簡單，實時性強。因此，近年來的研究逐漸開始選擇ToF相機作為基于深度學習的非合作目標感知光學敏感器。特別是在極近距離下(<1m)，可為感知研究提供RGB圖像與深度信息兩種測量信息，彌補單目相機由于視角問題只能獲取局部圖像的不足。

2 空間非合作目標特征分析

空間非合作目標由于運動狀態(tài)不可知，沒有先驗標識，所以在進行空間操作等任務過程中需要依賴識別非合作目標的幾何形狀?？臻g目標的光學特征是非合作目標識別與測量的基礎，光學特性包括空間非合作目標的結構特征(幾何形狀結構)和非合作目標表面的光照特性[27]。

2.1 非合作目標結構特征

圖1所示為幾種典型結構的衛(wèi)星，分別為(a)立方體衛(wèi)星，例如實踐五號衛(wèi)星；(b)球形衛(wèi)星，典型代表為我國在1970年4月24日成功發(fā)射的東方紅一號衛(wèi)星；(c)圓柱體衛(wèi)星，典型代表為東方紅二號衛(wèi)星；(d)六棱柱衛(wèi)星，典型代表為美國20世紀80年代發(fā)射的中繼衛(wèi)星系統(tǒng)[28](Tracking and Data Relay Satellite System，TDRSS)的中繼衛(wèi)星。從圖1可以看出，衛(wèi)星幾何形狀中比較常見的是矩形特征和圓形(橢圓形)特征，因此，通過對直線、矩形和橢圓結構的識別進行姿態(tài)測量是非合作目標感知的一個重要途徑。

(a)立方體衛(wèi)星：實踐五號衛(wèi)星

可供非合作目標感知的對象主要由以下三部分組成：

1)衛(wèi)星本體。對于立方體衛(wèi)星、圓柱體衛(wèi)星和六棱柱衛(wèi)星，可以通過識別其直線特征和矩形特征進行測量；對于球形衛(wèi)星，可以通過識別圓形和橢圓進行測量。

2)太陽帆板及其支架。太陽帆板為衛(wèi)星提供太陽能供電，通過支架安裝在衛(wèi)星本體上，一般為長方形，可以通過識別其直線特征和矩形特征進行測量；此外，也有特殊的三角形太陽帆板，可以通過三角形識別進行測量。

3)星箭對接環(huán)和發(fā)動機噴嘴。星箭對接環(huán)和發(fā)動機噴嘴都是圓環(huán)形，可以通過識別其圓面特征或者橢圓特征進行測量。

從非合作目標的主要組成部分可以看出，其主要形狀特征為直線特征、矩形特征和圓形特征。

2.2 非合作目標表面光照特性

在在軌環(huán)境中，大部分非合作目標可能存在一定的旋轉角速度或章動，這導致目標表面光照環(huán)境會發(fā)生明暗變化。此外，服務衛(wèi)星上攜帶的光學傳感器拍攝到的非合作目標所處背景也是變化的，有存在雜光的太空背景，也有地球等行星作為背景，還可能出現(xiàn)其他空間飛行器，并且當服務衛(wèi)星對非合作目標進行在軌操作時，傳感器視場內也會出現(xiàn)服務衛(wèi)星所攜帶的機械臂或其他操作機構。

3 基于深度學習的非合作目標感知研究現(xiàn)狀

基于深度學習的非合作目標感知研究內容主要分為非合作目標數(shù)據(jù)集構建、非合作目標識別算法與非合作目標位姿檢測算法，其中非合作目標數(shù)據(jù)集是后續(xù)研究的基礎。

3.1 非合作目標數(shù)據(jù)集構建

與智能駕駛、人臉識別等熱門方向不同，空間非合作目標識別沒有通用的數(shù)據(jù)集。非合作航天器圖像的來源主要有三種：第一種是光學敏感器拍攝的在軌衛(wèi)星圖像，這類圖像較為珍貴，數(shù)量稀少，一般研究人員難以獲得；第二種是利用衛(wèi)星等比、縮比模型在實驗室環(huán)境下進行拍照，這種方法比較常見，但是如果數(shù)據(jù)集采樣都是單一背景單一光照條件，訓練出的模型魯棒性較差；第三種是用圖像處理軟件如3DMAX、OPENGL等渲染生成非合作目標圖像，得到非合作目標圖像后，對數(shù)據(jù)庫圖像進行標注建立數(shù)據(jù)集。

衛(wèi)星工具包(Satellite Tool Kit，STK)是美國Analytical Graphics公司開發(fā)的一款航天領域商業(yè)化分析軟件，其中包含了國際空間站、北斗衛(wèi)星、Artemis衛(wèi)星等多種衛(wèi)星的三維模型。文獻[29]分別采用STK軟件中的北斗衛(wèi)星模型、Cartosat-2衛(wèi)星模型與使用SolidWorks軟件繪制的北斗衛(wèi)星模型和Cartosat-2衛(wèi)星模型采集圖片，對非合作目標的衛(wèi)星本體、太陽帆板、衛(wèi)星天線、噴管、相機和星敏感器等結構組件進行標注。文獻[30]采用STK軟件中的北斗衛(wèi)星、Artemis衛(wèi)星、國際空間站、小行星探測飛船(Near-Earth Asteroid Rendezvous Spacecraft，NEAR)等92種衛(wèi)星的外觀圖像，利用Labelme軟件對衛(wèi)星圖像中的太陽帆板和衛(wèi)星天線進行標注，最終得到1288張圖像構成的數(shù)據(jù)集，數(shù)據(jù)集示例如圖2所示。

圖2 非合作目標數(shù)據(jù)集示例[30]Fig.2 Non-cooperative target dataset example[30]

文獻[31-33]采用對非合作目標縮比模型進行拍照的方式采集圖像，通過采集不同場景不同姿態(tài)的航天器模型圖片來制作數(shù)據(jù)集。文獻[34]介紹了斯坦福大學空間交會實驗室(Space Rendezvous Laboratory，SLAB)使用C++軟件OPENGL庫在不同半徑的航天器模型周圍以球形模式拍攝仿真圖像，生成500000張包含衛(wèi)星姿態(tài)標簽的數(shù)據(jù)集。文獻[35]在文獻[34]的基礎上進一步完善，制作了航天器姿態(tài)估計數(shù)據(jù)集(Spacecraft Pose Estimation Dataset，SPEED)，SPEED由兩部分組成，第一部分是在MATLAB軟件和C++軟件上使用OPENGL繪制Tango衛(wèi)星的圖像，并以Himawari-8地球靜止氣象衛(wèi)星拍攝的地球實際圖像作為背景進行渲染，制作了15000張?zhí)摂M合成圖像，如圖3前兩行所示；第二部分是使用交會光學導航實驗臺(Testbed for Rendezvous and Optical Navigation，TRON)攝像機拍攝的300張Tango衛(wèi)星1∶1模型圖像，如圖3第三行所示。訓練集由來自第一部分中的12000張合成圖像組成，其余3000張合成圖像和來自第二部分的300張實際相機拍攝圖像作為2個單獨的測試集。在后續(xù)研究中，文獻[36-40]采用了SPEED。2021年，文獻[41]在SPEED的基礎上進一步完善，除了60000張用于訓練的合成圖像外，還增加了9531張TRON拍攝的航天器模型的半實物圖像共同組成了SPEED+數(shù)據(jù)集，并且用于由SLAB和歐空局共同舉辦的第二次國際衛(wèi)星姿態(tài)估計挑戰(zhàn)賽中。

圖3 SPEED示例[35]Fig.3 SPEED example[35]

文獻[42]使用Blender軟件包，導入開源的SpaceX飛船的Dragon衛(wèi)星CAD模型，通過渲染模擬國際空間站上NASA的Raven敏感器組件所看到的在軌環(huán)境，其中考慮采用變化太陽角度、變化地球背景和增加敏感器隨機噪聲的方法來豐富數(shù)據(jù)集。文獻[43]使用3DMAX軟件建立了3種非合作目標模型，設置黑色背景和地球背景來模擬太空環(huán)境，并設置相機采集非合作目標圖像，如圖4所示。此外，文獻[40]和文獻[44-48]也采用了軟件渲染的方式建立數(shù)據(jù)集，在軟件中導入CAD模型進行渲染，使用軟件包括3DMAX、3DSMAX、Gazebo、Unreal Engine 4及Blender等。文獻[49]在不同數(shù)據(jù)集上驗證了CNN的關鍵點檢測性能，實驗表明，通過添加隨機燈光、變化材質紋理和改變圖像背景，可以提高渲染數(shù)據(jù)集算法魯棒性。文獻[50]針對空間低照度情況下衛(wèi)星圖像成像質量差的問題，提出了一種基于生成對抗網(wǎng)絡的圖像增強方法。

圖4 地球背景下不同航天器數(shù)據(jù)集[43]Fig.4 The multi class spacecrafts in earth background datasets[43]

3.2 非合作目標識別算法

基于深度學習的目標檢測算法主要集中在2個方向：基于One-stage網(wǎng)絡的識別算法和基于Two-stage網(wǎng)絡的識別算法?；贠ne-stage網(wǎng)絡的識別算法直接在網(wǎng)絡中提取特征以預測物體的類別和位置；基于Two-stage網(wǎng)絡的識別算法將整個過程分為兩步，首先提取候選框(一個可能包含待檢物體的預選框，英文名稱proposal)，然后再進行物體分類與檢測框坐標回歸。兩種算法結構如圖5所示。

圖5 One-stage和Two-stage算法結構Fig.5 One-stage and Two-stage algorithm structure

3.2.1 基于One-stage網(wǎng)絡的識別算法

One-stage網(wǎng)絡的典型代表是J.Redmon等在2015年提出的YOLO(You Only Look Once)網(wǎng)絡[51]，能夠基于單個神經(jīng)網(wǎng)絡完成目標檢測任務，YOLO的網(wǎng)絡結構如圖6所示。

圖6 YOLO算法流程[51]Fig.6 YOLO algorithm flow[51]

YOLO將目標檢測問題轉化成一個回歸問題。給定輸入圖像，直接在圖像的多個位置上回歸出目標的位置及其分類類別。YOLO是一個可以一次性預測多個目標位置和類別的CNN，能夠實現(xiàn)端到端的目標檢測和識別，其最大的優(yōu)勢就是速度快。事實上，目標檢測的本質就是回歸，因此一個實現(xiàn)回歸功能的卷積網(wǎng)絡并不需要復雜的設計過程。YOLO沒有選擇滑動窗口(silding window)或提取候選框(即可能存在物體的區(qū)域)的方式訓練網(wǎng)絡，而是直接選用整圖訓練模型。這樣做的好處在于可以更好地區(qū)分目標和背景區(qū)域。 如圖7所示，YOLO將原圖劃分為S×S個區(qū)域。如果一個物體的中心在某個區(qū)域，那么該區(qū)域就負責此物體的定位和識別。YOLO最大的優(yōu)點在于速度快，能很好地滿足實時性要求較高的任務。但YOLO方法也存在一些缺陷：1)受限于每個區(qū)域對于每個類只預測2個候選框，導致某個區(qū)域附近臨近的小物體或物體集群無法被檢測到；2)因為是在區(qū)域中直接預測回歸框，因此當物體的長寬比比較特殊且訓練中沒有出現(xiàn)時，難以進行識別；3)提取的特征過于粗糙，因為經(jīng)過了很多次降采樣，不夠精細。loss function對于同樣大小的錯誤在大框和小框上的懲罰應該不同。這些缺陷導致利用其進行物體檢測會帶來對小物體細粒度檢測效果差，以及定位不準的問題。

圖7 YOLO進行目標檢測Fig.7 Object detection by YOLO

現(xiàn)有文獻研究多采用YOLO網(wǎng)絡作為One-stage直接檢測目標。文獻[29]利用YOLO網(wǎng)絡對非合作目標的衛(wèi)星本體、太陽帆板、衛(wèi)星天線、噴管、相機和星敏感器進行識別，識別準確率達到了90%以上。文獻[36]提出了一種輕量化特征融合網(wǎng)絡，即NCDN(Non-cooperative Detection Network)模型，以MobileNetV2為基礎網(wǎng)絡檢測Tango衛(wèi)星組件，包括GPS天線、FFRF天線和敏感器，在SPEED 上平均AP值(mean Average Precision，mAP)可達0.898。文獻[37]采用YOLO網(wǎng)絡檢測非合作目標，然后利用Landmark回歸網(wǎng)絡在YOLO網(wǎng)絡識別出的二維邊界框中檢測非合作目標角點。上述方法多在單幅圖片上進行驗證，難以滿足在軌識別精度要求，且距離實時測量存在較大差距。

3.2.2 基于Two-stage網(wǎng)絡的識別算法

基于Two-stage網(wǎng)絡算法的核心是利用目標建議(Object Proposal)方法先提取候選框，再對候選框內區(qū)域進行分類和檢測，即“候選框+分類” 的方法。2014年，加州大學伯克利分校的R.B. Girshick等提出了R-CNN算法[52]，其算法結構也成為后續(xù)Two-stage的經(jīng)典結構，R-CNN的算法流程如圖8所示。通過選擇性搜索(selective search)在原圖中得到所有候選框，然后對這些區(qū)域依次提取特征，將得到的特征用支持向量機進行分類。

圖8 R-CNN基本流程Fig.8 Basic process of R-CNN

雖然R-CNN算法相較于傳統(tǒng)目標檢測算法取得了50%的性能提升，但也存在很多缺陷：1)重復計算造成計算量大；2)訓練測試不簡潔，中間數(shù)據(jù)需要單獨保存，耗費空間；3)速度慢：重復計算與串行訓練的特點最終導致R-CNN速度很慢，GPU上處理一張圖片需要十幾秒，CPU上則需要更長時間；4)輸入的圖片必須強制縮放成固定大小，造成物體形變，導致檢測性能下降。后續(xù)的Two-stage算法實際上都是針對這些缺陷進行改進，典型算法有SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN和Mask R-CNN等[53-57]。

采用Two-stage網(wǎng)絡的非合作目標識別算法主要基于現(xiàn)有網(wǎng)絡進行設計。文獻[58]在Mask R-CNN的基礎上，融合ResNet-FPN結構、Dense Block和區(qū)域建議網(wǎng)絡(Region Proposal Network，RPN)改進特征提取結構，對非合作目標的太陽帆板進行識別。文獻[45]同樣以Mask R-CNN框架為基礎，使用Light-head R-CNN(頭部輕量化CNN)取代Mask R-CNN的頭部結構(作用是對劃定區(qū)域的識別)，提升了檢測速度。文獻[59]通過引入遷移學習的方法，利用COCO數(shù)據(jù)集進行預訓練，設計改進的CenterMask網(wǎng)絡檢測衛(wèi)星的太陽帆板和天線。文獻[44]則以高分辨率目標檢測網(wǎng)絡HRNet為基礎，首先在單目相機拍攝的圖片中檢測包含整個衛(wèi)星輪廓的二維邊界框，再根據(jù)檢測到的二維邊界框對原始圖像進行裁剪，然后通過關鍵點回歸網(wǎng)絡輸出衛(wèi)星外輪廓關鍵角點。這種基于Two-stage網(wǎng)絡的算法檢測精度高于One-stage網(wǎng)絡，但算法檢測速度慢，難以滿足實時測量的要求。

文獻[47]和文獻[60]對不同CNN間的性能差距進行了定量研究，其中，文獻[47]對Inception-ResNet-V2網(wǎng)絡和ResNet-101網(wǎng)絡進行非合作目標檢測對比，實驗表明，Inception-ResNet-V2網(wǎng)絡檢測結果更為精確，但ResNet-101網(wǎng)絡的訓練時間可以節(jié)省50%以上，且處理過程比Inception-ResNet-V2網(wǎng)絡快了4倍。文獻[60]對比了Faster R-CNN和YOLO v3網(wǎng)絡檢測太陽帆板的效果，實驗表明，F(xiàn)aster R-CNN檢測準確度要高于YOLO v3網(wǎng)絡，但處理時間為YOLO v3網(wǎng)絡的2.5倍。目前，整體研究處于初步階段，對CNN的定量研究較少。綜上，對One-stage網(wǎng)絡和Two-stage網(wǎng)絡進行對比，如表3所示。

表3 One-stage網(wǎng)絡和Two-stage網(wǎng)絡對比

從上述文獻可以看出，One-stage網(wǎng)絡識別速度快，但算法精度低；Two-stage網(wǎng)絡精度高、識別錯誤率低，但是檢測速度慢，難以滿足空間非合作目標檢測的實時性需求。

3.3 非合作目標位姿檢測算法

空間非合作目標的測量主要包括位置和姿態(tài)的實時測量，通過對非合作目標進行跟蹤并獲取目標表面特征，求解目標的運動狀態(tài)，基于視覺的空間目標測量技術是在軌感知的一個研究熱點。根據(jù)算法的不同，將現(xiàn)有基于深度學習的非合作目標測量研究分為間接測量方法和端到端測量方法。

3.3.1 間接測量方法

間接測量方法首先通過CNN識別出非合作目標的特征，如非合作目標結構部件關鍵角點、長寬比等，然后通過n點透視(Perspective-n-Point，PnP)算法和EPnP(Efficient Perspective-n-Point)算法等解算位姿。

文獻[31]在YOLO網(wǎng)絡的基礎上，提出了YOLO-GhostECA 算法來檢測非合作目標，再根據(jù)檢測出非合作目標的長寬比來粗略估算位姿，該方法估計的位姿誤差較大，無法滿足實際在軌測量精度要求。文獻[44]基于單目相機拍攝的圖像，首先利用目標檢測網(wǎng)絡HRNet檢測衛(wèi)星，再利用關鍵點回歸網(wǎng)絡預測二維關鍵點坐標，并結合多視圖三角剖分重建三維模型，最后采用非線性最小二乘法最小化2D-3D對應坐標，預測位置和姿態(tài)，該方法只在特定渲染圖片上進行實驗，距離連續(xù)測量動態(tài)目標具有較大差距。與文獻[44]類似，文獻[37]采用YOLO網(wǎng)絡檢測非合作目標，然后利用Landmark回歸網(wǎng)絡檢測非合作目標角點，最后使用EPnP算法解算位姿。文獻[40]采用SSD MobileNetV2網(wǎng)絡檢測衛(wèi)星所在回歸框，再利用改進后的MobilePose網(wǎng)絡檢測關鍵點，最后用EPnP算法解算位姿。文獻[61]和文獻[62]先使用CNN檢測特征，再通過CEPPnP解算器和卡爾曼濾波估計位姿。這種基于2D-3D關鍵點對應的方式嚴重依賴于關鍵點識別的精度，由于空間光照條件變化復雜，傳統(tǒng)關鍵點檢測算法因魯棒性差難以使用，而基于CNN的方法可以在一定程度上彌補傳統(tǒng)方法的劣勢，但這種先采用兩級CNN識別非合作目標角點的方式對算力要求較高，處理時間長，難以滿足在軌實時測量的要求。為解決實時動態(tài)測量問題，文獻[63]提出了一種基于卷積位姿機網(wǎng)絡的測量方法，通過設計卷積位姿機網(wǎng)絡識別非合作目標關鍵點，再通過PnP算法解算位姿，并完成了實時物理實驗，相對位置測量誤差小于2mm。

除了通過PnP算法解算位姿外，文獻[32]在通過VGG19網(wǎng)絡識別衛(wèi)星關鍵點后，采用搭建的雙目相機系統(tǒng)解算位姿，但該方法存在關鍵點識別精度低、位姿解算算法誤差大的問題，后續(xù)還需繼續(xù)優(yōu)化。文獻[39]提出了LSPNet結構，它由3個互相連接的CNN組成，分別為位置CNN、定位CNN和方向CNN。其中位置CNN和定位CNN組成轉化模塊，由UNet和ResNet融合而成；轉化模塊連接到由ResNet修改成的方向CNN，輸出實時位姿。但是上述研究僅在仿真圖片上進行驗證，缺乏物理實驗來驗證算法的泛化性，并且缺乏實時性指標論證。文獻[64]使用PointNet++網(wǎng)絡從點云數(shù)據(jù)中識別捕獲區(qū)域，從而輸出分割后的對接環(huán)位姿，并在V-rep仿真軟件中進行了實驗。這種通過深度學習處理點云數(shù)據(jù)的方法在非合作目標感知領域的研究較少，后續(xù)會是一個可以開發(fā)的方向。

此外，針對近距離(<1m)非合作目標測量，由于相機視角問題無法獲得整體圖像，文獻[65]使用ToF相機實時采集RGB圖像和深度圖像，將RGB圖像通過改進的BiseNet對非合作目標進行語義分割，提取衛(wèi)星結構部件，再通過將RGB圖像與深度圖像相匹配的方法，獲得對接環(huán)的位姿，確定抓捕點。該方法完成了地面物理實驗，后續(xù)還需要在模擬太空光照條件下進行測試，對模型占用內存進行評估，為真正在軌應用提供支撐。

3.3.2 端到端測量方法

端到端測量方法主要通過CNN直接輸出非合作目標的位姿，2018年開始有基于CNN的非合作目標端到端姿態(tài)估計研究成果發(fā)表。文獻[46]在Google研發(fā)的Google Inception NetV3模型的基礎上進行修改，輸入是將渲染出的非合作目標模型圖像處理為99×299 像素的單通道灰度圖像，輸出是一個1×3 的三軸位姿向量，并利用線性回歸輸出角速度向量值。

文獻[34]在使用基于AlexNet的遷移學習將圖像分類到正確的姿態(tài)標簽后，在未經(jīng)訓練的PRISMA任務衛(wèi)星圖像上進行測試。該方法生成圖像主要變化量來自4個自由度(3個自由度與姿態(tài)有關，1個自由度與相機視軸位置有關)，誤差大于10°?；贑NN的航天器姿態(tài)估計在文獻[35]中得到了改進，在文獻[34]的基礎上，使用合成的PRISMA圖像作為數(shù)據(jù)集，設計了離散標簽之間的回歸姿態(tài)估計算法，通過分類框架估計姿態(tài)，緩解了離散姿態(tài)標簽的問題，同時仍然保持分類網(wǎng)絡的魯棒性，基于在實驗室環(huán)境中創(chuàng)建的合成圖像和真實圖像的測試，該方法誤差小于10°。

文獻[42]沿用文獻[34-35]的分類網(wǎng)絡，通過設定特定級別的姿態(tài)標簽離散化的方式，增強了算法的魯棒性，并對實現(xiàn)姿態(tài)精度目標所需的訓練集大小以及不同的在軌變量如何影響CNN精度進行了定量分析。文獻[43]以ResNet-50為主干網(wǎng)絡，將ResNet-50的最后一個全連接層改為3個全連接層分支輸出位置、方向和類別，在一定姿態(tài)范圍內的衛(wèi)星仿真圖片上進行了實驗驗證。文獻[61]采用AlexNet和ResNet作為主干網(wǎng)絡，將AlexNet末端的全連接層改為3個并聯(lián)的全連接層以輸出衛(wèi)星的三軸位姿角，并設計了姿態(tài)分類損失函數(shù)和姿態(tài)回歸損失函數(shù)進一步提高檢測精度，實驗結果表明，標準差均在0.9°以內。此方法的一個突破點是采用遷移學習的方法，利用ImageNet數(shù)據(jù)集進行預訓練初始化網(wǎng)絡參數(shù)，后續(xù)沒有人工設計特征，實現(xiàn)了對非合作目標的端對端估計。文獻[33]基于ResNet101設計了端到端檢測網(wǎng)絡，并與ResNet50、ResNet18和MobileNet_V2 進行對比，實驗證明，ResNet101檢測精度高，但網(wǎng)絡大小和檢測速度明顯高于ResNet50、ResNet18和MobileNet_V2。文獻[48]基于VGG19設計了兩種CNN，分別為分支網(wǎng)絡和并行網(wǎng)絡，分支網(wǎng)絡將一些特征位置信息直接連接到模型末端的全連接層，避免被最大池化層消除；并行網(wǎng)絡將用于測量相對距離的VGG網(wǎng)絡和用于測量衛(wèi)星姿態(tài)的VGG網(wǎng)絡并行連接。文獻[66]基于修改后的GoogleLeNet檢測Soyuz衛(wèi)星渲染圖片的位姿，輸出為三軸位置和四元數(shù)。

由于應用于目標識別模型的低級特征對姿態(tài)估計具有通用的效果，因此可以基于遷移學習初始化前幾層網(wǎng)絡參數(shù)而構建CNN，避免產生過大的數(shù)據(jù)集模型。此外，與當前基于模型的姿態(tài)初始化方法相比，經(jīng)過訓練的深度學習網(wǎng)絡可以快速識別姿態(tài)信息。然而，由于姿態(tài)分類標簽是離散的，很難獲得高精度的姿態(tài)測量結果，因此，后續(xù)的研究中可通過實驗驗證提供達到所需測量精度的訓練數(shù)據(jù)量和標簽離散化水平之間的定量結果。此外，雖然已知CNN算法在可變光照條件和復雜背景場景的測量中魯棒性較好，但是在后續(xù)研究中完善空間操作各種光學條件下的定量方法對非合作目標檢測仍然具有重要意義。

目前，針對非合作目標感知的深度學習網(wǎng)絡輕量化研究較少，文獻[36]設計了輕量化非合作目標組件檢測網(wǎng)絡，通過在MobileNet結構中對所有卷積層中的卷積核數(shù)量乘以縮小因子α(其中α∈(0，1]) 來壓縮網(wǎng)絡，在不過分降低網(wǎng)絡整體檢測精度的情況下優(yōu)化卷積核參數(shù)冗余，壓縮后模型存儲空間僅為2.2Mbit，節(jié)省了約88%的空間。在采用25%計算量時，距離非合作目標15m內檢測mAP>0.9，整體精度犧牲約為5%。

綜上，對間接測量方法和端到端測量方法進行對比，如表4所示。間接測量方法的精度要高于端到端測量方法，但端到端測量方法檢測速度快，未來研究將著重于以下三點：1)檢測精度和檢測速度的平衡；2)針對星載計算機進行算力的優(yōu)化；3)針對非合作目標所處的在軌光照變化環(huán)境也要進行相應的實驗驗證。

表4 間接測量方法和端到端測量方法對比

4 關鍵問題與發(fā)展趨勢

近年來，針對非合作目標感知的深度學習方法研究逐漸增多，但距離在軌應用還有一定差距。針對目前的研究現(xiàn)狀，本文總結以下關鍵問題與發(fā)展趨勢：

1)非合作目標數(shù)據(jù)集樣本少：目前針對非合作目標建立的數(shù)據(jù)集的圖片數(shù)據(jù)量少且種類單一，只針對特定衛(wèi)星，但實際在軌衛(wèi)星形狀豐富，如立方體衛(wèi)星、圓柱體衛(wèi)星等。針對這一問題，一方面是采用UE4等更先進的渲染軟件進行精細渲染仿真，同時綜合考慮太陽光照變化、空間點光源線光源、噪聲、空間機械臂遮擋、其他衛(wèi)星背景干擾等多方面因素，建立包含更多種類、更豐富細節(jié)的空間非合作目標的數(shù)據(jù)集；另一方面是考慮引入?yún)^(qū)域隨機化的概念，建立基于域隨機化的非合作目標數(shù)據(jù)集，不依賴于模擬環(huán)境，而是通過隨機化生成數(shù)據(jù)集增強算法泛化能力，這也是非合作目標數(shù)據(jù)集未來的研究方向之一。

2)基于小樣本的CNN設計：在現(xiàn)有數(shù)據(jù)集并不完備的情況下，基于小樣本的CNN設計也是一個方向。針對這一問題，可以采用：①基于生成對抗網(wǎng)絡生成高質量的樣本并實現(xiàn)數(shù)據(jù)增擴；②設計更具泛化能力的特征提取器；③采用遷移學習的方式，從其他圖像分類與識別任務中挖掘判別信息，通過更改初始化網(wǎng)絡參數(shù)的方式優(yōu)化網(wǎng)絡；④采用元學習方式學習一個具有較好泛化能力的圖像到嵌入特征空間的映射，然后在嵌入特征空間中直接求解最近鄰達到預測分類的目的。

3)近距離局部組件測量難：在服務衛(wèi)星與非合作目標距離小于1m時，相機由于視場問題無法拍攝到非合作目標的完整圖像，給基于局部組件的測量帶來極大難度，目前基于深度學習針對這一部分的研究較少。為解決這一問題，一個思路是從傳感器入手，以近年來視覺應用研究較多的ToF相機為一個研究方向[25]，ToF相機通過紅外激光發(fā)射器可以同時獲得彩色RGB圖像和深度圖像，很好地彌補了近距離非合作目標局部部件測量光學信息少的問題；第二個思路是引入深度學習圖像處理的分類學習方法，通過標注相機采集圖片中的不完整部件進行學習訓練，以規(guī)避傳統(tǒng)圖像檢測方法對異形物體識別困難的問題。

4)高精度實時測量：不同于地面深度學習圖像識別測量網(wǎng)絡，空間情景對于非合作目標實時檢測的精度要求更高，目前針對非合作目標測量研究的實時性評價數(shù)據(jù)較少。后續(xù)研究主要聚焦于實時性算法的完善與地面物理實驗驗證，提出通用的實時性指標要求。

5)輕量化網(wǎng)絡設計：空間星載計算機由于算力有限，無法直接應用地面圖像識別算法，現(xiàn)有測量算法的輕量化網(wǎng)絡設計也是實現(xiàn)在軌應用的一個關鍵問題，目前針對空間非合作目標的應用研究處于初步階段。相較于Two-Stage網(wǎng)絡，One-Stage網(wǎng)絡結構簡單、更具有輕量化優(yōu)勢，在后續(xù)研究中可以通過融合多尺度特征、優(yōu)化網(wǎng)絡結構、減少模型參數(shù)量、減少最大池化、保留更多有用特征信息等方式對網(wǎng)絡進行進一步優(yōu)化。

5 結 論

近年來，隨著深度學習技術的飛速發(fā)展，在圖像識別領域取得了較大突破，這也給空間在軌測量提供了新思路。本文分析總結了近年來基于深度學習的空間非合作目標感知技術的國內外研究現(xiàn)狀，從基于深度學習的非合作目標數(shù)據(jù)集、非合作目標識別、非合作目標位姿檢測幾個方面對國內外學者的相關研究進行了綜合分析。通過深度CNN進行非合作目標測量可以彌補傳統(tǒng)圖像檢測算法泛化能力差的缺點，通過學習訓練的方式可以一次分類多種結構特征的非合作目標，通過端到端訓練在輸入非合作目標圖像后可以直接測量出非合作目標的姿態(tài)。綜合來看，深度學習算法對光的變化魯棒性更強，具有很高的空間應用價值。目前，國內外針對采用深度學習的非合作目標智能感知技術研究均處于起步階段，有必要對基于深度學習的非合作目標算法進行深入研究，完善實時性、準確性和輕量性這3個重要指標，進一步建立針對空間非合作目標的智能感知平臺。