基于卷積神經(jīng)網(wǎng)絡(luò)的非合作目標(biāo)兩階段位姿估計(jì)方法

蘇迪，張成，王柯，孫凱

（北京理工大學(xué) 宇航學(xué)院，飛行器動(dòng)力學(xué)與控制教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）

近年來(lái)人類(lèi)在發(fā)展空間技術(shù)的同時(shí)，也在外太空滯留了大量的太空垃圾，根據(jù)CelesTrak 調(diào)查報(bào)告，截至2022 年4 月，環(huán)繞地球周?chē)挠行лd為12 518個(gè)，其中5 613 個(gè)仍在運(yùn)行，這意味地球軌道上有大量失效載荷，同時(shí)另有39 695 個(gè)碎片[1]，造成了衛(wèi)星軌道的擁擠，增加了碰撞的風(fēng)險(xiǎn)，對(duì)未來(lái)航天器發(fā)射和目前在軌航天器正常運(yùn)行都構(gòu)成了巨大挑戰(zhàn)[2].為了太空環(huán)境安全，對(duì)在軌服務(wù)（on-orbit servicing, OOS）技術(shù)支持下的任務(wù)需求逐漸凸顯，如延長(zhǎng)衛(wèi)星的壽命、捕獲空間碎片和失效衛(wèi)星等.這些任務(wù)都要求能準(zhǔn)確估計(jì)出空間目標(biāo)的位置和姿態(tài)[3].

大多數(shù)空間目標(biāo)處于非合作狀態(tài)，不同于合作目標(biāo)具有合作標(biāo)識(shí)或通信線路等輔助裝置，非合作目標(biāo)缺乏航天器間的相互通信，但對(duì)于己方發(fā)射的失效衛(wèi)星，通常具有已知的三維模型等先驗(yàn)信息.因此，如何利用空間目標(biāo)的自然特征和已有的先驗(yàn)信息進(jìn)行位姿估算是在軌服務(wù)中的關(guān)鍵問(wèn)題.與立體相機(jī)、雷達(dá)和紅外相機(jī)相比，單目相機(jī)具有質(zhì)量輕、功率低、硬件簡(jiǎn)單成熟等特點(diǎn).然而，單目相機(jī)不能直接獲取深度信息，這是在算法設(shè)計(jì)中需要考慮的問(wèn)題.

傳統(tǒng)方法通常利用基于手工設(shè)計(jì)和先驗(yàn)位姿信息的圖像處理方法[4?5].近年隨著深度學(xué)習(xí)技術(shù)取得的巨大突破[6]，推動(dòng)了多個(gè)領(lǐng)域的發(fā)展[7?9].計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)ξ蛔斯烙?jì)產(chǎn)生極大興趣，特別是在機(jī)器人上的應(yīng)用[10].一些研究試圖通過(guò)卷積神經(jīng)網(wǎng)絡(luò)，以端到端的形式學(xué)習(xí)到二維圖像和位姿之間的非線性映射關(guān)系.這給單目視覺(jué)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)在非合作目標(biāo)的位姿估計(jì)研究提供了一種可行思路.

北京控制工程研究所的徐云飛[11]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的視覺(jué)測(cè)量方法，利用預(yù)訓(xùn)練的網(wǎng)絡(luò)模型，在自身構(gòu)建的數(shù)據(jù)集上通過(guò)遷移學(xué)習(xí)直接回歸姿態(tài).2019 年由歐洲航天局的先進(jìn)概念小組（advanced concepts team, ACT）和斯坦福大學(xué)的空間交會(huì)實(shí)驗(yàn)室（space rendezvous laboratory, SLAB）共同舉辦的開(kāi)爾文衛(wèi)星姿態(tài)估計(jì)挑戰(zhàn)賽（the Kelvins satellite pose estimation challenge）極大推動(dòng)了深度學(xué)習(xí)在非合作目標(biāo)位姿估計(jì)領(lǐng)域中的進(jìn)展，并公開(kāi)了訓(xùn)練數(shù)據(jù)集（satellite pose estimation dataset, SPEED）[12].來(lái)自泰國(guó)先皇理工大學(xué)的THAWEERATH[13]利用修改的預(yù)訓(xùn)練GoogLeNet 模型作為姿態(tài)預(yù)測(cè)網(wǎng)絡(luò)，利用四元數(shù)表示相對(duì)姿態(tài)，直接回歸位姿矢量.斯坦福大學(xué)的SUMANT 等[14]提出了spacecraft pose network（SPN），通過(guò)3 個(gè)神經(jīng)網(wǎng)絡(luò)分支結(jié)構(gòu)估計(jì)相對(duì)位姿，包括準(zhǔn)確度由粗到細(xì)的回歸方法估計(jì)相對(duì)姿態(tài)，利用目標(biāo)檢測(cè)框估計(jì)相對(duì)位置.PROEN?A 等[15]提出了基于深度學(xué)習(xí)的方向軟分類(lèi)架構(gòu)，將姿態(tài)方向用混合的高斯分布表示.北京航空航天大學(xué)的張浩鵬等[16]提出結(jié)合核函數(shù)學(xué)習(xí)的方法，提取衛(wèi)星數(shù)據(jù)集中圖像特征，估計(jì)衛(wèi)星姿態(tài)角.哈爾濱工業(yè)大學(xué)的李想[17]利用深度學(xué)習(xí)的方法對(duì)空間非合作目標(biāo)進(jìn)行三軸姿態(tài)估計(jì)，修改InceptionNetV3 模型擴(kuò)充了網(wǎng)絡(luò)深度，建立模型提取特征和姿態(tài)角的映射關(guān)系，估計(jì)相對(duì)姿態(tài).以上方法大多是探索深度學(xué)習(xí)在非合作目標(biāo)位姿估計(jì)中的可行性，并沒(méi)有考慮到實(shí)際在軌任務(wù)中繞飛和接近情況下圖像姿態(tài)特征分布的差異，以及如何針對(duì)性應(yīng)用深度學(xué)習(xí)相關(guān)技術(shù)的問(wèn)題.因此，針對(duì)在軌服務(wù)不同任務(wù)需求，針對(duì)性的設(shè)計(jì)非合作目標(biāo)位姿估計(jì)方法有助于進(jìn)一步推動(dòng)深度學(xué)習(xí)技術(shù)在位姿估計(jì)領(lǐng)域的發(fā)展.

本文提出一種適用于己方失效衛(wèi)星等幾何模型已知的非合作目標(biāo)位姿估計(jì)方法，建立深度學(xué)習(xí)模型，將位置估計(jì)和姿態(tài)估計(jì)分為兩階段進(jìn)行，在階段1 中估計(jì)相對(duì)位置，階段2 中針對(duì)繞飛和接近情況下圖像姿態(tài)特征分布的差異，設(shè)計(jì)對(duì)應(yīng)模型估計(jì)相對(duì)姿態(tài)，實(shí)現(xiàn)了對(duì)非合作目標(biāo)在軌服務(wù)中靠近任務(wù)的位姿估計(jì).構(gòu)建大規(guī)模數(shù)據(jù)集用于全過(guò)程的訓(xùn)練和驗(yàn)證，充足的消融實(shí)驗(yàn)驗(yàn)證了各階段模型的有效性，表明了基于卷積神經(jīng)網(wǎng)絡(luò)的單目視覺(jué)方法應(yīng)用于幾何模型已知的非合作目標(biāo)在軌服務(wù)中位姿估計(jì)的可行性.

1 非合作目標(biāo)位姿估計(jì)流程

1.1 非合作目標(biāo)位姿估計(jì)定義

圖1 為采用單目視覺(jué)的非合作目標(biāo)位姿估計(jì)示意圖，描述了空間目標(biāo)本體坐標(biāo)系S和相機(jī)的本體坐標(biāo)系C，估計(jì)每幅圖像I中目標(biāo)相對(duì)于相機(jī)的相對(duì)位姿 ξ=[R|t] ，其中R表示相對(duì)姿態(tài)，t表示相對(duì)位置.

圖1 坐標(biāo)系示意圖Fig.1 Schematic diagram for the coordinate systems

對(duì)于單幅圖像的相對(duì)位姿估計(jì)，本文基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了兩階段的相對(duì)位姿估計(jì)模型，分階段的估計(jì)相對(duì)位置和相對(duì)姿態(tài)，模型輸入為相機(jī)采集的RGB 圖像，輸出為估計(jì)的相對(duì)位姿.

同時(shí)，本文針對(duì)在軌服務(wù)中接近非合作目標(biāo)的任務(wù)過(guò)程，繞飛和接近情況下采集圖像分布差異的問(wèn)題，分情況設(shè)計(jì)了繞飛姿態(tài)估計(jì)模型和接近姿態(tài)估計(jì)模型，模型具體設(shè)計(jì)在第2 節(jié)中進(jìn)一步說(shuō)明.

1.2 兩階段位姿估計(jì)算法流程

追蹤星（相機(jī)）靠近目標(biāo)星的任務(wù)過(guò)程可分為遠(yuǎn)距離繞飛和近距離接近兩種情況，對(duì)空間非合作目標(biāo)而言通常是追蹤星由遠(yuǎn)及近的過(guò)程.近距離接近情況在遠(yuǎn)距離繞飛后進(jìn)行，即遠(yuǎn)距離繞飛尋找有利接近方向，切換近距離接近.

在遠(yuǎn)距離繞飛情況下，由于不知道空間目標(biāo)初始狀態(tài)，要求估計(jì)模型具有對(duì)全范圍狀態(tài)的估計(jì)能力，對(duì)估計(jì)模型的泛化性要求更高.

在近距離接近情況下，通常選擇相機(jī)和目標(biāo)星慣量主軸平行作為有利方向，空間目標(biāo)的相對(duì)位姿分布比較集中，對(duì)估計(jì)模型的精度要求更高.

因此，添加相機(jī)和目標(biāo)星慣量主軸是否平行的判斷條件，切換不同的估計(jì)模型對(duì)非合作目標(biāo)進(jìn)行位姿估計(jì).估計(jì)流程如圖2 所示.

圖2 位姿估計(jì)流程圖Fig.2 Flowchart of pose estimation

開(kāi)始位姿估計(jì)后，采集原始非合作目標(biāo)圖像并對(duì)圖像預(yù)處理，預(yù)處理包括圖像縮放、轉(zhuǎn)化為張量格式、歸一化3 個(gè)步驟，將處理后的圖像輸入至兩階段位姿估計(jì)模型的階段1 中進(jìn)行相對(duì)位置估計(jì)，輸出相對(duì)位置和檢測(cè)框，將檢測(cè)框內(nèi)圖像輸入至階段2 中進(jìn)行相對(duì)姿態(tài)估計(jì)，根據(jù)指令調(diào)用繞飛或接近姿態(tài)估計(jì)模型，估計(jì)的相對(duì)位姿用于設(shè)置切換模型指令，并判斷目標(biāo)星和追蹤星距離是否滿(mǎn)足要求，決定位姿估計(jì)是否結(jié)束.

2 兩階段位姿估計(jì)模型

2.1 模型總體框架

圖3 為兩階段位姿估計(jì)模型結(jié)構(gòu)圖，本文將6 自由度位姿估計(jì)分為2 個(gè)階段: 階段1 包含目標(biāo)檢測(cè)模塊和位置參數(shù)回歸模塊，2 個(gè)模塊共用一個(gè)特征提取網(wǎng)絡(luò)ResNet50[18]；階段2 分為繞飛姿態(tài)估計(jì)和接近姿態(tài)估計(jì)兩種情況.網(wǎng)絡(luò)模型輸入均為檢測(cè)后的目標(biāo)區(qū)域圖像.繞飛分支包含姿態(tài)求解器，求解器通過(guò)模型輸出的多角度類(lèi)別權(quán)重計(jì)算姿態(tài).接近分支包含姿態(tài)參數(shù)回歸模塊，回歸的姿態(tài)經(jīng)過(guò)標(biāo)準(zhǔn)化層輸出單位四元數(shù)作為姿態(tài).

圖3 兩階段位姿估計(jì)模型結(jié)構(gòu)圖Fig.3 Overview of two stage pose estimation model

總體來(lái)看，兩階段位姿估計(jì)模型在估計(jì)非合作目標(biāo)位姿過(guò)程中經(jīng)過(guò)3 個(gè)環(huán)節(jié)：目標(biāo)檢測(cè)、位置估計(jì)、繞飛/接近的姿態(tài)估計(jì).

2.2 目標(biāo)檢測(cè)和位置回歸模塊

如圖3 所示，在階段1 中，將目標(biāo)檢測(cè)模塊和位置參數(shù)回歸模塊融合在一個(gè)模型中，這是由于二者具有強(qiáng)相關(guān)性，某種程度上，目標(biāo)檢測(cè)框的位置和大小反映了目標(biāo)的位置信息.目標(biāo)檢測(cè)模塊部分參考Faster R-CNN[19]，采用區(qū)域候選網(wǎng)絡(luò)（RPN）作為檢測(cè)模塊.位置回歸模塊采用全連接層回歸位置參數(shù).骨干網(wǎng)絡(luò)輸出的特征圖輸入至RPN 生成檢測(cè)框的同時(shí)，另外通過(guò)全局平均池化層（GAP）、位置回歸模塊和Tanh 激活函數(shù)輸出位置參數(shù).目標(biāo)檢測(cè)和位置回歸模塊二者共用一個(gè)骨干網(wǎng)絡(luò)，邏輯上二者屬于并行結(jié)構(gòu)，共同訓(xùn)練.

RPN 將任意尺寸的特征圖作為輸入，生成一系列矩形候選框，并對(duì)每個(gè)候選框打分，用來(lái)判斷框內(nèi)圖像是前景還是背景.在本文應(yīng)用場(chǎng)景中，只有空間目標(biāo)一個(gè)類(lèi)別.采用預(yù)先設(shè)置的錨框和邊界框回歸損失.由于RPN 是已經(jīng)提出的技術(shù)，并且在本文中可以替換，其細(xì)節(jié)不過(guò)多描述.針對(duì)空間目標(biāo)尺度變化的情況，本文預(yù)設(shè)anchor 包含3 種面積（32×32，64×64，128×128），每種面積包含3 種長(zhǎng)寬比（0.5，1.0，2.0）.RPN 的作用為提供一個(gè)包含空間目標(biāo)的檢測(cè)框.

如圖1 所示，相對(duì)位置t=[tx ty tz]T是空間目標(biāo)質(zhì)心相對(duì)于相機(jī)坐標(biāo)系的三維坐標(biāo).由于直接從圖像特征中回歸t的泛化性不好，并且在實(shí)際使用中估計(jì)精度不高，本文中將位置參數(shù)分為目標(biāo)的三維質(zhì)心在二維投影的位置和目標(biāo)與相機(jī)的距離tz.

具體來(lái)說(shuō)，可以通過(guò)定位目標(biāo)在像素坐標(biāo)系下的中心和三維質(zhì)心的距離來(lái)估計(jì)相對(duì)位置.階段1回歸歸一化的位置參數(shù)tc=[cx cy cz]T，通過(guò)投影方程將t轉(zhuǎn)化為tc：

式 中：θHF和 θVF分別為水平和垂直視場(chǎng)角；Mz為tz的最大值.

除了對(duì)位置回歸參數(shù)的設(shè)置外，損失函數(shù)的設(shè)計(jì)對(duì)估計(jì)模型的優(yōu)化也十分重要.在階段1 中，首先使用基于最小化歐氏距離的 ?2損失優(yōu)化回歸參數(shù)：

式 中 ?·和 ˉ·分 別 為 預(yù) 測(cè) 值 和 真 實(shí) 值.

絕對(duì)誤差作為評(píng)價(jià)指標(biāo)在近距離和遠(yuǎn)距離的影響是不平衡的，這導(dǎo)致模型在近距離的位置估計(jì)中不夠準(zhǔn)確.因此還添加了基于 ?2損失的相對(duì)損失，提升距離的估計(jì)精度：

階段1 訓(xùn)練過(guò)程中，采用對(duì)各個(gè)損失項(xiàng)加權(quán)和的方式聯(lián)合訓(xùn)練目標(biāo)檢測(cè)模塊和位置回歸模塊：

式中：Ld為檢測(cè)損失項(xiàng)；λd、λxy、λa、λr為控制對(duì)應(yīng)損失項(xiàng)的權(quán)重.

在階段1 中，主要對(duì)位置回歸參數(shù)進(jìn)行設(shè)置，利用目標(biāo)檢測(cè)模塊獲取的檢測(cè)框用于階段2.階段1 的設(shè)計(jì)可以將檢測(cè)的特征信息和位置回歸的特征信息進(jìn)行融合，這提高了位置估計(jì)的精度.

2.3 姿態(tài)求解模塊

如圖3 所示，在階段2 中實(shí)現(xiàn)對(duì)繞飛/接近情況下相對(duì)姿態(tài)的估計(jì).利用階段1 得到的檢測(cè)框，裁剪原圖像中目標(biāo)區(qū)域，并使用其作為階段2 的輸入.現(xiàn)有的方法大多直接利用 ?1或 ?2損失來(lái)回歸姿態(tài)，該方案主要的缺點(diǎn)是其不能準(zhǔn)確表示任意方向的角差，并且對(duì)較大范圍姿態(tài)情況的泛化性不好，但其優(yōu)點(diǎn)是在小范圍姿態(tài)情況下的準(zhǔn)確度很高.因此，階段2根據(jù)接近非合作目標(biāo)的不同情況，針對(duì)繞飛和接近分別采用間接和直接的方法估計(jì)相對(duì)姿態(tài).

其中，繞飛情況對(duì)姿態(tài)精度要求不高，對(duì)模型泛化能力要求較高，采用間接法估計(jì)姿態(tài).間接法引入了權(quán)重的概念，將單個(gè)四元數(shù)用多個(gè)四元數(shù)類(lèi)別表示，并計(jì)算對(duì)應(yīng)類(lèi)別的權(quán)重，把回歸的問(wèn)題轉(zhuǎn)化為分類(lèi)的問(wèn)題，可以通過(guò)最小化加權(quán)最小二乘估計(jì)來(lái)求解相對(duì)姿態(tài).

接近情況對(duì)姿態(tài)精度要求較高，姿態(tài)分布范圍較小，采用直接法估計(jì)姿態(tài).直接法設(shè)置姿態(tài)回歸參數(shù)為單位四元數(shù)，模型通過(guò)單位化層保證輸出為單位四元數(shù)，設(shè)計(jì)對(duì)應(yīng)損失函數(shù)，保證模型估計(jì)精度.

在階段2 的輸入要求為檢測(cè)的目標(biāo)圖像，考慮到由于位置和姿態(tài)之間的獨(dú)立性，相同姿態(tài)下不同位置的圖像具有較大差異.如圖4 所示，近距離的圖像中空間目標(biāo)占比較大，而遠(yuǎn)距離的圖像中空間目標(biāo)占比較小.

圖4 相同姿態(tài)不同位置圖像Fig.4 Different translation in the same rotation

圖5 比較了不同位置縮放后的檢測(cè)圖像，二者理論上只有清晰度的差異，實(shí)際中二者相似度極高，但由于縮放過(guò)程中插值函數(shù)補(bǔ)全像素時(shí)存在一定誤差，使其并不完全符合縮放原理.

圖5 放大后的檢測(cè)圖像Fig.5 Detected image after zooming

因此，階段2 將縮放后的檢測(cè)圖像作為輸入，這在一定程度上保證了相同姿態(tài)下圖像輸入的一致性，緩解了由于輸入差異導(dǎo)致姿態(tài)估計(jì)的誤差.

此外，與位置參數(shù)回歸一樣，在姿態(tài)估計(jì)中對(duì)回歸參數(shù)和損失函數(shù)的設(shè)計(jì)也十分重要.通常使用單位四元數(shù)作為回歸參數(shù).但在直接回歸四元數(shù)時(shí)存在一定問(wèn)題，當(dāng)姿態(tài)范圍過(guò)大時(shí)，在任意方向的表示精度不高[11]，但在小范圍情況下精度較高.

2.3.1 繞飛姿態(tài)估計(jì)模型

在處理繞飛時(shí)姿態(tài)范圍較大的情況，階段2 通過(guò)對(duì)多個(gè)角度類(lèi)別分類(lèi)并賦予權(quán)重的方法估計(jì)姿態(tài)，這把連續(xù)的姿態(tài)變量轉(zhuǎn)為離散，把回歸問(wèn)題轉(zhuǎn)為分類(lèi)問(wèn)題，在犧牲部分精度的情況下，提升了模型估計(jì)的泛化能力，更適用于繞飛的情況.

該方法優(yōu)點(diǎn)在于避免了CNN 訓(xùn)練對(duì)多個(gè)蒙特卡洛樣本的需求，引入了權(quán)重，改變了網(wǎng)絡(luò)的映射關(guān)系，將單個(gè)角度的映射變?yōu)槎鄠€(gè)角度類(lèi)別的映射，提升了估計(jì)的泛化性和精度.根據(jù)模型估計(jì)的權(quán)重，姿態(tài)通過(guò)高斯牛頓算法的雅可比矩陣計(jì)算.

關(guān)鍵在于四元數(shù)姿態(tài)標(biāo)簽qgt到權(quán)重標(biāo)簽qw的轉(zhuǎn)換，從而讓階段2 的繞飛姿態(tài)估計(jì)模型學(xué)習(xí)到輸出權(quán)重分布P的映射關(guān)系.通過(guò)將每一維度的姿態(tài)角平均分為M個(gè)步長(zhǎng)，設(shè)置四元數(shù)姿態(tài)類(lèi)別Q=[q1q2···qH] 對(duì) 應(yīng)于每個(gè)步長(zhǎng)的姿態(tài)角，其中H=M3.采用衡量四元數(shù)之間角差的函數(shù)，運(yùn)用歸一化方法對(duì)每一個(gè)類(lèi)別的權(quán)重進(jìn)行賦值.

訓(xùn)練過(guò)程中，需要保證模型輸出P和真實(shí)值標(biāo)簽qw分布的一致性，考慮到權(quán)重分布和概率分布上的相似性，本文采用Kullback-Leibler（KL）散度作為衡量?jī)煞N分布的不對(duì)稱(chēng)度量.設(shè)計(jì)以下?lián)p失函數(shù)：

階段2 繞飛姿態(tài)估計(jì)模型采用如下?lián)p失函數(shù)訓(xùn)練：

式中 λf為控制對(duì)應(yīng)損失項(xiàng)的權(quán)重.

2.3.2 接近姿態(tài)估計(jì)模型

在處理接近姿態(tài)范圍較小的情況，階段2 通過(guò)全連接層直接回歸四元數(shù)，通過(guò)激活函數(shù)和單位化層保證回歸的結(jié)果qpre為單位四元數(shù)形式.在小范圍姿態(tài)情況下精度更準(zhǔn)確，更適用于接近的情況.

首先使用 ?2損失來(lái)優(yōu)化回歸參數(shù)：

此外，根據(jù)單位四元數(shù)的特性添加轉(zhuǎn)置損失：

階段2 接近姿態(tài)估計(jì)模型采用如下?lián)p失函數(shù)訓(xùn)練：

式中 λn1、λn2為控制對(duì)應(yīng)損失項(xiàng)的權(quán)重.

在階段2 中，主要設(shè)計(jì)繞飛/接近情況的姿態(tài)估計(jì)模型，使用檢測(cè)圖像作為輸入，減少了位置差異給姿態(tài)估計(jì)帶來(lái)的干擾，確保了相同姿態(tài)下圖像輸入的一致性.此外，根據(jù)繞飛/接近的不同需求，繞飛采用間接姿態(tài)估計(jì)方法，使用分類(lèi)代替回歸，保證了估計(jì)的泛化性；接近采用直接姿態(tài)估計(jì)方法，直接回歸單位四元數(shù)，提高估計(jì)的準(zhǔn)確性.

2.4 模型切換條件

考慮靠近任務(wù)的實(shí)際情況，設(shè)計(jì)2.3 節(jié)中繞飛/接近姿態(tài)估計(jì)模型的判斷條件.追蹤星（相機(jī)）接近目標(biāo)星的過(guò)程可分為遠(yuǎn)距離繞飛和近距離接近兩種情況，對(duì)空間非合作目標(biāo)而言通常是追蹤星由遠(yuǎn)及近的過(guò)程.近距離接近情況在遠(yuǎn)距離繞飛后進(jìn)行，即遠(yuǎn)距離繞飛尋找有利接近方向，切換近距離接近.

測(cè)試過(guò)程中，采集到圖像后，通過(guò)階段1 得到相對(duì)位置和檢測(cè)框，將檢測(cè)框內(nèi)圖像輸入至階段2 繞飛姿態(tài)估計(jì)模型，得到相對(duì)姿態(tài)的四元數(shù)形式，轉(zhuǎn)為歐拉角后判斷是否為切換接近過(guò)程的有利方向，如果是，后續(xù)圖像輸入至階段2 接近姿態(tài)估計(jì)模型，如果不是，繼續(xù)使用繞飛姿態(tài)估計(jì)模型.

本文采用的有利方向?yàn)橄鄼C(jī)和目標(biāo)星慣量主軸平行，即預(yù)測(cè)的X軸旋轉(zhuǎn)角在 ?90°±?°且Z軸旋轉(zhuǎn)角在 ?90°±?° 范圍內(nèi)，或X軸旋轉(zhuǎn)角 90°±?°且Z軸旋轉(zhuǎn)角在 90°±?° 范圍內(nèi)，其中 ?為可設(shè)置的閾值.

3 數(shù)據(jù)集制作

3.1 非合作目標(biāo)相對(duì)位姿數(shù)據(jù)集

深度學(xué)習(xí)作為一門(mén)數(shù)據(jù)驅(qū)動(dòng)的學(xué)科，模型的訓(xùn)練需要大量已標(biāo)注的數(shù)據(jù).針對(duì)非合作目標(biāo)在軌服務(wù)的靠近任務(wù)，本文構(gòu)建一個(gè)包含非合作目標(biāo)的6自由度位姿估計(jì)數(shù)據(jù)集，該數(shù)據(jù)集包含訓(xùn)練集和測(cè)試集，及其對(duì)應(yīng)的相對(duì)位姿標(biāo)注和檢測(cè)框標(biāo)注.數(shù)據(jù)集可用于非合作目標(biāo)領(lǐng)域相對(duì)位姿估計(jì)深度學(xué)習(xí)模型的訓(xùn)練，同時(shí)可作為測(cè)試相關(guān)算法的基準(zhǔn).與SPEED 數(shù)據(jù)集相比，本文提出的數(shù)據(jù)集由RGB 圖像構(gòu)成，豐富非合作目標(biāo)位姿估計(jì)數(shù)據(jù)集的多樣性，進(jìn)一步推動(dòng)該領(lǐng)域的研究.

構(gòu)建大規(guī)模由真實(shí)圖像構(gòu)成的非合作目標(biāo)相對(duì)位姿數(shù)據(jù)集是十分困難的，因此，本文使用虛擬的物理引擎來(lái)收集豐富的位姿圖像.物理引擎模擬圖像簡(jiǎn)化了標(biāo)注環(huán)節(jié)，并且保證了標(biāo)注的準(zhǔn)確性.通過(guò)一個(gè)衛(wèi)星的三維模型，設(shè)計(jì)對(duì)應(yīng)的數(shù)據(jù)分布，通過(guò)程序生成位姿數(shù)據(jù)，可直接仿真出對(duì)應(yīng)位姿的圖像.

根據(jù)本文模型，設(shè)計(jì)繞飛數(shù)據(jù)集和接近數(shù)據(jù)集分別用于訓(xùn)練階段2 的繞飛/接近姿態(tài)估計(jì)模型，兩部分?jǐn)?shù)據(jù)集混合后構(gòu)成位置數(shù)據(jù)集用于訓(xùn)練階段1的位置估計(jì)模型.數(shù)據(jù)集均按照9∶1 的比例隨機(jī)分為訓(xùn)練集和測(cè)試集，像素均為 640×640，描述了一個(gè)典型的非合作目標(biāo)，部分樣例如圖6 所示.

圖6 數(shù)據(jù)集樣例Fig.6 Examples in the dataset

在位姿估計(jì)過(guò)程中，相機(jī)的內(nèi)參矩陣為已知的先驗(yàn)信息.仿真物理引擎的視場(chǎng)角為 αx,αy，生成圖像分辨率為 (W,H)，相機(jī)的內(nèi)參矩陣K為

3.2 繞飛數(shù)據(jù)集

繞飛數(shù)據(jù)集包含40 000 張生成的圖像，為了創(chuàng)建空間目標(biāo)的不同視角圖像，分別設(shè)置相對(duì)姿態(tài)和相對(duì)位置，遠(yuǎn)距離相對(duì)姿態(tài)按照平均隨機(jī)分布生成，如圖7 所示.Z方向的相對(duì)位置服從標(biāo)準(zhǔn)正態(tài)分布D1～N(μ=50 m,σ=15 m)，只選取[50, 100] m 區(qū)間內(nèi)的數(shù)值.X和Y方向的cx和cy服從2 個(gè)獨(dú)立的標(biāo)準(zhǔn)正態(tài)分布D2～N(μ=0,σ=0.015)，相對(duì)位置分布如圖8所示.

圖7 繞飛數(shù)據(jù)集相對(duì)姿態(tài)分布Fig.7 Distribution of the relative rotation in the flight around dataset

圖8 繞飛數(shù)據(jù)集相對(duì)位置分布Fig.8 Distribution of the relative translation in the flight around dataset

3.3 接近數(shù)據(jù)集

接近數(shù)據(jù)集包含20 000 張生成的圖像，其中10 000 張圖像相對(duì)姿態(tài)的X軸旋轉(zhuǎn)角和Z軸旋轉(zhuǎn)角分 別服從2 個(gè)獨(dú)立的 標(biāo)準(zhǔn)正態(tài)分布D3～N(μ=?90°,σ=1°)和D4～N(μ=90°,σ=1°)，另10 000 張 圖 像 相 對(duì)姿態(tài)的X軸旋轉(zhuǎn)角和Z軸旋轉(zhuǎn)角分別服從D4和D3，如圖9 所示.Z方向的相對(duì)位置服從[6, 50] m 區(qū)間的平均隨機(jī)分布，X和Y方向的cx和cy與3.2 節(jié)相同，服從兩個(gè)獨(dú)立的標(biāo)準(zhǔn)正態(tài)分布D2～N(μ=0,σ=0.015)，相對(duì)位置分布如圖10 所示.

圖9 接近數(shù)據(jù)集相對(duì)姿態(tài)分布Fig.9 Distribution of the relative rotation in the approach dataset

圖10 接近數(shù)據(jù)集相對(duì)位置分布Fig.10 Distribution of the relative translation in the approach dataset

4 實(shí)驗(yàn)分析

4.1 實(shí)施細(xì)節(jié)

本文在PyTorch[20]環(huán)境下使用第3 節(jié)中提出的數(shù)據(jù)集訓(xùn)練兩階段位姿估計(jì)模型，所有實(shí)驗(yàn)均在Intel Xeon(R) Gold 5128@2.30 GHz×64 CPU 和3 塊NVIDIA RTX 3 090 GPU 條件下進(jìn)行，下文中采用維度×高度×寬度來(lái)表示特征圖大小.在階段1 和階段2的模型中均使用在ImageNet[21]上預(yù)訓(xùn)練的ResNet50作為骨干網(wǎng)絡(luò)，在兩個(gè)階段中輸入的原始圖像和檢測(cè)圖像都縮放至320×320 像素.兩階段位姿估計(jì)模型訓(xùn)練的細(xì)節(jié)如下所示：

在階段1 中，移除骨干網(wǎng)絡(luò)的全局平均池化層（GAP）和全連接層（FC），骨干網(wǎng)絡(luò)輸出2 048×10×10大小的特征圖，作為RPN 和位置回歸模塊的輸入.在位置回歸模塊中，添加一個(gè)GAP 層輸出2 048×1×1大小的特征圖，然后通過(guò)FC 層和tanh 激活函數(shù)回歸tc=[cx cy cz]T.采用Adam 優(yōu)化器[22]優(yōu)化整個(gè)網(wǎng)絡(luò)，初始學(xué)習(xí)率和權(quán)重衰減率均設(shè)為0.001，學(xué)習(xí)率策略采用余弦退火[23]，周期設(shè)為訓(xùn)練輪數(shù)的1/5.數(shù)據(jù)批數(shù)（batch size）設(shè)為90，訓(xùn)練輪數(shù)（epochs）為100.

在階段2 中，與階段1 類(lèi)似，通過(guò)骨干網(wǎng)絡(luò)和GAP 層輸出2 048×1×1 大小的特征圖，在繞飛姿態(tài)估計(jì)模型中通過(guò)FC 層輸出權(quán)重分布P，采用SGD 優(yōu)化器[24]，F(xiàn)C 層初始學(xué)習(xí)率設(shè)為0.01，其他網(wǎng)絡(luò)層的初始學(xué)習(xí)率設(shè)為0.001，動(dòng)量值設(shè)為0.9，權(quán)重衰減率設(shè)為0.001；在接近姿態(tài)估計(jì)模型中通過(guò)FC 層和tanh 激活函數(shù)回歸四元數(shù)，再通過(guò)歸一化層輸出單位四元數(shù)，采用Adam 優(yōu)化器優(yōu)化接近姿態(tài)估計(jì)模型，初始學(xué)習(xí)率和權(quán)重衰減率均設(shè)為0.001，學(xué)習(xí)率每經(jīng)過(guò)1/3 的訓(xùn)練次數(shù)后降低至當(dāng)前學(xué)習(xí)率的0.1.訓(xùn)練2 種姿態(tài)估計(jì)模型的Batch size 均為150，epochs 均為100.

4.2 評(píng)價(jià)指標(biāo)

為了定量分析模型效果，本節(jié)給出3 個(gè)參考標(biāo)準(zhǔn).每個(gè)樣本的絕對(duì)位置誤差用2 范數(shù)衡量，估計(jì)的位 置t? 和真實(shí)值tˉ：

每個(gè)樣本的姿態(tài)誤差用角差來(lái)衡量估計(jì)的姿態(tài)qest及 真 實(shí) 值qgt：

采用交并比（IoU）衡量目標(biāo)檢測(cè)的性能，預(yù)測(cè)的檢測(cè)框Best及其真實(shí)值Bgt，A表示面積：

4.3 消融實(shí)驗(yàn)

階段1 的消融實(shí)驗(yàn)驗(yàn)證了位置估計(jì)模型中檢測(cè)模塊和相對(duì)誤差損失項(xiàng)的作用，結(jié)果如表1 所示.基線采用ResNet50 作為骨干網(wǎng)絡(luò)，式（1）的位置參數(shù)化方法和式（2）的絕對(duì)損失.從表1 中可以看出，檢測(cè)模塊和相對(duì)誤差損失項(xiàng)都能提升模型表現(xiàn)，結(jié)合兩種方法，可以進(jìn)一步提升模型性能，平均誤差超過(guò)基線0.436 0 m.

表1 階段1 消融實(shí)驗(yàn)Tab.1 Ablation studies of stage one

同時(shí)測(cè)量了檢測(cè)模塊的IoU 值，可以看出本文采用的目標(biāo)檢測(cè)算法可以很好地檢測(cè)出目標(biāo).

階段2 繞飛情況的消融實(shí)驗(yàn)驗(yàn)證了繞飛姿態(tài)估計(jì)模型中輸入檢測(cè)圖像和分類(lèi)方法的作用，結(jié)果如表2 所示.基線采用ResNet50 作為骨干網(wǎng)絡(luò)，回歸參數(shù)設(shè)置為四元數(shù)，采用式（7）直接回歸損失和式（8）轉(zhuǎn)置損失.從表2 中可以看出，基線方法已經(jīng)能取得相對(duì)較高的估計(jì)精度，這驗(yàn)證了四元數(shù)參數(shù)化和轉(zhuǎn)置損失的有效性，進(jìn)一步消融實(shí)驗(yàn)在表3 中給出.此外，輸入檢測(cè)圖像和分類(lèi)方法都能提升模型表現(xiàn)，結(jié)合兩種方法可以進(jìn)一步提升模型性能，平均誤差超過(guò)基線3.379 3°.

表2 階段2 繞飛情況消融實(shí)驗(yàn)Tab.2 Ablation studies of stage two fly-around

表3 階段2 接近情況消融實(shí)驗(yàn)Tab.3 Ablation studies of stage two approach

階段2 接近情況的消融實(shí)驗(yàn)驗(yàn)證了接近姿態(tài)估計(jì)模型中轉(zhuǎn)置損失的作用，結(jié)果如表3 所示.基線采用ResNet50 作為骨干網(wǎng)絡(luò)，回歸參數(shù)設(shè)置為四元數(shù)，采用式（7）直接回歸損失.從表3 可以看出，轉(zhuǎn)置損失進(jìn)一步提升了基線的精度，平均誤差超過(guò)基線0.255°.

各階段估計(jì)模型的推理時(shí)間如表4 所示.各階段模型的推理速度都很快，其中階段2 繞飛估計(jì)模型由于含有求解特征向量的程序，該部分計(jì)算效率較低，運(yùn)行時(shí)間為0.123 s，導(dǎo)致整體運(yùn)行時(shí)間較長(zhǎng)，該部分程序可以通過(guò)后續(xù)優(yōu)化提升速度.其中階段2繞飛模型中卷積神經(jīng)網(wǎng)絡(luò)的推理時(shí)間為0.018 1 s，與其他階段運(yùn)行效率一致.

表4 各階段模型推理時(shí)間Tab.4 The inference time of each stage model

4.4 超參數(shù)實(shí)驗(yàn)

本節(jié)對(duì)兩階段位姿估計(jì)模型中的超參數(shù)影響進(jìn)行試驗(yàn)分析，首先是階段1 中位置估計(jì)模型訓(xùn)練中相對(duì)誤差損失項(xiàng)Lz2及絕對(duì)誤差損失項(xiàng)Lz1各自權(quán)重系數(shù) λr與 λa之間的比值 β，通過(guò)在位置數(shù)據(jù)集中設(shè)置不同超參數(shù) β的值進(jìn)行訓(xùn)練，測(cè)試集上估計(jì)結(jié)果如圖11 所示，后續(xù)試驗(yàn)中選擇 β=0.5.

圖11 超參數(shù)β 的實(shí)驗(yàn)分析Fig.11 Analysis of hyperparameter β

此外，還有階段2 中接近姿態(tài)估計(jì)模型訓(xùn)練中轉(zhuǎn)置損失Ln2及回歸損失Ln1各自的權(quán)重系數(shù) λn2與λn1之間的比值 α，通過(guò)在近距離姿態(tài)數(shù)據(jù)集中設(shè)置不同超參數(shù) α的值進(jìn)行訓(xùn)練，測(cè)試集上估計(jì)結(jié)果如圖12所示，后續(xù)試驗(yàn)中選擇 α=0.5.

圖12 超參數(shù)α 的實(shí)驗(yàn)分析Fig.12 Analysis of hyperparameter α

4.5 對(duì)比實(shí)驗(yàn)

本節(jié)在非合作目標(biāo)仿真樣例上進(jìn)行對(duì)比試驗(yàn)，將Thaweerath 方法[13]、SPN[14]、USRO 方法[15]和本文提出的兩階段位姿估計(jì)模型進(jìn)行對(duì)比，估計(jì)結(jié)果如表5 所示.

表5 樣例仿真實(shí)驗(yàn)Tab.5 Example simulation experiment

可以看出，由于本文的方法將相對(duì)位置的預(yù)測(cè)和目標(biāo)檢測(cè)相結(jié)合，同時(shí)對(duì)位置回歸參數(shù)進(jìn)行了設(shè)置，在相對(duì)位置估計(jì)上取得了較好的結(jié)果.對(duì)相對(duì)姿態(tài)的估計(jì)考慮到了繞飛和接近兩種情況圖像特征分布的差異并分別設(shè)置了估計(jì)模型，可以更好地應(yīng)對(duì)在軌任務(wù)過(guò)程中不同階段的姿態(tài)估計(jì)，在對(duì)比實(shí)驗(yàn)中取得了更高的估計(jì)精度.

5 結(jié) 論

本文對(duì)基于單目視覺(jué)的卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)在非合作目標(biāo)的位姿估計(jì)領(lǐng)域進(jìn)行了研究，主要有以下貢獻(xiàn)：

① 本文給出了一種空間非合作目標(biāo)在軌任務(wù)全過(guò)程位姿估計(jì)的方法.針對(duì)單目相機(jī)獲取的圖像，設(shè)計(jì)兩階段位姿估計(jì)神經(jīng)網(wǎng)絡(luò)模型分階段對(duì)非合作目標(biāo)的相對(duì)位姿進(jìn)行估計(jì)，并結(jié)合實(shí)際在軌任務(wù)需求，針對(duì)性設(shè)計(jì)了不同階段姿態(tài)估計(jì)模型.

② 本文提出了非合作目標(biāo)相對(duì)位姿數(shù)據(jù)集，豐富了該研究領(lǐng)域內(nèi)的數(shù)據(jù)集樣式，可用于基于視覺(jué)的非合作目標(biāo)位姿估計(jì)研究，進(jìn)一步推動(dòng)深度學(xué)習(xí)技術(shù)在非合作目標(biāo)位姿估計(jì)領(lǐng)域的發(fā)展.

③ 充足的對(duì)比和仿真實(shí)驗(yàn)驗(yàn)證了算法有效性和在空間非合作目標(biāo)在軌服務(wù)中，采用基于圖像訓(xùn)練的深度學(xué)習(xí)算法進(jìn)行位姿估計(jì)的可行性.