基于深度學習的空間多目標識別方法研究

王 柳

（哈爾濱工業(yè)大學智能感知與自主規(guī)劃實驗室，哈爾濱 150001）

1 引 言

隨著太空領域的不斷發(fā)展與競爭，空間態(tài)勢感知已成為太空安全防護與太空控制的重要基礎?？臻g目標識別是空間態(tài)勢感知的重要組成部分，與其他多個重要領域相互交叉，具有重大的軍事價值［1］?？臻g目標識別主要利用空間目標特性數據，對其身份、姿態(tài)、狀態(tài)等屬性進行有效判斷和識別。當前，目標特性數據的來源主要為地基探測，包括光學和雷達等設備。然而，地基設備的探測數據與觀測角度、目標特征、太陽角度和大氣層等多種因素相關，使探測結果具有極大的不確定性，給空間目標識別帶來諸多挑戰(zhàn)［2］。首先，空間目標的固有特征會對特性數據造成不同影響，如姿態(tài)、形狀、表面材料等；其次，雖然不同目標在基本特征上具有一定差別，但由于目標數量多、范圍廣、空間環(huán)境復雜等因素，特性數據區(qū)分度并不明顯，使目標不易分類和識別［3］。

對非合作衛(wèi)星進行自主識別與檢測的手段主要有兩種，一種是傳統(tǒng)的目標識別方法，主要基于目標特性數據進行反演獲得部分目標特征［4-6］，對非合作目標選定的區(qū)域進行特征提取，提取的特征通常包括直線、多邊形、橢圓等。但傳統(tǒng)方法通常具有較高的算法復雜度，難以應對空間目標識別的新挑戰(zhàn)。另一種是基于深度學習的方法，利用卷積神經網絡（Convolutional Neural Networks，CNN）對已標記的圖像進行訓練，使損失函數值不斷減小，從而得到各卷積層的權值。

本文基于CNN，以航天任務模擬工具（Satellite Tool Kit，STK）中兩顆衛(wèi)星和衛(wèi)星實物模型為樣本集，對兩顆衛(wèi)星及衛(wèi)星的部件進行識別和檢測。并搭建實物驗證系統(tǒng)，檢測在不同方位、不同光照條件、運動模糊等條件下衛(wèi)星及部件的識別效果。

2 空間目標特性

典型衛(wèi)星的局部構件主要包括衛(wèi)星本體、天線、太陽帆板以及衛(wèi)星搭載的有效載荷等。對于可觀測局部構件，幾何構形具備多樣化的特點。

衛(wèi)星本體一般都為規(guī)則形狀，輪廓清晰可分辨，這有利于在視覺圖像中相對容易地提取本體形狀［7］。

太陽帆板也被稱為太陽電池板或太陽電池陣。衛(wèi)星上安裝的太陽帆板大致可分為體裝式及展開式。對于體裝式帆板，其輪廓與衛(wèi)星主體輪廓重合較多，不能僅依靠形貌特征進行判斷，還需要用到太陽帆板的光學反射特性等作為識別判據；對于展開式太陽翼，其展開時大多為規(guī)則的矩形組合體，且安裝位置與衛(wèi)星主體存在一定距離，因此其輪廓提取與判斷也相對容易。

衛(wèi)星攜帶的通信天線包括全球波束、半球波束、區(qū)域波束、點波束、多波束、可變波束等類別，衛(wèi)星依照其執(zhí)行任務的不同會攜帶不同的天線，且數量往往不止一個。其中反射面天線的輪廓較明顯，但其緊靠的發(fā)射器與接收器易干擾識別過程［8］；喇叭天線相對衛(wèi)星的幾何尺寸較小，一般通過支架安裝并與衛(wèi)星表面保持一定距離；相控陣天線與螺旋天線也均用支架安裝但一般相對貼近衛(wèi)星表面。因此，可利用衛(wèi)星的部分先驗知識輔助構件的有效識別。

一般衛(wèi)星搭載的有效載荷的種類與衛(wèi)星功能相關，各功能衛(wèi)星及其攜帶的載荷主要可分為以下幾類：（1）科學探測和實驗類衛(wèi)星攜帶載荷：電離層探針、粒子探測器、磁強計、質譜計、紅外天文望遠鏡等；（2）信息獲取類衛(wèi)星攜帶載荷：光學相機、多譜段掃描儀、微波輻射計、合成孔徑雷達、無線電偵察接收機等；（3）信息傳輸類衛(wèi)星攜帶載荷：通信轉發(fā)器和通信天線；（4）信息基準類衛(wèi)星攜帶載荷：無線電信標機、激光反射器等［10］。

3 智能識別體系架構

3.1 空間多目標識別流程

在對CNN進行訓練前要先利用小波閾值濾波方法對訓練的圖片進行去噪等預處理，再用CNN模型對預處理后空間環(huán)境中的衛(wèi)星圖片進行識別與檢測［11-12］。技術流程如圖1所示。

建立衛(wèi)星部件的樣本庫，對衛(wèi)星及其部件進行標定。之后利用訓練集對改進后的CNN進行訓練，不斷迭代更新各層CNN的權值，直到達到終止條件。利用驗證集進行精度驗證，修改學習率、激活函數、訓練集樣本數等再次進行訓練直到達到精度要求。

3.2 網絡模型設計

CNN YOLO結構模型如圖2所示，模型共含24個卷積層、4個池化層和2個全連接層［9］。模型將原圖劃分為S×S的網格。如果一個目標的中心落入格子，該格子就負責檢測該目標。每一個格子預測邊界框和該邊界框的置信值。置信值代表此邊界框里包含一個目標的置信度，用表示，其中P(Object )表示當前位置是一個衛(wèi)星的概率，如果沒有目標，置信值為零。另外，希望預測的置信值和真值預測的重疊概率（Intersection Over Union，IOU）相同。記錄的5個元素具體為（x,y）代表當前格子預測得到的衛(wèi)星或衛(wèi)星部件邊界框的中心坐標，（w,h）為衛(wèi)星或衛(wèi)星部件邊界框的寬和高。網絡最后的輸出為S×S×(B×5+C)維度的張量。其中B指邊界框的個數，C指網絡要預測的類別數。

3.3 誤差函數設計

采用求和平方誤差最小為目標函數來優(yōu)化，增加邊界框損失權重，減小置信度權重。訓練階段的總損失函數LOSS如式（1）所示?？侺OSS函數分為三個部分：坐標損失（前兩項），類別損失（中間兩項），置信損失（最后一項）。

圖1 空間多目標識別流程圖Fig.1 Spatial muti-objective identification flow chart

圖2 CNN模型結構Fig.2 CNN model structure

損失函數的設計目標是讓坐標（x,y,w,h）、置信值、類別這三個方面達到很好的平衡。此函數避免了以下不足［9］：（1）坐標損失和類別損失同等重要顯然不合理；（2）如果一個網格中沒有衛(wèi)星本體或部件（一幅圖中這種網格很多），那么就會將這些網格中邊界框的置信值減小到0，相比于較少的有衛(wèi)星部件的網格，這種做法會導致網絡不穩(wěn)定甚至發(fā)散。

式（1）的創(chuàng)新點有：（1）更重視坐標預測，在坐標損失前賦予了更大的權值，記作λcoord，在本網絡中取值為5；（2）對于不同大小的邊界框預測，相比于大邊界框偏一點，小邊界框預測偏一點更不能忍受。為緩解這個問題，將邊界框的寬和高取平方根代替原來的寬和高；（3）對沒有衛(wèi)星本體或部件的邊界框的置信損失賦予小的權值，記為λnobj，在本網絡中取值為0.5。

對衛(wèi)星部件的識別與檢測與對衛(wèi)星的識別與檢測相比，種類更多且要識別的部件像素區(qū)域更小，識別的難度更大。這部分利用的CNN做了如下修改：

（1）對衛(wèi)星部件進行識別，更強調是否有過擬合。在每一個卷積層后添加批量標準化（Batch Normalization），極大的改善了收斂速度，同時減少了對其它正則化方法的依賴。

（2）對衛(wèi)星部件進行檢測，檢測的像素區(qū)域更小，需要圖片的分辨率更高。目前的目標檢測算法中，一般會使用ImageNet預訓練過的模型提取特征，如果用AlexNet網絡輸入的圖片，則分辨率會被縮放到不足256×256，導致分辨率不夠，給檢測帶來困難。改進后的網絡通過修改預訓練分類網絡的分辨率為448×448，并在ImageNet數據集上訓練10輪。這個過程讓網絡有足夠的時間去適應高分辨率的輸入。

（3）在識別與檢測種類增多時，為提高運算效率，借鑒Faster R-CNN［13］中的Anchor思想：在卷積特征圖上進行滑窗采樣，每個中心預測9種不同大小和比例的建議框，基于此，對每個窗口位置都可以根據9個不同長寬比例、不同面積的Anchor逆向推導出它對應的原始圖片中的一個區(qū)域。由于都是卷積不需要重塑，很好的保留空間信息，最終特征圖的每個特征點和原圖的每個網格一一對應。用預測相對偏移取代直接預測坐標，方便網絡學習，即移除全連接層，使用Anchor框去預測邊界框。

4 實驗測試與結果

4.1 網絡模型參數設置

Batch=1，Subdivisions=1；

初始學習率：Learning Rate=0.0005；

衰減正則項：Decay=0.0005；

旋轉角度：Angle=5（通過隨機旋轉角度-5°～5°生成更多樣本）；

飽和度：Saturation=1.5（通過調整飽和度1～1.5倍來生成更多樣本）；

曝光量：Exposure=1.5（通過調整曝光量1～1.5倍來生成更多樣本）；

色調：Hue=0.1（通過調整色調1～1.1倍來生成更多樣本）。

經過60000次的循環(huán)迭代，網絡的各參數如下：

平均IOU：Region Avg IOU=0.8996（代表邊界框和真值的交集和并集的比，期望該值趨近于1）；

類別：Class=0.9032（標注物體類型的概率，期望該值趨近于1）；

標注物體的概率：Obj=0.8887（期望該值趨近于1）；

平均召回率：Avg Recall=0.8530（期望該值趨近于1）；

平均損失：Avg Loss=2.9641（期望該值趨近于0）。

4.2 目標數據集

本文的目標數據集由三部分構成，分別是STK軟件中北斗衛(wèi)星模型、Cartosat-2衛(wèi)星模型的圖片；SolidWorks繪制的北斗衛(wèi)星模型、Cartosat-2衛(wèi)星模型的圖片；北斗衛(wèi)星模型、Cartosat-2衛(wèi)星模型的實物模型圖片。分別標記了這些圖片中的星本體、帆板、天線、噴管、相機、星敏感器。

4.3 目標訓練

訓練網絡用的深度學習工作站配有4個GPU，GPU由大量的運算單元組成，計算效率是CPU的幾十倍，并行計算能力遠高于CPU。通常來說，GPU擁有普通內存位寬更大、頻率更高的專用顯存，適合處理大規(guī)模數據的并行計算。深度學習工作站實現了“CPU+GPU”協(xié)同計算加速，能合理分配計算資源，充分釋放計算能力，具有高效、可靠、穩(wěn)定的性能，它利用GNU編譯器包括C/C++/Fortran、MKL庫以及OPENMPI、MPICH的并行消息環(huán)境，采用Caffe、Tensorflow、Theano、BIDMach、Torch等深度學習框架，通過編譯Caffe的Python和Matla等接口，基于B/S架構實現且可視化的進行深度神經網絡的訓練、測試等。

深度學習工作站如圖3所示。

圖3 深度學習工作站外形圖Fig.3 Deep learning workstation

4.4 識別結果

（1）仿真圖片識別結果

詳見圖4-7。

圖4 Cartosat-2的STK圖片識別結果Fig.4 Cartosat-2 STK picture recognition results

圖5 北斗的STK圖片識別結果Fig.5 Beidou STK picture recognition results

圖6 Cartosat-2 3D建模圖識別結果Fig.6 Cartosat-2 3D picture recognition results

圖7 北斗3D建模圖識別結果Fig.7 Beidou 3D picture recognition results

兩類衛(wèi)星模型識別的準確率約為95%，召回率約為92%。

（2）實物模型識別結果

本文在近距離正視、側視及遮擋、弱光照條件下對兩組不同的實物衛(wèi)星模型進行檢測，檢測的結果如下：

圖8 近距離正視條件下北斗模型識別結果Fig.8 Beidou model recognition results under close-range conditions

圖9 近距離正視條件下Cartosat-2衛(wèi)星模型識別結果Fig.9 Cartosat-2 recognition results under close-range conditions

近距離正視條件下衛(wèi)星模型識別準確率為96.6%，召回率為97.3%。

圖10 側視及遮擋條件下北斗模型識別結果Fig.10 Beidou recognition results under side and occlusion conditions

圖11 側視及遮擋條件下Cartosat-2衛(wèi)星模型識別結果Fig.11 Cartosat-2 recognition results under side and occlusion conditions

側視及遮擋條件下衛(wèi)星模型識別準確率為90.2%，召回率為87.25%。

圖12 弱光照條件下北斗衛(wèi)星模型識別結果Fig.12 Beidou model identification results under weak lighting conditions

圖13 弱光照條件下Cartosat-2衛(wèi)星模型識別結果Fig.13 Cartosat-2 model identification results under weak lighting conditions

弱光照條件下衛(wèi)星模型識別準確率為90.09%，召回率為77.52%。

在近距離正視方位情況下對衛(wèi)星模型的識別檢測的準確率較高，能達到96.6%。而在遮擋、運動模糊、暗光照環(huán)境等極端環(huán)境下準確率稍低，達到90.1%左右?？梢酝ㄟ^加大訓練特殊情況下的樣本提高準確率。

5 結束語

本文基于CNN YOLO模型對兩類空間衛(wèi)星（Cartosat-2、北斗）及其部件（帆板、星敏感器、天線、噴管、相機等）在近距離正視、遠距離、遮擋、運動模糊等不同條件下進行識別測試，識別準確率均達到了90%以上。本文的研究對空間在軌服務、態(tài)勢感知中的目標識別有重要參考價值，創(chuàng)新點在于將星本體、帆板、天線等部件的形狀信息作為CNN的權重先驗值；結合星本體及部件的特殊性，對誤差損失函數和網絡結構進行修改。但本文僅是在地面環(huán)境下對按一定縮比的衛(wèi)星模型進行識別，盡管考慮了不同運動、不同光照、不同方位情況，但是對于更加復雜的太空光照環(huán)境、復雜的章動、進動等運動規(guī)律下衛(wèi)星模型的識別仍未全面考慮，后期可用仿真的太空光照環(huán)境圖片或者真實拍攝的衛(wèi)星圖片進行訓練、檢測，進一步驗證在復雜太空環(huán)境下此衛(wèi)星識別算法的準確性。