紅外與可見光圖像融合的空間碎片識別方法

陶 江，曹云峰，莊麗葵，丁 萌

(1.南京航空航天大學(xué)航天學(xué)院，南京 210016；2.南京航空航天大學(xué)民航學(xué)院，南京 211106)

0 引言

空間碎片是在軌航天器安全運行的主要威脅?？臻g碎片是指處于地球軌道或再入大氣層中無法正常工作的人造物及其碎片[1],如失效航天器、運載火箭發(fā)射階段產(chǎn)生的火箭殘骸、失效航天器碰撞或爆炸產(chǎn)生的碎片均屬于空間碎片。上述空間碎片的持續(xù)碰撞會進一步加劇其數(shù)量增長，從而導(dǎo)致在軌航天器與碎片發(fā)生碰撞的概率進一步加大。因此，空間碎片監(jiān)視對于規(guī)避碰撞風(fēng)險以確保航天器的安全至關(guān)重要，而其中的關(guān)鍵在于在軌航天器對空間碎片的精確識別。識別結(jié)果又能為下一步對空間碎片的精確跟蹤、威脅度評估、碎片清除等技術(shù)提供重要依據(jù)[2]。因此，關(guān)于空間碎片的識別方法研究意義重大。

由于可見光傳感器具有成本低、體積小、分辨率高等特點，被廣泛應(yīng)用于天基空間目標(biāo)監(jiān)視系統(tǒng)中,如美國天基可見光(Space-Based Visible， SBV)項目[3]、美國天基空間監(jiān)視(Space-Based Space Surveillance，SBSS)系統(tǒng)[4]、加拿大空間監(jiān)視系統(tǒng)(Canadian Space Surveillance System，CSSS)[5]等。然而，由于天基監(jiān)視系統(tǒng)和太陽以及空間碎片之間存在相對運動，導(dǎo)致可見光相機在對空間碎片成像過程中，空間碎片的光照區(qū)域呈現(xiàn)出非均勻特性[3]，即空間碎片的可見區(qū)域會隨著光源入射角的變化而變化，從而造成圖像源細(xì)節(jié)部分丟失，這對基于圖像的空間碎片識別性能帶來巨大挑戰(zhàn)。而紅外圖像對光源入射角度不如可見光圖像敏感，并可以記錄物體非可見光部分的熱輻射信息[7]，但其所包含目標(biāo)的頻譜信息和反射特性卻不如可見光圖像源豐富，如可見光圖像中包含豐富的邊緣、紋理等細(xì)節(jié)。因此，將目標(biāo)的紅外圖像源和可見光圖像源進行深度融合，得到相較于單一圖像源細(xì)節(jié)更加豐富的圖像，將更有利于目標(biāo)識別[8]。

由于可見光和紅外圖像融合所帶來的優(yōu)勢，融合技術(shù)被廣泛應(yīng)用于軍事偵查、農(nóng)業(yè)自動化、空間探測等領(lǐng)域。根據(jù)不同的應(yīng)用對象和應(yīng)用背景，各種紅外和可見光圖像融合方法也相繼被提出。總體上，融合方法主要分為兩大類：空間域方法，變換域方法。近年來，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，基于深度學(xué)習(xí)的紅外和可見光融合方法也取得一定的進展。相較于傳統(tǒng)的圖像融合方法，基于深度學(xué)習(xí)的圖像融合方法在特征表達和映射方面呈現(xiàn)出巨大優(yōu)勢[10]。例如基于卷積稀疏表示的異源圖像融合方法不僅具有較強的細(xì)節(jié)保留能力，還對異源圖像的誤匹配具有較強的魯棒性[11]。這對本文的空間碎片的紅外和可見光圖像融合具有重要參考價值。

在過去幾十年中，空間碎片識別方法也得到了廣泛研究，而大多數(shù)方法是基于傳統(tǒng)的人工特征來訓(xùn)練分類器，如K近鄰(k-Nearest Neighbor，KNN)分類器[12]、支持向量機(Support Vector Machine，SVM)[13]等。這些方法的性能嚴(yán)重受限于人工特征設(shè)計，且人工特征存在對目標(biāo)描述不夠本質(zhì)的問題?；谏疃葘W(xué)習(xí)的空間碎片識別方法研究較少，目前只有西北工業(yè)大學(xué)提出了基于LeNet-5網(wǎng)絡(luò)的空間碎片深度學(xué)習(xí)識別模型[14]，然而其驗證所用空間碎片圖像并未考慮光照因素。本文提出了一種新的基于深度學(xué)習(xí)的空間碎片識別框架，并采取基于卷積稀疏表示的圖像融合方法提高空間碎片識別性能。通過實驗對比結(jié)果表明，本文的基于卷積稀疏表示的識別模型性能優(yōu)于基于單一可見光圖像的識別方法。

1 空間碎片識別數(shù)據(jù)庫

空間碎片數(shù)據(jù)庫的建立在天基空間目標(biāo)監(jiān)視系統(tǒng)研制開發(fā)過程中起著重要作用，為載荷參數(shù)優(yōu)化確定以及相關(guān)關(guān)鍵技術(shù)驗證提供了必要的模擬數(shù)據(jù)源。本文以Apollo-11號探測器作為空間目標(biāo)模擬失效航天器這一類空間碎片。首先利用三維動畫軟件3DMAX建立失效衛(wèi)星的三維幾何模型，然后添加光源，設(shè)置相機參數(shù)，最后利用VRay渲染器對幾何模型進行渲染，得到不同光源入射角下的空間碎片可見光圖像數(shù)據(jù)庫?？臻g碎片可見光圖像仿真流程如圖1所示。

圖1 空間碎片可將光圖像仿真流程Fig.1 Simulation process of visible image of space debris

空間碎片相應(yīng)的紅外圖像數(shù)據(jù)庫由Vega Prime軟件仿真模擬得到。在仿真紅外圖像時，將空間碎片三維模型在Vega Prime軟件中調(diào)整到和3DMAX同一位置和視角下，則不需經(jīng)過配準(zhǔn)即可通過圖像融合得到空間碎片的融合圖像。本文融合圖像數(shù)據(jù)庫包含100幅融合圖像，圖像大小為640×480。圖2所示為空間碎片在不同光源入射角下的部分融合圖像樣本。

圖2 空間碎片圖像數(shù)據(jù)庫部分樣本Fig.2 Part of fused image samples of space debris

2 空間碎片識別

本文提出的空間碎片識別框架如圖3所示。首先采用基于卷積稀疏表示的方法對空間碎片的可見光和紅外圖像進行融合得到融合圖像；然后基于空間碎片融合圖像訓(xùn)練樣本通過深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練得到空間碎片識別模型；最后將空間碎片的融合圖像輸入識別模型便可得到識別結(jié)果。

圖3 空間碎片識別框架Fig.3 Scheme of space debris recognition

2.1 基于卷積稀疏表示的圖像融合方法

(1)

其中：gx=[-1 1]和gy=[-1 1]T分別為水平方向和豎直方向的梯度算子。η為正則化參數(shù)，本文取其經(jīng)驗值5。細(xì)節(jié)層可通過求解式(2)得到

(2)

(3)

假設(shè)Ck,1∶M(x,y)表示稀疏系數(shù)圖Ck,m在位置(x,y)上的值，則稀疏向量Ck,1∶M(x,y)在每個像素位置上的l1范數(shù)作為源圖像的活躍度測量。活躍度Ak(x,y)由式(4)得到

(4)

為使圖像融合過程對誤匹配有較強的魯棒性，采取對活躍度Ak(x,y)取局部窗口平均值的策略重新計算活躍度，如式(5)所示

(5)

其中，r表示窗口尺寸。對于紅外可見光圖像融合，需要考慮尺寸較小的細(xì)節(jié)(如邊緣、紋理等),因此r取較小的值更有利，本文取經(jīng)驗值3。采取選擇最大策略計算融合系數(shù)圖

Cf,1∶M(x,y)=Ck*,1∶M(x,y),k*

(6)

然后將所有源圖像分解的細(xì)節(jié)層通過式(7)進行融合重建

(7)

采取平均值策略對各個基礎(chǔ)層進行融合重建，以減小各個源圖像在同一位置上的灰度值的不一致性問題。則所有源圖像分解的基礎(chǔ)層按式(8)進行融合重建

(8)

(9)

圖4所示為空間碎片的紅外和可見光圖像融合結(jié)果。左圖為空間碎片的可見光圖像，可以看出空間碎片右邊未被光線照射的部分基本沒有紋理等細(xì)節(jié)被反射；中圖為空間碎片的紅外圖像，可以看出其基本不受光照影響，非可見光部分的輻射信息也得到較好呈現(xiàn)；右圖為空間碎片的融合圖像，可以看出相較于可見光圖像，將右半部分的不可見部分的紋理保留下來，左邊可見光部分相較于紅外圖像，細(xì)節(jié)紋理也更加豐富。

圖4 空間碎片紅外和可見光圖像融合結(jié)果Fig.4 Visible and infrared image fusion result of space debris

2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的空間碎片識別方法

本文提出的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)(Deep Convolutional Neural Networks，DCNN)基于AlexNet[15]模型。DCNN模型由8個帶權(quán)重參數(shù)的層構(gòu)成，包含5個卷積層和3個全連接層。第1個卷積層由96個11×11×3的卷積核構(gòu)成，步長為4，輸入圖像大小為224×224×3；第2個卷積層由256個大小為5×5×48的卷積核構(gòu)成；第3個卷積層由384個大小為3×3×256的卷積核構(gòu)成；第4個卷積層由384個大小為3×3×192的卷積核構(gòu)成；第5個卷積層由256個大小為3×3×192的卷積核構(gòu)成。3個全連接層每層都由4096個神經(jīng)元構(gòu)成。最后的全連接層輸出到一個二分類函數(shù)softmax中，最終輸出每幅圖像被分類為某種目標(biāo)的概率。采取修正線性單元(Rectified Linear Units，ReLUs)作為每個卷積層和全連接層的激活函數(shù)。ReLUs的表達式如下

f(x)=max(0,x)

(10)

其中，x和f(x)分別表示某個神經(jīng)元的輸入和輸出。第1個卷積層和第2個卷積層后分別添加一個響應(yīng)歸一化層。響應(yīng)歸一化的活躍度由式(11)表示

(11)

由于本文建立的空間碎片圖像數(shù)據(jù)庫只有1000幅圖像，在訓(xùn)練過程中可能存在訓(xùn)練數(shù)據(jù)不足導(dǎo)致的過擬合問題。為此，首先對空間碎片圖像數(shù)據(jù)庫采取標(biāo)簽保留轉(zhuǎn)換[16]方式進行數(shù)據(jù)增強。包括對圖像進行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)。此外，本文還考慮對圖像添加亮度變化以增強數(shù)據(jù)。由于在不同光源入射角照射下，空間碎片目標(biāo)本身的可見區(qū)域也隨之變化,從而導(dǎo)致圖像本身的亮度也會隨之變化。因此，添加亮度變化對于防止本文光照不均勻環(huán)境下識別模型的過擬合有利。此外，由于空間碎片具有翻滾特性，其姿態(tài)也不斷變化，因此，通過對空間碎片圖像進行旋轉(zhuǎn)來增強數(shù)據(jù)。首先對原始100幅空間碎片圖像進行水平和垂直翻轉(zhuǎn)得到200幅圖像；然后對原始圖像數(shù)據(jù)集每幅圖像每隔36°旋轉(zhuǎn)1次，共旋轉(zhuǎn)10次，得到1000幅圖像；通過Gamma矯正的方式實現(xiàn)圖像亮度變化，取gamma值由0.1間隔0.1變化到1得到1000幅圖像。圖5所示分別為gamma=0.3和0.8時的圖像。最終通過數(shù)據(jù)增強得到2200幅圖像，將其中的1500幅圖像作為訓(xùn)練樣本，700幅作為測試樣本。

(a) gamma=0.8

(b) gamma=0.3圖5 空間碎片圖像亮度變化Fig.5 Image brightness changes of space debris

3 仿真驗證

首先對基于卷積稀疏表示的圖像融合方法進行仿真驗證，并與基于稀疏表示(Sparse Representation，SR)的融合方法進行對比。本文對空間碎片圖像數(shù)據(jù)庫的100幅源圖像進行融合對比實驗，采取主觀評價方法和客觀評價方法兩種方式對融合效果進行評估。主觀評價方法是指目視評估法，即直接通過肉眼對融合圖像的質(zhì)量進行評估。CSR和SR兩種融合方法的部分結(jié)果如圖6所示。從圖6中可以看出，CSR融合方法比SR方法能從源圖像中提取出更多的細(xì)節(jié)。

(a) SR

(b) CSR圖6 空間碎片圖像融合方法性能對比Fig.6 Comparison of different image fusion method

此外，選取了四種常用的圖像融合客觀評價指標(biāo)對空間碎片的可見光和紅外圖像融合算法性能進行評估分析。這四種指標(biāo)分別為：熵EN(Entropy)，表征圖像包含的信息量和紋理豐富程度，值越大，信息量越多；標(biāo)準(zhǔn)差(Standard Deviation，STD)，表征圖像亮度，值越大，圖像對比度越大，即灰度級越分散；平均梯度(Average Gradient，AG)，表征圖像銳度，值越大，表明圖像信息量越豐富；空間頻率(Spatial Frequency，SF)，表征圖像清晰度，值越大，表明圖像紋理和邊緣細(xì)節(jié)越豐富。對比結(jié)果如表1所示。從表1中可以看出，CSR融合方法的圖像的細(xì)節(jié)豐富程度均優(yōu)于SR融合方法。

表1 圖像融合客觀評價指標(biāo)對比Tab.1 Objective metrics comparison for image fusion methods

經(jīng)試驗，在小數(shù)據(jù)集上隨機梯度下降法(Stochastic Gradient Descent，SGD)收斂速度比Adam慢但收斂性能更好，本文的深度神經(jīng)網(wǎng)絡(luò)采用SGD進行迭代優(yōu)化。考慮到計算機內(nèi)存等性能因素，選取小批量訓(xùn)練樣本，將batch size設(shè)為64。為加快收斂速度并減小SGD震蕩，設(shè)置動量(momentum)為0.9?？紤]本文的網(wǎng)絡(luò)深度，將權(quán)重衰減(weight decay)為0.0005即可。學(xué)習(xí)率設(shè)為0.001，迭代訓(xùn)練50次后停止訓(xùn)練。由于本文訓(xùn)練集不大，采用dropout正則化來減輕過擬合，具有較好的效果，將隱藏層的采樣概率設(shè)為經(jīng)驗值0.5。訓(xùn)練過程如圖7所示，當(dāng)?shù)?0次左右時，訓(xùn)練精度和訓(xùn)練損失均已收斂。收斂較快的原因有三方面：1)空間碎片本身目標(biāo)特性(如紋理、顏色、形狀、大小等)明顯，對深度特征的學(xué)習(xí)與提取比較有利；2)空間碎片圖像背景相對簡單，沒有其他天體和雜波干擾，這對于分類器的區(qū)分度量也較為有利；3)訓(xùn)練樣本相對較少，圖像數(shù)據(jù)為單通道圖像且分辨率不高，也減少了訓(xùn)練時間。對可見光圖像數(shù)據(jù)和融合圖像數(shù)據(jù)分別進行訓(xùn)練得到2個深度學(xué)習(xí)模型進行對比，二者訓(xùn)練超參數(shù)設(shè)置相同。此外，本文的深度學(xué)習(xí)模型還與文獻[14]提出的LeNet-5模型以及文獻[13]提出的基于SVM的方法進行了對比，對比實驗結(jié)果如表2所示。從表2中可以看出，本文提出的深度學(xué)習(xí)模型對空間碎片的識別性能優(yōu)于LeNet-5模型和基于SVM的方法，識別正確率可達99.93%。此外，融合圖像訓(xùn)練得到的識別模型性能均優(yōu)于單一可見光圖像訓(xùn)練得到的識別模型。

圖7 深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程Fig.7 Training process of different deep convolutional neural network

表2 空間碎片識別方法對比實驗結(jié)果Tab.2 Experiment results comparison of space debris recognition methods

4 結(jié)論

本文針對暗弱空間環(huán)境中的空間碎片識別問題，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的空間碎片識別框架。算法分析與實驗結(jié)果表明：

1)通過對空間碎片圖像數(shù)據(jù)集進行數(shù)據(jù)增強，可減輕訓(xùn)練過程中的過擬合現(xiàn)象。本文針對空間碎片光照區(qū)域不均勻這一特點，通過對原始圖像數(shù)據(jù)集調(diào)節(jié)亮度來增強數(shù)據(jù)集，可提高對光照不均勻條件下的空間碎片識別性能。

2)在暗弱空間環(huán)境中，通過對空間碎片的紅外和可見光圖像進行融合，然后再進行識別的方案，相較于基于單一可見光圖像的識別方案識別性能更好。這是因為融合圖像不僅包含了紅外圖像中的熱輻射特征，也包含了可見光圖像高分辨率的細(xì)節(jié)特性，相較于單一圖像源所含信息量更豐富，這對于基于深度學(xué)習(xí)的識別模型是有利的。

3)在實際空間環(huán)境中，空間碎片圖像背景可能包含太陽、行星、地球等其他天體，以及噪聲干擾。而本文圖像數(shù)據(jù)庫圖像背景為純色背景，在實際應(yīng)用過程中可能會存在識別性能下降問題。因此需要進一步完善圖像數(shù)據(jù)庫，添加典型背景噪聲干擾，使其更具通用性。