小天體導(dǎo)航陸標(biāo)深度學(xué)習(xí)預(yù)測框匹配算法

肖 揚，李 帥，王光澤，邵 巍，姚文龍

（青島科技大學(xué) 自動化與電子工程學(xué)院，青島 266100）

引言

近些年來，小天體著陸和采樣返回任務(wù)成為研究熱點，因其具有重大的科學(xué)意義和工程價值[1-3]。利用隕石坑、巖石等自然陸標(biāo)是實現(xiàn)探測器自主導(dǎo)航的一種重要手段。但與火星、月球不同，小天體具有暗弱不規(guī)則、地表特征復(fù)雜和先驗信息匱乏等特點，使得導(dǎo)航陸標(biāo)的提取和匹配存在一定的困難[4-7]。

近年來，為滿足圖像處理問題的各類需求，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)理論取得不斷突破。深度學(xué)習(xí)在特征提取與圖像識別方面有巨大的潛力和優(yōu)勢，在軌道交通、生物醫(yī)藥、經(jīng)濟(jì)金融、工業(yè)生產(chǎn)及自動駕駛等領(lǐng)域得到了廣泛應(yīng)用?；谏疃葘W(xué)習(xí)的導(dǎo)航陸標(biāo)檢測方法比傳統(tǒng)的圖像處理算法具有更高的識別率[8]。Emami等[9]利用Faster R-CNN網(wǎng)絡(luò)實現(xiàn)了對隕石坑的自動識別。Wang等[10-11]利用U-net開發(fā)的DeepMoon網(wǎng)絡(luò)對識別隕石坑的圓心和半徑進(jìn)行了標(biāo)記。Lee等[12]同樣采用U-net網(wǎng)絡(luò)結(jié)構(gòu)對隕石坑進(jìn)行了檢測，并結(jié)合數(shù)字地形模型（Digital Terrain Models，DTM）數(shù)據(jù)克服了光照等因素對檢測結(jié)果的影響。Chen等[13]提出了能同時識別隕石坑、溝谷等多個特征的高分辨率模型，并利用遷移學(xué)習(xí)解決了數(shù)據(jù)缺失的問題。鄭磊等[14]利用改進(jìn)的非極大值抑制的深度學(xué)習(xí)算法在其構(gòu)建的大型隕石坑數(shù)據(jù)集上實現(xiàn)了多尺度多分類隕石坑自動識別。Furlán等[15]提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）檢測巖石的方法，提高了分割圖像的速度并取得了較好效果。Li等[16]基于U-net網(wǎng)絡(luò)，結(jié)合視覺幾何組及殘差卷積神經(jīng)網(wǎng)絡(luò)，對巖石進(jìn)行了檢測。基于視覺的探測器自主導(dǎo)航是深度學(xué)習(xí)網(wǎng)絡(luò)估計方法最有潛力的關(guān)鍵領(lǐng)域之一，通過從已有數(shù)據(jù)中自動地學(xué)習(xí)各種地形深層特征，并對導(dǎo)航陸標(biāo)進(jìn)行準(zhǔn)確的分類識別，具有較高的準(zhǔn)確率和魯棒性，因此適合在小天體未知復(fù)雜環(huán)境的精確附著探測任務(wù)中應(yīng)用，是未來自主導(dǎo)航技術(shù)潛在的替代方案[17]。

基于深度學(xué)習(xí)的識別算法給小天體導(dǎo)航陸標(biāo)的識別提供了新思路，但對于視覺導(dǎo)航來說還需完成識別結(jié)果的匹配。目前相關(guān)匹配算法在應(yīng)用于探測器絕對導(dǎo)航時還有局限性[18-21]。Danelljan等[22]在濾波器的跟蹤框架下設(shè)計的多域網(wǎng)絡(luò)（MultiDomain Network，MDNet）結(jié)構(gòu)提高了目標(biāo)的跟蹤性能，但算法適用于序列圖像間的跟蹤，在絕對導(dǎo)航中效果不佳。Held等[23]提出基于回歸網(wǎng)絡(luò)的通用目標(biāo)跟蹤算法（Generic Object Tracking Using Regression Networks，GOTURN）提高了匹配速度，加入CIR單元模塊增強(qiáng)了匹配精度。Danelljan通過訓(xùn)練基于尺度金字塔表示的雙濾波器實現(xiàn)復(fù)雜序列圖像中平移跟蹤和尺度跟蹤，但僅在相對導(dǎo)航中目標(biāo)運動模糊、光照變換下具有好的跟蹤效果[24]。Zhou等[25]提出一種新的基于Transfomer的結(jié)構(gòu)用于全局多目標(biāo)跟蹤，搭建的網(wǎng)絡(luò)可以直接從32幀的圖像中學(xué)習(xí)匹配結(jié)果，并不是逐幀匹配。Possegger等[26]提出統(tǒng)計顏色特征方法，減小了邊界效應(yīng)并能實現(xiàn)快速運動目標(biāo)的跟蹤，但不適應(yīng)存在光照變化和背景相似顏色的目標(biāo)。綜上所述，現(xiàn)有算法是基于序列圖像的匹配且在旋轉(zhuǎn)、光照、尺度變換下魯棒性較差，影響導(dǎo)航陸標(biāo)的匹配率，因此難以實現(xiàn)探測器的絕對導(dǎo)航。

為實現(xiàn)小天體附著過程的高精度自主視覺導(dǎo)航，克服現(xiàn)有算法在絕對導(dǎo)航需求中的局限性，提出一種基于特征描述符的識別預(yù)測框匹配算法。在小天體的精確附著探測過程中應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)識別未知自然陸標(biāo)，針對識別結(jié)果選取支撐區(qū)域，求取區(qū)域像素梯度構(gòu)建不變性特征描述符，通過閾值限制實現(xiàn)識別結(jié)果的匹配，在光照、尺度及旋轉(zhuǎn)變換下分析實驗結(jié)果并對文章進(jìn)行總結(jié)。

1 深度學(xué)習(xí)陸標(biāo)識別

在探測器自主導(dǎo)航任務(wù)過程中采用YOLOv4網(wǎng)絡(luò)對小天體導(dǎo)航陸標(biāo)識別[27]。通過局部方差均衡算法增強(qiáng)圖像中隕石坑、巖石和溝壑等地形特征，并采用透視變化等多種數(shù)據(jù)增強(qiáng)方法構(gòu)建小天體表面地形特征基準(zhǔn)數(shù)據(jù)集和自適應(yīng)切分圖像檢測方法解決小特征漏檢問題，結(jié)合小天體自身特點采取深度學(xué)習(xí)算法實現(xiàn)對小天體導(dǎo)航陸標(biāo)的智能識別。小天體導(dǎo)航陸標(biāo)智能檢測算法的識別結(jié)果如圖1所示，該算法能夠更好地完成小天體導(dǎo)航陸標(biāo)的檢測任務(wù)，小天體導(dǎo)航陸標(biāo)的識別率達(dá)到86.75%。

圖1 小天體導(dǎo)航陸標(biāo)檢測結(jié)果Fig.1 Detection results of small celestial navigation landmarks

2 預(yù)測框描述符

導(dǎo)航陸標(biāo)識別結(jié)果以矩形預(yù)測框形式輸出，利用圖像像素信息構(gòu)建預(yù)測框特征描述符。預(yù)測框描述符（Prediction Frame Descriptor，PFD）的建立，采取一種在圓形支撐區(qū)域內(nèi)劃分梯度方向區(qū)間構(gòu)建歸一化描述符的方法，構(gòu)建流程圖如圖2所示。

圖2 預(yù)測框描述符構(gòu)建流程圖Fig.2 Prediction box descriptor build

2.1 支撐區(qū)域建立

針對著陸過程中可視區(qū)域逐漸變小造成的圖像尺度變化，對圖像進(jìn)行降采樣和高斯模糊來構(gòu)建尺度空間金字塔，如圖3所示，通過模擬圖像數(shù)據(jù)的多尺度特征，對金字塔中每幅圖像的預(yù)測框描述，以保證構(gòu)建的描述符具有尺度不變性。降采樣因子為以此保證在空間的連續(xù)性。輸入圖像大小與高斯金字塔層數(shù)關(guān)系為

圖3 預(yù)測框高斯金字塔Fig.3 Prediction frame gauss pyramid

其中：width、height分別為原圖像的尺寸；min（）為選取原圖像寬和高的最小值。

描述符支撐區(qū)域的選取影響預(yù)測框匹配率和匹配速度。若選取矩形預(yù)測框作為支撐區(qū)域，當(dāng)圖像發(fā)生旋轉(zhuǎn)變化后，預(yù)測框內(nèi)的信息將會發(fā)生變化，如圖4（a）所示。通過等比例擴(kuò)大支撐區(qū)域構(gòu)建描述符提高預(yù)測框匹配率，但同時也提高了算法運算復(fù)雜度，如圖4（c）所示。因此采用圓形支撐區(qū)域代替矩形區(qū)域，增強(qiáng)了特征區(qū)域旋轉(zhuǎn)變換的魯棒性，降低了構(gòu)建描述符的運算復(fù)雜性，如圖4（c）所示。

圖4 支撐區(qū)域選取Fig.4 Support area selection

2.2 主方向確定

計算支撐區(qū)域內(nèi)像素點（x，y）的梯度幅值m（x，y）及方向α（x，y）。支撐區(qū)域中靠近中心的像素具有更高的權(quán)重，因此采用高斯模板進(jìn)行權(quán)重賦值，梯度計算如圖5所示。高斯函數(shù)在取權(quán)重時采用式（2）所示二維正態(tài)分布形式，即

圖5 支撐區(qū)域梯度計算Fig.5 Support zone gradient calculation

其中：r為支撐區(qū)域內(nèi)像素點（x，y）到圓形支撐區(qū)域圓心的距離。

將支撐區(qū)域內(nèi)的像素點按其梯度方向劃分為n個區(qū)間，如圖6所示，按照劃分的梯度方向?qū)Ω鲄^(qū)間內(nèi)像素點梯度幅值進(jìn)行求和并統(tǒng)計梯度直方圖。對于第Fi個方向區(qū)間梯度幅值求和表示為

圖6 支撐區(qū)域梯度方向劃分Fig.6 Gradient direction division of support area

其中：w（x，y）為像素點（x，y）對應(yīng)的權(quán)重系數(shù)。橫軸為所劃分的n個梯度方向區(qū)間，縱軸為對應(yīng)方向區(qū)間內(nèi)梯度幅值總和，如圖7所示。

圖7 支撐區(qū)域梯度直方圖Fig.7 Histogram of gradient in support region

2.3 描述符生成

梯度直方圖的峰值代表了預(yù)測框的主方向，并以此方向作為起始區(qū)間遍歷所有區(qū)間構(gòu)建描述符。描述符的向量表達(dá)式中第一個元素為主方向所在區(qū)間，其

他區(qū)間按照順序進(jìn)行排列。對應(yīng)描述符可表示為

其中：第Ft區(qū)間為主方向區(qū)間。

為保證特征描述符具有整體亮度不變性，對描述符D進(jìn)行歸一化處理。令D中元素最大值為Mmax，最小值為Mmin，則歸一化后描述符可表示為

根據(jù)劃分區(qū)間生成生成具有尺度、平移旋轉(zhuǎn)、光照不變性的n維預(yù)測框描述符。針對描述符最優(yōu)維數(shù)的選取問題，在后續(xù)3.1節(jié)中通過實驗進(jìn)行選取，最優(yōu)參數(shù)選取為10。

2.4 描述符的匹配

為提高正確匹配率，通過計算兩描述符向量間相對距離對匹配效果進(jìn)行衡量。對描述符進(jìn)行匹配時，若其最近鄰描述符為判斷匹配成立條件為

其中：參數(shù)γ 為描述符相對距離的閾值。

3 仿真驗證

3.1 參數(shù)選取

為驗證不同支撐區(qū)域選取范圍、劃分梯度區(qū)間個數(shù)和描述符間相對距離閾值對匹配結(jié)果的影響進(jìn)行相關(guān)參數(shù)選取實驗。

針對支撐區(qū)域的范圍，選取同時具有旋轉(zhuǎn)和尺度變換的測試圖像對兩種支撐區(qū)域進(jìn)行實驗測試，如圖8所示，紅色曲線表示支撐區(qū)域范圍為預(yù)測框的外接圓，藍(lán)色曲線表示預(yù)測框等比例矩形且與外接圓等面積的支撐區(qū)域。在其他參數(shù)不變的情況下圓形區(qū)域的匹配數(shù)高于矩形區(qū)域，驗證了選擇外接圓作為預(yù)測框的支撐區(qū)域優(yōu)于矩形區(qū)域。

圖8 支撐區(qū)域形狀與預(yù)測框匹配數(shù)關(guān)系曲線Fig.8 Curves of matching numbers between different support areas and prediction boxes

針對最優(yōu)劃分梯度區(qū)間個數(shù)選取問題，梯度區(qū)間個數(shù)與正確匹配率關(guān)系曲線結(jié)果如圖9所示，可以看出，在相同支撐區(qū)域中，預(yù)測框匹配數(shù)隨描述符維數(shù)的增加而減小，描述符維數(shù)與匹配率之間的關(guān)系如圖10所示，由擬合的實驗關(guān)系可知預(yù)測框正確匹配率開始隨描述符維數(shù)的增加而增加，當(dāng)描述符維數(shù)達(dá)到10維時，維數(shù)增加正確匹配率保持不變。梯度方向按照每36°為一個區(qū)域劃分為10個區(qū)間，即生成10維預(yù)測框描述符，相對尺度不變特征變換（Scale-invariant feature transform，SIFT）、SURF（Speeded Up Robust Features）等匹配算法降低了特征描述符的維數(shù)。

圖9 梯度區(qū)間個數(shù)與正確匹配率關(guān)系曲線Fig.9 Relation curve between number of gradient intervals and the matching accuracy rate

圖10 不同閾值與相對匹配數(shù)之間關(guān)系曲線Fig.10 Curve of relationship between different thresholdsγ and number of matches

符間歐氏距離閾值 γ從0.01～ 0.99變化時，預(yù)測框匹配數(shù)和正確匹配率的對應(yīng)關(guān)系統(tǒng)計曲線如圖11所示。由圖11可知，隨著閾值γ 的提高，預(yù)測框匹配數(shù)開始增加，當(dāng)參數(shù) γ為0.1時匹配率達(dá)到最大值，隨誤匹配數(shù)的增加匹配率逐漸減小。因此，選擇 γ為0.1作為描述符歐氏距離閾值。

圖11 不同閾值與匹配率間關(guān)系曲線Fig.11 Relationship curves between different thresholds and matching rates

3.2 實驗測試

采用YOLOv4網(wǎng)絡(luò)檢測小天體隕石坑的識別結(jié)果對算法的匹配率進(jìn)行驗證，實驗所用為美國國家航空航天局（National Aeronautics Space and Administration，NASA）官網(wǎng)得到的小天體Ceres（谷神星）圖像[22]。實驗包括尺度變換、旋轉(zhuǎn)變換、亮度變化、高斯模糊及同時具有上述變換。實驗結(jié)果如圖12～16所示。

圖12 尺度變換匹配結(jié)果Fig.12 Matching results of scale transformation

圖13 旋轉(zhuǎn)變換匹配結(jié)果Fig.13 Matching results of rotation transformation

圖14 亮度變化匹配結(jié)果Fig.14 Matching results of brightness changes

圖15 高斯模糊匹配結(jié)果Fig.15 Matching results of Gaussian fuzzy

圖16 全部變換匹配結(jié)果Fig.16 Matching results of all changes

預(yù)測框匹配結(jié)果如表1所示。從表1可以看出在尺度變換、旋轉(zhuǎn)變換、光照變化與高斯模糊下隕石坑匹配正確率達(dá)到90%以上。

表1 預(yù)測框匹配結(jié)果Table 1 Prediction box matching results

4 結(jié)論

本文提出一種采用特征描述符實現(xiàn)深度學(xué)習(xí)預(yù)測框的匹配方法，主要包括導(dǎo)航陸標(biāo)識別、預(yù)測框描述符構(gòu)建、描述符匹配3部分。針對現(xiàn)有的以預(yù)測框為識別結(jié)果的檢測網(wǎng)絡(luò)均能實現(xiàn)導(dǎo)航陸標(biāo)的匹配。通過優(yōu)化支撐區(qū)域與描述符維數(shù)的選取，構(gòu)建具有旋轉(zhuǎn)平移、尺度、高斯模糊及光照不變性10維特征預(yù)測框描述符，與傳統(tǒng)描述符算法相比降低了描述符維數(shù)，運算復(fù)雜度減小。后續(xù)將在保證識別結(jié)果匹配率的前提下結(jié)合誤匹配剔除算法，使描述符在視角變化下具有魯棒性。