機(jī)載SAR異源圖像匹配與定位方法

李東軒，王 濤，梁尚軍，康宏生，王俊峰

（1. 中國航空工業(yè)集團(tuán)公司西安飛行自動控制研究所，西安 710076；2. 空軍裝備部駐沈陽地區(qū)第一軍代表室，沈陽 110850；3. 沈陽飛機(jī)工業(yè)（集團(tuán)）有限公司，沈陽 110850）

景象匹配導(dǎo)航[1]系統(tǒng)作為一種重要的輔助導(dǎo)航方式，具有自主性強、抗干擾能力強、導(dǎo)航精度高、誤差不隨時間積累等特點，相比于傳統(tǒng)的可見光景象匹配，SAR匹配適用性更強，不受光照與天氣的影響，可全天時全天候工作，同時可以與地形匹配導(dǎo)航、GPS系統(tǒng)以及慣性導(dǎo)航系統(tǒng)有效地結(jié)合。在航空航天領(lǐng)域。巡航導(dǎo)彈精確制導(dǎo)、長航時綜合導(dǎo)航系統(tǒng)等方面均有著廣闊的應(yīng)用前景與使用價值。SAR景象匹配導(dǎo)航技術(shù)可以在一定程度上代替飛行員的目視導(dǎo)航過程和人工校正過程，部分具備飛行員眼睛的觀察能力以及大腦的決策能力，減輕飛行員的工作負(fù)擔(dān)，提高人工校正精度，提高飛機(jī)的安全性與可靠性，是自主導(dǎo)航、智能導(dǎo)航的重要發(fā)展方向。

SAR景象匹配導(dǎo)航[2]的基本工作原理是：飛行載體通過合成孔徑雷達(dá)（Synthetic Aperture Radar, SAR）對載體下方地物景象進(jìn)行圖像采集得到實時圖像，將其和預(yù)先存儲在載體計算機(jī)內(nèi)的基準(zhǔn)圖像進(jìn)行匹配計算，得到地物景象的地理位置，再經(jīng)過反演定位，確定當(dāng)前飛行載體的準(zhǔn)確位置，完成導(dǎo)航定位功能。

圖像匹配[3]是匹配導(dǎo)航的核心模塊，技術(shù)途徑可以是同源匹配或異源匹配，同源匹配即實時圖與基準(zhǔn)圖來自同一類型傳感器，優(yōu)點是技術(shù)難度低、易實現(xiàn)，缺點是對基準(zhǔn)圖要求高、工作范圍受限。而異源匹配不要求機(jī)載圖與實時圖來自于同一類型傳感器，對基準(zhǔn)圖要求低，可以實現(xiàn)SAR、可見光、紅外之間的相互匹配，理論上可以實現(xiàn)單一匹配導(dǎo)航系統(tǒng)的全天時、全天候、全球范圍使用。但目前在機(jī)載導(dǎo)航領(lǐng)域，異源匹配導(dǎo)航系統(tǒng)實際應(yīng)用案例較少，主要難點在于異源傳感器成像機(jī)理不同，實時圖與基準(zhǔn)圖差異非常大，尤其對于SAR雷達(dá)圖像而言，噪點多且入射角影響成像，正確匹配的難度很大。早期圖像匹配方法以特征點檢測與匹配為主，例如Harris角點、FAST算子、SIFT（引用最多）等，近年來不少學(xué)者用深度學(xué)習(xí)的方法提取局部特征點用于圖像匹配，例如FAST-ER算法[4]、TILDE[5]算法、Deep-Desc[6]以及LIFT網(wǎng)絡(luò)[7]等，點特征類算法對圖像質(zhì)量要求較高，通常情況下不適用于SAR圖像匹配。與點特征相比，線特征包含更多場景和對象的結(jié)構(gòu)信息，MSLD方法[8]通過統(tǒng)計像素支持區(qū)域內(nèi)每個子區(qū)域4個方向的梯度向量構(gòu)建描述子矩陣，提高描述符的魯棒性，但線段組匹配方法對線段端點有高度依賴性，航空影像中常見的直線遮擋、變形及斷裂等情況，使得基于形態(tài)的全局描述符不再適用。區(qū)域特征具有較高的不變性與穩(wěn)定性，這是圖像匹配的另一個思路，典型的方法有MSER[9]、FAST-Match[10]等，另外，基于深度學(xué)習(xí)的圖像區(qū)域匹配成為新的研究熱點，MatchNet[11]通過卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）進(jìn)行圖像區(qū)域特征提取和相似性度量，DeepCompare方法[12]通過CNN比較灰度圖像塊對的相似性。

載體定位是SAR景象匹配導(dǎo)航系統(tǒng)的末端處理環(huán)節(jié)，傳統(tǒng)方法一般通過多普勒信息進(jìn)行定位。反演定位可分為單點定位與多點定位，單點定位利用距離多普勒信息和慣性導(dǎo)航系統(tǒng)的測量系統(tǒng)的測量值推算載體的經(jīng)緯度，對雷達(dá)參數(shù)以及慣導(dǎo)測量值的準(zhǔn)確性有較高要求，實際誤差較大。

本文提出一種基于深度學(xué)習(xí)和附加旋轉(zhuǎn)尺度因子的相關(guān)性模板滑窗異源圖像匹配算法，其核心思想是：利用深度網(wǎng)絡(luò)提取遙感圖像中道路、河流、機(jī)場等顯著性特征，然后對特征圖在尺度和旋轉(zhuǎn)度兩個維度上分別添加變化因子，最后基于相關(guān)性模板匹配的方法實現(xiàn)光學(xué)圖與SAR圖像的匹配。另外，本文參考衛(wèi)星定位原理并結(jié)合SAR成像模型，構(gòu)建出單幀多點定位的幾何模型，基于圖像匹配的結(jié)果選取多個匹配點，最后通過求解非線性方程推理出載機(jī)的經(jīng)緯度信息。

1 基于深度學(xué)習(xí)與附加尺度旋轉(zhuǎn)因子的模板標(biāo)準(zhǔn)化相關(guān)匹配

如圖1所示，SAR雷達(dá)圖像為機(jī)載實時圖，基準(zhǔn)圖采用光學(xué)圖（經(jīng)過灰度化處理），異源圖像分別進(jìn)入深度網(wǎng)絡(luò)進(jìn)行特征提取，然后再設(shè)計附加尺度與旋轉(zhuǎn)因子的模板標(biāo)準(zhǔn)化相關(guān)匹配方法，將兩張?zhí)卣鲌D作為輸入進(jìn)行計算，得到得分矩陣（熱力圖），其中最大值的位置即為匹配結(jié)果。

圖1 方法原理圖Fig.1 Method schematic

1.1 基于深度網(wǎng)絡(luò)的顯著性特征提取

1.1.1 網(wǎng)絡(luò)模型

語義分割是計算機(jī)視覺的常見任務(wù)之一，所謂語義分割，是指將圖像中的元素按像素分割為多個部分。對于遙感圖像而言，常見地面的顯著性特征往往是道路、河流、海岸線等，這類特征一般是不規(guī)則且連續(xù)延伸，因此通過語義分割的方法提取遙感圖像特征非常合適。

D-LinkNet[13]于2018年被提出，使用帶有預(yù)編碼器的LinkNet[14]作為其骨干網(wǎng)絡(luò)，并在中心部分具有附加的擴(kuò)展卷積層（Dilated Convolution）。LinkNet是一種有效的語義分割神經(jīng)網(wǎng)絡(luò)，它具有跳躍連接，殘差塊和編碼器-解碼器體系結(jié)構(gòu)的優(yōu)勢，高分辨率并且運行很快。

如圖2所示，D-LinkNet可分為三個大模塊，其中A模塊是網(wǎng)絡(luò)編碼器，本質(zhì)上是ImageNet[15]數(shù)據(jù)集上與訓(xùn)練好的ResNet[16]，一般情況下采用經(jīng)典的預(yù)訓(xùn)練模型會更加可靠，而且可以縮短訓(xùn)練時間；B模塊為串聯(lián)與并聯(lián)相結(jié)合的空洞卷積（Atrous Pooling）[17]網(wǎng)絡(luò)層，該結(jié)構(gòu)的特點是感受野、深度分級，接收域更大且融合多尺度信息，具有更強語義特征提取能力；C模塊為解碼器，其結(jié)構(gòu)與LinkNet一致，特點是卷積核大小為1*1，網(wǎng)絡(luò)表征能力強。

圖2 D-LinkNet34結(jié)構(gòu)圖[13]Fig.2 D-LinkNet34 structure diagram[13]

1.1.2 損失函數(shù)

優(yōu)化網(wǎng)絡(luò)參數(shù)時須設(shè)計合理的損失函數(shù)（目標(biāo)函數(shù)），這里將二值交叉熵（Binary Cross Entropy, BCE）與骰子損失（Dice Loss）相加，如式(1)所示：

其中，P為網(wǎng)絡(luò)推理的概率，GT為真實標(biāo)簽（Ground Truth），N為每次參與訓(xùn)練的樣本數(shù)量。

1.1.3 訓(xùn)練數(shù)據(jù)構(gòu)建

對2000張光學(xué)圖像以及2000張SAR圖像進(jìn)行語義特征標(biāo)注，特征選擇道路、河流、河岸線、海岸線，標(biāo)注結(jié)果為二值圖像，其中特征區(qū)域為灰度值255，其他為0，樣例如圖3所示。

圖3 標(biāo)注樣例Fig.3 Labeling example

標(biāo)注準(zhǔn)確率大于95%（準(zhǔn)確率的定義為：正確標(biāo)注特征數(shù)量與所有特征數(shù)量的比值）。同時，為了進(jìn)一步擴(kuò)充數(shù)據(jù)集，對圖像進(jìn)行形態(tài)變換，主要手段有：

①隨機(jī)翻折：包含水平、豎直、對角線三種翻折方式，每張圖片擴(kuò)增為原來的8倍；

②隨機(jī)縮放：將圖像隨機(jī)縮放至多10%；

③隨機(jī)偏移：將圖像隨機(jī)上下左右偏移至多10%；

④隨機(jī)拉升：將圖像隨機(jī)沿豎直方向或水平方向拉升至多10%。

2.2 附加尺度與旋轉(zhuǎn)因子的模板標(biāo)準(zhǔn)化相關(guān)匹配

模板匹配是在一幅圖像中尋找與另一幅模板圖像最匹配的位置。為了實現(xiàn)上述目標(biāo)，通過滑動模板圖像和原圖進(jìn)行對比，從而找到最佳匹配位置。相關(guān)性模板匹配的相似度衡量采用數(shù)理統(tǒng)計學(xué)科的相關(guān)系數(shù)計算方法。首先模板圖像與原圖減去了各自的平均值，再除以各自的方差，如下所示：

其中，T(x,y)表示模板圖像在(x,y)像素位置的灰度值，w和h分別代表模板圖像的寬和高，I(x,y)為被匹配圖像在(x,y)像素位置的灰度值。經(jīng)過減去平均值和除以方差兩步操作之后，待匹配圖像和模板都被標(biāo)準(zhǔn)化，這樣可以保證圖像和模板分別改變圖像整體亮度不影響計算結(jié)果，相似性（相關(guān)系數(shù)）的計算公式如下：

相關(guān)系數(shù)被限制在了-1~1之間，1表示完全相同，-1表示兩幅圖像的亮度正好相反，0表示兩幅圖像之間沒有線性關(guān)系。

機(jī)載SAR實際運行中，存在速度、高度以及航向的測量誤差，因此成像與基準(zhǔn)圖在尺度與方向上也可能存在微小差異。如圖4所示，在實際匹配中再添加兩級±5 °旋轉(zhuǎn)變化因子以及±5%的尺度變化因子，可以提高匹配的可靠性，因子大小與載機(jī)的實際測量精度及測量穩(wěn)定性相關(guān)。

圖4 尺度與旋轉(zhuǎn)因子Fi g.4 Scale and rotation factor

2 多點高精度反演定位

2.1 SAR成像幾何模型

機(jī)載SAR成像幾何關(guān)系如圖5所示，通常機(jī)載平臺以正側(cè)視模式成像，為不失一般性，以其工作于斜視模式為例進(jìn)行說明。

圖5 SAR成像幾何模型Fig.5 SAR imaging geometric model

飛機(jī)沿水平面Y方向以速度v做勻速直線運動，h為SAR成像中心時刻的飛機(jī)離地高度，rc表示飛機(jī)到成像區(qū)域的最近距離，即最近點斜距，θ表示飛機(jī)位于成像中心時刻時對應(yīng)于Q′點的斜視角，RS表示平臺位于成像中心時刻時到O′點和Q′點的瞬時斜距。

2.2 多點定位

飛機(jī)采集到一幀實時圖像，與數(shù)據(jù)庫中的基準(zhǔn)圖進(jìn)行圖像匹配，得到一一對應(yīng)的像素關(guān)系，由于基準(zhǔn)圖帶有地理編碼信息，因此可以在圖像匹配結(jié)果中選取多個匹配成功的像素點（含有經(jīng)緯度信息，至少需要3個匹配點）作為多點定位的輸入，除此之外，根據(jù)SAR成像原理，可以算出飛機(jī)在成像中心時刻到SAR圖像上各像素點的斜距。以上兩類信息，為多點定位算法的主要輸入。

如圖6所示，利用基準(zhǔn)圖和數(shù)字高程地圖（Digital Elevation Map, DEM）可知像素點對應(yīng)地標(biāo)點的經(jīng)緯高信息，為方便解算采用高斯投影將其轉(zhuǎn)換至高斯系下進(jìn)行定位解算，其中匹配點i在高斯系下坐標(biāo)為(xi,yi,zi)。載機(jī)位于成像中心時刻在高斯系下真實坐標(biāo)為（x,y,z），匹配點到此時平臺的斜距信息為觀測量，由此構(gòu)建非線性方程組：

圖6 多點定位示意圖Fig.6 Multi-point positioning diagram

慣性測量元件的輸出量作為迭代定位解算的初值。Newton迭代中Jacob矩陣為：

求解獲得的載機(jī)位置逆轉(zhuǎn)換至地理坐標(biāo)系，即可得到載機(jī)的經(jīng)度、緯度、高度位置信息。

3 實驗驗證

3.1 異源圖像匹配實驗驗證

基于500組未參與訓(xùn)練的光學(xué)圖像（分辨率800*800）與SAR圖像（分辨率500*500）對算法進(jìn)行測試驗證，測試圖片場景包含港口、城市、河流、機(jī)場、島嶼、平原、戈壁、山地8種地物類別，采用的計算硬件為RTX2080TI（特征提?。?、i7-4700EQ 2.4GHz（相關(guān)性模板匹配），并與SURF特征點匹配方法對比。結(jié)果如圖7-9所示。

圖7 對比結(jié)果圖Fig.7 Comparison result graph

圖8 異源匹配誤差分布圖（500組）Fig.8 Heterosource matching error distribution map(500 groups)

圖9 異源匹配像素誤差分布餅狀圖Fig.9 Pie chart of pixel error of heterosource matching

表1 異源匹配性能指標(biāo)Tab.1 Heterosource matching performance

從上述圖表可以得出：異源匹配由于傳感器成像機(jī)理不同，傳統(tǒng)基于特征點的匹配方法在很多場景下不可用，檢測成功率低于5%。而本文提出的方法可以有效實現(xiàn)絕大數(shù)場景下的異源匹配，匹配精度優(yōu)于1.41像素（1σ），匹配成功率優(yōu)于86.6%（匹配誤差小于5像素）。

3.2 多點定位仿真驗證

對于本文介紹的多點定位方法，SAR雷達(dá)斜距測量誤差和圖像匹配誤差是影響定位精度的兩個關(guān)鍵因素。其中斜距誤差主要來源于以下各項：

（1）SAR系統(tǒng)時鐘的測量誤差引起的偽距誤差；

（2）雷達(dá)波傳播速度誤差引起的距離/距離率尺度效應(yīng)誤差；

（3）目標(biāo)在圖像上的位置表示與真實位置之間的誤差；

（4）有限的計算機(jī)存儲字節(jié)長度表示距離的分辨率引起的量化誤差；

（5）SAR系統(tǒng)處理回波數(shù)據(jù)過程引起的回波時間間隔誤差；

（6）包含多路徑效應(yīng)、高機(jī)動引起的誤差及目標(biāo)定位圖像邊緣等的其他誤差。

而圖像匹配誤差主要來源于以下各項：

（1）由基準(zhǔn)圖地理編碼帶來的地理坐標(biāo)誤差；

（2）由匹配算法帶來的匹配像素誤差。

為驗證多點定位的精度水平，針對3匹配點和5匹配點各構(gòu)造1000組仿真數(shù)據(jù)，結(jié)合SAR實際飛行數(shù)據(jù)、圖像匹配測試結(jié)果、地圖編碼精度、飛行高度等要素，確定仿真噪聲值，仿真條件和仿真結(jié)果如表2、表3所示。

表2 三匹配點仿真輸入與仿真結(jié)果Tab.2 Three-matching-point simulation input and simulation result

表3 五匹配點仿真輸入與仿真結(jié)果Tab.3 Five-matching-point simulation input and simulation result

綜上，仿真添加了較實際情況更大的噪聲，3匹配點定位的結(jié)果收斂且精度優(yōu)于90 m，5匹配點定位的結(jié)果收斂且精度可達(dá)15 m。

4 結(jié) 論

異源圖像匹配是景象匹配導(dǎo)航系統(tǒng)研究領(lǐng)域長期面臨的難點問題，本文提出一種基于深度學(xué)習(xí)與附加尺度旋轉(zhuǎn)因子的模板標(biāo)準(zhǔn)化相關(guān)匹配的異源匹配算法，同時針對SAR匹配末端定位環(huán)節(jié)提出一種多點的高精度反演定位方法。在特征提取方面，通過語義分割的方法解決了道路、河流、海岸線等顯著性地物的提取問題；在模板匹配方面，引入尺度與旋轉(zhuǎn)因子，有效解決由傳感器參數(shù)不準(zhǔn)造成的圖像細(xì)微變化模板匹配易失敗問題；在反演定位方面，借鑒衛(wèi)星定位原理，通過求解非線性方程組的方式解決SAR反向定位問題。后續(xù)將重點針對SAR匹配導(dǎo)航在山區(qū)、戈壁、沙漠等場景中的應(yīng)用進(jìn)行算法結(jié)構(gòu)優(yōu)化與詳細(xì)誤差模型構(gòu)建。