空間海量異構遙感數(shù)據(jù)快速篩選和智能技術

王海紅， 魏祥泉， 田雪穎， 張 強， 陳 超

(1.北京跟蹤與通信技術研究所， 北京 100094； 2.上海宇航系統(tǒng)工程研究所， 上海 201109；3.大連交通大學， 大連 116028； 4.上海衛(wèi)星工程研究所， 上海 201109)

1 引言

航空航天技術的持續(xù)發(fā)展催生了遙感數(shù)據(jù)應用的不斷擴展。 遙感數(shù)據(jù)主要包括航空數(shù)據(jù)和衛(wèi)星數(shù)據(jù)，蘊含著大量的地物信息，為各領域研究提供了數(shù)據(jù)前提。 極大豐富的異構遙感數(shù)據(jù)需要同時配合北斗衛(wèi)星導航系統(tǒng)才能得到更好地應用，以提高后續(xù)特定控制操作指令的準確性[1－3]，而遙感數(shù)據(jù)的圖像處理主要面臨集成化低、智能化不足、異構數(shù)據(jù)利用率低、同步化慢的問題。 集成化低體現(xiàn)在設備分散、處理思路復雜，將海量異構遙感數(shù)據(jù)與地理位置信息的集成化是遙感數(shù)據(jù)快速篩選識別技術進一步發(fā)展的必要條件；智能化提高會使識別分類精度更加準確，可以通過增加人機交互的多種操作方式來實現(xiàn)；利用數(shù)據(jù)特征融合手段可以改善異構數(shù)據(jù)利用率的問題，在現(xiàn)有靜態(tài)數(shù)據(jù)成功實驗的基礎上增加動態(tài)化數(shù)據(jù)是實現(xiàn)同步化的基礎，實時性與同步性的優(yōu)化會極大地拓寬實用面。

近年來國內(nèi)外研究人員對海量異構遙感數(shù)據(jù)的研究力度不斷加大，主要方向有利用地形地貌遙感數(shù)據(jù)進行工程地質(zhì)研究、水位檢測/海洋湖泊生產(chǎn)力的研究和探測環(huán)境變化對氣溫的影響等[4]。

王艷等[5]提出了通過超分辨復原生成對抗網(wǎng)絡(Super-resolution Reconstruction Generative Adversarial Networks，SRGAN)實現(xiàn)圖像超分辨率重建(Single-Image-Super-Resolution，SISR)，在包括測試船舶本體的多個訓練集中進行訓練，采用AlexNet 網(wǎng)絡進行分類檢測，采用RetinaNet 網(wǎng)絡進行目標識別，完成相應的船舶本體識別，但其識別種類受限；栗旭升等[6]提出了通過建立三維卷積神經(jīng)網(wǎng)絡(3D Convolutional Neural Networks，3D-CNN)和殘差網(wǎng)絡(Residual Network，ResNets)融合的三位殘差卷積神經(jīng)網(wǎng)絡，在一定程度上減少了網(wǎng)絡深度誤差，但訓練效率也受到了一定影響；Shakya 等[7]成功研發(fā)出一種基于結構化圖像分析的算法模型，并提出了一種能夠自動識別有改變圖像的處理技術，但對遙感數(shù)據(jù)的結構化較為困難；Menefee 等[8]提出一種可以把通過小波變換獲取的信息集成到神經(jīng)網(wǎng)絡分類器的方法，但對實際大尺寸高分辨率數(shù)據(jù)而言，計算量過大，對硬件設備要求過高。

本文研究內(nèi)容為異構數(shù)據(jù)融合與廣域視野下的小型感興趣區(qū)域態(tài)勢識別，搭建基于Faster-RCNN 的改進多層卷積神經(jīng)網(wǎng)絡，對海量異構遙感數(shù)據(jù)進行快速篩選及目標檢測，為戰(zhàn)場環(huán)境感知提供更加智能的數(shù)據(jù)服務。 將不同載荷獲取的遙感圖像數(shù)據(jù)分別輸入通道特征提取層進行提取，在相同時域下使用Brovey 融合算法與G-S 融合算法相結合的圖像融合方法進行同區(qū)域異構數(shù)據(jù)的融合，將融合數(shù)據(jù)輸入反饋層與重構層，最終輸出3 種波段數(shù)據(jù)及融合數(shù)據(jù)的特征；在廣域視野中，搭建基于Softmax 分類器的區(qū)域建議網(wǎng)絡(Region Proposal Network， RPN)，對篩選結果進行判別，并將錯誤數(shù)據(jù)集重新標注后，運用原神經(jīng)網(wǎng)絡對其進行遷移學習特征訓練，完成特征庫的更新，為海量異構遙感數(shù)據(jù)快速篩選和智能技術提供堅實的基礎。

2 海量異構遙感信息預處理

2.1 多源異構數(shù)據(jù)組織模型

針對廣域下海陸空環(huán)境中的目標物識別的研究需求，對多源異構數(shù)據(jù)的側重也不同。 遙感信息數(shù)據(jù)具有高分辨率、多譜段、多源等特點。 根據(jù)實驗數(shù)據(jù)來源，源數(shù)據(jù)波段主要包括海岸波段(Coastal)、藍光波段(Blue)、紅光波段(Red)、短波紅外1 波段(SWIR1)、 短波紅外2 波段(SWIR2)和全色波段(Pan)，表1 所示為不同波段數(shù)據(jù)的波長范圍、空間分辨率及主要用途。

表1 不同波段數(shù)據(jù)的波長范圍、空間分辨率及主要用途Table 1 Wavelength range， spatial resolution and main use of different band data

圖1 圖像金字塔示意圖Fig.1 Schematics of image pyramid

圖像金字塔通過迭代的方式進行計算，在第一次迭代之前，把金字塔形式描繪的圖像放在原始層級J層，迭代方式流程如圖2 所示。

圖2 圖像金字塔迭代方式流程Fig.2 Iterative process of image pyramid

采用希爾伯特曲線對每層數(shù)據(jù)分塊編碼和管理，可提高數(shù)據(jù)分塊的檢索效率。 圖3 所示為希爾伯特曲線4 種鄰接屬性，分別以0 到3 標號，它們適用于每個象限及各個子象限、子子象限等。圖4 所示為三階希爾伯特曲線示意圖，以圖中坐標為(2，5)的29 號舉例，第一層級采用0 號鄰接屬性，該點所在象限為1，對應(2>1，5>1)，則對應二進制01；第二層級采用1 號鄰接屬性，該點所在象限為3，對應(2<3，5>3)，則對應二進制11；第三層級采用2 號鄰接屬性，該點所在象限為3，對應(2<3，5>3)，則對應二進制01。 把以上位置連接起來，得到二進制011101，即十進制的29。

圖3 希爾伯特曲線4 種臨連屬性Fig.3 Four immediate attributes of Hilbert Curve

圖4 三階希爾伯特曲線示意圖Fig.4 Schematic diagram of Third-Order Hilbert Curve

2.2 遙感仿真數(shù)據(jù)構建

遙感仿真數(shù)據(jù)的構建是對于現(xiàn)有真實數(shù)據(jù)集的補充，由于提供訓練數(shù)據(jù)集較小，而構建深度學習所需訓練集、測試集需求量大，針對這一問題進行數(shù)據(jù)仿真，實現(xiàn)對海量數(shù)據(jù)進行快速篩選的需求，解決并校核面對該需求所產(chǎn)生的一系列程序問題。

高分三號衛(wèi)星是中國第一顆分辨率達到1 m的C 頻段多極化合成孔徑雷達(Synthetic Aperture Radar，SAR)衛(wèi)星，具備大面積、全天候、全天時的對全球陸地及海洋進行監(jiān)測與遙感監(jiān)視的性能，可實現(xiàn)12 種成像模式下1～500 m 分辨率的遙感數(shù)據(jù)獲取。 本文仿真構建圖片均選自高分三號衛(wèi)星監(jiān)測數(shù)據(jù)集，該仿真數(shù)據(jù)集是模擬遙感廣域視野下微小目標物的捕獲圖像，圖5 所示為陸地和海洋的遙感圖片。 對遙感數(shù)據(jù)集進行初步篩選，利用Matlab、Photoshop 等軟件對背景以及目標物圖片分別進行灰度化、尺寸化、格式化等預處理，目標物圖片的處理需根據(jù)對應背景的分辨率以及灰度值等做出相應調(diào)節(jié)。 圖6 所示為仿真目標物，當飛機作為目標物時，以身長約為25 m，機翼約為25 m 的小型客機為仿真對象；當軍艦作為目標物時，以艦長約為300 m 的航母作為仿真對象。

圖5 仿真數(shù)據(jù)背景圖Fig.5 Background map of simulation data

圖6 仿真數(shù)據(jù)目標物圖Fig.6 Object chart of simulation data

將背景與目標物結合進行運動仿真并逐幀保存結果。 仿真構建基于Matlab 軟件，利用差分法實現(xiàn)圖片融合，主要運用絕對差值函數(shù)對圖像部分提取后的灰度值數(shù)字矩陣進行相減，取絕對值，并將處理后的灰度數(shù)字矩陣與背景圖片所對應部分的數(shù)字矩陣進行替換，得到其與目標物圖片融合后的仿真圖片，如圖7 所示。 以上述方法循環(huán)操作，通過對背景圖片灰度值矩陣提取及替換位置的變化而達到目標物運動的仿真實驗目的，再將每一位置變化后產(chǎn)生的融合仿真圖片一一保存。

圖7 遙感仿真數(shù)據(jù)結果Fig.7 Simulation results of remote sensing data

2.3 多源異構數(shù)據(jù)去噪

由于數(shù)據(jù)在獲取和傳輸過程中的不確定性，后續(xù)特征提取及融合結果會受到各種干擾和影響，進而導致目標物識別精度降低。 數(shù)據(jù)去噪為抑制數(shù)據(jù)噪聲、改善數(shù)據(jù)質(zhì)量以及后續(xù)更高層次的處理提供了強有力的保障。

常見噪聲類型有高斯噪聲、泊松噪聲以及脈沖噪聲等。 高斯噪聲通常由于傳感器工作時環(huán)境光線不夠或傳感器工作溫度過高而導致的亮度不均勻；脈沖噪聲又稱椒鹽噪聲，通常在傳感器成像、向工作站傳輸或數(shù)據(jù)解碼階段會產(chǎn)生點狀黑白噪點；泊松噪聲是符合泊松分布的噪聲模型，由于光子的不確定性，使得到達光電檢測器表面的量子數(shù)目存在統(tǒng)計漲落而導致灰度波動。

綜上，數(shù)據(jù)在各個階段都有引入噪聲的可能。數(shù)據(jù)去噪的方法主要有2 種:①空間域去噪，主要包括均值濾波、中值濾波和低通濾波；②變換域零去噪，主要包括小波變換、傅里葉變換等。 根據(jù)任務需要，對比仿真數(shù)據(jù)，由于在實際應用中的真實數(shù)據(jù)為非平穩(wěn)信號，因此選擇短時傅立葉變換(Short-Time Fourier Transform，STFT)進行數(shù)據(jù)去噪。 STFT 可以把非平穩(wěn)信號分解為一系列的短時隨機平穩(wěn)信號的疊加，通過使用窗口函數(shù)g(u)與原來的信號f(t)做積，實現(xiàn)了在窗口寬度值為u處的附近加窗和平移功能，然后對u值處進行傅里葉變換，如式(1)所示:

式中，g(t－u)為窗口函數(shù)，f(t) 為數(shù)據(jù)的原始信號，u為窗口寬度，ε為進行變換的頻率。 然后對得到的函數(shù)進行傅里葉逆變換，如式(2)所示:

對原始數(shù)據(jù)進行去噪處理，對比不同去噪方式，圖8～10 所示分別為不同算子下高斯去噪效果、常見低通濾波去噪效果和不同窗口大小下STFT 去噪效果對比。 選取數(shù)據(jù)去噪最優(yōu)化結果，對圖示數(shù)據(jù)而言，STFT 去噪方式較為理想。 針對不同需求可選取不同窗口大小的STFT 去噪方式，利用類似2.1 節(jié)的圖像金字塔技術，可大大提高圖片檢索效率。

圖8 不同算子下高斯去噪效果Fig.8 Gauss de-noising effect under different operators

圖9 常見低通濾波去噪效果Fig.9 Noise removal by common low-pass filtering

圖10 不同窗口大小下STFT 去噪效果對比Fig.10 Comparison of STFT denoising effects under different window sizes

2.4 多源異構數(shù)據(jù)特征增強

為加強數(shù)據(jù)的特征，提升識別效率，進行數(shù)據(jù)特征增強，特征增強主要有空間域的增強和頻率域的增強，空間域內(nèi)的特征增強主要是直接對數(shù)據(jù)中各像素點進行處理，頻率域內(nèi)的特征增強主要是對數(shù)據(jù)進行變換后的頻譜成分進行處理，在通過逆變換得到增強后的結果，具體分類如圖11所示。

圖11 數(shù)據(jù)特征增強分類Fig.11 Enhancement classification of data features

根據(jù)實驗數(shù)據(jù)特征，選取直方圖均衡化變換對數(shù)據(jù)特征進行增強。 數(shù)據(jù)灰度統(tǒng)計直方圖是一個表達函數(shù)，表示了每幅圖像的灰度等級與這個灰度等級的出現(xiàn)頻率。 數(shù)據(jù)的直方圖反映數(shù)據(jù)的外觀。 其中偏暗像素點直方圖組成的部分集中于灰度較低一側；偏亮像素點直方圖組成的部分集中于灰度較高一側；低對比度數(shù)據(jù)直方圖跨度窄且大多都聚集在灰度級的中間區(qū)域；高對比度數(shù)據(jù)直方圖范圍大且分布均勻。這樣可以把灰度級的分布拉開，使灰度級層次明顯、分布合理，增加了數(shù)據(jù)的對比度，使數(shù)據(jù)更清晰。 直方圖均衡化是在尋求一種灰度等級變換的關系，能夠?qū)崿F(xiàn)變換后，數(shù)據(jù)的各級灰度出現(xiàn)概率一致或接近。 經(jīng)過嚴密的數(shù)學理論推導，得出當累積分布函數(shù)作為變換函數(shù)時，可以得到灰度級分布均勻的數(shù)據(jù)。

多源異構數(shù)據(jù)特征增強采用直方圖均衡化方法，本文分別采用adapthisteq及histeq函數(shù)進行變換，選取效果更好的數(shù)據(jù)進行后續(xù)更高層次的操作，圖12、13 所示為2 種函數(shù)的增強結果，針對不同目標區(qū)域進行更優(yōu)化選擇。

圖12 Adapthisteq 函數(shù)變換特征增強對比Fig.12 Enhanced contrast of adapthisteq function transformation features

圖13 Histeq 函數(shù)特征增強對比Fig.13 Enhancement contrast of histeq function featurest

歸一化處理包括灰度值歸一及固定同時域及區(qū)域數(shù)據(jù)的寬高比固定，圖14 為歸一化灰度值后的數(shù)據(jù)對比。

圖14 灰度值歸一化Fig.14 Normalization of gray value

3 深度學習框架搭建

本文搭建TensorFlow 深度學習框架訓練，如圖15、16 所示，分別為遙感仿真數(shù)據(jù)及對應的深度學習框架模型示意圖。 給定像素點，第一隱藏層通過比較相鄰像素的亮度來識別邊緣，第二隱藏層搜索可識別為角和擴展輪廓的邊集合，第三隱藏層可以找到輪廓和角的特定集合來檢測特定目標物的整個部分，最后根據(jù)圖像描述中包含的目標物部分，可以準確篩選出數(shù)據(jù)中存在的對象。

圖15 遙感仿真數(shù)據(jù)Fig.15 Simulation data of remote sensing

圖16 數(shù)據(jù)深度學習模型示意圖Fig.16 Schematic diagram of in-depth data learning model

搭建基于Faster-RCNN 的改進多層卷積神經(jīng)網(wǎng)絡結構，設置多層卷積層和池化層，均衡正負候選窗口比例。 理想狀態(tài)下，區(qū)域生成網(wǎng)絡(Region Proposal Network，RPN)正負候選窗口的比例是1 ∶1，但在遙感數(shù)據(jù)訓練的實際情況中，由于通常在訓練中選取的樣本數(shù)較大，這個比例極易失常，正候選窗口數(shù)量少會導致漏檢率較高。 本文在對正負候選窗口的比例進行限制限制，設置負樣本數(shù)量不得超過正樣本的1.3 倍，發(fā)現(xiàn)建議區(qū)域的召回率可以提高3.8%。 除此之外，本文在多層卷積神經(jīng)網(wǎng)絡中引入了級聯(lián)RPN，設置2 個標準的RPN，第一個RPN 用滑窗得到的建議區(qū)域作為候選窗口，第二個RPN 用第一個RPN 輸出的Proposal 作為新的候選窗口位置，圖17 所示為改進部分的具體網(wǎng)絡結構。

圖17 改進部分多層卷積神經(jīng)網(wǎng)絡結構Fig.17 Improved structure of partial multilayer CNN

圖18 為后續(xù)數(shù)據(jù)識別流程，在完成上述處理后，繼續(xù)進行訓練學習，識別出基于Softmax 分類器的區(qū)域建議網(wǎng)絡結果。 由于對目標物準確度要求極高，操作者需要目視選定ROI，并對輸出結果進行準確性判定和完成后續(xù)控制指令操作。

圖18 后續(xù)數(shù)據(jù)識別流程Fig.18 Flow chart of the follow-up data identification

如圖19 所示為6×6 原始數(shù)據(jù)單通道數(shù)據(jù)卷積過程，濾波器在數(shù)據(jù)上滑動，對應位置相乘求和，卷積先將濾波器翻轉，使用變換后的濾波器進行運算，圖中位于(2，2)的原始像素點3 處在經(jīng)過3×3 的卷積核卷積后，得到輸出像素點為2。

圖19 單通道數(shù)據(jù)卷積過程Fig.19 Convolution process of single channel data

假定圖像為6×6×3 的三通道特征數(shù)據(jù)輸入神經(jīng)網(wǎng)絡，多通道卷積過程如圖20 所示，通道數(shù)為3，卷積核為兩個3×3×3 的滑動窗口，自左向右、自上向下三通道對應位置相乘求和，輸出結果為4×4×2 的特征數(shù)據(jù)。 一般地，當輸入數(shù)據(jù)為a×b×n時，每個卷積核為m×m×n，輸出全連接層的數(shù)據(jù)與卷積核數(shù)n相等。

圖20 多通道數(shù)據(jù)卷積過程Fig.20 Convolution process of multi-channel data

圖21 所示為三通道特征提取流程圖。 首先，用3 層特征提取層分別提取3 種多源異構數(shù)據(jù)的特征；其次，提取特征后的數(shù)據(jù)輸入至反饋層，反饋層由縱橫交叉注意模塊(Criss-Cross Net，CCN)和深度反饋模塊(Deep Feature Net，DFN)組成，縱橫交叉注意模塊可以極大節(jié)省特征提取的時間，快速得到目標物臨近像素點的特征；深度反饋模塊包含反饋交互模塊(Deep Feedback Interaction Module)和特征交互模塊(Feature Interaction Module)。 重構層通過依次反卷積操作和卷積操作，對經(jīng)過反饋層后輸入的特征信息進行重構，使其得到更好的特征表征能力；完成重構層操作后，將特征信息輸入全連接層。

圖21 三通道特征提取流程圖Fig.21 Flow chart of three channel feature extraction

4 多源異構數(shù)據(jù)融合

同一時域和區(qū)域下的多源異構數(shù)據(jù)存在信息冗余。 通過數(shù)據(jù)融合生成的特征相互補充，集成到一個融合數(shù)據(jù)中，可以實現(xiàn)對同場景下更精確、全面、可靠的特征描述。 本文針對不同遙感平臺獲取的異構遙感圖像，主要包括紅外光、可見光和灰度圖，提出了Brovey 融合算法與G-S 融合算法相結合的圖像融合方法，該方法從源圖像中將目標或感興趣區(qū)域的特征信息提取出來，進行分析、處理與整合，從而得到融合后的圖像數(shù)據(jù)特征。對融合后的特征進行目標識別，其精確度明顯高于原始圖像的精確度。 特征級融合對圖像信息進行了壓縮，再用計算機分析與處理，所消耗的內(nèi)存與時間與數(shù)據(jù)級相比都會減少，所需圖像的實時性就會有所提高。

本文采用的融合方法步驟如下:首先，抽選出一個低分辨率中的全色波段；其次，對抽選出的全色波段與多波段進行G-S 變換，其中全色波段被作為0 波段；然后，將源數(shù)據(jù)中的每個波段都乘以高分辨率數(shù)據(jù)與RGB 圖像波段總和的比值，得到1 波段；接著，用1 波段替換G-S 變換后的0 波段；最后應用G-S 反變換得到融合圖像。 圖22、23 分別為融合前的源數(shù)據(jù)和完成融合后的數(shù)據(jù)。

圖22 融合前數(shù)據(jù)Fig.22 Pre-Fusion data

圖23 融合后數(shù)據(jù)Fig.23 Fused data

5 實驗結果

本實驗以大量仿真實驗數(shù)據(jù)訓練為基礎，首先將仿真數(shù)據(jù)集放入網(wǎng)絡進行訓練，根據(jù)數(shù)據(jù)分布相似性特征，用訓練后網(wǎng)絡對真實數(shù)據(jù)集進行遷移訓練，以達到目標快速篩選檢測目的，相似數(shù)據(jù)集也可達到同樣訓練效果，因此可用于對后續(xù)數(shù)據(jù)特征庫的更新。

本文訓練使用的數(shù)據(jù)集為連續(xù)多幀的點目標遙感數(shù)據(jù)，將完成第2 節(jié)預處理操作的數(shù)據(jù)集輸入搭建好的多層卷積神經(jīng)網(wǎng)絡中。 將數(shù)據(jù)的40%作為訓練集、30%作為測試集、30%作為驗證集，對數(shù)據(jù)庫內(nèi)的數(shù)據(jù)使用LabelImg 工具進行手動標注，將目標物標簽化處理。 圖24、25 為2 類目標物標簽標注，標簽分別為fighter1 和missile1。

圖24 陸地目標物框選標注Fig.24 Selection and marking of terrestrial target frames

圖25 海面目標物框選標注Fig.25 Selection and marking of sea target frames

將數(shù)據(jù)集進行小規(guī)模的迭代訓練，結果如圖26 所示，訓練數(shù)據(jù)為600 張，迭代次數(shù)為200 次時，訓練時間約為6 min，精度及損失在估計范圍內(nèi)。

圖26 迭代訓練結果Fig.26 Results of iterative training

6 結論

1)在異構數(shù)據(jù)融合方面，對數(shù)據(jù)分別輸入對應的單通道特征提取層進行提取，在相同時域下使用Brovey 融合算法與G-S 融合算法相結合的圖像融合方法進行同區(qū)域異構數(shù)據(jù)的融合，將融合數(shù)據(jù)輸入反饋層與重構層，最終輸出3 種波段數(shù)據(jù)及融合數(shù)據(jù)的特征；

2)廣域視野下的小型感興趣區(qū)域態(tài)勢識別方面，引入了2 個基于Softmax 分類器的區(qū)域構建網(wǎng)絡，操作者在一系列候選區(qū)域中，判別含有小型目標物的感興趣區(qū)域；

3)為保證操作準確度，使用深度學習框架對海量異構數(shù)據(jù)進行快速篩選，操作者對分類識別得到的目標物進行準確性分析，并將干擾目標物的特征進行重新標注后，在原神經(jīng)網(wǎng)絡上進行遷移訓練，達到更新異構數(shù)據(jù)特征庫的目的。