SARMV3D-1.0:SAR微波視覺三維成像數(shù)據(jù)集

仇曉蘭 焦?jié)衫?彭凌霄 陳健堃 郭嘉逸 周良將 陳龍永 丁赤飚* 徐 豐 董秋雷 呂守業(yè)

①(微波成像技術(shù)國家級重點(diǎn)實驗室 北京 100190)

②(中國科學(xué)院空天信息創(chuàng)新研究院 北京 100190)

③(蘇州空天信息研究院 蘇州 215123)

④(復(fù)旦大學(xué) 上海 200433)

⑤(中國科學(xué)院自動化研究所 北京 100190)

⑥(北京市遙感信息研究所 北京 100192)

1 引言

三維成像是合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)技術(shù)發(fā)展的重要前沿方向之一。SAR三維成像可以直接獲得目標(biāo)的三維電磁散射結(jié)構(gòu)，消除SAR圖像中由成像機(jī)理導(dǎo)致的收縮、疊掩、頂?shù)椎怪玫痊F(xiàn)象，顯著提升目標(biāo)識別和解譯能力，對全天時/全天候的三維環(huán)境構(gòu)建、陡峭地形和城市測繪、目標(biāo)精細(xì)化解譯和災(zāi)害評估等具有重要意義。

目前國內(nèi)外提出并開展研究的SAR三維成像技術(shù)體制，主要包括單通道層析成像和多通道陣列干涉，其能獲得多角度觀測信息來供三維成像使用。然而，目前即便是采用稀疏成像等處理方法，通常仍然需要數(shù)十次層析飛行或十余個天線陣列單元，數(shù)據(jù)采集周期長或雷達(dá)系統(tǒng)極其復(fù)雜，對于星載SAR的控軌要求和機(jī)載SAR的航跡控制要求均非常高，大規(guī)模推廣應(yīng)用難度很大。因此，亟需創(chuàng)新SAR三維成像的理論方法，實現(xiàn)自動化、高效能、低成本的SAR三維成像技術(shù)。

深入分析現(xiàn)有SAR三維成像處理技術(shù)，主要基于合成孔徑的理論框架，利用成像觀測的精確物理幾何模型對雷達(dá)回波進(jìn)行數(shù)學(xué)建模，基于“雙/多角度”觀測圖像的像素點(diǎn)匹配、相干合成或幾何求解來獲得三維信息。在三維成像時僅利用了該像素點(diǎn)多角度圖像的角度維信息，而并未利用該像素所在二維圖像中所包含的物體結(jié)構(gòu)、屬性以及該像素的散射機(jī)制信息。

實際上，單幅二維SAR圖像已經(jīng)蘊(yùn)含了環(huán)境與目標(biāo)的結(jié)構(gòu)、紋理、遮擋關(guān)系等許多可被三維空間認(rèn)知利用的空間線索，如，經(jīng)過一定訓(xùn)練的判讀人員都可以通過觀測二維圖像，在腦海中形成粗略的“三維影像”；SAR回波的散射機(jī)制蘊(yùn)含著目標(biāo)的三維結(jié)構(gòu)線索，通過角度/頻率/極化等維度的散射機(jī)制分析，也可以挖掘出目標(biāo)三維結(jié)構(gòu)的一些信息。

為此，中國科學(xué)院空天信息創(chuàng)新研究院(下簡稱“中科院空天院”)牽頭，聯(lián)合復(fù)旦大學(xué)等單位，提出了一個新的研究思路：能否將雷達(dá)回波和二維圖像中隱含的三維線索，通過微波散射機(jī)制(微波)和圖像視覺語義(視覺)挖掘的方法加以提取，并引入到傳統(tǒng)的SAR成像方法中，從而降低所需多角度觀測的數(shù)據(jù)量，實現(xiàn)高效的三維成像，發(fā)展出全新的“SAR微波視覺三維成像理論與方法”。隨后，中科院空天院、復(fù)旦大學(xué)與中科院自動化所、北京大學(xué)、北京市遙感信息研究所等單位一起進(jìn)行了充分的論證，并向國家自然科學(xué)基金委員會提出了建議和申請，獲得了國家自然科學(xué)基金重大項目的支持。在該項目支持下，在SAR微波視覺三維成像理論方法研究的同時，還擬研制一套小型化無人機(jī)載一發(fā)四收全極化SAR，稱為微波視覺三維SAR驗證系統(tǒng)(MV3DSAR)，進(jìn)行數(shù)據(jù)獲取和技術(shù)驗證，并擬構(gòu)建和公開發(fā)布一套典型場景和目標(biāo)的SAR微波視覺三維成像數(shù)據(jù)集，為該領(lǐng)域的研究提供必要的基礎(chǔ)平臺，也為理論方法的應(yīng)用轉(zhuǎn)化提供測試數(shù)據(jù)。

本文第2小節(jié)給出SAR微波視覺三維成像數(shù)據(jù)集的構(gòu)建規(guī)劃；第3小節(jié)給出數(shù)據(jù)集中包含的SAR圖像建筑物語義分割數(shù)據(jù)集1.0版本的的構(gòu)建方法和數(shù)據(jù)信息內(nèi)容；第4小結(jié)給出數(shù)據(jù)集中包含的SAR三維成像數(shù)據(jù)集1.0版本的構(gòu)建方法、實驗結(jié)果和包含的數(shù)據(jù)信息內(nèi)容；第5小節(jié)總結(jié)全文。

2 SARMV3D數(shù)據(jù)集構(gòu)建與發(fā)布

SAR微波視覺三維成像理論方法的研究涉及三維電磁散射機(jī)理及微波視覺信息感知逆問題、SAR圖像視覺三維認(rèn)知理論與方法、基于微波視覺的SAR三維成像理論與方法3個關(guān)鍵科學(xué)問題。為了促進(jìn)各個科學(xué)問題的研究，SARMV3D數(shù)據(jù)集構(gòu)成如圖1所示。

圖1 SARMV3D數(shù)據(jù)集構(gòu)成示意圖Fig.1 Composition of SARMV3D dataset

圖2 建筑物語義分割數(shù)據(jù)集構(gòu)成示意圖Fig.2 Composition of SARMV3D-BIS dataset

SARMV3D數(shù)據(jù)集包括三維電磁散射機(jī)制研究和SAR圖像視覺三維認(rèn)知研究兩個輔助數(shù)據(jù)集和一個基于微波視覺的SAR三維成像研究綜合數(shù)據(jù)集。其中：

(1) 三維電磁散射機(jī)制研究數(shù)據(jù)集，主要用于研究和驗證典型散射機(jī)制及散射機(jī)制組合的電磁建模、表征、三維特征參數(shù)反演估計的正確性，包括典型散射機(jī)制及其組合的仿真、暗室測量和外場測量數(shù)據(jù)等，主要由復(fù)旦大學(xué)負(fù)責(zé)構(gòu)建；

(2) SAR圖像視覺三維認(rèn)知研究數(shù)據(jù)集，主要用于研究和驗證從SAR圖像中挖掘和識別三維基元、三維結(jié)構(gòu)和三維目標(biāo)方法的有效性和正確性，包括高分辨率SAR圖像以及典型建筑等目標(biāo)和典型結(jié)構(gòu)基元的標(biāo)注結(jié)果，主要由中科院空天院和自動化所負(fù)責(zé)構(gòu)建；

(3) 基于微波視覺的SAR三維成像數(shù)據(jù)集，是最主要的綜合數(shù)據(jù)集，包括城鎮(zhèn)場景、復(fù)雜地形、典型目標(biāo)3個主要的類型，每個類型將包括SAR層析或陣列干涉獲得的單視復(fù)圖像(SLC)、相關(guān)的成像參數(shù)文件、光學(xué)攝影等獲得的三維建模數(shù)據(jù)以及激光雷達(dá)獲得的高精度三維點(diǎn)云數(shù)據(jù)，主要由中科院空天院牽頭進(jìn)行構(gòu)建。

現(xiàn)階段，MV3DSAR正在研制過程中，預(yù)計2021年年底完成，待系統(tǒng)研制完成后，將進(jìn)行大量的數(shù)據(jù)采集工作，以完成數(shù)據(jù)集構(gòu)建。目前，為了推進(jìn)SAR微波視覺三維成像理論方法的研究，作者基于中科院空天院的陣列干涉SAR實驗系統(tǒng)獲取的數(shù)據(jù)，以及高分三號衛(wèi)星獲取的高分辨率SAR圖像數(shù)據(jù)，初步構(gòu)建SARMV3D的1.0版本。該版本包括了SAR微波視覺三維認(rèn)知研究數(shù)據(jù)集中典型建筑物語義分割數(shù)據(jù)集的1.0版本，以及基于微波視覺的SAR三維成像數(shù)據(jù)集中城鎮(zhèn)場景類數(shù)據(jù)的1.0版本，見圖1中綠色背景部分，上述數(shù)據(jù)集已經(jīng)發(fā)布在《雷達(dá)學(xué)報》網(wǎng)站上，具體鏈接見附錄。下面兩個小節(jié)將分別進(jìn)行介紹。

3 SAR建筑物語義分割數(shù)據(jù)集

高樓林立的建筑區(qū)域場景是SAR三維成像的一個重要應(yīng)用場景，一方面通過三維成像消除建筑物之間及其與地面目標(biāo)之間的疊掩，有利于場景的理解與目標(biāo)的發(fā)現(xiàn)和識別，另一方面三維成像與時序干涉相結(jié)合，有利于建筑區(qū)域的形變監(jiān)測。為此，在數(shù)據(jù)集構(gòu)建方面，將城鎮(zhèn)場景作為一類典型場景，將建筑物作為一類典型研究對象開展研究。本文SAR建筑物實例語義分割數(shù)據(jù)集(Synthetic Aperture Radar Microwave Vision 3D Imaging -Building Instance Segmentation Dataset，簡稱SARMV3D-BIS)與現(xiàn)有一些遙感圖像建筑物分割數(shù)據(jù)集，如光學(xué)遙感圖像建筑物分割數(shù)據(jù)集Inria Aerial Image[1],WHU building dataset[2]等，以及目前僅有的包含SAR圖像建筑物分割的數(shù)據(jù)集SpaceNet[3]，有如下幾點(diǎn)顯著區(qū)別：(1)本數(shù)據(jù)集面向SAR微波視覺三維成像，對建筑物的語義標(biāo)注更加精細(xì)，每個建筑物都標(biāo)注了建筑物的立面、屋頂和陰影3個部分，并且進(jìn)行了實例標(biāo)注；(2)本數(shù)據(jù)集基于單視復(fù)圖像數(shù)據(jù)進(jìn)行標(biāo)注，從而能夠與三維成像更好結(jié)合，也有利于散射特性的挖掘和SAR圖像三維認(rèn)知方法研究。

3.1 數(shù)據(jù)集構(gòu)成

本文1.0版本的面向微波視覺三維成像的SAR建筑物語義分割數(shù)據(jù)集的構(gòu)成如表1所示。

表1 SAR建筑物語義分割數(shù)據(jù)集構(gòu)成Tab.1 Composition of SARMV3D-BIS dataset

該數(shù)據(jù)集的原始SAR圖像來自GF-3聚束模式的美國奧馬哈市地區(qū)圖像。現(xiàn)階段選擇這個區(qū)域進(jìn)行數(shù)據(jù)集構(gòu)建主要基于如下考慮：奧馬哈地區(qū)為2019年IEEE GRSS Data Fusion大場景三維重建比賽[4]的選定區(qū)域，該區(qū)域建筑類型豐富，并具有大量的Worldview的光學(xué)影像；本團(tuán)隊購買了該地區(qū)的Worldview光學(xué)立體像對和生成的高精度數(shù)字地表模型(Digitul Surface Model,DSM)，并申請了GF-3衛(wèi)星該地區(qū)的影像14景用于數(shù)據(jù)集制作。在數(shù)據(jù)集后續(xù)版本中，將繼續(xù)增加其他典型建筑區(qū)域的數(shù)據(jù)。

3.2 數(shù)據(jù)集構(gòu)建方法

本數(shù)據(jù)集構(gòu)建的難點(diǎn)在于建筑物的實例分割和每棟建筑物立面、屋頂、陰影的精細(xì)化語義標(biāo)注。由于SAR成像幾何和散射機(jī)制的復(fù)雜性，建筑區(qū)域的SAR圖像人工解譯也具有相當(dāng)大的難度，即使請有經(jīng)驗的判讀員也很難人工準(zhǔn)確標(biāo)注出每個建筑和建筑的立面、屋頂和陰影。為此，課題組提出了基于三維模型仿真逆投影進(jìn)行標(biāo)注的系統(tǒng)性流程和方法，方法流程如圖3所示。首先進(jìn)行建筑區(qū)域場景三維模型的構(gòu)建；然后根據(jù)每景影像的SAR成像參數(shù)和帶地理信息的三維模型數(shù)據(jù)進(jìn)行SAR成像投影幾何關(guān)系的計算，得到陰影、屋頂、建筑立面在SAR一級圖像上的投影范圍，并根據(jù)每個像素對應(yīng)的來自不同部分的散射貢獻(xiàn)數(shù)量，得到疊掩次數(shù)圖；最后對SAR圖像及其對應(yīng)的Mask圖和疊掩次數(shù)圖進(jìn)行標(biāo)準(zhǔn)化裁切，并按照既定的格式生成標(biāo)注文件，從而形成了符合規(guī)范的數(shù)據(jù)集。下面詳細(xì)介紹每個步驟的處理方法。

圖3 數(shù)據(jù)集構(gòu)建流程圖Fig.3 Flow chart of construction of SARMV3D-BIS dataset

3.2.1 建筑區(qū)域場景三維模型構(gòu)建

首先通過開源網(wǎng)絡(luò)資源獲取建筑區(qū)域的建筑足印地圖。課題組基于openstreetmap.org網(wǎng)站提供街道地圖數(shù)據(jù)的下載服務(wù)，選擇目標(biāo)區(qū)域范圍和輸出格式后，即可下載該區(qū)域的公開地圖(Open Street Map,OSM)數(shù)據(jù)，包括了路網(wǎng)、建筑、路燈、公共區(qū)域等多類信息，本團(tuán)隊根據(jù)信息類型提取其中的建筑足印信息，提取后的建筑足跡信息可視化結(jié)果如圖4所示。在具體構(gòu)建過程中，本團(tuán)隊以geojson格式存儲該足印信息，并將該足印信息與該區(qū)域的參考高精度DSM進(jìn)行對齊。由于兩個數(shù)據(jù)的經(jīng)緯度均具有較高的精度，通過人工尋找特征結(jié)構(gòu)能夠很好地實現(xiàn)對齊。然后根據(jù)對齊后每個建筑足印中心的經(jīng)緯度直接提取該位置對應(yīng)DSM中的高度值作為建筑物高度，從而相當(dāng)于形成了建筑物的LOD1模型，無建筑物足印的部分高度直接取DSM中對應(yīng)的高度。

圖4 建筑足跡信息提取Fig.4 Extraction of building footprint

3.2.2 SAR圖像建筑物實例語義標(biāo)注方法

通過上述步驟獲取含建筑物L(fēng)OD1模型的DSM數(shù)據(jù)后，需要將其投影至SAR圖像以確定建筑不同面的投影范圍。此處采用SAR圖像產(chǎn)品自帶的RPC(Rational Polynomial Coefficients)參數(shù)進(jìn)行處理。由于SAR圖像定位存在一定的誤差，上述DSM數(shù)據(jù)也存在一定的定位誤差。為了保證投影后能夠?qū)?zhǔn)，首先根據(jù)上述DSM數(shù)據(jù)及其對應(yīng)的高分辨率光學(xué)影像數(shù)據(jù)，尋找SAR和光學(xué)均可見的特征點(diǎn)(如路燈燈柱等)作為控制點(diǎn)，根據(jù)這些點(diǎn)在DSM數(shù)據(jù)上獲取的經(jīng)緯高信息，修正SAR圖像的RPC參數(shù)。基于修正后的RPC參數(shù)，就可得到大地坐標(biāo)(Lat,Lon,H)和影像坐標(biāo)(rl,rs)之間的對應(yīng)關(guān)系，相關(guān)計算方法在SAR領(lǐng)域已相當(dāng)成熟，可參考文獻(xiàn)[5,6]等，在此不再贅述。

明確了投影計算關(guān)系后，還需確定能被雷達(dá)波照射和不能被雷達(dá)波照射的相交關(guān)系才能確定陰影等的范圍，下面給出具體的計算步驟與方法。

(1) 屋頂：首先確定建筑物屋頂在SAR 1級圖像中的投影范圍。根據(jù)建筑物足印信息中存儲的建筑物屋頂多邊形角點(diǎn)的經(jīng)緯度以及在DSM中獲取的高度，利用RPC參數(shù)可直接計算得到這些多邊形角點(diǎn)在1級圖像中的像素號，從而可連接形成一個在1級圖像中的封閉區(qū)域，如圖5所示。通過判斷每條邊所在的像素在相同方位向的近距是否有其他邊存在，可以判斷該邊所對應(yīng)的立面能否被雷達(dá)波照射到。圖5中AB和BC的立面能被照射到，而CD,D E,E F和F A所在的立面則無法被照射到。

圖5 建筑物屋頂區(qū)域示意圖Fig.5 Schematic diagram of building roof

(2) 建筑立面：根據(jù)上文的判斷規(guī)則，對能夠照射到的立面，計算建筑立面的投影區(qū)域。方法是對該立面在足印中對應(yīng)邊的頂點(diǎn)的經(jīng)度緯度和所在地面高度以及所在屋頂高度組成的4個點(diǎn)，利用RPC參數(shù)，求得其在1級圖像中對應(yīng)的像素點(diǎn)，形成立面區(qū)域，如圖6(a)中AA′B′B,BB′C′C所示，在斜距軸上，立面為圖6(b)中的藍(lán)色區(qū)域，屋頂為黃色部分，黑色點(diǎn)為墻面與地面二次散射的匯聚點(diǎn)。由圖6可見，立面和屋頂?shù)耐队胺秶怯兄丿B的，在本數(shù)據(jù)集的標(biāo)注json文件中，完整記錄了屋頂、立面每個區(qū)域的信息，但在Mask圖像中，屋頂和立面重疊的部分取的是屋頂?shù)臉?biāo)簽。

圖6 SAR圖像中建筑物立面投影示意圖Fig.6 Projection of building elevation

(3) 建筑陰影：建筑陰影區(qū)域的計算相對復(fù)雜一些，首先根據(jù)屋頂投影時確定的未被雷達(dá)波照射的邊來確定陰影的邊界。例如對于FA這條雷達(dá)波無法照射到的邊，先對A點(diǎn)和F點(diǎn)求關(guān)于地面的等效鏡像點(diǎn)也即A點(diǎn)的經(jīng)度緯度高度為[P,L,hg+hA]，其中hg為建筑區(qū)域周邊的地面高度，hA為建筑物屋頂相對于地面的高度，為當(dāng)?shù)氐娜肷浣牵蝗缓髮肦PC參數(shù)求得其在SAR 1級圖像中的投影位置，如圖7的A′′所示；從圖7中可見與SAR的距離和陰影邊界A′′與SAR的距離是一樣的，因此可以采用該等效鏡像點(diǎn)的投影計算得到陰影邊界；同理，可計算得到F′′,E′′,D′′,C′′，從而AFEDCC′′D′′E′′F′′A′′形成了建筑陰影的外邊界，如圖8所示；將該范圍除去屋頂頂面和建筑立面投影范圍的交集，就是最終的陰影范圍。

圖7 等效鏡像點(diǎn)示意圖Fig.7 Schematic diagram of equivalent mirror point

圖8 SAR圖像中建筑物陰影投影示意圖Fig.8 Projection of building shadow in SAR image

上述解釋了單個建筑的投影范圍計算方法，對于建筑物與建筑物之間離得比較遠(yuǎn)，沒有復(fù)雜疊掩和遮擋關(guān)系的情況，就可以根據(jù)上述投影結(jié)果進(jìn)行語義分割標(biāo)注。然而，對于建筑物與建筑物之間離得比較近的情況，還需額外考慮相互之間的影響關(guān)系，判斷的方法如下：

(1) 首先，根據(jù)建筑物足印多邊形在地面上的位置和高度信息，得到其在SAR 1級圖像的投影，如圖9中的藍(lán)色圖像多邊形所示，并根據(jù)投影多邊形的斜距大小，判斷哪個建筑在前、哪個建筑在后。

圖9 SAR圖像中多個建筑物的投影示意圖Fig.9 Projection of multiple buildings in SAR image

(2) 其次，采用上述屋頂、立面和陰影范圍的計算方法，得到每個建筑的屋頂、立面和陰影在1級圖像中的范圍；從而對于該SAR圖像的每個像素，都可以得到其對應(yīng)的語義屬性，對于那些存在復(fù)雜疊掩和遮擋關(guān)系的地區(qū)，每個像素都存在多個屬性。

(3) 對標(biāo)注的語義根據(jù)遮擋關(guān)系進(jìn)行約簡。如后一個建筑的立面或屋頂位于前一個建筑的陰影區(qū)域，如圖9(a)所示，則該區(qū)域為陰影，在Mask圖中標(biāo)識為陰影；如后一個建筑的立面或屋頂位于前一個建筑的立面和屋頂區(qū)域，如圖9(b)所示，則Mask圖中優(yōu)先標(biāo)識為立面，其次為屋頂；在標(biāo)注的JSON文件中則完整保留每個建筑實例的各個區(qū)域信息。

3.2.3 數(shù)據(jù)集標(biāo)注規(guī)范

基于上述方法，中科院空天院基于GF-3衛(wèi)星聚束模式數(shù)據(jù)構(gòu)建了SARMV3D-BIS 1.0版本。需要說明的是，由于本數(shù)據(jù)集制作采用的建筑足印數(shù)據(jù)和Worldview獲取的DSM數(shù)據(jù)與SAR影像數(shù)據(jù)時不相同，因此難免存在標(biāo)注噪聲。本團(tuán)隊通過人工目視判讀進(jìn)行了一定的篩選剔除，并綜合考慮建筑物語義分割的難度和標(biāo)注的置信度，將數(shù)據(jù)集分成了困難(D)、中等(M)和簡單(S) 3種不同難度的子數(shù)據(jù)集。其中，困難版包含尺寸為1024×1024大小的圖像1588張，涵蓋建筑實例4.8萬余個，其中小型建筑比較多；中等版和簡單版分別包含尺寸為1024×1024大小的圖像773張和234張，分別涵蓋建筑實例1.5萬和6000余個。為了便于研究者基于相同的數(shù)據(jù)集進(jìn)行方法的比較，本團(tuán)隊按照6:2:2的比例，隨機(jī)分成了訓(xùn)練集、驗證集和測試集，每個子集的標(biāo)注規(guī)范是完全一致的。SARMV3D-BIS 1.0數(shù)據(jù)集的構(gòu)成已在表1中明確，下面重點(diǎn)給出標(biāo)注JSON文件的信息格式。

為了與國際已有的圖像語義分割數(shù)據(jù)集保持一致，便于研究者應(yīng)用，本數(shù)據(jù)集的標(biāo)注JSON文件格式參考了微軟發(fā)布的MSCOCO數(shù)據(jù)集[7]。JSON文件包含的結(jié)構(gòu)體類型有info,images和annotations 3種，info數(shù)組只有一組，在文件起始處描述文件整體的基本信息，而images數(shù)組、annotations數(shù)組的數(shù)量均等于圖像切片的數(shù)量，對每個圖像切片進(jìn)行分別描述。JSON文件的字段及含義如表2和表3所示。

表2 SARMV3D-BIS數(shù)據(jù)集的標(biāo)注文件Tab.2 Annotation file of SARMV3D-BIS dataset

表3 segmentation字段信息Tab.3 Information of ‘segmentation’ field

3.3 實驗結(jié)果與分析

實例分割不僅要正確找到圖像中的目標(biāo)，還要對其進(jìn)行精確的語義分割，分割任務(wù)與檢測、分類任務(wù)是同時進(jìn)行的。目前，計算機(jī)視覺中實現(xiàn)SOTA的實例分割神經(jīng)網(wǎng)絡(luò)主要有Mask RCNN[8],SOLOv2[9],Yolact[10]等。其中，Mask RCNN具有極高的實例分割性能和較好的泛化能力。Mask RCNN通過感興趣區(qū)域像素到像素的對齊(RoI Align)，保留真實確定的空間位置，很好地解決了感興趣區(qū)域池化(ROI Pooling)操作中兩次量化造成的區(qū)域不匹配的問題，同時為每個感興趣區(qū)域增加一個和邊界框回歸平行的分支區(qū)預(yù)測目標(biāo)的掩膜，實現(xiàn)了掩碼預(yù)測和類別預(yù)測的解耦。為此，本文選擇Mask RCNN來進(jìn)行本數(shù)據(jù)集的測試，驗證數(shù)據(jù)集的可用性。

Mask RCNN能夠檢測SAR圖像中的建筑物，同時為每個建筑物實例生成高質(zhì)量的分割掩膜。由于當(dāng)前實例分割研究的主流方法均認(rèn)為一個實例中只有一個語義類別，因此本團(tuán)隊將SARMV3D-BIS 1.0數(shù)據(jù)集中的疊掩和屋頂之和(不計陰影)作為SAR圖像建筑物的實例掩膜，使用Mask RCNN進(jìn)行初步實驗，并給出該數(shù)據(jù)集的實例分割性能基準(zhǔn)。

Mask RCNN訓(xùn)練SARMV3D-BIS 1.0分為兩階段。第1階段為頭部訓(xùn)練，學(xué)習(xí)率為0.001，訓(xùn)練輪數(shù)為500，第2階段為對網(wǎng)絡(luò)所有層的微調(diào)，訓(xùn)練輪數(shù)為300，學(xué)習(xí)率為0.0001。實驗平臺為pytorch 1.4，硬件為RTX 8000 GPU，以ResNet-101-FPN為骨干的Mask RCNN在SARMV3D-BIS 1.0數(shù)據(jù)集中的訓(xùn)練速度為3.3 fps。

Mask RCNN的損失函數(shù)[8]包括分類損失、回歸損失和掩碼損失。使用Mask RCNN在SARMV3DBIS 1.0(S)上的訓(xùn)練過程中驗證集損失變化曲線如圖10所示，最終的各類實例分割損失[7]如表4所示。評價標(biāo)準(zhǔn)方面，采用均值平均精度(mAP)來衡量檢測及分割性能，實驗結(jié)果如表5和表6所示，其中，第3列為MSCOCO評價標(biāo)準(zhǔn)[11]，評估在共10個不同的交并比(IoU)[0.5:0.05:0.95]下的平均mAP，第4列為Pascal VOC[12]評判標(biāo)準(zhǔn)，評測IoU在閾值為0.5下的mAP值，第5～8列為符合MSCOCO評價標(biāo)準(zhǔn)[11]中的其余幾項指標(biāo)。SARMV3D-BIS 1.0(S)數(shù)據(jù)集的建筑物實例分割結(jié)果如圖11所示。

圖10 使用Mask RCNN在SARMV3D-BIS 1.0(S)上的訓(xùn)練過程中驗證集損失變化曲線Fig.10 Loss curve in the train process on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

圖11 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的實例分割結(jié)果Fig.11 Results of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表4 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的實例分割損失Tab.4 Loss of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表5 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的檢測框mAPTab.5 mAP of bounding box on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表6 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的掩膜mAPTab.6 mAP of mask on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

由結(jié)果可見，直接采用當(dāng)前SOTA方法進(jìn)行本數(shù)據(jù)集的實例分割達(dá)到的精度尚較低，與光學(xué)數(shù)據(jù)集分割精度指標(biāo)相比存在較大差距。原因是SAR圖像與光學(xué)圖像存在很大的差別，例如SAR圖像中建筑物輪廓往往不夠明顯，屋頂?shù)绕教贡砻娲蠖喑尸F(xiàn)弱散射，不易與地面區(qū)分。這說明SAR圖像建筑物實例分割具有很大的挑戰(zhàn)性，還有很大的研究空間。SARMV3D-BIS 1.0作為首個公開高精度標(biāo)注的SAR圖像建筑物實例分割數(shù)據(jù)集，能夠為本領(lǐng)域研究提供良好的支撐，具有較高的可用性和研究價值。

4 SAR三維成像數(shù)據(jù)集

目前，國際上發(fā)布的可用于三維成像研究的數(shù)據(jù)集還非常少，僅有的是美國空軍實驗室發(fā)布的GOTCHA數(shù)據(jù)集[13]。其為X波段圓跡SAR模式獲取目標(biāo)全方位角的觀測數(shù)據(jù)，并通過改變軌道高度獲取了8個不同俯仰角的觀測，所用的極化方式為全極化，帶寬640 MHz。該數(shù)據(jù)場景范圍為100 m×100 m左右，場景中的主要目標(biāo)為車輛，疊掩情況相對而言不是很嚴(yán)重，如圖12所示。

圖12 GOTCHA數(shù)據(jù)集幅度圖像Fig.12 Amplitude image of GOTCHA dataset

2015年，中科院空天院成功研制了國際上第一部高分辨率分布式陣列干涉合成孔徑雷達(dá)三維成像實驗系統(tǒng)[14]，該系統(tǒng)采用側(cè)視成像模式，天線等效相位中心沿交軌向分布，利用陣列天線結(jié)合MIMO技術(shù)，通過一次飛行獲取三維觀測數(shù)據(jù)，相干性好、時效性強(qiáng)，具備單次航過實現(xiàn)三維成像的能力，圖13為該陣列干涉SAR系統(tǒng)。

圖13 陣列SAR飛行平臺及天線Fig.13 Array InSAR

為促進(jìn)SAR三維成像領(lǐng)域的技術(shù)發(fā)展，中科院空天院基于該系統(tǒng)獲取的數(shù)據(jù)，首次于《雷達(dá)學(xué)報》網(wǎng)站上發(fā)布了機(jī)載陣列干涉SAR三維成像數(shù)據(jù)。

4.1 數(shù)據(jù)集信息

本文發(fā)布的1.0版本SARMV3D Imaging數(shù)據(jù)集，選用2015年和2019年陣列干涉SAR系統(tǒng)在山西運(yùn)城和四川峨眉山開展飛行試驗獲取數(shù)據(jù)中的部分?jǐn)?shù)據(jù)，數(shù)據(jù)信息如表7所示。數(shù)據(jù)集中兩個區(qū)域主要包含的地物均為疊掩較為嚴(yán)重的建筑物，如圖14和圖15所示。數(shù)據(jù)集的構(gòu)成如表8所示。

表8 SARMV3D Imaging數(shù)據(jù)集構(gòu)成Tab.8 Composition of SARMV3D Imaging dataset

圖14 運(yùn)城區(qū)域數(shù)據(jù)影像Fig.14 Data of Yuncheng area

圖15 峨眉山區(qū)域SAR圖像Fig.15 Data of mount Emei area

表7 SARMV3D Imaging數(shù)據(jù)集信息Tab.7 Information of SARMV3D Imaging dataset

4.2 數(shù)據(jù)集構(gòu)建方法

為了便于本領(lǐng)域研究人員應(yīng)用該數(shù)據(jù)集開展研究，本團(tuán)隊對機(jī)載陣列干涉SAR數(shù)據(jù)進(jìn)行了一系列預(yù)處理，從而規(guī)避系統(tǒng)誤差帶來的影響。下面簡要給出處理方法。

4.2.1 幅相誤差估計補(bǔ)償方法

受工藝水平等的限制，陣列天線多通道回波信號之間難免存在幅度和相位誤差，而由于SAR成像主要利用了多通道回波信號之間的相位關(guān)系，通道間的幅相誤差將會嚴(yán)重影響三維成像的質(zhì)量。圖16展示了通道間幅相誤差對于三維重建結(jié)果的影響。因此，通道間幅相誤差需要高精度的估計和補(bǔ)償。

圖16 幅相誤差補(bǔ)償前后的三維點(diǎn)云結(jié)果對比Fig.16 Comparison of 3D point cloud results

課題組采用基于定標(biāo)器估計和基于場景三維圖像熵優(yōu)化估計兩種方法相互驗證的策略，獲取準(zhǔn)確可靠的幅相誤差估計結(jié)果來進(jìn)行補(bǔ)償。

首先基于場景中的定標(biāo)器的幅相誤差估計方法[15]，通過精確測量定標(biāo)器的三維位置結(jié)合飛行平臺的差分GPS信息，可以計算SAR圖像中定標(biāo)點(diǎn)的理想幅度與相位。通過比較定標(biāo)點(diǎn)的理想相位歷程和真實圖像相位，結(jié)合地面建筑結(jié)構(gòu)先驗知識，可以迭代估計通道間幅相誤差。

定標(biāo)器數(shù)量非常有限，并且由于擺放誤差等原因，也存在一定的可靠性風(fēng)險。為此課題組提出基于三維圖像熵約束的估計方法。假設(shè)不存在通道相位誤差的情況下，傳統(tǒng)的層析SAR三維成像模型如式(1)所示：

如果考慮到通道間的相位誤差，則上述表達(dá)式轉(zhuǎn)化為

其中，δ1,δ2,···,δN為每個通道的相位誤差，如以第1個通道為基準(zhǔn)，則存在N–1個未知量。針對上述模型，本團(tuán)隊提出以重建三維點(diǎn)云的三維圖像熵為優(yōu)化準(zhǔn)則的相位誤差估計方法，以式(3)中的相位誤差δ作為待優(yōu)化變量，在重建三維模型的同時對通道間的相位誤差進(jìn)行了估計補(bǔ)償，具體實現(xiàn)方法可參考團(tuán)隊前期工作[16]。

圖17展示了本方法對整幅圖像分塊處理后10個區(qū)域估計的結(jié)果，可見估計得到的通道間相位誤差基本一致，側(cè)面說明了估計的可靠性；其中有1個區(qū)域的誤差估計結(jié)果與整體結(jié)果有些偏差，經(jīng)檢驗該區(qū)域?qū)?yīng)圖像為水體，信噪比較低，因此應(yīng)用時將其剔除。圖18給出了基于三維圖像熵估計的相位誤差平均結(jié)果和基于定標(biāo)點(diǎn)估計結(jié)果差值的曲線，去除因采用參考高程不一致帶來的線性偏差后，兩者的差異在8°以內(nèi)，驗證了兩種估計方法的可靠性。

圖17 通道間相位誤差估計結(jié)果Fig.17 Results of phase error estimation between channels

圖18 兩種相位估計結(jié)果的比較Fig.18 Comparison results of two phase estimation methods

基于上述相位誤差估計方法，本團(tuán)隊對運(yùn)城區(qū)域和峨眉山區(qū)域的數(shù)據(jù)進(jìn)行了相位誤差補(bǔ)償，同時采用幅度比值法進(jìn)行了通道幅度誤差估計和補(bǔ)償，從而減小了系統(tǒng)誤差的影響。

4.2.2 三維成像方法

利用上述經(jīng)過幅相誤差補(bǔ)償?shù)娜S成像數(shù)據(jù)，采用團(tuán)隊近期提出的基于鄰域約束的稀疏重建算法[17]進(jìn)行三維成像。傳統(tǒng)SAR三維成像算法逐像素孤立求解，不考慮像素鄰域信息，重建結(jié)果雜散點(diǎn)多、信雜比低。為此本團(tuán)隊引入了與語義相關(guān)的概率約束，在每個像素的8-鄰域內(nèi)通過相鄰像素高程位置的相關(guān)性對雜散點(diǎn)位置進(jìn)行約束。研究發(fā)現(xiàn)，通常散射系數(shù)相關(guān)性越大，空間分布聚集性越強(qiáng)，基于此結(jié)論，采用局部高斯-馬爾可夫隨機(jī)場對鄰域高程分布進(jìn)行建模，對相鄰像素的高度進(jìn)行聯(lián)合求解，有效提升了重建精度并減少了雜散點(diǎn)數(shù)量。處理得到的三維成像結(jié)果如圖19所示，圖中顏色代表了散射點(diǎn)的海拔。

圖19 SARMV3D Imaging數(shù)據(jù)集三維成像結(jié)果Fig.19 3D imaging results of SARMV3D Imaging dataset

4.2.3 疊掩次數(shù)圖生成方法

在獲得三維成像結(jié)果的同時，為了給SAR微波視覺三維成像研究提供額外的輔助參考信息，本團(tuán)隊同步生成了一個疊掩次數(shù)圖。研究表明，受限于圖像信噪比等原因，SAR三維重建得到的點(diǎn)云往往存在大量的雜散點(diǎn)。為了濾除雜散點(diǎn)，可以通過幅值檢驗或廣義似然比檢驗來判斷重建的散射點(diǎn)是否為真實散射點(diǎn)。若某個散射點(diǎn)判斷為虛假散射點(diǎn)，則將其從三維點(diǎn)云中剔除。本數(shù)據(jù)集中提供的Layover.tif文件包含了圖像中每個像素包含的真實散射點(diǎn)個數(shù)，即疊掩次數(shù)。本團(tuán)隊采用基于幅值檢驗的方法生成上述疊掩次數(shù)圖，將散射系數(shù)幅值小于事先設(shè)定閾值的散射點(diǎn)剔除后，統(tǒng)計二維圖像每個像素經(jīng)三維成像后分離出來的有效散射點(diǎn)個數(shù)，作為參考疊掩次數(shù)。圖20為運(yùn)城和峨眉山兩塊區(qū)域的疊掩次數(shù)圖。

圖20 SARMV3D Imaging數(shù)據(jù)集區(qū)域疊掩次數(shù)圖Fig.20 Overlay times map of SARMV3D Imaging dataset

5 結(jié)束語

本文介紹了SAR微波視覺三維成像數(shù)據(jù)集的構(gòu)建規(guī)劃，并介紹了本次發(fā)布的1.0版本數(shù)據(jù)集(SARMV3D-1.0)的構(gòu)成信息和構(gòu)建方法。SARMV3D-1.0數(shù)據(jù)集包括了SAR建筑物實例語義分割數(shù)據(jù)集1.0版本(SARMV3D-BIS 1.0)和SAR三維成像數(shù)據(jù)集1.0版本(SARMV3D-Imaging 1.0)。目前在SAR三維成像領(lǐng)域，國際上公開可用的數(shù)據(jù)集非常稀缺，本文在國際上首次發(fā)布了機(jī)載陣列干涉SAR三維成像數(shù)據(jù)集，希望為SAR三維成像研究提供急需的測試和驗證平臺。

在國家自然科學(xué)基金重大項目的支持下，項目團(tuán)隊后續(xù)將持續(xù)致力于該數(shù)據(jù)集的構(gòu)建和發(fā)展，并將根據(jù)數(shù)據(jù)集的應(yīng)用反饋持續(xù)改進(jìn)完善。

致謝本數(shù)據(jù)集的構(gòu)建得到了國家自然基金委重大項目的支持和指導(dǎo)專家組的指導(dǎo)，得到了項目組課題承擔(dān)單位復(fù)旦大學(xué)、中科院自動化所、北京市遙感信息研究所等的幫助，構(gòu)建本數(shù)據(jù)集的GF-3衛(wèi)星圖像數(shù)據(jù)由國家衛(wèi)星海洋應(yīng)用中心無償提供，在此一并表示感謝。

附錄

SAR微波視覺三維成像數(shù)據(jù)集公開共享將依托《雷達(dá)學(xué)報》官方網(wǎng)站進(jìn)行，數(shù)據(jù)于每次更新后上傳至“SAR微波視覺三維成像數(shù)據(jù)集1.0”頁面中，如附圖1所示，具體網(wǎng)址為http://radars.ie.ac.cn/web/data/getData?dataType=SARMV3D，數(shù)據(jù)將根據(jù)SAR微波視覺三維成像相關(guān)飛行試驗的開展和數(shù)據(jù)集的制作進(jìn)度不定期更新。

附圖1 SAR微波視覺三維成像數(shù)據(jù)集發(fā)布網(wǎng)頁App.Fig.1 Release webpage of Synthetic Aperture Radar Microwave Vision 3D Imaging Dataset