高分辨率SAR圖像中建筑物特征融合檢測算法

蘇 娟,張 強,陳 煒,王繼平

1.第二炮兵工程大學,陜西西安 710025;2.第二炮兵裝備研究院,北京 100083

高分辨率SAR圖像中建筑物特征融合檢測算法

蘇 娟1,張 強2,陳 煒1,王繼平2

1.第二炮兵工程大學,陜西西安 710025;2.第二炮兵裝備研究院,北京 100083

提出一種高分辨率SAR圖像中建筑物的特征融合檢測算法。首先,根據SAR圖像中建筑物目標與背景存在較大差異的特點,采用視覺注意模型進行建筑物的感興趣區(qū)分割;然后,提取位于感興趣區(qū)域內的高亮線條和陰影區(qū)域;最后,采用D-S證據理論對注意焦點、高亮線條和陰影區(qū)域進行特征融合,實現建筑物目標的檢測。試驗結果表明,本文算法對矩形建筑物具有較高的檢測精度。

SAR圖像處理;建筑物檢測;視覺注意模型;D-S證據理論;特征融合

1 引 言

隨著高分辨率SAR技術的發(fā)展,從高分辨率SAR圖像中進行建筑物的自動檢測在軍用和民用等領域均得到了廣泛的應用[1-3]。由于SAR特有的成像機理,建筑物在SAR圖像中具有非常獨特的特征,因此不能直接利用其他類型圖像的建筑物檢測算法[4-6]。SAR圖像中建筑物的特征主要體現在:①與背景在灰度和紋理特征上存在顯著差異;②存在高亮線條和黑色陰影等明顯特征。因此,在利用單幅SAR圖像進行建筑物檢測時,高亮線條和黑色陰影常被作為建筑物存在的主要證據[7-9]。

由于SAR圖像本身受斑點噪聲影響,并且特征提取容易受到目標周邊的草地或樹林等具有強反射回波地物的影響,造成特征提取的結果不完全可靠,從而導致建筑物檢測的不確定性。因此,有效地提高建筑物檢測所需的底層特征的準確性,降低背景地物的干擾,是提高SAR圖像中建筑物檢測準確性的重要問題。在進行特征提取前,確定建筑物可能存在的感興趣區(qū)是一個較好的解決方案,能使建筑物檢測的準確率和效率得到提高。如前所述,高分辨率SAR圖像中,建筑物與其所處背景具有較大的差異,該差異可以用來提取建筑物的感興趣區(qū),文獻[10—13]提出的視覺注意模型就是一種有效的方法,能直接定位場景中的視覺顯著區(qū)域。

在特征提取的基礎上,多數文獻采用的方法是,利用高亮線條作出建筑物存在的假設,然后用陰影區(qū)域對假設進行驗證。高亮線條的形狀在不同成像條件下可能差異很大,呈現出非標準線條狀的復雜形狀,而且由于噪聲和局部強散射等因素的影響,其灰度分布也并不均勻。陰影區(qū)域在背景較暗或建筑物密集的情況下也難以實現準確的分割。因此,需要對不同特征進行有效的融合,以減小某種特征提取不準確對建筑物檢測結果的影響。

D-S證據理論是一種常用的特征融合算法。該理論由文獻[14—15]提出和發(fā)展而成,是對Bayes理論的重要推廣,它用信任區(qū)間代替概率,用集合表示事件,用Dempster組合規(guī)則代替Bayes公式更新信任函數。由于D-S證據理論能夠很好地表達推理過程中的不確定性,推廣形式簡單,能有效地對多種證據信息進行綜合,因而在特征提取、圖像分割和目標檢測中得到了廣泛應用[16-18]。

因此,本文將視覺注意模型和特征融合檢測進行有效組合,采用視覺注意模型提取SAR圖像中建筑物的感興趣區(qū)域,并由此得到注意焦點,采用最大穩(wěn)定極值區(qū)域(MSER)算法[19]提取建筑物的陰影區(qū)域,采用邊緣檢測算法提取高亮長直線條,在建筑物成像模型的約束下,對注意焦點、高亮線條和陰影區(qū)域等底層特征進行基于D-S證據理論的特征融合,有效地綜合應用各種特征進行目標檢測的優(yōu)點,實現對建筑物目標的檢測。

2 算 法

本文算法是建立在SAR圖像中建筑物成像特性分析的基礎上的。圖1為SAR圖像中建筑物成像特性原理圖,可以看出,在高分辨率SAR圖像中,建筑物具有以下特性:

(1)二面角效應導致建筑物墻地線以高亮長直線條的形式出現,見圖1中b部分。

(2)建筑物的遮擋導致被遮擋區(qū)域沒有任何后向散射信號返回,在SAR圖像中表現為黑色陰影區(qū)域,見圖1中e部分。

(3)屋頂的平整程度與材質導致屋頂在SAR圖像中以亮區(qū)域或暗區(qū)域出現,見圖1中d部分。

(4)部分屋頂、墻壁和建筑物前地面的后向散射的疊加會產生疊掩現象,在SAR圖像中以亮區(qū)域出現,見圖1中a＋c＋d部分。

上述特性能為建筑物的存在提供有力的證據支持。坡頂建筑物同樣具備類似于上述平頂建筑物的特征,即存在高亮線條、陰影區(qū)域和亮區(qū)域等。

圖1 SAR圖像中建筑物成像特性[20]Fig.1 Imaging characteristics of building in SAR images[20]

本文算法流程如圖2所示,主要包括基于視覺注意模型的感興趣區(qū)提取、底層特征提取以及基于D-S證據理論的特征融合檢測3部分。

圖2 本文算法流程Fig.2 Flow chart of the proposed algorithm

2.1 基于視覺注意模型的感興趣區(qū)提取

本文提取了原始SAR圖像的亮度、方向和局部熵特征,采用Itti模型進行高分辨率SAR圖像中的視覺顯著區(qū)域提取[10,13]。在此基礎上,對生成的顯著圖進行自適應閾值分割,得到SAR圖像中的視覺顯著區(qū)域,以此作為底層特征提取的感興趣區(qū)域。

圖3給出了采用視覺注意模型提取得到的感興趣區(qū)。由圖可知,采用視覺注意模型能夠對自然場景中的建筑物目標區(qū)域進行粗略定位。

圖3 建筑物感興趣區(qū)提取Fig.3 Extraction of building ROI

2.2 感興趣區(qū)內特征提取

在分割得到的建筑物感興趣區(qū)內,分別提取注意焦點、高亮線條和陰影區(qū)域,作為建筑物檢測所需的底層視覺特征。

2.2.1 注意焦點

人們在觀察一個場景時,總是有選擇地將注意力集中在場景中的某些最具吸引力的內容上。在該過程中,引起人們注意的場景內容被稱為注意焦點。在基于視覺注意模型獲得的顯著圖(如圖3(b)所示)中,顯著值較大的位置即為注意焦點。因此,本文采取以下方法進行SAR圖像中注意焦點的確定。首先選擇當前顯著度值最大的位置作為當前的注意焦點,確定該注意焦點對應的顯著區(qū)域,然后將該顯著區(qū)域的顯著度值賦為最小值,重復以上步驟,直到確定的注意焦點數目達到預設數目。由此可得到一組顯著度值逐漸下降的注意焦點,即一組目標與背景差異較大的圖像位置。

2.2.2 高亮線條

如前所述,建筑物的墻地線在SAR圖像中表現為高亮長直線條,是建筑物存在的有力證據。并且,在局部區(qū)域內,建筑物的朝向比較一致,因此建筑物的高亮線條的方向也比較一致。本文采取以下方法進行高亮線條的提取:①運用Canny算子對原始灰度圖像進行邊緣提取,將邊緣點連接成為邊緣線段;②保留具有穩(wěn)定曲率的邊緣線段,根據線段斜率提取并保留局部區(qū)域內朝向一致的邊緣;③計算邊緣上所有像素點的平均灰度,保留平均灰度大于預設閾值的邊緣,記錄邊緣端點、邊緣像素的坐標、擬合直線的斜率與截距等;④如果保留的邊緣的局部片段位于提取的顯著區(qū)域內,則將整條邊緣作為建筑物的墻地線證據保留。

2.2.3 陰影區(qū)域

SAR成像特性導致SAR圖像中高大建筑物存在灰度值比較低而穩(wěn)定的陰影區(qū)域,并且,在局部區(qū)域內,建筑物的朝向比較一致,因此建筑物的陰影朝向也比較一致。本文采取最大穩(wěn)定極值區(qū)域(MSER)算法進行陰影區(qū)域的提取:①采用MSER算法檢測出最小灰度MSERs;②對檢測出的極值區(qū)域進行數學形態(tài)學處理,去除雜亂小區(qū)域,填補空洞等;③對極值區(qū)域進行標識,記錄區(qū)域的面積、朝向、外接矩形參數等,如果極值區(qū)域的面積和其外接矩形面積之比(本文將此定義為矩形度)大于預設閾值,則認為該極值區(qū)域為矩形區(qū)域;④如果保留的矩形極小值區(qū)域與提取得到的顯著區(qū)域存在部分重合,則將其作為建筑物陰影區(qū)域整體保留。

采用以上方法,對圖3(a)所示的原始SAR圖像進行特征提取,得到的底層視覺特征如圖4所示。

圖4 提取得到的底層視覺特征Fig.4 Extracted low-level visual features

2.3 基于D-S證據理論的特征融合檢測

在提取得到SAR圖像中與建筑物特性相關的底層特征的基礎上,本文基于D-S證據理論的信息融合框架,在SAR圖像中建筑物成像模型的約束下,通過對注意焦點、高亮線條和陰影區(qū)域進行特征融合,實現建筑物的檢測。

在進行特征融合檢測時,根據SAR圖像中建筑物的成像特性,建立如下的知識規(guī)則:①每個注意焦點與其對應的高亮線條和陰影區(qū)域比較接近;②陰影區(qū)域均在高亮線條的同一側;③高亮線條與陰影區(qū)域的外接矩形的某條邊的長度比較接近。

在此知識規(guī)則的約束引導下,從每個注意焦點出發(fā),搜索與之對應的高亮線條和陰影區(qū)域,主要通過設置距離閾值、方向閾值和長度差閾值實現。在此基礎上,基于D-S證據理論建立如下的融合算法。以注意焦點、高亮線條和陰影區(qū)域為多證據體,將建筑物檢測的辨識框架定義為Θ＝{h0,h1},分別表示建筑物和非建筑物。對于每種證據(即底層特征),可分別定義該證據關于某種辨識的可信度{m1(h0),m1(h1)}、{m2(h0),m2(h1)}、{m3(h0),m3(h1)}。根據注意焦點對應的顯著度值,計算該證據屬于建筑物的可信度,顯著度值越大,可信度相應越大。根據高亮線條上像素的平均Canny算子響應值和平均灰度值,計算該證據屬于建筑物的可信度,Canny算子響應值越大,平均灰度值越大,可信度相應越大。根據陰影區(qū)域的矩形度和平均灰度值,計算該證據屬于建筑物的可信度,矩形度越大,平均灰度越小,可信度相應越大。

Dempster組合規(guī)則如下所示

對于辨識得到的建筑物目標,以陰影區(qū)域的下邊緣和高亮線條組成的四邊形的外接矩形作為建筑物存在的標識,并對存在相互包圍的外接矩形或頂點非常接近的外接矩形進行合并處理,將其作為同一個建筑物目標。

采用以上方法,對圖4所得的底層特征進行特征融合檢測,檢測結果如圖5所示。

圖5 特征融合檢測結果Fig.5 Detection result by feature fusion

3 試驗結果與分析

為定量評估本文算法的性能,本節(jié)對算法的目標級檢測率進行評估。本文算法的檢測對象為具有一定面積、有陰影和高亮線條存在的矩形建筑物。參考數據通過人工判讀和手工標識獲得,評估結果由查全率和查準率給出,如果一個建筑物目標2/3以上的像素被檢測為目標的像素,則認為該目標被檢測到。

本文算法在特征提取與融合部分設置了部分閾值,例如邊緣線段的平均灰度、陰影區(qū)域的矩形度、特征之間的距離閾值、方向閾值和長度差閾值等。由于特征融合階段可以有效地去除虛警,上述閾值的選取對最終檢測結果的影響較小,因此其設定范圍均比較寬松,在整個測試集上保持不變。注意焦點個數的選取對檢測結果具有較大的影響,選取太大則增加運算量,選取太小則可能漏掉目標,本文的做法是:根據圖像分辨率、建筑物的大致尺寸、建筑物的密集程度等先驗知識進行選取,數值偏大,以不發(fā)生漏檢為該參數設定的主要原則。

采用本文算法對12張包含建筑物目標的高分辨率SAR圖像進行了建筑物檢測試驗,其空間分辨率為1 m,包含建筑物目標162個。在該測試數據集上的查全率和查準率分別為92.6%和96.7%,表明本文算法具有理想的檢測效果,在降低虛警率方面具有明顯優(yōu)勢。

限于篇幅,本文給出了3組比較有代表性的試驗。試驗1為圖3所示試驗,具體過程與最終結果均已在前文中給出,從圖5所示的試驗結果看來,本文算法檢測得到的建筑物與實際情況比較吻合,能夠檢測出明顯可辨的矩形建筑物。試驗2如圖6所示。圖中左上角有一處矩形目標,盡管存在注意焦點(具有明顯的亮度和紋理特征),但因為同時缺乏高亮線條和陰影證據的支持,未能作為建筑物檢測出來。檢測結果表明,本文算法基本上能夠檢測出目視比較清楚的建筑物,盡管建筑物的輪廓不一定很精準,但能夠標識出建筑物的存在,滿足大部分應用場合的需要。

試驗3給出了本文算法與文獻[1]提出的基于標記控制分水嶺變換的建筑物檢測算法的比較結果。文獻[1]算法采用變差函數紋理特征對建筑物區(qū)域進行分類檢測,然后在建筑物區(qū)域進行獨立建筑物的檢測,檢測結果如圖7(d)所示?？梢钥闯?由于場景左下角區(qū)域未能作為建筑物區(qū)域檢測出來,導致該區(qū)域內兩個較為明顯的建筑物發(fā)生漏檢。本文算法提取得到的顯著區(qū)域(圖7(b))比較準確,左下角區(qū)域內的兩個建筑物具有陰影和高亮線條的顯著特征,因此被正確檢測出來。采用本文算法,場景其他區(qū)域內的建筑物也得到了正確的檢測,但個別建筑物的定位準確度不如文獻[1]算法。

圖6 建筑物檢測試驗2Fig.6 Building detection experiment 2

圖7 建筑物檢測試驗3Fig.7 Building detection experiment 3

4 結 論

從高分辨率SAR圖像中進行建筑物檢測時,檢測效果受特征提取準確性的影響較大。本文因此提出了一種多特征融合檢測算法。該算法充分利用SAR圖像中建筑物目標與背景存在較大差異的特點,采用視覺注意模型進行建筑物的感興趣區(qū)分割,提取注意焦點、高亮線條和陰影區(qū)域作為底層特征,在SAR圖像中建筑物成像模型的約束下,通過D-S證據理論的特征融合實現建筑物目標的檢測。試驗結果表明,本文算法具有較高的檢測精度,在降低虛警率方面具有明顯優(yōu)勢。

但是,本文算法具有一定的適用范圍,待檢測的建筑物需具有以下特點:①高亮長直線條為本文算法所使用的主要特征之一,因此建筑物輪廓必須為矩形或矩形的組合,以保證能夠提取出反映建筑物結構的高亮線條;②陰影為本文算法所使用的主要特征之一,因此建筑物需要有陰影區(qū)域存在。未來研究中將致力于多種形狀的建筑物的檢測,使算法具有更好的適應性。

[1] ZHAO Lingjun.Building Extraction from High Resolution SAR Imagery[D].Changsha:National University of Defense Technology,2009.(趙凌君.高分辨率SAR圖像建筑物提取方法研究[D].長沙:國防科技大學,2009.)

[2] FERRO A,BRUNNER D,BRUZZONE L.Building Detection and Radar Footprint Reconstruction from Single VHR SAR Images[C]∥Proceedings of IGARSS 2010.Hawaii: IEEE,2010:291-295.

[3] SU Juan,XIAN Yong,SONG Jianshe.A Building Extraction Algorithm Based on the Fusion of SAR and Optical Images[J].Acta Armamentarii,2010,31(11):1448-1454.(蘇娟,鮮勇,宋建社.SAR圖像與可見光圖像融合的建筑物提取算法[J].兵工學報,2010,31(11):1448-1454.)

[4] TAO Chao,TAN Yihua,CAI Huajie,et al.Object-oriented Method of Hierarchical Urban Building Extraction from High-resolution Remote-sensing Imagery[J].Acta Geodaetica et Cartographica Sinica,2010,39(1):39-45.(陶超,譚毅華,蔡華杰,等.面向對象的高分辨率遙感影像城區(qū)建筑物分級提取方法[J].測繪學報,2010,39(1): 39-45.)

[5] CHENG Liang,GONG Jianya.Building Boundary Extraction Using Very High Resolution Images and LiDAR[J].Acta Geodaetica et Cartographica Sinica,2008,37(3):391-399.(程亮,龔健雅.LiDAR輔助下利用超高分辨率影像提取建筑物輪廓方法[J].測繪學報,2008,37(3):391-399.)

[6] MAYER H.Automatic Object Extraction from Aerial Imagery:ASurvey Focusing on Buildings[J].Computer Vision and Image Understanding,1999,74(2):138-149.

[7] TUPIN F.Extraction of 3D Information Using Overlay Detection on SAR Images[C]∥Proceedings of 2nd GRSS/ ISPRS Joint Workshop on Remote Sensing and Data Fusion over Urban Areas.Berlin:IEEE,2003:72-76.

[8] ZHANG F L,SHAO Y,ZHANG X,et al.Building L-shape Footprint Extraction from High Resolution SAR Image [C]∥Proceedings of 2011 Joint Urban Remote Sensing Event.Munich:IEEE,2011:273-276.

[9] MICHAELSEN E,STILLA U,SOERGEL U,et al.Extraction of Building Polygons from SAR Images:Grouping and Decision-level in the GESTALT System[J].Pattern Recognition Letters,2010,31:1071-1076.

[10] ITTI L,KOCH C,NIEBUR E.A Model of Saliency-based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[11] BORJI A,ITTI L.State-of-the-art in Visual Attention Modeling [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):185-207.

[12] BAN S W,LEE I,LEE M.Dynamic Visual Selective Attention Model[J].Neurocomputing,2008,71:853-856.

[13] SU Juan,YANG Luo,LU Jun.An Infrared Target Detection Algorithm Based on Knowledge Model[J].Acta Photonica Sinica,2013,42(7):839-844.(蘇娟,楊羅,盧俊.一種基于知識模型的紅外目標檢測方法[J].光子學報, 2013,42(7):839-844.)

[14] SHAFER G,LOGAN R.Implementing Dempster’s Rule for Hierarchical Evidence[J].Artificial Intelligence,1987, 33(3):271-298.

[15] DEMPSTER A P.Upper and Lower Probabilities Induced by Multivalued Mapping[J].Annals of Mathematical Statistics,1967,38(2):325-339.

[16] ZHANG Hao.Research and Application of Image Edge Feature Extraction Based on Multiple Information Fusion and Image Registration Technique[D].Hangzhou:Zhejiang University,2008.(張浩.多信息融合圖像邊緣特征提取及圖像配準研究與應用[D]杭州:浙江大學,2008.)

[17] SUN Ziwen,LI Hui,JI Zhicheng.Fusion Image Steganalysis Based on Dempster-Shafer Evidence Theory[J].Control and Decision,2011,26(8):1-5.(孫子文,李慧,紀志成.基于D-S證據理論的融合圖像隱寫分析[J].控制與決策, 2011,26(8):1-5.)

[18] WU Yan,JIAO Jingmei,YANG Xiaoli,et al.Segmentation Algorithm for SAR Images Based on Fusion of HMT in the Contourlet Domain and D-S Theory of Evidence[J].Acta Geodaetica et Cartographica Sinica,2011,40(2):148-155.(吳艷,焦驚眉,楊曉麗,等.基于Contourlet域HMT和D-S證據融合的SAR圖像分割[J].測繪學報,2011, 40(2):148-155.)

[19] MATAS J,CHUM O,URBAN M.Robust Wide Baseline Stereo from Maximally Stable Extremal Regions[C]∥Proceedings of BMVC 2002.Cardiff:BMVA,2002: 384-393.

[20] BRUNNER D,LEMOINE G,BRUZZONE L.Earthquake Damage Assessment of Buildings Using VHR Optical and SAR Imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(5):2403-2420.

(責任編輯:宋啟凡)

A Building Detection Algorithm Based on Feature Fusion in High Resolution SARImages

SU Juan1,ZHANG Qiang2,CHEN Wei1,WANG Jiping2
1.The Second Artillery Engineering University,Xi’an 710025,China;2.The Second Artillery Equipment Institute, Beijing 100083,China

A building detection algorithm based on feature fusion is proposed for high spatial resolution SAR images.Firstly,visual attention model is constructed on the basis of great difference between buildings and backgrounds,and used to segment the ROIs of buildings.Secondly,bright lines and shadow regions are extracted in the segmented ROIs.Finally,D-S evidence theory is used to fuse the focuses of attention,bright lines and shadow regions,and then the buildings are detected.Experimental results demonstrate that,the proposed algorithm has high detection accuracy for rectangular buildings in SARimages.Key words:SAR image processing;building detection;visual attention model;D-S evidence theory;feature fusion

SU Juan(1973—),female,PhD, associate professor,majors in remote sensing image processing and pattern recognition.

TP751

A

1001-1595(2014)09-0939-06

國家自然科學基金(61302195;61132008)

2013-02-14

蘇娟(1973—),女,博士,副教授,主要研究方向為遙感圖像處理與模式識別。

E-mail:suj04＠m(xù)ails.tsinghua.edu.cn

SU Juan,ZHANG Qiang,CHEN Wei,et al.A Building Detection Algorithm Based on Feature Fusion in High Resolution SAR Images[J].Acta Geodaetica et Cartographica Sinica,2014,43(9):939-944.(蘇娟,張強,陳煒,等.高分辨率SAR圖像中建筑物特征融合檢測算法[J].測繪學報,2014,43(9):939-944.)

10.13485/j.cnki.11-2089.2014.0162

修回日期:2014-03-15