多星形約束圖割與輪廓規(guī)則化的高分遙感影像直角建筑物提取

丁亞洲，馮發(fā)杰，吏軍平，胡 艷，崔衛(wèi)紅

1. 湖北省電力勘測設(shè)計院有限公司，湖北 武漢 430000； 2. 西安科技大學(xué)測繪學(xué)院，陜西 西安 710000； 3. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430000

建筑物作為地理空間主要要素之一，在城市規(guī)劃與建設(shè)、變化檢測及人口密度估計等領(lǐng)域占據(jù)重要地位。高分遙感影像能更清楚地反映面狀地物的幾何、紋理等空間特征，可相對精確地描述地物，這使得利用高分遙感影像對建筑物進行精確提取成為可能[1-3]。目前，根據(jù)人工參與程度可將高分遙感影像建筑物提取方法分為自動和半自動提取。自動提取方法多基于建筑物的邊緣、角點及陰影特征。文獻[4]提出了一種結(jié)合邊緣保護、雙邊濾波和直線檢測提取建筑物的方法，通過檢測影像上的線段，并進行連接得到建筑物輪廓。文獻[5]基于建筑物的陰影特征，先檢測建筑物和植被陰影，保留建筑物陰影，再根據(jù)陰影位置確定建筑物位置，最后結(jié)合超像素分割、合并及線段檢測得到建筑物輪廓。文獻[6]提出了一種結(jié)合圖像分割和角點檢測的建筑提取方法，先利用Graph Cuts方法獲取建筑物圖斑，再檢測建筑物拐角點，連接拐角點獲取建筑物。然而，這些方法僅適用于提取形狀簡單且輪廓清晰的建筑物。文獻[7]提出了一種利用差分形態(tài)學(xué)剖面構(gòu)建形態(tài)學(xué)建筑物指數(shù)自動提取高分辨率遙感影像建筑物的方法，且進一步優(yōu)化了該方法[8-9]。文獻[10]基于深度學(xué)習(xí)方法自動提取影像上的建筑物，但該方法在建筑物準確輪廓和復(fù)雜建筑物提取方面還有待進一步提高。

由于遙感影像包含的地物復(fù)雜多樣、建筑物類型較多，以及建筑物受噪聲、遮擋、陰影、低對比度的影響，自動提取建筑物的方法難以實現(xiàn)較高的提取精度。實際上一些學(xué)者提出的半自動提取建筑物方法取得了更好的效果。文獻[11]提出了一種交互式半自動提取高分辨率遙感影像上建筑物的方法，先指定建筑物中心，再采用徑向投射算法獲取Snake初始化輪廓，最后得到建筑物真實輪廓。文獻[12]結(jié)合Snake模型和動態(tài)規(guī)劃方法，在房角處指定幾個種子點，即可提取建筑物輪廓。文獻[13]提出一種結(jié)合影像分割和區(qū)域合并的半自動提取建筑物的方法,先利用Mean Shift方法將包含建筑物的影像圖塊分割成一些小區(qū)域，再基于人工交互合并相似區(qū)域得到建筑物輪廓。文獻[14]結(jié)合幾何約束和影像分割實現(xiàn)直角平頂房屋的半自動提取。然而上述方法針對復(fù)雜建筑物，不僅交互復(fù)雜且不能保證提取精度，因此提取復(fù)雜形狀和紋理的建筑物仍然是目前亟待解決的難題。隨著圖割優(yōu)化方法的發(fā)展，許多學(xué)者將形狀先驗信息作為約束項融入圖割優(yōu)化框架，以提高分割結(jié)果的準確性[15-16]。文獻[17]將橢圓形狀約束加入圖割模型中，文獻[18]將凸形狀約束加入圖割模型中，文獻[19]提出一種單星形先驗的圖割方法。文獻[20]將單星形擴展為多星形，并引入Graph Cuts模型中。已有一些學(xué)者將形狀約束加入圖割中用于道路和建筑物的提取。文獻[21]提出了一種基于先驗形狀約束水平集模型的建筑物提取方法，將多個先驗形狀競爭模型引入水平集方法中,利用先驗形狀來約束曲線的演化,在對圖像進行分割的同時完成建筑物的檢測和提取。文獻[22]提出了一種結(jié)合形狀先驗的圖割和動態(tài)外推思路自動提取高分遙感影像上道路的方法。

基于上述分析，由于高分遙感影像上絕大多數(shù)建筑物具有直角結(jié)構(gòu)和星形形狀特征，因此本文在人工交互獲得目標前景與背景的基礎(chǔ)上，結(jié)合多星形約束的Graph Cuts模型和輪廓規(guī)則化方法，提取高分遙感影像上的直角建筑物，以實現(xiàn)在建筑物上簡單交互即可快速準確地提取建筑物輪廓。

1 研究方法

本文基于分割獲取建筑物圖斑以及與建筑物方向一致的邊緣直線，通過連接直線交點得到建筑物準確輪廓。該方法主要分為人工交互、影像預(yù)處理、建筑物圖斑獲取和圖斑規(guī)則化4步，具體流程如圖1所示。首先，通過人工交互，在原始影像的目標建筑物上畫種子線確定目標建筑物的大致范圍，獲取包含目標建筑物的影像圖塊；其次，通過雙邊濾波對影像塊進行預(yù)處理，并探測建筑物主方向；再次，用SLIC超像素分割方法對預(yù)處理后的影像塊進行超像素分割，根據(jù)種子線得到目標候選前景與背景超像素，用多星形約束的圖割方法獲取建筑物圖斑；最后，利用Harris算子檢測建筑物圖斑上的角點，并對角點進行分組擬合，將擬合的直線旋轉(zhuǎn)至建筑物主方向，連接直線交點得到規(guī)則的直角建筑物。

圖1 建筑物提取過程Fig.1 The framework of building extraction

1.1 人工交互

本文方法需人工在建筑物上指定種子線得到目標建筑物大致位置與范圍，對種子線有兩點要求：①種子線盡量處于建筑物的中間位置；②種子線外包矩形長度應(yīng)當長于建筑物的2/3。如圖2所示，綠色線為人工交互的種子線，Wseed和Hseed分別為種子線外包矩形S1的寬和高，O為S1的中心。建筑物的大致范圍S2是一個以O(shè)為中心，邊長為2×max(Wseed,Hseed)的正方形。根據(jù)目標建筑物的大概范圍，選取以O(shè)為中心，邊長為2.5×max(Wseed,Hseed)的正方形區(qū)域S3作為包含目標建筑物的影像圖塊。

圖2 建筑物大致位置與范圍Fig.2 The approximate location of the building

1.2 影像預(yù)處理

由于高分遙感影像上的大量噪聲降低了影像質(zhì)量，因此對影像預(yù)處理是必不可少的。雙邊濾波[23]是一種簡單有效的非線性濾波方法，與傳統(tǒng)的高斯濾波器相比，其考慮了圖像的空域信息和灰度相似性，因此能夠達到保邊去噪的目的。以BF代表雙邊濾波的運算，其定義如式(1)所示

(1)

式中，Wp是一個標準量，如式(2)所示

(2)

式中，σd和σr分別控制空間域和亮度域特征；

Gδd是一個空間函數(shù)，用于減少遠距離像素影響；Gδr是一個范圍函數(shù)，用于減少灰度值不同于Ip的像素q的影響。本文利用雙邊濾波對影像圖塊進行預(yù)處理，σd和σr分別取10和30，以圖3(a)為例，濾波結(jié)果如圖3(b)所示。

圖3 雙邊濾波器預(yù)處理結(jié)果Fig.3 Result of bilateral filter prepocessing

1.3 獲取建筑物圖斑

1.3.1 SLIC超像素分割

利用超像素取代單個像素將有效降低圖像處理的復(fù)雜度。簡單線性迭代聚類算法(SLIC)[24]通過構(gòu)造一個由CIELAB顏色空間的[lab]值和像素坐標值[x,y]組成的五維特征參數(shù)，采用融合顏色相似度和像素空間位置鄰近程度的歸一化距離度量來對像素進行簡單線性局部聚類，從而得到一系列具有相似特征且不破壞影像邊界信息的均勻超像素。其算法簡單、耗時少且需用戶調(diào)節(jié)參數(shù)少。本文利用SLIC方法對預(yù)處理后的影像進行過分割得到超像素，再以人工交互所得種子線來確定目標候選前景與背景超像素。為使得過分割結(jié)果盡量準確，每個超像素大小設(shè)為10，如圖4(a)為均勻超像素，圖4(b)中的綠色線為種子線，將種子線所在的超像素作為前景，以1.1節(jié)中所得建筑物范圍矩形S2與影像塊邊界S3之間的超像素為背景，如圖4(c)中的紅色和藍色部分所示。

圖4 目標前景與背景獲取Fig.4 Obtain the foreground and background of the building object

1.3.2 星形形狀約束下建筑物圖斑獲取

星形形狀[19]即輪廓點對中心點可見，如圖5(a)所示，閉合曲線y為一個單點星形形狀例子。其中c是y的星形中心，p為y內(nèi)的任意一點，c與p連線Γc,p上的任意點q仍在y內(nèi)。即若用1和0分別標記目標前景與背景，那么根據(jù)定義可知，如果Lp=1，有Lq=1。則定義在c上的星形形狀約束的能量函數(shù)表示如式(3)所示

(3)

圖5 星形形狀約束Fig.5 The star shape constraint

由于單星形形狀約束只能處理凸形狀的目標，文獻[20]對該模型進行了改進，將一個星形中心改為具有多個中心的集合O，并將單條直線Γc,p擴展為O與p連線的集合ΓO,p。多點星形形狀即該輪廓上的點至少被一個中心點可見，如圖5(b)所示，y為一個多星形形狀，其中c1、c2分別為星形形狀中心，p點對于c1可見但對于c2不可見，因此該多邊形形狀屬于以{c1,c2}為中心的星形形狀?？梢姸嘈切芜m于形狀復(fù)雜圖形分割，多星形約束的能量函數(shù)如式(4)所示

(4)

圖割即對像素點進行標號的過程[25]，其核心是設(shè)計能量最小函數(shù)，并基于最大流最小割優(yōu)化理論，運用圖映射和網(wǎng)絡(luò)流知識，通過加權(quán)圖的最小割來實現(xiàn)全局優(yōu)化下的前景提取，能量函數(shù)為式(5)[26]

(5)

式中，L={Lp|p∈P}表示圖像P的標記；Lp∈{0，1}；N為圖像中所有鄰接像素對組成的邊集合；Dp(Lp)為數(shù)據(jù)項，表示像素p取標記Lp的代價；Vp,q(Lp,Lq)為邊界項，表示相鄰像素p、q分別取Lp、Lq的代價。

對于絕大多數(shù)建筑物而言，通過簡單交互，很容易保證建筑物是關(guān)于種子線的星形形狀，即使是對于特別復(fù)雜的建筑物也可通過添加多個中心保證建筑物具有多星形形狀。因此本文采用基于多星形約束的圖割模型，能量函數(shù)表達為式(6)

λE*(y|O)

(6)

式(6)是在式(5)的基礎(chǔ)上增加多星形約束項E*(y|O)得到的，其中，γ、λ為平衡系數(shù)。

1.4 建筑物主方向探測

EDLines[27]是一種自動、快速且無需任何參數(shù)調(diào)整，能夠準確提取影像上直線的直線檢測算法。本文利用EDLines檢測到的直線線段方向直方圖確定建筑物的主方向。由于建筑物有復(fù)雜背景，導(dǎo)致很多無關(guān)直線對建筑物主方向的確定造成干擾，因此需要進一步確定建筑物的準確位置。本文在獲取建筑物圖斑后，利用圖斑的外接矩形獲取建筑物更準確的位置，如圖6(a)上的藍色矩形，(b)上藍色矩形以內(nèi)的圖塊作為建筑物的準確位置。然后利用EDLines提取(b)中矩形內(nèi)部影像上的線段L=(l1,l2,…,ln)，如圖6(c)上的紅色線段；再將種子線中點作為建筑物的中心，計算影像上所有線段中點到建筑物中心的距離，根據(jù)提取的線段距離建筑物中心越近則位于建筑物上的概率越大的原則，利用距離值對線段賦權(quán)值，如圖6(d)為影像上所有像素點到建筑物中心的歸一化距離，稱其為種子線距離圖。線段方向直方圖取值方式和建筑物主方向計算方式分別如式(7)和式(8)所示

(7)

θM=arg max(nθ+nθ+90)θM∈[0,90]

(8)

式中，θ∈[0,180)表示線段方向，同時也代表直方圖橫軸；nθ是直方圖方向值為θ處的強度；li表示一條線段；Len(li)表示線段li的長度；D(xli,yli)表示線段li的中點到建筑物中心的歸一化距離值；θM為建筑物主方向。通過上述計算，分別得到圖6(e)所示的線段方向直方圖與圖6(f)所示的建筑物主方向。

圖6 建筑物主方向探測Fig.6 Detection of main direction of building

1.5 圖斑規(guī)則化

由于僅通過圖割得到的建筑物并不是規(guī)則的建筑物，其邊緣線條不夠平滑，不滿足建筑物為規(guī)則形狀的特點，因此有必要對獲取的建筑物圖斑進行規(guī)則化處理，以得到準確的建筑物輪廓。本文利用Harris角點檢測算法[28]提取建筑物圖斑上的角點，然后依次經(jīng)過角點分組、直線擬合與直線旋轉(zhuǎn)相交3個步驟得到建筑物輪廓。首先進行角點檢測(圖7(a)中的綠色點)，采用每個角點與其距離最近的初始輪廓點的次序，對角點進行排序；然后利用角度閾值對檢測到的角點分組，再對每組角點進行直線擬合(圖7(b)中的綠色線)，最后將擬合直線旋轉(zhuǎn)至與建筑物主方向一致或垂直方向(圖7(c))，連接相鄰直線交點(圖7(c)中的紅色點)得到建筑物輪廓(圖7(d))。具體步驟如下：

(1) 對建筑物圖斑輪廓上的點Ni按照順時針進行編號，每個點的編號為i(i=0,1,2,…,N-1)；

(2) 計算每個角點到建筑物圖斑輪廓上點Ni的歐氏距離di，若dj最小,則角點標號為j；

(3) 按照角點標號順序?qū)λ械慕屈c進行排列得到有序的角點；

(4) 利用余弦定理計算相鄰3個角點連線的夾角，根據(jù)角度閾值得到建筑物的近似拐角點，將相鄰拐角點之間的點分為一組，完成對角點分組；

圖7 圖斑規(guī)則化過程Fig.7 The procedure of regulating building

(5) 采用最小二乘方法對每組角點擬合得到直線，將直線旋轉(zhuǎn)至建筑物主方向或垂直于建筑物主方向；

(6) 依次連接相鄰直線的交點，獲得建筑物外輪廓。

2 試驗結(jié)果與分析

為比較本文方法的有效穩(wěn)健性，分別選取兩個不同地區(qū)不同分辨率的高分辨率航空影像來進行試驗分析，原始影像如圖8所示，其中，數(shù)據(jù)1的空間分辨率為0.2 m，該地區(qū)位于廣東省的惠州市，區(qū)域內(nèi)房屋相對獨立，且大部分為直角建筑物(圖8(a))。數(shù)據(jù)2來源于國際攝影測量與遙感協(xié)會(ISPRS)，其空間分辨率為9 cm(圖8(b))。兩幅影像分別選取了82和57棟直角建筑物來定量評價本文方法，通過人工手動勾繪獲取建筑物輪廓真值。

圖8 試驗原始影像Fig.8 Original imageries

選取常用的兩種交互式算法GrabCut[29]及OneCut[30]與本文方法作定性和定量評價對比，為獲取更好的結(jié)果，GrabCut算法迭代次數(shù)設(shè)為5次，OneCut算法中的直方圖設(shè)置為64級。本文采用常用的評價指標，準確率(Precision)、召回率(Recall)和F1值(F1-measure)來定量評價3種方法的提取結(jié)果，3個指標的定義為

(9)

(10)

(11)

式中，Sauto為算法提取結(jié)果的總像素；Smanual為人工勾選的建筑物真值像素總數(shù)；Sauto∩manual為Sauto與Smanual匹配的總像素。

對兩種數(shù)據(jù)上的建筑物提取結(jié)果分別如圖9、圖10所示。其中圖9(a)、圖10(a)中綠色標記為建筑物真值，(b)、(c)和(d)分別為GrabCut、OneCut及本文方法提取結(jié)果，兩幅影像上提取差異較為明顯的建筑物分別用藍色和黃色圈標記。由圖9的試驗結(jié)果可知對于矩形形狀、與背景差異明顯的建筑物，3種方法提取結(jié)果均較好，但對于復(fù)雜形狀，與周圍背景差異小的建筑物，本文方法明顯優(yōu)于其他兩種方法。由于數(shù)據(jù)2的分辨率較高，絕大多數(shù)建筑物為矩形形狀且其輪廓較為清晰，因此圖10中GrabCut與OneCut方法提取結(jié)果也較好。

為使得本文方法與其他方法具有更加明顯的對比性，圖11列出了3種方法對數(shù)據(jù)1中部分建筑物提取結(jié)果的對比示意圖。由于OneCut分割模型應(yīng)用直方圖取代GrabCut的高斯混合模型(GMM)計算前景背景，同時在圖割模型中引入了一些輔助節(jié)點使得分割結(jié)果更加準確，OneCut提取結(jié)果優(yōu)于GrabCut。從試驗結(jié)果上可以看出，多星形形狀約束分割與本文規(guī)則化方法在建筑物提取上的有效性。

圖9 數(shù)據(jù)1的3種方法提取結(jié)果對比Fig.9 The extraction results comparison of the three methods on the first aerial imagery

表1為兩幅影像上所有建筑物提取結(jié)果的平均F1值和平均處理時間，其中本文方法對兩幅影像上建筑物提取精度分別為92.4%和92.7%，相對于GrabCut和OneCut方法提取精度更高，這表明將形狀約束集成在圖割中能夠提高分割精度。在多星形形狀約束分割前對影像進行過分割，大大減少了計算量。本文方法提取每個建筑物的平均時間在0.6s左右，對于交互式分割而言這樣的耗時是可以接受的。從表1可以看出，GrabCut提取建筑物需要的時間最長，這是因為GrabCut需要迭代更新。而本文算法由于增加了形狀約束，使得速度比OneCut慢。圖12和圖13分別顯示了3種方法提取每個建筑物結(jié)果的F1值，顯然，本文方法提取結(jié)果的F1值波動較平緩，而GrabCut和OneCut方法波動幅度較大，這表明本文方法更穩(wěn)定。

表1 不同方法提取兩種數(shù)據(jù)建筑物的精度對比

圖10 數(shù)據(jù)2的3種方法提取結(jié)果對比Fig.10 The extraction results comparison of the three methods on the second aerial imagery

圖11 3種方法提取結(jié)果對比(數(shù)據(jù)1)Fig.11 The comparison of the three methods for some buildings on the first aerial imagery

圖12 數(shù)據(jù)1上建筑物提取結(jié)果的F1值Fig.12 The F1-measure of building extraction result of the first aerial imagery

圖13 數(shù)據(jù)2上建筑物提取結(jié)果的F1值Fig.13 The F1-measure of building extraction result of the second aerial imagery

3 結(jié) 論

本文在人工交互畫種子線的基礎(chǔ)上，結(jié)合多星形約束的圖割和輪廓規(guī)則化方法，實現(xiàn)了對高分辨率遙感影像上直角建筑物的交互式半自動提取。分別對兩幅不同地區(qū)和空間分辨率的遙感影像上的建筑物進行了提取試驗。結(jié)果表明，多星形形狀約束的圖割適用于建筑物提取，且能夠有效地提高分割精度，從而提高規(guī)則化精度。但本文方法基于圖割，且受建筑物背景干擾影響較大，若建筑物與周圍差異較小，輪廓不清晰，則導(dǎo)致建筑物圖斑提取不準確。為了獲取精確的建筑物輪廓，建議采用0.5 m以上分辨率的影像。同時，提出的規(guī)則化方法僅針對各種形狀的直角建筑物，故對于非直角建筑物，本文方法無法對其規(guī)則化。如何實現(xiàn)各種非直角建筑物的精確提取及規(guī)則化將是下一步開展研究的內(nèi)容。