Faster-RCNN和Level-Set結(jié)合的高分遙感影像建筑物提取

左俊皓，趙 聰，朱曉龍，任洪娥,2*

(1. 東北林業(yè)大學(xué) 信息與計算機(jī)工程學(xué)院，黑龍江 哈爾濱150040；2. 黑龍江省林業(yè)智能裝備工程研究中心，黑龍江 哈爾濱 150040)

1 引 言

近些年來，科學(xué)研究從高分辨率遙感影像獲取更加精細(xì)豐富的影像信息。在遙感影像的各類地物信息中，其中建筑物提取是城市高分辨率遙感影像的主要應(yīng)用研究之一。建筑物的分布以及對目標(biāo)建筑物的提取包含許多信息，提取遙感影像中的建筑物是遙感圖像解譯中的重要研究課題之一。由于建筑物在結(jié)構(gòu)和定位信息上特征明顯，適合采用深度學(xué)習(xí)自動提取其空間特征，所以利用深度學(xué)習(xí)算法在遙感影像中快速自動地提取建筑物十分具有現(xiàn)實意義，并且可以為城市規(guī)劃管理提供一定的指導(dǎo)意見，從而推進(jìn)數(shù)字城市的建設(shè)。

目前，國內(nèi)外對于遙感圖像建筑物提取進(jìn)行了很多研究。單一的基于像元的信息提取方法不能充分利用高分遙感影像信息豐富的優(yōu)勢[1]，因此存在很大的應(yīng)用局限。針對高分影像的特點，Baatz M和Schape A提出將圖像分割技術(shù)應(yīng)用到遙感影像領(lǐng)域，即為面向?qū)ο蟮挠跋穹治龇椒╗2]。Taejung Kim等通過邊緣線段尋找可以建筑物構(gòu)成的目標(biāo)線段，從而提取出建筑物，但是該算法存在時間代價和誤差較大的問題[3]。Karantzalos[4]提出建筑物形狀模型結(jié)合建筑物自身幾何屬性，結(jié)合水平集分割算法，取得較好的建筑物提取結(jié)果；梁華等[5]利用深度學(xué)習(xí)技術(shù)對航空影像對地面目標(biāo)進(jìn)行檢測；周筑博等[6]利用深度卷積神經(jīng)網(wǎng)絡(luò)對輸電線路的可見光圖像進(jìn)行目標(biāo)檢測。

高分辨率遙感影像單類目標(biāo)識別算法需要具有夠快速準(zhǔn)確地識別出盡可能多的目標(biāo)的特點和一定程度的泛化能力。針對在高分辨率遙感影像單類目標(biāo)識別問題中存在的部分問題，本文提出了一種由粗到精的目標(biāo)識別算法。首先，使用Faster-RCNN網(wǎng)絡(luò)下的VGG16模型代替 Level-Set算法中人工確定初始輪廓的步驟，在高分辨率遙感影像上快速提取一定的候選目標(biāo)區(qū)域，可以視作目標(biāo)的粗略識別過程。然后，利用Level-Set算法對候選目標(biāo)區(qū)域精細(xì)的提取，該過程是對粗略識別結(jié)果的進(jìn)一步精細(xì)處理，是目標(biāo)的精細(xì)識別過程。

2 研究技術(shù)與方法

傳統(tǒng)水平集方法存在初始輪廓線必須包含目標(biāo)物體或完全置于目標(biāo)的內(nèi)部(或外部)，并且初始輪廓的確定受人為因素影響較大等問題。本文提出Faster-RCNN框架下的VGG16的模型和Level-Set算法結(jié)合，來解決Level-Set算法中圖像分割結(jié)果初始輪廓受人為標(biāo)記框選的影響較大的問題，利用Faster-RCNN模型確定初始化輪廓，再對初始輪廓進(jìn)行精細(xì)化分割。

2.1 Faster-RCNN

遙感影像包含信息量大、背景環(huán)境復(fù)雜，而單類目標(biāo)在影像中所占比例較小。傳統(tǒng)的區(qū)域生成算法雖然能夠粗略提取感興趣區(qū)域，但該感興趣區(qū)域中包含大量冗余的背景信息。與需求提取的目標(biāo)信息有著一定的出入，這些背景區(qū)域?qū)τ谶M(jìn)一步的分析研究有著很大的干擾。而本文利用Faster-RCNN粗提取目標(biāo)建筑物的輪廓，只需要簡單的特征提取和分類器就能判斷出是否包含目標(biāo)，為之后的精細(xì)化分割做準(zhǔn)備。

Faster-RCNN是把整張高分影像進(jìn)行歸一化處理后直接傳入CNN，并在之后的卷積層輸出的feature map上，添加相應(yīng)的候選框信息，這樣使得之前的CNN運算結(jié)果得以共享。此種算法的特點之一是對每張圖像CNN特征和建議區(qū)域都一次性提取完畢，訓(xùn)練數(shù)據(jù)之接存儲在GPU內(nèi)存中的Loss層，因此候選區(qū)域的計算過程中，前幾層特征不需要再重復(fù)計算而且不再需要在硬盤中存儲大量實驗數(shù)據(jù)，這一優(yōu)點使其非常適用于解決大量樣本中的快速分類問題。

Girshick[7]提出主要應(yīng)用于目標(biāo)檢測的Faster-RCNN模型，該模型特點是將特征提取、分類等問題統(tǒng)一集中在一個網(wǎng)絡(luò)模型中，由此開辟了候選框選取的新方向，與以往的滑動窗口和金字塔的辦法有不同，該方法對窗口采用1∶1，1∶2，2∶1三種比例進(jìn)行選取候選框，提高檢測準(zhǔn)確率并加快了檢測速度。

Faster-RCNN是一種深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法，結(jié)構(gòu)如圖1所示。Faster-RCNN主要分為RPN(Region Proposal Network和Fast-RCNN)兩大模塊。其中RPN模塊主要用于預(yù)測輸入的遙感影像中可能包含目標(biāo)的候選區(qū)域，也就是區(qū)分是目標(biāo)還是背景；而Fast- RCNN用劃分候選區(qū)域，并修正候選區(qū)域的邊界框即為檢測模塊。兩個模塊使用共享的卷積神經(jīng)網(wǎng)絡(luò)來提取感興趣目標(biāo)區(qū)域。

圖1 Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Faster-RCNN network structure

將待檢測的圖像輸入卷積層，通過卷積層計算之后得到該圖像對應(yīng)的feature maps，將原始圖片輸入RPN(并不是feature maps)，ROI池化層的作用是提取卷積層輸出的feature maps和RPN輸出的候選框特征塊，將上一步的結(jié)果輸入全連接層，全連接層將會進(jìn)行分類和回歸輸出結(jié)果。

卷積層由卷積函數(shù)、relu函數(shù)和池化層3部分構(gòu)成。其中卷積層的主要功能是提取輸入遙感影像的特征塊[8]。卷積核大小設(shè)定為3×3，進(jìn)行卷積運算之前需要對目標(biāo)影像進(jìn)行0值填充。假設(shè)輸入圖片大小是M×N，經(jīng)過填充之后大小變?yōu)?M+2)×(N+2),之后進(jìn)行卷積運算卷積操作后圖片大小變?yōu)镸×N。

(1)

第一步將RPN輸出的候選特征塊平移，平移使特征塊和目標(biāo)塊二者的中心點重合，即：平移只改變特征塊的中心點坐標(biāo)px和py，公式如下：

(2)

(3)

然后將RPN輸出的候選框特征塊縮放，使得輸入原始的初始輪廓經(jīng)過縮放得到一個跟目標(biāo)塊更接近特征塊，縮放改變特征塊的寬pw和高ph，公式如下：

(4)

(5)

最后通過對RPN輸出的候選特征塊進(jìn)行平移和縮放操作，從而回歸最接近標(biāo)定(Gx,Gy,Gw,Gh)是回歸的主要任務(wù)。

2.2 Level Set水平集方法

前一階段的Faster-RCNN對目標(biāo)輪廓的粗識別階段剔除了大量不包含目標(biāo)的背景區(qū)域，提取少量感興趣區(qū)域。但這些感興趣區(qū)域通常包含部分或者完整的待識別目標(biāo)，必須對粗識別結(jié)果進(jìn)行精細(xì)分割，才能對更復(fù)雜的特征加以區(qū)分。因此，在對高分遙感的提取目標(biāo)精細(xì)識別階段，對目標(biāo)粗識別的結(jié)果使用Level-Set算法精細(xì)分割，最終收斂到目標(biāo)建筑物邊界輪廓。該算法在抗噪性、魯棒性和分割精度3個指標(biāo)上都較傳統(tǒng)的圖像分割方法有優(yōu)勢。

傳統(tǒng)的Level-Set算法雖然已經(jīng)成為了一種重要的圖像分割方法，但仍然存在一些缺點: 例如確定初始輪廓受人為因素影響較大繼而影響實驗精度，迭代次數(shù)和權(quán)系數(shù)γ的值等不具有自適應(yīng)性[9]。

水平集方法(Level Set Method)由Osher和Sethain于1988年最早提出，早先用于計算火苗的外形變化過程[10]?；鹈缤庑问莿討B(tài)變化的并且其拓?fù)浣Y(jié)構(gòu)也在不斷變化，利用水平集方法解決[11]。

Level-Set的基本思想是將變換的曲線作為零水平集然后嵌入進(jìn)高一維的函數(shù)中，由高維曲面演化過程就可以推演出零水平界面的點的位置，就可以得到函數(shù)的演化方程。

(6)

(7)

在計算曲線變化方程中水平集函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)時，利用水平集函數(shù)的有限差分進(jìn)行計算。如定義6個有限差分算子：

(8)

將式(7)改成滿足“熵守恒”條件的有限差分迭代格式為：

(9)

(10)

(11)

這種差分方法就稱為迎風(fēng)有限差分法(Upwind finite differential method)[13]。

當(dāng)利用水平集方法分割圖像時，需要設(shè)置速度函數(shù)，用以確保零水平集曲線演化到圖像邊界時能夠恰好停止。通常，可將式(6)中的速度函數(shù)F寫成如下形式：

F=Fprop+Fcurv+Fodv，

(12)

其中，F(xiàn)curv=-εk表示曲率演化速度，F(xiàn)prop=Vo為常量演化速度，F(xiàn)odv=U·N表示水平對流速度，U=(u(x,y,t),v(x,y,t))。因此，式(11)可改寫為：

(13)

通過解算上述差分方程式，利用迭代時刻更新水平集函數(shù)，更新完成之后再利用輪廓檢測方法獲得最新的零水平集，最終得到了的閉合輪廓線[14]。

2.3 數(shù)據(jù)集及預(yù)處理

本文選用IAILD數(shù)據(jù)集作為研究數(shù)據(jù)集。其中每幅遙感影像是覆蓋地理面積為405平方公里，空間分辨率為0.3 m的航空正射高分辨率遙感影像 。這些高分遙感影像覆蓋了不同的城市居民點，從人口稠密地區(qū)到郊區(qū)鄉(xiāng)村人口密度較小的地區(qū)。IAILD數(shù)據(jù)集具有180張5 000×5 000像素高分遙感影像，并提供了相應(yīng)的掩碼圖片，如圖2所示。

圖2 芝加哥地區(qū)部分遙感影像Fig. 2 Partially remotely sensed images of the Chicago area

由于原始圖片尺寸過大，直接使用進(jìn)行目標(biāo)建筑提取會造成內(nèi)存溢出等一系列的問題。因此，我們對每幅遙感影像進(jìn)行分割，調(diào)整成為500×500像素大小的影像。最終，將圖片以2∶1∶1的比例分成3個數(shù)據(jù)集，得到了訓(xùn)練集(2 500張)、驗證集(1 250張)、測試集(1 250張)。

3 實驗步驟

3.1 利用Faster-RCNN網(wǎng)絡(luò)模型的測試結(jié)果確定初始輪廓

在目標(biāo)建筑的粗提取階段，采用Faster-RCNN網(wǎng)絡(luò)下的VGG16模型對目標(biāo)區(qū)域進(jìn)行提取，過程如圖3所示。

圖3 Faster-RCNN網(wǎng)絡(luò)模型Fig.3 Faster-RCNN network model

(1)RPN網(wǎng)絡(luò)訓(xùn)練。

該網(wǎng)絡(luò)使用ImageNet預(yù)訓(xùn)練的模型進(jìn)行初始化，然后利用訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練中，利用零均值標(biāo)準(zhǔn)差為0.01的高斯分布隨機(jī)初始化所有新的圖層，訓(xùn)練為模型M1。下一步使用M1生成建議區(qū)域P1。

(2)Fast-RCNN 檢測網(wǎng)絡(luò)訓(xùn)練。

Fast-RCNN檢測網(wǎng)絡(luò)利用ImageNet預(yù)訓(xùn)練的網(wǎng)絡(luò)初始化Fast-RCNN模型，使用第一步RPN生成的建議區(qū)域P1得到訓(xùn)練模型M2。

(3)聯(lián)合調(diào)優(yōu)

RPN和Fast-RCNN兩者都需要一個原始特征提取網(wǎng)絡(luò)[15]。利用上一步的網(wǎng)絡(luò)訓(xùn)練得到的檢測網(wǎng)絡(luò)初始化區(qū)域的生成網(wǎng)絡(luò)。用M2初始化RPN訓(xùn)練的得到模型M3，并生成建議區(qū)域P2。接下利用M3以及P2訓(xùn)練Fast-RCNN得到最終模型M4，不同的是這一階段的訓(xùn)練固定了共享的卷積層的參數(shù)，只微調(diào)區(qū)域生成網(wǎng)絡(luò)的全連接層。由以上訓(xùn)練可知，RPN和Fast-RCNN最終可共用同一個卷積神經(jīng)網(wǎng)絡(luò)，結(jié)果使得整個提取識別過程轉(zhuǎn)換為既定的卷積運算，即可完成檢識提取過程，構(gòu)生成一個統(tǒng)一的網(wǎng)絡(luò)，徹底解決了以前存在的時間長開銷大的瓶頸問題。每一階段的迭代次數(shù)如表1所示。

表1 Faster-RCNN各階段迭代次數(shù)

Tab.1 Number of iterations of each phase of Faster-RCNN

訓(xùn)練階段網(wǎng)絡(luò)迭代次數(shù)1RPN40 0001Fast-RCNN20 0002RPN40 0002Fast-RCNN20 000

3.2 改進(jìn)的距離保持水平集算法

3.2.1 確定初始輪廓曲線

因為在水平集算法中，活動輪廓只能根據(jù)符號進(jìn)行單向演變，而初始化曲線必須全包圍目標(biāo)區(qū)域或者位于目標(biāo)區(qū)域外部[16]。本文采用了Faster-RCNN網(wǎng)絡(luò)模型測試出來的結(jié)果來確定建筑物的初始輪廓曲線，在這一步驟中提高了Level-Set算法的精度。

3.2.2 自適應(yīng)控制水平集演化

由于距離保持水平集的中值是固定值，這將導(dǎo)致零水平集在捕捉目標(biāo)輪廓和不發(fā)生邊界泄漏兩方面無法兼顧。自適應(yīng)控制演化停止距離保持水平集方法的迭代次數(shù)是固定值，如果設(shè)定的迭代次數(shù)偏少時，圖像將出現(xiàn)還沒有分割完成但是迭代就已經(jīng)停止，不能達(dá)到對目標(biāo)的合理分割效果; 當(dāng)設(shè)定的迭代次數(shù)較多時，對目標(biāo)的分割已經(jīng)完成，但是零水平集卻還在進(jìn)行冗余的演化，等于增加了程序運行的時間成本。本文提出的解決方法是檢測相鄰 10 個的初始輪廓曲線對應(yīng)的系數(shù)值，假設(shè)這 10個值的方差小于某一設(shè)定的閾值，則迭代停止。

3.2.3 結(jié)合Level-Set算法實現(xiàn)圖像精細(xì)化分割

從圖4可以看出，利用Faster-RCNN分割出的建筑物還有一些小的瑕疵，過擬合、識別率低、無法精確到輪廓、有一小塊區(qū)域建筑物部分，在分割的時候漏掉了。因此，本文結(jié)合Level-Set法，對前文利用Faster-RCNN分割出的建筑物輪廓再次進(jìn)行精細(xì)分割。具體步驟如下:

(1)選取適量的輪廓進(jìn)行測試，確定收斂所需要的迭代次數(shù)以及能量參數(shù)。

(2)將初試區(qū)域信息保存到表格中，按行分類，方便批量讀取。

(3)編寫批處理程序，每次循環(huán)讀取表格中一個框區(qū)域，并根據(jù)參數(shù)進(jìn)行收斂，收斂完畢后記錄區(qū)域。

(4)完成全部收斂后進(jìn)行區(qū)域合并。

圖4 使用Faster-RCNN網(wǎng)絡(luò)模型訓(xùn)練后的測試結(jié)果Fig.4 Test results after training using the Faster-RCNN network model

4 實驗結(jié)果與算法評價

本文方法在高分遙感影像上進(jìn)行了多組實驗以驗證其分割效果。

實驗 1 中， 待分割影像是包含部分缺損的建筑物影像，建筑部分被遮擋且圖像受高斯噪聲干擾。 圖5(a)SVM方法由于僅考慮遙感影像自身的像素信息，無法將目標(biāo)檢測為建筑;圖5(b) K-Means方法對噪聲較敏感，提取了無意義的建筑物邊緣；圖5(c) 方法利用了Faster-RCNN框架下的VGG16模型進(jìn)行對建筑物的初步識別與提取，圖5(d) 使得輪廓曲線在向目標(biāo)邊緣運動的同時再利用Level-Set精細(xì)分割， 故Faster-RCNN框架與Level-Set算法結(jié)合可將被遮蓋的建筑物正確提取出來。實驗1表明: 由于利用Faster-RCNN提取建筑物的初始輪廓，使得本文方法可以更有效分割被遮蓋的目標(biāo)建筑物，并對噪聲魯棒。

圖5 實驗1：帶有噪聲的遙感部分建筑物缺損影像的分割結(jié)果Fig.5 Experiment 1：Segmentation result of building defect image of remote sensing part with noise

實驗 2 中，待分割影像為受樹木陰影遮擋的建筑物。 受背景中部分與目標(biāo)相近的深色像素影響，圖6(a)SVM方法提取了一些無意義的邊緣; 由于目標(biāo)被遮擋，圖5(b) K-Means方法僅考慮圖像的本身的像素信息，故無法正確分割出完整的目標(biāo)建筑物；圖6(c,d)方法集成了由粗到精的遙感影像單類目標(biāo)識別方法的優(yōu)點，并且利用Level-Set使得曲線的當(dāng)前形狀與建筑物輪廓盡量地靠近。故Faster-RCNN網(wǎng)絡(luò)模型與Level-Set算法結(jié)合可以將建筑物被遮蓋的部分正確分割。實驗 2表明: 本文方法能夠正確分割遙感影像中被樹木陰影遮擋的建筑物。

圖6 實驗2：對受樹木陰影遮擋的建筑物影像提取過程與結(jié)果Fig.6 Experiment 2：Image extraction process and results of buildings obscured by trees

實驗3中，待分割圖像建筑物因為光照而產(chǎn)生陰影遮擋，導(dǎo)致建筑物與背景更加難以區(qū)分。 圖7(a)SVM方法受到周邊建筑的干擾，無法準(zhǔn)確識別每一個建筑；圖7(b)方法也將建筑物的陰影當(dāng)作目標(biāo)建筑物的邊緣錯誤地分割；圖7(c,d)方法通過Faster-RCNN識別提取建筑物輪廓，Level-Set再進(jìn)行精細(xì)分割準(zhǔn)確的提取目標(biāo)建筑實驗 3 表明: 本方法能夠有效地分割遙感影像中被遮擋的目標(biāo)建筑物，受到背景中與目標(biāo)灰度值近似的像素的影響較小。

圖7 實驗3：待分割目標(biāo)的建筑物之間緊密連接影像提取過程與結(jié)果Fig.7 Experiment 3: The process and results of image extraction with close connection between buildings to be segmented

5 結(jié) 論

本文通過對圖像分割中的Level-Set算法以及Faster-RCNN框架下的VGG16的模型進(jìn)行研究，并給出了這兩者結(jié)合之后的建筑物提取模型。利用這兩者算法的結(jié)合對高分遙感影像進(jìn)行了建筑物提取實驗，并與傳統(tǒng)的遙感影像提取方法作比較，結(jié)果顯示本文所提出的結(jié)合Faster-RCNN框架下的VGG16的模型的Level-Set算法對于高分遙感影像的建筑物提取效果較好，解決了Level-Set算法中圖像分割結(jié)果初始輪廓受人為標(biāo)記框選的影響較大以及Faster-RCNN框架無法精確提取目標(biāo)輪廓的問題。實驗表明在提取被遮蓋目標(biāo)建筑物和與背景灰度值相近的取建筑物時，該方法能夠更好地完成對目標(biāo)的提取分割。能夠?qū)崿F(xiàn)只需將高分遙感影像數(shù)據(jù)集輸入到訓(xùn)練好的網(wǎng)絡(luò)模型中，即可提取建筑物的輪廓，具有高效以及精準(zhǔn)的特點。