利用經(jīng)典CNN網(wǎng)絡(luò)方法構(gòu)建貴陽市道路要素遙感影像自動(dòng)提取模型

佘佐明,申勇智,宋劍虹,向玉瑨

(貴陽市測(cè)繪院,貴州 貴陽 550000)

遙感衛(wèi)星數(shù)據(jù)及分析解譯初級(jí)成果在自然資源部門及其他相關(guān)業(yè)務(wù)領(lǐng)域中需求逐漸加大,在住房建設(shè)、礦業(yè)監(jiān)管、水土保持、生態(tài)修復(fù)、疫情防控等方面的應(yīng)用十分廣泛。筆者所在單位自2021年11月,在衛(wèi)星遙感解譯分析中開展了多個(gè)方面的研究與探索,包括地表礦區(qū)狀態(tài)信息發(fā)現(xiàn)、地表自然資源要素的變化監(jiān)測(cè)、城市“熱島效應(yīng)”,以及道路與水系等現(xiàn)狀要素的自動(dòng)、半自動(dòng)化提取等多個(gè)方面,通過解譯實(shí)現(xiàn)地表特征精細(xì)化量測(cè)及三維地物模型重建,更高效地掌握市區(qū)范圍的地表信息情況,建立解譯成果綜合數(shù)據(jù)庫,為下一步做好城市建設(shè)提供基礎(chǔ)數(shù)據(jù)支撐,為多類要素的快速查詢與分析提供科學(xué)依據(jù)。本文在道路要素自動(dòng)化解譯過程中,利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能技術(shù),自動(dòng)與半自動(dòng)化提取地理實(shí)體、地理場(chǎng)景數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行優(yōu)化處理,結(jié)合交通流數(shù)據(jù)完善道路等級(jí)屬性,實(shí)現(xiàn)地理實(shí)體的多粒度、多模態(tài)智能高效提取。

1 樣本數(shù)據(jù)源的建立

針對(duì)高分辨率遙感影像,人工解譯道路提取方法費(fèi)時(shí)費(fèi)力的問題,近幾年,利用深度學(xué)習(xí)提取地表各種矢量要素的方法大大提高了道路獲取和更新的效率[1],其中卷積神經(jīng)網(wǎng)絡(luò)方法是最為熱門的。但方法中各個(gè)環(huán)節(jié)的模型參數(shù)具有較大的可變性,對(duì)于不同分辨率、不同矢量要素、不同地表紋理特征,這種參數(shù)的模型和參數(shù)具有一定的范圍適應(yīng)性,通常為輸入源感知的網(wǎng)絡(luò)訓(xùn)練模型[2-3]。通過建立貴陽市區(qū)域有代表性的影像道路樣本集,確定深度學(xué)習(xí)模型且通過模型學(xué)習(xí)獲得參數(shù)。

數(shù)據(jù)源樣本包括兩個(gè)影像集。一個(gè)為影像道路集,命名為GY＿RoadSample,原始圖像分辨率為0.8 m,拍攝區(qū)域?yàn)橘F陽市觀山湖公園周邊約10 km2范圍,采集時(shí)間為2021年11月,拼接后的影像尺寸較大。因大尺寸的訓(xùn)練圖像在進(jìn)行訓(xùn)練時(shí)對(duì)硬件性能的要求較高,訓(xùn)練耗時(shí)也將更長(zhǎng)。因此在實(shí)踐中制作了標(biāo)準(zhǔn)尺寸的影像,將圖像切分成邊長(zhǎng)為64×64、128×128、256×256、512×512、1024×1024像素等大小的圖像,作為訓(xùn)練對(duì)象,每個(gè)訓(xùn)練圖像標(biāo)注時(shí),將道路覆蓋的像素賦值為255,剩余區(qū)域賦值為0,通過這種方法制成了道路訓(xùn)練Label集合[4-5]?？紤]到多個(gè)試驗(yàn)的驗(yàn)證效率,試驗(yàn)中使用了2173張訓(xùn)練圖像和163張驗(yàn)證圖像。另一個(gè)為一部分非正方形的影像道路集,命名為GY＿RoadSet,單個(gè)文件原始尺寸為1900×2300像素,由709張訓(xùn)練圖像和16張驗(yàn)證圖像組成。為了防止在訓(xùn)練過程中模型對(duì)某個(gè)特定區(qū)域的特征形成小范圍的適應(yīng)性聚集的情況,所有原始圖像和標(biāo)簽圖像均以隨機(jī)順序的方式排列,以降低試驗(yàn)中有序樣本產(chǎn)生的影響[6]。

2 CNN網(wǎng)絡(luò)道路提取模型

參考文獻(xiàn)[7—9]影像道路提取,在借鑒經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)結(jié)構(gòu)的基礎(chǔ)上設(shè)計(jì)了適用于貴陽市區(qū)域道路的識(shí)別模型?？傮w思路如圖1所示,在構(gòu)建過程中,主要考慮池化方式的確定、激活函數(shù)對(duì)比、網(wǎng)絡(luò)深度優(yōu)化和輸入尺寸選取4個(gè)方面的結(jié)果輸出、對(duì)比分析與參數(shù)調(diào)整。將之前建立的樣本數(shù)據(jù)集作為不同的數(shù)據(jù)源基礎(chǔ),針對(duì)以上4個(gè)方面分別進(jìn)行試驗(yàn)驗(yàn)證,根據(jù)各次試驗(yàn)的最優(yōu)結(jié)果選擇合理的運(yùn)算模型,并進(jìn)行參數(shù)集范圍的縮小與確定,最終形成適用于貴陽市區(qū)域的道路識(shí)別模型。試驗(yàn)采取識(shí)別到單條道路即為該道路識(shí)別成功(不考慮形狀匹配)的判斷方式。

圖1 深度學(xué)習(xí)道路提取模型的分解過程

(1)池化方式的確定。在CNN中,池化的目標(biāo)是降低特征的維度,且提取具有重要語義信息的特征。常用的典型池化方式有最大池化法和平均池化法。最大池化會(huì)忽視信息較少的特征,提取具有重點(diǎn)信息的特征作為輸出,從而達(dá)到關(guān)注重點(diǎn)特征的目的。當(dāng)特征圖中的信息都比較重要時(shí),平均池化能較平均地提取特征圖中的信息,較好地保留圖像的背景信息。由于道路形狀大都由線狀、面狀要素構(gòu)成,與其他線狀要素相比,粗細(xì)寬度較均勻,在不考慮背景干擾的情況下,只提取線條特征,即值最大的像素點(diǎn)能代表臨近的特征,在訓(xùn)練樣本GY＿RoadSample網(wǎng)絡(luò)算法時(shí)采用最大池化進(jìn)行特征提取。

(2)激活函數(shù)的選擇。深度學(xué)習(xí)模型結(jié)構(gòu)中,神經(jīng)網(wǎng)絡(luò)模型的任意兩層神經(jīng)元之間通常存在一個(gè)激活函數(shù),將線性輸入轉(zhuǎn)換為非線性輸入,使神經(jīng)網(wǎng)絡(luò)逐步逼近非線性函數(shù),從而擁有更強(qiáng)的特征表示能力。激活函數(shù)主要包含Sigmoid、Tanh、ReLU、LeakyReLU、RReLU、PReLU和ELU等。

在傳統(tǒng)的試驗(yàn)中,大多采用應(yīng)用廣泛的ReLU函數(shù)為激活函數(shù)。本文為了尋求最適合于貴陽道路網(wǎng)識(shí)別網(wǎng)絡(luò)的激活函數(shù),綜合考慮準(zhǔn)確率與計(jì)算量建立試驗(yàn),將各個(gè)激活函數(shù)分別應(yīng)用于神經(jīng)網(wǎng)絡(luò)中,卷積層數(shù)量設(shè)為16,數(shù)據(jù)集采用GY＿RoadSample,挑選10個(gè)大類和113個(gè)小類的數(shù)據(jù)源輸入,將各次試驗(yàn)獲得的分類準(zhǔn)確率對(duì)比,結(jié)果見表1。對(duì)于采取的數(shù)據(jù)范圍,使用上述激活函數(shù)所得到的分類準(zhǔn)確率均較高且差異較小,綜合評(píng)價(jià)最高的為L(zhǎng)eakyReLU函數(shù)。

表1 激活函數(shù)對(duì)比試驗(yàn)結(jié)果

最終獲得的激活函數(shù)準(zhǔn)確率如圖2所示。圖中粉色與綠色的曲線分別代表LeakyReLU和ReLU激活函數(shù),在測(cè)試過程中均獲得了非常高的分類準(zhǔn)確率,且表現(xiàn)最穩(wěn)定。綜合考慮推理時(shí)間和準(zhǔn)確率,試驗(yàn)將主要以LeakyReLU作為道路識(shí)別網(wǎng)絡(luò)的激活函數(shù)。

圖2 不同激活函數(shù)分類準(zhǔn)確率對(duì)比

(3)網(wǎng)絡(luò)深度的選擇。針對(duì)道路識(shí)別中CNN網(wǎng)絡(luò)的識(shí)別結(jié)果與最優(yōu)結(jié)果相差微小,考慮可能是由于層數(shù)少或經(jīng)典CNN網(wǎng)絡(luò)模型規(guī)模較小的原因[10]。因此,為探究網(wǎng)絡(luò)深度對(duì)道路網(wǎng)絡(luò)識(shí)別產(chǎn)生的影響,在隱藏層中,分別采用卷積層不同的網(wǎng)絡(luò)層數(shù)進(jìn)行試驗(yàn)。以按每次9層的方式遞增設(shè)定網(wǎng)絡(luò)深度,分別為16、25、34、43及52層。試驗(yàn)采用的數(shù)據(jù)集為GY＿RoadSample,采用留出法對(duì)訓(xùn)練集、測(cè)試集和驗(yàn)證集的數(shù)量進(jìn)行分配,比例為6∶2∶2,將劃分好的數(shù)據(jù)輸入到16、25、34、43及52層卷積層神經(jīng)網(wǎng)絡(luò)中,將各次訓(xùn)練的樣本批量數(shù)目Batchsize(單包大小)設(shè)置為16,結(jié)果見表2?？芍?參與試驗(yàn)的各種深度卷積神經(jīng)網(wǎng)絡(luò)差距較小,均獲得了較好的識(shí)別效果,分類準(zhǔn)確率均達(dá)99%以上,層數(shù)為16層時(shí)模型結(jié)果最優(yōu),在25個(gè)訓(xùn)練周期時(shí),分類準(zhǔn)確率達(dá)99.73%。

表2 網(wǎng)絡(luò)深度對(duì)比實(shí)驗(yàn)結(jié)果

如圖3所示,黑色曲線為16層時(shí)模型精度最高,結(jié)果表明,針對(duì)道路網(wǎng)絡(luò)的識(shí)別并不是網(wǎng)絡(luò)越深越好,隨著層數(shù)的增加,無論在測(cè)試集上還是驗(yàn)證集上,分類準(zhǔn)確率均存在下降的現(xiàn)象,反而卷積層數(shù)為16、25前后的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)比較適合。

圖3 不同深度卷積神經(jīng)網(wǎng)絡(luò)分類準(zhǔn)確率對(duì)比

(4)輸入尺寸的選擇。將GY＿RoadSample數(shù)據(jù)集按樣本數(shù)量隨機(jī)劃分為兩組:第1組數(shù)據(jù)的每個(gè)類別包含1000個(gè)樣本,地域無序排列;第2組數(shù)據(jù)的每個(gè)類別包含2000個(gè)樣本,地域無序排列。為了探討數(shù)據(jù)樣本數(shù)量及數(shù)據(jù)輸入尺寸對(duì)識(shí)別的影響,考慮設(shè)置32×32、64×64、128×128、256×256、512×512和1024×1024像素的幾種輸入尺寸。其中,256×256和512×512代表最接近真實(shí)原始數(shù)據(jù)樣本的分辨率。

采用的模型為15層的卷積神經(jīng)網(wǎng)絡(luò),數(shù)據(jù)集為GY＿RoadSet,按6∶2∶2的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,將包大小(Batchsize)設(shè)置為16,學(xué)習(xí)率設(shè)置為0.001,采用LeakyReLU作為激活函數(shù),訓(xùn)練20、25、30個(gè)周期。通過測(cè)試,結(jié)果見表3。

表3 輸入尺寸對(duì)比試驗(yàn)結(jié)果

結(jié)果顯示,雖然總體識(shí)別效果相差不大,但輸入尺寸對(duì)識(shí)別精度仍有影響,且1024×1024與64×64像素的輸入設(shè)置所得到的分類準(zhǔn)確率均不是最高,證明針對(duì)該網(wǎng)絡(luò)并不是輸入尺寸越大或越小識(shí)別效果越好。由表2可知,尺寸為128×128與512×512像素輸入得到的相對(duì)準(zhǔn)確率最高,顯示了以數(shù)據(jù)集平均寬高的尺寸作為輸入所得到的準(zhǔn)確率最優(yōu)?？蓪⑨槍?duì)于識(shí)別網(wǎng)絡(luò)模型的輸入尺寸定為128×128像素。經(jīng)過特征編碼后,可以得到較高級(jí)的特征圖像。

3 利用CNN網(wǎng)絡(luò)模型實(shí)現(xiàn)貴陽市道路要素提取

利用完成訓(xùn)練的網(wǎng)絡(luò)模型進(jìn)行道路提取,待預(yù)測(cè)數(shù)據(jù)采用數(shù)據(jù)源為:2020年1月至2021年9月時(shí)間段的北京二號(hào)、高分二號(hào)、高分七號(hào)、高景一號(hào)數(shù)據(jù),其分辨率為0.8、0.8、0.65、0.5 m的貴陽市全域衛(wèi)星遙感影像數(shù)據(jù),覆蓋范圍為貴陽市主要區(qū)域,面積約為8500 km2,由貴州省自然資源衛(wèi)星應(yīng)用技術(shù)中心提供,數(shù)據(jù)經(jīng)過輻射定標(biāo)、大氣校正與正射校正、數(shù)據(jù)配準(zhǔn)等預(yù)處理,且變化監(jiān)測(cè)實(shí)施前的數(shù)據(jù)為具有相同的投影坐標(biāo)系、不同時(shí)期的兩版鑲嵌影像數(shù)據(jù)。

為避免客觀因素干擾,通過CNN網(wǎng)絡(luò)模型實(shí)現(xiàn)貴陽市道路要素提取,采用硬件配置為:處理器為32核心英特爾處理器,主頻為2.16 GHz,型號(hào)為Xeon系列Silver 4216;內(nèi)存為運(yùn)行帶寬2400 MHz,共計(jì)256 GB;圖形硬件顯卡共計(jì)4個(gè),型號(hào)為NVIDIA Quadro RTX 4000 8+128 GB。待提取影像數(shù)據(jù)為2020年1月至2021年9月,分辨率為0.8 m的貴陽市全域衛(wèi)星遙感影像鑲嵌成果數(shù)據(jù),覆蓋面積約8500 km2。將模型預(yù)測(cè)概率閾值設(shè)為0.35,并自動(dòng)剔除50×50像素的碎小圖斑。

利用CNN網(wǎng)絡(luò)模型提取貴陽市道路要素,按照待提取影像規(guī)模,采用單節(jié)點(diǎn)4進(jìn)程進(jìn)行運(yùn)算,提取效果部分展示如圖4所示。

圖4 道路要素提取過程中的原始影像與二值化結(jié)果

將自動(dòng)提取結(jié)果與三調(diào)道路數(shù)據(jù)比對(duì),提取匹配度較好。為驗(yàn)證道路連通性及剔除碎小無效圖斑后結(jié)果,利用ArcGIS軟件進(jìn)行道路中心線提取,如圖5所示。首先對(duì)道路矢量面數(shù)據(jù)進(jìn)行柵格二值化,然后將道路與非道路重分類設(shè)置為0和1兩類。

圖5 道路柵格二值化結(jié)果和道路中心線矢量化結(jié)果

利用ArcScan工具條矢量化命令,選擇中心線矢量化方法,設(shè)置柵格參數(shù),選擇在區(qū)域內(nèi)部生成要素,即生成道路中心線。此方法提取的道路中心線整體完整度較好,但丟失部分屬性信息,同時(shí)由于原始矢量面數(shù)據(jù)與影像判讀的實(shí)際情況存在差異,部分高架橋、樓體樹木陰影、隧道、交叉路口等存在大量拓?fù)鋯栴},需進(jìn)一步優(yōu)化處理。

4 道路要素幾何特征的優(yōu)化

使用CNN實(shí)現(xiàn)道路要素提取,從訓(xùn)練的模型提取效果來看,使用卷積神經(jīng)網(wǎng)絡(luò)所提取的道路線和面結(jié)果仍然存在一些結(jié)構(gòu)和拓?fù)鋯栴}。主要表現(xiàn)為:原始數(shù)據(jù)質(zhì)量問題,以及樣本數(shù)量和樣本覆蓋類別不夠,這使得影像道路識(shí)別難、準(zhǔn)確性降低、泛化能力降低;車輛、綠化帶和建筑物的陰影與遮擋道路提取形成干擾、阻斷導(dǎo)致道路面出現(xiàn)碎小漏洞、縫隙等問題;河流、河堤、鐵路等線狀物體與道路的相似性也為道路提取制造了困難;道路中心線出現(xiàn)碎小短線未連接、道路交叉口、碎小支路等拓?fù)浣Y(jié)構(gòu)問題,如圖6所示。

圖6 提取道路要素存在的部分問題

針對(duì)使用CNN實(shí)現(xiàn)道路要素提取過程中出現(xiàn)的上述困難和問題,通過調(diào)整解譯輸入、參數(shù)設(shè)置結(jié)合算法模型等多種后處理技術(shù)手段,對(duì)道路要素幾何特征進(jìn)行優(yōu)化處理。

(1)對(duì)由于車輛、綠化帶和建筑物的陰影與遮擋道路提取形成的干擾、阻斷,導(dǎo)致道路面出現(xiàn)碎小漏洞、縫隙等問題,采用填補(bǔ)面洞的方式處理。

(2)利用ArcScan工具條矢量化命令,重新提取道路中心線,解決了由于干擾要素導(dǎo)致的零散道路中心線等存在的大量拓?fù)鋯栴}。

(3)通過優(yōu)化算法模型進(jìn)一步對(duì)道路中心線存在的其他拓?fù)浣Y(jié)構(gòu)問題進(jìn)行優(yōu)化處理。

通過算法模型的優(yōu)化處理,解決了道路要素線和面存在的一些問題,如道路面縫隙、中心線零散、碎小面、道路中心線碎小短線、道路交叉口輪廓線抽稀等,如圖7所示。最終實(shí)現(xiàn)了基于CNN網(wǎng)絡(luò)模型對(duì)貴陽市道路要素的提取,并完成了幾何特征的優(yōu)化,使得整體上視覺效果有所改善,達(dá)到了預(yù)期效果,如圖8所示。

圖7 道路要素優(yōu)化處理前后效果對(duì)比

圖8 貴陽市道路要素提取成果

5 試驗(yàn)分析

(1)道路提取時(shí)效性量化分析。為了驗(yàn)證本次模型的時(shí)間效益,對(duì)本模型提取過程和成果進(jìn)行量化分析,成果量化指標(biāo)見表4。為了更加直觀地對(duì)模型提取結(jié)果進(jìn)行分析,基于上述提取結(jié)果統(tǒng)計(jì)了模型運(yùn)行各個(gè)步驟時(shí)的耗時(shí)情況,見表5。

表4 提取成果量化指標(biāo)

表5 模型運(yùn)行耗時(shí)情況

模型運(yùn)行結(jié)果顯示,對(duì)于貴陽市特殊的地形地貌,能夠在98 986 s時(shí)間完成提取累計(jì)總長(zhǎng)度約39 452.606 km的道路要素,綜合提取速度約為2.5 s/km。改進(jìn)后的模型在滿足基本拓?fù)潢P(guān)系和道路匹配程度的要求下,在模型的算法優(yōu)化上實(shí)現(xiàn)了較好的時(shí)效性,由試驗(yàn)成果與整體耗時(shí)情況對(duì)比可知,本文提出的模型對(duì)于道路要素的自動(dòng)化提取效率符合預(yù)期,相對(duì)于目視解譯的方式,極大地減少了人工采集的時(shí)間,為研究自動(dòng)化提取地理實(shí)體提供了經(jīng)驗(yàn)基礎(chǔ)。

(2)道路幾何特征的準(zhǔn)確性評(píng)價(jià)。經(jīng)過對(duì)全市域遙感衛(wèi)星影像的道路要素提取,選取部分重點(diǎn)區(qū)域作為樣本,以通過CNN提取的道路要素為試驗(yàn)結(jié)果,將人工目視解譯判讀為驗(yàn)證結(jié)果,對(duì)比基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型提取的要素與影像的套合程度,結(jié)果如圖9所示。

圖9 道路要素自動(dòng)提取結(jié)果與人工采集數(shù)據(jù)匹配情況

對(duì)于不同的場(chǎng)景,基于神經(jīng)網(wǎng)絡(luò)模型的全自動(dòng)化提取結(jié)果并不相同。在主城區(qū)范圍內(nèi),針對(duì)城市主干道提取的結(jié)果,與影像道路邊界匹配度較高;而針對(duì)高架橋、隧道的提取結(jié)果,與影像道路邊界匹配度較低,部分道路缺失,且高架橋梁拓?fù)潢P(guān)系錯(cuò)誤。在鄉(xiāng)村郊區(qū)范圍內(nèi),針對(duì)鄉(xiāng)村道路、林間小路的提取結(jié)果,其與影像道路邊界匹配度較高。道路被樹林覆蓋時(shí),會(huì)導(dǎo)致道路面要素出現(xiàn)空洞、不連續(xù)、不規(guī)則等情況,需要后期進(jìn)行優(yōu)化擬合。

針對(duì)整體情況而言,通過深度學(xué)習(xí)技術(shù)進(jìn)行道路提取的準(zhǔn)確率約為80%(不完全統(tǒng)計(jì))。完全使用全自動(dòng)提取技術(shù)進(jìn)行道路要素提取,受影像質(zhì)量、時(shí)相、現(xiàn)實(shí)復(fù)雜情況等因素的影響,會(huì)導(dǎo)致精度不可控,仍然需要后續(xù)的人工干預(yù)及結(jié)果優(yōu)化。此外,在道路要素特征的空間定義中,部分參數(shù)需要按照影像的不同差異進(jìn)行針對(duì)性設(shè)置,真正的全自動(dòng)化參數(shù)設(shè)置還有待深入研究。

6 結(jié)論與展望

針對(duì)貴陽市地域的道路特征,本文綜合考慮解譯過程中的準(zhǔn)確性、運(yùn)算能力及對(duì)貴陽市域環(huán)境的適應(yīng)性,對(duì)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型中的幾個(gè)環(huán)節(jié)進(jìn)行了分解。通過多輪對(duì)比試驗(yàn)與分析,建立了適用于貴陽市道路要素遙感影像自動(dòng)提取的模型,并對(duì)批處理數(shù)據(jù)進(jìn)行優(yōu)化處理,結(jié)合人員參與完成部分道路屬性的完善工作,部分程度實(shí)現(xiàn)了道路實(shí)體的自動(dòng)化智能高效提取。其中,涉及的現(xiàn)實(shí)問題與技術(shù)路線,可對(duì)市縣級(jí)衛(wèi)星遙感應(yīng)用技術(shù)部門開展的自然資源類業(yè)務(wù)工作提供參考。對(duì)于本文的成果,還存在一些不足,如在道路要素的準(zhǔn)確度或精確度的評(píng)價(jià)上,還沒有建立科學(xué)的量化評(píng)價(jià)體系,目前還需要靠人工的方法判別和評(píng)價(jià),下一步的研究方向?qū)⒃诘缆返膸缀翁匦陨辖⒑侠淼脑u(píng)價(jià)體系,在屬性特征上,結(jié)合交通流量數(shù)據(jù)[11-12],實(shí)現(xiàn)道路屬性信息的動(dòng)態(tài)更新機(jī)制。