深度卷積網(wǎng)絡(luò)支持下的遙感影像井蓋部件檢測

楊夢圓,劉 偉,2,尹鵬程,謝 夢

(1. 江蘇師范大學(xué)地理測繪與城鄉(xiāng)規(guī)劃學(xué)院，江蘇 徐州 221116； 2. 資源與環(huán)境信息系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室, 北京 100101； 3. 徐州市國土資源局，江蘇 徐州 221006)

城市部件普查是現(xiàn)代化城市管理發(fā)展的必然要求。目前大多數(shù)城市部件調(diào)查依然利用全站儀等原始測量方法人工采集。為了減少人力和時間投入，研究者提出了多種部件測量方法，主要有無人機(jī)航測、移動測量采集車、車載激光掃描等[1- 5]。以上方法在一定程度上減少了作業(yè)人員的工作量，但并沒有徹底擺脫外業(yè)采集任務(wù)量大和內(nèi)業(yè)加工處理復(fù)雜的弊端，而且對于車載設(shè)備，部件提取范圍十分有限。在過去的幾十年中，研究者已經(jīng)開發(fā)了大量用于從航空和衛(wèi)星圖像中檢測物體的方法，有基于不可變形模板和可變形模板匹配的方法[6]；基于先驗(yàn)知識即幾何信息和上下文信息的方法[7]；基于圖像分割和對象分類的對象檢測方法[8]；基于機(jī)器學(xué)習(xí)的特征提取，如定向梯度(HOG)特征[9- 11]、紋理特征、稀疏表示(SR)[12]、類Haar特征[13]、可選特征融合、降維及分類器訓(xùn)練[14- 16]等方法。以上方法雖然在某些特定物體檢測任務(wù)中取得了一定的成功，但只能提取出淺層的特征，當(dāng)需要提取更深層次的特征時，這些方法的描述能力明顯不足。

2006年，文獻(xiàn)[17]在特征學(xué)習(xí)和深度學(xué)習(xí)方面取得了突破性進(jìn)展。該方法無需人工設(shè)計特征結(jié)構(gòu)，通過深層次的神經(jīng)網(wǎng)絡(luò)以自動方式直接從數(shù)據(jù)提取不同尺度的高層次特征。目前，基于深度學(xué)習(xí)的目標(biāo)檢測可以分為兩類：①two- stage檢測算法，其將檢測問題劃分為兩個階段，首先產(chǎn)生候選區(qū)域(region proposals)，然后對候選區(qū)域分類，這類算法的典型代表為基于region proposal的R- CNN系算法，如R- CNN[18]、Fast R- CNN[19]、Faster R- CNN[20]等。②one- stage檢測算法，其不需要region proposal階段，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，比較典型的算法如YOLO[21]和SSD[22]。雖然Faster R- CNN、YOLO和SSD在貓、狗、汽車及人等在自然場景中的檢測取得了較好的效果，但對于像井蓋部件這樣的小目標(biāo)，在遙感影像中的檢測還是一個較大的挑戰(zhàn)。主要原因是遙感影像中的井蓋即使在0.1 m×0.1 m分辨率的高分影像中，其寬度也僅有5～8個像素，而Faster R- CNN、YOLO和SSD等深度學(xué)習(xí)方法對于井蓋這樣的小目標(biāo)經(jīng)過多次降采樣，輸出特征僅有初始圖像的1/16，導(dǎo)致其難以有效地檢測小目標(biāo)物體。HED[23]是一種多尺度、多融合的網(wǎng)絡(luò)，可以從多個層次提取目標(biāo)信息。本文對HED網(wǎng)絡(luò)進(jìn)行改進(jìn)，并在其尾部添加兩層卷積匹配，構(gòu)建HED- C網(wǎng)絡(luò)，可以有效檢測各種不同大小的井蓋部件，實(shí)現(xiàn)端到端的井蓋目標(biāo)檢測，有效提高城市井蓋部件目標(biāo)檢測的效率和精度。

1 HED- C目標(biāo)檢測網(wǎng)絡(luò)

HED- C通過對HED進(jìn)行改進(jìn)而成，HED本質(zhì)上是一個邊緣檢測網(wǎng)絡(luò)，可以較好地檢測出物體邊緣。HED基礎(chǔ)網(wǎng)絡(luò)采用VGG16網(wǎng)絡(luò)模型。HED能夠從多個尺度產(chǎn)生預(yù)測，其架構(gòu)包括一個具有多個側(cè)輸出的單流深度網(wǎng)絡(luò)，類似于深度監(jiān)督網(wǎng)絡(luò)，隱藏層監(jiān)督可以改善圖像分類任務(wù)的優(yōu)化和泛化，如果需要統(tǒng)一輸出，多側(cè)輸出還可以靈活地添加額外的融合層。在對HED邊緣檢測網(wǎng)絡(luò)進(jìn)行改進(jìn)的基礎(chǔ)上，在其尾部增加了兩層進(jìn)行卷積匹配，實(shí)現(xiàn)井蓋目標(biāo)的高精度檢測，改進(jìn)后的HED- C網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。由于檢測目標(biāo)是非常小的城市井蓋部件，使用1×1小卷積核、尾部裁剪和保持輸入大小對HED網(wǎng)絡(luò)進(jìn)行了改進(jìn)，確保每一層特征輸出不隨深度的增加而急劇減少。具體原因如下：①由于檢測目標(biāo)井蓋較小，通過使用1×1的卷積核，一方面可以減少卷積參數(shù)；另一方面可以增加網(wǎng)絡(luò)容量和模型復(fù)雜度，更有效地進(jìn)行小目標(biāo)檢測。②HED的側(cè)輸出層(side- output)連接在VGG16的最后一層卷積層上，分別為C1_2、C2_2、C3_3、C4_3、C5_3，即使在采用1×1卷積核的情況下，在C5_3之后的池化層，其輸出大小也僅有初始輸入圖像的1/32，對于井蓋這樣的小目標(biāo)完全無法適用，因此剪除了網(wǎng)絡(luò)的全連接層和SoftMax層，包括C5后面的池化層。③把VGG16每一組最后一個卷積層的特征輸出，由于每一組得到的卷積特征尺寸是不一樣的，通過轉(zhuǎn)置卷積(transposed convolution)對每一組得到的特征進(jìn)行擴(kuò)展，可以使特征輸出保持輸入大小，更好地適應(yīng)檢測井蓋這樣的極小目標(biāo)。為充分利用隱藏監(jiān)督層對邊緣效果的增益作用，HED- C保留了HED網(wǎng)絡(luò)的隱藏深度監(jiān)督和多側(cè)輸出結(jié)構(gòu)。同時，新加入的卷積層的感受野與輸出層的感受野一致，用于目標(biāo)物體特征匹配。加入兩層卷積有兩點(diǎn)原因：①HED網(wǎng)絡(luò)檢測后，大幅減少了井蓋部件的復(fù)雜度，在其后連接卷積層更容易實(shí)現(xiàn)目標(biāo)檢測；②整個檢測網(wǎng)絡(luò)形成一個連通的整體，可實(shí)現(xiàn)端到端的檢測。

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)與平臺

遙感影像數(shù)據(jù)來自江蘇省鎮(zhèn)江市2017年0.05 m空間分辨率的航攝影像。已有該地區(qū)所有的井蓋部件調(diào)查成果文件(矢量點(diǎn))，可以方便地對影像中的井蓋進(jìn)行樣本批量標(biāo)注?？紤]到GPU處理效率和井蓋尺寸，相鄰影像重疊率設(shè)置為5%，影像尺寸裁剪為300～1024像素，丟棄沒有井蓋目標(biāo)的圖像塊。批處理后的影像共有2382塊(共有井蓋目標(biāo)23 252個)，其中的1500塊影像作為訓(xùn)練數(shù)據(jù)集，500塊影像作為驗(yàn)證數(shù)據(jù)集，其余382塊影像作為測試數(shù)據(jù)集。本試驗(yàn)基于深度學(xué)習(xí)框架caffe進(jìn)行，并在配備2個GPU的服務(wù)器上執(zhí)行。Mini- batch大小設(shè)置為10，學(xué)習(xí)率設(shè)置1e- 6，每個側(cè)輸出層的損失權(quán)重αm設(shè)置為1，動量設(shè)置為0.9，初始化側(cè)輸出層權(quán)重設(shè)置為0，初始化融合層權(quán)重設(shè)置為0.2，權(quán)重衰減值設(shè)置為0.000 2，訓(xùn)練迭代次數(shù)為10 000，在5000之后將學(xué)習(xí)率除以10。

2.2 試驗(yàn)結(jié)果與分析

圖2為HED- C網(wǎng)絡(luò)的6個輸出層所檢測的遙感影像信息，可以明顯看出，側(cè)輸出層1—5的細(xì)節(jié)詳盡程度越來越低，第6層融合層邊緣明顯且保留部分細(xì)節(jié)信息。出現(xiàn)這樣的結(jié)果是由于HED- C網(wǎng)絡(luò)本身就是多尺度融合網(wǎng)絡(luò)，隨著Side- output層感受野不斷變大，造成局部細(xì)節(jié)信息的逐漸減少，融合層由于獲得了多尺度信息使得局部細(xì)節(jié)得以保留。

表1是7種不同方法的定量比較結(jié)果，表1中，(Ours- fuse為僅利用最后一層融合層的檢測結(jié)果；Ours- fusion2為井蓋目標(biāo)在side- output1、side- output2、side- output3、side- output4、side- output5和融合層中出現(xiàn)2次的融合結(jié)果；Ours- fusion3，Ours- fusion4依次類推)采用查準(zhǔn)率、召回率和F1- score 3個指標(biāo)進(jìn)行比較：①與FasterR- CNN相比，YOLOv3的檢測查準(zhǔn)率和FasterR- CNN相近，YOLOv3在召回率和F1上稍有提高。SSD召回率最高，但精度最低。在查準(zhǔn)率和召回率的綜合考量下，YOLOv3井蓋檢測結(jié)果最好，因其采用了Darknet- 53深層網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，可以得到遙感影像更多的局部細(xì)節(jié)。②由于井蓋部件尺寸較小，與其他3種檢測方法相比，通過多個側(cè)輸出層融合的方法可以顯著提高井蓋目標(biāo)檢測的性能，實(shí)現(xiàn)井蓋目標(biāo)的最優(yōu)或次優(yōu)目標(biāo)檢測，這說明本文方法對于井蓋這樣的小目標(biāo)檢測是有效的。7種方法相比，Ours- fusion 4獲得最優(yōu)檢測查準(zhǔn)率，Ours- fusion 2獲得最佳檢測召回率。這說明井蓋部件出現(xiàn)4次的融合結(jié)果可以有效地提高目標(biāo)檢測的查準(zhǔn)率，但對井蓋部件召回率有較大影響；井蓋部件出現(xiàn)2次的融合結(jié)果可以有效地提高井蓋部件檢測召回率，但對井蓋部件查準(zhǔn)率有較大影響。綜合考慮，井蓋部件出現(xiàn)3次融合的效果最好，檢測查準(zhǔn)率、召回率和F1- score有較好的綜合表現(xiàn)，這是由于大多數(shù)井蓋部件在5個側(cè)輸出層和1個融合層中出現(xiàn)3次。

表1 7種檢測方法的結(jié)果比較

井蓋部件的檢測結(jié)果如圖3所示。方框表示檢測到的井蓋部件，有些井蓋部件密集出現(xiàn)，而且周圍背景較為復(fù)雜，通過該方法可以較好地檢測出大部分井蓋部件，驗(yàn)證了本文方法的有效性。

3 結(jié) 語

遙感影像中的目標(biāo)檢測在軍事和民用領(lǐng)域都起到至關(guān)重要的作用。然而，由于光照、陰影、極化、視角等導(dǎo)致的物體變化，使得遙感影像的目標(biāo)提取具有高度復(fù)雜性。本文通過改進(jìn)邊緣檢測網(wǎng)絡(luò)，提出HED- C網(wǎng)絡(luò)模型，使得井蓋目標(biāo)能夠多尺度、多水平地特征響應(yīng)和輸出，提高小目標(biāo)的檢測能力，而且可實(shí)現(xiàn)端到端的目標(biāo)檢測。該網(wǎng)絡(luò)模型對遙感影像獲取形狀小目標(biāo)(井蓋部件)的準(zhǔn)確率和召回率有較大提高，在遙感影像上表現(xiàn)出優(yōu)良的檢測效果，其中，召回率可達(dá)92.72%，查準(zhǔn)率可達(dá)86.40%。通過本文方法可以較好地提高井蓋部件提取的效率和精度，為數(shù)字化城管提供高精度井蓋部件數(shù)據(jù)。