迭代框架優(yōu)化的密集場(chǎng)景單棵樹木檢測(cè)

江一鳴,董天陽(yáng)

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,杭州 310023)

1 引 言

隨著衛(wèi)星遙感和無人機(jī)航拍等相關(guān)技術(shù)的發(fā)展,樹木遙感影像的獲取變得更為方便快捷.基于遙感圖像的樹木檢測(cè)和識(shí)別技術(shù)在森林資源管理、病蟲害調(diào)查、城市綠化規(guī)劃等領(lǐng)域中得到了廣泛應(yīng)用.傳統(tǒng)的單棵樹木檢測(cè)方法一般是基于像素的,如基于分水嶺法來確定樹冠輪廓的方法[1]、基于空間聚類的方法[2]和基于區(qū)域生長(zhǎng)策略得到樹冠邊緣的方法[3],基于像素的樹木檢測(cè)方法受噪聲影響大,且大部分情況下需要對(duì)圖像進(jìn)行銳化處理,在存在陰影或者其它干擾物的情況下存在較大的誤差.因此,近年來數(shù)據(jù)驅(qū)動(dòng)的方法被提出用于樹木特征的自動(dòng)學(xué)習(xí),特別是深度學(xué)習(xí)方法受到了研究者們?cè)絹碓蕉嗟年P(guān)注.Li等人[4]首次將CNN引入遙感樹木檢測(cè)中,并在油棕櫚樹林的檢測(cè)中取得較好的效果.Guirado等人[5]采用谷歌地圖圖像作為數(shù)據(jù)源,提出了一種基于CNN的樹木檢測(cè)方法,效果優(yōu)于其它單木檢測(cè)方法.基于卷積神經(jīng)網(wǎng)絡(luò)的樹木檢測(cè)方法對(duì)樹木大小相近、場(chǎng)景簡(jiǎn)單的情況下檢測(cè)效果較好,但在更為復(fù)雜的場(chǎng)景中表現(xiàn)不太理想.且卷積神經(jīng)網(wǎng)絡(luò)感受野大,多次下采樣會(huì)不斷減小特征圖,使得特征更難提取,在遙感圖像中目標(biāo)較小,語(yǔ)義信息缺失的情況下會(huì)導(dǎo)致更多漏檢錯(cuò)檢的情況[6,7].Dong等人[8]采用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的方式對(duì)樹木檢測(cè)方法進(jìn)行優(yōu)化,提升了對(duì)難樣本樹木的檢測(cè)能力.葉陽(yáng)等人[9]在級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,采用生成對(duì)抗網(wǎng)絡(luò)對(duì)樹木場(chǎng)景進(jìn)行去陰影處理,減少了遙感圖像中陰影部分對(duì)樹木檢測(cè)的干擾.但這些方法在背景復(fù)雜,樹木密集的場(chǎng)景中檢測(cè)結(jié)果仍存在不足.目標(biāo)檢測(cè)領(lǐng)域的發(fā)展為遙感檢測(cè)領(lǐng)域注入了新的活力,但遙感影像的特殊性需要研究者們對(duì)目標(biāo)檢測(cè)算法進(jìn)行有針對(duì)性的改進(jìn).

目前主流的目標(biāo)檢測(cè)算法分為單階段檢測(cè)和兩階段檢測(cè),兩階段檢測(cè)以Faster R-CNN系列[10]為代表.兩階段檢測(cè)的算法流程基本一致,首先用預(yù)設(shè)的錨框產(chǎn)生候選框,然后進(jìn)行特征提取,最后進(jìn)入分類和回歸的流程.Mask R-CNN[11]采用RoI Align代替RoI Pooling進(jìn)行進(jìn)一步優(yōu)化,解決了RoI特征和回歸位置的不匹配問題.王文豪等人[12]認(rèn)為該類算法感受野較大,不適合遙感圖像中目標(biāo)偏小的情況.單階段檢測(cè)以YOLO系列[13]和SSD系列[14]為代表,跳過了候選框的生成步驟,直接回歸得到類別概率和樣本坐標(biāo).YOLO系列對(duì)比兩階段檢測(cè)速度更快,但精度有所下降且泛化性弱.SSD系列平衡了YOLO和RCNN系列的部分優(yōu)缺點(diǎn),適合多尺度訓(xùn)練,但對(duì)于遙感圖像中的目標(biāo)偏小的情況存在語(yǔ)義不足的問題.

所有基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法均會(huì)對(duì)候選對(duì)象進(jìn)行密集采樣,因此每個(gè)對(duì)象會(huì)產(chǎn)生數(shù)個(gè)不同置信度的相似框,然后網(wǎng)絡(luò)通常采用非極大值抑制方法對(duì)產(chǎn)生的候選框集合進(jìn)行處理,最后為每個(gè)對(duì)象生成精確的框.這種方法在規(guī)整的人工種植林之類的場(chǎng)景上可以得到比較好的準(zhǔn)確度,但當(dāng)樹木密集且大量重疊時(shí),很難區(qū)分兩個(gè)相似候選框是屬于同一個(gè)對(duì)象還是屬于兩個(gè)高度重疊的對(duì)象.這是對(duì)非極大值抑制(Non-Maximum Suppression,NMS)過程的極大挑戰(zhàn),寬抑制會(huì)造成擁擠重疊目標(biāo)的漏識(shí),而窄抑制則會(huì)導(dǎo)致大量候選框的重復(fù).Guo等人[15]提出AugFPN結(jié)構(gòu)代替FPN結(jié)構(gòu),采用LSTM的思路對(duì)特征提取進(jìn)行優(yōu)化,但在擁擠場(chǎng)景中,后續(xù)過程中的NMS步驟將抵消所有增益,Zhang等人[16]設(shè)計(jì)了AggLoss,使得同一個(gè)目標(biāo)的候選框能夠更加接近,減少對(duì)重疊目標(biāo)的干擾,Bodla等人[17]提出了soft-nms,候選框的得分取決于和目標(biāo)對(duì)象的重疊程度,Liu等人[18]通過一個(gè)額外的分支來估計(jì)目標(biāo)的密度以自適應(yīng)調(diào)整nms.Rczatofighi等人[19]提出GIOU運(yùn)算替換非極大值抑制中的IOU運(yùn)算,通過增大預(yù)測(cè)框的大小使得其與目標(biāo)框重疊,但帶來了收斂速度慢和回歸不準(zhǔn)等問題.

此外,Ge等人[20]提出了PS-RCNN,利用P-RCNN檢測(cè)無遮擋的目標(biāo)并通過標(biāo)記抑制,然后用S-RCNN檢測(cè)遮擋目標(biāo)并將兩者結(jié)合.這種方法取得了相當(dāng)不錯(cuò)的效果,證明了將目標(biāo)分批處理思路的有效性.

為了提升密集重疊樹木場(chǎng)景單棵樹木檢測(cè)的準(zhǔn)確率,本文基于目標(biāo)分批處理的思想,提出了一種基于迭代框架的密集場(chǎng)景單棵樹木檢測(cè)方法,該方法針對(duì)樹木密集重疊的單棵樹木檢測(cè)做出優(yōu)化,通過兩輪訓(xùn)練將重疊度高的對(duì)象分配到兩輪訓(xùn)練和測(cè)試中,減少彼此候選框之間的干擾,有效地提升遙感影像的單棵樹木檢測(cè)精度.

2 基于迭代框架的單棵樹木檢測(cè)

基于迭代框架的單棵樹木檢測(cè)過程如圖1所示.整體框架包含兩條支線:上一輪迭代邊框處理支線和當(dāng)前檢測(cè)圖像數(shù)據(jù)處理支線.為盡可能地避免密集重疊的樹木對(duì)非極大值抑制過程造成的干擾,本文引入迭代邊框,聯(lián)合兩條網(wǎng)絡(luò)支線,對(duì)圖像處理支線中得到的候選框進(jìn)行反向篩選,使得網(wǎng)絡(luò)能夠注意到上一輪訓(xùn)練和檢測(cè)中因重疊度高而被刪去的候選框,從而檢測(cè)到原先被漏檢的樹木,將結(jié)果和上一輪檢測(cè)的結(jié)果結(jié)合得到更精確的檢測(cè)結(jié)果.迭代框架中的網(wǎng)絡(luò)模型D1和D2可以選用不同的基于錨框運(yùn)算的網(wǎng)絡(luò)模型,可以實(shí)驗(yàn)測(cè)試得到最適配環(huán)境的迭代組合.本節(jié)將詳細(xì)描述框架內(nèi)容.

圖1 迭代框架示意圖Fig.1 Diagram of Iteration framework

2.1 迭代邊框獲取

如式(1)所示,本文首先用訓(xùn)練樣本Is∈H×W×3對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)模型D1進(jìn)行第一輪的訓(xùn)練,式子中,fD1表示網(wǎng)絡(luò)D1的運(yùn)算過程,θ表示網(wǎng)絡(luò)D1的網(wǎng)絡(luò)參數(shù),記通過訓(xùn)練集進(jìn)行訓(xùn)練后的網(wǎng)絡(luò)的參數(shù)為θ′.然后用訓(xùn)練完的模型D1同時(shí)對(duì)訓(xùn)練樣本Is和測(cè)試樣本IT進(jìn)行測(cè)試,得到對(duì)應(yīng)的訓(xùn)練集邊框Bs,測(cè)試集邊框BT以及它們的得分Scores,ScoreT,邊框和得分即本文所需要的迭代邊框,其過程如式(2)所示:

BS,ScoreS=fD1(Is,θ)

(1)

BS,ScoreS,BT,ScoreT=fD1(Is,IT),θ′)

(2)

Biter=fconcat(BS,BT)

(3)

Scoreiter=fconcat(ScoreS,ScoreT)

(4)

Oiter=(Biter,Scoreiter)

(5)

2.2 邊框引入

如式(6)所示,在第2輪訓(xùn)練中,迭代邊框中的邊框Biter部分會(huì)跟隨訓(xùn)練樣本IS作對(duì)應(yīng)的變換(翻轉(zhuǎn),縮放),保持坐標(biāo)相對(duì)應(yīng),式子中的ftrans表示圖像隨機(jī)變換操作過程,此過程會(huì)同時(shí)作用在迭代邊框和輸入圖片上,保持兩者變換過程同步.然后將變換后的邊框和對(duì)應(yīng)的置信度得分重新對(duì)應(yīng)組合以進(jìn)行后續(xù)的邊框篩除操作.記第2輪訓(xùn)練的整體網(wǎng)絡(luò)結(jié)構(gòu)為D2,獲取候選邊框的前半部分網(wǎng)絡(luò)為G,并將獲取的候選邊框記為OG,則候選邊框的獲取過程如式(7)所示,式子中的ν表示網(wǎng)絡(luò)D2中獲取邊框部分網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù),fG表示網(wǎng)絡(luò)G的運(yùn)算過程.

Otrans=(ftrans(Biter),Scoreiter)

(6)

OG=fG(ftrans(IS),ν)

(7)

迭代邊框的引入位置是在獲取候選邊框的網(wǎng)絡(luò)部分之后,用極大值抑制對(duì)候選邊框進(jìn)行處理的步驟之前.取出處理管道中的迭代邊框Oiter,對(duì)候選邊框進(jìn)行篩除的操作,以篩除第1輪檢測(cè)中已確定的樹木樣本目標(biāo)對(duì)應(yīng)的候選邊框,以降低其對(duì)重疊樹木目標(biāo)造成的干擾.

2.3 邊框篩除

邊框篩除的過程首先需要設(shè)置一個(gè)合適的閾值T,計(jì)算迭代邊框Oiter與每個(gè)候選框OG的交并比IOU,僅保留與每個(gè)迭代邊框IOU均不超過閾值的候選框.迭代邊框,邊框和篩除后得到的邊框如圖2所示.

圖2 邊框篩除方法示意圖Fig.2 Diagram of frame screening method

即屬于在上一輪訓(xùn)練中已被檢測(cè)出的目標(biāo)的候選框?qū)⒈M可能地被篩除,保留下來的則是因與上一輪檢測(cè)目標(biāo)重疊度高而在非極大值抑制環(huán)節(jié)被刪去的候選框.IOU的計(jì)算方法如下,記兩個(gè)需要計(jì)算交并比的邊框?yàn)锽1=(x1,y1,w1,h1),B2=(x2,y2,w2,h2),則交并比表示如式(8)所示:

(8)

其中areai表示兩個(gè)邊框交集部分的面積,其計(jì)算方式如式(9)所示:

areai=(Rmin-Lmax)·(Bmin-Umax)

(9)

其中Rmin表示邊框交集的右邊界,Lmax表示邊框交集,Bmin代表邊框交集的下邊界,Umax表示邊框交集的上邊界,左右邊界和上下邊界的計(jì)算式子如式(10)～式(13)所示.

Lmax=max(x1,x2)

(10)

Rmin=min(x1+w1,x2+w2)

(11)

Umax=max(y1,y2)

(12)

Bmin=min(y1+h1,y2+h2)

(13)

記篩除后得到的邊框集合為Oafter,則其計(jì)算的過程可以用式(14)表示,根據(jù)閾值T的不同取值,篩除后的邊框Oafter可能存在不同的情況.式子中ffilter表示邊框篩除的過程,即計(jì)算邊框集OG與迭代邊框集Oiter兩兩之間的IOU值,和設(shè)定閾值T進(jìn)行比較,篩去集合OG和迭代邊框集的交并比值超過設(shè)定閾值的邊框.

Oafter=ffilter(OG,Oiter,T)

(14)

式子中ffilter的具體過程如算法1偽代碼所示.

算法1.邊框刪除filter算法

Input：OG,Oiter

Parameter：T

Output：Oafter

1.LetOafter= {}

2.foro1inOG

3.foro2inOiter//和每個(gè)迭代邊框進(jìn)行比較

4. Letval= IOU (o1,o2) //計(jì)算邊框交并比

5.ifval>T//交并比超過設(shè)定閾值則篩除

6.break

7. end if

8. end for

9.Oafter.add(o1)//篩選符合條件的邊框

10.endfor

11.returnOafter

如圖3所示,會(huì)出現(xiàn)像情況一這種僅篩除了屬于第1輪檢測(cè)得到的樹木樣本的邊框以及一部分屬于該樣本的候選框,以及情況2這樣屬于第1輪檢測(cè)得到樹木樣本目標(biāo)的候選框被清除,這兩種情況都是可接受的,是一種對(duì)后續(xù)非極大值抑制過程的正優(yōu)化,情況3則是閾值設(shè)置不當(dāng)導(dǎo)致原應(yīng)被保留的候選框被多余過程篩除的情況.而實(shí)際篩除過程的情況并非完全像是情況圖中的簡(jiǎn)單情況,而是需要網(wǎng)絡(luò)綜合考慮多組重疊情況的閾值選擇,此部分在本章閾值相關(guān)的實(shí)驗(yàn)部分詳細(xì)展開說明.

圖3 不同閾值取值情況圖Fig.3 Diagram of different threshold value situation

2.4 邊框整合

如式(15)所示,在得到篩選后的候選框集后,對(duì)其進(jìn)行非極大值抑制過程,得到分配到第2輪檢測(cè)的難樣本的檢測(cè)邊框集Ohard.

Ohard=fnms(Oafter)

(15)

本文將得到的第2輪檢測(cè)邊框集Ohard和迭代邊框Oiter進(jìn)行合并,然后按照置信度進(jìn)行排序,得到最終的邊框Oafter,如式(16)所示.置信度越高,表示邊框中包含的物體是樹木的概率就越高,將兩個(gè)集合合并后按照置信度從高到低排序,方便后續(xù)流程對(duì)檢測(cè)邊框的處理.

Ofinal=fsort(fconcat(Ohard,Oiter))

(16)

這樣得到的新候選框集合Ofinal中同時(shí)包含了上一輪檢測(cè)得到的置信度較高,包含樹木的候選框,和由于密集重疊被漏檢的可能包含樹木的候選框,由Ofinal進(jìn)入后續(xù)的網(wǎng)絡(luò)流程.

3 實(shí)驗(yàn)內(nèi)容

3.1 數(shù)據(jù)集獲取

傳統(tǒng)的遙感數(shù)據(jù)保密性強(qiáng),獲取難度高,且網(wǎng)上并無公開的遙感樹木數(shù)據(jù)集,一些研究者使用Google Earth影像數(shù)據(jù)進(jìn)行研究[8,9,21],因?yàn)閿?shù)據(jù)易于獲取,且數(shù)據(jù)場(chǎng)景種類繁多.但Google Earth圖像清晰度不足,且數(shù)據(jù)標(biāo)注過程中無法對(duì)標(biāo)注內(nèi)容進(jìn)行驗(yàn)證,數(shù)據(jù)標(biāo)注難免出現(xiàn)紕漏.本文的樹木圖像數(shù)據(jù)在杭州某地(經(jīng)度120.038,緯度30.226)校園內(nèi)由航拍設(shè)備拍攝,區(qū)別于大多數(shù)樹木數(shù)據(jù)集中規(guī)整,場(chǎng)景及樹木種類單一,樹木間距較大的人工種植林,本數(shù)據(jù)集中包含宿舍樓間,教學(xué)樓間,操場(chǎng),街道,圖書館門口等樹木場(chǎng)景,具有較多干擾項(xiàng),且樹木種類繁多,相互間重疊粘連,屬真實(shí)樹木種植場(chǎng)景.

對(duì)采集的圖像數(shù)據(jù)進(jìn)行篩選后共593張圖片,尺寸均調(diào)整為600×1000,然后采用VIA(VGG Image Annotator)標(biāo)注工具對(duì)采集的圖片進(jìn)行人工標(biāo)注.標(biāo)注得到共62616個(gè)樣本,將其按照3∶1的比例隨機(jī)劃分為訓(xùn)練集46621和驗(yàn)證集,訓(xùn)練集16004個(gè)樣本,驗(yàn)證集個(gè)樣本.并將數(shù)據(jù)集調(diào)整為COCO的格式.標(biāo)注內(nèi)容均在數(shù)據(jù)采集地進(jìn)行人工實(shí)地勘察比較,確保樣本情況被準(zhǔn)確標(biāo)注.

3.2 評(píng)價(jià)指標(biāo)

本文采用COCO格式的AP(Average Precision)和AR(Average Recall)作為評(píng)價(jià)指標(biāo),AR是召回率R的平均值,AP則是利用積分計(jì)算P-R曲線下包圍的面積,P-R曲線中P和R指準(zhǔn)確率和召回率,計(jì)算方式如式(17)、式(18)所示.

(17)

(18)

式子中的GT(Ground Truth)指的是標(biāo)定框,公式中的TP和FP含義如下所示:

TP(True Positive):IOU(Intersection of Union)大于閾值的檢測(cè)框數(shù)量(同一個(gè)GT(Ground Truth)的框只算一次).

FP(False Positive):IOU小于等于閾值的檢測(cè)框數(shù)量或同一個(gè)GT的多余檢測(cè)框.

IOU即面積交并比,用于衡量預(yù)測(cè)框和真實(shí)框的貼合程度.

3.3 實(shí)驗(yàn)設(shè)置

本文將所有圖片調(diào)整到800×1333的大小,然后通過水平或垂直翻轉(zhuǎn)并旋轉(zhuǎn)90度來增加訓(xùn)練樣本.實(shí)驗(yàn)采用SGD(隨機(jī)梯度下降)作為優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.02,在第8和第11個(gè)epoch衰減為上一次的一半.采用pytorch進(jìn)行實(shí)驗(yàn),模型訓(xùn)練均在RTX 2080TI GPU上進(jìn)行.

3.4 基線模型

首先需要挑選基線模型進(jìn)行基礎(chǔ)迭代實(shí)驗(yàn),經(jīng)過比較,本文采用帶FPN的Cascade R-CNN[22]作為基線模型,并用ROI Align替代ROI pooling層.本文中的IOU閾值實(shí)驗(yàn)以及后續(xù)組合迭代實(shí)驗(yàn)均基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)進(jìn)行.本節(jié)主要介紹基線網(wǎng)絡(luò)結(jié)構(gòu),闡述其和遙感樹木圖像檢測(cè)的適配程度.

3.4.1 級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)

在過程中,遙感樹木圖像被分成圖像批在提取特征后依次被輸入每個(gè)分支網(wǎng)絡(luò),每個(gè)分支網(wǎng)絡(luò)最后一層均為softmax層,并采用逐步提升的IOU閾值,每個(gè)候選框在逐個(gè)網(wǎng)絡(luò)計(jì)算后得到一個(gè)介于0和1之間的分類概率,越大的值表示候選框內(nèi)目標(biāo)是樹木的置信度越高,值越小則表示置信度越低.同時(shí)設(shè)置一組正負(fù)樣本的閾值區(qū)間,前一個(gè)分支網(wǎng)絡(luò)對(duì)該樣本分類概率在正負(fù)樣本閾值區(qū)間內(nèi),對(duì)應(yīng)的邊框才能遞進(jìn)到下一個(gè)分支網(wǎng)絡(luò)提取更深層次的樹木特征.而分類概率大于正樣本閾值的可以在此分支被標(biāo)記為易分正樣本過濾,同理分類概率小于負(fù)樣本閾值的被標(biāo)記為易分負(fù)樣本過濾.每經(jīng)過一個(gè)分支網(wǎng)絡(luò),邊框都會(huì)變得更準(zhǔn)確,更高的閾值可以保證下一次回歸的效果更好.

級(jí)聯(lián)的方式使得大量的易識(shí)別樹木樣本在靠前的分支網(wǎng)絡(luò)被檢測(cè)出,后續(xù)的分支網(wǎng)絡(luò)需要的訓(xùn)練樣本就會(huì)有所減少,極大地提高網(wǎng)絡(luò)的運(yùn)行效率.同時(shí)每個(gè)支線網(wǎng)絡(luò)是針對(duì)不同難度的樣本進(jìn)行訓(xùn)練的,提升了網(wǎng)絡(luò)對(duì)難分樣本的檢測(cè)能力.

3.4.2 特征金字塔

考慮到樹木數(shù)據(jù)集中樹木目標(biāo)尺寸不一,本文采用特征金字塔[23]來提取圖片信息,首先自底向上提取樹木的語(yǔ)義信息,然后依次采用最近鄰插值法進(jìn)行上采樣,各層用1×1卷積降低通道數(shù)后和圖右側(cè)的同級(jí)特征圖進(jìn)行元素級(jí)相加(element add),這樣就能很好地將淺層定位細(xì)節(jié)與上采樣的高層語(yǔ)義結(jié)合,最后用的卷積做融合.

自頂向下的過程采用上采樣將小特征圖一步步放大使得和上一步的特征圖匹配,上采樣過程使用最近鄰插值法,能夠在上采樣的過程中最大程度地保留特征圖的語(yǔ)義信息,有利于后續(xù)的分類操作,同時(shí)將上采樣特征和自底向上過程中高分辨率,有助于定位的特征圖進(jìn)行融合,得到既有良好空間信息又具有豐富語(yǔ)義信息的特征圖.

3.5 IOU閾值實(shí)驗(yàn)

非極大值抑制的過程步驟如下所示:

1)首先設(shè)定樹木目標(biāo)候選框的置信度閾值,將低于置信度的候選框的置信度值置0.

2)對(duì)所有候選框按照置信度進(jìn)行降序排列,方便后續(xù)過程按照置信度從高到底進(jìn)行邊框處理.

3)選擇最高置信度的候選框加入集合,計(jì)算選擇的候選框和剩下的同類候選框的交并比,將和其計(jì)算交并比在設(shè)定閾值以上的候選框的置信度值置0.

4)重復(fù)步驟2)、3),直到有置信度的候選框集為空.便完成了非極大值抑制的過程.

在非極大值抑制的過程中,重疊度高的樹木樣本會(huì)相互干擾,使得應(yīng)該被保留的候選框因和已被選中的置信度高的候選框交并比過高而被篩除.因此分兩輪訓(xùn)練,盡可能地在第2輪訓(xùn)練中排除第一輪選中的目標(biāo)候選框?qū)Ψ菢O大值抑制過程的干擾,可以有效地解決這個(gè)問題.

如圖4所示,在迭代框架的邊框篩除過程中,過高的IOU閾值會(huì)使得屬于第1輪檢測(cè)出目標(biāo)的候選框不能被完全篩除,過低的IOU閾值會(huì)使得理應(yīng)保留的目標(biāo)候選框被篩除.而在實(shí)際情況中,閾值的設(shè)置需要兼顧多組重疊情況,可能一個(gè)閾值在一組重疊中屬于最優(yōu)情況,而在另一組重疊中會(huì)導(dǎo)致目標(biāo)候選框被誤刪,這些情況使得閾值的確定更為困難,因此需要實(shí)驗(yàn)確定一個(gè)合適的閾值,使得第1輪檢測(cè)中得到的目標(biāo)盡可能的被篩除且不影響剩余的內(nèi)容.綜上,本文首先對(duì)邊框篩除的過程進(jìn)行閾值實(shí)驗(yàn).本文共設(shè)置了6組閾值進(jìn)行實(shí)驗(yàn),分別為0.7,0.75,0.8,0.85,0.9,0.95,為方便進(jìn)行比較,實(shí)驗(yàn)的第1輪和第2輪訓(xùn)練均采用級(jí)聯(lián)R-CNN,實(shí)驗(yàn)結(jié)果如表1和表2所示.

表1 IOU閾值實(shí)驗(yàn)準(zhǔn)確率表Table 1 IOU threshold experiments accuracy table

表2 IOU閾值實(shí)驗(yàn)召回率表Table 2 IOU threshold experiments recall table

圖4 IOU閾值設(shè)置圖Fig.4 IOU threshold setting diagram

將指標(biāo)APS,SPM,APL,ARS,ARM,ARL繪制折線圖如圖5所示,從折線圖中可以發(fā)現(xiàn),隨著選定IOU閾值的上升,多數(shù)指標(biāo)是逐漸上升的,而APL和ARL兩條折線在IOU值為0.8時(shí)達(dá)到頂點(diǎn)。當(dāng)IOU閾值達(dá)到0.8以上時(shí),剩余指標(biāo)的折線坡度并不顯著,而和較大目標(biāo)相關(guān)的兩項(xiàng)指標(biāo)則有所下降,說明過高的閾值更傾向于只篩除了第1輪檢測(cè)目標(biāo)對(duì)應(yīng)的邊框,而第1輪檢測(cè)得到的目標(biāo)的多余候選框被部分保留了下來,從而依舊會(huì)影響第2輪目標(biāo)檢測(cè)中的非極大值抑制的過程.綜合考慮以上的情況,本文選擇0.8作為選定的閾值進(jìn)行后續(xù)的實(shí)驗(yàn).

圖5 IOU閾值實(shí)驗(yàn)折線圖Fig.5 Threshold experiment line chart

3.6 自迭代實(shí)驗(yàn)

本文對(duì)幾種常用的2階段網(wǎng)絡(luò)進(jìn)行了自迭代實(shí)驗(yàn),自迭代指的是第1輪和第2輪的實(shí)驗(yàn)均采用同一種主體網(wǎng)絡(luò).

3.6.1 Cascade R-CNN自迭代實(shí)驗(yàn)

首先對(duì)級(jí)聯(lián)R-CNN進(jìn)行自迭代實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見表3和表4所示,可以看出效果提升較為明顯,和分別提升了2.4%和2.7%,其中較大目標(biāo)的檢測(cè)上提升較明顯,提升了7.8%,而小目標(biāo)的檢測(cè)上提升并不多,則僅提升了0.5%.

表3 CascadeRCNN自迭代實(shí)驗(yàn)準(zhǔn)確率表Table 3 CascadeRCNN self iteration experiments accuracy table

表4 CascadeRCNN自迭代實(shí)驗(yàn)召回率表Table 4 CascadeRCNN self iteration experiments recall table

3.6.2 DCN-Net自迭代實(shí)驗(yàn)

DCN-Net(Deformable Convolution Network)為引入了學(xué)習(xí)空間幾何形變能力的可變形卷積網(wǎng)絡(luò)[24].相比于常用的3×3卷積核采樣方式,可變形卷積在基礎(chǔ)的卷積采樣基礎(chǔ)上加上了隨機(jī)的偏移向量,這種方式使得感受野可變,可以在位置點(diǎn)附近隨意采樣,不再局限于規(guī)則格點(diǎn).

本文對(duì)DCN-Net進(jìn)行級(jí)聯(lián)操作,在級(jí)聯(lián)的DCN網(wǎng)絡(luò)上的自迭代實(shí)驗(yàn)結(jié)果如表5和表6所示,APL和ARL提升了2.2%和2.4%,APS和ARS則僅提升了0.1%和1.1%.可以看到實(shí)驗(yàn)結(jié)果和Cascade R-CNN自迭代實(shí)驗(yàn)的結(jié)果較為相似,同樣在大目標(biāo)的檢測(cè)上有較為明顯的提升,而在小目標(biāo)的檢測(cè)上的提升則較低.

表5 DCN-Net自迭代實(shí)驗(yàn)準(zhǔn)確率表Table 5 DCN-Net self iteration experiments accuracy table

表6 DCN-Net自迭代實(shí)驗(yàn)召回率表Table 6 DCN-Net self iteration experiments recall table

3.6.3 ResNeXt和ResNeSt自迭代實(shí)驗(yàn)

ResNeXt[25]和ResNeSt[26]是ResNet的兩種優(yōu)化的變種,其核心均是分組卷積,ResNeSt則是在ResNeXt的基礎(chǔ)上借鑒了SK-Net,在分組卷積的基礎(chǔ)上添加注意力機(jī)制進(jìn)行優(yōu)化.分組卷積將輸入的特征圖分成組,每個(gè)卷積核也對(duì)應(yīng)分成組,在對(duì)應(yīng)的組內(nèi)進(jìn)行卷積運(yùn)算,共生成卷積核組數(shù)個(gè)特征圖.

設(shè)g為分組的組別數(shù),則輸入每組的特征圖尺寸為W×H×C/g,每個(gè)卷積核的尺寸為k×k×C/g,輸出的特征圖尺寸為W′×H′×g,參數(shù)量和運(yùn)算量的計(jì)算如式(19)和式(20)所示,可以看到同樣的參數(shù)量和運(yùn)算量可以獲得g個(gè)特征圖.

(19)

(20)

ResNeSt和ResNeXt采用分組卷積,采用少量的參數(shù)和運(yùn)算量就能生成大量特征圖,而大量特征圖就意味著更多的信息,能更好地完成樹木檢測(cè)任務(wù).

本文分別對(duì)ResNeSt和ResNeXt網(wǎng)絡(luò)進(jìn)行級(jí)聯(lián),在級(jí)聯(lián)ResNeSt和級(jí)聯(lián)ResNeXt上的自迭代實(shí)驗(yàn)結(jié)果如表7和表8所示,可以看到在APL指標(biāo)上兩者都獲得了高于3%的提升,而小目標(biāo)相關(guān)的指標(biāo)則沒有較大的提升.

表7 自迭代實(shí)驗(yàn)準(zhǔn)確率表Table 7 Self iteration experiments accuracy table

表8 自迭代實(shí)驗(yàn)召回率表Table 8 Self iteration experiments recall table

3.7 組合迭代實(shí)驗(yàn)

本文嘗試了不同網(wǎng)絡(luò)的組合,即第1輪訓(xùn)練和第2輪迭代訓(xùn)練的網(wǎng)絡(luò)采用不同的網(wǎng)絡(luò),測(cè)試組合的效果.

3.7.1 ResNeSt和DCN-Net組合迭代實(shí)驗(yàn)

實(shí)驗(yàn)嘗試了第1輪使用級(jí)聯(lián)的ResNeSt進(jìn)行訓(xùn)練,第2輪則換用級(jí)聯(lián)的DCN-Net進(jìn)行訓(xùn)練和測(cè)試,實(shí)驗(yàn)結(jié)果如表9和表10所示.可以看到ResNeSt和DCN-Net組合迭代的情況下,相比于DCN-Net和ResNeSt兩個(gè)本體網(wǎng)絡(luò)APL指標(biāo)上均有所提升,但相比于ResNeSt部分指標(biāo)甚至有所下降;和DCN-Net自迭代的實(shí)驗(yàn)結(jié)果相比,各項(xiàng)指標(biāo)均有所提升,AP和AR分別提升了2.4%和1.5%,但和ResNeSt自迭代實(shí)驗(yàn)相比,AP和AR則分別下降了1.5%和0.7%,其余各項(xiàng)指標(biāo)也均有下降.

表9 組合迭代實(shí)驗(yàn)1準(zhǔn)確率表Table 9 Combinatorial iteration experiment 1 accuracy table

表10 組合迭代實(shí)驗(yàn)1召回率表Table 10 Combinatorial iteration experiment 1 recall table

3.7.2 ResNeSt和ResNeXt組合迭代實(shí)驗(yàn)

ResNeSt和ResNeXt的組合迭代實(shí)驗(yàn)采用級(jí)聯(lián)的ResNeSt作為第1輪訓(xùn)練的主體網(wǎng)絡(luò),用級(jí)聯(lián)的ResNeXt進(jìn)行第2輪的訓(xùn)練和測(cè)試,實(shí)驗(yàn)結(jié)果如表11和表12所示,ResNeSt和ResNeXt組合迭代的情況下,相比于ResNeXt自迭代在小目標(biāo)的檢測(cè)上有所提升,APS和ARS分別提升了0.2%和0.6%,相比于ResNeSt自迭代在小目標(biāo)的檢測(cè)上提升更為明顯,APS和ARS分別提升了0.9%和0.9%.而在其它指標(biāo)上沒有明顯的差距.可以看到由于ResNeSt和ResNeXt同樣是采用了分組卷積的結(jié)構(gòu),且檢測(cè)能力較為接近,這種組合迭代的方法相比自迭代方法并沒有檢測(cè)能力的下降,相反則一定程度上補(bǔ)足了小目標(biāo)檢測(cè)能力的缺陷.

表11 組合迭代實(shí)驗(yàn)2準(zhǔn)確率表Table 11 Combinatorial iteration experiment 2 accuracy table

表12 組合迭代實(shí)驗(yàn)2召回率表Table 12 Combinatorial iteration experiment 2 recall table

可見差距過大的網(wǎng)絡(luò)組合時(shí),指標(biāo)會(huì)介于兩者的網(wǎng)絡(luò)自迭代效果之間,遠(yuǎn)不如指標(biāo)較高的網(wǎng)絡(luò)自迭代.性能相對(duì)接近的網(wǎng)絡(luò)組合時(shí),效果相對(duì)于兩個(gè)原網(wǎng)絡(luò)均有所提升,和網(wǎng)絡(luò)自迭代的效果相比,在某些指標(biāo)上擁有優(yōu)勢(shì).

3.8 與現(xiàn)有其他檢測(cè)方法的比較

為評(píng)價(jià)基于迭代框架的單木檢測(cè)方法的性能,本節(jié)在密集樹木數(shù)據(jù)集上選用了一些先進(jìn)方法進(jìn)行了實(shí)驗(yàn)比較,實(shí)驗(yàn)結(jié)果如表13和表14所示.本文在實(shí)驗(yàn)區(qū)域進(jìn)行可視化,其結(jié)果圖局部的對(duì)比如圖6所示,從圖中可以看出本文方法在密集重疊的樹木樣本和小目標(biāo)樹木樣本上均有不錯(cuò)的檢測(cè)結(jié)果,而其他先進(jìn)檢測(cè)方法則存在小目標(biāo)的誤識(shí)漏失情況,且一定程度上會(huì)受到密集樹木情況的干擾.

表13 比較實(shí)驗(yàn)準(zhǔn)確率表Table 13 Comparative experiment accuracy table

表14 比較實(shí)驗(yàn)召回率表Table 14 Comparative experiment recall table

圖6 檢測(cè)方法對(duì)比Fig.6 Comparison diagram of detection methods

考慮到單棵樹木檢測(cè)中樹冠邊緣的重要性,本文嘗試對(duì)遙感圖像中的線條信息進(jìn)行強(qiáng)化,采用Sobel算子計(jì)算圖像灰度的近似梯度,作為額外輔助信息對(duì)樹木檢測(cè)進(jìn)行優(yōu)化,從實(shí)驗(yàn)結(jié)果可以看出,強(qiáng)化邊緣的做法在密集復(fù)雜的遙感樹木圖像中并不能起到很好的效果.可能是因?yàn)樵谥θ~粘連的情況下,強(qiáng)化的邊緣信息會(huì)對(duì)檢測(cè)造成干擾.Soft-nms方法是根據(jù)重疊程度用權(quán)重函數(shù)對(duì)有重疊檢測(cè)框的置信度進(jìn)行衰減的方法,在多數(shù)目標(biāo)檢測(cè)任務(wù)中具有比較好的應(yīng)用效果,因此本文也選用這種方法對(duì)基線模型進(jìn)行優(yōu)化嘗試,但在密集粘連的樹木情況下,大量的重疊衰減使得這種方法成為了一種負(fù)面優(yōu)化.

從表中可以看出,YOLOv3[27]得益于本身的多尺度優(yōu)化,在小目標(biāo)的檢測(cè)上具有相對(duì)較好的效果,ARs指標(biāo)在一眾算法中最高,而RetinaNet[28]所采用的Focal Loss在平衡正負(fù)樣本的同時(shí)將訓(xùn)練重心放到了稀疏樣本上,在密集且粘連的目標(biāo)情況下表現(xiàn)并不佳.本章提出的迭代方法和baseline相比AP和AR分別提升了5.6%和5.7%,AP上比YOLOv3高3%,比Faster-RCNN高10.6%,優(yōu)化效果顯著.

4 結(jié) 論

本文提出了一種迭代方法,通過將屬于密集重疊樹木目標(biāo)分配到兩輪訓(xùn)練檢測(cè)中,減少了重疊粘連樹木目標(biāo)之間的干擾,有效地提升了在密集樹木數(shù)據(jù)集上的檢測(cè)性能,該方法可以采用不同的現(xiàn)有先進(jìn)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練,檢測(cè)精度較原網(wǎng)絡(luò)均有明顯的提升.本文提出的方法不需要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)有較大的改動(dòng),可以簡(jiǎn)單地替換兩輪訓(xùn)練中的主干網(wǎng)絡(luò)結(jié)構(gòu),嘗試更多的組合迭代效果,根據(jù)不同的樹木環(huán)境情況,更好地對(duì)檢測(cè)過程進(jìn)行優(yōu)化.

對(duì)于迭代方法,本文首先探究了候選框篩除過程中交并比閾值對(duì)訓(xùn)練檢測(cè)結(jié)果的影響,通過消融實(shí)驗(yàn)確定了在本文的樹木數(shù)據(jù)集上最為合適的閾值以進(jìn)行后續(xù)的實(shí)驗(yàn).同時(shí)在樹木數(shù)據(jù)集上和其他先進(jìn)的檢測(cè)方法進(jìn)行了比較,證明了本文方法的優(yōu)越性.此外,本文嘗試了ResNeSt、DCN-Net等不同網(wǎng)絡(luò)的組合,發(fā)現(xiàn)性能較為接近的網(wǎng)絡(luò)有更好的相性,在某些指標(biāo)上具有一定的優(yōu)勢(shì).

在實(shí)驗(yàn)中可以發(fā)現(xiàn),迭代訓(xùn)練方法因?yàn)楹Y除候選框的過程帶來了額外的計(jì)算成本.因此,未來將對(duì)候選框篩除的過程進(jìn)行優(yōu)化,在不影響網(wǎng)絡(luò)性能的前提下,節(jié)約計(jì)算成本.