結(jié)合多光譜影像降維與深度學(xué)習(xí)的城市單木樹冠檢測

奚祥書，夏凱，楊垠暉，杜曉晨，馮海林

1.浙江農(nóng)林大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,杭州 311300;

2.浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室,杭州 311300;

3.林業(yè)感知技術(shù)與智能裝備國家林業(yè)局重點(diǎn)實(shí)驗(yàn)室,杭州 311300

1 引 言

單木樹冠檢測是森林生態(tài)環(huán)境監(jiān)測的一項(xiàng)重要研究（Zhen 等，2016）。尤其是在森林資源清查任務(wù)中，實(shí)地調(diào)查通常需要消耗過多的勞動力和時間成本（Puliti等，2019）。并且當(dāng)森林結(jié)構(gòu)較復(fù)雜時，人工實(shí)地調(diào)查往往難以開展。為更好地處理這些問題，以遙感技術(shù)為基礎(chǔ)的單木樹冠檢測研究提供了有效的解決方法。

在單木樹冠檢測研究中，針對不同的數(shù)據(jù)源以及不同的林地類型選擇一個合適的單木樹冠檢測算法是至關(guān)重要的（Ke和Quackenbush，2011）。在過去的一段時間內(nèi)，常見的檢測算法有以下幾種：局部最大值法（Korpela等，2006）、分水嶺分割算法（李丹等，2019）、谷底追蹤法（Gougeon，1995）、區(qū)域生長法（Bunting 和Lucas，2006），多尺度分割算法（馮靜靜等，2017）等。這些算法通過定義單木的參數(shù)，如樹冠形狀，樹冠頂點(diǎn)位置的閾值等，在影像內(nèi)匹配這些規(guī)則來檢測樹冠。借助于無人機(jī)遙感平臺的快速發(fā)展以及其靈活性，越來越多的研究開始對城市中的生態(tài)環(huán)境進(jìn)行動態(tài)監(jiān)測（董新宇等，2019）。城市中的林地不同于天然林，城市森林中地物類型復(fù)雜多樣（Lee 等，2016）。此類無監(jiān)督的算法在地物類型較少的純林地中有較好的效果，但在地物類型復(fù)雜的林地中，很難通過手工設(shè)計(jì)出合適的特征以達(dá)到較好的檢測效果。而深度學(xué)習(xí)強(qiáng)大的特征學(xué)習(xí)能力以及在多個領(lǐng)域成功的應(yīng)用（Kellenberger 等，2018；Majeed 等，2020），使其結(jié)合遙感數(shù)據(jù)在多種類型地物共存的林地中達(dá)成樹冠檢測的目標(biāo)成為可能。Wang 等（2019）研究了如何使用深度學(xué)習(xí)檢測橡膠樹冠，其將LiDAR 數(shù)據(jù)通過正側(cè)投影變換轉(zhuǎn)化為圖像，再將圖像輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中，在僅部分枝干被遮擋的情況下可實(shí)現(xiàn)橡膠樹冠100%的檢測準(zhǔn)確率。Weinstein 等（2019）則針對單木樹冠檢測研究中數(shù)據(jù)標(biāo)注困難等問題，提出了一種使用無監(jiān)督算法和點(diǎn)云數(shù)據(jù)用于生成標(biāo)注數(shù)據(jù)的半監(jiān)督方法。同時，Weinstein 等（2020）還研究了基于深度學(xué)習(xí)的樹冠檢測方法在不同類型林地中的泛化能力。

不同地物的光譜反射率存在著差異，多個光譜的數(shù)據(jù)比單一光譜能提供更多的特征（崔賓閣等，2019）。在部分基于深度學(xué)習(xí)的單木樹冠檢測研究中，有研究人員加入了多光譜數(shù)據(jù)，Osco 等（2020）使用卷積神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)果園中果樹的數(shù)量，并且分析了不同波段組合對試驗(yàn)結(jié)果造成的差異。Yiannis 等（2019）使用YOLOv3 網(wǎng)絡(luò)統(tǒng)計(jì)柑橘樹的數(shù)量，實(shí)驗(yàn)中將普通的RGB 影像換成了RNB（綠色波段換成了近紅外波段）影像，結(jié)果中RNB 影像的統(tǒng)計(jì)結(jié)果要好于RGB 影像。Dai 等（2018）提出了使用三維點(diǎn)云數(shù)據(jù)分割樹冠的新方法，證明了該新方法將多光譜點(diǎn)云數(shù)據(jù)作為數(shù)據(jù)源要好于單波段點(diǎn)云數(shù)據(jù)。

雖然這些研究結(jié)合了深度學(xué)習(xí)與多光譜影像，但如何將二者更好的結(jié)合需要進(jìn)一步的探究。將多光譜影像作為深度學(xué)習(xí)的數(shù)據(jù)源時，通常需要對多光譜影像做降維處理，這一步驟基于兩個主要原因：第1個原因是降低數(shù)據(jù)的冗余，減少深度學(xué)習(xí)算法運(yùn)行所需時間。多光譜影像的多個波段存在冗余，并且深度學(xué)習(xí)方法需要大量的運(yùn)算資源，降維處理可以減少所需運(yùn)算資源并節(jié)省運(yùn)算時間。第2個原因?yàn)槭褂媒稻S后的多光譜影像可更加便捷和充分地應(yīng)用遷移學(xué)習(xí)（Pan 和Yang，2010），借助遷移學(xué)習(xí)即使影像較少也可達(dá)到較好的檢測效果。受限于自然環(huán)境或不同遙感平臺自身因素（星載平臺重訪周期（Roth 等，2019），機(jī)載平臺飛行時間（Mozgeris 等，2018）等），大規(guī)模的遙感影像獲取仍存在一定難度，然而深度學(xué)習(xí)往往需要大量的數(shù)據(jù)才能達(dá)到理想的效果。遷移學(xué)習(xí)隸屬于機(jī)器學(xué)習(xí)的研究范疇，它專注于存儲已有問題的解決模型，并將其利用在其他不同但相關(guān)問題上。具體在深度學(xué)習(xí)的目標(biāo)檢測任務(wù)上，即使研究中用于訓(xùn)練的影像較少，利用經(jīng)過大量圖像訓(xùn)練得到的公共預(yù)訓(xùn)練模型有助于提升最后的檢測結(jié)果。絕大多數(shù)的預(yù)訓(xùn)練模型只針對低維度的RGB 圖像，因此需要對多光譜影像做相應(yīng)的降維處理。

降維方法種類繁多，采用不同的降維方法處理多光譜影像得到的結(jié)果也會存在差異，同時這些差異將會影響最終的檢測結(jié)果。然而目前基于深度學(xué)習(xí)的單木樹冠檢測研究中，如何使用不同降維方法以提升單木樹冠檢測的精度卻少有關(guān)注。針對這一問題，本文采用3 種經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)，并結(jié)合多種降維方法得到的多光譜影像，用以檢測研究區(qū)內(nèi)銀杏樹冠。探討了不同降維方法對使用深度學(xué)習(xí)的單木樹冠檢測結(jié)果的影響。

2 多光譜影像采集及降維方法

2.1 研究區(qū)概況

本文選取的研究區(qū)域位于浙江省杭州市臨安區(qū)浙江農(nóng)林大學(xué)校園內(nèi)。地理坐標(biāo)介于30°15′30″N，119°43′30″E附近，處于亞熱帶季風(fēng)區(qū)，屬于中亞熱帶季風(fēng)氣候；夏季長，春秋短，雨量充沛。春秋兩季氣候宜人，夏季氣候炎熱、濕潤，冬季寒冷、干燥。研究區(qū)概況如圖1所示。

圖1 研究區(qū)概況圖Fig.1 Overview of the study area

園區(qū)內(nèi)共有植物3200 種，主要樹種有銀杏（Ginkgo biloba）、法國梧桐（Oriental plane）、馬尾松（Pinus massoniana）、香樟（Cinnamomum camphora）、鵝掌楸（Liriodendron chinense）等。不同樹種分布密集，樹冠重疊相連，林地郁閉度高。且研究區(qū)內(nèi)有人工建筑物、道路、湖泊、車輛、行人等物體，相較于森林中的場景更加復(fù)雜。

2.2 無人機(jī)多光譜影像采集系統(tǒng)

本文采用大疆創(chuàng)新科技有限公司的大疆“悟”INSPIRE 2系列無人機(jī)，搭載由美國MicaSense公司生產(chǎn)的RedEdge多光譜相機(jī)作為多光譜影像采集系統(tǒng)。RedEdge相機(jī)可對5個波段成像：藍(lán)色（465—485 nm），綠色（550—570 nm），紅色（663—673 nm），紅邊（712—722 nm），近紅外（820—860 nm）。無人機(jī)多光譜影像采集系統(tǒng)具體參數(shù)見表1。

表1 無人機(jī)多光譜影像采集系統(tǒng)參數(shù)Table 1 Specifications of UAV image acquisition system

2.3 數(shù)據(jù)采集及預(yù)處理

銀杏木材優(yōu)質(zhì)，具有生態(tài)、保健、藥用和觀賞價值，銀杏樹種在研究區(qū)內(nèi)分布廣泛多樣，既存在稀疏樣地，也有與其他植被交疊的樣地，本文選取銀杏樹種作為研究對象。

飛行任務(wù)在2019-9-21—2019-09-27 執(zhí)行，共6次。為增加數(shù)據(jù)的多樣性，飛行任務(wù)的參數(shù)并不完全相同。1—2 次飛行任務(wù)時間在15：00 pm 之后，飛行高度40 m，3—6 次飛行任務(wù)時間限定在10：00—12：00 am，飛行高度為70 m。所有飛行任務(wù)執(zhí)行時天氣均晴朗無云。

通過無人機(jī)多光譜成像系統(tǒng)共得到4689 張（相機(jī)設(shè)置為自動拍攝模式，關(guān)閉相機(jī)時中斷了最后一次拍攝，故影像總數(shù)量不為5的倍數(shù)）單波段多光譜影像。處理過程中需要先排除掉不含銀杏樹種的純背景影像，再將其余的單波段影像5張為一組通過ArcMap 10.2 軟件配準(zhǔn)，并將配準(zhǔn)過后的影像導(dǎo)出為5 波段的影像。5 波段的多光譜影像共計(jì)688張。

2.4 多光譜影像降維

目前的目標(biāo)檢測網(wǎng)絡(luò)都是針對3波段影像而設(shè)計(jì)的，并且深度學(xué)習(xí)中的預(yù)訓(xùn)練模型均由來自公共數(shù)據(jù)集的RGB 影像訓(xùn)練得到。因此本研究中選擇將多光譜影像降維至3個波段。

使用范圍較廣的多光譜數(shù)據(jù)影像降維方法可分為兩種（趙慶展等，2016；劉雪松等，2012），一種是特征波段選擇，從多個波段中按照一定的原則選取滿足條件的波段；另一種是使用特征提取算法將5 波段影像壓縮成3 波段影像。為獲得最好的檢測效果，除上述特征波段選擇及特征提取算法之外，本文還選取了3種不同的波段組合，共生成5種波段降維影像。本文將各個波段編號，以便后文敘述：藍(lán)（1）、綠（2）、紅（3）、近紅外（4）、紅邊（5）。

第1 種降維影像包括藍(lán)、紅、近紅外（1、3、4）波段。該組合是通過比較最佳指數(shù)因子OIF（Optimum Index Factor）（Chavez 等，1982）得到的。OIF 是遙感中廣泛應(yīng)用的特征波段選擇方法。OIF綜合考慮了單個波段自身的標(biāo)準(zhǔn)差，以及波段之間的相關(guān)性。標(biāo)準(zhǔn)差越大，則波段的信息量越大，波段之間的相關(guān)系數(shù)越小，即相關(guān)性越小，則波段之間信息冗余度越低。通常的研究只在單幅影像中計(jì)算各個波段組合的OIF，本文中需要計(jì)算數(shù)據(jù)集中所有影像的OIF并求出均值作為最后的結(jié)果。本文中OIF計(jì)算公式如下：

式中，N表示影像總數(shù)量；i表示第i張影像；SDij表示第i張影像中第j個波段的標(biāo)準(zhǔn)差；j表示第j個波段；m表示用于組合的波段數(shù)量；CCik表示第i張圖片中第k個波段組合的相關(guān)系數(shù)；k表示第k個波段組合；n表示m個波段中波段組合的種類數(shù)。

圖2 不同波段組合和降低方法處理后的影像Fig.2 Images processed by different band combinations and dimensionality reduation methods

第2 種降維波段影像采用了PCA（Principal Component Analysis）算法（Wold等，1987）生成。主成分分析是一種數(shù)據(jù)特征提取方法，通過正交變換將高維的數(shù)據(jù)映射到低維空間，且經(jīng)過變換之后的低維數(shù)據(jù)有最大的信息量，從而實(shí)現(xiàn)數(shù)據(jù)的降維。本文通過python 編程語言將5波段影像讀取為矩陣，并作為PCA 算法的輸入，最后將輸出的3個波段保存為影像。

第3種波段組合是通過目視解譯的方法選取而來，包括紅邊、近紅外、紅（5、4、3）波段?？紤]到夏季銀杏與相鄰植被色彩相近，可能會影響樹冠檢測的效果，故本文將5波段排列組合得到共120 種不同的波段組合影像，通過目視解譯選出了相鄰植被與銀杏樹冠色彩差異較大的波段組合。

第4 種波段組合包括近紅外、紅、綠（4、3、2）波段。該種波段組合是標(biāo)準(zhǔn)假彩色的組成波段，標(biāo)準(zhǔn)假彩色波段組合在植被檢測方面有廣泛的應(yīng)用。

第5 種波段組合包括紅、綠、藍(lán)（3、2、1）波段即廣泛使用的RGB 影像。由于目標(biāo)檢測的網(wǎng)絡(luò)預(yù)訓(xùn)練模型經(jīng)過ImageNet 數(shù)據(jù)集中大量的RGB圖像訓(xùn)練得到，故此種波段組合能更加充分的發(fā)揮預(yù)訓(xùn)練模型的性能。

3 基于深度學(xué)習(xí)的樹冠檢測

3.1 檢測流程概述

（1）通過無人機(jī)多光譜影像采集系統(tǒng)拍攝研究區(qū)內(nèi)銀杏樹冠。

（2）對采集的數(shù)據(jù)篩選，去除無銀杏樹冠的背景圖片。

（3）將篩選后的原始單波段影像通過配準(zhǔn)得到5波段的多光譜影像。

（4）根據(jù)不同波段降維的方法生成5 種數(shù)據(jù)集。將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，訓(xùn)練集和測試集中不包含相同的銀杏樹。

（5）將5 種訓(xùn)練集用于3 種網(wǎng)絡(luò)的訓(xùn)練，得到共15個模型。

（6）在測試集上評估所有模型的檢測精度，并調(diào)整網(wǎng)絡(luò)的超參數(shù)，使模型有最好的檢測效果。

檢測方法的詳細(xì)步驟如圖3所示。

圖3 實(shí)驗(yàn)流程圖Fig.3 Flow chart of the experiment

3.2 目標(biāo)檢測網(wǎng)絡(luò)

目標(biāo)檢測（Wu 等，2020）是指在圖像中確定感興趣物體的位置和類別。深度學(xué)習(xí)技術(shù)為目標(biāo)檢測研究提供了一個端到端的解決方案。通過卷積層，池化層，全連接層，激活函數(shù)，優(yōu)化算法等組件合理的運(yùn)用可以構(gòu)造出強(qiáng)大的用于目標(biāo)檢測的深度學(xué)習(xí)網(wǎng)絡(luò)。

目前主流的目標(biāo)檢測網(wǎng)絡(luò)可分為two-stage 和one-stage 兩種類型。其中two-stage 目標(biāo)檢測網(wǎng)絡(luò)檢測過程可分為兩個步驟，第1步需要提取圖像中感興趣區(qū)域位置，第2步需要分類上一步取得的感興趣區(qū)域，通過以上兩個步驟便可得到影像中目標(biāo)物體的位置及類別。

而one-stage 類型的目標(biāo)檢測網(wǎng)絡(luò)則是將輸入的影像劃分為多個網(wǎng)格，在每個網(wǎng)格中生成不同尺寸的邊界框，并且針對每個邊界框給出置信度，依次判斷該網(wǎng)絡(luò)中，不同邊界框中包含目標(biāo)物體的可能性和類別。

通常來說，two-stage 目標(biāo)檢測網(wǎng)絡(luò)的檢測準(zhǔn)確率較高，但因?yàn)樾枰獌蓚€步驟，所以網(wǎng)絡(luò)訓(xùn)練或是測試的時間都較長。而one-stage 目標(biāo)檢測網(wǎng)絡(luò)則與之相反，網(wǎng)絡(luò)的運(yùn)行時間較短，但檢測的準(zhǔn)確率要低于two-stage的目標(biāo)檢測網(wǎng)絡(luò)。

為驗(yàn)證不同波段降維數(shù)據(jù)集與不同的目標(biāo)檢測網(wǎng)絡(luò)的何種組合可以提高單木樹冠檢測的精度，本文選取了3 種不同的目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行試驗(yàn)。包括經(jīng)典的two-stage 目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN（Ren 等，2017），one-stage 目標(biāo)檢測網(wǎng)絡(luò)YOLOv3（Redmon 和Farhadi，2018）。此外還選擇了基于Faster R-CNN的特征金字塔網(wǎng)絡(luò)FPN（Lin等，2017）（以下簡稱為FPN-Faster-R-CNN）。

考慮到研究區(qū)內(nèi)的銀杏樹年齡分布較廣，且采集數(shù)據(jù)時無人機(jī)有多種飛行高度，影像中的銀杏樹冠有多種尺寸。在選取的3 個網(wǎng)絡(luò)中，YOLOv3 以及FPN-Faster-R-CNN 加入了多尺度特征融合的檢測方法，可以結(jié)合不同層次特征圖的預(yù)測結(jié)果做出最后的決策，這樣能有效提升不同尺寸物體的檢測能力。針對本實(shí)驗(yàn)中不同尺寸的樹冠可以給出更準(zhǔn)確的檢測。

3.3 數(shù)據(jù)集制作

數(shù)據(jù)集的標(biāo)注使用開源labelimg 標(biāo)注工具完成。研究人員通過標(biāo)注工具在影像中繪制若干個矩形框以確定每個銀杏樹冠的邊界，每個矩形框包含一個單獨(dú)的銀杏樹冠，所有影像中繪制得到的矩形框坐標(biāo)信息將保存在文件中。影像中難以區(qū)分的樹木，研究人員通過實(shí)地調(diào)查確定具體邊界。為防止數(shù)據(jù)泄露對實(shí)驗(yàn)造成影響，將數(shù)據(jù)集中688 張多光譜影像根據(jù)樣地劃分為訓(xùn)練集568 張，測試集120張，訓(xùn)練集與測試集中不包含相同的銀杏樹。

一組5波段經(jīng)不同降維方法后得到的影像，其中樹冠位置不變。針對一種降維方法制作得到的數(shù)據(jù)集標(biāo)注文件，亦可用于其他數(shù)據(jù)集。紅、綠、藍(lán)（3、2、1）波段數(shù)據(jù)集的制作結(jié)果如圖4（b）所示。

3.4 網(wǎng)絡(luò)訓(xùn)練

所有波段降維方法得到的數(shù)據(jù)集共有5種，用于樹冠檢測的網(wǎng)絡(luò)有3 種，為得到最好的檢測效果，本文中訓(xùn)練了5×3個網(wǎng)絡(luò)模型用于比較。不同的超參數(shù)如優(yōu)化器的學(xué)習(xí)率、訓(xùn)練迭代次數(shù)，主干網(wǎng)絡(luò)的選擇等對網(wǎng)絡(luò)的檢測效果影響較大。為反映不同波段降維影像在樹冠檢測任務(wù)中的作用，并得到不同檢測網(wǎng)絡(luò)最好的檢測效果，故同一網(wǎng)絡(luò)在不同種類的數(shù)據(jù)集上超參數(shù)的設(shè)置保持一致，而不同網(wǎng)絡(luò)之間的超參數(shù)根據(jù)各自的特性而選擇。

網(wǎng)絡(luò)訓(xùn)練環(huán)境的操作系統(tǒng)為Windows 10教育版1709，處理器為Intel（R）Xeon（R）CPU E3-1225 V5@3.30GHz，RAM 容量16 GB，并采用了NVIDIA GeForce GTX 1080 Ti（11 GB）。網(wǎng)絡(luò)詳細(xì)參數(shù)設(shè)置見表2。其中主干網(wǎng)絡(luò)都使用了預(yù)訓(xùn)練模型的參數(shù)。

表2 網(wǎng)絡(luò)詳細(xì)參數(shù)Table 2 Detailed network parameters

3.5 評價指標(biāo)

本文采用在測試集上取得的召回率（Recall），精確率（Precision）和平均精度AP （Average Precision）3 個指標(biāo)作為評價模型優(yōu)劣的標(biāo)準(zhǔn)。其中召回率針對于測試集中而言，表示了存在的銀杏樹冠有多少被正確檢測。精確率則針對于網(wǎng)絡(luò)的預(yù)測結(jié)果而言，表示所有預(yù)測得到的銀杏樹冠有多少是正確的。平均精度則表示了Precision-Recall 曲線下的面積，綜合考慮了召回率與精確率，可用作評價模型效果的最終指標(biāo)。相關(guān)計(jì)算公式如下：

式中，TP 代表檢測正確的銀杏樹冠數(shù)量；FN 代表檢測錯誤的銀杏樹冠數(shù)量；FP 代表未檢測到的銀杏樹冠數(shù)量；p(r)代表的是從0 到1 區(qū)間內(nèi)的Precision-Recall曲線。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 不同波段降維數(shù)據(jù)集檢測結(jié)果分析

不同網(wǎng)絡(luò)在各個波段降維數(shù)據(jù)集上的檢測結(jié)果如表3所示。綜合表中信息可知：FPN-Faster-R-CNN 在近紅外、紅、綠（4、3、2）的波段組合數(shù)據(jù)集上效果最好，AP 值為88%。YOLOv3 在藍(lán)色、紅色、近紅外（1、3、4）波段組合數(shù)據(jù)集上的AP值最低，僅達(dá)到77%。

表3 不同實(shí)驗(yàn)組合結(jié)果對比Table 3 Result comparison of each experimental methods and combination of bands

在不同波段降維數(shù)據(jù)集上的檢測效果不同。近紅外、紅、綠（4、3、2）波段組合在3 種網(wǎng)絡(luò)中的檢測效果均最好，在3種網(wǎng)絡(luò)中的平均精度為84.2%?？赡艿脑蚴窃谠摲N波段組合形成的圖像中，銀杏與相鄰的植被色彩差異明顯，輪廓清晰。藍(lán)、紅、近紅外（1、3、4）波段組合的樹冠檢測精度最低，在3 種網(wǎng)絡(luò)中的平均精度僅為79.3%，與最佳波段組合紅外、紅、綠（4、3、2）相差3.9%。通過OIF 指標(biāo)選擇出的藍(lán)、紅、近紅外（1、3、4）波段組合雖然有最大的信息量，但其中銀杏與鄰近植被的色彩相近不易分辨，因此在3 個網(wǎng)絡(luò)中測試所得的AP 值均較低。PCA 算法將高維數(shù)據(jù)映射到低維空間實(shí)現(xiàn)了波段的降維，但這樣的變換并不能保留不同樹種的光譜信息，且經(jīng)過降維的影像中物體的紋理信息也受到一定的影響，因此檢測的效果并不理想。平均精度為80.3%，與檢測效果最差的波段組合藍(lán)、紅、近紅外（1、3、4）相比僅提高了1%。

圖4展示了不同網(wǎng)絡(luò)與不同波段組合在同一區(qū)域影像上的檢測結(jié)果，其中圖4（b）為人工標(biāo)注后的影像，作為檢測結(jié)果真實(shí)值的對照。可以看出YOLOv3 在藍(lán)、紅、近紅外（1、3、4）波段組合的檢測結(jié)果中存在漏檢，錯檢等現(xiàn)象，而FPNFaster-RCNN 在近紅外、紅、綠（4、3、2）波段組合中的檢測結(jié)果更加優(yōu)異，正確檢測了所有樹冠。

圖4 檢測結(jié)果示意圖Fig.4 Examples of detection result

4.2 不同網(wǎng)絡(luò)樹冠檢測結(jié)果分析

不同網(wǎng)絡(luò)的樹冠檢測效果也存在差異，圖5反映了各個網(wǎng)絡(luò)在不同數(shù)據(jù)集中Precision 和Recall的變化趨勢。3 個網(wǎng)絡(luò)中FPN-Faster-R-CNN 的檢測效果最佳，在所有波段降維數(shù)據(jù)集上的平均精度為85.8%，比Faster R-CNN 的平均精度78.8%提升了7%。YOLOv3 的檢測能力居于兩者之間，平均精度為81.7%。研究區(qū)內(nèi)的銀杏樹種樹齡所在范圍較大，不同樹齡的銀杏其冠幅和樹冠面積也不盡相同。且使用無人機(jī)多光譜成像系統(tǒng)采集數(shù)據(jù)過程中，設(shè)置了不同飛行高度的飛行任務(wù)，在不同高度采集的影像中相同物體的尺寸也存在差異。這兩個因素使得5種數(shù)據(jù)集內(nèi)不同影像中的銀杏樹冠尺寸存在不一致的情況。FPN-Faster-R-CNN 和YOLOv3 將輸入的圖像通過網(wǎng)絡(luò)操作生成不同尺寸的特征圖，并且針對每一個特征圖做出預(yù)測，最后綜合各個特征圖的結(jié)果做出最后的判斷，這種方法提高了網(wǎng)絡(luò)在檢測小尺寸目標(biāo)物體上的性能（Lin 等，2017），因此FPN-Faster-R-CNN 和YOLOv3 針對不同尺寸的銀杏樹冠能給出較好的檢測結(jié)果。本文中的FPN-Faster-R-CNN 采用了two-stage 的主干檢測網(wǎng)絡(luò)，相比于one-stage 的YOLOv3 有更高的AP。而只在單一尺寸特征圖上做出推斷結(jié)果的Faster R-CNN 則不能達(dá)到和FPNFaster-R-CNN 相同的精度。

圖5 各實(shí)驗(yàn)組合測試集Precision-Recall曲線Fig.5 Precision-Recall curves of each experimental methods and combination of bands

4.3 網(wǎng)絡(luò)檢測速度分析

網(wǎng)絡(luò)的檢測速度也是評價網(wǎng)絡(luò)性能的指標(biāo)之一，本實(shí)驗(yàn)中不同網(wǎng)絡(luò)在測試集上的平均檢測時間如表4所示。從表4中可看出one-stage的YOLOv3網(wǎng)絡(luò)檢測所需時間最短。FPN-Faster-RCNN 的平均檢測時間最長，主要原因在于two-stage 的目標(biāo)檢測網(wǎng)絡(luò)需要先提取出感興趣區(qū)域，再進(jìn)行下一步處理，并且在多尺寸特征圖上進(jìn)行預(yù)測使其處理時間要大于Faster R-CNN。

表4 不同網(wǎng)絡(luò)檢測時間對比Table 4 Comparison of different network detection time

4.4 檢測誤差分析

檢測中出現(xiàn)的誤差主要可分為以下幾類：（1）誤將影像中其他非銀杏樹冠物體檢測為銀杏樹冠。（2）影像中存在的銀杏樹冠未檢測到；（3）影像中尺寸較大的單株銀杏樹冠被檢測為多株小尺寸的銀杏。圖6展示了不同的檢測錯誤情況：圖6（a）、（b）中檢測到了非銀杏樹冠。圖6（c）中將較大尺寸的一個銀杏樹冠檢測為兩個小尺寸的銀杏樹冠。圖6（d）中被遮擋的銀杏樹冠未被檢測到。

圖6 典型錯誤檢測局部圖Fig.6 Typical error examples

影像中樹冠的細(xì)節(jié)可以幫助網(wǎng)絡(luò)區(qū)分不同的樹冠。而影像中樹冠的細(xì)節(jié)豐富程度與影像的分辨率成正比，與拍攝時的飛行高度成反比。本文中無人機(jī)多光譜影像采集系統(tǒng)得到的影像分辨率為1280 像素×960 像素相比于常見的RGB 相機(jī)的分辨率較低。除此之外影像采集時不同的飛行高度也會影響影像中樹冠的細(xì)節(jié)。這兩種原因都提升了樹冠誤檢的概率。同時，樹冠細(xì)節(jié)的缺少也使銀杏樹冠漏檢的機(jī)會增大，而銀杏樹冠被遮蓋以及樹冠尺寸遠(yuǎn)小于平均尺寸也是漏檢的原因之一。

盡管采集數(shù)據(jù)時設(shè)置了不同的飛行高度以提高數(shù)據(jù)的多樣性和增加網(wǎng)絡(luò)的魯棒性，但在起降時拍攝的影像，其中樹冠的尺寸要遠(yuǎn)大于飛行時拍攝的影像中樹冠的尺寸。且起降時拍攝的影像數(shù)量較少，不足數(shù)據(jù)集總數(shù)的1%，網(wǎng)絡(luò)無法學(xué)習(xí)到此類影像的特征，網(wǎng)絡(luò)更傾向于檢測出小尺寸的樹冠，因此會出現(xiàn)將大尺寸樹冠檢測為多個小尺寸樹冠的情況。

起降時拍攝的影像與在預(yù)設(shè)高度飛行時拍攝的影像如圖7所示。圖7（a）、（b）中矩形框內(nèi)的銀杏樹冠為同一棵樹。圖7中（a）為無人機(jī)起飛時采集的影像，其中矩形框內(nèi)的樹冠高度和寬度分別為304 像素，290 像素。圖7（b）中矩形框內(nèi)的樹冠高度和寬度分別為112 像素，108 像素。圖7（a）中的樹冠面積為圖7（b）中樹冠面積的729%。

圖7 無人機(jī)起飛過程中及預(yù)設(shè)高度飛行時采集影像對比Figure 7 Comparison of images captured during takeoff and at preset altitudes during UAV flight

5 結(jié) 論

對多光譜影像降維處理可有效減少數(shù)據(jù)的冗余提升深度學(xué)習(xí)網(wǎng)絡(luò)的運(yùn)行效率，結(jié)合預(yù)訓(xùn)練模型即使采用小樣本量的數(shù)據(jù)集也可在樹冠檢測任務(wù)中達(dá)到較高的準(zhǔn)確率。然而針對多光譜數(shù)據(jù)的降維算法種類較多，采用何種降維方法有助于單木樹冠檢測研究卻少有研究討論。

針對這一問題，本文通過波段組合、特征波段選擇，特征提取3 種降維方法共生成5 種不同的數(shù)據(jù)集，在3 種經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)FPN-Faster-R-CNN，YOLOv3，F(xiàn)aster R-CNN 上，進(jìn)行了實(shí)驗(yàn)。由結(jié)果可知：由特征波段選擇方法得到的近紅外、紅、綠（4、3、2）波段組合在one-stage，two-stage 目標(biāo)檢測網(wǎng)絡(luò)中都有最好的檢測結(jié)果，其中在FPN-Faster-R-CNN 網(wǎng)絡(luò)中對銀杏樹冠的檢測精度最高為88.4%。而通過OIF 指標(biāo)得到的藍(lán)、紅、近紅外（1、3、4）波段組合雖然有最高的信息量，但是在所有網(wǎng)絡(luò)中的平均檢測精度最低，僅為79.3%。由本文實(shí)驗(yàn)結(jié)果分析可得，在不同波段降維方法中，若降維后的影像中目標(biāo)物體的色彩與背景差異較明顯，且輪廓清晰，則深度學(xué)習(xí)網(wǎng)絡(luò)對樹冠的檢測可獲得較好的結(jié)果。而影像自身的信息量則對提升深度學(xué)習(xí)網(wǎng)絡(luò)的樹冠檢測能力并無作用。

本文僅研究了多光譜影像降維方法對樹冠檢測的影響，下一步的任務(wù)可考慮使用波段數(shù)量更加豐富的高光譜數(shù)據(jù)進(jìn)行試驗(yàn)。