一種基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法

趙冬陽，范國華,2，趙印勇，陳信，王文宇，張友華,2,*

(1.安徽農(nóng)業(yè)大學(xué) 信息與計算機(jī)學(xué)院計算機(jī)系，安徽 合肥 230036；2.安徽省北斗精準(zhǔn)農(nóng)業(yè)信息工程實驗室，安徽 合肥 230036；3.碭山縣酥梨種質(zhì)資源省級自然保護(hù)區(qū)辦公室，安徽 碭山 235300)

古樹，是珍貴的自然資源，是考古學(xué)、古生物學(xué)、古生態(tài)學(xué)的重要研究對象，并在生態(tài)系統(tǒng)、景觀、旅游和科學(xué)研究中扮演著重要的角色[1-4]。古老的梨樹，屬于典型的古樹名木，是珍貴的自然遺產(chǎn)，對于它們的保護(hù)和監(jiān)管是非常必要的。近年來，很多梨樹種植區(qū)域為了打造農(nóng)產(chǎn)品明星品牌，都建立“老梨園” 的區(qū)域品牌和文化，主打古老梨樹及其相關(guān)產(chǎn)品的售賣。不管是對古老梨樹進(jìn)行保護(hù)監(jiān)管，還是開發(fā)其經(jīng)濟(jì)價值，對梨樹樹齡的測定都是所有工作最初也是最重要的一步。

對古樹的樹齡測定一般有兩類方法：第一類方法精確測定古樹的樹齡，此類方法包括回歸模型[5-7]、X射線[8-9]、CT掃描[10]、生長錐[11]和14C測定[12]。這類方法可以對單棵古樹的樹齡進(jìn)行精確測定，但一般需要特殊的設(shè)備，且耗時耗費(fèi)較高。第二類方法粗略測定古樹的樹齡，將古樹樹齡歸納于各個樹齡范圍，包括類比推斷和基于文獻(xiàn)的方法[12]，這類方法對古樹樹齡的測定精確度較低，但耗時耗費(fèi)較低。國內(nèi)大多數(shù)梨樹種植園種植的梨樹數(shù)量都超過2000棵，因此，第一類方法不太適合對梨園內(nèi)的大量梨樹進(jìn)行樹齡測定，第二類方法雖然可以提高梨樹樹齡的測定效率但效率提高有限，且測定精度有所不足，因此，需要利用計算機(jī)輔助手段進(jìn)行數(shù)據(jù)處理和統(tǒng)計以減少時間花費(fèi)。

計算機(jī)輔助手段中，圖像是最容易獲取的一種方案，對于大量(超過千棵)的梨樹，遙感圖像擁有大面積同步觀測的優(yōu)點(diǎn)，傳統(tǒng)的航攝方式(如衛(wèi)星遙感、普通航空遙感)存在著信息獲取費(fèi)用昂貴、數(shù)據(jù)獲取周期較長、缺乏機(jī)動靈活性等問題，不適用于短期、高頻的動態(tài)統(tǒng)計研究，而使用無人機(jī)進(jìn)行動態(tài)統(tǒng)計則有著高精度、高效率、低成本的優(yōu)點(diǎn)。利用機(jī)器視覺對農(nóng)業(yè)遙感圖像進(jìn)行自動檢測和分類是目前農(nóng)業(yè)遙感圖像研究主流的發(fā)展方向，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)，能夠自動從數(shù)據(jù)中學(xué)習(xí)特征，避免了傳統(tǒng)算法中人工設(shè)計、提取特征的復(fù)雜性和局限性，在沒有人為干預(yù)的情況下，具有極大的特征學(xué)習(xí)潛力，已成為機(jī)器視覺的主流算法之一[13-14]，在農(nóng)業(yè)遙感圖像領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛用于農(nóng)業(yè)圖像的分類、提取、識別和檢索，Cheng等[15]提出了一種基于殘差學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)農(nóng)業(yè)害蟲分類方法，對10種蟲害圖像的識別準(zhǔn)確率達(dá)到98.67%；Cruz等[16]開發(fā)了一種基于機(jī)器視覺的深度卷積網(wǎng)絡(luò)技術(shù)，并檢測出受感染的油橄欖葉片焦枯葉；張建華等[17]提出了一種基于改進(jìn)型RESNET卷積神經(jīng)網(wǎng)絡(luò)的棉花病害識別模型，對棉花的5種常見病斑識別率達(dá)到89.51%；金秀等[18]分析了卷積神經(jīng)網(wǎng)絡(luò)卷積層同小麥赤霉病特征的關(guān)聯(lián)性，構(gòu)建的深度卷積神經(jīng)網(wǎng)絡(luò)對小麥赤霉病高光譜病癥點(diǎn)識別率達(dá)到74.2%。從上面的研究可以看出：卷積神經(jīng)網(wǎng)絡(luò)對農(nóng)業(yè)圖像的分類、識別已廣泛超越傳統(tǒng)方法。

本文以安徽省碭山縣的梨樹為研究對象，通過無人機(jī)拍攝低空遙感圖像，然后，對低空圖像進(jìn)行一系列預(yù)處理并通過試驗分析，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法，該方法可以利用廉價的無人機(jī)，快速識別出大量梨樹的樹齡梯度，大幅度降低梨樹樹齡測定成本開支。

1 數(shù)據(jù)采集

1.1 研究區(qū)概況

研究區(qū)位于中國安徽省碭山縣，碭山縣素有“中國梨都”的美譽(yù)，是中國主要的酥梨品種“碭山酥梨”的發(fā)源地和集中產(chǎn)區(qū)，擁有全世界最大的連片果園產(chǎn)區(qū)，梨年產(chǎn)量114.2228萬噸，占中國梨總產(chǎn)量的6.1%，世界梨總產(chǎn)量的4.5%[19]。本文實驗的主要實驗基地為碭山縣下轄的良梨鎮(zhèn)，該地區(qū)位于北緯34°16′～34°39′，東經(jīng)116°29′～116°38′之間，總面積1193 km 2，年平均氣溫14.1°C，年平均降水量680mm，地勢平坦，土壤為黃河沖積而成的沙壤土，地處暖溫帶半濕潤季風(fēng)氣候區(qū)，四季分明，氣候溫和，雨量適中，日照充足，無霜期長，適合種植果樹。梨樹王風(fēng)景區(qū)的地理位置見圖1。

圖1實驗基地地理位置

1.2 數(shù)據(jù)來源

實驗所用數(shù)據(jù)為無人機(jī)遙感圖像，無人機(jī)為大疆精靈4pro，搭載相機(jī)為FC6310，拍攝時間為2017年12月～2018年3月，圖像采集在陰天和多云環(huán)境下進(jìn)行，以降低陰影對圖像的影響。拍攝地點(diǎn)為碭山縣下轄的梨良鎮(zhèn)梨樹王風(fēng)景區(qū)，拍攝地點(diǎn)區(qū)域內(nèi)植被類型為林地，地勢平坦，拍攝對象為梨樹，拍攝方式為垂直俯視，無人機(jī)飛行高度為30～35米，單幅航拍圖像大小為5472像素*3078像素。無人機(jī)與相機(jī)參數(shù)如表1所示。

表1 無人機(jī)及相機(jī)參數(shù)

2 研究方法

針對現(xiàn)有方法無法快速測定大量梨樹樹齡的問題，本研究提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)低空遙感圖像梨樹樹齡梯度識別方法。該方法流程如圖2所示。首先根據(jù)農(nóng)業(yè)領(lǐng)域的要求，設(shè)定好梨樹的樹齡梯度，通過無人機(jī)獲得梨樹的圖像，對獲得的圖像進(jìn)行合成，并分割出單棵梨樹圖像，利用基于CNN的多種模型對訓(xùn)練集中的單棵梨樹圖像特征進(jìn)行抽象與學(xué)習(xí)，以自動獲取圖像深層特征，最后對測試集中的梨樹圖像進(jìn)行識別，識別出其樹齡梯度。

圖2 基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法流程圖

2.1 樹齡梯度構(gòu)建

現(xiàn)有的樹齡測定方法主要是基于樹的年輪測定，而如果要得到樹的年輪，就必然要截取樹的枝干等部分，這嚴(yán)重影響樹齡的測定速度。實際操作中，對于大本植物的年齡的估測往往不需要如此精確，一些研究者已提出對大本植物年齡進(jìn)行分段[20-21]，對梨樹樹齡的測定同樣也不需要如此精確，因此，我們提出樹齡梯度這個概念，將梨樹的樹齡范圍分段在各個梯度范圍。中國國家林業(yè)局頒布的《全國古樹名木普查建檔技術(shù)規(guī)定》中，將中國古樹分為3個級別，1級古樹樹齡為500年以上，2級古樹樹齡為300～499年，3級古樹樹齡為100～299年[22]，這種樹齡分級法即可視為一種樹齡梯度的劃分方法，中國絕大多數(shù)著名梨樹種植區(qū)將梨樹的樹齡劃分為2個級別：大于等于100年或小于100年，因此我們在本文中也將梨樹的樹齡梯度分為2個級別：大于等于100年或小于100年。

2.2 數(shù)據(jù)集構(gòu)建

本文數(shù)據(jù)使用6塊樣地?zé)o人機(jī)遙感圖像，1～3號樣地的圖像作為訓(xùn)練集，4～6號樣地的圖像作為測試集。為了便于識別圖像中梨樹的實際位置，每塊樣地的圖像使用PTGui拼接成一整張圖像，選擇合適尺度對圖像進(jìn)行規(guī)則切分，以反映連續(xù)分布區(qū)域的梨樹小圖像塊為研究對象，將切分得到的小圖像塊作為實驗數(shù)據(jù)集，以待學(xué)習(xí)與提取圖像深層特征。從中隨機(jī)選擇一定數(shù)量的數(shù)據(jù)作為訓(xùn)練/驗證樣本集，剩余數(shù)據(jù)作為測試數(shù)據(jù)集。所有圖像經(jīng)過數(shù)據(jù)擴(kuò)增，增加了其余兩個方向的旋轉(zhuǎn)角度，總共3517張圖像，其中訓(xùn)練/驗證集圖像2326張，測試集圖像1191張。圖像標(biāo)注通過標(biāo)注工具labelimg完成，標(biāo)注內(nèi)容為梨樹的矩形框坐標(biāo)及梯度分類信息。標(biāo)注由我們采集完成后，經(jīng)碭山縣酥梨種質(zhì)資源省級自然保護(hù)區(qū)專家復(fù)核。

2.3 卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，主要由卷積層、池化層、全連接層以及輸出層組成，由多個卷積層和池化層組合，通過逐層提取圖像特征來模仿人類視覺逐層認(rèn)知物體的方式[23]，卷積神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域取得了很好的效果[24-25]。

三個月后，高志明被任命為照相館副經(jīng)理。淘汰國產(chǎn)911彩擴(kuò)機(jī)，用上進(jìn)口的諾日士自動沖印機(jī)，換了背景和道具服裝，春風(fēng)照相館也辟出了藝術(shù)攝影業(yè)務(wù)。

卷積神經(jīng)網(wǎng)絡(luò)的卷積運(yùn)算本質(zhì)上是一個向量內(nèi)積運(yùn)算，通過卷積核同圖像矩陣的內(nèi)積操作，得到圖像不同特征的響應(yīng)，其工作原理可由公式1表示:

(1)

除了卷積運(yùn)算，激活函數(shù)即非線性映射函數(shù)，也是卷積神經(jīng)網(wǎng)絡(luò)中不可或缺的關(guān)鍵模塊，卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表示能力相當(dāng)一部分都是由激活函數(shù)的非線性帶來的，常用的激活函數(shù)包括：Sigmoid函數(shù)、tanh函數(shù)、ReLU函數(shù)等，其中,Sigmoid函數(shù)已不建議使用，ReLU函數(shù)是目前卷積神經(jīng)網(wǎng)絡(luò)使用最多的激活函數(shù)。

目前主流的卷積神經(jīng)網(wǎng)絡(luò)模型包括：AlexNet、VGGNet、ResNet等，其中，VGGNet[26]是ILSVRC 2014年比賽的亞軍和定位項目的冠軍，VGGNet通過反復(fù)堆疊組合3×3的小卷積核和2×2的最大池化層，成功構(gòu)建了多個級別11～19層的深層卷積神經(jīng)網(wǎng)絡(luò)，比較常用的VGG16和VGG19。ResNet(Residual Neural Network)[27]由微軟研究院的Kaiming He等人提出，通過使用ResNet Unit成功訓(xùn)練出了152層的神經(jīng)網(wǎng)絡(luò)，并在ILSVRC2015比賽中取得冠軍，在top5上的錯誤率為3.57%，同時參數(shù)量比VGGNet低，效果非常突出。本論文使用的是VGG16和Resnet101結(jié)構(gòu)進(jìn)行比較。VGG是由13個卷積層+3個全連接層疊加而成，當(dāng)輸入一副圖像后，在卷積層使用3×3的卷積核，2～3個卷積層連續(xù)堆疊成卷積序列，模仿出更大的感受野效果，在池化層使用2×2的窗口，減少卷積后的特征圖大小，在全連接層則使用3個連續(xù)的4096通道全連接進(jìn)行組合，最后由1個具有1000個標(biāo)簽的分類器進(jìn)行輸出。VGG16最大的特點(diǎn)是通過小卷積核的疊加來增加對圖像細(xì)小特征的提取，并減少卷積層的參數(shù)[28]。從圖像中提取CNN特征，VGG16是最好的幾種算法之一[29]。而Resnet的網(wǎng)絡(luò)結(jié)構(gòu)會用到兩種殘差模塊，一種是以兩個3×3的卷積網(wǎng)絡(luò)串接在一起作為一個殘差模塊，另外一種是1×1、3×3、1×1的3個卷積網(wǎng)絡(luò)串接在一起作為一個殘差模塊。ResNet有不同的網(wǎng)絡(luò)層數(shù)，比較常用的是50-layer，101-layer，152-layer。他們都是由上述的殘差模塊堆疊在一起實現(xiàn)的，本文將采用效果較好的resnet101進(jìn)行試驗。

3 結(jié)果與分析

3.1 實驗環(huán)境

本文實驗所使用的軟件和硬件開發(fā)環(huán)境圖表2所示，實驗中，采用pytorch作為深度學(xué)習(xí)的框架，并完成訓(xùn)練和測試，同時，也使用了GPU來加速優(yōu)化速度。

表2 實驗環(huán)境

3.2 特征提取

卷積神經(jīng)網(wǎng)絡(luò)的卷積操作可以自動提取圖像特征[30]，圖3可視化了Resnet101模型中的f1_conv1、f5_layer1，f8_layer4_2三層。從這些可視化的特征圖里可以看出：圖像中的梨樹內(nèi)容已跟背景分離，而特征已被resnet101模型自動提取。

圖3 resnet101部分卷積層特征可視化

3.3 識別結(jié)果與比較

在實驗中，我們將梨樹樹齡劃分為2個梯度：大于等于100年或小于100年。大于等于100年樹齡的梨樹命名為peartree，小于100年樹齡的梨樹命名為youngpear，共使用樣本遙感圖像3517張，其中，2326張用于訓(xùn)練和驗證，1191張用于測試。訓(xùn)練/驗證集中，1257張為peartree圖像，1069張為youngpear圖像，測試集中，655張為peartree圖像，536張為youngpear圖像，識別效果如圖4所示。

(a) VGG16識別結(jié)果

(b) RESNET50識別結(jié)果

(c) RESNET101識別結(jié)果

針對梨樹樹齡的識別效率涉及準(zhǔn)確率和時間效率2個尺度，用不同的模型對識別準(zhǔn)確率進(jìn)行比較，并將基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法與傳統(tǒng)樹齡識別方法進(jìn)行時間效率的比較。

為了評估各模型的識別效率，我們將其同不同的模型進(jìn)行比較，比較結(jié)果如表3所示，在4種深度卷積神經(jīng)網(wǎng)絡(luò)模型中，AlexNet的識別準(zhǔn)確率過低，因此不參與后期的比較，剩余的3種模型中，RESNET101的識別準(zhǔn)確率和F1-Score值是最高的，由于RESNET101模型在測試集上的表現(xiàn)最好，因此，將其作為基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法的識別模型。

表3 不同模型評估結(jié)果

3種模型的訓(xùn)練結(jié)果如圖5所示，對于VGG16網(wǎng)絡(luò)來說，一共進(jìn)行了200次訓(xùn)練，ACC上升更加的緩慢，loss數(shù)值的下跌也有波動，且val驗證集的acc高于train訓(xùn)練集，loss低于train訓(xùn)練集，即有一定的過擬合現(xiàn)象。而RESNET的acc的上升幅度非常快，之后數(shù)據(jù)趨于平穩(wěn)，且val測試集的曲線和train訓(xùn)練集的曲線并沒有相差很遠(yuǎn)，說明并沒有發(fā)生擬合和欠擬合現(xiàn)象，而loss值有一定的波動，但是還是在可以接受的范圍內(nèi)一直降低。這證明了RESNET的訓(xùn)練較為穩(wěn)定,其中RESNET101相比RESNET50準(zhǔn)確率更高，說明對于RESNET模型來說，層數(shù)越高，準(zhǔn)確率越高、識別效果越好。

VGG16

Resnet50

Resnet101

為了進(jìn)一步評估不同模型的泛化性和對不同樹齡目標(biāo)的響應(yīng)，本文使用混淆矩陣對測試集進(jìn)行評估，結(jié)果如圖6所示，可以看出：各模型對于peartree的識別準(zhǔn)確率最高，而對于youngpear的識別準(zhǔn)確率則偏低，這說明：深度卷積神經(jīng)網(wǎng)絡(luò)模型對于特征(顏色、紋理、形狀等)明顯的梨樹遙感圖像樣本響應(yīng)更敏感。

圖6 不同模型的混淆矩陣

梨樹樹齡識別時間效率的提高是本文研究的核心目的，本文將基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法與常用的4種傳統(tǒng)樹齡識別方法進(jìn)行時間效率的比較(比較中已加入各方法的預(yù)處理和訓(xùn)練時間)，各方法對于單棵梨樹的平均識別時間如表4所示，可見，基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法的時間效率遠(yuǎn)勝4種傳統(tǒng)樹齡測定方法。

表4不同方法的時間效率單位：min

3.4 典型誤檢結(jié)果分析

從表3以及圖6的結(jié)果可知，深度卷積神經(jīng)網(wǎng)絡(luò)模型對于特征明顯的梨樹遙感圖像樣本響應(yīng)敏感，因此，對于樹齡大于100年的梨樹遙感圖像識別準(zhǔn)確率極高，對于樹齡小于100年的梨樹遙感圖像識別準(zhǔn)確率則偏低。這主要是由于梨樹本身的生理特性：其樹齡達(dá)到70年后，外觀變化速度減緩，70年以上樹齡的梨樹與100年樹齡的梨樹外觀經(jīng)常并無太大差異，如圖7所示。

(a)100年樹齡的梨樹，測定正確 (b)80年樹齡的梨樹，測定錯誤

4 結(jié)論與展望

現(xiàn)有的古樹樹齡測定方法主要都是針對單棵古樹，不適合對大量的梨樹進(jìn)行樹齡測定。針對此問題，本文提出了一種基于無人機(jī)遙感和卷積神經(jīng)網(wǎng)絡(luò)的梨樹樹齡梯度識別方法。首先對樹齡測定領(lǐng)域的需求進(jìn)行細(xì)分，提出樹齡梯度的概念，然后將無人機(jī)遙感監(jiān)測和卷積神經(jīng)網(wǎng)絡(luò)圖像分類相結(jié)合，實現(xiàn)對大量梨樹樹齡梯度的快速測定。實驗結(jié)果表明：本方法的樹齡梯度測定準(zhǔn)確率為85.56%，單棵梨樹樹齡梯度測定時間僅為0.5min，準(zhǔn)確率和時間效率遠(yuǎn)勝傳統(tǒng)樹齡測定方法。綜上所述，本文的研究對于大量梨樹樹齡測定統(tǒng)計問題具有重要的理論價值和實際意義，此外，本文的研究經(jīng)驗也可應(yīng)用于其它大本植物的年齡測定研究。

本文的研究結(jié)果顯示：當(dāng)梨樹成長到一定年齡階段(70年)，其外觀將在很長一段時間內(nèi)變化差異極小，這時候樹齡測定的準(zhǔn)確率將明顯下降。本質(zhì)上，這是一個細(xì)粒度圖像分辨問題，未來，筆者將進(jìn)一步研究細(xì)粒度梨樹遙感圖像的樹齡梯度識別問題。