基于無(wú)人機(jī)和人工智能的異常林木快速識(shí)別技術(shù)研究

呂明站 朱子魁

（北京如翼信息技術(shù)有限公司北京100000）

受厄爾尼諾等自然現(xiàn)象和國(guó)內(nèi)物流、旅游等行業(yè)快速發(fā)展的影響，林業(yè)病蟲(chóng)害出現(xiàn)了跳躍性傳播、突發(fā)性爆發(fā)、常態(tài)發(fā)生的特征，從而使林業(yè)面臨病蟲(chóng)害發(fā)生難以及時(shí)發(fā)現(xiàn)。采用無(wú)人機(jī)可以實(shí)現(xiàn)對(duì)大面積林木快速獲取影像數(shù)據(jù)，但是大量圖像的人工判讀存在速度慢、易誤判、遺漏的問(wèn)題；使用人工智能技術(shù)可以充分發(fā)揮計(jì)算機(jī)識(shí)別速度快、泛化能力強(qiáng)的優(yōu)點(diǎn)，實(shí)現(xiàn)真正的高效識(shí)別。

1 背景描述

目前，林業(yè)病蟲(chóng)害隨著世界和中國(guó)的一些變化出現(xiàn)了一些新的特點(diǎn)。

第一，病蟲(chóng)害持續(xù)偏重發(fā)展。受全球氣候進(jìn)一步惡化，尤其是厄爾尼諾等持續(xù)數(shù)十年的影響，導(dǎo)致暖冬、干旱、洪澇，對(duì)應(yīng)的生物的自然規(guī)律發(fā)生變化。以美國(guó)為例，春天的提前到來(lái)，導(dǎo)致候鳥(niǎo)的遷徙規(guī)律發(fā)生變化，使得害蟲(chóng)本身、天敵等發(fā)生適應(yīng)性變化。異常天氣尤其是最近幾年發(fā)生的旱情等導(dǎo)致病蟲(chóng)害活動(dòng)加劇。

第二，一些特色的產(chǎn)業(yè)發(fā)展使得病蟲(chóng)害出現(xiàn)了跳躍性發(fā)展的新特點(diǎn)。目前中國(guó)消費(fèi)市場(chǎng)發(fā)展快速，包括物流、跨境電商、全域旅游、跨境旅游等產(chǎn)業(yè)的發(fā)展，影響了林業(yè)病蟲(chóng)害的傳統(tǒng)發(fā)展行為。以物流為例，目前物流速度已經(jīng)從以前的十幾天縮減到了小時(shí)級(jí)別，同時(shí)出現(xiàn)了更多的個(gè)體從事個(gè)性產(chǎn)品的電子商務(wù)銷售，而保鮮等技術(shù)使一些商戶在制造手工制品的同時(shí)，將可能的病菌帶進(jìn)了產(chǎn)品，快速物流使得病菌活體到達(dá)了僅靠本身傳播到達(dá)不了的地方，因此，病蟲(chóng)害出現(xiàn)了很強(qiáng)的跳躍性發(fā)展。加上一些地區(qū)在進(jìn)行綠化等工作時(shí)，樹(shù)種單一，更使得異地病蟲(chóng)害一旦出現(xiàn)，就呈現(xiàn)爆發(fā)、快速蔓延的特征。

以目前廣泛發(fā)生的松材線蟲(chóng)病為例。松材線蟲(chóng)病是松屬植物的一種毀滅性流行病，有“松樹(shù)癌癥”之稱，該病是由松材線蟲(chóng)所致。受影響松樹(shù)類型包括：赤松、馬尾松、黃松、濕地松、黑松等，其從入侵至今已對(duì)我國(guó)造成巨大的經(jīng)濟(jì)損失，累計(jì)致死松樹(shù)5 億多株，毀滅松林超過(guò)333 333.33 hm2，造成經(jīng)濟(jì)損失數(shù)千億元。松材線蟲(chóng)病的發(fā)生，其中最大一個(gè)明顯特征是林木出現(xiàn)異常，如枯萎、色變等。這個(gè)特征采用目視是可以實(shí)現(xiàn)初步判斷的。但是因?yàn)椴∠x(chóng)害跳躍式爆發(fā)的特點(diǎn)，導(dǎo)致傳統(tǒng)的例行人工踏查監(jiān)測(cè)無(wú)法滿足監(jiān)測(cè)需求。因?yàn)槿斯ぬげ榇嬖诓粔蚋咝?、及時(shí)和準(zhǔn)確的問(wèn)題，對(duì)于高山等人力不易到達(dá)的地區(qū)，更是無(wú)法監(jiān)測(cè)。

因此，采用航空技術(shù)，如無(wú)人機(jī)，可以實(shí)現(xiàn)不受地理限制的大面積、快速數(shù)據(jù)獲取，能夠解決林業(yè)數(shù)據(jù)獲取問(wèn)題。但是大量數(shù)據(jù)的產(chǎn)生，依靠人工肉眼判斷，依然速度緩慢，常見(jiàn)33 333.33 hm2的松林航拍，需要1 個(gè)月的時(shí)間進(jìn)行人工判讀、反復(fù)核實(shí)，才能達(dá)到一定準(zhǔn)確率，效率極低。

近年來(lái)，人工智能的深度學(xué)習(xí)開(kāi)始直接嘗試解決抽象認(rèn)知的難題，并取得了突破性進(jìn)展。目前,深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域, 通過(guò)構(gòu)造深度卷積神經(jīng)網(wǎng)(Convolutional Neural Networks，簡(jiǎn)稱“CNN”),將Top5錯(cuò)誤率進(jìn)一步降低到11%，完全可以實(shí)現(xiàn)機(jī)器自主學(xué)習(xí)，實(shí)現(xiàn)圖像識(shí)別的能力。因此，本方案提出采用無(wú)人機(jī)+人工智能的異常林業(yè)快速識(shí)別技術(shù)，可以大幅提高發(fā)現(xiàn)問(wèn)題的速度和質(zhì)量。

2 實(shí)驗(yàn)過(guò)程

試驗(yàn)主要采用無(wú)人機(jī)采集平臺(tái)和人工智能識(shí)別技術(shù)來(lái)實(shí)現(xiàn)。選取了一塊32 334 hm2的林地，經(jīng)過(guò)兩天航拍，六個(gè)架次，完成了林地的航空攝影工作。

2.1 無(wú)人機(jī)采集平臺(tái)

無(wú)人機(jī)包括多種類型和多種動(dòng)力、航時(shí)等配置。本次實(shí)驗(yàn)采用的平臺(tái)具體參數(shù)選擇見(jiàn)表1。

表1 無(wú)人機(jī)平臺(tái)選擇

本次實(shí)驗(yàn)采用了自主研發(fā)的低成本電動(dòng)固定翼無(wú)人機(jī)LW-01 型號(hào)，航時(shí)為3 h，飛行高度為900 m，分辨率為10 cm，相機(jī)像素為2 500 萬(wàn)，航向重疊度為80%，旁向重疊度為40%。一次航拍航線圖像如圖1 所示。

1.2 人工智能識(shí)別

本次實(shí)驗(yàn)依次使用了兩種技術(shù)：基于語(yǔ)義的圖像分割和異常林木自動(dòng)識(shí)別。

1.2.1 基于語(yǔ)義的像素級(jí)別的圖像分割

無(wú)人機(jī)拍攝的圖片經(jīng)過(guò)處理后，單張照片是無(wú)法直接采用人工智能手段進(jìn)行識(shí)別的。

圖1 航拍軌跡

以本次實(shí)驗(yàn)為例。單張照片大小為35 M，單張照片尺寸為7 952 px×5 304 px。而目前人工智能適用的模型基本都采用32 px×32 px、227 px×227 px、300 px×300 px、800 px×800 px，而人工智能識(shí)別要達(dá)到準(zhǔn)確度較高，就需要基于和訓(xùn)練模型采用相同或者相近尺寸的圖片進(jìn)行識(shí)別。因此，必須首先對(duì)數(shù)據(jù)進(jìn)行分割，而林地里面松樹(shù)是自然生長(zhǎng)的，尤其是大塊林地，沒(méi)有明顯的邊緣和整齊的邊界。而基于閥值、基于邊緣檢測(cè)或是基于區(qū)域的傳統(tǒng)圖像分割方法，基本都是利用圖像的低級(jí)語(yǔ)義，包括圖像的紋理信息、外在形狀和顏色等，這種分割方法在復(fù)雜場(chǎng)景中的實(shí)際分割效果并不理想。

本次實(shí)驗(yàn)采用了全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks,簡(jiǎn)稱“FCN”)，即基于CNN 的語(yǔ)義分割方法，利用圖像的內(nèi)容信息，如特征相似性、高級(jí)語(yǔ)義來(lái)確定圖像的區(qū)域劃分。基于主流的深度神經(jīng)網(wǎng)絡(luò)模型，直接進(jìn)行像素級(jí)別的端到端（end-to-end）的語(yǔ)義分割，這個(gè)過(guò)程主要涉及到三種技術(shù)：卷積化（Convolutional）、上采樣（Upsample）、連接結(jié)構(gòu)（Skip Layer）。

與傳統(tǒng)CNN 相比，F(xiàn)CN 的卷積化過(guò)程將全連接層替換為相應(yīng)的卷積層，可以接受任意大小的輸入圖像，而不用要求所有的訓(xùn)練圖像和測(cè)試圖像具有相同的尺寸，進(jìn)而大大縮減了數(shù)據(jù)的預(yù)處理時(shí)間。這種全卷積網(wǎng)絡(luò)以平移不變性作為基礎(chǔ)，只依賴相對(duì)空間坐標(biāo)。如在特定層記Xij為坐標(biāo)(i,j)處的數(shù)據(jù)向量，在following layer 有Yij，則Yij處的計(jì)算公式如下：

其中k 為卷積尺寸，s 為步長(zhǎng)或下采樣因素，fks決定了層的類型。

雖然FCN 更加高效，避免由于使用像素塊而帶來(lái)的重復(fù)存儲(chǔ)和計(jì)算卷積的問(wèn)題，但是其缺點(diǎn)也是比較明顯的。首先是得到的結(jié)果還不夠精細(xì)，進(jìn)行8 倍上采樣雖然比32 倍的效果好很多，但是上采樣的結(jié)果還是比較模糊和平滑，對(duì)圖像中的細(xì)節(jié)不夠敏感。其次是對(duì)各個(gè)像素進(jìn)行分類時(shí)并沒(méi)有充分考慮到像素與像素之間的關(guān)系，沒(méi)有考慮到在基于像素分類的圖像分割方法中所使用的空間規(guī)整(spatial regularization)，導(dǎo)致分割結(jié)果缺乏空間一致性。

因此，我們?cè)诘玫较袼胤诸惤Y(jié)果的基礎(chǔ)上使用全連接的條件隨機(jī)場(chǎng) (fully connected conditional random fields),考慮圖像中的空間信息，進(jìn)而得到具有空間一致性且更加精細(xì)的結(jié)果。在全連接條件隨機(jī)場(chǎng)中，能量函數(shù)中包括數(shù)據(jù)項(xiàng)和平滑項(xiàng)兩部分，數(shù)據(jù)項(xiàng)與各個(gè)像素所屬類別的概率有關(guān)，平滑項(xiàng)則控制像素與像素間類別的一致性。本次研究中條件隨機(jī)場(chǎng)模型所表示的條件概率計(jì)算公式如下：

其中的分母為劃分函數(shù)，表達(dá)式為：

采用優(yōu)化方法訓(xùn)練條件隨機(jī)場(chǎng)模型參數(shù)時(shí)，主要任務(wù)是計(jì)算cost 和grad 表達(dá)式，其中cost 表達(dá)式為：

則相應(yīng)的grad 表達(dá)式為：

對(duì)于grad 表達(dá)式中的兩個(gè)期望值表示模型對(duì)特征的期望以及數(shù)據(jù)對(duì)特征的期望，其表達(dá)式分別如下：

該函數(shù)用訓(xùn)練樣本X 和標(biāo)簽Y 進(jìn)行參數(shù)優(yōu)化，迭代次數(shù)和初始學(xué)習(xí)率等超參數(shù)在函數(shù)內(nèi)部給定，調(diào)用SGD 算法(即隨機(jī)梯度下降Stochastic Gradient Descent)實(shí)現(xiàn)函數(shù)的迭代更新。

相對(duì)于傳統(tǒng)的條件隨機(jī)場(chǎng),全連接條件隨機(jī)場(chǎng)將圖像中的任意兩個(gè)像素之間的類別關(guān)聯(lián)性都考慮進(jìn)來(lái)，這是對(duì)FCN 輸出結(jié)果的一種優(yōu)化后處理技術(shù)，有效避免了分割過(guò)程中對(duì)植株的整體錯(cuò)分，使得結(jié)果更加精細(xì)。識(shí)別分割前后如圖2、圖3。

圖2 圖像識(shí)別分割前

圖3 圖像識(shí)別分割后

1.2.2 異常林木自動(dòng)識(shí)別

為了實(shí)現(xiàn)對(duì)林業(yè)病蟲(chóng)災(zāi)害的自動(dòng)識(shí)別，需要完成一定量的異常林業(yè)樣本標(biāo)注。本次實(shí)驗(yàn)采取采樣5%部分的圖像數(shù)據(jù)進(jìn)行標(biāo)注，作為模型訓(xùn)練的樣本。

由于遙感圖像的特殊性，如果要學(xué)習(xí)100 個(gè)特征,則需要500 萬(wàn)個(gè)參數(shù),計(jì)算時(shí)間會(huì)大幅增加。解決這種圖像識(shí)別的有效方法是利用圖像的局部性,構(gòu)造一個(gè)部分聯(lián)通的網(wǎng)絡(luò),最常見(jiàn)的是卷積神經(jīng)網(wǎng)絡(luò)，利用的是圖像固有的特性, 即圖像局部的統(tǒng)計(jì)特性與其他局部相同。因此,從某個(gè)局部學(xué)習(xí)來(lái)的特征同樣適用于其他的局部。

深層模型訓(xùn)練需要各種技巧, 如網(wǎng)絡(luò)結(jié)構(gòu)的選取、神經(jīng)元個(gè)數(shù)的設(shè)定、權(quán)重參數(shù)的初始化、學(xué)習(xí)率的調(diào)整、控制等等，即便對(duì)這些技巧十分精通,實(shí)踐中也要多次訓(xùn)練,反復(fù)摸索嘗試。此外,由于深層模型參數(shù)多,計(jì)算量大,訓(xùn)練數(shù)據(jù)的規(guī)模龐大,因此需要消耗很多計(jì)算資源。如果提高了訓(xùn)練速度,就可以在同樣的時(shí)間內(nèi)多嘗試網(wǎng)絡(luò)模型,多調(diào)試幾組參數(shù),工作效率也會(huì)明顯提升。深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

本次實(shí)驗(yàn)中使用的深度卷積神經(jīng)網(wǎng)絡(luò)包括多種類型的網(wǎng)絡(luò)層次結(jié)構(gòu)。其中卷積層完成對(duì)數(shù)據(jù)特征的非線性提取，使用RELU 函數(shù)作為神經(jīng)元的激活函數(shù)。

首先，向CNN 網(wǎng)絡(luò)Resnet 輸入任意大小圖片，經(jīng)過(guò)CNN 網(wǎng)絡(luò)前向傳播至最后共享的卷積層。一方面得到供區(qū)域建議網(wǎng)絡(luò)（RPN）輸入的特征圖；另一方面繼續(xù)前向傳播至特有卷積層，產(chǎn)生更高維特征圖,供RPN 網(wǎng)絡(luò)輸入的特征圖經(jīng)過(guò)RPN 網(wǎng)絡(luò)得到區(qū)域建議和區(qū)域得分，并對(duì)區(qū)域得分采用非極大值抑制【閾值為0.7】，輸出其Top-N 得分的區(qū)域建議給RoI 池化層,將之前得到的高維特征圖和得到的輸出的區(qū)域建議同時(shí)輸入RoI 池化層，提取對(duì)應(yīng)區(qū)域建議的特征。其次，將得到的區(qū)域建議特征通過(guò)全連接層后，輸出該區(qū)域的分類得分以及回歸后的bounding-box。

圖4 基于faster-RCNN 的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

單個(gè)RPN 網(wǎng)絡(luò)結(jié)構(gòu)如下：

RPN 的作用：RPN 在CNN 卷積層后增加滑動(dòng)窗口操作以及兩個(gè)卷積層完成區(qū)域建議功能，第一個(gè)卷積層將特征圖每個(gè)滑窗位置編碼成一個(gè)特征向量，第二個(gè)卷積層對(duì)應(yīng)每個(gè)滑窗位置輸出k 個(gè)區(qū)域得分和k 個(gè)回歸后的區(qū)域建議，并對(duì)得分區(qū)域進(jìn)行非極大值抑制后輸出得分Top-N 區(qū)域，告訴檢測(cè)網(wǎng)絡(luò)應(yīng)該注意哪些區(qū)域，本質(zhì)上實(shí)現(xiàn)了Selective Search、EdgeBoxes 等方法的功能。

基于faster-RCNN 的深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)異常林木識(shí)別需要使用特定的數(shù)據(jù)強(qiáng)化步驟和正則化技巧來(lái)盡量避免模型過(guò)擬合，提高分類精度。我們?cè)谠搶?shí)驗(yàn)中采用的數(shù)據(jù)強(qiáng)化技巧包括：圖像的平移、縮放、旋轉(zhuǎn)、去均值。這些數(shù)據(jù)強(qiáng)化技術(shù)一方面反映了識(shí)別目標(biāo)在不同分辨率、拍攝角度和高度、光照條件下可能發(fā)生的變化，豐富了輸入數(shù)據(jù)的類型，增強(qiáng)深度卷積神經(jīng)網(wǎng)絡(luò)模型的適應(yīng)性，使得該模型可以準(zhǔn)確處理的場(chǎng)景更加豐富；另一方面，經(jīng)過(guò)數(shù)據(jù)強(qiáng)化，在訓(xùn)練過(guò)程中卷積神經(jīng)網(wǎng)絡(luò)實(shí)際接收的訓(xùn)練數(shù)據(jù)總量得到了極大增加，能夠有效減小模型過(guò)擬合的風(fēng)險(xiǎn)。

我們?cè)谠撟詣?dòng)識(shí)別系統(tǒng)中使用的正則化技術(shù)包括：隨機(jī)DROPOUT、權(quán)重衰減（weight decay）、權(quán)重矩加權(quán)。通過(guò)對(duì)優(yōu)化過(guò)程的正則化限制，降低了模型的復(fù)雜度，避免模型出現(xiàn)嚴(yán)重的過(guò)擬合現(xiàn)象。

3 成果

實(shí)驗(yàn)采用了NVIDIA GeForce 24GB GDDR5 Tesla K80 4 塊，總體運(yùn)行時(shí)間為7 h。在50 萬(wàn)例測(cè)試數(shù)據(jù)集中，對(duì)病變樹(shù)木識(shí)別召回率達(dá)到86%，定位精度達(dá)到5 m。通過(guò)對(duì)識(shí)別出的枯死松樹(shù)進(jìn)行調(diào)查，準(zhǔn)確率達(dá)到94%。實(shí)驗(yàn)的效果圖如下。

圖5 松材線蟲(chóng)病識(shí)別

同時(shí)，結(jié)合異常林木運(yùn)行的實(shí)驗(yàn)成果，項(xiàng)目組進(jìn)行了某地枯萎林木智能識(shí)別項(xiàng)目（補(bǔ)種和產(chǎn)量預(yù)估，如圖5）、棕櫚園種植估產(chǎn)智能計(jì)算（監(jiān)測(cè)棕櫚種植密度，如圖6）、煙草清塘點(diǎn)株（監(jiān)測(cè)煙草種植密度和估產(chǎn)，如圖7）。采用無(wú)人機(jī)和人工智能的結(jié)合，可以實(shí)現(xiàn)快速、準(zhǔn)確識(shí)別。

圖6 實(shí)驗(yàn)效果

圖7 煙草清塘點(diǎn)株效果

基于人工智能技術(shù)的異常林木監(jiān)測(cè)技術(shù)相比人工識(shí)別有如下突出優(yōu)勢(shì)：

第一，速度快，滿足了林業(yè)病蟲(chóng)災(zāi)害防治的時(shí)間需求。以32 334 hm2林場(chǎng)的高分辨率航空遙感數(shù)字圖像處理為例，該系統(tǒng)能夠在7 h 內(nèi)完成識(shí)別，相對(duì)傳統(tǒng)人工處理時(shí)間，效率提高了2 個(gè)數(shù)量級(jí)。

第二，泛化能力強(qiáng)。由于傳統(tǒng)人工判別的主觀標(biāo)準(zhǔn)不同，并且長(zhǎng)時(shí)間識(shí)別判斷過(guò)程中很容易出現(xiàn)錯(cuò)判、漏判等問(wèn)題，因此判別結(jié)果中有很多人為誤差；而智能識(shí)別定位系統(tǒng)采用統(tǒng)一的判別標(biāo)準(zhǔn)，有效提高了識(shí)別結(jié)果的覆蓋率。

4 結(jié)論

本研究采用適合林業(yè)使用的電動(dòng)長(zhǎng)航時(shí)無(wú)人機(jī)，既解決了人工無(wú)法快速獲取數(shù)據(jù)的問(wèn)題，又解決了常見(jiàn)電動(dòng)無(wú)人機(jī)飛行時(shí)間短、無(wú)法適用于大面積林地監(jiān)測(cè)的問(wèn)題。采用人工智能技術(shù)進(jìn)行異常林木識(shí)別，既可以使監(jiān)測(cè)周期大幅縮短，數(shù)據(jù)處理速度提高2 個(gè)數(shù)量級(jí)，又能避免因?yàn)槿藶橐蛩爻霈F(xiàn)漏判、誤判問(wèn)題，準(zhǔn)確率能夠達(dá)到90%以上。

本研究所采用的技術(shù)對(duì)于改變林業(yè)異常林木監(jiān)測(cè)技術(shù)有重要的意義，但依然存在一定的細(xì)節(jié)需要進(jìn)一步研究。其一，人工智能的應(yīng)用需要基于大量數(shù)據(jù)，因此在同一地區(qū)只有連續(xù)展開(kāi)，積累一定量的歷史數(shù)據(jù)，才能實(shí)現(xiàn)高準(zhǔn)確率的識(shí)別和判定。目前，林業(yè)系統(tǒng)存在一定量的存量數(shù)據(jù)，但是缺乏系統(tǒng)的整理，只有投入一定人力對(duì)歷史數(shù)據(jù)進(jìn)行挖掘，才能使得系統(tǒng)應(yīng)用起來(lái)準(zhǔn)確率較高。其二，異常林木可能是多種原因?qū)е?，并不完全都是病蟲(chóng)害導(dǎo)致，因此需要在最終結(jié)果中，結(jié)合地區(qū)情況進(jìn)行抽樣，來(lái)實(shí)現(xiàn)精準(zhǔn)判定，開(kāi)展統(tǒng)防統(tǒng)治或者精準(zhǔn)處置疫木。

目前，使用無(wú)人機(jī)進(jìn)行監(jiān)測(cè)在農(nóng)業(yè)等領(lǐng)域已經(jīng)成為常態(tài)，引入人工智能技術(shù)會(huì)大大促進(jìn)監(jiān)測(cè)技術(shù)的落地應(yīng)用。同時(shí)，隨著人工智能識(shí)別技術(shù)在手機(jī)端的不斷應(yīng)用，可以結(jié)合微觀技術(shù)，即林業(yè)工作人員采用手機(jī)進(jìn)行拍照識(shí)別異常林業(yè)和病蟲(chóng)害，與無(wú)人機(jī)監(jiān)測(cè)、病蟲(chóng)害自身的生物特性結(jié)合，可以更加精準(zhǔn)地判斷出問(wèn)題，也可以分析出病蟲(chóng)害發(fā)生的趨勢(shì)，實(shí)現(xiàn)精準(zhǔn)預(yù)警。另外，基于異常林木的模型，采用人工智能的遷移學(xué)習(xí)技術(shù)，可以實(shí)現(xiàn)對(duì)類似異常林場(chǎng)、估產(chǎn)、災(zāi)害評(píng)估等領(lǐng)域的應(yīng)用，對(duì)國(guó)家基礎(chǔ)產(chǎn)業(yè)科學(xué)發(fā)展帶來(lái)很強(qiáng)的指導(dǎo)作用。