Fast R-CNN深度學習和無人機遙感相結合在松材線蟲病監(jiān)測中的初步應用研究

黃華毅，馬曉航，扈麗麗，黃詠槐，黃煥華*

(1.廣東省林業(yè)科學研究院，廣州 510520；2.零曉(北京)科技有限公司，北京 100083)

松樹是我國種植面積最大、分布最為廣泛的樹種之一。松材線蟲病是松材線蟲Bursaphelenchusxylophilus(Steiner & Buhere)Nickle侵染引起的松樹毀滅性病害，具有破壞力強、傳播迅速的特點。松材線蟲病自然傳播主要依賴媒介昆蟲松褐天牛MonochamusalternatusHope的傳播；遠距離、跳躍式擴散主要通過疫木運輸等人為因素(謝偉忠等, 2017)。根據國家林業(yè)與草原局2021年第5號松材線蟲病疫區(qū)公告，松材線蟲病目前已廣泛傳播至我國大陸的17個省(市、自治區(qū))的721個縣級疫區(qū)(較2020年度新增縣級疫區(qū)63個)(國家林業(yè)與草原局, 2021)。松材線蟲病的發(fā)生具有隨機性和突發(fā)性，而其防控工作又具有長期性、艱巨性和復雜性的特點，因此第一時間發(fā)現(xiàn)疫情并了解其危害情況是松材線蟲病防控的關鍵(馬躍等, 2014)。

我國松林分布區(qū)大部分處在松材線蟲病的適生區(qū)，面臨著松材線蟲病的潛在威脅，迫切需要能靈活、高效、大面積監(jiān)測松材線蟲病疫情的技術手段(馮益民等, 2009; 韓陽陽等, 2014)。以往松材線蟲病監(jiān)測主要以人工地面調查為主，但由于松林大多處于山高、路陡、林密的地區(qū)，導致人工地面調查成本高、效率低，在林間又難以覆蓋所有病枯死松樹，導致遺漏現(xiàn)象普遍，從而難以精確掌握疫情發(fā)生動態(tài)情況(張紅梅等, 2017)。衛(wèi)星遙感在森林病蟲害監(jiān)測上已有廣泛的應用，如可用于森林病蟲害定量檢測的高分五號衛(wèi)星數據(陶歡等, 2020)。但衛(wèi)星遙感易受空間分辨率、大氣影響和重訪周期的限制，難以靈活獲取松材線蟲病監(jiān)測的高精度影像，對于特定時間窗口單株樹級別的變色松樹監(jiān)測難以準確定位(Xueetal., 2017)。無人機遙感作為一種快速、實時、可靠且便于大面積覆蓋的監(jiān)測技術，克服了地面調查和衛(wèi)星遙感監(jiān)測的不足，并可根據監(jiān)測工作的技術要求靈活調整分辨率和采集數據種類，有針對性的獲取不同的植被特征；伴隨著無人機穩(wěn)定技術和定位技術的發(fā)展，無人機遙感圖像和定位技術也得到了顯著的提升。目前，國內外已有大量研究和應用結果表明采用無人機遙感能夠高效監(jiān)測松材線蟲病。呂曉君等(2016)利用無人機遙感分別對小蠹蟲和松材線蟲致死的變色枯死松樹進行低空監(jiān)測，通過人工判讀定位標示出了大量疑似枯死松樹。武紅敢等(2019)利用無人機遙感分析了重慶市沙坪壩區(qū)松材線蟲病發(fā)生情況。Hu等(2020)、Deng等(2020)和Iordache等(2020)均利用無人機遙感來高效監(jiān)測松材線蟲病的發(fā)生。

通過無人機遙感監(jiān)測松材線蟲病的過程中，早期普遍依靠人工目視法來尋找和定位病枯死松樹。李衛(wèi)正等(2014)利用小型無人機獲得遙感影像，采取人工目視法并結合GeoLink軟件尋找和定位出病枯死松樹，基本滿足人工現(xiàn)場采伐的精度要求。通過利用病枯死松樹的一些植被特征，建立簡單的機器學習算法進行特征篩選，從而實現(xiàn)對病枯死松樹的檢測和定位，有效提高了松材線蟲病監(jiān)測的效率，降低了成本。張學敏等(2014)利用3種支持向量數據描述的方法識別病枯死松樹，可在無人機可見光和紅外圖像條件下對病枯死松樹分類識別。劉遐齡等(2019)利用模板匹配法對無人機遙感影像中的病枯死松樹進行識別。劉金滄等(2019)證明CRF方法能高效判別可見光遙感圖像中的病枯死松樹。陶歡等(2019)基于“色調-飽和度-明度”(HSV)的閾值分割法來識別病枯死松樹。黃煥華等(2018)、都本緒等(2018)和曾全等(2019)通過歸一化植被指數(NDVI)運算均高效識別和定位出了無人機遙感中的病枯死松樹。隨著深度學習的出現(xiàn)，多種基于深度學習手段的目標檢測算法逐步在森林病害識別和目標分級分類等領域廣泛應用，如YOLO、R-CNN、SDD等算法(劉嘉政等，2019)。李浩等(2020)和Deng等(2020)均利用Faster R-CNN深度學習框架對無人機可見光遙感影像中的病枯死松樹進行判別，最終判別的正確率分別達到83.2%和90%。深度學習技術相比傳統(tǒng)的機器學習能有效改善計算重復和效率低下的問題，與無人機遙感相結合檢測和定位松材線蟲病枯死松樹的技術方法，是松材線蟲病監(jiān)測技術研究和應用的熱點方向。

松材線蟲病疫情的越早發(fā)現(xiàn)，有效防治措施實施的越快是阻止其傳播和危害的重要策略，可大大減少其對生態(tài)環(huán)境的破壞和造成的經濟損失。本研究利用小型固定翼無人機采集松材線蟲病疫點可見光和多光譜的航攝影像，結合Fast R-CNN深度學習算法對無人機遙感影像中的病枯死松樹進行檢測和定位，獲得病枯死松樹的分布地圖及坐標點位置，研究結果可為無人機大面積監(jiān)測松材線蟲病的發(fā)生現(xiàn)狀和流行動態(tài)、評估防控效果和災害損失提供技術支撐。

1 材料與方法

1.1 試驗地點和航攝設備

1.1.1試驗地點

位于廣東省河源市新回龍鎮(zhèn)松材線蟲病發(fā)生區(qū)，松林面積為430.0 hm2，其四角經度、緯度分別為：西北角(114°30′24.63″，23°44′5.32″)、東北角(114°30′57.23″，23°44′22.64″)、東南角(114°30′35.83″，23°43′50.99″)和西南角(114°29′6.69″，23°43′19.70″)。

1.1.2航攝設備

航攝影像采集選用SFW-15型固定翼無人機，搭載索尼A6000相機作為拍攝可見光和多光譜影像的照相機，近紅外波段為840 nm，相機效像元數高于2 430萬像素，支持GPS功能，配置35 mm定焦鏡頭，在一定高度作業(yè)可以獲取影像的地面分辨率0.1 m。

1.2 無人機航攝環(huán)境條件及實施情況

無人機航攝時間為2018年10月20日。在航攝過程中，天氣條件為20～29℃，多云，微風，無持續(xù)風向，空氣質量良好。航攝高度為450 m，航向重疊率在74.45%～76.90%之間，旁向重疊率在62.48%～63.64%之間；采用垂直攝影，往復直線飛行；速度是75 km/h，時長為15 min。

1.3 不同健康狀態(tài)松樹分類

根據松材線蟲侵染危害松樹后，松樹針葉顏色變化情況，將被松材線蟲病危害的松樹分為病樹和枯死樹，其中病樹是指針葉變成橙黃色至紅褐色時期的松樹(圖1-B)；枯死樹是指病樹在林間未及時清理后，針葉變成灰白色時期的松樹(圖1-C)。而松樹針葉呈現(xiàn)綠色的表示未受松材線蟲危害的健康松樹(圖1-A)。

圖1 不同健康狀態(tài)松樹

1.4 航攝影像的處理和分析

1.4.1航攝采集影像數據的處理

采集完航攝圖像數據后，首先對航攝圖片質量進行檢查和處理，剔除質量較低的圖片，同時對質量合格的照片進行預處理，包括自動校正照片的白平衡；降低航拍時太陽光照對地面的影響；修正鏡頭畸變造成的像素偏移等。隨后采用拼圖軟件LAMapper對航攝影像進行全分辨率拼接，包括對可見光和多光譜的空中三角測量和像素匹配處理，獲得正攝影像圖。

1.4.2瓦片圖的生成和篩選

對拼接形成的正攝影像圖進行切割，生成20級的256×256像素的瓦片圖，并在遙感軟件ERDAS中生成瓦片圖的歸一化植被指數(Normalized difference vegetation index，NDVI)、加強型歸一化植被指數(Enhanced normalized difference vegetation index，ENDVI)和植被異常指數(Ailingx vegetation anomaly index，AVAI)。將生成的瓦片圖先分成3大類，分別為植被瓦片圖、水域瓦片圖和土地瓦片圖，其中因為水泥地、房屋、道路等的指數特征和土地的指數特征相似，所以均將其列為土地瓦片圖。通過統(tǒng)計和對比不同類型瓦片圖的NDVI指數和ENDVI指數的特征值，剔除非植被瓦片圖；再將植被瓦片圖細分為不含病枯死松樹的健康植被瓦片圖和含病枯死松樹的異常植被瓦片圖，通過統(tǒng)計和對比不同類型瓦片圖的AVAI指數的特征值，進一步剔除健康植被瓦片圖，最終留下篩選后的瓦片圖數據。

1.4.3病枯死松樹的自動化識別和定位

利用篩選下來的瓦片圖建立病樹和枯死樹的標準集，所建立的標準集包含了100株病樹和100株枯死樹的標準集樣本，將標準集喂給Fast R-CNN框架進行訓練，并獲取輸出，之后對參數進行調整，直到梯度不再下降變化，得到結果模型；將篩選下來的瓦片圖數據輸入模型進行運算，自動化識別出病枯死松樹，并得到病枯死樹的定位信息，最后將瓦片圖和自動化識別結果加載至AilingxForest軟件系統(tǒng)內，來進行數據可視化展現(xiàn)和交互。

1.5 識別的正確率及定位精度的驗證

為驗證自動化識別病枯死松樹的正確率及定位的精度，在AilingxForest軟件系統(tǒng)中對標記出的病枯死樹的標記點進行檢驗，分別選擇100個病樹標記點和100個枯死樹標記點，通過局部放大檢驗是否有病枯死松樹存在，計算正確率；在正射影像圖中分別選取面積大小為35.6 hm2的區(qū)域，該區(qū)域包含三個部分，分別分布在正射影像圖的東部、西部和南部，通過局部放大后人工目視判讀統(tǒng)計所選區(qū)域病枯死數量，與同一地區(qū)自動化識別的病枯死松樹的數量進行對比，檢查自動化識別的漏檢率；在航攝區(qū)域內的林道兩側，采用GPS儀測定識別出的病枯死樹的坐標點，與自動化提取的坐標點數據進行比對分析，檢查自動化識別的定位精度。

2 結果與分析

2.1 航攝數據采集及拼接

本次航攝采集了航攝區(qū)域的可見光圖像、近紅外圖像和NDVI圖像，對航攝影像進行全分辨率拼接處理獲得正攝影像圖(圖2)。對選取正攝影像圖的可見光圖像中的部分區(qū)域進行放大分析，檢查其航拍質量和分辨率，能有效分辨出單株病枯死松樹，表明數據采集質量精度達到后期分析要求(圖3)。

圖2 拼接獲得的可見光圖像(A)和NDVI圖像(B)

圖3 航攝精度效果圖像

2.2 瓦片圖的篩選

統(tǒng)計分析結果顯示植被瓦片圖的NDVI指數和ENDVI指數的特征均值分別為0.0056和0.0556，而水域瓦片圖的NDVI指數和ENDVI指數的特征均值分別為-0.6722和-0.2231，土地瓦片圖的NDVI指數和ENDVI指數的特征均值分別為-0.4678 和-0.1035(圖4)。因此，結合NDVI指數和ENDVI指數的特征值，可從瓦片圖中較好的剔除非植被瓦片圖。統(tǒng)計分析健康植被瓦片圖和異常植被瓦片圖的AVAI指數的特征值，結果顯示健康植被瓦片圖的AVAI指數特征均值為0.1372，而含病枯死松樹的異常瓦片圖的AVAI指數特征均值為0.0858(圖5)，因此，利用AVAI指數特征差異在一定范圍內可剔除健康植被瓦片圖。

圖4 不同類型的瓦片圖

圖5 不同類型的植被瓦片圖

2.3 病枯死松樹的識別和定位

利用建立的Fast R-CNN模型，對本次航攝區(qū)域的病枯死樹進行自動化識別和定位，共自動化識別出病枯死松樹794株，其中病樹有227株，枯死樹有567株，同時獲得其坐標點位置，航攝區(qū)域病枯死松樹的分布標示如圖6。

圖6 病樹和枯死樹識別分布標示圖

2.4 識別的正確率及定位精度的驗證

選擇的100個病樹標記點和100個枯死樹標記點，通過局部放大檢驗能發(fā)現(xiàn)有病樹和枯死樹的數量分別為90株和82株，識別的正確率達到90%和82%。通過人工目視判讀檢驗發(fā)現(xiàn)所選的正攝影像局部區(qū)域共有病樹和枯死樹分別為86株和264株，其中自動化識別出病樹和枯死樹分別為66株和174株，漏檢的病樹和枯死樹分別為20株和90株，自動化識別的病樹的漏檢率達到23%，枯死樹的漏檢率達到34%。根據50株病枯死松樹自動化提取的位置信息與GPS實測位置信息比對，坐標點位置的平均水平誤差為3.06 m，其中最大水平誤差為7.07 m，最小為0.79 m，因此利用識別出的病枯死樹的坐標信息能夠準確找到對應的病枯死松樹。

3 結論與討論

本研究通過小型固定翼無人機采集低空遙感航攝影像并拼接形成正攝影像圖，包括可見光和多光譜圖像，將拼接形成的正攝影像圖切割生成20級的瓦片圖，利用NDVI、ENDVI和AVAI指數對瓦片圖進行篩選，剔除非植被瓦片圖和健康植被瓦片圖，建立Fast R-CNN模型對篩選后的瓦片圖進行運算，檢測和定位病枯死松樹，最終自動化識別出病枯死松樹794株，其中病樹有227株，枯死樹有567株，并獲得其坐標點位置。本研究是在2017年研究的基礎上，對自動化識別技術的進一步改進而形成的新的技術手段。2017年的自動化識別技術是單純使用NDVI指數進行枯死松樹的篩選，主要包括NDVI閾值篩選、去噪聲和對照RGB篩選三個主要步驟，枯死樹的模式特征是人為篩選的，導致主觀影響因素影響大，在缺少專業(yè)技術人員的情況下難以保證識別的準確性(黃煥華等, 2018)。而本研究是利用深度學習網絡讓計算機自動學習出病枯死松樹的模式特征，并將特征學習融入到建立模型的過程中，從而減少了人為識別特征造成的不完備性，因此通過機器的不斷學習，其識別的準確性也會逐步提高，同時也不受專業(yè)知識的限制，能夠更好的推廣應用。

本研究對松材線蟲病危害的病樹和枯死樹自動化識別的正確率分別達到90%和82%，正確率很高但依然存在一定的誤差，而導致的這些誤差的原因主要是相似樣本的干擾。對于病樹來說主要是非松樹的枯黃植物和部分變色植物的干擾，對于枯死樹來說主要是其他枯死植物(叢竹、杉木等)的干擾較多(李衛(wèi)正等, 2014; 呂曉君等, 2016)。雖然本次自動化識別的正確率較高，但識別的漏檢率卻不是很理想，病樹和枯死樹分別達到23%和34%，漏檢率較高的原因主要有兩方面：第一，是松材線蟲病的發(fā)病是一個漸變的過程，不同時期的針葉變化差異較大。對于病樹，早期針葉是微黃色，中期是黃褐色，后期就是紅褐色；對于枯死樹，早期針葉未脫落時呈現(xiàn)明顯的灰白色，而后期針葉脫落后就呈現(xiàn)淺黑色且冠層不明顯(王震等, 2007; 徐華潮等, 2011)。第二，前期瓦片圖分割時不夠精細，一個瓦片圖包含多株松樹，同時部分病樹和枯死樹是2株或多株連在一起，從而導致一個瓦片圖中可能包含多株病樹和枯死樹，然而識別的時候一個瓦片圖只輸出一個數據和坐標點。因此，要提高自動化識別的正確率，應該積累更大范圍的病枯死松樹癥狀樣本和變色樹種及其他非松材線蟲病枯死松樹特征樣本，分析變色樹種的特征和其他非松材線蟲病枯死松樹特征與松材線蟲病枯死松樹癥狀的區(qū)別，尋找相關差異特征因子，排除非病枯死松樹的干擾(梁益同等, 2003; Bernietal., 2009)。而要降低漏檢率，首先需要增加病枯死松樹的不同時期的標準集的樣本量，對模型進行進一步優(yōu)化和調整，使模型能全面覆蓋病樹和枯死樹的不同時期的特征；另外對瓦片圖進行進一步的細分，最大限度實現(xiàn)一個瓦片圖中只包含一株病樹或枯死樹，但瓦片圖越細分，出現(xiàn)一株樹被分割在不同瓦片圖上的概率越高，最終也會影響識別效果。通過多種措施的改進，理論上能夠逐步提高識別的正確率，降低漏檢率。

目前，使用無人機搭載多種類型的傳感器(可見光、紅外、多光譜和高光譜相機、激光掃描儀等)在森林資源調查和評估、荒漠化和沙化監(jiān)測、森林巡護、林業(yè)執(zhí)法、森林病蟲害監(jiān)測、森林火災預警及現(xiàn)場指揮、自然災害災后評估等方面的應用越來越普遍(趙國帥, 2017)。利用無人機低空遙感和自動化識別技術檢測和定位松材線蟲病危害的病枯死松樹，能顯著提高松材線蟲病監(jiān)測的效率和客觀性，能有效監(jiān)測松材線蟲病疫情的發(fā)展動態(tài)，為松材線蟲病的應急除治提供依據；同時也為松材線蟲病災害損失和防治效果評價提供客觀、準確的依據，為評價各級政府部門落實松材線蟲病等重大林業(yè)有害生物防控目標責任、生態(tài)環(huán)境損害責任，以及森林自然災害保險理賠等提供客觀依據。本研究的結果表明Fast R-CNN深度學習和無人機遙感相結合能高效檢測和定位松林中松材線蟲病危害的病枯死松樹，為大面積監(jiān)測松材線蟲病的發(fā)生現(xiàn)狀和流行動態(tài)、評估防控效果和災害損失提供技術支撐，具有重要意義。