基于兩級融合深度學習的松材線蟲病識別

陳維美 劉馨蔚 王鐵偉 徐文凱 李娟

摘要：針對無人機遙感獲取的山區(qū)圖像種類多且雜、患松材線蟲病松樹精準識別難的問題，提出一種帶注意力機制的分類和識別兩級深度學習模型的松材線蟲病識別方法。首先，該方法利用VGG16模型進行圖像分類和“瘦身”。然后，將第一級輸出的含有患松材線蟲病的圖像輸入到改進的YOLOv5目標識別模型中，該模型通過引入注意力機制模塊，進一步擴大感受野，從而對患松材線蟲病松樹進行精準識別。最后，將所提出的方法和其他經(jīng)典深度學習模型進行對比試驗。結果表明：所提出的基于VGG16和改進的YOLOv5的兩級融合深度學習模型的識別效果最好，識別準確率為85.58%，高于其他四種兩級融合深度學習模型的識別準確率。所提出的方法不僅提高識別準確率，且解決以往在進行松材線蟲病識別前需要人工進行圖像分類的問題。

關鍵詞：深度學習；圖像識別；松材線蟲??；YOLOv5；VGG16；人工智能（AI）

中圖分類號：S431.3： TP393.0

文獻標識碼：A

文章編號：20955553 （2023） 070214

06

Recognition of pine wilt disease based on two-level fusion deep learning

Chen Weimei， Liu Xinwei， Wang Tiewei， Xu Wenkai， Li Juan

（College of Mechanical and Electrical Engineering， Qingdao Agricultural University， Qingdao， 266109， China）

Abstract： The images from mountainous areas are of many miscellaneous types and are captured remotely by Unmanned Aerial Vehicles， making it difficult to accurately recognize the pine wilt disease. Aiming to solve this problem， this paper proposes a two-level fusion deep learning model with an attentional mechanism for the classification and recognition of pine wilt disease. Firstly， the VGG16 model is used to classify and “slim” the captured images. Then， the output images containing infected pine wilt disease from the first stage are inputted into the improved YOLOv5 object recognition model. The model further expands the receptive field by introducing the attention mechanism module so that the infected pine wilt disease can be accurately recognized. Finally， the proposed method is compared with other classical deep learning models. The results of comparative experiments show that the proposed two-level fusion deep learning model based on VGG16 and improved YOLOv5 has the best recognition effect with 85.58% recognition accuracy， which is higher than the other four two-level fusion deep learning models. The proposed approach can not only improve the accuracy but also solves the problem that manual image classification is needed before pine wilt disease is recognized.

Keywords： deep learning; image recognition; pine wilt disease; YOLOv5; VGG16; artificial intelligence （AI）

0 引言

中國是世界上松樹種類最多、面積最廣的國家。然而受森林病蟲害的影響，大量的松樹無法正常生長甚至死亡，其中被稱為“松樹癌癥”的松材線蟲病最嚴重、傳播范圍最廣且傳播速度最快。目前，對松樹患松材線蟲病的排查基本都是靠人工到山上進行。這種方法不僅費事費力，而且由于部分山區(qū)地形復雜，具有一定的危險性，因而實現(xiàn)松材線蟲病的智能識別對保護松林、減少勞動力和提高安全性具有重要實際意義。

隨著無人機遙感技術［13］在各個領域的廣泛應用，學者們通過在無人機遙感技術獲取圖像的基礎上利用傳統(tǒng)的圖像分割方法對松材線蟲病進行識別檢測研究。劉遐齡等［4］通過無人機獲取高分辨影像并結合數(shù)字正射影像中患松材線蟲病松樹的特征，利用模版匹配方法自動識別。劉金滄等［5］通過無人機遙感技術獲取可見光RGB影像，利用提取的患松材線蟲病松樹紋理特征來進行識別。李浩等［6］通過無人機遙感全景圖像，利用超綠特征因子和最大類間方差法相結合的圖像分割算法來識別患松材線蟲病松樹。以上方法雖能夠?qū)⑺刹木€蟲病識別出來，但需通過圖像處理方法獲取樣本特征向量，識別速度較慢。針對以上學者們的研究，部分學者通過結合機器學習［7］和高光譜技術［8］等技術對松材線蟲病的識別展開進一步研究。胡根生等［9］通過對拍攝高光譜圖像，利用改進的加權支持向量數(shù)據(jù)描述多分類算法對患松材線蟲病松樹進行識別。黃芳芳等［10］利用原始光譜結合隨機森林和決策樹cart算法建立松材線蟲病監(jiān)測網(wǎng)絡。張軍國等［11］通過獲取的多光譜圖像，利用Jeffries-Matusit距離優(yōu)化的反向傳播神經(jīng)網(wǎng)絡對云南松蟲害展開識別研究。

不同于前面的傳統(tǒng)機器學習方法，深度學習技術憑借其識別精度高、速度快等優(yōu)點，在農(nóng)業(yè)［1214］、海洋［1517］、人體特征提取［18］等領域得到了廣泛的應用，而對松材線蟲病進行智能識別的研究較少。徐信羅等［19］通過無人機獲取山區(qū)圖像，利用Faster R-CNN模型對患松材線蟲病松樹進行識別。Qin等［20］通過無人機遙感獲取影像，設計了一種松材線蟲病自動識別掃描網(wǎng)絡結構。然而，已有的基于人工智能AI進行患松材線蟲病松樹識別的前提是先人工對拍攝的圖像進行分類篩選，選出含有松材線蟲病的圖像，然后對人工篩選出的患松材線蟲病松樹圖像利用AI識別技術對患松材線蟲病松樹識別。而且目前已有的關于松材線蟲病識別的研究，還沒有關注無人機采集的遙感圖像中感受野對識別精度影響的問題。

受上面兩個問題的啟發(fā)，本文在融合VGG16的高精度分類能力和YOLOv5的快速識別能力的基礎上，提出了一種含注意力機制的分類和識別相融合的兩級深度學習模型，對患松材線蟲病松樹進行識別。通過該方法來提高患松材線蟲病松樹的識別精度，為實現(xiàn)森林病害的智能識別奠定基礎。

1 材料和方法

1.1 圖像獲取

研究區(qū)域位于山東省牟平、文登之間的昆崳山國家級自然保護區(qū)，范圍在東經(jīng)121°37′00″～121°51′00″、北緯37°12′20″～37°18′50″之間，面積約為1.3 hm2。通過HY-200無人機搭載Sony A7R2相機對研究區(qū)域進行拍攝，由于山區(qū)地勢復雜、植被覆蓋面積廣等自然環(huán)境的影響，將無人機飛行的相對高度設置為300～400 m，表1為相機的配置和參數(shù)。為了避免山區(qū)中患松材線蟲病松樹漏拍，需要用無人機對整個山區(qū)進行航拍，這就導致航拍的圖像包括患病和健康的松樹以及無松樹區(qū)的空地、房屋建筑、湖泊等其他多種圖像，并連續(xù)拍攝698張山區(qū)圖像，采集的圖像種類如圖1所示。

1.2 圖像擴增與標記

為了更好地提取圖像特征，本文利用水平鏡像、垂直鏡像、旋轉(zhuǎn)90°和旋轉(zhuǎn)180°等方法對數(shù)據(jù)進行了擴增，將患病松樹圖像擴增至1 000張。通過使用LabelImg標記軟件對患松材線蟲病松樹的圖像進行標記，將標簽命名為“tree”，帶注釋的標簽文件以xml格式保存。

1.3 松材線蟲病檢測模型建立

本文提出的分類和識別融合的兩級深度學習模型的結構圖如圖2所示。該模型主要是由一級分類模型VGG16和二級改進的YOLOv5目標檢測模型組成。第一級網(wǎng)絡由13個卷積層和3個全連接層構成，層與層之間使用最大化池層分開，激活單元都采用ReLU函數(shù)。第二級網(wǎng)絡由輸入端、Backbone基準網(wǎng)絡、Neck網(wǎng)絡層和Head輸出端組成。輸入端主要是對輸入圖像進行預處理，將輸入的圖像進行Mosaic數(shù)據(jù)增強、自適應瞄框計算和自適應圖像操作縮放等操作。Backbone基準網(wǎng)絡主要采用Focus、CSPDarknet53結構、SPP池化金字塔結構來提取輸入圖像的特征信息。Neck網(wǎng)絡層主要采用FPN+PAN特征金字塔結構，能夠提高模型提取圖像特征的多樣性及魯棒性，進一步加強網(wǎng)絡提取能力。Head輸出端主要采用GIOU_Loss做Bounding box的損失函數(shù)，進行目標框的篩選操作，并使用DIOU_nms來改善目標重疊遮擋問題，能夠很大程度上提高模型識別的準確率，并輸出目標檢測結果。

一級網(wǎng)絡實現(xiàn)對無人機遙感獲取的患松材線蟲病松樹圖像、健康松樹和其他圖像這三類圖像的自動分類，其輸出為含有患松材線蟲病松樹的圖像，構建起只包含患松材線蟲病松樹圖像的數(shù)據(jù)集。一級網(wǎng)絡輸出的圖像輸入到二級網(wǎng)絡，二級網(wǎng)絡對患松材線蟲病松樹進行識別，對患松材線蟲病的松樹輸出識別得分。為了使已有的YOLOv5模型能夠更好地適應無人機遙感圖像對患松材線蟲病松樹精準識別，需要增大感受野使模型獲取更多患松材線蟲病松樹的特征信息，抑制其他無用的信息，為此本文在YOLOv5模型的Neck網(wǎng)絡層中加入了注意力機制CoorAttention （CA），其結構圖如圖3所示。

實際上，注意力機制已經(jīng)被廣泛使用，但以往的注意力機制模塊只考慮內(nèi)部通道信息，而忽略了位置信息的重要性，而此處的CA注意力機制是一個靈活輕量的模塊，能將位置信息嵌入到通道中，在捕獲跨通道信息的同時還能捕獲到物體的方向和位置信息，加強模型對圖像的特征提取能力，從而提升模型識別的精度。

1.4 模型訓練與測試

1.4.1 試驗設備及參數(shù)設置

本次試驗使用的是Windows10操作系統(tǒng)，其硬件和軟件配置如表2所示。在參數(shù)設置方面，迭代次數(shù)設置為500次，初始學習率設為0.001，學習率的動量和衰減系數(shù)分別設置為0.9和0.1。

1.4.2 評價指標

為了評價模型的識別效果，本文采用準確率、召回率、F1值和平均精度作為性能指標，其定義如下。

P=TPTP+FP×100%

（1）

R=TPTP+FN×100%

（2）

F1=2×P×RP+R×100%

（3）

mAP=1C∑NK=0P（K）ΔR（K）

（4）

式中：

TP——正樣本預測出正樣本的數(shù)量；

FP——負樣本預測出正樣本的數(shù)量；

FN——正樣本預測出負樣本的數(shù)量；

C——目標對象的個數(shù)；

N——

閾值IOU個數(shù)，IOU表示預測框和真實框的重合程度；

K——IOU閾值；

P——準確率；

R——召回率；

F1——準確率和召回率的調(diào)和平均值；

mAP——平均精度。

2 試驗結果及分析

2.1 松樹圖像分類結果分析

為了使兩級網(wǎng)絡中第一級網(wǎng)絡有更好的分類效果，本文將無人機拍攝的圖像（含患松材線蟲病松樹、健康松樹和其他非松樹圖像）用目前主流的VGG16、AlexNet、ResNet50和GoogLeNet四種分類模型進行分類。在Batch Size為32、Max Epochs為40的參數(shù)下，四種模型的分類性能指標對比如表3所示。

由表3可以看出，四種主流分類模型中VGG16模型對圖像分類的準確率、精準率、召回率和F1值達到最高，其分類效果最優(yōu)。為此，本文VGG16作為一級網(wǎng)絡和二級網(wǎng)絡融合。圖4和圖5給出了在Batch Size為32、Max Epochs為40時VGG16模型的分類準確率曲線和混淆矩陣。

2.2 松樹圖像識別結果分析

本文利用提出的兩級融合深度學習模型對患松材線蟲病松樹數(shù)據(jù)集進行訓練，其數(shù)據(jù)集的訓練集和測試集的比例分為7∶3，試驗得到識別準確率和平均精度分別為85.58%和83.04%。為了進一步驗證所提出的方法的識別效果，本文又將所提出方法的第二級網(wǎng)絡換成經(jīng)典的YOLOv5、YOLOv4、YOLOv3和SSD進行對比試驗，試驗結果如表4所示。

由表4可看出，所提出方法的識別準確率和平均精度是最高的。

本文提出的方法也存在漏檢和錯檢的情況，圖6（a）和圖6（b）分別給出了漏檢和錯檢的示例結果。其中，圖6（a）中矩形邊框為正確識別患松材線蟲病的松樹，橢圓邊框為漏檢患松材線蟲病的松樹，圖6（b）中橢圓邊框為誤檢患松材線蟲病的松樹。漏檢的原因可能是因為小目標圖像的像素點越少，經(jīng)過卷積提取的特征就會更少，所以被漏檢的可能性就越大。誤檢的原因是裸露的石包從遠處看顏色和形狀都與患病松樹相似。

2.3 損失函數(shù)曲線

為了評估所提出模型訓練的穩(wěn)定性，圖7給出了本文的模型和四種經(jīng)典深度學習模型的損失函數(shù)值的對比曲線。由于不同模型的損失值區(qū)間相差較大，故將損失值范圍相近的放在一個圖中。

從圖7中可看出，本文模型的損失函數(shù)值比四種經(jīng)典深度學習模型收斂地更快，且模型在訓練過程中損失函數(shù)值隨著迭代次數(shù)的增加逐漸下降，當?shù)?00次時，損失值逐漸平穩(wěn)，證明了本文模型的有效性和魯棒性。

3 結論

本文提出了一種分類和識別融合的兩級深度學習模型對患松材線蟲病松樹進行識別，主要得出的結論如下。

1）? 針對無人機遙感獲取圖像種類多且雜、直接用現(xiàn)有的AI方法不僅需要人工先進行篩選而且效率低的問題，通過對VGG16、AlexNet、ResNet50和GoogLeNet模型的分類能力進行對比試驗，得出VGG16模型的分類效果最優(yōu)，從而用VGG16解決了以往在進行患松材線蟲病松樹識別前需要人工進行圖像分類的問題。

2） 為了提高YOLOv5模型對患松材線蟲病松樹更好的識別準確率，在YOLOv5模型中Neck網(wǎng)絡層引入CA注意力機制模塊，進一步擴大了感受野，提高模型的特征提取能力，從而提高對患松材線蟲病松樹的識別率。

3）? 所提出的方法能及時發(fā)現(xiàn)患松材線蟲病松樹并確定其分布情況，從而解決因人工監(jiān)測效率低下而導致的患松材線蟲病松樹不能及時救治的問題，對實現(xiàn)山區(qū)管理的自動化和智能化具有積極的現(xiàn)實意義。

參 考 文 獻

［1］ 謝堯慶， 鄧繼忠， 葉家杭， 等. 基于5G的無人機圖傳及在植保無人機的應用展望［J］. 中國農(nóng)機化學報， 2022， 43（1）： 135-141.

Xie Yaoqing， Deng Jizhong. Ye Jiahang， et al. UAV image transmission based on 5G and its application prospect in plant protection UAV ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（1）： 135-141.

［2］ Zhou X， Zheng H B， Xu X Q， et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery ［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2017， 130： 246-255.

［3］ Zheng K， Jia G， Yang L， et al. A compound fault labeling and diagnosis method based on flight data and BIT record of UAV ［J］. Applied Sciences， 2021， 11（12）： 5410.

［4］ 劉遐齡， 程多祥， 李濤， 等. 無人機遙感影像的松材線蟲病危害木自動監(jiān)測技術初探［J］. 中國森林病蟲， 2018， 37（5）： 16-21.

Liu Xialing， Cheng Duoxiang， Li Tao， et al. Preliminary study on automatic monitoring trees infected by pine wood nematode with high resolution images from unmanned aerial vehicle ［J］. Forest Pest and Disease， 2018， 37（5）： 16-21.

［5］ 劉金滄， 王成波， 常原飛. 基于多特征CRF的無人機影像松材線蟲病監(jiān)測方法［J］. 測繪通報， 2019， 4（7）： 78-82.

Liu Jincang， Wang Chengbo， Chang Yuanfei. Monitoring method of bursaphelenchus xylophilus based on multi-feature CRF by UAV image ［J］. Bulletin of Surveying and Mapping， 2019， 4（7）： 78-82.

［6］ 李浩， 徐航煌， 鄭恒宇， 等. 基于無人機遙感圖像的松材線蟲病監(jiān)測技術研究［J］. 中國農(nóng)機化學報， 2020， 41（9）： 170-175.

Li Hao， Xu Hanghuang， Zheng Hengyu， et al. Research on pine wood nematode surveillance technology based on unmanned aerial vehicle remote sensing image ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（9）： 170-175.

［7］ Liu Y， Chen J H. Integrated soft sensor using just-in-time support vector regression and probabilistic analysis for quality prediction of multi-grade processes ［J］. Journal of Process Control， 2013， 23（6）： 793-804.

［8］ Han Z Z， Deng L M. Application driven key wavelengths mining method for aflatoxin detection using hyperspectral data ［J］. Computers and Electronics in Agriculture， 2018， 153（5）： 248-255.

［9］ 胡根生， 張學敏， 梁棟， 等. 基于加權支持向量數(shù)據(jù)描述的遙感圖像病害松樹識別［J］. 農(nóng)業(yè)機械學報， 2013， 44（5）： 258-263， 287.

Hu Gensheng， Zhang Xuemin， Liang Dong， et al. Infected pine recognition in remote sensing images based on weighted support vector data description ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 44（5）： 258-263， 287.

［10］ 黃芳芳， 雷鳴， 張力， 等. 基于隨機森林和決策樹的馬尾松松材線蟲病監(jiān)測方法［J］. 信息通信， 2019， 4（12）： 32-36.

Huang Fangfang， Lei Ming， Zhang Li， et al. Monitoring method of pine wood nematode disease based on random forest and decision tree ［J］. Information & Communications， 2019， 4（12）： 32-36.

［11］ 張軍國， 韓歡慶， 胡春鶴， 等. 基于無人機多光譜圖像的云南松蟲害區(qū)域識別方法［J］. 農(nóng)業(yè)機械學報， 2018， 49（5）： 249-255.

Zhang Junguo， Han Huanqing， Hu Chunhe， et al. Identificationmethod of pinus yunnanensis pest area based on UAV multispectral images ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（5）： 249-255.

［12］ 王鐵偉， 趙瑤， 孫宇馨， 等. 基于數(shù)據(jù)平衡深度學習的不同成熟度冬棗識別［J］. 農(nóng)業(yè)機械學報， 2020， 51（S1）： 457-463， 492.

Wang Tiewei， Zhao Yao， Sun Yuxin， et al. Recognition approach based on data-balanced Faster R-CNN for winter jujube with different levels of maturity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 457-463， 492.

［13］ Xu W K， Zhao L G， Li J， et al. Detection and classification of tea buds based on deep learning ［J］. Computers and Electronics in Agriculture， 2022， 192： 106547.

［14］ 李昊， 劉海隆， 劉生龍. 基于深度學習的柑橘病蟲害動態(tài)識別系統(tǒng)研發(fā)［J］. 中國農(nóng)機化學報， 2021， 42（9）： 195-201， 208.

Li Hao， Liu Hailong， Liu Shenglong. Research on dynamic identification system of citrus diseases and pests based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（9）： 195-201， 208.

［15］ Li J， Xu C， Jiang L， et al. Detection and analysis of behavior trajectory for sea cucumbers based on deep learning ［J］. IEEE Access， 2019， 8： 18832-18840.

［16］ Xu W， Zhu Z， Ge F， et al. Analysis of behavior trajectory based on deep learning in ammonia environment for fish ［J］. Sensors， 2020， 20（16）： 4425.

［17］ Zheng H， Wang R， Yu Z， et al. Automatic plankton image classification combining multiple view features via multiple kernel learning ［J］. BMC bioinformatics， 2017， 18（16）： 1-18.

［18］ Zhou L， Zhang C， Wang Z， et al. Hierarchical palmprint feature extraction and recognition based on multi-wavelets and complex network ［J］. IET Image Processing， 2018， 12（6）： 985-992.

［19］ 徐信羅， 陶歡， 李存軍， 等. 基于Faster R-CNN的松材線蟲病受害木識別與定位［J］. 農(nóng)業(yè)機械學報， 2020， 51（7）： 228-236.

Xu Xinluo， Tao Huan， Li Cunjun， et al. Detection and location of pine wilt disease induced dead pine trees based on faster R-CNN and UAV remote sensing ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（7）： 228-236.

［20］ Qin J， Wang B， Wu Y， et al. Identifying pine wood nematode disease using UAV images and deep learning algorithms ［J］. Remote Sensing， 2021， 13（2）： 162.