基于加權集成的深度投票模型大豆灰斑病分級研究

孫紅敏，王鈺涵，戴百生，李曉明，孟希璠，那 晨

（1.東北農業(yè)大學電氣與信息學院，哈爾濱 150030；2.東北農業(yè)大學農學院，哈爾濱 150030）

大豆在農作物生產中占有重要地位，是糧食、飼料、經濟兼用型作物，也是農業(yè)、制藥、釀造、食品等產業(yè)原材料。優(yōu)質大豆植株是農業(yè)和工業(yè)生產高產、優(yōu)質、高效保障。每年因病害造成大豆減產達到10%～25%，病害特征大多體現在葉片上，少量體現在根部[1]。不同品種大豆對于病害表現形式也不同，及早發(fā)現并合理噴藥，可減少經濟損失，保障大豆產量。根據病害等級需要采取不同措施，避免藥物浪費，污染環(huán)境。大豆葉片病害發(fā)病初期，特征相似，依靠經驗易錯過最佳防治時期[2]。根據大豆植株患病等級采取相應措施，對病害有效防治、避免藥物浪費、減少環(huán)境污染、降低經濟損失具有重要意義[3]。

隨著計算機視覺和人工智能技術發(fā)展，相關技術在農業(yè)領域中越來越被重視，如湯曉東等利用基于HSI空間的三次標記分水嶺算法提取目標葉片，計算形態(tài)參數，使用概率神經網絡分類器實現在復雜背景下識別大豆形態(tài)，準確率達到85.37%[4]；譚克竹等使用BP神經網絡實現大豆病害識別，準確率達到94%[5]；范偉堅闡述傳統(tǒng)病害識別原理和缺陷，總結卷積神經網絡在農作物病害識別中應用的優(yōu)勢[6]；蔣豐千等通過對大豆病害圖片的二值化和輪廓分割等預處理構建數據集，多方面優(yōu)化模型，使得該方法在訓練集上的準確率大幅提升，但測試集上準確率僅78%[7]；Gui提出一種基于LeNet的深度卷積網絡用于大豆葉片病害分類，分類準確率達到93.54%[8]。綜上所述，現有研究主要集中在對大豆葉片病害的分類識別，對具體病害程度的自動分級關注較少[9]，多數工作主要采用改進或優(yōu)化傳統(tǒng)卷積神經網絡模型研究，識別精度有待提高[10]。

目前卷積神經網絡技術應用于農產品品種、病害識別等方面研究日趨成熟，具備大豆病害分級的可行性[11-12]?，F有研究主要通過優(yōu)化單一卷積神經網絡完成病害分類，對復雜分類問題，識別精度有待改進，針對這一問題，本文以常見大豆灰斑病病害葉片為研究對象，采用卷積神經網絡對大豆灰斑病分級可行性進行分析和研究。通過數據增強、數據裁剪等方式對大豆葉片灰斑病圖片作預處理，對比不同卷積神經網絡模型分級性能，將訓練的基礎模型組合和優(yōu)化，受Ayan等提出集成策略啟發(fā)[13]，提出一種加權深度投票模型，通過遷移學習訓練，優(yōu)選傳統(tǒng)卷積神經網絡模型，利用遺傳算法得出不同模型加權投票權重，對傳統(tǒng)卷積神經網絡模型加權集成，實現大豆葉片灰斑病分級。

1 試驗材料

1.1 數據采集

本試驗所用大豆病害葉片圖像拍攝于東北農業(yè)大學轉基因實驗基地。試驗過程中，通過對不同品種大豆進行灰斑病病原菌株接種，獲得不同等級灰斑病大豆葉片，拍攝采集所需圖像數據集。

詳細過程如下：通過隨機區(qū)組設計方法選用本次試驗種植區(qū)域，采用壟作方式對試驗種植大豆，行長1.5 m、寬0.5 m，人工點播，行距0.4 m、株距0.05 m，每個品種、株系單行種植以便圖像采集。種植完成后，實驗室培育大豆灰斑病病原菌株，將菌株從試管內移出接種在PDA培養(yǎng)基，置于28℃恒溫培養(yǎng)箱內活化7 d繁殖形成菌落，使用無菌打孔器沿菌絲延伸的邊緣處打孔，將菌絲塊的菌絲面緊貼在PDA培養(yǎng)基上擴繁。待菌株培養(yǎng)擴繁后，選取不同品種大豆植株同一位置生長相近的無病斑、無機械損傷、新鮮完全展開葉片接種灰斑病病原菌株，接種15 d充分發(fā)病后，采集圖像，最終采集5 060張圖片數據，部分數據如圖1所示。

圖1 大豆圖像部分采集數據Fig.1 Part of the collected data of soybean images

1.2 分級方法

依據國家市場監(jiān)督管理總局鑒定標準，大豆灰斑病分為五類，劃分結果如表1所示。

表1 本文灰斑病等級劃分標準Table 1 Grading standard of gray spot disease in this study

每一類分級后圖片見圖2。

圖2 大豆灰斑病分級圖片樣本Fig.2 Image samples of soybean gray spot disease grading

由表1和圖2可看出，不同等級大豆灰斑病葉片表現形式不同，高抗等級葉片病變面積小于1%，葉片圖像與正常葉片相近。抗等級葉片具有少量病斑區(qū)域，分布較分散。中抗等級葉片表面有較多病斑區(qū)域且分布較分散。感等級葉片表面病斑區(qū)域較多，且分布集中，病斑面積近葉片面積一半。易感等級葉片表面病斑較多，分布于各區(qū)域，面積達到一半以上。

1.3 數據增強與數據集劃分

卷積神經網絡模型中有大量參數需被訓練，為防止發(fā)生過擬合現象，需使用大量圖像樣本進行訓練，本文在數據采集完成后，使用圖像增強手段擴充數據集，在翻轉、調節(jié)亮度、改變像素值、放縮、扭曲、增加噪聲等增強方法中隨機選擇1～5種進行組合得到不同增強數據，在擴充數據集同時減少重復數據出現，增強后圖片見圖3。圖3中，A為原始圖片，通過圖像增強手段得到若干圖片，選擇其中4張圖片樣本進行分析。其中，經放縮的增強方式得到圖片B，經放大和翻轉得到圖片C。經扭曲得到圖片D，經扭曲和翻轉得到圖片E。數據增強完成后按訓練集、測試集、驗證集1∶1.5∶1.5的比例進行數據集劃分，劃分結果見表2。

表2 數據集劃分Table 2 Data set division

圖3 數據增強后圖片樣本Fig.3 Image samples after data augmentation

2 試驗方法

為實現大豆灰斑病自動分級，本文在傳統(tǒng)卷積神經網絡模型基礎上構建一個集成模型，具體包括：訓練7個單一深度卷積神經網絡模型（VGG16、VGG19、Resnet50、Inception-V3、Xception、MobileNet、GoogleNet）；選擇其中準確率最高的3個模型。在此基礎上通過遺傳算法加權集成構建深度投票模型。該模型技術路線如圖4所示。

圖4 技術流程Fig.4 Technology flowchart

2.1 單一深度卷積神經網絡模型

卷積神經網絡是一種帶有卷積結構的深度學習模型，主要包括卷積層、池化層和全連接層。與傳統(tǒng)神經網絡模型相比，CNN使用局部感受野、權值共享、池化層等思想，有效減少網絡參數個數，使神經網絡適應性更強，緩解模型的過擬合問題并使得模型具備一定的位移、尺度、縮放、非線性形變穩(wěn)定性。本文以VGG和殘差網絡為例，簡要介紹其網絡結構模型[14]。

VGGNet共有5個卷積層，每一個卷積層后鏈接一個最大池化層，最后為3個全連接層和一個soft max層，該網絡使用3×3卷積核，網絡中所有池化層采用2×2卷積核[15-16]，其中VGG19網絡結構如圖5所示。

圖5 VGG網絡結構Fig.5 VGG network structure

RestNet是殘差網絡（Residual network）縮寫，該系列網絡廣泛用于目標分類等領域以及作為計算機視覺任務主干經典神經網絡的一部分。Rest-Net對輸入作卷積操作，包含5個殘差塊（Residual Block），最后使用全局平均池化和Softmax代替參數量巨大的全連接層以便于更好進行分類任務，RestNet網絡構成見圖6[17-18]。本研究使用RestNet50模型結構，如圖第5列所示。

圖6 RestNet網絡結構Fig.6 RestNet network structure

2.2 構建深度投票模型

為提高對大豆灰斑病分級準確率，同時綜合傳統(tǒng)卷積神經網絡模型特征提取優(yōu)勢和分類性能，本文提出一種構建加權深度投票模型方法，即在單一模型基礎上，選擇多個單一深度卷積神經網絡模型，通過遺傳算法學習得出深度投票模型權重，構建一個加權深度投票模型。

2.2.1 傳統(tǒng)深度投票模型

使用卷積神經網絡模型進行預測時，通過模型計算圖像所屬病害各等級的概率，并為該圖像分配到具有最高概率值的標簽[19]。對于單個模型，考慮一個n分類的任務，使用O(t)=(p1,p2,p3,…,pn)，p1表示模型對于分類任務第i類的概率，且相加總和為1，若pi為n個概率中最大值，則該圖像被預測為第i類，集成模型通過多個模型的概率相加，使用公式（1）進行計算：

式中，j-預測的類別；i-集成的第i個模型；m-集成模型個數；Pij-第i個模型預測屬于第j類概率；O(j)-集成后的模型預測屬于第j類概率，所有類別概率相加為1。

若O(j)為n類中最大值，則該集成模型分類結果為第j類，通過該方法可綜合考慮多個模型的分類結果，有效提高分類精度。

2.2.2 加權深度投票模型

由公式（1）可知，傳統(tǒng)深度投票模型是將各模型預測的概率相加，未考慮每一個模型對于集成后模型的優(yōu)劣性能。故在此基礎上，充分發(fā)揮每一個模型優(yōu)勢同時提高模型性能，為每個模型分配權重，對構建深度投票模型的基礎模型進行加權，加權后的深度投票模型概率計算方式見公式（2）。

式中，wi-第i個模型的權重，且m個模型的權重相加為1；O(j)-加權后深度投票模型預測屬于第j類的概率，且所有類別概率相加為1。

對m個模型權重wi的判定可認為是一個最優(yōu)問題，通過遺傳算法求解。遺傳算法是一種基于進化論、遺傳學和自然選擇原理的啟發(fā)式算法，通常被應用于權值確定，確定初始染色體數量，通過交叉和變異操作生成新染色體，計算適應度，剔除適應度最差的染色體，保持染色體數量不變，迭代若干次后選擇適應度最好的染色體即為權值[20]。

在遺傳算法中，假設初始群體由n條染色體組成，每條染色體包含w個隨機產生的基因（即權重值），在0～1之間。將染色體基因和模型在驗證數據集上的預測量相乘，得到預測標簽。采用均方誤差（MSE）函數計算適應度值。計算各染色體MSE適應度值后，通過考慮其適應度值，選擇最佳的m條染色體創(chuàng)建新染色體。分別采用交叉和突變技術，從已確定的m條最佳染色體中獲得2m條新染色體。計算新生成染色體的適應度值，并將其添加到種群中。為保持種群大小不變，剔除適應度最差的2m條染色體。這些操作重復進行k代，確定MSE最小的染色體，最后得到最優(yōu)權值。所提出的基于遺傳算法的加權方法步驟如圖7所示。

圖7 本文遺傳算法優(yōu)化流程Fig.7 Flow chart of genetic algorithm optimization in study

3 結果與分析

3.1 評價指標

為更好分析模型性能，本文所采取評估指標為準確率、精確率、召回率以及F1值。具體計算方式如下：

式中，TP-實際為正且被預測為正的樣本數量；FP-實際為負但被預測為正的樣本數量；FN-實際為正但被預測為負的樣本的數量；TN-實際為負且被預測為負的樣本的數量。。

3.2 單一深度卷積神經網絡試驗結果

本研究采用7個常見卷積神經網絡模型（VGG16、VGG19、Resnet50、Inception-V3，Xception，MobileNet，GoogleNet）進行訓練與測試。通過圖像工作站（HP Z6）進行模型訓練和測試，圖像工作站顯卡為RTX 5000 16G，支持GPU并行運算，內存192GB。訓練所使用的模型基于Tensorflowgpu 2.2.0版本和python3.6版本。

訓練所得曲線與相應評價結果和模型訓練參數信息見表3。

表3 單一深度卷積神經網絡模型的訓練參數Table 3 Training parameters of single CNN models

訓練所得模型準確率曲線如圖8所示。

由圖8可看出，單一深度卷積神經網絡模型訓練200次后，訓練集上準確率趨于收斂，VGG16和VGG19在訓練集上收斂速度更快，準確率更高。訓練完成后，針對測試集中7 500張圖像樣本，開展模型評估，結果見表4。

圖8 7個單一深度卷積神經網絡訓練準確率曲線Fig.8 Training accuracy curve of seven single CNN models

由表4可看出，常見單一深度卷積神經網絡模型中，VGG19在測試集上的準確率最高，達到88.7%。為構建集成模型，對訓練7個模型進行評估后，選擇準確率最高的3個模型即VGG16、VGG19和Resnet50，為分析3個模型優(yōu)劣勢以及樣本分類情況，建立模型混淆矩陣見圖9。

表4 單一模型評估結果Table 4 Evaluation results of 7 single models

由圖9中3個模型混淆矩陣可看出，針對于病害的5個等級，不同模型對于不同等級識別準確率有一定差別。在VGG16模型中，識別出病變較大葉片準確率為89%，對于高抗葉片識別準確率僅為84%，由于病害等級相似導致高抗葉片誤識別成抗性；在VGG19模型中，高抗葉片識別準確率達到97%，相較于VGG16模型提高13%，但其他等級識別準確率為86%，相較于VGG16模型下降3%；RestNet50模型識別易感等級葉片準確率最高，達到91%，因此，針對這些問題，本文將上述3個模型進行集成改進，使每一個模型充分發(fā)揮自身優(yōu)點，部分樣本分級情況如表5所示。

表5 部分分類樣本Table 5 Partial grading samples

圖9 準確率最高的3個模型混淆矩陣Fig.9 Confusion matrix of the three models with the highest accuracy

3.3 集成模型性能分析

綜上，選擇VGG16、VGG19和Resnet50 3個模型構建集成模型，并使用遺傳算法加權深度投票模型對其優(yōu)化，在遺傳算法中，初始染色體數量為8條，每一條上有3個基因，每一次迭代選取4條染色體，為避免陷入局部最優(yōu)解，交叉率設為0.95，變異率設為0.005，通過交叉變異等操作生產新的8條染色體，將16條染色體計算MSE，剔除最差的8條染色體，保持不變種群規(guī)模，計算迭代100次的過程中每一個MSE，最終得到最小MSE染色體上3個權值為：0.31、0.36、0.33，作為3個集成模型權重，即w1=0.31，w2=0.36，w3=0.33。

對集成后模型，使用原始模型最好的VGG19模型進行對比分析，結果見表6。

由表6可知，使用深度投票模型在測試集上的準確率相較于傳統(tǒng)單一卷積神經網絡模型VGG19高1.7%，使用遺傳算法自動學習每一個模型加權權重后構建集成模型準確率提高2.7%，表明使用遺傳算法加權取得更好效果，同時建立兩個集成模型混淆矩陣如圖10所示。

圖10 深度投票模型的混淆矩陣Fig.10 The confusion matrix of the deep voting model

表6 集成模型評估指標Table 6 Deep voting model evaluation indicators

由圖10可見，采用深度投票模型解決傳統(tǒng)單一模型的弊端，利用各模型優(yōu)點進行訓練和預測，深度投票模型分級情況見表7。由表7可知，集成模型能夠準確識別部分單一模型中誤分類樣本，但相近病害等級的圖片部分識別有誤，需進一步研究。

表7 部分樣本分級情況Table 7 Grading situation of some samples

4 討論與結論

本文針對大豆灰斑病5個等級病害圖片樣本，運用卷積神經網絡和深度投票方法，開展大豆灰斑病自動分級研究，提出使用遺傳算法加權，構建基于卷積神經網絡的深度投票模型。通過試驗驗證，該模型有效解決大豆灰斑病各等級之間因差距細微導致的準確率低問題，為大豆其他病害分級提供新思路和方法。

a.采用7個卷積神經網絡模型（VGG16、VGG19、Resnet50、Inception-V3，Xception，MobileNet，GoogleNet）進行訓練與測試，試驗結果準確率分別為：VGG模型88.0%、VGG19模型88.7%、Resnet50模型80.0%、Inception-V3模型73.3%、Xception模型64.9%、MobileNet模型62.0%、Goo-gleNet模型60.5%。結果表明，使用卷積神經網絡對大豆灰斑病進行分級具有可行性，但傳統(tǒng)卷積神經網絡模型針對病害分級準確率較低，不同的卷積神經網絡模型對于不同等級準確率差異較大，需綜合不同卷積神經網絡模型用于大豆灰斑病分級研究。

b.基于上述傳統(tǒng)卷積網絡訓練結果，提出遺傳算法加權構建深度投票模型，與傳統(tǒng)卷積神經網絡相比，該模型在7 500張圖片所組成的測試集上分級精度達到93%，相較于傳統(tǒng)卷積神經網絡中準確率最高的VGG19模型提高4.3%，相較于不加權深度投票模型也有提高，有效解決傳統(tǒng)模型識別的弊端，為大豆病害分級和病害走勢預測提供技術支持。但本文分級結果中，仍有部分分級有誤，后續(xù)考慮引入注意力機制開展進一步研究。

c.本文提出的基于遺傳算法構建加權深度投票模型，在大豆其他病害或其他農作物病害方面是否具有同樣效果需進一步驗證。