WELM-Adaboost 算法及在小麥赤霉病流行強(qiáng)度預(yù)測中的應(yīng)用

付強(qiáng)，關(guān)海鷗

（黑龍江八一農(nóng)墾大學(xué)電氣與信息學(xué)院，大慶163319）

在我國，小麥生產(chǎn)比重高、產(chǎn)量大，是國民最主要的糧食作物。小麥的生長過程中，常常會遭受很多自然災(zāi)害的侵襲，比如真菌、暴風(fēng)、寒流等，這些病害、凍害等的產(chǎn)生會嚴(yán)重影響小麥產(chǎn)量甚至造成絕收。而小麥赤霉病就是其中嚴(yán)重影響小麥產(chǎn)量和品質(zhì)的作物流行病之一。自有統(tǒng)計以來，黑龍江省也曾多次遭受到小麥赤霉病的侵襲，其中，在1959 年全省小麥因赤霉病而減產(chǎn)20%～50%。而在1981 年全省國營農(nóng)場又因小麥赤霉病即損失糧食近3.5 億kg[1]。因此，準(zhǔn)確地對小麥赤霉病的流行強(qiáng)度做出預(yù)測，對黑龍江省小麥的生產(chǎn)活動具有重要意義。

隨著互聯(lián)網(wǎng)技術(shù)以及通信技術(shù)的不斷發(fā)展與進(jìn)步，“人工智能”時代已經(jīng)來臨，越來越多的傳統(tǒng)行業(yè)依托“機(jī)器學(xué)習(xí)”等現(xiàn)代計算機(jī)技術(shù)，不斷的更新甚至被顛覆，人工智能在農(nóng)業(yè)領(lǐng)域也已經(jīng)得到了廣泛的應(yīng)用，對農(nóng)作物病蟲害預(yù)測等問題提供了一定的參考和借鑒作用。

目前利用人工智能技術(shù)對農(nóng)作物病蟲害預(yù)測的研究有很多，時雨[2]以安徽省太和縣近年小麥赤霉病的發(fā)生流行情況作為研究對象，提取病原、寄主和氣候等3 方面數(shù)據(jù)，利用統(tǒng)計分析的方法，總結(jié)出了長期氣象指標(biāo)和短期氣象指標(biāo)分別對小麥赤霉病發(fā)生情況的影響，提出了基于氣候因素的小麥赤霉病預(yù)測預(yù)報方法；2017 年，吳亞琴[3]通過分析中國中部地區(qū)近十年來小麥赤霉病發(fā)生情況以及氣候數(shù)據(jù)，分別建立了含有氣象因子交叉項(xiàng)的逐步回歸模型以及含有氣象因子的多元線性逐步回歸模型；2019 年，馬曉丹[4]根據(jù)農(nóng)作物在發(fā)生病蟲害時，其冠層圖像特征難以提取的問題，將數(shù)字圖像處理技術(shù)與多維特征選取機(jī)制相結(jié)合，并融入到了大田農(nóng)作物生長過程中病蟲害預(yù)測與預(yù)報問題中來，為農(nóng)作物全面系統(tǒng)地開展生長過程監(jiān)測及病害防治提供重要理論支持；2017 年，張友華等[5]利用神經(jīng)網(wǎng)絡(luò)中激活函數(shù)所具有的映射能力，采用Fletcher-Reeves 算法的變梯度反向傳播算法，建立了小麥赤霉病的氣象預(yù)報模型，實(shí)驗(yàn)表明該算法對小麥赤霉病的預(yù)防工作具有一定的參考價值。

以上研究主要集中對大量數(shù)據(jù)進(jìn)行統(tǒng)計分析，建立回歸方程的方法對小麥赤霉病的流行強(qiáng)度進(jìn)行預(yù)測，但是回歸分析法需要對大量樣本數(shù)據(jù)進(jìn)行分析才能得到較準(zhǔn)確的規(guī)律，同時容易出現(xiàn)過擬合的狀況，當(dāng)數(shù)據(jù)量不是很充足的情況下，該方法難以得到準(zhǔn)確的預(yù)測結(jié)果。利用極限學(xué)習(xí)機(jī)算法的小樣本尋優(yōu)和良好的泛化能力，對小麥赤霉病的流行強(qiáng)度預(yù)測展開研究，同時，基于小麥赤霉病的流行強(qiáng)度樣本分布不均衡的特點(diǎn)，構(gòu)建了Weighted-ELM 算法與Adaboost 算法融合的模型，驗(yàn)證了該算法對小麥赤霉病流行強(qiáng)度預(yù)測的可行性。

1 實(shí)驗(yàn)數(shù)據(jù)集及評價指標(biāo)

對所采用的數(shù)據(jù)集以及研究所采用的評價指標(biāo)即AUC 值分別作簡要介紹。

1.1 數(shù)據(jù)集介紹

根據(jù)前人的研究，小麥赤霉病屬氣候型流行性病害，即其發(fā)生的速度和強(qiáng)度均受到氣候因素的影響[6]。在農(nóng)學(xué)專家研究的基礎(chǔ)上，利用黑龍江省八五四農(nóng)場所累積的23 年的田間赤霉病情與氣象資料作為基礎(chǔ)數(shù)據(jù)，包含平均相對濕度、降雨量、降雨日數(shù)、日照時數(shù)4 個氣候因素，同時，這里將病害分為了兩個等級，分別用“強(qiáng)”、“弱”表示小麥赤霉病的流行程度，其中“強(qiáng)”代表病穗率高于20%的情況，對輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理并添加流行強(qiáng)度后[7]，樣本數(shù)據(jù)如表1 所示。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計信息Table 1 Experimental data statistics

從表中可以發(fā)現(xiàn)，實(shí)驗(yàn)數(shù)據(jù)中，流行程度強(qiáng)與弱的比例約為1∶7，樣本的分布并不均衡，這就為模型建立帶來了巨大的挑戰(zhàn)。

1.2 評價指標(biāo)

通過上述分析，小麥赤霉病流行強(qiáng)度預(yù)測可以看作是一個二分類問題，并且正負(fù)樣本比例并不均衡，在數(shù)據(jù)中，小麥赤霉病流行程度的強(qiáng)弱比為1∶7左右，準(zhǔn)確度（Accuracy）這樣的評價指標(biāo)不能很好的反應(yīng)分類器的性能[8]。

為了解決上述問題，人們從醫(yī)療分析領(lǐng)域引入ROC 曲線（Receiver Operating Characteristic）作為分類不均衡問題的判別指標(biāo)，繼而應(yīng)用到數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和模式識別等領(lǐng)域[9]。ROC 曲線是一種二維平面曲線，其橫縱坐標(biāo)分別是FPR（False Positive Rate）和 TPR（True Positive Rate），二者可以根據(jù)公式 1、2計算得到。

對于二分類問題，TP、FP、TN、FN 分別稱為真正例、假正例、真反例以及假反例[10]，四個參數(shù)的具體含義如表2 所示。

表2 分類結(jié)果的混淆矩陣Table 2 Confusion matrix of classification results

對于某個分類器而言，其分類結(jié)果可以映射為ROC 曲線平面上的某個點(diǎn)，不斷調(diào)整分類器的分類閾值，便可以得到一條經(jīng)過點(diǎn)（1，1）和點(diǎn)（0，0）的曲線。在小麥赤霉病流行程度預(yù)測問題中，將流行程度為強(qiáng)的樣本作為正類，流行強(qiáng)度為弱的樣本作為負(fù)類，對小麥赤霉病流行強(qiáng)度的預(yù)測結(jié)果進(jìn)行排序，根據(jù)閾值選擇的不同，可以生成 ROC 曲線，很明顯，算法的預(yù)測精度越高，ROC 曲線下的面積越大，即AUC（Area Under Curve）越大。

2 ELM 算法介紹

極限學(xué)習(xí)機(jī)（Extreme Learning Machine）算法是一種新型的神經(jīng)網(wǎng)絡(luò)模型，與傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)相比，該算法的隱層節(jié)點(diǎn)內(nèi)權(quán)值和偏置值都是隨機(jī)選取的，不需要進(jìn)行迭代來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)，因此訓(xùn)練速度得到大幅提升，同時還能獲得全局最優(yōu)解，對于數(shù)據(jù)集的泛化能力很強(qiáng)。隨著ELM 算法的不斷發(fā)展，基于樣本分部不均衡的特點(diǎn)，帶有權(quán)重的極限學(xué)習(xí)機(jī)（Weighted Extreme Learning Machine）模型又被提出。

2.1 ELM 算法

近年來，隨著對神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究不斷深入，Huang G.B 等[11]學(xué)者于2004 年提出了一種快速的單隱層神經(jīng)網(wǎng)絡(luò)算法即極限學(xué)習(xí)機(jī)（ELM）算法。ELM 算法的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示[12]。

圖1 ELM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 ELM neural network structure

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型隱層節(jié)點(diǎn)的權(quán)值和偏置均是通過誤差的反向傳播算法不斷迭代而確定的，而ELM 算法的值是隨機(jī)選取的，不需要一系列的迭代算法進(jìn)行調(diào)節(jié)[13]。除此之外，ELM 算法中隱藏層到輸出層的權(quán)值是利用最小二乘法來求解的，不需要任何迭代步驟，所以該神經(jīng)網(wǎng)絡(luò)的參數(shù)確定過程是非常簡單的，縮短了該模型的訓(xùn)練時間[14]。

式中，G（aX+b）稱作神經(jīng)網(wǎng)絡(luò)中隱層節(jié)點(diǎn)的激勵函數(shù)，通常為 sigmoid，sin，hardlim，tribas 等函數(shù)，ai為第i 個隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的連接權(quán)值，bi為第i 個隱層節(jié)點(diǎn)的偏置，βi為隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間的連接權(quán)值。

在算法的實(shí)際應(yīng)用中，希望網(wǎng)絡(luò)的輸出值與實(shí)際的輸出值相等或者是很接近，如在上述樣本集中，通過神經(jīng)網(wǎng)絡(luò)后以零誤差接近目標(biāo)值T，則有‖Hβ-T‖=0，即ELM 算法的公式可以簡記為：

式中，H 為神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)輸出矩陣；β 為隱層與網(wǎng)絡(luò)輸出層之間的外權(quán)矩陣。

該算法求出外權(quán)矩陣β 的主要思想是使訓(xùn)練誤差‖H β-T‖2和輸出外權(quán)矩陣的模‖β‖最小，即使下式的值為最小，

也就是尋找最小二乘解β，可以得到：

其中HΓ為H 的廣義逆矩陣，當(dāng)HTH 是非奇異可逆矩陣時，HΓ=（HTH）-1HT；當(dāng) HHT是非奇異可逆矩陣時，HΓ=HT（HHT）-1。而當(dāng)隱層節(jié)點(diǎn)輸出矩陣H 非列滿秩的情況，最優(yōu)外權(quán)β 向量可以利用奇異值分解（SVD）的方法得到[15]。

經(jīng)過上述一系列的方法得到ELM 算法中的外權(quán)矩陣β，隱層節(jié)點(diǎn)輸出矩陣H 由隨機(jī)生成的節(jié)點(diǎn)參數(shù)確定，那么這個神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)就確定下來了，再運(yùn)用測試樣本經(jīng)過該神經(jīng)網(wǎng)絡(luò)，就可以直接得到網(wǎng)絡(luò)的輸出值。

2.2 Weighted-ELM 算法

上節(jié)介紹的是基本的ELM 算法，然而現(xiàn)實(shí)生活中會遇到諸多分類樣本不平衡的情況，比如小麥赤霉病流行強(qiáng)度預(yù)測問題，再比如故障診斷等。為了解決分類樣本不平衡問題，黃廣斌等[16]在2013 年提出Weighted-ELM 算法。

基本ELM 算法的優(yōu)化目標(biāo)函數(shù)為：

其中，滿足的條件是h（Xi）β=ti-ξi，i=1，2，…，N。公式（7）中的前半部分稱為結(jié)構(gòu)風(fēng)險，后半部分稱為經(jīng)驗(yàn)風(fēng)險。

Weighted-ELM 算法的優(yōu)化目標(biāo)函數(shù)為：

其中，W 是N×N 的對角矩陣，矩陣W 的取值和每個訓(xùn)練樣本相關(guān)，通常來說，如果Xi屬于一個少數(shù)并且又是二分類問題中相對重要的類別，那么相應(yīng)的Wii應(yīng)該賦予一個相對大的權(quán)重。W 的取值方法有兩種如下，其中k 是一個可調(diào)參數(shù)[17]。

第一種W1：

第二種W2：

根據(jù)KKT 條件，訓(xùn)練ELM 的過程等同于解決下式問題：

與ELM 相似，β也分兩種方式求解：

當(dāng)，給定一個新的樣本X，通過上述確定β 的具體值后，Weighted-ELM 分類器的輸出便可簡化為：

3 WELM-Adaboost 算法

Weighted-ELM 算法通過調(diào)整正負(fù)類樣本的權(quán)重，可以在一定程度上提高預(yù)測的精度，但是該算法中，樣本的權(quán)重是通過各類樣本數(shù)目的分布而確定的，其大小是固定不變的，對錯分樣本沒有進(jìn)行進(jìn)一步的區(qū)分，因此，采用可以調(diào)整數(shù)據(jù)分布權(quán)值的WELM-Adaboost 算法構(gòu)建小麥赤霉病流行程度預(yù)測模型。

3.1 Adaboost 算法介紹

Boosting 算法是一種集成式的機(jī)器學(xué)習(xí)方法，其思想就是將多個預(yù)測能力較弱的分類器通過一定的投票算法而集成為強(qiáng)分類器，Adaboost 算法就是Boosting 思想的典型應(yīng)用之一[18]。Adaboost 算法選取樣本中少量但是比較重要的特征構(gòu)造多個弱分類器，再將這些弱分類器通過加權(quán)的投票機(jī)制組合成為強(qiáng)分類器，其優(yōu)點(diǎn)在于該算法會根據(jù)樣本的分布以及各個弱分類器的分類效果而調(diào)整每個分類器的權(quán)重，從而提高算法的預(yù)測精度[19]。

3.2 基于WELM-Adaboost 的預(yù)測模型

將Weighted-ELM 作為弱預(yù)測器，使用Adaboost算法思想不斷調(diào)整每個樣本權(quán)重分布，得到多個Weighted-ELM 分類器，將這些分類器組合成一個強(qiáng)分類器[20]。

基于Adaboost 算法和Weighted-ELM 算法的小麥赤霉病流行強(qiáng)度預(yù)測流程如圖2 所示。

圖2 基于WELM-Adaboost 算法小麥赤霉病預(yù)測框圖Fig.2 Block Diagram of Wheat Scab Prediction Based on WELM-Adaboost Algorithm

算法詳細(xì)步驟如下：

（1）從樣本數(shù)據(jù)中隨機(jī)選取N 條作為訓(xùn)練數(shù)據(jù)，根據(jù)其中正負(fù)樣本的分布比例，初始化不同類別的權(quán)值。

（2）對于每次迭代m=1：M，其中M 是所有弱分類器的個數(shù)，該算法會重復(fù)以下（a）-（e）的步驟：

a）利用訓(xùn)練樣本的樣本的分布權(quán)值，得到第m個弱分類器ELMm；

b）根據(jù)由ELMm錯分樣本的權(quán)值計算出權(quán)重預(yù)測誤差和，權(quán)重預(yù)測誤差和的計算公式如（15）所示：

c）依據(jù)權(quán)重預(yù)測和計算出序列權(quán)重αm，其公式如（16）所示：

d）根據(jù)計算出的序列權(quán)重αm調(diào)整新的訓(xùn)練樣本的權(quán)重：

e）重新調(diào)整權(quán)重分布，在權(quán)重比例不變的情況下使分布權(quán)值的和為1。

（3）經(jīng)過M 次迭代后，得到M 組弱預(yù)測器，將這些弱預(yù)測器融合成最后的強(qiáng)預(yù)測器C（x）：

其中k 是樣本的類別數(shù)。

4 實(shí)驗(yàn)設(shè)計與結(jié)果分析

所采用的實(shí)驗(yàn)數(shù)據(jù)集是黑龍江省八五四農(nóng)場所累積的23 年的田間赤霉病情與氣象資料作為基礎(chǔ)數(shù)據(jù)，樣本個數(shù)不是很充足，因此，為了衡量算法的準(zhǔn)確性，采用交叉驗(yàn)證的方式，每次實(shí)驗(yàn)隨機(jī)選取16個樣本作為訓(xùn)練集，其余7 個樣本作為預(yù)測集，且保證每次實(shí)驗(yàn)的訓(xùn)練集和測試集中均包含正樣本。那么，根據(jù)實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn)，共可以生成六種訓(xùn)練集與測試集的組合。

4.1 模型參數(shù)選擇

ELM 算法提供了五種激活函數(shù)，分別是sigmoid、sin、hardlim、tribas、radbas，經(jīng)過大量實(shí)驗(yàn)表明，不同激活函數(shù)對算法預(yù)測速度和精度的影響不是很明顯。因此，綜合考慮訓(xùn)練時間和設(shè)備開銷，選定ELM 算法、BP 神經(jīng)網(wǎng)絡(luò)算法和 WELM-Adaboost 算法的網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個數(shù)均為8，激活函數(shù)設(shè)定為sin 函數(shù)。

4.2 算法比較

最后選取了傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)算法與普通的Weighted-ELM 算法作為對比方法，進(jìn)行多次實(shí)驗(yàn)后，得出三種算法的AUC 結(jié)果的對比如表3 所示：

表3 三種算法預(yù)測結(jié)果比較Table 3 Comparison of prediction results of three algorithms

根據(jù)表中數(shù)據(jù)可得，對于6 組數(shù)據(jù)集的預(yù)測結(jié)果，WELM-Adaboost 算法的平均 AUC 值為 0.865，高于 BP 神經(jīng)網(wǎng)絡(luò)算法的 0.705 以及 ELM 算法的0.717，WELM-AdaBoost 算法的預(yù)測準(zhǔn)確性明顯優(yōu)于另外兩種算法，這說明所采用的WELM-Adaboost 算法預(yù)測小麥赤霉病的流行強(qiáng)度是合理的。

5 總結(jié)與展望

對小麥赤霉病流行強(qiáng)度進(jìn)行準(zhǔn)確預(yù)測，能夠針對性的采取防止措施，對小麥赤霉病的預(yù)防具有重大意義。主要貢獻(xiàn)有：

提出了基于WELM-Adaboost 算法的小麥赤霉病流行強(qiáng)度預(yù)測的方法。以平均相對濕度、降雨量、降雨日數(shù)、日照時數(shù)4 個氣候因素作為預(yù)測模型的輸入，并與標(biāo)準(zhǔn)的BP 神經(jīng)網(wǎng)絡(luò)算法以及ELM 算法作比較，使用AUC 值作為衡量標(biāo)準(zhǔn)，實(shí)驗(yàn)結(jié)果表明，在不同的數(shù)據(jù)集下，所采用的WELM-Adaboost 算法的AUC 值明顯高于另外兩種算法。

盡管對小麥赤霉病的預(yù)測取得了一定成果，但是仍有許多問題需要改進(jìn)與完善。

實(shí)驗(yàn)中，數(shù)據(jù)樣本數(shù)不夠多，尤其缺少流行強(qiáng)度較高的樣本，使得WELM-AdaBoost 算法的訓(xùn)練精度不夠。同時，所采用的對照算法比較少，至于哪種算法在精度和速度上更占優(yōu)勢有待進(jìn)一步研究。