基于自適應(yīng)判別深度置信網(wǎng)絡(luò)的棉花病蟲害預(yù)測

王獻鋒，張傳雷，張善文，朱義海

?

基于自適應(yīng)判別深度置信網(wǎng)絡(luò)的棉花病蟲害預(yù)測

王獻鋒1，張傳雷2※，張善文1，朱義海3

（1. 西京學(xué)院理學(xué)院，西安 710123；2. 天津科技大學(xué)計算機科學(xué)與信息工程學(xué)院，天津 300457；3. Tableau Software，西雅圖 WA 98103）

作物病蟲害預(yù)測是病蟲害防治的前提，利用深度學(xué)習預(yù)測作物病蟲害是一個有效且具有挑戰(zhàn)性的研究課題。該文針對深度置信網(wǎng)絡(luò)（deep belief network，DBN）在作物病蟲害預(yù)測中的訓(xùn)練耗時長和容易收斂于局部最優(yōu)解等問題，將自適應(yīng)DBN和判別限制玻爾茲曼機（restricted boltzmann machine，RBM）相結(jié)合，利用棉花生長的環(huán)境信息，提出一種基于自適應(yīng)判別DBN的棉花病蟲害預(yù)測模型。該模型由3層RBM網(wǎng)絡(luò)和一個判別RBM（discriminative restricted boltzmann machine，DRBM）網(wǎng)絡(luò)組成，通過3層RBM網(wǎng)絡(luò)將棉花生長的環(huán)境信息數(shù)據(jù)轉(zhuǎn)換到與病蟲害發(fā)生相關(guān)的特征空間，通過自動學(xué)習得到層次化的特征表示，再由DRBM預(yù)測棉花病蟲害的發(fā)生概率。該模型將自適應(yīng)學(xué)習率引入到對比差度算法中，通過自動調(diào)整學(xué)習步長，解決了在傳統(tǒng)DBN模型訓(xùn)練時學(xué)習率選擇難的問題；在學(xué)習過程中通過在DRBM中引入樣本的類別信息，使得訓(xùn)練具有類別針對性，弱化傳統(tǒng)RBM無監(jiān)督訓(xùn)練時易出現(xiàn)特征同質(zhì)化問題，提高了模型的預(yù)測準確率。對實際棉花的“棉鈴蟲、棉蚜蟲、紅蜘蛛”蟲害和“黃萎病、枯萎病”病害的平均預(yù)測準確率為82.840%，與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型（BPNN）、強模糊支持向量機模型（SFSVM）和RBF神經(jīng)網(wǎng)絡(luò)模型（RBFNN）分別提高19.248%，24.916%和27.774%。

病害；預(yù)測；模型；棉花；深度置信網(wǎng)絡(luò)；自適應(yīng)判別

0 引 言

棉花在種植過程和整個生育期中會不斷受到病蟲害的影響，病蟲害防治是棉花植?？萍脊ぷ髡吆蛷V大棉農(nóng)長期以來所面臨的主要問題。中國棉花病蟲害約有40余種，其中發(fā)生頻繁的“棉鈴蟲、棉蚜蟲、紅蜘蛛”蟲害和“黃萎病、枯萎病”病害是棉田的主要病蟲害，對棉花生產(chǎn)的危害范圍大、持續(xù)影響時間長，而且造成的損失較大[1-2]。傳統(tǒng)的病蟲害識別和預(yù)測方法主要依靠農(nóng)民和專家經(jīng)驗預(yù)測病蟲害發(fā)生、判斷病蟲害種類以及受害區(qū)域和嚴重程度，再進行噴灑農(nóng)藥。該類方法的預(yù)測和識別效果主觀性強，往往導(dǎo)致資源浪費和環(huán)境污染。研究表明，棉花病蟲害的發(fā)生具有一定的規(guī)律，也是一個循序漸進的過程，棉花生長中后期是多種病蟲害的高發(fā)期，而且棉花病蟲害的發(fā)生、發(fā)展和流行與棉花生長環(huán)境的溫度、濕度、降雨、風、光照和CO2等多種因素相關(guān)[3-4]。例如，雨水是棉花細菌侵染和傳播的主要條件，適溫、高濕有助于大多類病蟲的繁殖和擴散，而CO2濃度有助于作物光合作用，從而提高作物對病蟲害的免疫力。要防治病蟲害，首先要預(yù)測病蟲害的發(fā)生時期和識別病蟲害的類別。利用農(nóng)作物生長的環(huán)境信息預(yù)測病蟲害發(fā)生和流行趨勢，是當前計算機科學(xué)和模式識別等領(lǐng)域研究的一個應(yīng)用性很強的研究方向[5]。劉俊稚[6]研究了幾種典型植物對大氣CO2濃度升高的生理和病理響應(yīng)，指出了CO2濃度直接和間接地影響到作物病蟲害發(fā)生。石盼[7]開發(fā)了一種基于物聯(lián)網(wǎng)技術(shù)、無線通信技術(shù)等多種技術(shù)為一體的農(nóng)作物病蟲害診斷系統(tǒng)，通過農(nóng)作物病蟲害的視頻采集與溫度、濕度、CO2濃度等各種環(huán)境信息和專家診斷系統(tǒng)對作物病蟲害進行檢測和診斷，取得了較好的效果。隨著遙感、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，為棉花病蟲害準確預(yù)測和科學(xué)防治提供了可能[8-9]。趙慶展等[10]等設(shè)計了一套基于移動GIS的棉田病蟲害信息采集系統(tǒng)，該系統(tǒng)以當前主流的Android/IOS手機操作系統(tǒng)為平臺，運用GPS定位、離線地圖加載、圖形繪制等技術(shù)，實現(xiàn)了病蟲害發(fā)生位置及屬性信息的快速采集。趙冰梅等[11]預(yù)測了新疆兵團2017年棉花主要病蟲害發(fā)生趨勢，提出了相應(yīng)的防治對策和綜合防治措施，為棉花病蟲害防治提供了參考。

農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)拓寬了農(nóng)業(yè)病蟲害預(yù)測的覆蓋面，實現(xiàn)了實時在線的農(nóng)作物病蟲害的自動預(yù)警。基于農(nóng)業(yè)物聯(lián)網(wǎng)的農(nóng)作物病蟲害早期預(yù)測和初期檢測已成為一個新的研究方向。陳光絨等[12]提出了一種基于物聯(lián)網(wǎng)技術(shù)的農(nóng)作物病蟲害自動測報系統(tǒng)；王翔宇等[13]研究了農(nóng)業(yè)主要病害檢測與預(yù)警技術(shù)；張恩迪等[14]研發(fā)了一套基于物聯(lián)網(wǎng)的農(nóng)業(yè)蟲害智能監(jiān)控系統(tǒng)，能夠自動采集農(nóng)田環(huán)境信息、害蟲數(shù)目。盡管現(xiàn)有的很多作物預(yù)測方法、技術(shù)和系統(tǒng)在一定條件下對一種或幾種作物取得了較高的預(yù)測率。由于作物病蟲害的發(fā)生和發(fā)展涉及到的因素很多，而且各個因素之間存在著復(fù)雜的相互作用和相互影響[15-16]，使得現(xiàn)有的作物病蟲害預(yù)測模型的表達能力和泛化能力有限，預(yù)測準確率不高，很多預(yù)測模型還不能滿足實際作物病蟲害預(yù)測系統(tǒng)的要求。

深度學(xué)習是近年來人工智能和模式識別領(lǐng)域的一種新穎的、非常有效的機器學(xué)習方法，已經(jīng)在植物物種識別和植物病害識別中取得了成功應(yīng)用[17-18]。深度置信網(wǎng)絡(luò)（DBN）是一種雙向深度網(wǎng)絡(luò)方法，具有較強的數(shù)據(jù)預(yù)測能力，被廣泛應(yīng)用于空氣污染預(yù)報和交通流預(yù)測等實際問題[19-20]。Lü等[21]提出了一種基于深度自編碼網(wǎng)絡(luò)模型的交通流預(yù)測模型，取得了理想的預(yù)測精度；Hu等[22]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的短期風速預(yù)測方法，并通過仿真試驗證明了深度神經(jīng)網(wǎng)絡(luò)在風速預(yù)測中的優(yōu)越性；Zhao等[23]提出了一種基于深度學(xué)習的原油價格預(yù)測模型。由于DBN的每個限制波爾茲曼機RBM（restricted boltzmann machines，RBM）需要多次迭代更新權(quán)值參數(shù)，且每次迭代后權(quán)值更新的方向不盡相同，所以權(quán)值在更新過程中的每一步調(diào)節(jié)不一定一直向著損失函數(shù)減小的方向進行，可能導(dǎo)致網(wǎng)絡(luò)的收斂速度降低，也可能出現(xiàn)“早熟”、難以收斂等問題。為此，出現(xiàn)了一些自適應(yīng)DBN和監(jiān)督式DBN模型[24-25]。盡管DBN及其改進方法都在一定程度上取得了較高的預(yù)測結(jié)果，但DBN在農(nóng)作物病蟲害預(yù)測中的應(yīng)用的文獻報道很少。由于作物病蟲害發(fā)生受到多種環(huán)境因素的影響，準確地預(yù)測作物病蟲害發(fā)生具有相當大的實用性和挑戰(zhàn)性。本文將自適應(yīng)DBN和判別DBN模型相結(jié)合，提出了一種基于自適應(yīng)判別DBN（ADDBN）的棉花病蟲害預(yù)測模型，并進行了試驗驗證。

1 材料與方法

1.1 數(shù)據(jù)獲取與處理

1）數(shù)據(jù)采集。從2011年至2016年，每年的5月1日至9月30日，利用農(nóng)業(yè)物聯(lián)網(wǎng)傳感器，在陜西省渭南市大荔縣10個棉花種植示范基地采集棉花常見的、危害比較嚴重的“棉鈴蟲、棉蚜蟲、紅蜘蛛”蟲害和“黃萎病、枯萎病”病害發(fā)生后5 d內(nèi)的12種環(huán)境信息：發(fā)病季節(jié)、土壤鹽分、土壤是否連種、土壤溫度和濕度、空氣溫度和濕度、光照強度、雨日數(shù)、降水量、CO2濃度和農(nóng)藥使用次數(shù)[4,14]，從早上8點到下午5點采集日平均溫度、日平均相對濕度和日平均光照。

2）環(huán)境信息離散化。參考文獻[10,12]對環(huán)境信息進行離散化：將光照強度由強到弱設(shè)置為4個等級：0.7、0.5、0.3和0.1；將農(nóng)藥使用量由多到無設(shè)置為4個等級：0.7、0.4、0.2和0；按照土壤沒有連種、連種1次、連種2次及以上將土壤是否連種信息分別設(shè)置為3個等級：0、0.2和0.4；根據(jù)歷史數(shù)據(jù)按照月份將不同類病蟲害的發(fā)生期劃分為5個等級：0.9、0.7、0.5、0.3和0.1；農(nóng)作物病蟲害發(fā)生程度一般定義如下：0級表示沒有病蟲害發(fā)生；1級（輕發(fā)生）表示病蟲零星發(fā)生，不需要化學(xué)防治；2級（偏輕發(fā)生）表示作物無明顯受害損失；3級（中等發(fā)生）表示已造成局部明顯損失；4級（偏重發(fā)生）表示已造成嚴重損失[26-27]。

3）歸一化。對離散化后的每類環(huán)境信息進行歸一化[28]：

4）環(huán)境信息特征向量。將每天采集的各個環(huán)境信息進行日平均，最后組成一個12維的向量，作為當天的環(huán)境信息向量樣本，得到7 550個向量。

由于采集的環(huán)境信息部分數(shù)據(jù)缺失或不合理，本文共選擇了6 000個有效環(huán)境信息向量進行病蟲害預(yù)測試驗。

1.2 自適應(yīng)判別深度置信網(wǎng)絡(luò)(adaptive discrimination deep belief network，ADDBN)

ADDBN是由多個RBM和一個判別RBM (discliminative restricted boltzmann machines，DRBM)組成的一種概率生成模型，每個RBM只有可見層節(jié)點與隱層節(jié)點之間有連接權(quán)值，而可見層節(jié)點之間和隱層節(jié)點之間無連接。通過自低向上逐層訓(xùn)練RBM，每一個RBM訓(xùn)練出的特征將作為下一層RBM的輸入，利用DRBM調(diào)整神經(jīng)元之間的權(quán)重，最后得到一個預(yù)測效果穩(wěn)定的ADDBN預(yù)測模型。為了說明RBM與DRBM之間的區(qū)別，圖1給出了RBM和DRBM的結(jié)構(gòu)圖。

圖1 RBM和DRBM基本結(jié)構(gòu)

1.2.1 限制玻爾茲曼機(RBM)

由于RBM的可見層神經(jīng)元或隱層神經(jīng)元的激活狀態(tài)之間是相互獨立的，通過能量函數(shù)可以得到可見層和隱層的條件概率，第個隱層神經(jīng)元和第個可見神經(jīng)元輸出的條件激活概率分別表示為：

1.2.2 判別RBM(DRBM)

通過能量函數(shù)可以得到可見層和隱層的條件激活概率分別為：

比較式（3）和式（5）可以得到，在DRBM中標簽層參與了隱層條件激活概率的計算。

1.2.3 自適應(yīng)學(xué)習率

RBM的快速學(xué)習過程通過一個對比散度算法（contrastive divergence，CD）實現(xiàn)。使用CD算法對構(gòu)成DBN的所有RBM逐一進行無監(jiān)督訓(xùn)練。各參數(shù)的更新準則如下：

由式（9）看出，當連續(xù)2次迭代后參數(shù)更新方向相反時，學(xué)習率會減?。划斶B續(xù)2次迭代后參數(shù)更新方向相同時，學(xué)習率會加大。

1.2.4 ADDBN的結(jié)構(gòu)

圖2 ADDBN模型

ADDBN的訓(xùn)練過程與DBN類似，分為無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)2個階段[25,29]：

1.2.5 基于ADDBN的棉花病蟲害預(yù)測模型

為了減小棉花病蟲害預(yù)測模型的訓(xùn)練和運行時間，本文采用的ADDBN模型結(jié)構(gòu)為1個輸入層、3個RBM隱含層和1個DRBM層?；贏DDBN的棉花病蟲害預(yù)測過程如圖3所示。

在ADDBN中，輸入層的輸入數(shù)據(jù)為歸一化后的環(huán)境信息特征向量，輸出層的節(jié)點數(shù)為5，表示3種蟲害和2種病害，模型訓(xùn)練后的輸出結(jié)果為5個節(jié)點輸出的最大值對應(yīng)的病蟲害類型。該模型的主要過程描述如下：

1）數(shù)據(jù)采集和預(yù)處理。采集與棉花病蟲害發(fā)生相關(guān)的環(huán)境信息，包括氣候、氣象信息、土壤信息等12種數(shù)據(jù)，組成原始數(shù)據(jù)集，然后結(jié)合棉花病蟲害的歷史數(shù)據(jù)，對每類數(shù)據(jù)進行量化、歸一化，組成每個樣本為12維的特征向量，作為預(yù)測模型的輸入樣本集，再將所有樣本劃分為訓(xùn)練樣本集和測試樣本集。其中，訓(xùn)練集用于訓(xùn)練預(yù)測模型，測試集用于對模型性能進行測試；

圖3 基于ADDBN的棉花病蟲害預(yù)測模型

2）構(gòu)造基于ADDBN的棉花病蟲害預(yù)測模型。由試驗對ADDBN的結(jié)構(gòu)進行優(yōu)化設(shè)置，包括RBM的層數(shù)、各個RBM和DRBM的輸入和輸出的節(jié)點數(shù)等；

3）訓(xùn)練階段。利用訓(xùn)練樣本訓(xùn)練基于ADDBN的預(yù)測模型。根據(jù)CD算法中參數(shù)每次迭代方向的異同來動態(tài)調(diào)整學(xué)習率。

4）計算實際輸出和目標輸出的誤差，使用與模型權(quán)重相關(guān)的函數(shù)表示這個誤差，再利用共軛梯度算法調(diào)整權(quán)重矩陣，最后得到誤差函數(shù)達到最小的網(wǎng)絡(luò)權(quán)重矩陣；

5）測試階段。將測試樣本輸入到訓(xùn)練好的預(yù)測模型中，計算棉花病蟲害的預(yù)測結(jié)果；

6）預(yù)測結(jié)果分析。在分類層，將重復(fù)采樣的分類結(jié)果平均，得到預(yù)測模型的預(yù)測結(jié)果。

2 試驗與分析

試驗的硬件環(huán)境為內(nèi)存32GB、CPU Intel(R) Core(TM) i7-4790 8*3.60GHZ、GPU GeForce GTX Titan X，訓(xùn)練速度使用單核Intel3.47GHZ的15倍以上，深度學(xué)習架構(gòu)為Tensorflow，編程語言為python。在預(yù)測模型中，第一層RBM的可視層節(jié)點數(shù)為12，對應(yīng)12種環(huán)境信息，輸出結(jié)果為病蟲害發(fā)生類型。試驗數(shù)據(jù)為2011年到2016年的5月1日—9月30日的每天采集的12種環(huán)境信息的日平均值，再歸一化后的向量樣本[28]。

由于DBN對相關(guān)的初始參數(shù)比較敏感，為了獲得高效的預(yù)測準確率，首先需要確定3個參數(shù)：ADDBN的層數(shù)、每一隱層的節(jié)點個數(shù)和訓(xùn)練ADDBN模型需要的迭代次數(shù)。為此，利用全部樣本進行大量試驗對比獲得較優(yōu)的3個參數(shù)值[30]。模型評價指標選擇為均方誤差，即當誤差值較大時，說明模型的預(yù)測能力較低；反之則說明模型預(yù)測精度較高。當輸出訓(xùn)練樣本集的預(yù)測誤差達到最小時的模型作為最終輸出模型[21,24-25]。采用10-折交叉驗證法對6 000個環(huán)境信息向量進行病蟲害預(yù)測試驗，即將6 000個樣本數(shù)據(jù)集分成10份，每份600個，依次將其中9份作為訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，然后將剩余的1份作為測試集輸入到訓(xùn)練好的模型進行病蟲害預(yù)測試驗，重復(fù)訓(xùn)練多次，由試驗結(jié)果來確定所提出模型的參數(shù)。在試驗中，輸入神經(jīng)元數(shù)為12，輸出神經(jīng)元數(shù)為5。為了簡化預(yù)測模型，初步選擇2~4個RBM和一個DRBM進行訓(xùn)練。訓(xùn)練時采用自適應(yīng)學(xué)習率，分組訓(xùn)練大小設(shè)置為32，動量為0.5。試驗發(fā)現(xiàn)，在RBM層數(shù)大于4時，預(yù)測模型的效果隨著層數(shù)的增加而有所降低，預(yù)測訓(xùn)練時間也隨之增加，這說明預(yù)測模型的效果與RBM層數(shù)增長之間并非成正比關(guān)系。在此基礎(chǔ)上進一步確定各層神經(jīng)元數(shù)量，經(jīng)過反復(fù)試驗，得到每個隱層神經(jīng)元數(shù)為264時獲得的高層特征效果最佳。最終確定的模型結(jié)構(gòu)為1個輸入層、3個RBM和一個DRBM。試驗中，各節(jié)點輸出值大于等于0.90，則判定為該類，預(yù)測結(jié)果為正確識別樣本數(shù)與測試集中總樣本數(shù)的百分比。經(jīng)過以上模型訓(xùn)練后，再重新進行10-折交叉驗證法試驗，得到10個測試結(jié)果，將10次試驗結(jié)果的平均值作為1次10-折交叉驗證的試驗結(jié)果。重復(fù)進行10-折交叉驗證試驗50次，計算50次試驗的平均值，得到棉花的3種蟲害和2種病害的平均預(yù)測試驗結(jié)果見表1。為了表明本文提出方法的有效性，表1中還給出了基于BP神經(jīng)網(wǎng)絡(luò)的（BPNN）[26]、基于強模糊支持向量機（SFSVM）[31]和基于RBF網(wǎng)絡(luò)（RBFNN）[32]的棉花3種蟲害2種病害的預(yù)測結(jié)果。為了說明本文方法的有效性，給出了基于傳統(tǒng)DBN的識別結(jié)果，其中DBN的網(wǎng)絡(luò)結(jié)構(gòu)和初始參數(shù)與ADDBN相同，只是將最后一層的DRBM替換為BP神經(jīng)網(wǎng)絡(luò)，并采用固定學(xué)習率為0.3[30]。為了說明本文方法的可行性，比較本文方法與BPNN、SFSVM、RBF和DBN的時間復(fù)雜度。在一次10-折交叉驗證的10次試驗中，在本文方法和4種比較方法中，設(shè)置訓(xùn)練終止條件都為2次連續(xù)迭代預(yù)測結(jié)果的誤差為0.001，在PC機中計算各種方法的10次試驗訓(xùn)練時間的平均值，作為各種方法的訓(xùn)練時間；然后計算得到10個預(yù)測結(jié)果的預(yù)測時間的平均值，作為各種方法的預(yù)測時間，見表2。

為了說明自適應(yīng)學(xué)習率對網(wǎng)絡(luò)訓(xùn)練收斂性的影響，將ADDBN與傳統(tǒng)的DBN在3個不同的固定學(xué)習率（0.1、0.3和0.6）情況下，對訓(xùn)練收斂性的影響進行比較。試驗采用10-折交叉驗證法。圖4給出了DBN（取3個固定學(xué)習率）和ADDBN在相同的隱藏層數(shù)及節(jié)點數(shù)的情況下，不同的迭代次數(shù)對應(yīng)的預(yù)測結(jié)果。其中DBN（0.1）、DBN（0.3）和DBN（0.6）分別表示學(xué)習率為0.1、0.3和0.6時的DBN模型對應(yīng)的預(yù)測率。

表1 基于5種預(yù)測模型的棉花病蟲害的預(yù)測準確率

表2 5種預(yù)測方法的訓(xùn)練時間和預(yù)測時間

圖4 不同迭代次數(shù)下ADDBN和DBN（n= 0.1、0.3和0.6）的預(yù)測準確率

3 討 論

從表1可以看出，基于DBN和ADDBN的棉花病蟲害預(yù)測模型的預(yù)測準確率遠高于其他3種預(yù)測模型，其原因是這兩種預(yù)測模型充分利用了12種環(huán)境信息，能夠從復(fù)雜的環(huán)境信息中深度挖掘到影響棉花病蟲害發(fā)生和發(fā)展的主要預(yù)測特征，從而得到較高的預(yù)測結(jié)果。ADDBN比傳統(tǒng)的預(yù)測方法BPNN、SFSVM和RBFNN的平均預(yù)測準確率分別提高了19.248%、24.916%和27.774%。其原因是傳統(tǒng)模型的預(yù)測方法是完全基于輸入樣本特征的，不可避免引入了不相關(guān)因素等噪聲，導(dǎo)致預(yù)測準確率不高。ADDBN比現(xiàn)有的DBN的預(yù)測準確率提高了2.784%，其主要原因是ADDBN在學(xué)習過程中能夠?qū)㈩悇e信息引入到模型訓(xùn)練中，使訓(xùn)練具有監(jiān)督性，由此弱化傳統(tǒng)RBM在無監(jiān)督訓(xùn)練時出現(xiàn)訓(xùn)練時間長和過擬合問題，從而提高了數(shù)據(jù)擬合度。

由表2可以看出，相對于淺層學(xué)習方法（SVM）和淺層神經(jīng)網(wǎng)絡(luò)（BPNN和RBFNN），DBN和ADDBN的訓(xùn)練階段的耗時很長，則時間復(fù)雜度較高，但是測試階段都比較快，所以可以應(yīng)用于作物病蟲害預(yù)測任務(wù)。ADDBN比DBN的訓(xùn)練時間快2 673 s，其原因是ADDBN采用了自適應(yīng)學(xué)習率，能夠較快收斂到最優(yōu)解。

從圖4可以看出，隨著迭代訓(xùn)練次數(shù)的增加，病蟲害的預(yù)測率有所提升。在迭代次數(shù)不多時，DBN和ADDBN的預(yù)測結(jié)果差別不大，但當?shù)螖?shù)大于600時，ADDBN的預(yù)測結(jié)果明顯優(yōu)于DBN。特別地，當?shù)螖?shù)增加時，網(wǎng)絡(luò)的收斂速度顯著加快，直至趨于穩(wěn)定。原因是ADDBN采用了自適應(yīng)學(xué)習率，在模型學(xué)習過程能夠朝著權(quán)值參數(shù)最優(yōu)值的方向優(yōu)化。由圖4也可以看出，DBN中學(xué)習率越大，則收斂速度快，但過大可能引起模型不穩(wěn)定；學(xué)習率越小，則收斂速度較慢。圖4結(jié)果說明，學(xué)習率是DBN的一個重要參數(shù)。

因獲取環(huán)境信息數(shù)據(jù)源的渠道單一，而且本研究所用數(shù)據(jù)量有限，下一步將嘗試擴大訓(xùn)練樣本和測試樣本數(shù)據(jù)量，使用更多歷史數(shù)據(jù)訓(xùn)練所提出的預(yù)測網(wǎng)絡(luò)，構(gòu)建基于該網(wǎng)絡(luò)的病蟲害預(yù)測系統(tǒng)。

值得指出的是，本文主要討論了棉花病害和蟲害發(fā)生的預(yù)測模型。由于沒有得到作物病害和蟲害同時發(fā)生情況下的環(huán)境信息數(shù)據(jù)，所以本文沒有考慮兩者同時發(fā)生的情況。實際上，病害和蟲害同時發(fā)生也是可能發(fā)生的一種情況。由于病害和蟲害同時發(fā)生的預(yù)測問題比單一的病害或蟲害發(fā)生的預(yù)測問題復(fù)雜很多，目前鮮見此類預(yù)測模型。這也將是下一步研究的主要方向之一。

4 結(jié) 論

面對海量、復(fù)雜、多變的環(huán)境信息，傳統(tǒng)的基于淺層學(xué)習算法的作物病蟲害預(yù)測模型難以從高維復(fù)雜的環(huán)境信息中學(xué)習到與病蟲害發(fā)生相關(guān)的預(yù)測特征，所以得到的預(yù)測準確率不高、模型不穩(wěn)定。本文以相對濕度、平均氣溫、降雨量和日照時數(shù)等12種環(huán)境信息，建立基于ADDBN的棉花病蟲害預(yù)測模型。在棉花的3種蟲害和2種病害的環(huán)境信息數(shù)據(jù)集上進行了試驗驗證，并與其他3種預(yù)測模型進行了比較。結(jié)果表明：

1）該模型整合了海量、多源的環(huán)境信息數(shù)據(jù)，能夠深度挖掘與病蟲害發(fā)生相關(guān)的環(huán)境信息之間內(nèi)在的關(guān)系，在一定程度上克服了基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的作物病蟲害預(yù)測方法的缺陷，與傳統(tǒng)的BPNN相比，預(yù)測準確率提高了19.248%；與DBN相比，預(yù)測準確率提高了2.784%。

2）該模型采用自適應(yīng)學(xué)習率，克服了DBN中固定學(xué)習率出現(xiàn)的收斂速度慢和容易陷入局部最優(yōu)的問題，訓(xùn)練時間縮短了2 673 s。

3）該模型為農(nóng)作物病蟲害預(yù)測提供了一種新思路。但文中還存在一些問題：關(guān)于ADDBN的隱含層數(shù)、隱含層神經(jīng)元數(shù)等的設(shè)置幾乎沒有理論依據(jù)和行之有效的統(tǒng)一的設(shè)置方法，一般依靠經(jīng)驗和試驗設(shè)置，再多次進行調(diào)整，由此花費的時間比較長，限制了基于ADDBN的棉花預(yù)測模型的應(yīng)用范圍。下一步研究重點為尋找ADDBN的參數(shù)設(shè)置的思路和依據(jù)，進一步研究當病害與蟲害同時發(fā)生時，如何利用ADDBN進行病蟲害預(yù)測。

[1] 趙冰梅，李賢超，王俊剛. 2011年新疆兵團棉花病蟲害發(fā)生特點及原因分析[J]. 中國棉花，2012，39(3)：9－11.Zhao Bingmei, Li Xianchao, Wang Jungang. Analysis of the characteristics and causes of cotton disease and insect pests in Xinjiang Corps in 2011[J]. Chinese cotton, 2012, 39(3): 9－11. (in Chinese with English abstract)

[2] 趙冰梅，李賢超. 新疆兵團棉花中后期主要病蟲害發(fā)生趨勢及防治對策[J]. 中國棉花，2012，39(17)：13－14. Zhao Bingmei, Li Xianchao. Occurrence trend and control countermeasures of main cotton diseases and insect pests in middle and later stage of xinjiang production and construction crops[J]. Chinese cotton, 2012, 39(17): 13－14. (in Chinese with English abstract)

[3] 葉彩玲，霍治國，丁勝利，等. 農(nóng)作物病蟲害氣象環(huán)境成因研究進展[J]. 自然災(zāi)害學(xué)報，2005，24(1)：90－97. Ye Cailing, Huo Zhiguo, Ding Shengli, et al. Advance in study on formation of meteorological environment causing crop's diseases and insect pests[J]. Journal of Natural Disasters, 2005, 14(1): 90－97. (in Chinese with English abstract)

[4] 陳懷亮，張弘，李有. 農(nóng)作物病蟲害發(fā)生發(fā)展氣象條件及預(yù)報方法研究綜述[J]. 中國農(nóng)業(yè)氣象，2007，28(2)： 212－216 Chen Huailiang, Zhang Hong, Li You. Summary of meteorological conditions and forecasting methods of crop diseases and insect pests development[J]. Chinese Journal of Agrometeorology, 2007, 28 (2): 212－216. (in Chinese with English abstract)

[5] 王翔宇，溫皓杰，李鑫星，等. 農(nóng)業(yè)主要病害檢測與預(yù)警技術(shù)研究進展分析[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(9)： 266－277.Wang Xiangyu, Wen Haojie, Li Xinxing, et al. Research progress analysis of mainly agricultural diseases detection and early warning technologies[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[6] 劉俊稚. 幾種典型植物對大氣CO2濃度升高的生理和病理響應(yīng)研究[D]. 杭州：浙江大學(xué)，2010.Liu Junzhi. Study on Eco-physiological and Pathological Pesponses of Several Typical Plant Species to Elevated Atmospheric CO2[D]. Hangzhou: Zhejiang University, 2010. (in Chinese with English abstract)

[7] 石盼. 基于嵌入式的設(shè)施農(nóng)作物病蟲害診斷終端系統(tǒng)的研究與設(shè)計[D]. 銀川：北方民族大學(xué)，2016.Shi Pan. The Research and Design of Amenities Crop Pests and Diseases Diagnostic Terminal System Based on Embedded Technology[D].Yinchuan: Beifang Univesity of Nationality, 2016. (in Chinese with English abstract)

[8] Qinghai He, Benxue Ma, Duanyang Qu. Cotton pests and diseases detection based on image processing[J]. Telkomnika, 2013,11(6): 3445－3450.

[9] Supriya S Patki, G S Sable. A review: cotton leaf disease detection [J]. IOSR Journal of VLSI and Signal Processing, 2016,6(3):78－81.

[10] 趙慶展，靳光才，周文杰，等. 基于移動GIS的棉田病蟲害信息采集系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(4)：183－190. Zhao Qingzhan, Jin Guangcai, Zhou Wenjie, et al. Information collection system for diseases and pests in cotton field based on mobile GIS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 183－190. (in Chinese with English abstract)

[11] 趙冰梅，李紅，李賢超. 2017年新疆兵團棉花主要病蟲害發(fā)生預(yù)測及防治對策[J]. 中國棉花，2017，44(4)：1－2.Zhao Bingmei, Li Hong, Li Xianchao. Prediction and prevention and control of the main diseases and insect pests of cotton in Xinjiang Corps in 2017[J]. Chinese Cotton, 2017, 44(4): 1－2. (in Chinese with English abstract)

[12] 陳光絨，李小琴. 基于物聯(lián)網(wǎng)技術(shù)的農(nóng)作物病蟲害自動測報系統(tǒng)[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43(4)：406－410. Chen Guang rong, Li Xiaoqin. Automatic measurement and report system of crop diseases and insect pests based on Internet of things technology[J]. Jiangsu agricultural science, 2015, 43(4): 406－410. (in Chinese with English abstract)

[13] 王翔宇，溫皓杰，李鑫星. 農(nóng)業(yè)主要病害檢測與預(yù)警技術(shù)研究進展分析[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(9)：266－277. Wang Xiangyu, Wen Haojie, Li Xinxing. Analysis of the research progress on the detection and early warning technology of major agricultural diseases[J]. Transaltions of the Chinese Society for agricultural machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[14] 張恩迪，張佳銳. 基于物聯(lián)網(wǎng)的農(nóng)業(yè)蟲害智能監(jiān)控系統(tǒng)[J]. 農(nóng)機化研究，2015(5)：229－234. Zhang Endi, Zhang Jiarui. Intelligent monitoring system of agricultural pests based on IOT[J]. Journal of Agricultural Mechanization Research, 2015(5): 229－234. (in Chinese with English abstract)

[15] Sannakki S, Rajpurohit V S, Sumira F, et al. A neural network approach for disease forecasting in grapes using weather parameters[C]// International Conference on Computing. IEEE, 2013: 1－5.

[16] Mingwang Shi. Based on time series and RBF network plant disease forecasting[J]. Procedia Engineering, 2011, 15: 2384－2387.

[17] Mads Dyrmann, Henrik Karstoft, Henrik Skov Midtiby. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72－80.

[18] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016(6): 1－11.

[19] 尹文君，張大偉，嚴京，等. 基于深度學(xué)習的大數(shù)據(jù)空氣污染預(yù)報[J]. 中國海軍管理，2015(6)：46－52. Yin Wenjun, Zhang Dawei, Yan Jing, et al. Large data air pollution forecast based on deep learning [J]. Chinese Navy Management, 2015(6): 46－52. (in Chinese with English abstract)

[20] 羅向龍，焦琴琴，牛力瑤，等. 基于深度學(xué)習的短時交通流預(yù)測[J]. 計算機應(yīng)用研究，2017，34(1)：91－93. Luo Xianglong, Jiao Qinqin, Niu Liyao, et al. Short-term traffic flow prediction based on deep learning[J]. Application Research of Computers, 2017, 34(1): 91－93. (in Chinese with English abstract)

[21] Lü Y, Duan Y, Kang W, et al. Traffic flow prediction with big data: a deep learning approach[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 865－873.

[22] Hu Q, Zhang R, Zhou Y. Transfer learning for short-term wind speed prediction with deep neural networks[J]. Renewable Energy, 2016, 85: 83－95.

[23] Zhao Y, Li J, Yu L. A deep learning ensemble approach for crude oil price forecasting[J]. Energy Economics, 2017, 66: 9－16.

[24] 喬俊飛，王功明，李曉理，等. 基于自適應(yīng)學(xué)習率的深度信念網(wǎng)設(shè)計與應(yīng)用[J]. 自動化學(xué)報，2017，43(8)：1339－1349 Qiao Junfei, Wang Gongming, Li Xiaoli. Design and application of deep belief network with adaptive learning rate[J]. Acta Automatica Sinica, 2017, 43(8): 1339－1349. (in Chinese with English abstract)

[25] Zhao Z, Jiao L, Zhao J, et al. Discriminant deep belief network for high-resolution SAR image classification[J]. Pattern Recognition, 2017, 61: 686－701.

[26] 胡小平，梁承華，楊之為，等. 植物病蟲害BP神經(jīng)網(wǎng)絡(luò)預(yù)測系統(tǒng)的研制與應(yīng)用[J]. 西北農(nóng)林科技大學(xué)學(xué)報(自然科學(xué)版)，2001，29(2)：73－76.Hu Xiaoping, Liang Chenghua, Yang Zhiwei, et al. Development and application of the BP neural network prediction system on plant diseases and pests[J]. Journal of Northwest Science-Technology University of Agriculture and Forest (Nat. Sci. Ed.), 2001, 29(2): 73－76. (in Chinese with English abstract)

[27] 陳兵，李少昆，王克如，等. 棉花黃萎病病葉光譜特征與病情嚴重度的估測[J]. 中國農(nóng)業(yè)科學(xué)，2007，40(12)： 2709－2715. Chen Bing, Li Shaokun, Wang Keru, et al. Spectrum characteristics of cotton single leaf infected by verticillium wilt and estimation on severity level of disease[J]. Scientia Agricultura Sinica, 2007, 40(12): 2709－2715. (in Chinese with English abstract)

[28] 姜培剛. 氣候變化對昌邑市農(nóng)作物病蟲害發(fā)生程度的影響[D]. 泰安：山東農(nóng)業(yè)大學(xué)，2015. Jiang Peigang. Influence of Climate Change on the Occurrence of Crop Diseases and Insect Pests in Changyi[D].Tai’an: Shandong Agricultural University, 2015. (in Chinese with English abstract)

[29] Larochelle H, Mandel M, Pascanu R, et al. Learning algorithms for the classification restricted Boltzmann machine[J]. Journal of Machine Learning Research, 2012, 13(1): 643－669.

[30] 周兆永，何東健，張海輝，等. 基于深度信念網(wǎng)絡(luò)的蘋果霉心病病害程度無損檢測[J]. 食品科學(xué)，2017，38(14)：297－303. Zhou Zhaoyong, He Dongjian, Zhang Haihui, et al. Non- destructive detection of moldy core in apple fruit based on deep belief network[J]. Food Science, 2017, 38(14): 297－303. (in Chinese with English abstract)

[31] 楊志民，梁靜，劉廣利. 強模糊支持向量機在稻瘟病氣象預(yù)警中的應(yīng)用[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報，2010，15(3)： 122－128. Yang Zhimin, Liang Jing, Liu Guangli. Application of strong fuzzy support vector machine on weather early warning of rice blast[J]. Journal of China Agricultural University, 2010, 15(3): 122－128. (in Chinese with English abstract)

[32] 符保龍. RBF網(wǎng)絡(luò)在農(nóng)業(yè)病蟲害預(yù)測中的應(yīng)用研究[J]. 安徽農(nóng)業(yè)科學(xué)，2008，36(1)：388－389. Fu Baolong. Application research of RBF network in forecasting agricultural disease and insect pest[J]. Journal of Anhui Agricultural Sciences, 2008, 36(1): 388 －389. (in Chinese with English abstract)

Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network

Wang Xianfeng1, Zhang Chuanlei2※, Zhang Shanwen1, Zhu Yihai3

(1.710123,; 2.300457,; 3.98103,)

Cotton diseases and pests seriously affect cotton quantity. Timely and accurate prediction of diseases and pests is very important for crop growers to effectively prevent and monitor cotton diseases and pests. Cotton diseases and pests can be forecast by environmental and weather information. Through various sensors in the internet of things, it is easy to acquire a lot of environmental and weather information, and many cotton existing prediction methods, techniques and systems have been proposed. However, the occurrence and development of cotton diseases and pests involve various factors, among which there are complex interactions and mutual influences. The traditional prediction model of cotton diseases and insect pests has limited expression ability and generalization ability, and the accuracy of prediction is not high. Many existing prediction models cannot meet the actual needs of pest and disease prediction system. Therefore, the prediction of cotton diseases and pests is still a challenging problem in computer vision. In recent years, deep learning networks have won numerous contests in pattern recognition and machine learning. Deep belief network (DBN) is one of the most widely used deep learning models and has been successfully applied in many fields. DBN is a superposition model composed of several restricted Boltzmann machines (RBM). However, in DBN, there are a lot of problems, such as time-consuming to pre-train, easy to get into the local optimal solution, unsupervised training and poor generalization. An adoptive discriminant deep belief network (ADDBN) is proposed to solve the time-consuming problem in the pre-training process of DBN, and then a forecasting model of cotton diseases and pests is proposed based on environmental information and ADDBN. ADDBN is constructed by three RBMs (restricted Boltzmann machine) and a discriminant RBM (DRBM). In DRBM, the label information is introduced to training process of RBM, and the discriminant information is added into learning process through constraint on the similarity of feature vectors to improve the forecasting rate. In ADDBN, an adaptive learning rate is introduced into the contrastive divergence algorithm to accelerate the model convergence. Comparing with DBN, the proposed model has two advantages, (1) adaptive learning rate is introduced into the contrast algorithm to automatically adjust learning step, which can solve the problem to choose the learning rate in the training traditional DBN model; (2) the class information of samples is introduced into DRBM in the learning process. Then the model can be targeted trained, which can weaken the characteristic homogeneous in unsupervised training the traditional RBM and improve the forecasting accuracy of the model. Finally, a series of experiments were carried out on a dataset of cotton diseases and pests to test the performance of ADDBN. The results showed that the convergence rate is accelerated significantly and the forecasting accuracy is improved as well. The experiment results on the environmental information database of "three worms and two diseases" of cotton in recent 6 years showed that the proposed prediction model has better prediction effect than the traditional prediction model such as BPNN, SFSVM and RBFNN, the prediction performance is improved by 19.248%, 24.916% and 27.774% respectively. It is an effective method to predict crop pests and diseases with faster convergence rate, good generalization ability and higher prediction effect.

diseases; forecasting; models; cotton; deep belief network (DBN); adoptive discriminant

10.11975/j.issn.1002-6819.2018.14.020

TP391

A

1002-6819(2018)-14-0157-08

2018-02-03

2018-04-09

國家自然科學(xué)基金項目(61473237)

王獻鋒，男，西安人，副教授。研究方向為機器學(xué)習及其在植物病蟲害識別與預(yù)測中的應(yīng)用。Email：wangxianfeng@xijing.edu.cn

張傳雷，男，山東沂源人，副教授。研究方向為深度學(xué)習及其應(yīng)用。Email：al7647@Gmail.com

王獻鋒，張傳雷，張善文，朱義海.基于自適應(yīng)判別深度置信網(wǎng)絡(luò)的棉花病蟲害預(yù)測[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(14)：157－164. doi：10.11975/j.issn.1002-6819.2018.14.020 http://www.tcsae.org

Wang Xianfeng, Zhang Chuanlei, Zhang Shanwen, Zhu Yihai. Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 157－164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.020 http://www.tcsae.org