基于改進(jìn)深度置信網(wǎng)絡(luò)的大棚冬棗病蟲(chóng)害預(yù)測(cè)模型

張善文，張傳雷，丁 軍

?

基于改進(jìn)深度置信網(wǎng)絡(luò)的大棚冬棗病蟲(chóng)害預(yù)測(cè)模型

張善文，張傳雷※，丁 軍

（西京學(xué)院信息工程學(xué)院，西安 710123）

導(dǎo)致冬棗病蟲(chóng)害發(fā)生的原因很多而且很復(fù)雜，利用傳統(tǒng)的數(shù)學(xué)方法和神經(jīng)網(wǎng)絡(luò)（neural network, NN）很難建立正確的病蟲(chóng)害預(yù)測(cè)模型。由于典型的深度置信網(wǎng)絡(luò)（deep belief network, DBN）的各層之間缺乏有監(jiān)督訓(xùn)練，使得網(wǎng)絡(luò)誤差逐層向上傳遞，降低了預(yù)測(cè)模型的預(yù)測(cè)率。針對(duì)這些問(wèn)題，引入冬棗病蟲(chóng)害的先驗(yàn)信息，提出一種基于環(huán)境信息和改進(jìn)DBN的冬棗病蟲(chóng)害預(yù)測(cè)模型。在該模型中，通過(guò)無(wú)監(jiān)督訓(xùn)練和有監(jiān)督微調(diào)從冬棗生長(zhǎng)的環(huán)境信息序列中獲取可表征冬棗病蟲(chóng)害發(fā)生的深層特征的隱層參數(shù)，并形成新的特征集，然后在預(yù)測(cè)模型的頂層通過(guò)一個(gè)后向傳播神經(jīng)網(wǎng)絡(luò)（back propagation neural network, BPNN）進(jìn)行病蟲(chóng)害預(yù)測(cè)。從2014—2017年的4 a時(shí)間內(nèi)，利用農(nóng)業(yè)物聯(lián)網(wǎng)傳感器采集30個(gè)大棚冬棗常見(jiàn)的2種蟲(chóng)害和3種病害發(fā)生的環(huán)境信息序列6 000多條，由此驗(yàn)證所提出的預(yù)測(cè)模型，平均預(yù)測(cè)正確率高達(dá)84.05%。與基于強(qiáng)模糊支持向量機(jī)、改進(jìn)型NN和BPNN的3種病蟲(chóng)害預(yù)測(cè)模型進(jìn)行了試驗(yàn)比較，預(yù)測(cè)正確率提高了20多個(gè)百分點(diǎn)。試驗(yàn)結(jié)果表明，該模型極大提高了大棚冬棗病蟲(chóng)害的預(yù)測(cè)正確率。該研究可為大棚冬棗病蟲(chóng)害預(yù)測(cè)提供技術(shù)參考。

病害；預(yù)測(cè)；模型；冬棗生長(zhǎng)環(huán)境信息；蟲(chóng)害；深度置信網(wǎng)絡(luò)；改進(jìn)深度置信網(wǎng)絡(luò)

0 引 言

近年來(lái)，陜西省大荔縣大棚冬棗病蟲(chóng)害發(fā)生頻繁，常見(jiàn)危害較大的病蟲(chóng)害有20多種。對(duì)近5 a來(lái)（2012－2016）大荔大棚冬棗病蟲(chóng)害發(fā)生趨勢(shì)的調(diào)查研究表明，冬棗病蟲(chóng)害發(fā)生、發(fā)展和流行與其生長(zhǎng)的大棚內(nèi)外環(huán)境信息緊密相關(guān)[1]。研究冬棗病蟲(chóng)害發(fā)生規(guī)律和了解與其有關(guān)的氣候、氣象、地域、土壤等自然環(huán)境信息，對(duì)冬棗病蟲(chóng)害預(yù)防具有一定的參考價(jià)值[2]。近年來(lái)，模式識(shí)別、專家系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)（neural network, NN）被廣泛應(yīng)用于作物病蟲(chóng)害預(yù)測(cè)預(yù)報(bào)中，并取得了成功[3-6]。姚衛(wèi)平[7]在逐步回歸分析的基礎(chǔ)上建立了一個(gè)貴池區(qū)小麥赤霉病發(fā)生級(jí)別中期預(yù)測(cè)模型，預(yù)測(cè)正確率高達(dá)88%以上。李麗等[8]利用日照時(shí)數(shù)、最低氣溫、平均氣溫、降雨量等信息，構(gòu)建了基于徑向基NN的蘋(píng)果病蟲(chóng)害發(fā)生等級(jí)預(yù)測(cè)模型，該模型能夠預(yù)測(cè)蘋(píng)果20余種常見(jiàn)病蟲(chóng)害。楊志民等[9]利用寧波市1995—2007年的稻瘟病氣象數(shù)據(jù)，構(gòu)建了基于強(qiáng)模糊支持向量機(jī)（support vector machines, SVM）的稻瘟病氣象預(yù)警模型。楊志民等[9]利用雨日數(shù)、降雨量、平均濕度、平均溫度、光照指標(biāo)等環(huán)境信息，建立了一種基于NN的作物病害預(yù)警系統(tǒng)。宋啟堃等[10]根據(jù)1982—2010年的黔南州統(tǒng)計(jì)的作物病情、蟲(chóng)情數(shù)據(jù)和氣象數(shù)據(jù)，開(kāi)發(fā)了一套黔南州主要作物病蟲(chóng)害監(jiān)測(cè)預(yù)警專家系統(tǒng)。Sannakki等[11]利用改進(jìn)的最近鄰方法和前饋神經(jīng)網(wǎng)絡(luò)以及氣候、濕度和溫度等環(huán)境信息預(yù)測(cè)葡萄病害發(fā)生，為果農(nóng)提供了病害信息。Shi[12]以小麥紋枯病為預(yù)測(cè)對(duì)象，提出了一種基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（radical basis function neural network, RBFNN）的植物病害預(yù)測(cè)模型，仿真試驗(yàn)表明該模型對(duì)植物病害中短期預(yù)測(cè)是有效可行的。辜麗川等[13]提出了一種基于支持向量回歸和動(dòng)態(tài)特征選擇的作物病害預(yù)測(cè)方法，并應(yīng)用于酥梨黑星病預(yù)測(cè)。近年來(lái)，物聯(lián)網(wǎng)技術(shù)的發(fā)展為作物病蟲(chóng)害預(yù)測(cè)研究帶來(lái)了機(jī)遇[14-15]。陳光絨等[16]設(shè)計(jì)了一種基于物聯(lián)網(wǎng)的作物病蟲(chóng)害自動(dòng)預(yù)測(cè)系統(tǒng)。已有的作物病蟲(chóng)害預(yù)測(cè)系統(tǒng)和模型為病蟲(chóng)害防治提供了科學(xué)依據(jù)[17-18]。但由于農(nóng)作物的生產(chǎn)環(huán)境是一個(gè)開(kāi)放、復(fù)雜的生態(tài)系統(tǒng)，而且病蟲(chóng)害的發(fā)生和發(fā)展與溫度、濕度、光照等很多環(huán)境信息緊密相關(guān)，而且這些環(huán)境信息是動(dòng)態(tài)不斷變化的。因此，在作物病蟲(chóng)害預(yù)測(cè)中需要結(jié)合病蟲(chóng)害發(fā)生的特點(diǎn)，研究動(dòng)態(tài)、開(kāi)放、實(shí)用性高的作物病蟲(chóng)害預(yù)測(cè)模型。

目前深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中較為熱門的研究領(lǐng)域[19-21]。與很多機(jī)器學(xué)習(xí)方法相比[22-24]，深度學(xué)習(xí)能夠從復(fù)雜圖像和大量無(wú)標(biāo)簽復(fù)雜數(shù)據(jù)中自動(dòng)學(xué)習(xí)有效的分類特征，具有較強(qiáng)的數(shù)據(jù)分類識(shí)別和數(shù)據(jù)預(yù)測(cè)能力，并且在很多復(fù)雜的、具有內(nèi)在表現(xiàn)特征學(xué)習(xí)方面取得了成功應(yīng)用[25-26]。特別在植物物種識(shí)別[27-28]和植物病害檢測(cè)[29]中取得了較高的識(shí)別率。深度置信網(wǎng)絡(luò)（deep belief network, DBN）是一種應(yīng)用廣泛的深度學(xué)習(xí)模型[30-31]，已經(jīng)被成功應(yīng)用于身份識(shí)別[32]、交通擁堵預(yù)測(cè)[33]、用戶投訴預(yù)測(cè)[34]、在線視頻熱度預(yù)測(cè)[35]等很多實(shí)際問(wèn)題。雖然DBN可以通過(guò)有監(jiān)督學(xué)習(xí)方法對(duì)模型中的權(quán)值進(jìn)行微調(diào)，但DBN本質(zhì)上屬于無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，因?yàn)镈BN沒(méi)有利用樣本類別的先驗(yàn)信息，學(xué)習(xí)到的特征與具體的預(yù)測(cè)任務(wù)無(wú)關(guān)，所以得到的預(yù)測(cè)率不高。Larochelle等[36]將類別標(biāo)號(hào)信息引入到限制波爾茲曼機(jī)（restricted boltzmann machines, RBM）中，增加DBN的監(jiān)督性能。丁軍等[37]在學(xué)習(xí)過(guò)程中通過(guò)約束特征向量之間的相似性增加網(wǎng)絡(luò)的監(jiān)督性。由于作物病蟲(chóng)害預(yù)測(cè)的復(fù)雜性，目前還鮮有利用深度學(xué)習(xí)和與作物病蟲(chóng)害發(fā)生相關(guān)的環(huán)境信息預(yù)測(cè)病蟲(chóng)害的綜合應(yīng)用實(shí)例報(bào)道。針對(duì)大棚冬棗病蟲(chóng)害預(yù)測(cè)問(wèn)題，本文提出了一種基于改進(jìn)深度置信網(wǎng)絡(luò)的大棚冬棗病蟲(chóng)害預(yù)測(cè)模型。該模型充分利用了作物病蟲(chóng)害的先驗(yàn)信息，能夠從復(fù)雜的冬棗生長(zhǎng)環(huán)境信息中預(yù)測(cè)病蟲(chóng)害發(fā)生，以期為有效防治病蟲(chóng)害提供技術(shù)指導(dǎo)。

1 材料與方法

1.1 作物病蟲(chóng)害環(huán)境信息獲取

在陜西省大荔縣20多萬(wàn)hm2的冬棗種植基地建立了大棚農(nóng)業(yè)物聯(lián)網(wǎng)工作站，利用各種傳感器和視頻設(shè)備從30個(gè)大棚中采集與冬棗的常見(jiàn)病蟲(chóng)害發(fā)生相關(guān)的環(huán)境信息，建立一個(gè)病蟲(chóng)害信息數(shù)據(jù)庫(kù)。采集到的大棚冬棗生長(zhǎng)的環(huán)境信息主要包括：土壤信息（地域、土壤溫度、相對(duì)濕度、土壤水分、土壤鹽分、土壤是否連種、土壤pH值以及微生物含量等）、氣象信息（季節(jié)、是否雨季、空氣溫度、空氣濕度、光照強(qiáng)度、光合有效輻射、降雨量、下雨天、氣壓、風(fēng)速、風(fēng)向、二氧化碳濃度等）和病蟲(chóng)害信息（農(nóng)藥使用量、病蟲(chóng)害類型、病蟲(chóng)害等級(jí)）。針對(duì)冬棗常見(jiàn)的2種蟲(chóng)害（食芽象甲和紅蜘蛛）和3種病害（棗銹病、棗炭疽病、黑點(diǎn)?。?，從2014—2017年期間的2—6月，在病蟲(chóng)害發(fā)生前和發(fā)生初期，每天從 7:00—17:00間隔1小時(shí)采集1次共采集10次環(huán)境信息數(shù)據(jù)，將采集到的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和歸一化預(yù)處理[9,1-14]，再按照時(shí)間順序堆疊為冬棗生長(zhǎng)的環(huán)境信息序列共6000條，用于病蟲(chóng)害預(yù)測(cè)研究。

1.2 深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)DBN由多層無(wú)監(jiān)督的限制性玻爾茲曼機(jī)（restricted boltzmann machine, RBM）和1個(gè)反向傳播神經(jīng)網(wǎng)絡(luò)（back propagation neural network, BPNN）組成[31-35]，其基本結(jié)構(gòu)如圖1所示。

在圖1中，每個(gè)RBM包含可視層、隱含層和輸出層。DBN模型的基本過(guò)程描述為：首先將預(yù)處理后的原始數(shù)據(jù)輸入第一個(gè)RBM開(kāi)始進(jìn)行無(wú)監(jiān)督訓(xùn)練，確定其權(quán)重及偏置，底層RBM的輸出作為下一層RBM的輸入，訓(xùn)練下一個(gè)RBM，依次重復(fù)訓(xùn)練所有的RBM，反復(fù)訓(xùn)練多次，實(shí)現(xiàn)模型參數(shù)的初始化；再通過(guò)前向傳播在最頂層加上標(biāo)簽層，進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，確定模型參數(shù)后，使用反向傳播將誤差自頂向下傳播至每層RBM，由自下而上反饋學(xué)習(xí)方法調(diào)整所有RBM的模型參數(shù)，使DBN能夠?qū)W習(xí)復(fù)雜數(shù)據(jù)內(nèi)在的規(guī)律；最后，利用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)預(yù)測(cè)。

圖1 深度置信網(wǎng)絡(luò)基本結(jié)構(gòu)

訓(xùn)練DBN包括無(wú)監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)2個(gè)過(guò)程。在訓(xùn)練過(guò)程中，以重構(gòu)誤差函數(shù)作為目標(biāo)函數(shù)，對(duì)RBM逐層進(jìn)行訓(xùn)練；在微調(diào)過(guò)程中，利用帶標(biāo)簽的訓(xùn)練樣本訓(xùn)練分類器，將已經(jīng)調(diào)整好的參數(shù)作為微調(diào)的初始值，利用隨機(jī)梯度下降法通過(guò)最大化對(duì)數(shù)似然函數(shù)的方式學(xué)習(xí)得到模型中的參數(shù)，由此提取樣本較精細(xì)的特征。

1.3. 改進(jìn)深度置信網(wǎng)絡(luò)

在圖1中，上一層RBM經(jīng)過(guò)學(xué)習(xí)得到的特征輸出作為下一層的輸入，使每層能更好地抽象出上一層的特征，逐層提取深度特征，并且各層獨(dú)立地對(duì)參數(shù)進(jìn)行學(xué)習(xí)。第一層RBM以原始輸入數(shù)據(jù)0訓(xùn)練，將其映射到特征空間0，重構(gòu)后的特征1盡可能多地保留原數(shù)據(jù)特征信息，且保留權(quán)值；再將1輸入第二層RBM進(jìn)行訓(xùn)練，得到第二層重構(gòu)后的特征空間1，RBM的每一層輸出都是特征的重新選擇。在自下向上的過(guò)程中，從原始數(shù)據(jù)中逐漸提取到更抽象的特征，并在最后一層RBM后設(shè)置一個(gè)BP網(wǎng)絡(luò)分類器，接收最后一層RBM得到的輸出特征變量，有監(jiān)督地訓(xùn)練網(wǎng)絡(luò)權(quán)值參數(shù)。頂層的BP網(wǎng)絡(luò)由輸入層、隱含層和輸出層組成，用于冬棗病蟲(chóng)害預(yù)測(cè)。

注：表示網(wǎng)絡(luò)權(quán)值，表示待引入的先驗(yàn)信息，RBM1、RBM2和RBM3為三層限制波爾茲曼機(jī)。

待預(yù)測(cè)病蟲(chóng)害的環(huán)境信息向量與數(shù)據(jù)庫(kù)中往年同一天（或同一時(shí)期）病蟲(chóng)害發(fā)生的環(huán)境信息之間的相似度定義為余弦距離。由多種病蟲(chóng)害和多條數(shù)據(jù)庫(kù)中的環(huán)境信息之間的余弦距離構(gòu)建相似度矩陣，再對(duì)該矩陣進(jìn)行奇異值分解，構(gòu)造與式（1）類似的能量函數(shù)

加入判別信息后的RBM可以看作由兩部分混合而成，一部分由輸入數(shù)據(jù)生成，另一部分由引入的判決信息生成。兩部分通過(guò)共享隱變量和權(quán)值綁定操作進(jìn)行融合[36-37]。

模型初步訓(xùn)練完后，利用BP算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，使損失函數(shù)最小化。其損失函數(shù)表示為

在BP網(wǎng)絡(luò)中，隱含層的神經(jīng)元的輸出

輸出神經(jīng)元的輸出為，

2 冬棗病蟲(chóng)害預(yù)測(cè)

2.1. 冬棗病蟲(chóng)害預(yù)測(cè)模型

在冬棗病蟲(chóng)害預(yù)測(cè)問(wèn)題中，需要提供帶標(biāo)簽的學(xué)習(xí)樣本數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練。待分類器通過(guò)學(xué)習(xí)具有分類能力后才能利用新輸入的病蟲(chóng)害信息數(shù)據(jù)預(yù)測(cè)病蟲(chóng)害發(fā)生的概率。圖3為基于MDBN的冬棗病蟲(chóng)害識(shí)別模型的流程圖。

圖3 基于改進(jìn)深度置信網(wǎng)絡(luò)的大棚冬棗病蟲(chóng)害預(yù)測(cè)模型

主要過(guò)程描述如下：

1）數(shù)據(jù)采集和預(yù)處理采集與冬棗病蟲(chóng)害發(fā)生相關(guān)的環(huán)境信息，包括氣象信息（氣溫、日照、濕度等）、土壤信息（田地連種和施肥情況、含水量、土壤重金屬等）和生物學(xué)信息（根系吸水能力、葉面等）、農(nóng)業(yè)基礎(chǔ)措施信息等組成原始數(shù)據(jù)集；

2）根據(jù)病蟲(chóng)害發(fā)生規(guī)律結(jié)合當(dāng)?shù)貧v史數(shù)據(jù)資料，進(jìn)行綜合分析，建立與冬棗病蟲(chóng)害發(fā)生相關(guān)的環(huán)境信息數(shù)據(jù)庫(kù)，然后對(duì)采集到的數(shù)據(jù)進(jìn)行歸一化預(yù)處理，再劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；

3）構(gòu)建MDBN 采用試驗(yàn)方法對(duì)DBN模型進(jìn)行最優(yōu)化設(shè)置，包括輸入層結(jié)點(diǎn)的個(gè)數(shù)、隱含層結(jié)點(diǎn)的個(gè)數(shù)和RBM隱含層的層數(shù)等；

4）構(gòu)造MDBN的冬棗病蟲(chóng)害預(yù)測(cè)模型利用訓(xùn)練數(shù)據(jù)訓(xùn)練DBN模型。為了加速訓(xùn)練過(guò)程，計(jì)算實(shí)際輸出和目標(biāo)輸出的誤差，利用與模型權(quán)重相關(guān)的函數(shù)表示該誤差；再利用共軛梯度算法調(diào)整權(quán)重矩陣；得到誤差函數(shù)達(dá)到最小的網(wǎng)絡(luò)權(quán)重矩陣；

5）測(cè)試階段將測(cè)試數(shù)據(jù)輸入到改進(jìn)的DBN預(yù)測(cè)模型中，計(jì)算冬棗病蟲(chóng)害的預(yù)測(cè)結(jié)果；

2.2 模型分析評(píng)價(jià)指數(shù)

由于本文所采用的數(shù)據(jù)庫(kù)中的樣本都是針對(duì)2種蟲(chóng)害和3種病害發(fā)生和發(fā)生期間的環(huán)境信息序列，預(yù)測(cè)某種病蟲(chóng)害發(fā)生的預(yù)測(cè)結(jié)果只有2種：病蟲(chóng)害發(fā)生和病蟲(chóng)害不發(fā)生，所以冬棗病蟲(chóng)害預(yù)測(cè)的正確性指，預(yù)測(cè)到病蟲(chóng)害發(fā)生，而且病蟲(chóng)害的確發(fā)生了。則預(yù)測(cè)正確率表示為

采用均方根誤差（root mean square error, RMSE）評(píng)價(jià)模型性能與標(biāo)準(zhǔn)值之間的誤差以及一致性，計(jì)算公式如下

因?yàn)殄e(cuò)誤預(yù)測(cè)的樣本數(shù)等于總樣本數(shù)減正確預(yù)測(cè)的樣本數(shù)，故用預(yù)測(cè)率與RMSE評(píng)價(jià)指標(biāo)所反映的情況一致，且計(jì)算預(yù)測(cè)率的過(guò)程中去除了總樣本數(shù)的影響，可以方便使用不同的方法進(jìn)行評(píng)估和比較。

3 試 驗(yàn)

3.1試驗(yàn)方法

2014—2017年對(duì)大棚冬棗2種蟲(chóng)害和3種病害進(jìn)行病蟲(chóng)害預(yù)測(cè)試驗(yàn)，并與現(xiàn)有的3種作物病蟲(chóng)害預(yù)測(cè)方法進(jìn)行試驗(yàn)比較：基于強(qiáng)模糊支持向量機(jī)（SFSVM）的[4]、基于改進(jìn)型神經(jīng)網(wǎng)的（INN）[5]和基于BP神經(jīng)網(wǎng)絡(luò)的（back propagation neural network, BPNN）[16]。采用深度學(xué)習(xí)工具箱中的DBN結(jié)構(gòu)（https://github.com/rasmusbergpalm/ DeepLearn Toolbox）構(gòu)建MDBN。試驗(yàn)硬件環(huán)境為：內(nèi)存32 G，CPU Intel(R) Core(TM) i7—4790 8*3.60 GHZ，GPU GeForce GTX Titan X。

將RBM層數(shù)設(shè)置為2、3和4，隱含層的結(jié)點(diǎn)個(gè)數(shù)設(shè)置為4、8、12、16和20。訓(xùn)練每個(gè)RBM時(shí)參數(shù)設(shè)置：學(xué)習(xí)率為1，分組訓(xùn)練為32，反向傳播微調(diào)時(shí)學(xué)習(xí)率為1，動(dòng)量為0.5。在試驗(yàn)中，尋找預(yù)測(cè)率最高時(shí)對(duì)應(yīng)的輸入層結(jié)點(diǎn)數(shù)和隱含層結(jié)點(diǎn)數(shù)；然后增加新的隱含層，判斷新的隱含層中結(jié)點(diǎn)數(shù)的變化對(duì)預(yù)測(cè)效果的影響，從而確定最佳結(jié)點(diǎn)數(shù)，同時(shí)也確定了隱含層的層數(shù)。經(jīng)過(guò)多次試驗(yàn)得出預(yù)測(cè)率較好的DBN網(wǎng)絡(luò)隱含層神經(jīng)元設(shè)為200，微調(diào)循環(huán)次數(shù)為50。采用十折交叉驗(yàn)證法進(jìn)行10次試驗(yàn)，即將數(shù)據(jù)集劃分為10份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)，剩余的1份作為測(cè)試數(shù)據(jù)。訓(xùn)練集用于進(jìn)行網(wǎng)絡(luò)模型的構(gòu)建、參數(shù)調(diào)整和訓(xùn)練；測(cè)試集用于進(jìn)行網(wǎng)絡(luò)模型預(yù)測(cè)率的測(cè)試。反復(fù)訓(xùn)練得到的最佳參數(shù)為：DBN模型的層數(shù)為3，每層節(jié)點(diǎn)數(shù)為20（20維環(huán)境信息向量），最后一層的神經(jīng)元數(shù)為5（5種病蟲(chóng)害），迭代次數(shù)為50，學(xué)習(xí)速率為0.001，在微調(diào)階段的學(xué)習(xí)速率改為0.1。

3.2試驗(yàn)結(jié)果

本文采用正確預(yù)測(cè)率表示各個(gè)預(yù)測(cè)方法的預(yù)測(cè)結(jié)果。表1中給出了本文方法和其他3種方法的預(yù)測(cè)結(jié)果。從表1可以看出，基于改進(jìn)DBN的冬棗病蟲(chóng)害預(yù)測(cè)模型的預(yù)測(cè)精度比其他的預(yù)測(cè)模型有了很大的提升，其主要原因是訓(xùn)練數(shù)據(jù)集包含了更多與病蟲(chóng)害發(fā)生相關(guān)的生長(zhǎng)環(huán)境信息數(shù)據(jù)，因此預(yù)測(cè)模型在處理測(cè)試集數(shù)據(jù)時(shí)的正確率較高。

表1 基于不同方法的5種大棚冬棗病蟲(chóng)害的預(yù)測(cè)正確率和方差

由表1可知，3個(gè)傳統(tǒng)方法（SFSVM、INN和BPNN）對(duì)5種大棚冬棗病蟲(chóng)害的最高正確預(yù)測(cè)率分別為61.24%、61.54%和65.13%，平均預(yù)測(cè)正確率分別為55.92%、54.85%和63.12%，而本文模型對(duì)5種病蟲(chóng)害的最低正確預(yù)測(cè)率為81.64%，平均預(yù)測(cè)正確率為84.05%，比3種傳統(tǒng)方法的平均預(yù)測(cè)正確率分別高28.13、29.2和20.93個(gè)百分點(diǎn)（均提高了20多個(gè)百分點(diǎn)）?？梢钥闯觯疚奶岢龅念A(yù)測(cè)模型明顯優(yōu)于其他方法。主要原因是基于改進(jìn)DBN的病蟲(chóng)害預(yù)報(bào)模型從冬棗生長(zhǎng)的環(huán)境信息中自動(dòng)學(xué)習(xí)到的特征能夠很好地表達(dá)病蟲(chóng)害發(fā)生與冬棗生長(zhǎng)的自然環(huán)境信息因素之間的本質(zhì)聯(lián)系，由此得到較高的預(yù)報(bào)正確度，同時(shí)也充分表明改進(jìn)DBN模型在基于農(nóng)業(yè)物聯(lián)網(wǎng)的大數(shù)據(jù)挖掘中能夠表現(xiàn)良好的特征學(xué)習(xí)性能。在構(gòu)建冬棗病蟲(chóng)害預(yù)測(cè)模型中，若隱含層的結(jié)點(diǎn)數(shù)過(guò)少，則可能出現(xiàn)模型失效；若隱含層的結(jié)點(diǎn)過(guò)多，雖然能夠表現(xiàn)出更加強(qiáng)大的預(yù)測(cè)能力，但可能出現(xiàn)過(guò)擬合現(xiàn)象。所以，在模型性能優(yōu)化過(guò)程中，根據(jù)不同的數(shù)據(jù)集、不同的應(yīng)用領(lǐng)域構(gòu)建出不同隱含層數(shù)的DBN模型，采用試驗(yàn)方法通過(guò)改變隱含層數(shù)和各個(gè)隱含層的結(jié)點(diǎn)數(shù)優(yōu)化模型，確定DBN模型的最優(yōu)結(jié)構(gòu)。訓(xùn)練過(guò)程中，若同時(shí)進(jìn)行整個(gè)網(wǎng)絡(luò)所有層的訓(xùn)練，可能導(dǎo)致時(shí)間復(fù)雜度過(guò)高，所以采用貪婪逐層學(xué)習(xí)算法進(jìn)行訓(xùn)練，即將完整的改進(jìn)DBN模型進(jìn)行分層學(xué)習(xí)，每一層進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，所有模型的網(wǎng)絡(luò)層學(xué)習(xí)完后，再對(duì)整個(gè)改進(jìn)DBN模型進(jìn)行有監(jiān)督學(xué)習(xí)微調(diào)。

4 結(jié) 論

盡管深度置信網(wǎng)絡(luò)的訓(xùn)練速度較快，但是由于在各層之間缺乏有監(jiān)督訓(xùn)練，使得網(wǎng)絡(luò)誤差逐層向上傳遞，影響了網(wǎng)絡(luò)的預(yù)測(cè)效果。針對(duì)冬棗病蟲(chóng)害預(yù)測(cè)問(wèn)題，提出了一種改進(jìn)深度置信網(wǎng)絡(luò)模型。與現(xiàn)有的深度置信網(wǎng)絡(luò)的不同之處在于，該模型引入了冬棗病蟲(chóng)害的環(huán)境先驗(yàn)信息，通過(guò)先驗(yàn)信息和當(dāng)前信息之間的約束特征向量的相似性，增加預(yù)測(cè)模型的監(jiān)督性和預(yù)測(cè)能力。利用該模型能夠自動(dòng)從復(fù)雜的環(huán)境信息序列中學(xué)習(xí)到高層的非線性特征，對(duì)5種病蟲(chóng)害的最低正確預(yù)測(cè)率為81.64%，平均預(yù)測(cè)正確率為84.05%，比3種傳統(tǒng)方法的平均預(yù)測(cè)正確率分別高28.13、29.2和20.93個(gè)百分點(diǎn)。試驗(yàn)結(jié)果表明本文提出的病蟲(chóng)害預(yù)測(cè)模型的有效性，也從側(cè)面表明了深度學(xué)習(xí)在農(nóng)業(yè)大數(shù)據(jù)分析領(lǐng)域的可行性。下一步研究重點(diǎn)為將DBN模型每層的各個(gè)神經(jīng)元數(shù)設(shè)置為不同值，利用與病蟲(chóng)害發(fā)生相關(guān)的信息對(duì)病蟲(chóng)害模型進(jìn)行多分類預(yù)測(cè)。

[1] 劉昭武，田世芹，孫衛(wèi)衛(wèi). 沾化冬棗常見(jiàn)的氣象災(zāi)害及其防御措施[J]. 北方果樹(shù)，2015(6)：25－27. Liu Zhaowu, Tian Shiqin, Sun Weiwei. Common meteorological disasters and their defensive measures in winter jujube of Zhanhua[J]. North Fruit Tree, 2015(6): 25－27. (in Chinese with English abstract)

[2] 李新良，秦玉玲. 棗樹(shù)主要病蟲(chóng)害的防治措施[J]. 現(xiàn)代園藝，2016(13)：147－148.Li Xinliang, Qin Yuling. Control measures of main diseases and insect pests of jujube trees[J]. Modern Horticulture, 2016(13): 147－148. (in Chinese with English abstract)

[3] Anuradha, Kuldeep Kaswan, Sugandha Singh. Two stage classification model for crop disease prediction[J]. International Journal of Computer Science and Mobile Computing, 2015, 4(6): 254－259.

[4] 袁昌洪，劉文軍，王世華，等. 小麥赤霉病流行程度的農(nóng)業(yè)氣象動(dòng)態(tài)預(yù)測(cè)模型[J]. 安徽農(nóng)業(yè)科學(xué)，2009，37(1)： 204－206. Yuan Changhong, Liu Wenjun, Wang Shihua, et al. Agrometeorological dynamic forecasting models for epidemic degree of fusariumgr a minearum[J]. Journal of Anhui Agri Sci, 2009, 37(1): 204－206. (in Chinese with English abstract)

[5] 徐云，陳愛(ài)玉，洪冠中，等. 南通地區(qū)小麥赤霉病發(fā)生潛勢(shì)氣象預(yù)報(bào)模型的建立及檢驗(yàn)[J]. 江蘇農(nóng)業(yè)科學(xué)，2013，41(8)：144－145. Xu Yun, Chen Aiyu, Hong Guanzhong, et al. Establishment and test of a potential weather forecast model for wheat scab in Nantong region[J]. Jiangsu Agricultural Sciences, 2013, 41(8): 144－145. (in Chinese with English abstract)

[6] 呂昭智，沈佐銳，程登發(fā)，等. 現(xiàn)代信息技術(shù)在害蟲(chóng)種群密度監(jiān)測(cè)中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2005，21(12)： 112－115.Lü Zhaozhi, Shen Zuorui, Cheng Dengfa, et al. Application of information technologies in monitoring the population density of pests[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2005, 21(12): 112—115. (in Chinese with English abstract)

[7] 姚衛(wèi)平. 貴池區(qū)小麥赤霉病發(fā)病程度中期預(yù)測(cè)模型[J]. 基層農(nóng)技推廣，2016，4(3)：20－24.Yao Weiping. Mid-season prediction model of wheat scab degree in Guichi area[J]. Primary Agricultural Technology Extension, 2016, 4(3): 20－24. (in Chinese with English abstract)

[8] 李麗，李道亮，周志堅(jiān)，等. 徑向基函數(shù)網(wǎng)絡(luò)與WebGIS融合的蘋(píng)果病蟲(chóng)害預(yù)測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008，39(3)：116－119. Li Li, Li Daoliang, Zhou Zhijian, et al. Forecast of disease and pest in apple orchards based on fusion of radial basis function neural network and WebGIS[J]. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(3): 116－119. (in Chinese with English abstract)

[9] 楊志民，梁靜，劉廣利. 強(qiáng)模糊支持向量機(jī)在稻瘟病氣象預(yù)警中的應(yīng)用[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2010，15(3)： 122－128. Yang Zhimin, Liang Jing, Liu Guangli. Application of strong fuzzy support vector machine on weather early warning of rice blast[J]. Journal of Chinese Agricultural University, 2010, 15(3): 122－128. (in Chinese with English abstract)

[10] 宋啟堃，鄭松，宋彥棠. 黔南州主要作物病蟲(chóng)害監(jiān)測(cè)預(yù)警專家系統(tǒng)的構(gòu)建與實(shí)現(xiàn)[J]. 云南地理環(huán)境研究，2011，23(1)：34－37. Song Qikun, Zheng Song, Song Yantang. The construction and realization of the Qiannan main plant diseases and insects monitoring warning expert system[J]. Yunnan Geographic Environment Research, 2011, 23(1): 34－37. (in Chinese with English abstract)

[11] Sannakki S, Rajpurohit V S, Sumira F, et al. A neural network approach for disease forecasting in grapes using weather parameters[C]//IEEE International Conference on Computing, 2013: 1－5.

[12] Shi Mingwang. Based on time series and RBF network plant disease forecasting[J]. Procedia Engineering, 2011(15): 2384－2387.

[13] 辜麗川，鐘金琴，張友華，等. 一種基于支持向量回歸和動(dòng)態(tài)特征選擇的梨黑星病預(yù)測(cè)方法[J]. 計(jì)算機(jī)科學(xué)，2009，36(7)：215－217.Gu Lichuan, Zhong Jinqin, Zhang Youhua, et al. Method of predecison on pear scab based on SVM and dynamical feature selection[J]. Computer Science, 2009, 36(7): 215－217. (in Chinese with English abstract)

[14] 王翔宇，溫皓杰，李鑫星，等. 農(nóng)業(yè)主要病害檢測(cè)與預(yù)警技術(shù)研究進(jìn)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(9)： 266－277.Wang Xiangyu, Wen Haojie, Li Xinxing, et al. Research progress analysis of mainly agricultural disease detection and early warning technologies[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 266－277. (in Chinese with English abstract)

[15] 王文山，柳平增，臧官勝，等. 基于物聯(lián)網(wǎng)的果園環(huán)境信息監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)[J]. 山東農(nóng)業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，43(2)：239－243. Wang Wenshan, Liu Pingzeng, Zang Guansheng, et al. Design of environment information monitoring system for orchard based on the internet of things[J]. Journal of Shandong Agricultural University: Natural Science, 2012, 43(2): 239－243. (in Chinese with English abstract)

[16] 陳光絨，李小琴. 基于物聯(lián)網(wǎng)技術(shù)的作物病蟲(chóng)害自動(dòng)測(cè)報(bào)系統(tǒng)[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43(4)：406－410. Chen Guangrong, Li Xiaoqin. Automatic measuring and reporting system of crop diseases and insect pests based on Internet of things[J]. Jiangsu Agricultural Science, 2015, 43(4): 406－410. (in Chinese with English abstract)

[17] Yun H K, Yoo S J, Gu Y H, et al. Crop pests prediction method using regression and machine learning technology: Survey[J]. IERI Procedia, 2014, 6(4): 52－56.

[18] 陳濤，高必梵，艾菊梅. 基于BP神經(jīng)網(wǎng)絡(luò)的作物蟲(chóng)害預(yù)測(cè)系統(tǒng)的研究[J]. 數(shù)字技術(shù)與應(yīng)用，2015(1)：91－93. Chen Tao, Gao Bifan, Ai Jumei. Prediction system research of crop pests based on BP neural network[J]. Digital Technology and Application, 2015(1): 91－93. (in Chinese with English abstract)

[19] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436－444.

[20] Schmidhuber J. Deep Learning in neural networks: An overview[J]. Neural Networks the Official Journal of the International Neural Network Society,2014(61):85－117.

[21] 尹寶才，王文通，王立春. 深度學(xué)習(xí)研究綜述[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2015，41(1)：48－59. Yin Baocai, Wang Wentong, Wang Lichun. Review of deep learning[J]. Journal of Beijing University of Technology, 2015, 41(1): 48－59. (in Chinese with English abstract)

[22] Li Shuai, You Zhuhong, Guo Hongliang, et al. Inverse-free extreme learning machine with optimal information updating[J]. IEEE Transactions on Cybernetics, 2015, 1(99): 1－7.

[23] You Zhuhong, Li Xiao, Chan Keith C C. An improved sequence-based prediction protocol for protein-protein interactions using amino acids substitution matrix and rotation forest ensemble classifiers[J]. Neurocomputing, 2016, 228(8): 277－282.

[24] You ZhuHong, Zhou Mengchu, Luo Xin, et al. Highly efficient framework for predicting interactions between proteins[J]. IEEE Transactions on Cybernetics, 2017, 47(3): 721－733.

[25] Wang Yanbin, You Zhuhong, Li Xiao, et al. Predicting protein-protein interactions from protein sequences by stacked sparse auto-encoder deep neural network[J]. Molecular BioSystems, 2017, 13(7): 1336－1344.

[26] Wang Lei, You Zhuhong, Chen Xing, et al. Computational methods for the prediction of drug-target interactions from drug fingerprints and protein sequences by stacked auto- encoder deep neural network[J]. International Symposium on Bioinformatics Research and Applications (ISBRA). Honolulu, USA, 2017: 46－58.

[27] Sue Han Lee, Chee Seng Chan, Simon Joseph Mayo, et al. How deep learning extracts and learns leaf features for plant classification[J]. Pattern Recognition, 2017(71): 1－13.

[28] Jeon W S, Rhee S Y. Plant leaf recognition using a convolution neural network[J]. International Journal of Fuzzy Logic & Intelligent Systems, 2017, 17(1): 26－34.

[29] Sladojevic S, Arsenovic M, Anderla A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience, 2016(6): 1－11.

[30] Zhao Zhiqiang, Jiao Licheng, Zhao Jiaqi, et al. Discriminant deep belief network for high-resolution SAR image classification[J]. Pattern Recognition, 2017(61): 686－701.

[31] Zhou Shusen, Chen Qingcai, Wang Xiaolong. Discriminative deep belief networks for image classification[C]// IEEE 17th International Conference on Image Processing, Hong Kong, 2010: 1561－1564.

[32] 張媛媛，霍靜，楊婉琪，等. 深度置信網(wǎng)絡(luò)的二代身份證異構(gòu)人臉核實(shí)算法[J]. 智能系統(tǒng)學(xué)報(bào)，2015，10(2)： 193－200. Zhang Yuanyuan, Huo Jing, Yang Wanqi, et al. A deep belief network-based heterogeneous face verification method for the second-generation identity card[J]. CAAI Transactions on Intelligent Systems, 2015, 10(2): 193－200. (in Chinese with English abstract)

[33] 譚娟，王勝春. 基于深度學(xué)習(xí)的交通擁堵預(yù)測(cè)模型研究[J]. 計(jì)算機(jī)應(yīng)用研究，2015，32(10)：2951－2954. Tan Juan, Wang Shengchun. Research prediction model for traffic congestion based on deep learning[J]. Application Research of Computers, 2015, 32(10): 2951－2954. (in Chinese with English abstract)

[34] 周文杰，嚴(yán)建峰，楊璐. 基于深度學(xué)習(xí)的用戶投訴預(yù)測(cè)模型研究[J]. 計(jì)算機(jī)應(yīng)用研究，2017(5)：1428－1432. Zhou Wenjie, Yan Jianfeng, Yang Lu. Research on prediction model of complaint based on deep learning[J]. Application Research of Computers, 2017(5): 1428－1432. (in Chinese with English abstract)

[35] 陳亮，張俊池，王娜，等. 基于深度置信網(wǎng)絡(luò)的在線視頻熱度預(yù)測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用，2017，53(9)：162－169. Chen Liang, Zhang Junchi, Wang Na, et al. Deep belief networks based popularity prediction for online video services[J]. Computer Engineering and Applications, 2017, 53(9): 162－169. (in Chinese with English abstract)

[36] Larochelle H, Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//International Conference on Machine Learning, New York, 2008: 536－543.

[37] 丁軍，劉宏偉，陳渤，等. 相似性約束的深度置信網(wǎng)絡(luò)在SAR圖像目標(biāo)識(shí)別的應(yīng)用[J]. 電子信息學(xué)報(bào)，2016，38(1)：97－103.Ding Jun, Liu Hongwei, Chen Bo, et al. Similarity constrained deep belief networks with application to SAR image target recognition[J]. Journal of Electronics & Information Technology, 2016, 38(1): 97－103. (in Chinese with English abstract)

張善文，張傳雷，丁 軍. 基于改進(jìn)深度置信網(wǎng)絡(luò)的大棚冬棗病蟲(chóng)害預(yù)測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(19)：202－208. doi：10.11975/j.issn.1002-6819.2017.19.026 http://www.tcsae.org

Zhang Shanwen, Zhang Chuanlei, Ding Jun. Disease and insect pest forecasting model of greenhouse winter jujube based on modified deep belief network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 202－208. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.19.026 http://www.tcsae.org

Disease and insect pest forecasting model of greenhouse winter jujube based on modified deep belief network

Zhang Shanwen, Zhang Chuanlei※, Ding Jun

(710123,)

The diseases and insect pests of greenhouse winter jujube are one of the main factors that restrict the yield and quality of winter jujube. The timely prediction of the jujube diseases and insect pests is the prerequisite to prevent and control diseases and insect pests. It is difficult to establish an accurate forecasting model of diseases and insect pests using traditional mathematical method and neural network (NN) because of many complex factors that lead to the occurrence of diseases and insect pests of winter jujube, including the meteorological conditions (such as temperature, sunlight, humidity), soil conditions (such as moisture, soil heavy metals), and biological characteristics (such as roots, leaves). During the process of forecasting model training, due to the defects of artificial design features and the unpredictable complexity in the design process, the accuracy of disease and insect pest prediction and the efficiency of the design features can’t have a lot of space of ascension. It is possible to automatically forecast diseases and insect pests of winter jujube with the development of agricultural IOT (Internet of Things), smart camera equipment, high performance and large capacity data storage, computer and network technology as well as the massive complex data processing technology. Faced with the problem of complexity and uncertainty of diseases and insect pests prediction of winter jujube, a forecasting model of winter jujube diseases and insect pests is proposed based on the modified deep belief network (DBN). Due to the merits of the DBN, the prediction model of disease and insect pest based on modified DBN can not only utilize 20 kinds of environmental information data, but also introduce the similarity between the prior information and the constraints of the current information. The modified DBN consists of a visible input layer, several hidden layers, and an output layer. The visible layer inputs the data, whose range has been normalized into [0,1]; the hidden layers are invisible, in which binary values are used, and activated by the sigmoid kernel function. Via simulating neural connecting structure of human brain and introducing the supervised information by restricting the similarity between feature vectors in the learning process, the proposed model can automatically learn senior nonlinear hierarchical combination features from the environmental information of winter jujube growth, which is suitable for data classification and importing high-level features into traditional BP (back propagation) neural network classifier to improve the disease forecasting precision. The disease and insect pest prediction is conducted by BP network in the top level of DBN. Experiments on the actual database of disease and insect pest of greenhouse winter jujube are performed. After a large number of training samples and training times, the prediction accuracy rate of diseases and insect pests is greatly improved. The accuracy rate of forecasting result is over than 84%. The experimental results show that the proposed model has provided a technical basis and support for the automatic crop disease forecasting with environmental information obtained in fields, and has great application prospect in disease and insect pest prediction of greenhouse winter jujube. As there are many factors affecting crop diseases, practically, some factors vary with the time, how to use the environmental information of crop growth to build a powerful and practical crop disease forecasting method still needs further study.

diseases; forecasting; models;environmental information of winter jujube growth; insect pests; deep belief network (DBN); modified DBN

10.11975/j.issn.1002-6819.2017.19.026

S436.65

A

1002-6819(2017)-19-0202-07

2017-06-26

2017-09-16

國(guó)家自然科學(xué)基金項(xiàng)目(61473237)；陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃(2016GY-141)

張善文，漢族，陜西西安人，博士，教授，博士生導(dǎo)師。研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別及其應(yīng)用。Email：wjdw716@163.com.

※通信作者：張傳雷，漢族，山東淄博人，博士，副教授。研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別及其應(yīng)用。Email：a17647@gmail.com.