基于WDNN的溫室多特征數(shù)據(jù)融合方法研究

孫耀杰 蔡 昱， 張 馨 薛緒掌 鄭文剛 喬曉軍

(1.河北工業(yè)大學(xué)電子信息工程學(xué)院， 天津 300401； 2.北京農(nóng)業(yè)智能裝備技術(shù)研究中心， 北京 100097；3.北京農(nóng)業(yè)信息技術(shù)研究中心， 北京 100097)

0 引言

隨著設(shè)施園藝面積的逐年增加，為生產(chǎn)環(huán)境調(diào)控提供智能決策成為當(dāng)前人工智能在溫室生產(chǎn)中研究應(yīng)用的核心問題之一。若對(duì)數(shù)據(jù)未進(jìn)行融合而選擇直接判斷提供決策信息，僅在少量輸入特征時(shí)可行，隨著輸入特征的增加，直接判斷法的邏輯復(fù)雜度隨著特征的增加呈指數(shù)增長(zhǎng)且無學(xué)習(xí)能力，降低了決策系統(tǒng)的可發(fā)展性和可擴(kuò)展性，造成日后維護(hù)和升級(jí)成本大大增加，因此高效的數(shù)據(jù)融合算法顯得格外重要。目前國(guó)內(nèi)溫室數(shù)據(jù)融合算法較為單一，鮮有將深度學(xué)習(xí)模型與溫室數(shù)據(jù)融合相結(jié)合。深度學(xué)習(xí)以強(qiáng)大的數(shù)據(jù)分類及擬合優(yōu)勢(shì),能夠?yàn)闇厥覐?fù)雜多變環(huán)境數(shù)據(jù)實(shí)時(shí)精確融合提供新的算法，掌握溫室環(huán)境變化規(guī)律，對(duì)溫室作物的生長(zhǎng)和溫室環(huán)境的調(diào)控具有重要意義。

當(dāng)前溫室數(shù)據(jù)融合研究主要分為數(shù)據(jù)級(jí)、特征級(jí)和決策級(jí)3個(gè)層次。其中數(shù)據(jù)級(jí)數(shù)據(jù)融合[1]在溫室環(huán)境監(jiān)測(cè)系統(tǒng)廣泛應(yīng)用，對(duì)獲取的原始數(shù)據(jù)進(jìn)行加權(quán)平均比傳統(tǒng)平均算法數(shù)據(jù)精度提高7%[2]。進(jìn)一步優(yōu)化算法可將指數(shù)平滑和新型冪均方融合算法結(jié)合，使實(shí)際運(yùn)行時(shí)間縮短83.6%的同時(shí)，數(shù)據(jù)方差比算術(shù)平均降低0.027[3]。在面對(duì)數(shù)據(jù)異常情況時(shí)，將分布圖算法與卡爾曼濾波相結(jié)合，增加系統(tǒng)對(duì)缺失數(shù)據(jù)處理的能力且處理精度進(jìn)一步提高[4]。數(shù)據(jù)級(jí)融合適合硬件設(shè)備進(jìn)行傳輸和處理，但融合后數(shù)據(jù)量龐大，從而產(chǎn)生了特征級(jí)數(shù)據(jù)融合[5-6]。因溫室環(huán)境復(fù)雜導(dǎo)致監(jiān)測(cè)數(shù)據(jù)常出現(xiàn)異常點(diǎn)、冗余或傳輸干擾等現(xiàn)象，多數(shù)特征級(jí)融合與數(shù)據(jù)級(jí)融合算法相結(jié)合，如卡爾曼濾波器與貝葉斯估計(jì)相結(jié)合[7]，可改善數(shù)據(jù)融合前的不一致性以及利用貝葉斯算法融合后的不確定性?；?qū)⒆赃m應(yīng)加權(quán)平均和D-S算法相匹配[8]，改進(jìn)后的D-S算法時(shí)間復(fù)雜度由傳統(tǒng)的O(an)下降到O(a2n)[9]，在減少數(shù)據(jù)冗余的同時(shí)，提高了系統(tǒng)的運(yùn)行效率，但存在模型參數(shù)難以確定等問題。決策級(jí)溫室數(shù)據(jù)融合集中在專家系統(tǒng)和BP神經(jīng)網(wǎng)絡(luò)[10-11]的構(gòu)建，專家系統(tǒng)利用推理機(jī)對(duì)已有條件做出精確判斷及相關(guān)決策[12-13]。神經(jīng)網(wǎng)絡(luò)可利用ANN模型對(duì)溫室溫度及濕度進(jìn)行融合，融合結(jié)果與真值對(duì)比，均方誤差(MSE)分別達(dá)到0.04℃和0.075[14]。決策級(jí)數(shù)據(jù)融合層次位于頂層，具有高容錯(cuò)性和強(qiáng)魯棒性的特點(diǎn),但目前主流的決策級(jí)數(shù)據(jù)融合算法存在處理數(shù)據(jù)維度有限，收斂速度慢且泛化能力差等問題。

針對(duì)用于溫室融合算法老舊、智能化程度低、融合數(shù)據(jù)種類單一及模型融合精度不足等問題，本文提出基于WDNN網(wǎng)絡(luò)的兩級(jí)溫室數(shù)據(jù)融合體系，利用深度學(xué)習(xí)模型的強(qiáng)大非線性擬合及泛化能力，通過溫室傳感器網(wǎng)絡(luò)采集數(shù)據(jù)并訓(xùn)練模型，以探索對(duì)多點(diǎn)多維混合特征的決策級(jí)融合，給出溫室各區(qū)域及整體環(huán)境的決策信息。

1 溫室數(shù)據(jù)獲取與深度融合結(jié)構(gòu)設(shè)計(jì)

試驗(yàn)于2017年11月20日18時(shí)在北京市農(nóng)林科學(xué)院玻璃連棟溫室內(nèi)架設(shè)儀器采集數(shù)據(jù)，試驗(yàn)場(chǎng)地示意圖如圖1所示。

圖1 溫室環(huán)境監(jiān)測(cè)網(wǎng)絡(luò)布局與架構(gòu)圖Fig.1 Greenhouse environment monitoring network layout and architecture diagram

該溫室單跨南北長(zhǎng)度28.5 m，東西寬度10.5 m，總高6 m，肩高4 m左右，溫室內(nèi)種植作物為番茄[15-16],為符合番茄種植要求，溫室采用相應(yīng)調(diào)控措施,其中最大濕度閾值設(shè)定為80%，當(dāng)濕度超過閾值會(huì)開啟風(fēng)扇進(jìn)行排濕，但環(huán)境調(diào)控效果存在滯后現(xiàn)象，故濕度不會(huì)立刻降到80%以下，需要一段時(shí)間緩沖，因此本試驗(yàn)所獲取濕度最大值會(huì)略高于80%，但不會(huì)使其達(dá)到100%，可有效避免番茄產(chǎn)生病害。溫室環(huán)境監(jiān)測(cè)設(shè)備采用國(guó)家農(nóng)業(yè)智能裝備技術(shù)中心研發(fā)的溫室云環(huán)境EP400型數(shù)據(jù)采集器，每個(gè)數(shù)據(jù)采集器可測(cè)量空氣溫度(量程：-40～80℃，精度±0.5℃)、空氣相對(duì)濕度(量程：0～100%，精度：±3%)、土壤溫度(量程：-40～80℃，精度：±0.5℃)、土壤濕度(量程：0～飽和，精度：±3%)、CO2濃度(量程：0～2×10-3，精度：±5×10-5)及光照強(qiáng)度(量程：0～100 klx，精度：±10 klx)，以30 min時(shí)間間隔通過GPRS網(wǎng)絡(luò)發(fā)送到遠(yuǎn)端云服務(wù)器，數(shù)據(jù)采集器安裝在三腳架上，距離地面高度為1.3 m，各數(shù)據(jù)采集器縱向間距為5 m，橫向間距為4.8 m，對(duì)稱均勻地放置在溫室中，如圖1中綠點(diǎn)所示。設(shè)置數(shù)據(jù)采集間隔為30 min一次，既保證了溫室作物環(huán)境的有效監(jiān)測(cè)、減少硬件傳輸損耗，又可保證模型訓(xùn)練的較大數(shù)據(jù)需求量，且無需在底層進(jìn)行數(shù)據(jù)級(jí)的數(shù)據(jù)融合，降低系統(tǒng)復(fù)雜度，使數(shù)據(jù)的信息量沒有損失，也保留了溫室作物生長(zhǎng)環(huán)境的原始信息。

采用WDNN深度學(xué)習(xí)模型對(duì)連棟溫室內(nèi)多點(diǎn)多特征數(shù)據(jù)進(jìn)行決策級(jí)的數(shù)據(jù)融合。構(gòu)建了兩級(jí)溫室數(shù)據(jù)融合系統(tǒng)，如圖2所示。

圖2 兩級(jí)溫室數(shù)據(jù)融合模型Fig.2 Two-level greenhouse data fusion model

圖2中，輸入特征為溫室內(nèi)部環(huán)境監(jiān)測(cè)數(shù)據(jù)，本文未考慮外部氣象數(shù)據(jù)等間接特征(即調(diào)控設(shè)施或外部天氣變化時(shí)會(huì)引起溫室內(nèi)部環(huán)境狀態(tài)改變)，在可直接獲取溫室內(nèi)部各環(huán)境變量的前提下，已經(jīng)包含了其他因素對(duì)溫室內(nèi)部環(huán)境的影響，若添加間接特征會(huì)增加數(shù)據(jù)冗余度，降低所訓(xùn)練模型的泛化能力。一級(jí)融合為該系統(tǒng)的核心處理層次即第1次數(shù)據(jù)融合，利用深度學(xué)習(xí)模型對(duì)6個(gè)數(shù)據(jù)采集傳感器傳輸?shù)亩嘣串悩?gòu)數(shù)據(jù)進(jìn)行處理，并分別給出各個(gè)區(qū)域作物的生長(zhǎng)環(huán)境狀態(tài)。二級(jí)融合處理將一級(jí)處理結(jié)果進(jìn)一步融合，該融合體系將二級(jí)融合稱為Max邏輯推理，按照少數(shù)服從多數(shù)原則進(jìn)行二次融合，當(dāng)區(qū)域融合結(jié)果相同數(shù)量占據(jù)總量1/2及以上時(shí)，該區(qū)域融合結(jié)果代表溫室整體融合結(jié)果(若脅迫結(jié)果與正常結(jié)果相等時(shí)，取脅迫結(jié)果，此設(shè)定可減少作物受到傷害)。第2次數(shù)據(jù)融合后，給出溫室整體的環(huán)境狀態(tài)并提供溫室環(huán)境調(diào)控建議，以達(dá)到對(duì)作物生長(zhǎng)環(huán)境進(jìn)行調(diào)控的要求。圖2虛線模塊為溫室硬件調(diào)控模塊，主要負(fù)責(zé)接收根據(jù)綜合決策信息而提供的調(diào)控建議，并實(shí)施相應(yīng)調(diào)控策略，以虛線畫出表示本文研究不涉及硬件層面，但卻與硬件調(diào)控緊密結(jié)合。二級(jí)融合架構(gòu)可對(duì)無線傳感網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分層融合，且多級(jí)融合符合模塊化設(shè)計(jì)理念，可對(duì)架構(gòu)作出相應(yīng)調(diào)整以更好地適用于更復(fù)雜的融合環(huán)境，提高了融合系統(tǒng)的泛化能力。

2 傳感器網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理

目前溫室數(shù)據(jù)融合的預(yù)處理主要集中在底層，會(huì)采用較小的數(shù)據(jù)采集間隔(多為1 min間隔)以提高數(shù)據(jù)量，但考慮到溫室無線傳感網(wǎng)絡(luò)的功耗和傳輸效率，大多預(yù)處理會(huì)剔除或?yàn)V掉異常數(shù)據(jù)[17-21]，減少了數(shù)據(jù)本身的信息量，信息量的減少會(huì)造成對(duì)所監(jiān)測(cè)對(duì)象的決策和分析產(chǎn)生較大誤差。在利用WDNN網(wǎng)絡(luò)模型進(jìn)行頂層數(shù)據(jù)融合時(shí)，為了保留原始數(shù)據(jù)的全部信息，本試驗(yàn)并未對(duì)數(shù)據(jù)進(jìn)行平滑處理(平滑或其他預(yù)處理會(huì)損失特征的信息量)，而是對(duì)獲取的全部原始數(shù)據(jù)進(jìn)行標(biāo)記，且在此基礎(chǔ)上增加了時(shí)間特征，豐富的數(shù)據(jù)信息可增加融合后的決策準(zhǔn)確度。

訓(xùn)練模型首先需構(gòu)建訓(xùn)練集和測(cè)試集，因兩種數(shù)據(jù)集構(gòu)建方式一樣故以訓(xùn)練集為代表進(jìn)行描述。首先獲取原始數(shù)據(jù)，為傳感器實(shí)時(shí)傳送并記錄到數(shù)據(jù)庫(kù)的環(huán)境監(jiān)測(cè)數(shù)據(jù)，因融合過程是對(duì)輸入數(shù)據(jù)進(jìn)行分類，故訓(xùn)練集中每條數(shù)據(jù)都需進(jìn)行類別標(biāo)記。數(shù)據(jù)與標(biāo)簽的合理匹配需明確各輸入特征間的權(quán)重關(guān)系，進(jìn)行多特征分析，找出主導(dǎo)特征。各參數(shù)走勢(shì)曲線如圖3所示。

圖3 溫室環(huán)境特征Fig.3 Features of greenhouse environment

由圖3可以看出，溫室各環(huán)境特征間具有很強(qiáng)的規(guī)律性和周期性，特征之間具有明顯的正相關(guān)或負(fù)相關(guān)關(guān)系，如溫度、濕度兩個(gè)參數(shù)具有強(qiáng)負(fù)相關(guān)特性，溫度的增長(zhǎng)會(huì)導(dǎo)致濕度的下降，溫度、濕度、CO2濃度和光照強(qiáng)度均為植物生長(zhǎng)的重要環(huán)境參數(shù)，每個(gè)特征都應(yīng)在融合系統(tǒng)中分配相應(yīng)的權(quán)重，由圖3可知，溫度與其他監(jiān)測(cè)特征具有強(qiáng)耦合關(guān)系且可控性高，所以以溫度特征為基準(zhǔn)去分析，可以更準(zhǔn)確地反映其他參數(shù)的分布及變化趨勢(shì)。

其次需增加訓(xùn)練集的數(shù)據(jù)量，將異常數(shù)據(jù)加到訓(xùn)練集中，可使模型對(duì)異常值進(jìn)行判別，為全面準(zhǔn)確地描述溫室內(nèi)各區(qū)域及整體的環(huán)境參數(shù)分布，需將6個(gè)數(shù)據(jù)采集點(diǎn)數(shù)據(jù)全部合到一起，可使訓(xùn)練集包

含整個(gè)溫室內(nèi)部的數(shù)據(jù)，處理后訓(xùn)練集部分?jǐn)?shù)據(jù)如表1所示。表1中第1列時(shí)間變量是稀疏特征(特征值為1、2、3、4和5)。其中1、2、3分別代表上午、中午和下午，對(duì)應(yīng)：06:00—10:00、10:00—14:00、14:00—18:00，只用來描述日間溫室環(huán)境正常及脅迫數(shù)據(jù)；4代表日間，對(duì)應(yīng)：06:00—18:00，只用來描述日間傳感器異常數(shù)據(jù)；5代表夜間，對(duì)應(yīng)18:00—06:00，用來描述夜間溫室環(huán)境正常、脅迫及異常數(shù)據(jù)，用于細(xì)化不同時(shí)間段作物對(duì)環(huán)境的需求；第2～7列變量為數(shù)值數(shù)據(jù)，為各氣象參數(shù)；第8列為分類類別，根據(jù)番茄適宜生長(zhǎng)環(huán)境需求及具體監(jiān)測(cè)數(shù)據(jù)情況劃分為：日間溫度過低、濕度過高、CO2濃度較高、光照強(qiáng)度過低； 日間溫度較低、濕度較高、CO2濃度正常、光照強(qiáng)度較低；日間各環(huán)境參數(shù)正常；日間溫度較高、濕度較低、CO2濃度較低、光照強(qiáng)度較高；夜間溫度較低、濕度較高、CO2濃度較高、無光照；夜間各環(huán)境參數(shù)正常；傳感器網(wǎng)絡(luò)數(shù)據(jù)異常共7個(gè)類別，以上類別涵蓋了24 h各情況下的溫室監(jiān)測(cè)數(shù)據(jù)，適合WDNN網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行深度融合；此外，表1中1～4行為白天4個(gè)類別的典型數(shù)據(jù)示例；5、6行為夜間2個(gè)類別的典型數(shù)據(jù)示例；7～9行為傳感器異常數(shù)據(jù)的典型示例(日間異常數(shù)據(jù)不進(jìn)行細(xì)分，用4統(tǒng)一進(jìn)行描述)。本文所用訓(xùn)練集、測(cè)試集及預(yù)測(cè)集均為實(shí)時(shí)數(shù)值。

表1 訓(xùn)練集數(shù)據(jù)示例Tab.1 Data example of training set

處理后的訓(xùn)練集和測(cè)試集均為7個(gè)特征和7個(gè)分類類別的混合數(shù)據(jù)集，測(cè)試集需要嚴(yán)格按照訓(xùn)練集的規(guī)格進(jìn)行整理，才能精確地判斷所訓(xùn)練模型的性能，最后需將整理好的Excel格式訓(xùn)練集和測(cè)試集轉(zhuǎn)換成csv格式，方便程序?qū)?shù)據(jù)的讀取及處理。

3 深度學(xué)習(xí)融合模型構(gòu)建

3.1 普通DNN分類模型

傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)[22](Deep neural networks, DNN)即含多個(gè)隱含層(大于等于2層)的人工神經(jīng)網(wǎng)絡(luò)，理論上單個(gè)隱含層的多層感知機(jī)(Multilayer perceptron, MLP)只要具有足夠多的隱含層節(jié)點(diǎn)就可以擬合任何非線性函數(shù)，但是過多隱含節(jié)點(diǎn)極易導(dǎo)致優(yōu)化算法無法確定模型最優(yōu)參數(shù)或訓(xùn)練過擬合，無法進(jìn)行泛化及應(yīng)用。2006年HINTON等[23]提出的深度學(xué)習(xí)算法很好地解決了上述問題，模型結(jié)構(gòu)示意如圖4所示。

圖4 DNN網(wǎng)絡(luò)模型Fig.4 DNN network model

圖4中的模型具有多隱含層結(jié)構(gòu)，相比于傳統(tǒng)的MLP模型而言具有更強(qiáng)的數(shù)據(jù)擬合能力，GOODFELLOW等[24]試驗(yàn)表明，增加隱含層節(jié)點(diǎn)數(shù)量對(duì)模型的性能提升作用有限，模型深度的增加(增加隱含層層數(shù))不僅可以減少每個(gè)隱含層節(jié)點(diǎn)的數(shù)量，還能增加對(duì)數(shù)據(jù)的處理和擬合能力。所以本文選擇利用深度學(xué)習(xí)模型進(jìn)行溫室監(jiān)測(cè)數(shù)據(jù)的融合和決策，可以很好地解決MLP隱含層節(jié)點(diǎn)過多導(dǎo)致收斂速度過慢及局部極小化的問題。

3.2 改進(jìn)后的WDNN模型

DNN深度學(xué)習(xí)模型可以較好地對(duì)多特征的數(shù)據(jù)進(jìn)行分類，但是由于其模型結(jié)構(gòu)限制和網(wǎng)絡(luò)特性，使其不易處理稀疏特征，無法對(duì)特征之間的強(qiáng)耦合性進(jìn)行關(guān)聯(lián)記憶，當(dāng)輸入數(shù)據(jù)出現(xiàn)稀疏特征和關(guān)聯(lián)特征時(shí)，不能快速并準(zhǔn)確地對(duì)該關(guān)聯(lián)特征進(jìn)行參數(shù)優(yōu)化。

Google于2016年提出了寬-深神經(jīng)網(wǎng)絡(luò)(Wide-deep neural network, WDNN)[25]用于Google商店的APP推薦服務(wù)，該模型改進(jìn)之處在于從原來DNN深度模型的基礎(chǔ)之上聯(lián)合訓(xùn)練了一個(gè)wide模型(線性模型)用于共同對(duì)數(shù)據(jù)進(jìn)行分類決策。wide網(wǎng)絡(luò)數(shù)學(xué)模型表示為

y=WTX+b

(1)

其中X=(x1,x2,…,xn)W=(w1,w2,…,wn)

式中X——特征向量W——模型參數(shù)

b——模型偏置

y——wide網(wǎng)絡(luò)輸出

wide網(wǎng)絡(luò)最重要的轉(zhuǎn)換為交叉乘積變換，定義為

(2)

式中cki——布爾變量，只有當(dāng)?shù)趇個(gè)特征是φk第k次轉(zhuǎn)換的一部分時(shí)為1，其余條件下為0

wide模型善于處理稀疏特征，通過對(duì)特征進(jìn)行交叉乘積來記憶特征之間的相關(guān)性且需要較少的模型參數(shù)，記憶性可以理解為能夠自主學(xué)習(xí)頻繁共同出現(xiàn)在一起的特征并當(dāng)該關(guān)系再次出現(xiàn)時(shí)可以發(fā)現(xiàn)并利用，善于處理特征之間的固定組合。

deep網(wǎng)絡(luò)具有更好的泛化能力，可以關(guān)聯(lián)或發(fā)現(xiàn)之前幾乎沒有出現(xiàn)的特征組合，善于將隱藏的特征屬性進(jìn)行融合，減少了特征工程的復(fù)雜度。

deep網(wǎng)絡(luò)數(shù)學(xué)結(jié)構(gòu)：

(1)輸入層為輸入數(shù)據(jù)的各個(gè)特征。

(2)每個(gè)隱含層節(jié)點(diǎn)均由激活函數(shù)構(gòu)成，為了克服梯度消失等問題， DNN模型構(gòu)建時(shí)默認(rèn)函數(shù)為整流線性單元ReLu，函數(shù)定義為

g(z)=max(0,z)

(3)

式中z——激活函數(shù)輸入值

(3)多分類模型輸出層多為SoftMax函數(shù),形式為

(4)

(4)DNN模型的整體函數(shù)表達(dá)式為

f(x;W,c,w,b)=wTmax(0,WTx+c)+b

(5)

(5)優(yōu)化函數(shù)默認(rèn)使用Adagrad算法

(6)

式中ε——一個(gè)極小值，防止分母為0

η——學(xué)習(xí)速率θ——模型系數(shù)

deep網(wǎng)絡(luò)的算法構(gòu)建主要由以上函數(shù)組成，函數(shù)1為隱含層節(jié)點(diǎn)的激活函數(shù)，負(fù)責(zé)對(duì)特征進(jìn)行非線性變化以達(dá)到進(jìn)行非線性擬合的目的，其中層內(nèi)節(jié)點(diǎn)無連接，層間節(jié)點(diǎn)全連接；函數(shù)2為深度學(xué)習(xí)模型常用的多分類函數(shù)，用于搭建模型輸出層；函數(shù)3為特征經(jīng)過一層隱含層后的數(shù)學(xué)表示，即前一層輸出經(jīng)過ReLu函數(shù)進(jìn)行非線性變化后傳遞給下一層，模型深度的增加就是該表達(dá)式的多層嵌套；函數(shù)4為常用的梯度下降算法，具有動(dòng)態(tài)調(diào)整學(xué)習(xí)速率的特點(diǎn)，能夠快速優(yōu)化模型參數(shù)。因此將以上兩個(gè)模型進(jìn)行合并可以達(dá)到在不改變深度網(wǎng)絡(luò)對(duì)數(shù)據(jù)融合能力的同時(shí)加強(qiáng)WDNN模型對(duì)關(guān)聯(lián)特征的識(shí)別和記憶，改進(jìn)后的模型示意圖如圖5所示。

圖5 WDNN網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.5 WDNN network structure diagram

WDNN模型的訓(xùn)練采用聯(lián)合訓(xùn)練，即訓(xùn)練階段將wide和deep網(wǎng)絡(luò)的參數(shù)一起優(yōu)化，再共同對(duì)未知數(shù)據(jù)進(jìn)行融合，改進(jìn)后數(shù)據(jù)融合的數(shù)學(xué)表達(dá)式為

(7)

式中Y——分類類別標(biāo)簽

SoftMax(·)——多類別分類函數(shù)

φ(x)——原始特征x的交叉乘積轉(zhuǎn)換

Wwide——wide模型的權(quán)重向量

Wdeep——deep網(wǎng)絡(luò)的權(quán)重向量

本文將WDNN模型和溫室作物環(huán)境數(shù)據(jù)相結(jié)合進(jìn)行訓(xùn)練可以得到數(shù)據(jù)融合模型，其結(jié)構(gòu)示意圖如圖6所示。

圖6 WDNN網(wǎng)絡(luò)融合溫室數(shù)據(jù)示意圖Fig.6 Schematic of WDNN network fusion of greenhouse data

4 試驗(yàn)與分析

4.1 數(shù)據(jù)采集及準(zhǔn)備

試驗(yàn)選取了6個(gè)數(shù)據(jù)采集點(diǎn)，從2017年12月23日至2018年1月2日的4 858條數(shù)據(jù)用于模型訓(xùn)練和測(cè)試，其中訓(xùn)練集4 009條數(shù)據(jù)，測(cè)試集849條

數(shù)據(jù)，每條數(shù)據(jù)均為30 min間隔、24 h連續(xù)采集。將下載數(shù)據(jù)進(jìn)行標(biāo)記并將訓(xùn)練集和測(cè)試集用于模型的搭建。融合系統(tǒng)搭建環(huán)境為MacOS High Sierra操作系統(tǒng)(版本為10.13.3)，模型實(shí)現(xiàn)基于Google開源的Tensorflow工具包(版本為Develop r1.1)，編程語(yǔ)言為Python(版本為3.6)，集成開發(fā)環(huán)境(IDE)為集成在Anaconda中的jupyter notebook。

搭建模型前需對(duì)數(shù)據(jù)進(jìn)行特征處理，按照番茄種植規(guī)范[26]將溫度劃分為6個(gè)區(qū)間段，分別為日間：0～10℃、10～15℃、15～20℃、20～30℃，夜間：0～8℃、8～12℃；濕度劃分為3個(gè)區(qū)間段(不區(qū)分日間和夜間)：30%～60%、60%～70%、70%～80%；依據(jù)劃分標(biāo)準(zhǔn)對(duì)訓(xùn)練集和測(cè)試集添加標(biāo)簽，然后與時(shí)間特征進(jìn)行交叉乘積輸入到wide模型；其余氣象特征不進(jìn)行區(qū)段劃分;將實(shí)際值特征直接輸入到deep模型中并與wide模型進(jìn)行聯(lián)合訓(xùn)練，特征對(duì)應(yīng)分類類別為7類(數(shù)字0～6)，每一類別對(duì)應(yīng)一個(gè)融合結(jié)果(各區(qū)域作物當(dāng)前環(huán)境狀態(tài)融合后的決策信息)及溫室調(diào)控建議， 成功構(gòu)建用于溫室數(shù)據(jù)融合的深度學(xué)習(xí)網(wǎng)絡(luò)，用戶可以根據(jù)融合信息實(shí)時(shí)掌握各區(qū)域作物的各項(xiàng)參數(shù)指標(biāo)及溫室整體的調(diào)控信息，實(shí)現(xiàn)溫室作物環(huán)境數(shù)據(jù)融合的信息化和智能化。

4.2 模型構(gòu)建及對(duì)比分析

為對(duì)比測(cè)試，分別訓(xùn)練了DNN和WDNN兩種深度學(xué)習(xí)模型及BP神經(jīng)網(wǎng)絡(luò)(BP neural network, BPNN)和隨機(jī)森林(Random forest,RF)兩種常用分類模型，選取DNN可實(shí)現(xiàn)在網(wǎng)絡(luò)深度相同及對(duì)應(yīng)算法一致的條件下進(jìn)行對(duì)比測(cè)試，利用BPNN和RF可對(duì)比相同數(shù)據(jù)集條件下不同分支模型的融合精度情況，模型參數(shù)對(duì)比如表2所示。

由表2可以看出，由于WDNN網(wǎng)絡(luò)為混合模型，所以增加了一個(gè)wide網(wǎng)絡(luò)的優(yōu)化算法FTRL，因具有良好的稀疏性及收斂特性，故適用于線性模型的優(yōu)化訓(xùn)練，兩個(gè)deep網(wǎng)絡(luò)部分的模型參數(shù)配置均相同；BPNN模型為3層結(jié)構(gòu)，只含一個(gè)隱含層，層中部署100個(gè)隱含節(jié)點(diǎn)，為避免ReLu與SoftMax直接相連時(shí)訓(xùn)練過程出現(xiàn)權(quán)重為零值現(xiàn)象，激活函數(shù)選擇Tanh即可；RF模型的決策樹深度選擇自由生長(zhǎng)，對(duì)應(yīng)算法選取Cart，弱分類器個(gè)數(shù)為50個(gè)，設(shè)定為有放回隨機(jī)挑選特征。

表2 4種模型參數(shù)對(duì)比Tab.2 Comparison of four models parameters

注：Cart(Classification and regression tree)：分類回歸樹；Ensemble learning：集成學(xué)習(xí)；Gradient descent：梯度下降；MLP(Multilayer perceptron)：多層感知機(jī)。

模型參數(shù)預(yù)設(shè)完成后進(jìn)行訓(xùn)練，模型訓(xùn)練步驟均為2 000步，訓(xùn)練損失函數(shù)相同，對(duì)比如圖7所示。損失函數(shù)定義為

(8)

式中a——預(yù)測(cè)變量

圖7 DNN、WDNN和BPNN模型損失對(duì)比Fig.7 Loss comparison of DNN, WDNN and BPNN models

由圖7可以看出，雖然WDNN網(wǎng)絡(luò)在訓(xùn)練初段損失值高于DNN網(wǎng)絡(luò)，但是曲線下降速率更快，模型參數(shù)優(yōu)化效果更優(yōu)，訓(xùn)練后的模型準(zhǔn)確率更高;BPNN模型訓(xùn)練損失值遠(yuǎn)高于其他2個(gè)模型，參數(shù)優(yōu)化較慢。4個(gè)模型性能對(duì)比評(píng)估如表3所示。

表3 4個(gè)模型性能評(píng)估Tab.3 Performance evaluation of four models

通過數(shù)據(jù)對(duì)比可知，WDNN模型的訓(xùn)練時(shí)間相比于DNN網(wǎng)絡(luò)增加了21.31%，這是由于WDNN網(wǎng)絡(luò)需聯(lián)合訓(xùn)練wide和deep網(wǎng)絡(luò)，模型復(fù)雜度較高導(dǎo)致，但模型的測(cè)試準(zhǔn)確率高了4.32個(gè)百分點(diǎn)，且參數(shù)優(yōu)化更快、損失函數(shù)值更低；BPNN模型訓(xùn)練時(shí)間最長(zhǎng)，融合精度最低，且訓(xùn)練所需步數(shù)較多；RF模型雖訓(xùn)練時(shí)間最短，但模型預(yù)測(cè)準(zhǔn)確率比WDNN降低了3.39個(gè)百分點(diǎn)，融合精度不足；結(jié)果表明WDNN網(wǎng)絡(luò)對(duì)于強(qiáng)耦合性的溫室監(jiān)測(cè)數(shù)據(jù)具有更好的擬合能力，使融合后數(shù)據(jù)的決策分析更加準(zhǔn)確。

4.3 融合結(jié)果

將搭建完成的WDNN深度學(xué)習(xí)模型用于融合實(shí)時(shí)的溫室監(jiān)測(cè)數(shù)據(jù)，選取了2018年1月500個(gè)全新數(shù)據(jù)構(gòu)建預(yù)測(cè)集，預(yù)測(cè)集包含傳感器異常和區(qū)域環(huán)境差異等各種條件下溫室環(huán)境數(shù)據(jù)，用于測(cè)試溫室數(shù)據(jù)融合的準(zhǔn)確率，融合結(jié)果如圖8所示。

圖8 融合結(jié)果Fig.8 Charts of fusion result

由圖8a可以看出，該模型既可發(fā)現(xiàn)異常數(shù)據(jù)并進(jìn)行警告，也可在精確融合各區(qū)域情景信息的同時(shí)，按照少數(shù)服從多數(shù)的原則對(duì)區(qū)域融合結(jié)果進(jìn)行二級(jí)融合，得到溫室整體環(huán)境綜合決策(若脅迫結(jié)果與正常結(jié)果相等時(shí)，取脅迫結(jié)果，此設(shè)定可減少作物受到傷害)；圖8b為降維后的模型分類結(jié)果，可看出各簇?cái)?shù)據(jù)分類效果明顯，個(gè)別交叉數(shù)據(jù)點(diǎn)為降維后視覺誤差所致；測(cè)試表明融合準(zhǔn)確率高達(dá)98.00%，達(dá)到預(yù)測(cè)期望結(jié)果。

4.4 模型通用性驗(yàn)證

為驗(yàn)證WDNN融合模型的通用性，隨機(jī)選取了2018年2—6月共計(jì)200個(gè)數(shù)據(jù)(隨機(jī)選取數(shù)據(jù)為春季和夏季監(jiān)測(cè)數(shù)據(jù)，可同時(shí)驗(yàn)證模型對(duì)季節(jié)的泛化能力)進(jìn)行融合系統(tǒng)通用性驗(yàn)證。融合結(jié)果如表4所示，其中正確融合數(shù)據(jù)量為190個(gè)，對(duì)應(yīng)融合準(zhǔn)確率為95.00%，融合精度相對(duì)于訓(xùn)練時(shí)有所下降，主要原因?yàn)榇合臍庀筇卣鞣植寂c冬季差別較大，會(huì)對(duì)模型融合精度產(chǎn)生一定影響，但仍然高于DNN和BPNN模型且與RF模型幾乎持平， 能夠滿足溫室作物環(huán)境數(shù)據(jù)融合的需求。

表4 模型通用性驗(yàn)證Tab.4 Verification of model generalization 個(gè)

5 結(jié)論

(1)溫室數(shù)據(jù)融合可以有效地監(jiān)測(cè)并給出溫室作物生長(zhǎng)環(huán)境的決策信息。分析各深度學(xué)習(xí)模型的優(yōu)缺點(diǎn)，選取WDNN網(wǎng)絡(luò)模型，利用其對(duì)數(shù)據(jù)的強(qiáng)大非線性擬合及泛化能力，根據(jù)無線傳感網(wǎng)絡(luò)獲取的多點(diǎn)監(jiān)測(cè)數(shù)據(jù)建立了一個(gè)兩級(jí)溫室環(huán)境數(shù)據(jù)融合體系，給出溫室整體的作物環(huán)境決策信息。

(2)在深度網(wǎng)絡(luò)參數(shù)配置相同時(shí)，改進(jìn)后的WDNN網(wǎng)絡(luò)比DNN和BPNN網(wǎng)絡(luò)參數(shù)優(yōu)化更快，損失函數(shù)值更低；改進(jìn)后的模型輸入特征不局限于連續(xù)實(shí)值數(shù)據(jù)，對(duì)含有稀疏特征的混合信息依然可以進(jìn)行精確融合，且融合精度較DNN模型高4.32個(gè)百分點(diǎn)、高BPNN模型16.90個(gè)百分點(diǎn)、高RF模型3.39個(gè)百分點(diǎn)；WDNN模型除了具有高精度的融合能力外，還兼具良好的通用性，可應(yīng)對(duì)復(fù)雜多變的溫室作物環(huán)境。