1種農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)架構(gòu)

周湘超 陳義明 朱幸輝

摘要隨著計(jì)算機(jī)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，農(nóng)業(yè)信息化的程度不斷提高，智慧農(nóng)業(yè)的發(fā)展成為歷史的必然。針對(duì)當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)功能單一和數(shù)據(jù)收集、利用不充分的現(xiàn)狀，分析了在當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)，特別是發(fā)展大規(guī)模智慧農(nóng)業(yè)的物聯(lián)網(wǎng)基礎(chǔ)上農(nóng)業(yè)大數(shù)據(jù)收集、存儲(chǔ)和分析利用的潛力，提出了1種切實(shí)可行的農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)軟件平臺(tái)架構(gòu)，解決了農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)收集、存儲(chǔ)、分析和展示的問題，對(duì)農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的收集、存儲(chǔ)和深度利用具有借鑒價(jià)值。

關(guān)鍵詞智慧農(nóng)業(yè);物聯(lián)網(wǎng);大數(shù)據(jù);農(nóng)業(yè)信息化

中圖分類號(hào)S126文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)0517-6611（2019）02-0241-05

doi：10.3969/j.issn.0517-6611.2019.02.071

2017年，中央一號(hào)文件繼續(xù)關(guān)注三農(nóng)問題，著重強(qiáng)調(diào)不斷以科技改革和創(chuàng)新，在數(shù)據(jù)的基礎(chǔ)上推動(dòng)傳統(tǒng)農(nóng)業(yè)向智慧農(nóng)業(yè)轉(zhuǎn)變，這也意味著以農(nóng)業(yè)物聯(lián)網(wǎng)和農(nóng)業(yè)大數(shù)據(jù)為中心的智慧農(nóng)業(yè)時(shí)代已經(jīng)到來[1]。因此，如何深入推進(jìn)農(nóng)業(yè)物聯(lián)網(wǎng)和農(nóng)業(yè)大數(shù)據(jù)的結(jié)合，挖掘農(nóng)業(yè)數(shù)據(jù)新價(jià)值，推動(dòng)新型農(nóng)業(yè)發(fā)展已成為當(dāng)前新型農(nóng)業(yè)研究的熱點(diǎn)。但由于傳統(tǒng)農(nóng)業(yè)的限制，目前農(nóng)業(yè)物聯(lián)網(wǎng)和數(shù)據(jù)的分析利用還存在多方面的問題。鑒于此，筆者針對(duì)當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)功能單一和數(shù)據(jù)收集、利用不充分的現(xiàn)狀，分析了在當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)，特別是發(fā)展大規(guī)模智慧農(nóng)業(yè)的物聯(lián)網(wǎng)基礎(chǔ)上農(nóng)業(yè)大數(shù)據(jù)收集、存儲(chǔ)和分析利用的潛力，提出了1種切實(shí)可行的農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)軟件平臺(tái)架構(gòu)，解決了農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)收集、存儲(chǔ)、分析和展示的問題，對(duì)農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的收集、存儲(chǔ)和深度利用具有借鑒價(jià)值。

1目前農(nóng)業(yè)物聯(lián)網(wǎng)存在的問題

1.1規(guī)模小，結(jié)構(gòu)單一，智能化程度低

研究表明，目前我國農(nóng)業(yè)物聯(lián)網(wǎng)的應(yīng)用規(guī)模普遍較小，如小型溫室和小型養(yǎng)殖場(chǎng)。不僅如此，當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)平臺(tái)均以單一功能的方式發(fā)展，如溫室大棚溫濕度控制系統(tǒng)、小型智能灌溉系統(tǒng)、智能監(jiān)測(cè)檢測(cè)系統(tǒng)等。這些系統(tǒng)雖然部署了大量的傳感器，但系統(tǒng)內(nèi)傳感器類型單一。受農(nóng)業(yè)發(fā)展現(xiàn)狀的限制，當(dāng)前農(nóng)業(yè)大都還采取未成規(guī)模、未成體系的生產(chǎn)方式。從智能程度來講，當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)的智能化水平僅限于簡(jiǎn)單的調(diào)控，如根據(jù)當(dāng)前環(huán)境控制溫濕度、光照強(qiáng)度等[2-3]。

1.2農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)利用程度低

農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)是一種典型的時(shí)間序列化數(shù)據(jù)，其數(shù)據(jù)的價(jià)值密度十分低，發(fā)現(xiàn)某個(gè)因素的發(fā)展趨勢(shì)或者幾個(gè)因素之間的相關(guān)關(guān)系需要從傳感器收集很長一段時(shí)間的數(shù)據(jù)。目前，大部分農(nóng)業(yè)物聯(lián)網(wǎng)平臺(tái)僅僅收集很小規(guī)模的數(shù)據(jù)，并簡(jiǎn)單地將數(shù)據(jù)應(yīng)用到一般控制系統(tǒng)，實(shí)現(xiàn)簡(jiǎn)單的調(diào)控功能。

1.3數(shù)據(jù)管理不完善

目前，物聯(lián)網(wǎng)技術(shù)與農(nóng)業(yè)生產(chǎn)結(jié)合越來越緊密，通過物聯(lián)網(wǎng)收集的農(nóng)業(yè)數(shù)據(jù)越來越多。但各種傳感器的差異性導(dǎo)致數(shù)據(jù)種類繁多且結(jié)構(gòu)復(fù)雜，這加大了農(nóng)業(yè)數(shù)據(jù)的存儲(chǔ)和開發(fā)利用的難度[4-5]。多年來，由于缺乏對(duì)農(nóng)業(yè)數(shù)據(jù)的統(tǒng)一管理意識(shí)，各種農(nóng)業(yè)數(shù)據(jù)自成體系，呈孤島式發(fā)展。

總之，受目前農(nóng)業(yè)生產(chǎn)組織形式的限制，當(dāng)前的農(nóng)業(yè)物聯(lián)網(wǎng)普遍規(guī)模小、功能單一、數(shù)據(jù)收集量小且分析利用程度地低，顯然無法適應(yīng)集約化、精細(xì)化、規(guī)模化和智能化現(xiàn)代農(nóng)業(yè)發(fā)展的要求。

2智慧農(nóng)業(yè)、農(nóng)業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)大數(shù)據(jù)的相關(guān)技術(shù)

2.1智慧農(nóng)業(yè)

發(fā)展智慧農(nóng)業(yè)是推進(jìn)現(xiàn)代化農(nóng)業(yè)、實(shí)現(xiàn)智慧經(jīng)濟(jì)的重要途徑。在傳統(tǒng)農(nóng)業(yè)的基礎(chǔ)上，充分發(fā)揮物聯(lián)網(wǎng)和信息化技術(shù)，促使傳統(tǒng)農(nóng)業(yè)向智能化方向轉(zhuǎn)型，便于控制和管理[6-7]。例如，農(nóng)業(yè)信息化、農(nóng)業(yè)電商、農(nóng)產(chǎn)品溯源、智能預(yù)警等都是智慧農(nóng)業(yè)的具體表現(xiàn)形式[8]。

一般而言，智慧農(nóng)業(yè)包含大量數(shù)據(jù)采集、計(jì)算、分析以及存儲(chǔ)。例如大型農(nóng)場(chǎng)的各類溫濕度等傳感器數(shù)據(jù)需要實(shí)時(shí)監(jiān)控、智能分析和預(yù)警;食品安全中實(shí)現(xiàn)農(nóng)產(chǎn)品溯源，從農(nóng)業(yè)生產(chǎn)到顧客消費(fèi)中各個(gè)環(huán)節(jié)的監(jiān)控、管理與全透明展現(xiàn)。

2.2物聯(lián)網(wǎng)

物聯(lián)網(wǎng)（Internet of Thing）是用特定的協(xié)議將感知設(shè)備連接在一起，將各種信息傳感設(shè)備接入互聯(lián)網(wǎng)，并組成信息交換和傳遞的巨型網(wǎng)絡(luò)系統(tǒng)。一般來說，物聯(lián)網(wǎng)技術(shù)是在互聯(lián)網(wǎng)的基礎(chǔ)上進(jìn)行了一定的擴(kuò)展和延伸[9-10]，主要由4層體系結(jié)構(gòu)組成，即感知層、傳輸層、處理層、應(yīng)用層[11]。

2.2.1感知層。感知層即物聯(lián)網(wǎng)系統(tǒng)中的神經(jīng)末梢，主要負(fù)責(zé)數(shù)據(jù)的收集和獲取。感知層由用于各類數(shù)據(jù)采集和識(shí)別的感知終端構(gòu)成，如各類型的傳感器、攝像頭等設(shè)備。

2.2.2傳輸層。傳送層即物聯(lián)網(wǎng)系統(tǒng)中的神經(jīng)系統(tǒng)，主要負(fù)責(zé)數(shù)據(jù)信息傳遞。傳輸層利用互聯(lián)網(wǎng)、通信網(wǎng)絡(luò)等設(shè)備及時(shí)有效地實(shí)現(xiàn)遠(yuǎn)程傳送。

2.2.3處理層。處理層即物聯(lián)網(wǎng)系統(tǒng)中的神經(jīng)中樞，主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)、處理和控制等操作。

2.2.4應(yīng)用層。應(yīng)用層即物聯(lián)網(wǎng)系統(tǒng)中的大腦和感知，主要負(fù)責(zé)數(shù)據(jù)的處理、挖掘和決策等，利用各種信息化技術(shù)和方案，滿足業(yè)務(wù)需求，實(shí)現(xiàn)智能化。

2.3大數(shù)據(jù)

隨著人類社會(huì)的進(jìn)步和科學(xué)技術(shù)的發(fā)展，互聯(lián)網(wǎng)世界迎來了大數(shù)據(jù)時(shí)代[12]。大數(shù)據(jù)具有容量大、種類多、產(chǎn)生速度快和價(jià)值密度低等特點(diǎn)，需要海量的存儲(chǔ)和強(qiáng)大的分析計(jì)算能力[13-14]。為了構(gòu)建滿足存儲(chǔ)和計(jì)算需求、廉價(jià)且伸縮性和容錯(cuò)性都滿足需求的大數(shù)據(jù)平臺(tái)，谷歌公司提出了大數(shù)據(jù)平臺(tái)的三大核心技術(shù)：

（1）Hadoop分布式文件系統(tǒng)。Hadoop Distributed File System，簡(jiǎn)稱HDFS，是一種以通用存儲(chǔ)介質(zhì)為基礎(chǔ)的虛擬文件系統(tǒng)[15]。其特點(diǎn)為

容錯(cuò)性高、存儲(chǔ)與處理數(shù)據(jù)量大、存儲(chǔ)和部署介質(zhì)廉價(jià)、數(shù)據(jù)訪問吞吐量高。

（2）Bigtable。Bigtable是一種支持大規(guī)模數(shù)據(jù)量存儲(chǔ)的非關(guān)系型分布式存儲(chǔ)系統(tǒng)，支持PB級(jí)數(shù)據(jù)存儲(chǔ)，具有適用性廣、可用性高、拓展性強(qiáng)、數(shù)據(jù)量大、性能優(yōu)等特點(diǎn)[16]。其典型代表有HBase。

（3）MapReduce。MapReduce是一種分布式并行計(jì)算引擎，其并行計(jì)算達(dá)到TB級(jí)。MapReduce首先將計(jì)算任務(wù)進(jìn)行劃分并分布到各個(gè)結(jié)點(diǎn)，并行計(jì)算完成后，匯總各結(jié)點(diǎn)上的結(jié)果作為整個(gè)計(jì)算任務(wù)的結(jié)果。由于MapReduce在計(jì)算過程中需要大量的磁盤輸入輸出，因此其計(jì)算性能受到影響，目前正被Spark取代。Spark是一種基于內(nèi)存的開源大數(shù)據(jù)計(jì)算引擎，不僅具有Hadoop MapReduce的所有優(yōu)點(diǎn)，還在運(yùn)行性能上大大優(yōu)于前者。此外，Spark擁有豐富的機(jī)器學(xué)習(xí)庫，可以完美結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘[17]。

在大數(shù)據(jù)核心平臺(tái)之上有一些處理大數(shù)據(jù)的專門模塊，如流處理模塊Kafka、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘模塊MLlib和搜索引擎模塊ElasticSearch等，形成整個(gè)大數(shù)據(jù)存儲(chǔ)和計(jì)算的生態(tài)環(huán)境。

3農(nóng)業(yè)物聯(lián)網(wǎng)中的大數(shù)據(jù)收集和利用的必要性

當(dāng)前的農(nóng)業(yè)物聯(lián)網(wǎng)規(guī)模小、功能單一、數(shù)據(jù)利用率低，似乎沒有大數(shù)據(jù)的用武之地。然而，當(dāng)前農(nóng)業(yè)物聯(lián)網(wǎng)潛力的深入挖掘以及未來大規(guī)模智慧農(nóng)業(yè)都需要農(nóng)業(yè)大數(shù)據(jù)。

3.1數(shù)據(jù)智能分析和決策需要大數(shù)據(jù)

每個(gè)傳感器收集的是典型的時(shí)間序列數(shù)據(jù)，是影響農(nóng)業(yè)生產(chǎn)的一種因素。對(duì)這些數(shù)據(jù)所做的智能分析，包括單因素變量的時(shí)間變化規(guī)律和多因素變量的相關(guān)分析，都需要大數(shù)據(jù)的支持。即使是功能單一且規(guī)模小的物聯(lián)網(wǎng)平臺(tái)，為數(shù)據(jù)分析和智能決策所收集的數(shù)據(jù)也是海量的。

對(duì)于文本類型的消息數(shù)據(jù)，假定農(nóng)場(chǎng)中有個(gè)傳感器設(shè)備，收集周期為T，信息的長度為L，那么該農(nóng)場(chǎng)的數(shù)據(jù)量volume計(jì)算公式為：

volumn=N×T×L

由上述公式可知，若每個(gè)傳感器以每秒收集1次數(shù)據(jù)的頻率收集數(shù)據(jù)，消息的長度為96 B（這是一個(gè)古典的保守估計(jì)消息長度），則單個(gè)傳感器每年的數(shù)據(jù)收集量大致為3.03 GB。

對(duì)于視頻流數(shù)據(jù)，假定1個(gè)視頻采集器以100幀/s的幀率、300像素×400像素的RGB格式采集數(shù)據(jù)，則它每天收集的數(shù)據(jù)量大致為3.11 TB數(shù)據(jù)。

3.2現(xiàn)代智慧農(nóng)業(yè)需要大數(shù)據(jù)

目前，由于科學(xué)的不斷進(jìn)步和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，傳統(tǒng)的手工勞作生產(chǎn)方式已逐漸被以物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)等技術(shù)為中心的現(xiàn)代化生產(chǎn)方式替換，生產(chǎn)模式也逐漸由粗放型向集約型和智能型方向轉(zhuǎn)變[18-19]。未來的農(nóng)業(yè)物聯(lián)網(wǎng)將是目前單一物聯(lián)網(wǎng)的集成，貫穿于生產(chǎn)、管理和市場(chǎng)等整個(gè)農(nóng)業(yè)全產(chǎn)業(yè)鏈，為智慧農(nóng)業(yè)提供了海量數(shù)據(jù)（圖1）。

農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)能夠?yàn)橹腔坜r(nóng)業(yè)帶來如下好處：

①精準(zhǔn)生產(chǎn)。

近年來，由于現(xiàn)階段農(nóng)業(yè)生產(chǎn)現(xiàn)狀的限制和供求信息的不對(duì)稱，先后出現(xiàn)多起農(nóng)產(chǎn)品滯銷和脫銷現(xiàn)象。一方面不斷涌現(xiàn)諸如“蒜你狠”“姜你軍”等網(wǎng)絡(luò)熱詞;另一方面出現(xiàn)農(nóng)戶的農(nóng)產(chǎn)品被賤賣或爛在地里的“賤菜傷農(nóng)”事件。因此，為了實(shí)現(xiàn)合理的“供需平衡”，需要不斷匯總農(nóng)業(yè)數(shù)據(jù)，打通和建立消費(fèi)者和農(nóng)戶之間的信息通道。例如通過大數(shù)據(jù)采集和分析某地某農(nóng)產(chǎn)品的供需情況，形成消費(fèi)者和農(nóng)戶之間的供需報(bào)告，結(jié)合供銷市場(chǎng)進(jìn)行分析，便能夠及時(shí)有效地規(guī)劃農(nóng)業(yè)生產(chǎn)，促進(jìn)供銷市場(chǎng)的平衡。

②自動(dòng)化生產(chǎn)。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，農(nóng)業(yè)生產(chǎn)過程中物理傳感器的應(yīng)用越來越廣泛。通過傳感器不斷采集作物成長過程中各項(xiàng)指標(biāo)的實(shí)時(shí)數(shù)據(jù)，如溫度、濕度、光照強(qiáng)度等，并結(jié)合歷史數(shù)據(jù)進(jìn)行分析。不斷提高農(nóng)業(yè)生產(chǎn)效率、作物生產(chǎn)質(zhì)量以及農(nóng)業(yè)監(jiān)控能力，如用濕度傳感器不斷收集某大棚中土壤濕度情況，就可以智能控制土壤濕度，確保作物正常生產(chǎn);通過不斷收集某農(nóng)場(chǎng)中的氣候數(shù)據(jù)，并結(jié)合歷史氣候數(shù)據(jù)進(jìn)行科學(xué)合理的氣象預(yù)測(cè)，從而有效規(guī)避由于氣象變化帶來的災(zāi)害，提高農(nóng)業(yè)生產(chǎn)。

③供應(yīng)鏈追蹤。隨著人們生活水平的提高，食品安全問題逐漸被關(guān)注。據(jù)統(tǒng)計(jì)，在發(fā)達(dá)國家，每年患上食源性疾病的人口占國家總?cè)丝诘?/3以上，這也就意味著公共衛(wèi)生問題日益嚴(yán)重[20]。如何對(duì)農(nóng)產(chǎn)品從生產(chǎn)、加工、儲(chǔ)運(yùn)到銷售，實(shí)現(xiàn)農(nóng)產(chǎn)品供應(yīng)鏈全方位的監(jiān)控、追蹤與管理變得尤為重要。通過物聯(lián)網(wǎng)和大數(shù)據(jù)等技術(shù)追蹤到農(nóng)產(chǎn)品從田園到餐桌的每個(gè)環(huán)節(jié)，實(shí)現(xiàn)基于RFID農(nóng)產(chǎn)品溯源，構(gòu)建安全健康農(nóng)產(chǎn)品供應(yīng)鏈。

④智慧化農(nóng)業(yè)。不斷推進(jìn)物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)在農(nóng)林牧漁等產(chǎn)業(yè)農(nóng)業(yè)生產(chǎn)中的應(yīng)用，不斷采集、匯聚和分析各個(gè)本體感知數(shù)據(jù)，不斷完善農(nóng)業(yè)智能檢測(cè)、分析、調(diào)度與管理能力，優(yōu)化農(nóng)業(yè)生產(chǎn)產(chǎn)業(yè)結(jié)構(gòu)，提升農(nóng)業(yè)生產(chǎn)效率，從而實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)、加工、儲(chǔ)運(yùn)、銷售的一體化。

4農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)框架的構(gòu)建

4.1應(yīng)用場(chǎng)景

該架構(gòu)設(shè)計(jì)主要針對(duì)具有一定規(guī)模的農(nóng)場(chǎng)，實(shí)現(xiàn)智慧農(nóng)業(yè)的相關(guān)場(chǎng)景，而對(duì)于小型農(nóng)業(yè)自動(dòng)化以及信息化不做闡述。例如大規(guī)模農(nóng)場(chǎng)中實(shí)時(shí)智能監(jiān)控管理;智能分析、決策和預(yù)警;以及農(nóng)產(chǎn)品溯源等實(shí)際場(chǎng)景。

如在大型農(nóng)場(chǎng)中，需要實(shí)現(xiàn)農(nóng)場(chǎng)的自動(dòng)化管理，包含對(duì)農(nóng)作物生產(chǎn)中的溫度、濕度、病蟲害等已經(jīng)加工生產(chǎn)銷售等一系列流程進(jìn)行管理、監(jiān)控及決策。需要在農(nóng)場(chǎng)中設(shè)置大量的傳感器等信息采集設(shè)備，如溫濕度傳感器、光線強(qiáng)度傳感器、電子監(jiān)控設(shè)備等。通過這些設(shè)備實(shí)時(shí)采集數(shù)據(jù)，并上傳到云端，提供云端服務(wù)的決策支持。由于智慧農(nóng)場(chǎng)一般占用面積較大，且需要全方位、實(shí)時(shí)監(jiān)控整個(gè)農(nóng)場(chǎng)數(shù)據(jù)，如溫度，濕度、光照強(qiáng)度以及實(shí)時(shí)畫面等信息，所以需要一整套高效架構(gòu)，以支持智慧農(nóng)場(chǎng)數(shù)據(jù)的采集、存儲(chǔ)和分析。

4.2物聯(lián)網(wǎng)架構(gòu)

為了支持智慧農(nóng)場(chǎng)數(shù)據(jù)的高效采集，設(shè)計(jì)物聯(lián)網(wǎng)架構(gòu)如圖2所示。該架構(gòu)主要分為物理層、云服務(wù)層，數(shù)據(jù)服務(wù)層三大模塊。通過各個(gè)層次的緊密配合，實(shí)現(xiàn)智慧農(nóng)業(yè)數(shù)據(jù)的高效收集、存儲(chǔ)和利用。

4.2.1物理層。

4.2.1.1傳感器。信息收集設(shè)備，可以將物理信息轉(zhuǎn)換成數(shù)字信息，如溫度傳感器、濕度傳感器、光照強(qiáng)度傳感器等。

4.2.1.2傳感器面板。主要負(fù)責(zé)數(shù)據(jù)的傳輸，一般由微型控制器實(shí)現(xiàn)，如Arduino2;通常情況下，1個(gè)傳感器面板鏈接多個(gè)信息采集設(shè)備。

4.2.1.3網(wǎng)絡(luò)橋。網(wǎng)絡(luò)橋負(fù)責(zé)連接多個(gè)傳感器面板，不同的傳感器面板通過物理連接的方式（如USB）或者通過無線協(xié)議（如Zigbee3）與網(wǎng)絡(luò)橋連接在一起。網(wǎng)絡(luò)橋通過網(wǎng)絡(luò)協(xié)議與互聯(lián)網(wǎng)相連，收集到傳感器數(shù)據(jù)后以一定的格式和方式組裝數(shù)據(jù)，并輸送到目的地或云端。

47卷2期周湘超等1種農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)架構(gòu)

4.2.2云服務(wù)層。

4.2.2.1中間件。中間件是物聯(lián)網(wǎng)云服務(wù)層的核心部分，主要負(fù)責(zé)物理層采集數(shù)據(jù)的收集與存儲(chǔ)，以及整個(gè)系統(tǒng)中參數(shù)的配置與存儲(chǔ)。該架構(gòu)中通過設(shè)計(jì)多種類型API的方式，通過網(wǎng)絡(luò)API與底層網(wǎng)絡(luò)橋?qū)崿F(xiàn)數(shù)據(jù)交換，包含物聯(lián)網(wǎng)數(shù)據(jù)的收集和確認(rèn)、平臺(tái)配置數(shù)據(jù)和路由數(shù)據(jù)的相關(guān)傳送。通過配置API實(shí)現(xiàn)管理員動(dòng)態(tài)管理和配置整個(gè)物聯(lián)網(wǎng)平臺(tái)。通過數(shù)據(jù)API與數(shù)據(jù)需求方實(shí)現(xiàn)交互。由圖3可知，當(dāng)中間件在接收到文件后，需要由收集器對(duì)收集到的數(shù)據(jù)進(jìn)行認(rèn)證校驗(yàn)，并將數(shù)據(jù)按照預(yù)定的規(guī)則拆分打包，再推送到消息隊(duì)列中，等待消息處理模塊的處理消費(fèi)，再按照一定的存儲(chǔ)規(guī)則實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)。

4.2.2.2網(wǎng)絡(luò)API。網(wǎng)絡(luò)API是一種信息交互接口，主要連接著中間件和網(wǎng)絡(luò)橋，實(shí)現(xiàn)兩者之間序列化數(shù)據(jù)和配置數(shù)據(jù)的傳遞與交互。為了兼容多種數(shù)據(jù)類型、解決數(shù)據(jù)的異構(gòu)性，必須設(shè)計(jì)一個(gè)統(tǒng)一機(jī)制標(biāo)準(zhǔn)化數(shù)據(jù)。針對(duì)數(shù)據(jù)的特征，擬采用通用的數(shù)據(jù)格式JSON格式來實(shí)現(xiàn)數(shù)據(jù)的編碼，并且規(guī)定數(shù)據(jù)中必須包含多個(gè)特征值：

id（傳感器的唯一標(biāo)識(shí)符）、timestamp（時(shí)間戳，也就是數(shù)據(jù)收集時(shí)間）、target（目的地，數(shù)據(jù)傳送的目的地）、value（數(shù)據(jù)的測(cè)量值）、type（數(shù)據(jù)類型）、數(shù)據(jù)存儲(chǔ)（數(shù)據(jù)存儲(chǔ)即持久化所收集的序列化數(shù)據(jù)）。其存儲(chǔ)介質(zhì)包含傳統(tǒng)的數(shù)據(jù)庫（如MYSQL），也包含分布式文件存儲(chǔ)（如HDFS、MongDB等）。

4.2.3架構(gòu)優(yōu)越性。

該軟件架構(gòu)高效兼容多種數(shù)據(jù)結(jié)構(gòu)，通過采用多種類型的信息采集設(shè)備，如傳感器、實(shí)時(shí)圖像采集設(shè)備可以采集多種多樣的實(shí)時(shí)數(shù)據(jù)。并通過統(tǒng)一的存儲(chǔ)格式以及傳輸協(xié)議實(shí)現(xiàn)不同數(shù)據(jù)類型的兼容，對(duì)于傳感器的異構(gòu)性也有較強(qiáng)的兼容能力。不僅如此，通過互聯(lián)網(wǎng)和網(wǎng)絡(luò)設(shè)備、系統(tǒng)管理員自我配置模塊，使平臺(tái)具有良好的可拓展性，對(duì)以存儲(chǔ)為目的的垂直擴(kuò)展和以處理為目的的水平擴(kuò)展都可以通過修改配置參數(shù)和修改物理線路的方式實(shí)現(xiàn)擴(kuò)展。另外，為了充分發(fā)揮和挖掘數(shù)據(jù)的價(jià)值，該架構(gòu)通過接口的方式，向用戶和三方應(yīng)用提供數(shù)據(jù)服務(wù)。

4.3大數(shù)據(jù)框架

鑒于存儲(chǔ)大量的時(shí)間序列化數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)已經(jīng)無法滿足，因而設(shè)計(jì)基于分布式存儲(chǔ)系統(tǒng)。其大數(shù)據(jù)系統(tǒng)架構(gòu)如圖4所示。

該大數(shù)據(jù)平臺(tái)主要包含數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算以及數(shù)據(jù)檢索與展現(xiàn)多個(gè)部分。

4.3.1數(shù)據(jù)接入。Kafka和Flume是可靠性和可用性的分布式數(shù)據(jù)收集組件。該系統(tǒng)架構(gòu)中，引入Kafka和Flume組件，實(shí)現(xiàn)對(duì)實(shí)時(shí)數(shù)據(jù)高效接入，如對(duì)實(shí)時(shí)視頻流數(shù)據(jù)的接收，傳感器系列化數(shù)據(jù)的接收都有良好的可操作性。

4.3.2

數(shù)據(jù)存儲(chǔ)。該架構(gòu)中主要引入分布式存儲(chǔ)系統(tǒng)HDFS實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)。系統(tǒng)借助于HDFS的多格式支持和良好的壓縮率，實(shí)現(xiàn)多種格式數(shù)據(jù)的大量存儲(chǔ)。

4.3.3數(shù)據(jù)計(jì)算?；趦?nèi)存的分布式計(jì)算引擎—Spark，可以通過SparkStreaming完美收集與處理流式數(shù)據(jù)。針對(duì)智慧農(nóng)業(yè)中大量的預(yù)測(cè)系統(tǒng)和病蟲害分析系統(tǒng)可以借助于Spark生態(tài)中的MLlib進(jìn)行訓(xùn)練與分析，得出準(zhǔn)確率較高的預(yù)測(cè)模型。

4.3.4數(shù)據(jù)檢索。該架構(gòu)借助于檢索性能十分強(qiáng)大的ElasticSearch，實(shí)現(xiàn)高效準(zhǔn)確的在大量數(shù)據(jù)中檢索所需要的數(shù)據(jù)信息。

該大數(shù)據(jù)處理架構(gòu)的建立不僅支持大量的異構(gòu)性數(shù)據(jù)的存儲(chǔ)，還對(duì)實(shí)時(shí)數(shù)據(jù)的接收、分析與處理有著良好的兼容性。針對(duì)多種數(shù)據(jù)類型，如文本數(shù)據(jù)和圖片視頻等數(shù)據(jù)也有著較好的兼容性。且基于分布式文件系統(tǒng)，其存儲(chǔ)量大、穩(wěn)定性強(qiáng)、可拓展性好。另外，該系統(tǒng)架構(gòu)通過Spark計(jì)算引擎，利用機(jī)器學(xué)習(xí)組件和圖算法等實(shí)現(xiàn)多種復(fù)雜的模型訓(xùn)練和構(gòu)建，以支持智能化管理、決策以及應(yīng)用。通過分布式搜索引擎ElasticSearch實(shí)現(xiàn)數(shù)據(jù)的高效檢索與查詢。

5總結(jié)和展望

隨著科學(xué)技術(shù)的不斷進(jìn)步和人們生活水平的不斷提高，傳統(tǒng)農(nóng)業(yè)向智慧農(nóng)業(yè)轉(zhuǎn)型的步伐不斷加大。在農(nóng)業(yè)生產(chǎn)中，科技化含量不斷的提高;現(xiàn)代農(nóng)業(yè)模式逐漸朝著農(nóng)業(yè)生產(chǎn)智能化、農(nóng)業(yè)服務(wù)精細(xì)化、農(nóng)業(yè)管理簡(jiǎn)約化的方向發(fā)展。農(nóng)業(yè)生產(chǎn)數(shù)據(jù)的收集、分析和處理也成為現(xiàn)代化農(nóng)業(yè)生產(chǎn)的必然。在未來的農(nóng)業(yè)生產(chǎn)和人們的生活中，有大量的農(nóng)業(yè)數(shù)據(jù)不斷地從農(nóng)場(chǎng)中產(chǎn)生，通過收集、存儲(chǔ)和利用這些農(nóng)業(yè)數(shù)據(jù)不斷推出新型農(nóng)業(yè)生產(chǎn)模型，從而指導(dǎo)農(nóng)業(yè)生產(chǎn)，提升農(nóng)業(yè)生產(chǎn)質(zhì)量與品質(zhì)。

該系統(tǒng)架構(gòu)通過深入分析當(dāng)前農(nóng)業(yè)生產(chǎn)現(xiàn)狀，把握當(dāng)前農(nóng)業(yè)和科技發(fā)展方向，以提升農(nóng)業(yè)生產(chǎn)質(zhì)量和農(nóng)業(yè)管理水平為目的，以農(nóng)業(yè)數(shù)據(jù)為中心，以提升人們生活水平和推動(dòng)智慧農(nóng)業(yè)發(fā)展為原則，提出適合當(dāng)前發(fā)展趨勢(shì)的農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)架構(gòu)。該系統(tǒng)架構(gòu)不僅對(duì)農(nóng)業(yè)數(shù)據(jù)的采集、組裝以及傳輸細(xì)節(jié)進(jìn)行詳細(xì)描述，而且還對(duì)農(nóng)業(yè)數(shù)據(jù)存儲(chǔ)、分析和管理提出了詳細(xì)的解決方案。結(jié)合智慧農(nóng)業(yè)中相關(guān)應(yīng)用場(chǎng)景與農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的特性，針對(duì)一般性的農(nóng)業(yè)描述數(shù)據(jù)、圖片數(shù)據(jù)和視頻流式數(shù)據(jù)進(jìn)行深入探討與分析，從而論證系統(tǒng)架構(gòu)的可行性和必要性。該系統(tǒng)架構(gòu)的設(shè)計(jì)不僅滿足一般性的農(nóng)業(yè)生產(chǎn)，而且對(duì)于大型智慧農(nóng)業(yè)的生產(chǎn)模式具有一定的指導(dǎo)意義。

參考文獻(xiàn)

[1] 張璠，滕桂法，周桂紅.農(nóng)業(yè)院校大數(shù)據(jù)專業(yè)課程體系建設(shè)研究[J].河北農(nóng)業(yè)大學(xué)學(xué)報(bào)（農(nóng)林教育版），2017，19（2）：23-26.

[2] 葛文杰，趙春江.農(nóng)業(yè)物聯(lián)網(wǎng)研究與應(yīng)用現(xiàn)狀及發(fā)展對(duì)策研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（7）：222-230.

[3] 葉宏寶，徐志福，石曉燕，等.設(shè)施農(nóng)業(yè)環(huán)境智能監(jiān)控管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].浙江農(nóng)業(yè)學(xué)報(bào)，2014，26（2）：467-472.

[4] STROHBACH M，ZIEKOW H，GAZIS V，et al.Towards a big data analytics framework for IoT and smart city applications[M]//XHAFA F，BAROLLI L，BAROLLI A，et al.Modeling and processing for next-generation big-data technologies.New York：Springer International Publishing，2015：257-282.

[5] 陳棟，吳保國，陳天恩，等.分布式多源農(nóng)林物聯(lián)網(wǎng)感知數(shù)據(jù)共享平臺(tái)研發(fā)[J].農(nóng)業(yè)工程學(xué)報(bào)，2017，33（S1）：300-307.

[6] 李國英.產(chǎn)業(yè)互聯(lián)網(wǎng)模式下現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)發(fā)展路徑[J].現(xiàn)代經(jīng)濟(jì)探討，2015（7）：77-82.

[7] 楊大蓉.中國智慧農(nóng)業(yè)產(chǎn)業(yè)發(fā)展策略[J].江蘇農(nóng)業(yè)科學(xué)，2014，42（4）：1-2.

[8] 方曉航.物聯(lián)網(wǎng)技術(shù)在農(nóng)業(yè)信息化中的應(yīng)用研究[D].長沙：湖南農(nóng)業(yè)大學(xué)，2014.

[9] KANG Y S，PARK I H，RHEE J，et al.MongoDB-based repository design for IoT-generated RFID/sensor big data[J].IEEE Sensors Journal，2015，16（2）：485-497.

[10] BREUR T.Big data and the internet of things[J].Journal of marketing analytics，2015，3（1）：1-4.

[11] 徐海斌，王鴻翔，楊曉琳，等.現(xiàn)代農(nóng)業(yè)中物聯(lián)網(wǎng)應(yīng)用現(xiàn)狀與展望[J].江蘇農(nóng)業(yè)科學(xué)，2013，41（5）：398-400.

[12] 孟小峰，李勇，祝建華.社會(huì)計(jì)算：大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，50（12）：2483-2491.

[13] 張引，陳敏，廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].計(jì)算機(jī)研究與發(fā)展，2013，50（S2）：216-233.

[14] ANAGNOSTOPOULOS I，ZEADALLY S，EXPOSITO E.Handling big data：Research challenges and future directions[J].The journal of supercomputing，2016，72（4）：1494-1516.

[15] 鄒振宇，鄭烇，王嵩，等.基于HDFS的云存儲(chǔ)系統(tǒng)小文件優(yōu)化方案[J].計(jì)算機(jī)工程，2016，42（3）：34-40，46.

[16] 史曉麗.Bigtable分布式存儲(chǔ)系統(tǒng)的研究[D].西安：西安電子科技大學(xué)，2014.

[17] 趙玲玲，劉杰，王偉.基于Spark的流程化機(jī)器學(xué)習(xí)分析方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2016，25（12）：162-168.

[18] 楊靜.大數(shù)據(jù)如何顛覆傳統(tǒng)農(nóng)業(yè)[J].農(nóng)家書屋，2016（4）：18-19.

[19] 田宏武，鄭文剛，李寒.大田農(nóng)業(yè)節(jié)水物聯(lián)網(wǎng)技術(shù)應(yīng)用現(xiàn)狀與發(fā)展趨勢(shì)[J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（21）：1-12.

[20] 徐粒子，金少華，陳志飛，等.安徽省2007～2010年食物中毒現(xiàn)況分析[J].安徽預(yù)防醫(yī)學(xué)雜志，2012，18（1）：59-60，64.