熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺設(shè)計

秦小立 葉露 李玉萍 劉燕群 梁偉紅

摘 要 熱帶農(nóng)業(yè)存在信息量大、數(shù)字化水平低、關(guān)聯(lián)性強、涉及領(lǐng)域多、結(jié)構(gòu)復(fù)雜等特點，大數(shù)據(jù)技術(shù)能可以進行資源整合、規(guī)律發(fā)現(xiàn)和價值數(shù)據(jù)挖掘，能很好地滿足熱帶農(nóng)業(yè)發(fā)展的需求。綜述國內(nèi)外農(nóng)業(yè)大數(shù)據(jù)發(fā)展現(xiàn)狀及存在問題，結(jié)合國家“一帶一路”戰(zhàn)略需求，分析我國熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺建設(shè)的重要性，然后提出熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺的基礎(chǔ)設(shè)施層、數(shù)據(jù)層、平臺層、應(yīng)用層4層架構(gòu)，設(shè)計了數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)儲存、數(shù)據(jù)分析挖掘、數(shù)據(jù)可視化和應(yīng)用6個環(huán)節(jié)的技術(shù)架構(gòu)，對6環(huán)節(jié)及技術(shù)架構(gòu)進行了詳細描述，并分析熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺的發(fā)展前景。

關(guān)鍵詞 熱帶農(nóng)業(yè) ；大數(shù)據(jù)應(yīng)用平臺 ；資源整合 ；可視化

中圖分類號 S126 ；TP392 文獻標(biāo)識碼 A Doi：10.12008/j.issn.1009-2196.2018.01.023

Abstract Tropical agriculture had a large amount of information， low level of digital， strong correlation， more areas and complex structure. Big Data technology had the advantage of promoting the development of tropical agriculture with integrate resources， law discovery and the value of data mining. The current situation and existing problems of agricultural data at home and abroad were summarized， the importance of the construction of big data application platform of tropical agriculture in China was analyzed with the national strategic needs of "the Belt and Road". Then， the four layers of big data application platform of tropical agriculture were proposed， including the infrastructure layer， data layer， platform layer and application layer. The data acquisition， data processing， data analysis and mining， data visualization and application were designed. The 5-tier architecture and five links were described in detail.The prospect of big data application platform of tropical agriculture was analyzed.

Keywords tropical agriculture ； big data application platform ； resource integration ； visualization

隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息處理與采集技術(shù)的發(fā)展，其在農(nóng)業(yè)上的應(yīng)用也越來越多，技術(shù)也越來越成熟。當(dāng)前，農(nóng)業(yè)物聯(lián)網(wǎng)的數(shù)據(jù)采集技術(shù)已經(jīng)基本滿足封閉半封閉環(huán)境下農(nóng)田環(huán)境的采集需求，為農(nóng)業(yè)數(shù)據(jù)的產(chǎn)生提供必要手段；云計算技術(shù)的發(fā)展推動互聯(lián)網(wǎng)的計算、存儲服務(wù)的模式變革，推動信息技術(shù)領(lǐng)域的飛速發(fā)展，為大數(shù)據(jù)技術(shù)的發(fā)展提供重要的服務(wù)基礎(chǔ)；大數(shù)據(jù)技術(shù)在電子商務(wù)、政務(wù)、工業(yè)、金融、醫(yī)療等領(lǐng)域的決策方面已有很好的進展和應(yīng)用[1]。然而，立足于云服務(wù)條件下的農(nóng)業(yè)大數(shù)據(jù)的決策和應(yīng)用依然處于起步階段，熱帶農(nóng)業(yè)的大數(shù)據(jù)條件建設(shè)和決策應(yīng)用更是不足。因此，熱帶農(nóng)業(yè)的發(fā)展和轉(zhuǎn)型升級，需要加快完善熱帶農(nóng)業(yè)的云計算服務(wù)和物聯(lián)網(wǎng)采集等設(shè)施建設(shè)，同時亟待解決熱帶農(nóng)業(yè)數(shù)據(jù)資源整合、共享服務(wù)和決策應(yīng)用問題。以服務(wù)熱帶農(nóng)業(yè)的發(fā)展為宗旨，設(shè)計以云計算為服務(wù)平臺、以農(nóng)業(yè)物聯(lián)網(wǎng)為主要采集手段、以資源整合、數(shù)據(jù)共享和決策應(yīng)用為目的的熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺，為加快熱帶農(nóng)業(yè)轉(zhuǎn)型升級、提高熱帶農(nóng)業(yè)國際競爭力提供重要的信息化手段。

1 國內(nèi)外農(nóng)業(yè)大數(shù)據(jù)的發(fā)展現(xiàn)狀

1.1 農(nóng)業(yè)大數(shù)據(jù)概述

農(nóng)業(yè)大數(shù)據(jù)是指農(nóng)業(yè)及涉農(nóng)相關(guān)領(lǐng)域所產(chǎn)生的全樣本或多樣本的不同類型數(shù)據(jù)的集合，是大數(shù)據(jù)理念、技術(shù)和方法在農(nóng)業(yè)領(lǐng)域的發(fā)展與應(yīng)用[2-3]。農(nóng)業(yè)涉及環(huán)境與資源、生產(chǎn)、市場、管理等環(huán)節(jié)，包括農(nóng)資、育種、耕地、播種、灌溉、施肥、病蟲害、收獲、倉儲、加工、物流、銷售、畜牧業(yè)生產(chǎn)、養(yǎng)殖管理等內(nèi)容，貫穿整個農(nóng)業(yè)生產(chǎn)、管理、銷售、運輸、消費等過程中的各個環(huán)節(jié)都會產(chǎn)生大量的數(shù)字化信息[4]。此外，農(nóng)業(yè)大數(shù)據(jù)還涉及跨行業(yè)、跨專業(yè)、跨領(lǐng)域的服務(wù)農(nóng)業(yè)發(fā)展的數(shù)據(jù)。農(nóng)業(yè)大數(shù)據(jù)智能采集主要是依托部署在農(nóng)業(yè)生產(chǎn)、農(nóng)產(chǎn)品運輸、儲藏過程中的各種傳感節(jié)點（環(huán)境溫濕度、土壤水分、二氧化碳含量、圖像等）及有線或無線通信網(wǎng)絡(luò)，完成農(nóng)業(yè)數(shù)據(jù)采集、傳輸、存儲、處理等環(huán)節(jié)的數(shù)據(jù)管理，結(jié)合機器學(xué)習(xí)、深度學(xué)習(xí)等大數(shù)據(jù)分析處理與挖掘方法，最終實現(xiàn)農(nóng)業(yè)生產(chǎn)、農(nóng)產(chǎn)品運儲環(huán)境的智能感知、智能預(yù)警、智能決策、智能分析以及專家在線指導(dǎo)，為農(nóng)業(yè)生產(chǎn)提供精準(zhǔn)化種植、可視化管理、智能化決策，為農(nóng)產(chǎn)品儲運環(huán)節(jié)提供合適的條件[5]。

1.2 國內(nèi)農(nóng)業(yè)大數(shù)據(jù)發(fā)展情況

在國內(nèi)，楊波等[6]積累了多年農(nóng)作物蟲害發(fā)生的數(shù)據(jù)，并在此基礎(chǔ)上利用SPSS統(tǒng)計分析軟件對氣象數(shù)據(jù)進行相關(guān)性分析，建立氣象數(shù)據(jù)與玉米螟害蟲發(fā)生關(guān)系的監(jiān)測預(yù)警模型，取得較好的預(yù)測效果。這是農(nóng)業(yè)大數(shù)據(jù)在蟲害發(fā)生預(yù)測方面一個具體應(yīng)用，是農(nóng)業(yè)大數(shù)據(jù)在農(nóng)業(yè)生產(chǎn)上應(yīng)用的一個體現(xiàn)。孟祥寶等[1]設(shè)計了一個涵蓋從服務(wù)、管理、應(yīng)用、技術(shù)、資源等5個關(guān)鍵環(huán)節(jié)的農(nóng)業(yè)大數(shù)據(jù)SMART應(yīng)用體系架構(gòu)，并詳細闡述了平臺的總體架構(gòu)和功能設(shè)計，采用IAAS、PAAS、SAAS服務(wù)模式，在Hadoop、HBase、MapReduce架構(gòu)基礎(chǔ)上實現(xiàn)農(nóng)業(yè)大數(shù)據(jù)智能分析平臺的數(shù)據(jù)采集、分析等功能。山東農(nóng)業(yè)大學(xué)建立農(nóng)業(yè)大數(shù)據(jù)應(yīng)用云平臺，包括數(shù)據(jù)資源、價格監(jiān)測、專題分析等多個模塊，涵蓋全國的農(nóng)業(yè)經(jīng)濟數(shù)據(jù)統(tǒng)計分析，農(nóng)業(yè)農(nóng)村生產(chǎn)信息分析，漁業(yè)、畜牧業(yè)、林業(yè)等行業(yè)信息資源統(tǒng)計以及糧食專題數(shù)據(jù)和農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)等數(shù)據(jù)統(tǒng)計、分析、處理功能。山東省主導(dǎo)建立了渤海糧倉科技示范工程大數(shù)據(jù)平臺，平臺體系主要包括數(shù)據(jù)采集、挖掘分析、監(jiān)測預(yù)警和決策服務(wù)四大模塊，其中數(shù)據(jù)采集包括人工采集、自動采集、無人機數(shù)據(jù)、遙感數(shù)據(jù)、歷史數(shù)據(jù)五大數(shù)據(jù)來源，是大數(shù)據(jù)技術(shù)在農(nóng)業(yè)應(yīng)用方面的一個良好示范，采用了Hadoop基礎(chǔ)框架，并應(yīng)用HDFS上的HBase、Hive數(shù)據(jù)存儲技術(shù)[7]。此外，云南農(nóng)業(yè)大學(xué)等建設(shè)云南農(nóng)業(yè)大數(shù)據(jù)中心，也采用hadoop技術(shù)框架。

1.3 國外農(nóng)業(yè)大數(shù)據(jù)的應(yīng)用情況

在國外，歐美國家的農(nóng)業(yè)大數(shù)據(jù)發(fā)展水平較為成熟，在精準(zhǔn)化、智能化等方面都取得了較好的應(yīng)用，在降低農(nóng)業(yè)生產(chǎn)成本和提高效率方面都有很好的利用價值。在美國，更加注重農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的精準(zhǔn)化和智能化，美國農(nóng)業(yè)巨頭Monsanto公司收購和并購了Precision Planting和Climate Corporation公司，擁有全球最大的資源和海量產(chǎn)量數(shù)據(jù)，并與Climate公司的氣象數(shù)據(jù)相結(jié)合，依靠Hadoop架構(gòu)進行氣候規(guī)律的分析預(yù)測，獲取更詳細的種植環(huán)境區(qū)劃和精細劃分的品種數(shù)據(jù)[8]；種業(yè)巨頭Du Pont Pioneer公司依托其優(yōu)質(zhì)種質(zhì)資源與研發(fā)技術(shù)，也已結(jié)合農(nóng)業(yè)大數(shù)據(jù)推進精準(zhǔn)農(nóng)業(yè)技術(shù)；美國Trimble公司提供基于GIS的整套農(nóng)機作業(yè)綜合解決方案“網(wǎng)絡(luò)農(nóng)場系統(tǒng)”，該系統(tǒng)能夠通過無線模塊連接整個農(nóng)場的軟件和硬件設(shè)備，從而使信息在室內(nèi)電腦、農(nóng)機車輛、其他終端間進行傳輸和處理[9]。目前，美國Deer公司的FramSight、Monsanto公司的ClimatePro或Field Scripts、Du Pont Pioneer公司的Field360等，都結(jié)合氣象數(shù)據(jù)、廣泛使用農(nóng)業(yè)大數(shù)據(jù)系統(tǒng)，整合農(nóng)機設(shè)備的種植和農(nóng)場的產(chǎn)量數(shù)據(jù)，以及氣象、種植區(qū)劃等多樣數(shù)據(jù)，實現(xiàn)更精準(zhǔn)的種植決策和農(nóng)事生產(chǎn)精準(zhǔn)化服務(wù)，幫助農(nóng)民提高產(chǎn)量和利潤，已經(jīng)應(yīng)用于大部分農(nóng)場并產(chǎn)生理想收益[8]。通過對農(nóng)業(yè)生產(chǎn)全過程的精準(zhǔn)化、智能化管理，可以最大程度地減少化肥、水資源、農(nóng)藥等投入，提高作業(yè)質(zhì)量，農(nóng)業(yè)經(jīng)營變得有序化，為農(nóng)業(yè)的精準(zhǔn)化、規(guī)?；?jīng)營服務(wù)。

1.4 我國農(nóng)業(yè)大數(shù)據(jù)存在的共性問題

當(dāng)前我國農(nóng)業(yè)普遍存在的問題還很多，如農(nóng)業(yè)的效率低、效益不好、效能不足等，導(dǎo)致這些問題的主要原因有生產(chǎn)要素耦合效應(yīng)缺乏、產(chǎn)業(yè)關(guān)聯(lián)性低下、農(nóng)業(yè)產(chǎn)銷等大循環(huán)系統(tǒng)性和協(xié)調(diào)性不夠，形成了我國粗放式的農(nóng)業(yè)發(fā)展模式。此外，長期以來農(nóng)業(yè)基準(zhǔn)數(shù)據(jù)資源薄弱、數(shù)據(jù)結(jié)構(gòu)不合理、數(shù)據(jù)細化程度不夠、數(shù)據(jù)標(biāo)準(zhǔn)化和規(guī)范化水平低等原因，這也我國農(nóng)業(yè)生產(chǎn)智能化和精準(zhǔn)化水平難以很好實施的重要原因[10]。然而農(nóng)業(yè)大數(shù)據(jù)的發(fā)展在改善這些問題方面都有積極作用，開展農(nóng)業(yè)大數(shù)據(jù)資源整合與分析應(yīng)用是我國農(nóng)業(yè)向高附加值產(chǎn)業(yè)發(fā)展的重要階段。

1.5 熱帶農(nóng)業(yè)大數(shù)據(jù)發(fā)展的意義

熱帶農(nóng)業(yè)是我國熱帶與亞熱帶地區(qū)的特色農(nóng)業(yè)，我國熱區(qū)在農(nóng)業(yè)生產(chǎn)、價格信息發(fā)布等方面也有一定的基礎(chǔ)，有農(nóng)業(yè)環(huán)境監(jiān)測、中國熱帶農(nóng)業(yè)信息網(wǎng)、海南農(nóng)產(chǎn)品流通公共信息服務(wù)平臺、病蟲害防治以及農(nóng)產(chǎn)品電商平臺等多個系統(tǒng)平臺，采集農(nóng)業(yè)監(jiān)測信息與數(shù)據(jù)。然而這些數(shù)據(jù)資源的利用率極低，在大數(shù)據(jù)處理方面研究基礎(chǔ)十分薄弱，利用能力更低。如何充分利用物聯(lián)網(wǎng)采集的農(nóng)業(yè)信息進行農(nóng)業(yè)智能化生產(chǎn)，如何利用氣象環(huán)境信息預(yù)測給農(nóng)業(yè)帶來的影響，如何利用農(nóng)產(chǎn)品電子商務(wù)的銷售信息預(yù)測農(nóng)產(chǎn)品價格和消費者的需求？而大數(shù)據(jù)技術(shù)在數(shù)據(jù)整合與決策方面的優(yōu)勢是解決這些問題的一個重要手段[11]。

2017年5月，農(nóng)業(yè)部、發(fā)改委、商務(wù)部、外交部四部委聯(lián)合發(fā)布《共同推進“一帶一路”建設(shè)農(nóng)業(yè)合作的愿景與行動》，明確指出中國南部省區(qū)立足熱帶農(nóng)業(yè)，與東南亞、南亞國家開展糧食、熱帶經(jīng)濟作物等種植合作，發(fā)展態(tài)勢良好，勢頭強勁，均取得顯著成效。繼續(xù)推動熱帶農(nóng)業(yè)“走出去”、加快整合包括東南亞、南亞國家的國外熱帶農(nóng)業(yè)大數(shù)據(jù)資源、完善我國熱帶農(nóng)業(yè)大數(shù)據(jù)資源庫，是完全符合當(dāng)前我國“一帶一路”國際戰(zhàn)略，有利于深化與東南亞、南亞等熱帶國家的農(nóng)業(yè)合作，有利于中國農(nóng)業(yè)與世界農(nóng)業(yè)的融合發(fā)展[12]。

因此，我國熱帶地區(qū)擁有較為豐富的農(nóng)業(yè)科技資源、生產(chǎn)環(huán)境資源信息、價格監(jiān)測信息、農(nóng)業(yè)氣象信息等資源，且分布相對集中，同時擁有一定的東南亞、南亞國家的農(nóng)業(yè)信息，對整合國內(nèi)外熱帶農(nóng)業(yè)數(shù)據(jù)資源和大數(shù)據(jù)分析應(yīng)用具有良好的優(yōu)勢。建設(shè)大數(shù)據(jù)處理云平臺，實現(xiàn)大數(shù)據(jù)的存儲、融合、分析處理，設(shè)計高效的大數(shù)據(jù)處理模型或算法是開展大數(shù)據(jù)應(yīng)用的重要基礎(chǔ)，是進行農(nóng)業(yè)大數(shù)據(jù)處理的條件。同時在服務(wù)熱帶農(nóng)業(yè)產(chǎn)業(yè)發(fā)展和國家“一帶一路”戰(zhàn)略方面優(yōu)勢突出。大數(shù)據(jù)技術(shù)為熱帶農(nóng)業(yè)向智能化方向發(fā)展提供現(xiàn)實可行性，為熱帶農(nóng)產(chǎn)品的銷售拓寬渠道，為熱帶農(nóng)業(yè)資源整合提供手段，為熱帶農(nóng)業(yè)提供開放式的農(nóng)業(yè)科技共享服務(wù)，為強化熱帶農(nóng)業(yè)的國際合作提供必要基礎(chǔ)。

2 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺

2.1 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺建設(shè)目標(biāo)

針對熱區(qū)農(nóng)業(yè)存在的基準(zhǔn)數(shù)據(jù)資源薄弱、數(shù)據(jù)結(jié)構(gòu)不合理、數(shù)據(jù)標(biāo)準(zhǔn)化水平差、農(nóng)業(yè)內(nèi)部信息流不暢等問題，充分運用大數(shù)據(jù)、云計算等先進技術(shù)和理念，加快推進熱區(qū)農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺建設(shè)、海量數(shù)據(jù)積累和歷史數(shù)據(jù)清洗，逐步形成以大數(shù)據(jù)平臺為基礎(chǔ)、以大數(shù)據(jù)管理為核心、以大數(shù)據(jù)應(yīng)用為主導(dǎo)、以大數(shù)據(jù)安全體系為保障的熱帶農(nóng)業(yè)大數(shù)據(jù)發(fā)展總體框架，實現(xiàn)熱帶農(nóng)業(yè)數(shù)據(jù)資源從粗放式、低效能分散建設(shè)向集約化、高績效協(xié)同發(fā)展模式轉(zhuǎn)變；以問題和需求為導(dǎo)向，逐步推進大數(shù)據(jù)在熱帶農(nóng)業(yè)管理、決策和公共服務(wù)領(lǐng)域的廣泛應(yīng)用，突破一批大數(shù)據(jù)關(guān)鍵技術(shù)，轉(zhuǎn)化一批大數(shù)據(jù)科研成果，形成一批大數(shù)據(jù)科研產(chǎn)品，有效推動熱區(qū)農(nóng)業(yè)產(chǎn)業(yè)轉(zhuǎn)型升級和生產(chǎn)方式轉(zhuǎn)變。

2.2 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺架構(gòu)設(shè)計

2.2.1 平臺總體架構(gòu)

熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺是在云計算架構(gòu)運行的，既支持批處理，也支持流處理，是依托分布式處理、網(wǎng)格計算等技術(shù)，提供大規(guī)模數(shù)據(jù)的批量處理能力和小規(guī)模數(shù)據(jù)的實時響應(yīng)能力，很好的滿足熱帶農(nóng)業(yè)大數(shù)據(jù)的應(yīng)用需求。云計算架構(gòu)下的熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺架構(gòu)如圖1所示，具體分析如下。

基礎(chǔ)設(shè)施層：利用資源虛擬化技術(shù)，對計算設(shè)備、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備進行虛擬化，實現(xiàn)資源的統(tǒng)一虛擬化資源池，并通過資源管理技術(shù)完成資源統(tǒng)一管理、任務(wù)分配等，并提供統(tǒng)一資源服務(wù)。

數(shù)據(jù)層：利用數(shù)據(jù)庫和云計算等技術(shù)，存儲熱帶農(nóng)業(yè)國內(nèi)外數(shù)據(jù)資源，具體數(shù)據(jù)資源模塊如圖2所示。價格數(shù)據(jù)是針對我國部分熱帶農(nóng)產(chǎn)品價格波動較大的問題，開展市場價格預(yù)警預(yù)測；共享數(shù)據(jù)是為適應(yīng)我國熱帶農(nóng)業(yè)開展共享服務(wù)需求，設(shè)計支持權(quán)威數(shù)據(jù)的共享服務(wù)模式。

平臺層：在云計算的強大服務(wù)能力的基礎(chǔ)上，設(shè)計數(shù)據(jù)平臺和統(tǒng)一數(shù)據(jù)服務(wù)平臺。數(shù)據(jù)平臺主要提供支持熱帶農(nóng)業(yè)大數(shù)據(jù)的匯總、挖掘、實時匯總和二次匯總的數(shù)值計算服務(wù)；統(tǒng)一數(shù)據(jù)服務(wù)平臺主要提供熱帶大數(shù)據(jù)平臺的后臺數(shù)據(jù)服務(wù)管理功能和用戶的多種數(shù)據(jù)應(yīng)用請求服務(wù)，也包括這些服務(wù)任務(wù)的調(diào)度和監(jiān)控功能。

應(yīng)用層：應(yīng)用層依然是在云服務(wù)的基礎(chǔ)上，設(shè)計的熱帶農(nóng)業(yè)共性的應(yīng)用服務(wù)或管理服務(wù)，包括數(shù)據(jù)資源、專題分析、熱區(qū)GIS服務(wù)、數(shù)據(jù)共享服務(wù)以及管理服務(wù)的用戶管理、日志管理、接口管理和數(shù)據(jù)安全。該層為終端應(yīng)用提供基礎(chǔ)的應(yīng)用服務(wù)和請求服務(wù)。

終端應(yīng)用：支持PC/手機瀏覽器、移動APP、微信公眾平臺等終端的對熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的請求服務(wù)，提供多終端的請求和接收服務(wù)。

2.2.2 平臺技術(shù)框架

熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺有數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析挖掘、數(shù)據(jù)可視化以及應(yīng)用六個環(huán)節(jié)組成，為涉農(nóng)政府部門、科研機構(gòu)、企業(yè)或個人提供必要的參考，同時，提供數(shù)據(jù)共享服務(wù)功能，為數(shù)據(jù)利用和平臺應(yīng)用方面的擴張?zhí)峁┛尚行浴Ｈ鐖D3所示，具體分析如下。

2.2.2.1 數(shù)據(jù)采集

作為第一產(chǎn)業(yè)的熱帶農(nóng)業(yè)受自然條件、地理環(huán)境的影響很大，農(nóng)業(yè)大數(shù)據(jù)的獲取必然要采集地理、氣象、土壤等自然與環(huán)境數(shù)據(jù)，熱帶農(nóng)業(yè)大數(shù)據(jù)采集內(nèi)容還包括熱帶農(nóng)業(yè)生產(chǎn)、農(nóng)產(chǎn)品市場、價格、貿(mào)易以及政策和科技等數(shù)據(jù)，涉及的面很廣，完善的數(shù)據(jù)獲取難度大。目前主要的采集手段有：物聯(lián)網(wǎng)采集、互聯(lián)網(wǎng)共享、現(xiàn)有數(shù)據(jù)的標(biāo)準(zhǔn)化轉(zhuǎn)換以及人工調(diào)研采集等方法。涉及到互聯(lián)網(wǎng)采集、智能識別技術(shù)、定位技術(shù)、移動終端等服務(wù)技術(shù)。

物聯(lián)網(wǎng)采集：主要是利用傳感器、遙感、電子標(biāo)簽、視頻等硬件技術(shù)采集熱帶生產(chǎn)、流通等過程產(chǎn)生的環(huán)境數(shù)據(jù)和信息。

互聯(lián)網(wǎng)采集：利用互聯(lián)網(wǎng)web技術(shù)，獲取互聯(lián)網(wǎng)共享的農(nóng)業(yè)種植以及農(nóng)產(chǎn)品生產(chǎn)、加工、銷售、消費、市場等信息。

現(xiàn)有數(shù)據(jù)標(biāo)準(zhǔn)化：對當(dāng)前已有的氣象、土壤質(zhì)量、地理環(huán)境以及已經(jīng)建設(shè)的農(nóng)業(yè)數(shù)據(jù)平臺的信息進行標(biāo)準(zhǔn)化，實現(xiàn)數(shù)據(jù)的共享。

人工采集：人工采集涉及面很廣，主要是針對上述幾種手段無法獲取或需要更新的信息。此外，還提供相對完善的數(shù)據(jù)源開放接口，為數(shù)據(jù)的共享輸入和輸出服務(wù)。

2.2.2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理包括數(shù)據(jù)的清洗（ETL）、數(shù)據(jù)融合、數(shù)據(jù)規(guī)約等處理方法。

數(shù)據(jù)清洗：針對熱帶農(nóng)業(yè)大數(shù)據(jù)信息多類型、多數(shù)據(jù)源等問題，通過數(shù)據(jù)篩選、剔除、均值等方法，優(yōu)化實際數(shù)據(jù)的多源化構(gòu)成問題，提供開放式處理接口，為提供更好的數(shù)據(jù)質(zhì)量和更精確分析結(jié)果打基礎(chǔ)。

數(shù)據(jù)融合：主要是針對非結(jié)構(gòu)化的數(shù)據(jù)進行規(guī)范化處理、對已有數(shù)據(jù)的整理入庫、對多種數(shù)據(jù)類型數(shù)據(jù)的優(yōu)化處理等，結(jié)合熱帶農(nóng)業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系，利用數(shù)據(jù)融合技術(shù)，包括多傳感器數(shù)據(jù)融合、遙感數(shù)據(jù)融合及基于XML數(shù)據(jù)融合3種方式，完成數(shù)據(jù)的處理工作。數(shù)據(jù)融合技術(shù)主要應(yīng)用為：解決數(shù)據(jù)的語義沖突，建立數(shù)據(jù)之間關(guān)聯(lián)，實現(xiàn)農(nóng)業(yè)生產(chǎn)環(huán)境信息多元融合。

數(shù)據(jù)規(guī)約：分為數(shù)值歸約和維度歸約。數(shù)據(jù)歸約也稱樣本歸約，在綜合考慮計算成本、存儲要求、精度及熱帶農(nóng)業(yè)的特性，從數(shù)據(jù)集中選出一個有代表性的樣本子集。維度歸約與特征歸約相似，使用數(shù)據(jù)編碼或變換，剔除不重要或不相關(guān)的數(shù)據(jù)，或者通過重組減少源數(shù)據(jù)的維數(shù)，以便得到原數(shù)據(jù)的歸約或“壓縮”表示。

2.2.2.3 數(shù)據(jù)存儲

熱帶農(nóng)業(yè)大數(shù)據(jù)存儲主要采用Hadoop架構(gòu)的分布式存儲系統(tǒng)HDFS，利用MPP架構(gòu)的數(shù)據(jù)庫系統(tǒng)NOSQL，實現(xiàn)海量數(shù)據(jù)的快速存儲、備份、轉(zhuǎn)換以及安全管理，保障數(shù)據(jù)的安全、穩(wěn)定、可靠，維護各方的利益。提供熱帶農(nóng)業(yè)大數(shù)據(jù)的高效、快速的存儲管理及服務(wù)，提供半開放式的存儲管理與安全服務(wù)接口。

2.2.2.4 數(shù)據(jù)分析挖掘

熱帶農(nóng)業(yè)大數(shù)據(jù)的分析挖掘是建立在Storm架構(gòu)上的實時處理數(shù)據(jù)分析挖掘系統(tǒng)，主要利用統(tǒng)計、回歸、主成分分析、神經(jīng)網(wǎng)絡(luò)、支持向量機、聚類等機器學(xué)習(xí)和關(guān)聯(lián)分析方法，以及專業(yè)的數(shù)學(xué)模型等方法，實現(xiàn)大數(shù)據(jù)的決策預(yù)測與評價，為熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用提供分析挖掘功能，也為新型挖掘算法提供數(shù)據(jù)分析接口，提高熱帶農(nóng)業(yè)大數(shù)據(jù)平臺的分析與挖掘能力。

2.2.2.5 數(shù)據(jù)可視化

熱帶農(nóng)業(yè)大數(shù)據(jù)可視化主要對序列化數(shù)據(jù)進行二維可視化，實現(xiàn)大數(shù)據(jù)檢索和分析結(jié)果的直觀性展示。主要通過趨勢分析圖的生成，揭示規(guī)律，提供預(yù)測等，通過圖形化方法展示大數(shù)據(jù)檢索信息的圖形化規(guī)律，為人眼發(fā)現(xiàn)知識和規(guī)律提供條件。

2.2.2.6 應(yīng)用

熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺的終端應(yīng)用主要是可視化展示預(yù)測預(yù)警結(jié)果和序列數(shù)據(jù)的變化趨勢，提供產(chǎn)量、價格、面積的預(yù)測以及病蟲害的預(yù)警功能，支持耕地質(zhì)量評價與國外熱帶農(nóng)業(yè)國家的動態(tài)變化查詢與監(jiān)測，并支撐權(quán)威數(shù)據(jù)的共享服務(wù)，服務(wù)熱帶農(nóng)業(yè)有關(guān)部門和個人。

熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺提供多終端的應(yīng)用，支持PC/手機瀏覽器、APP、微信公眾平臺等方式的瀏覽應(yīng)用，提供直觀的可視化展示和信息推送服務(wù)。

3 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺的發(fā)展前景

當(dāng)前，熱帶農(nóng)業(yè)的發(fā)展需要大數(shù)據(jù)技術(shù)的支持推動產(chǎn)量和利潤的提高，是行業(yè)對大數(shù)據(jù)平臺的迫切需求。大數(shù)據(jù)技術(shù)在多個領(lǐng)域的應(yīng)用成果也表明，其在推動熱帶農(nóng)業(yè)發(fā)展方面具有很大的優(yōu)勢。從大數(shù)據(jù)平臺架構(gòu)的發(fā)展過程，大數(shù)據(jù)處理的主流架構(gòu)有Hadoop、Spark、Storm，且它們各有優(yōu)勢[13]：Hadoop的HDFS對農(nóng)業(yè)的海量數(shù)據(jù)存儲與管理方面具有優(yōu)勢；Spark是基于內(nèi)存計算的大數(shù)據(jù)離線處理技術(shù)，處理速度優(yōu)于Hadoop；而基于流計算的Storm在實時數(shù)據(jù)處理方面具有優(yōu)勢，適合處理設(shè)施農(nóng)業(yè)生產(chǎn)中的溫濕度、二氧化碳等實時數(shù)據(jù)，實時反饋給用戶，調(diào)節(jié)設(shè)施大棚的環(huán)境。依據(jù)熱帶農(nóng)業(yè)發(fā)展的具體需求，一般以HDFS為農(nóng)業(yè)大數(shù)據(jù)存儲和管理基礎(chǔ)架構(gòu)，結(jié)合實際應(yīng)用選擇與Spark或Storm架構(gòu)結(jié)合使用，有時三種架構(gòu)同時應(yīng)用，且技術(shù)相對成熟，滿足農(nóng)業(yè)生產(chǎn)的需求，也是當(dāng)前最適合農(nóng)業(yè)大數(shù)據(jù)發(fā)展的技術(shù)架構(gòu)組合。以下從應(yīng)用角度分析熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺的發(fā)展前景。

3.1 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺具有資源整合的能力

熱帶農(nóng)業(yè)數(shù)據(jù)歷史長、數(shù)量大、類型多，但長期存在信息資源分散、核心數(shù)據(jù)缺失、數(shù)據(jù)結(jié)構(gòu)不一、質(zhì)量不高、開發(fā)利用不足、共享程度低等問題，限制了熱帶農(nóng)業(yè)信息化的發(fā)展。通過熱帶農(nóng)業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范化，利用熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺整合當(dāng)前的熱帶農(nóng)業(yè)數(shù)據(jù)資源，突破制約熱帶農(nóng)業(yè)發(fā)展的瓶頸，實現(xiàn)熱帶農(nóng)業(yè)數(shù)據(jù)共享服務(wù)。

3.2 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用與服務(wù)

實現(xiàn)對國內(nèi)外熱帶農(nóng)業(yè)數(shù)據(jù)資源的獲取，保障渠道暢通，完善監(jiān)測統(tǒng)計、分析預(yù)警、信息發(fā)布等信息監(jiān)測預(yù)警數(shù)據(jù)，實現(xiàn)全產(chǎn)業(yè)鏈的信息服務(wù)，支撐熱帶農(nóng)業(yè)生產(chǎn)智能化、資源環(huán)境精準(zhǔn)監(jiān)測、災(zāi)害預(yù)測預(yù)報、病蟲害監(jiān)測預(yù)警、質(zhì)量安全追溯、產(chǎn)銷信息監(jiān)測以及數(shù)據(jù)共享服務(wù)，同時為政府有關(guān)部門提供數(shù)據(jù)科學(xué)決策依據(jù)，滿足農(nóng)業(yè)種植、農(nóng)業(yè)市場、農(nóng)業(yè)科研等經(jīng)營者和參與者的信息需求和發(fā)布，加快推動熱帶農(nóng)業(yè)的轉(zhuǎn)型升級，為熱帶農(nóng)業(yè)的可持續(xù)發(fā)展提供基礎(chǔ)。

3.3 熱帶農(nóng)業(yè)大數(shù)據(jù)應(yīng)用平臺還提供監(jiān)測國外熱帶農(nóng)業(yè)發(fā)展情況

通過大數(shù)據(jù)平臺了解國外熱帶農(nóng)業(yè)發(fā)展情況，有利于中國熱帶農(nóng)業(yè)和國外熱帶農(nóng)業(yè)的合作，為我國的涉農(nóng)企業(yè)、機構(gòu)提供國外農(nóng)業(yè)發(fā)展的政策和動態(tài)，符合國家“一帶一路”戰(zhàn)略的發(fā)展。

參考文獻

[1] 孟祥寶，謝秋波，劉海峰，等. 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)和平臺建設(shè)[J]. 廣東農(nóng)業(yè)科學(xué)，2014，41（14）：173-178.

[2] 溫孚江，宋長青. 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用、研究與展望[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息，2017（05）：31-36.

[3] 溫孚江. 農(nóng)業(yè)大數(shù)據(jù)研究的戰(zhàn)略意義與協(xié)同機制[J]. 高等農(nóng)業(yè)教育，2013（11）：3-6.

[4] 謝潤梅. 農(nóng)業(yè)大數(shù)據(jù)的獲取與利用[J]. 安徽農(nóng)業(yè)科學(xué)，2015，43（30）：383-385.

[5] 計算機學(xué)會大數(shù)據(jù)專家委員會，中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟. 中國計算機學(xué)會文集-中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展報告（2014）/中國計算機學(xué)會文集[R]. 北京：機械工業(yè)出版社，2015：88-98.

[6] 楊 波，劉 勇，牟少敏，等. 大數(shù)據(jù)背景下山東省二代玉米螟發(fā)生程度預(yù)測模型的構(gòu)建[J]. 計算機研究與發(fā)展，2014，51（S2）：160-165.

[7] 柳平增. 農(nóng)業(yè)大數(shù)據(jù)平臺在智慧農(nóng)業(yè)中的應(yīng)用——以渤海糧倉科技示范工程大數(shù)據(jù)平臺為例[J]. 高科技與產(chǎn)業(yè)化，2015（05）：68-71.

[8] 中文互聯(lián)網(wǎng)數(shù)據(jù)資訊中心. 中美兩國農(nóng)業(yè)大數(shù)據(jù)對比與思考[J]. 農(nóng)業(yè)工程技術(shù)，2016，36（30）：63-64.

[9] 王少農(nóng)，王 熙. 美國天寶公司網(wǎng)絡(luò)農(nóng)場系統(tǒng)[J]. 現(xiàn)代化農(nóng)業(yè)，2015（02）：59-60.

[10] 許世衛(wèi)，王東杰，李哲敏. 大數(shù)據(jù)推動農(nóng)業(yè)現(xiàn)代化應(yīng)用研究[J]. 中國農(nóng)業(yè)科學(xué)，2015，48（17）：3 429-3 438.

[11] 秦小立，羅 微，李玉萍，等. 基于云計算的熱帶農(nóng)業(yè)信息服務(wù)平臺設(shè)計[J]. 廣東農(nóng)業(yè)科學(xué)，2014，41（19）：188-193.

[12] 中華人民共和國農(nóng)業(yè)部，中華人民共和國國家發(fā)展改革委員會，中華人民共和國商務(wù)部，等. 共同推進“一帶一路”建設(shè)農(nóng)業(yè)合作的愿景與行動[N]. 農(nóng)民日報，2017-05-12（01）.

[13] 黎玲萍，毛克彪，付秀麗，等. 國內(nèi)外農(nóng)業(yè)大數(shù)據(jù)應(yīng)用研究分析[J]. 高技術(shù)通訊，2016，26（04）：414-422.