天津市“三農(nóng)”大數(shù)據(jù)平臺(tái)構(gòu)建

張保巖 趙麗華 辛北軍

摘要：天津市農(nóng)業(yè)信息化發(fā)展中存在的數(shù)據(jù)不能有效整合、數(shù)據(jù)利用率低、分析模型缺乏等問(wèn)題，導(dǎo)致增加了數(shù)據(jù)統(tǒng)一治理的難度和成本，降低了政府在服務(wù)水平和監(jiān)管效率上的施政能力。本研究在充分分析數(shù)據(jù)資源和應(yīng)用現(xiàn)狀及問(wèn)題的基礎(chǔ)上，提出了天津市“三農(nóng)”大數(shù)據(jù)平臺(tái)的整體框架，設(shè)計(jì)了包括農(nóng)業(yè)大數(shù)據(jù)中心基礎(chǔ)子平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、基礎(chǔ)管理服務(wù)子平臺(tái)、數(shù)據(jù)開發(fā)開放子平臺(tái)、可視化數(shù)據(jù)挖掘系統(tǒng)、智能檢索系統(tǒng)、農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用、運(yùn)維管理系統(tǒng)的核心功能，描述了基于J2EE平臺(tái)的實(shí)現(xiàn)方式。通過(guò)建設(shè)天津市“三農(nóng)”大數(shù)據(jù)平臺(tái)，進(jìn)一步加快實(shí)施針對(duì)農(nóng)口各部門信息資源在基礎(chǔ)數(shù)據(jù)元及共享業(yè)務(wù)元中的整理和挖掘，實(shí)現(xiàn)全市統(tǒng)一的涉農(nóng)基礎(chǔ)數(shù)據(jù)元管理體系，構(gòu)建統(tǒng)一的大數(shù)據(jù)集中處理基礎(chǔ)設(shè)施和大數(shù)據(jù)綜合服務(wù)平臺(tái)，全面服務(wù)于天津農(nóng)口各單位對(duì)大數(shù)據(jù)信息共享、數(shù)據(jù)挖掘和智能服務(wù)的需求，推動(dòng)天津市農(nóng)業(yè)農(nóng)村大數(shù)據(jù)產(chǎn)業(yè)共建融合和創(chuàng)新發(fā)展。

關(guān)鍵詞：農(nóng)業(yè)大數(shù)據(jù);天津;三農(nóng);數(shù)據(jù)共享;平臺(tái);農(nóng)業(yè)信息化

中圖分類號(hào)：S126 ??文獻(xiàn)標(biāo)志碼： A ?文章編號(hào)：1002-1302（2020）17-0245-05

信息技術(shù)與經(jīng)濟(jì)社會(huì)的交匯融合引發(fā)了數(shù)據(jù)迅猛增長(zhǎng)，數(shù)據(jù)已成為國(guó)家基礎(chǔ)性戰(zhàn)略資源，大數(shù)據(jù)正日益對(duì)全球生產(chǎn)、流通、分配、消費(fèi)活動(dòng)以及經(jīng)濟(jì)運(yùn)行機(jī)制、社會(huì)生活方式和國(guó)家治理能力產(chǎn)生重要影響。大數(shù)據(jù)源于互聯(lián)網(wǎng)及信息技術(shù)的廣泛應(yīng)用，大數(shù)據(jù)概念體系在2014年左右逐漸成形，發(fā)展出相關(guān)的技術(shù)、產(chǎn)品、應(yīng)用和標(biāo)準(zhǔn)，并逐步形成包括數(shù)據(jù)資源與API、開源平臺(tái)與工具、數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等內(nèi)容的大數(shù)據(jù)生態(tài)系統(tǒng)[2-3]。隨著云計(jì)算、互聯(lián)網(wǎng)、泛在網(wǎng)、物聯(lián)網(wǎng)等現(xiàn)代信息技術(shù)在各行各業(yè)的大量應(yīng)用和實(shí)踐，大數(shù)據(jù)產(chǎn)業(yè)正快速發(fā)展成為對(duì)數(shù)量巨大、來(lái)源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)[4]。

我國(guó)農(nóng)業(yè)農(nóng)村信息化工作經(jīng)過(guò)近十多年的發(fā)展，信息化基礎(chǔ)設(shè)施已有較大改善，廣播、電視、電話、互聯(lián)網(wǎng)等紛紛入村入戶，智能手機(jī)、農(nóng)業(yè)物聯(lián)網(wǎng)、智能農(nóng)機(jī)具逐漸發(fā)展并普及，為農(nóng)業(yè)大數(shù)據(jù)的發(fā)展應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)[5]。以大數(shù)據(jù)為代表的現(xiàn)代信息技術(shù)推動(dòng)了農(nóng)業(yè)生產(chǎn)方式、流通方式、貿(mào)易方式的變革[6-7]。2015年，原農(nóng)業(yè)部發(fā)布了《關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見》，明確了農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展和應(yīng)用的總體要求、農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展和應(yīng)用的重點(diǎn)領(lǐng)域、實(shí)施進(jìn)度安排以及組織領(lǐng)導(dǎo)和保障。2020年中央一號(hào)文件更是提出了依托現(xiàn)有資源建設(shè)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)中心，加快物聯(lián)網(wǎng)、大數(shù)據(jù)、區(qū)塊鏈、人工智能、第五代移動(dòng)通信網(wǎng)絡(luò)、智慧氣象等現(xiàn)代信息技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用[8-9]。

近年來(lái)，天津市緊緊圍繞自身智慧城市定位，以“推動(dòng)數(shù)據(jù)整合、深化應(yīng)用創(chuàng)新、培育壯大產(chǎn)業(yè)”為重點(diǎn)，強(qiáng)化大數(shù)據(jù)發(fā)展和應(yīng)用的頂層設(shè)計(jì)，統(tǒng)籌建設(shè)大數(shù)據(jù)基礎(chǔ)設(shè)施，在保障網(wǎng)絡(luò)信息安全的前提下，推進(jìn)政務(wù)信息數(shù)據(jù)和社會(huì)公共數(shù)據(jù)資源共享開放[10-11]。天津市農(nóng)業(yè)農(nóng)村委員會(huì)及其下屬單位還分別建設(shè)和使用了48套信息化系統(tǒng)，涵蓋種植業(yè)生產(chǎn)、畜牧業(yè)生產(chǎn)、漁業(yè)生產(chǎn)、服務(wù)業(yè)以及農(nóng)業(yè)科教、產(chǎn)業(yè)、監(jiān)管、農(nóng)產(chǎn)品質(zhì)量安全、新農(nóng)村建設(shè)、農(nóng)村經(jīng)營(yíng)、農(nóng)村改革等各類三農(nóng)行業(yè)，以上系統(tǒng)已采集大量結(jié)構(gòu)化和非結(jié)構(gòu)化信息資源，并分散部署和存儲(chǔ)在異構(gòu)網(wǎng)絡(luò)環(huán)境中，目前缺乏在統(tǒng)一的基礎(chǔ)設(shè)施環(huán)境和統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系框架內(nèi)完成數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)加載和資源分享，增加了數(shù)據(jù)統(tǒng)一治理的難度和成本，降低了政府在服務(wù)水平和監(jiān)管效率上的施政能力，并在信息資源整合挖掘和大數(shù)據(jù)服務(wù)層面沒(méi)有做到統(tǒng)一管理和精準(zhǔn)服務(wù)，數(shù)據(jù)資源的使用效率較低，數(shù)據(jù)壁壘仍然存在[12-13]。因此，需通過(guò)建設(shè)天津市“三農(nóng)”大數(shù)據(jù)平臺(tái)，進(jìn)一步加快實(shí)施針對(duì)農(nóng)口各部門信息資源在基礎(chǔ)數(shù)據(jù)元及共享業(yè)務(wù)元中的整理和挖掘，實(shí)現(xiàn)全市統(tǒng)一的涉農(nóng)基礎(chǔ)數(shù)據(jù)元管理體系，構(gòu)建統(tǒng)一的大數(shù)據(jù)集中處理基礎(chǔ)設(shè)施和大數(shù)據(jù)綜合服務(wù)平臺(tái)，全面服務(wù)于天津農(nóng)口各單位對(duì)大數(shù)據(jù)信息共享、數(shù)據(jù)挖掘和智能服務(wù)的需求，推動(dòng)天津市農(nóng)業(yè)農(nóng)村大數(shù)據(jù)產(chǎn)業(yè)共建融合和創(chuàng)新發(fā)展[14-15]。

1 現(xiàn)狀及問(wèn)題分析

1.1 數(shù)據(jù)資源現(xiàn)狀及問(wèn)題

隨著天津市涉農(nóng)信息資源梳理工作的開展，全市農(nóng)業(yè)農(nóng)村數(shù)據(jù)資源收集、整合、處理、分析等方面取得了一定的成效，已完成天津市農(nóng)業(yè)農(nóng)村委員會(huì)26個(gè)專題、48件業(yè)務(wù)事項(xiàng)、105個(gè)數(shù)據(jù)大項(xiàng)、1 800多個(gè)指標(biāo)小項(xiàng)的業(yè)務(wù)元數(shù)據(jù)進(jìn)行專項(xiàng)采集，共采集數(shù)據(jù)資源326萬(wàn)多條，其中結(jié)構(gòu)化數(shù)據(jù)2 421 439條、非結(jié)構(gòu)化數(shù)據(jù)159 971條共計(jì)35.8 GB、WEB接口數(shù)據(jù) 32 637 條、外部單位數(shù)據(jù)共計(jì)645 439條，數(shù)據(jù)規(guī)模涵蓋了3 683個(gè)行政村、213家龍頭企業(yè)、544家農(nóng)民合作社、22 188 名村干部、139 404 名基層黨員、6 355 名入黨積極分子、790個(gè)幫扶單位、2 062 名駐村干部和120 075戶農(nóng)村困難群體，為全市農(nóng)業(yè)大數(shù)據(jù)處理中心建設(shè)提供了數(shù)據(jù)基礎(chǔ)和業(yè)務(wù)基礎(chǔ)，同時(shí)天津市農(nóng)業(yè)農(nóng)村委員會(huì)也出臺(tái)了一系列的政策措施，為今后農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展及智能農(nóng)業(yè)建設(shè)提供了政策保障。但目前還存在一些亟待解決的問(wèn)題，如農(nóng)口信息化系統(tǒng)建設(shè)較多、數(shù)據(jù)資源相對(duì)分散、數(shù)據(jù)資源共享互通方式單一、大數(shù)據(jù)分析挖掘深度不足、數(shù)據(jù)綜合利用效能不足等。

1.2 應(yīng)用系統(tǒng)現(xiàn)狀及問(wèn)題

近年來(lái)，天津市農(nóng)業(yè)農(nóng)村委員會(huì)在農(nóng)業(yè)物聯(lián)網(wǎng)區(qū)域試驗(yàn)工程、“三網(wǎng)聯(lián)動(dòng)”工程和“金農(nóng)工程”等框架體系下完成了農(nóng)業(yè)信息化和智能農(nóng)業(yè)建設(shè)和改進(jìn)，建設(shè)了共計(jì)48個(gè)在用農(nóng)業(yè)信息化應(yīng)用系統(tǒng)，極大地增強(qiáng)了天津農(nóng)業(yè)農(nóng)村工作的信息化水平，并取得了較好的示范效應(yīng)和規(guī)模效應(yīng)，完成了異構(gòu)信息系統(tǒng)在共享數(shù)據(jù)資源和縱深業(yè)務(wù)領(lǐng)域的整合和歸并。但是在大數(shù)據(jù)處理中心以及大數(shù)據(jù)智慧化平臺(tái)建設(shè)方面卻凸顯出一些問(wèn)題，如大數(shù)據(jù)中心建設(shè)滯后、大數(shù)據(jù)分析模型應(yīng)用缺乏、鄉(xiāng)村數(shù)據(jù)分析應(yīng)用類型片面。

2 “三農(nóng)”大數(shù)據(jù)平臺(tái)架構(gòu)

結(jié)合天津市農(nóng)業(yè)農(nóng)村委員會(huì)及其下轄單位工作特點(diǎn)和實(shí)際情況，在進(jìn)行平臺(tái)規(guī)劃、設(shè)計(jì)、開發(fā)、部署和運(yùn)行管理規(guī)劃時(shí)應(yīng)堅(jiān)持“實(shí)用、可靠、先進(jìn)、標(biāo)準(zhǔn)、開放”的方針，遵循“總體規(guī)劃、統(tǒng)籌兼顧，需求牽引、面向應(yīng)用，統(tǒng)一規(guī)劃、分級(jí)使用，整合資源、集中管理，統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一架構(gòu)，平臺(tái)統(tǒng)建、資源共享，安全運(yùn)行、穩(wěn)定可靠，維護(hù)便捷、跟蹤可控，技術(shù)創(chuàng)新、能力拓展，服務(wù)驅(qū)動(dòng)、開放協(xié)作”的基本原則，設(shè)計(jì)平臺(tái)框架如圖1所示。

從圖1可以看到，基礎(chǔ)管理服務(wù)平臺(tái)完成對(duì)現(xiàn)有系統(tǒng)及數(shù)據(jù)資源進(jìn)行收取和歸集，建設(shè)數(shù)據(jù)治理、數(shù)據(jù)集成、任務(wù)調(diào)度和專題管理等子功能，并將處理后的數(shù)據(jù)結(jié)果集通過(guò)數(shù)據(jù)清洗、規(guī)則引導(dǎo)和結(jié)果合并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)中，建設(shè)農(nóng)業(yè)基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)資源要素?cái)?shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)經(jīng)營(yíng)交易數(shù)據(jù)倉(cāng)庫(kù)和農(nóng)業(yè)管理服務(wù)數(shù)據(jù)倉(cāng)庫(kù)，并為可視化數(shù)據(jù)挖掘系統(tǒng)提供指標(biāo)數(shù)據(jù)分解和業(yè)務(wù)模型解析渠道，形成數(shù)據(jù)挖掘算法、數(shù)據(jù)挖掘流程和數(shù)據(jù)挖掘?qū)嵗?，為農(nóng)業(yè)大數(shù)據(jù)“一張圖”系統(tǒng)和數(shù)據(jù)開放系統(tǒng)提供數(shù)據(jù)和模型支撐。其中農(nóng)業(yè)大數(shù)據(jù)“一張圖”系統(tǒng)提供數(shù)據(jù)檢索和瀏覽、地圖數(shù)據(jù)專題分析以及地圖預(yù)警功能為天津市農(nóng)業(yè)農(nóng)村委員會(huì)各級(jí)領(lǐng)導(dǎo)、業(yè)務(wù)處室和行業(yè)局辦提供一張圖“畫圖作戰(zhàn)”功能;建設(shè)智能檢索系統(tǒng)提供全文檢索和語(yǔ)音檢索服務(wù);建設(shè)數(shù)據(jù)開放系統(tǒng)為農(nóng)口直屬單位和社會(huì)公眾提供數(shù)據(jù)資源開放訪問(wèn)和下載業(yè)務(wù)。

3 功能設(shè)計(jì)

基于對(duì)業(yè)務(wù)需求和用戶需求描述，本平臺(tái)在功能需求方面主要建設(shè)基礎(chǔ)管理服務(wù)子平臺(tái)、數(shù)據(jù)開發(fā)開放子平臺(tái)、可視化數(shù)據(jù)挖掘系統(tǒng)、智能檢索以及農(nóng)業(yè)大數(shù)據(jù)“一張圖”等五大類主要功能。

3.1 農(nóng)業(yè)大數(shù)據(jù)中心基礎(chǔ)子平臺(tái)

以大數(shù)據(jù)技術(shù)體系架構(gòu)下的數(shù)據(jù)源技術(shù)、數(shù)據(jù)采集層技術(shù)、數(shù)據(jù)存儲(chǔ)層技術(shù)、數(shù)據(jù)計(jì)算層技術(shù)、數(shù)據(jù)業(yè)務(wù)層技術(shù)以及數(shù)據(jù)展現(xiàn)層技術(shù)實(shí)現(xiàn)集數(shù)據(jù)統(tǒng)一采集、數(shù)據(jù)清洗整合、數(shù)據(jù)分布式存儲(chǔ)、流式并行計(jì)算、智能搜索引擎、挖掘算法模型于一體的農(nóng)業(yè)大數(shù)據(jù)處理中心基礎(chǔ)技術(shù)平臺(tái)。

3.2 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)

通過(guò)Hadoop資源權(quán)限管理技術(shù)和分布式數(shù)據(jù)倉(cāng)庫(kù)（基于HIVE）技術(shù)建設(shè)農(nóng)業(yè)大數(shù)據(jù)處理中心數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)子系統(tǒng)主要由以下五大類數(shù)據(jù)倉(cāng)庫(kù)構(gòu)成：農(nóng)業(yè)基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)資源要素?cái)?shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)經(jīng)營(yíng)交易數(shù)據(jù)倉(cāng)庫(kù)、農(nóng)業(yè)管理服務(wù)數(shù)據(jù)倉(cāng)庫(kù)以及涉農(nóng)大數(shù)據(jù)處理中心日志類數(shù)據(jù)倉(cāng)庫(kù)。

3.3 基礎(chǔ)管理服務(wù)子平臺(tái)

基礎(chǔ)管理服務(wù)平臺(tái)基于Hadoop大數(shù)據(jù)處理框架，整合開源技術(shù)庫(kù)和商業(yè)化的工具組件，對(duì)農(nóng)業(yè)大數(shù)據(jù)處理中心數(shù)據(jù)倉(cāng)庫(kù)中的各類數(shù)據(jù)資源進(jìn)行整合、挖掘、歸并、處理和共享?；A(chǔ)管理服務(wù)平臺(tái)主要由以下9個(gè)功能子系統(tǒng)組成：數(shù)據(jù)治理子系統(tǒng)、數(shù)據(jù)集成子系統(tǒng)、云化ETL子系統(tǒng)、任務(wù)管理子系統(tǒng)、專題管理子系統(tǒng)、文件管理子系統(tǒng)、接口管理子系統(tǒng)、資源申請(qǐng)子系統(tǒng)以及統(tǒng)計(jì)分析和數(shù)據(jù)畫像子系統(tǒng)。

3.4 數(shù)據(jù)開發(fā)開放子平臺(tái)

數(shù)據(jù)開發(fā)開放平臺(tái)將建立統(tǒng)一的面向農(nóng)口各業(yè)務(wù)部門和單位內(nèi)部使用的數(shù)據(jù)開放信息門戶，對(duì)農(nóng)業(yè)大數(shù)據(jù)處理中心中匯聚的信息資源進(jìn)行數(shù)據(jù)檢索、數(shù)據(jù)申請(qǐng)和數(shù)據(jù)下載等操作。數(shù)據(jù)開放子系統(tǒng)建設(shè)內(nèi)容包括：數(shù)據(jù)開放后臺(tái)管理、數(shù)據(jù)開放資源管理、數(shù)據(jù)開放統(tǒng)一門戶、數(shù)據(jù)開放統(tǒng)計(jì)分析、注冊(cè)及授權(quán)管理以及個(gè)人中心等功能。

3.5 可視化數(shù)據(jù)挖掘系統(tǒng)

可視化數(shù)據(jù)挖掘系統(tǒng)以知識(shí)圖譜為可視化數(shù)據(jù)挖掘模型體系，以數(shù)據(jù)挖掘算法為手段，以Hadoop大數(shù)據(jù)計(jì)算框架下的數(shù)據(jù)挖掘組件Mahout為計(jì)算組件，搭建起一套基于海量農(nóng)業(yè)信息資源的可視化數(shù)據(jù)挖掘系統(tǒng)，用戶可以在這套系統(tǒng)提供的圖形化數(shù)據(jù)挖掘操作平臺(tái)中的完成數(shù)據(jù)挖掘流程配置、挖掘節(jié)點(diǎn)關(guān)聯(lián)，數(shù)據(jù)挖掘算法配置等操作，此外通過(guò)數(shù)據(jù)挖掘系統(tǒng)提供的語(yǔ)義關(guān)聯(lián)、數(shù)據(jù)關(guān)聯(lián)、動(dòng)態(tài)感知等底層功能，天津市農(nóng)業(yè)農(nóng)村委員會(huì)決策機(jī)構(gòu)用戶還能在系統(tǒng)中完成智能查找、伴隨分析、智能標(biāo)簽（畫像系統(tǒng)）等功能操作，全面提升用戶對(duì)農(nóng)業(yè)農(nóng)村智慧型大數(shù)據(jù)分析系統(tǒng)的使用體驗(yàn)。

3.6 智能檢索系統(tǒng)

智能檢索系統(tǒng)通過(guò)完成對(duì)Hadoop大數(shù)據(jù)技術(shù)體系下的搜索引擎分布式處理框架和語(yǔ)音識(shí)別技術(shù)的集成，搭建智能檢索門戶系統(tǒng)，對(duì)農(nóng)業(yè)大數(shù)據(jù)處理中心中存儲(chǔ)的海量農(nóng)業(yè)信息數(shù)據(jù)資源進(jìn)行快速、準(zhǔn)確、高效的智能化信息檢索，可實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)資源、非結(jié)構(gòu)化數(shù)據(jù)資源以及其他數(shù)據(jù)資源的即席搜索、模糊搜索、高級(jí)搜索、空間搜索。

3.7 農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用

通過(guò)建設(shè)底層的地圖服務(wù)和應(yīng)用引擎，建設(shè)農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用系統(tǒng)，實(shí)現(xiàn)農(nóng)業(yè)土地現(xiàn)狀、農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)、農(nóng)村經(jīng)濟(jì)發(fā)展、農(nóng)產(chǎn)品生產(chǎn)流通和特色品牌農(nóng)業(yè)建設(shè)等領(lǐng)域?qū)崿F(xiàn)業(yè)務(wù)圖層疊加顯示、“一張圖”專題分析、地圖檢索以及信息監(jiān)測(cè)和異常預(yù)警等服務(wù)。

3.8 運(yùn)維管理系統(tǒng)

運(yùn)維管理系統(tǒng)能實(shí)現(xiàn)自動(dòng)化腳本部署、集成可控的任務(wù)調(diào)度、集成運(yùn)維管理、可視化管理操作界面、平臺(tái)安全審計(jì)等功能。另外可通過(guò)運(yùn)維管理系統(tǒng)實(shí)現(xiàn)信息資源目錄、三農(nóng)大數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)采集平臺(tái)等多個(gè)系統(tǒng)的一體化運(yùn)維，降低平臺(tái)管理難度。此外運(yùn)維管理系統(tǒng)實(shí)現(xiàn)對(duì)集群的狀態(tài)和上層應(yīng)用服務(wù)的運(yùn)行狀態(tài)和性能指標(biāo)進(jìn)行監(jiān)控，對(duì)異常事件產(chǎn)生警報(bào)和記錄，為運(yùn)行維護(hù)人員提供農(nóng)業(yè)大數(shù)據(jù)處理中心以及上層應(yīng)用的部署和配置管理。

4 平臺(tái)實(shí)現(xiàn)

平臺(tái)基于J2EE平臺(tái)進(jìn)行開發(fā)，利用Spring boot、Duboo、Zookeeper搭建的共享服務(wù)平臺(tái)，用于RESTful、XML/JSON服務(wù)的快速開發(fā)、注冊(cè)、發(fā)現(xiàn)、路由等工作;利用Hadoop大數(shù)據(jù)體系技術(shù)，對(duì)海量農(nóng)業(yè)數(shù)據(jù)進(jìn)行并行計(jì)算和分布式處理;支持結(jié)構(gòu)化數(shù)據(jù)庫(kù)系統(tǒng)Oracle＼Mysql＼Sqlserver、利用NoSql數(shù)據(jù)庫(kù)作為前端界面緩存數(shù)據(jù)庫(kù);同時(shí)構(gòu)建文件庫(kù)和異構(gòu)索引庫(kù)存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)信息。平臺(tái)核心界面如圖2、圖3所示。

5 結(jié)論

天津市“三農(nóng)”大數(shù)據(jù)平臺(tái)，符合電子政務(wù)、大數(shù)據(jù)、云計(jì)算產(chǎn)業(yè)整體發(fā)展規(guī)律，適合天津市農(nóng)業(yè)農(nóng)村委員會(huì)電子政務(wù)及信息化發(fā)展現(xiàn)狀的要求，是天津市農(nóng)業(yè)農(nóng)村委員會(huì)當(dāng)前最為關(guān)鍵的信息化建設(shè)需要，為天津市農(nóng)業(yè)信息化及農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的深化與開展做出必要的拓展，對(duì)推動(dòng)政府改革、提升政府工作效率、提升管理機(jī)構(gòu)的科學(xué)決策能力，都有著重要意義。

平臺(tái)統(tǒng)一天津全市農(nóng)口各單位、各部門農(nóng)業(yè)信息化推廣及相關(guān)農(nóng)業(yè)大數(shù)據(jù)建設(shè)底層計(jì)算環(huán)境，全面構(gòu)建開放型、服務(wù)型、共享型的大數(shù)據(jù)處理技術(shù)中心;新建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、基礎(chǔ)服務(wù)管理系統(tǒng)和數(shù)據(jù)開放開放平臺(tái)，完成農(nóng)業(yè)大數(shù)據(jù)處理中心技術(shù)管理平臺(tái)的搭建，實(shí)現(xiàn)對(duì)農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)經(jīng)營(yíng)、農(nóng)業(yè)科技、農(nóng)業(yè)貿(mào)易、農(nóng)業(yè)市場(chǎng)、農(nóng)業(yè)流通等各環(huán)節(jié)、各節(jié)點(diǎn)、各流程數(shù)據(jù)的分類管理、整合入庫(kù)、精準(zhǔn)定位和開放服務(wù)，完成農(nóng)業(yè)農(nóng)村大數(shù)據(jù)“聚通用”最后一千米的建設(shè);新建設(shè)可視化數(shù)據(jù)挖掘應(yīng)用系統(tǒng)、智能檢索系統(tǒng)以及農(nóng)業(yè)大數(shù)據(jù)“一張圖”應(yīng)用系統(tǒng)，完成農(nóng)業(yè)大數(shù)據(jù)處理中心技術(shù)服務(wù)平臺(tái)的搭建，構(gòu)建面向天津市農(nóng)業(yè)農(nóng)村委員會(huì)各單位、部門綜合業(yè)務(wù)場(chǎng)景應(yīng)用體系下的數(shù)據(jù)挖掘、預(yù)警預(yù)測(cè)、數(shù)據(jù)關(guān)聯(lián)、即席查詢、數(shù)據(jù)地圖等上層服務(wù)應(yīng)用，最終實(shí)現(xiàn)天津市農(nóng)業(yè)農(nóng)村委員會(huì)各類信息資源的互聯(lián)互通、業(yè)務(wù)協(xié)同、信息共享和挖掘應(yīng)用，進(jìn)而全面提高天津市三農(nóng)管理的綜合決策、監(jiān)管治理和服務(wù)公眾的水平，加快天津市農(nóng)業(yè)農(nóng)村委員會(huì)農(nóng)業(yè)農(nóng)村管理方式和工作模式轉(zhuǎn)變，創(chuàng)新綠色經(jīng)濟(jì)發(fā)展新業(yè)態(tài)，以大數(shù)據(jù)和信息化打造精準(zhǔn)治理、多方協(xié)作的農(nóng)業(yè)農(nóng)村社會(huì)治理新模式[16]。

參考文獻(xiàn)：

[1]Gandomi A，Haider M. Beyond the hype： big data concepts，methods，and analytics[J]. International Journal of Information Management，2015，35 （2）： 137-144.

[2]Mayer-Schnberger V. 大數(shù)據(jù)時(shí)代[M]. 杭州：浙江人民出版社，2012：23-25.

[3]Kamilaris A，Kartakoullis A，Prenafeta-Boldú F X. A review on the practice of big data analysis in agriculture[J]. Computers and Electronics in Agriculture，2017，143：23-37.

[4]羅治情，官 波，陳娉婷，等. “三農(nóng)”數(shù)據(jù)云平臺(tái)設(shè)計(jì)研究[J]. 江蘇農(nóng)業(yè)科學(xué)，2018，46（17）：209-212.

[5]郝 炘，李建華，牛明雷，等. 物聯(lián)網(wǎng)背景下農(nóng)業(yè)信息化建設(shè)的現(xiàn)狀、問(wèn)題與對(duì)策研究[J]. 農(nóng)學(xué)學(xué)報(bào)，2019，9（11）：67-71.

[6]吳文斌，史 云，段玉林，等. 天空地遙感大數(shù)據(jù)賦能果園生產(chǎn)精準(zhǔn)管理[J]. 中國(guó)農(nóng)業(yè)信息，2019，31（4）：1-9.

[7]Mario L，Jorge E H，Maria M E A D，et al. Agri-food 4.0：a survey of the supply chains and technologies for the future agriculture[J]. Computers in Industry，2020，117：103187.

[8]盧文林，李秀峰. 全國(guó)基層農(nóng)技推廣信息化平臺(tái)農(nóng)技咨詢數(shù)據(jù)庫(kù)的構(gòu)建[J]. 中國(guó)科技成果，2013（2）：38-39.

[9]溫孚江，宋長(zhǎng)青. 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用、研究與展望[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息，2017（5）： 31-36.

[10]海云瑞，張學(xué)儉. 寧夏農(nóng)業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)共享及綜合應(yīng)用平臺(tái)研究與設(shè)計(jì)[J]. 寧夏農(nóng)林科技，2017，58（9）：51-53.

[11]康春鵬，董春巖，王文月，等. 我國(guó)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展應(yīng)用研究[J]. 中國(guó)農(nóng)業(yè)信息，2018，30（6）：100-104.

[12]郭雷風(fēng). 面向農(nóng)業(yè)領(lǐng)域的大數(shù)據(jù)關(guān)鍵技術(shù)研究[D]. 北京：中國(guó)農(nóng)業(yè)科學(xué)院，2018.

[13]Perakis K，Lampathaki F，Nikas K，et al. CYBELE-fostering precision agriculture & livestock farming through secure access to large-scale HPC enabled virtual industrial experimentation environments fostering scalable big data analytics[J]. Computer Networks，2020，168：107035.

[14]Shrivastava S，Marshall-Colon A. Big data in agriculture and their analyses[J]. Encyclopedia of Food Security and Sustainability，2019（1）：233-237.

[15]Sabarina K，Priya N. Lowering data dimensionality in big data for the benefit of precision agriculture[J]. Procedia Computer Science，2015，48： 548-554.

[16]錢 曄，孫吉紅，張 悅. 智能算法在農(nóng)業(yè)大數(shù)據(jù)中的探究[J]. 北方園藝，2019（20）：156-161.