基于云計算的吉林省黑土地(耕地)質(zhì)量大數(shù)據(jù)平臺設(shè)計與實現(xiàn)

陳怡兵張環(huán)宇楊松高晗呂世平

(1.吉林省土壤肥料總站，吉林 長春 130031；2.浙江托普云農(nóng)科技股份有限公司，浙江 杭州 310000)

引言

農(nóng)業(yè)大數(shù)據(jù)構(gòu)成復(fù)雜、規(guī)模巨大且更新快，同時還融合了不同地域性、多樣性以及周期季節(jié)性等特征，處理應(yīng)用起來較困難。當前已有的耕地質(zhì)量數(shù)據(jù)資源豐富，但儲存分散、利用率低、無法共享，亟需建立統(tǒng)一、可共享、能開放的大數(shù)據(jù)平臺。

吉林省黑土地(耕地)質(zhì)量大數(shù)據(jù)平臺將多類型且分散的數(shù)據(jù)存儲、管理和使用起來，意義在于充分發(fā)揮大數(shù)據(jù)特點，充分利用3S技術(shù)等現(xiàn)代化手段，將耕地地力調(diào)查與評價數(shù)據(jù)、土壤墑情實時監(jiān)測數(shù)據(jù)進行整理分析，并集成了物聯(lián)網(wǎng)信息技術(shù)、測土配方施肥技術(shù)、農(nóng)業(yè)資訊檢索、肥料登記查詢等應(yīng)用模塊，為領(lǐng)導(dǎo)決策和農(nóng)業(yè)生產(chǎn)提供基礎(chǔ)支撐，并提出為進一步管理和應(yīng)用現(xiàn)有數(shù)據(jù)資源以及整合土壤墑情、主要作物、環(huán)境等后續(xù)數(shù)據(jù)資源的優(yōu)化對策，提升黑土耕地質(zhì)量建設(shè)與管理工作的標準化、數(shù)字化程度，促進耕地質(zhì)量管理工作的技術(shù)水平。

1 大數(shù)據(jù)與云計算的概念

1.1 大數(shù)據(jù)

大數(shù)據(jù)是一種信息時代附帶到價值的信息資產(chǎn)，通過采集、儲存、發(fā)散、管理、分析，從而獲取決策和洞察的能力。

1.2 云計算

云計算是借助數(shù)據(jù)計算、網(wǎng)絡(luò)連接、存儲功能優(yōu)勢，能夠為使用者提供服務(wù)，形成完整的資源池。云計算屬于數(shù)據(jù)面積性計算，能夠?qū)崿F(xiàn)存儲、計算資源的虛擬化。

1.3 大數(shù)據(jù)與云計算的關(guān)系

云計算與大數(shù)據(jù)技術(shù)本身有著緊密的關(guān)聯(lián)性。云計算技術(shù)擁有高精準、運算快、處理能力強、儲存空間大的優(yōu)勢，可以為多元大數(shù)據(jù)處理提供平臺；對于大數(shù)據(jù)而言，基于云計算的大數(shù)據(jù)處理技術(shù)，是一種高效的、可實時分析處理海量數(shù)據(jù)的強有力工具，云計算可以針對大數(shù)據(jù)處理的分布式數(shù)據(jù)庫，能夠可靠地對大數(shù)據(jù)進行實時處理，具有即時響應(yīng)多用戶并發(fā)請求的能力[1]。

2 設(shè)計方案

2.1 平臺定義

以網(wǎng)絡(luò)為基礎(chǔ)，將黑土地(耕地質(zhì)量)建設(shè)與管理相關(guān)的各類項目所形成的各類數(shù)據(jù)進行集中存儲、統(tǒng)一管理，應(yīng)用大數(shù)據(jù)技術(shù)深入挖掘，在對信息進行分析、加工的基礎(chǔ)上，通過多種智能顯示技術(shù)為各級農(nóng)業(yè)行政管理、科研、技術(shù)推廣機構(gòu)及社會大眾提供各類信息服務(wù)。

構(gòu)建一套或者多套各級網(wǎng)絡(luò)體系，平臺應(yīng)該是開放的共享平臺。對農(nóng)業(yè)部組織實施的，與耕地質(zhì)量建設(shè)和管理相關(guān)的各類項目所形成的數(shù)據(jù)，以及耕地地力提升、肥料門市信息、肥料登記信息等數(shù)據(jù)有效收集起來，進行集中存儲和統(tǒng)一管理。對黑土地(耕地)質(zhì)量建設(shè)與管理相關(guān)數(shù)據(jù)進行必要的分析和處理加工，加強預(yù)警功能和數(shù)據(jù)成果轉(zhuǎn)化功能。系統(tǒng)開發(fā)終端顯示方式應(yīng)該是多樣化的，如PC、APP等。

2.2 總體框架

平臺采用軟件系統(tǒng)實現(xiàn)大數(shù)據(jù)資源共享，應(yīng)用大數(shù)據(jù)技術(shù)、3S技術(shù)、網(wǎng)絡(luò)通訊技術(shù)、系統(tǒng)集成技術(shù)和信息安全技術(shù)等，整合耕地質(zhì)量、測土配方施肥、土壤墑情等數(shù)據(jù)，通過數(shù)據(jù)的標準化管理、高效云平臺服務(wù)、多形式的信息發(fā)布模式以及安全運維管理機制，總體架構(gòu)如圖1所示。

圖1 黑土地(耕地)大數(shù)據(jù)平臺架構(gòu)圖

3 建設(shè)內(nèi)容

3.1 基礎(chǔ)數(shù)據(jù)

基礎(chǔ)地理，主要包括行政區(qū)劃、農(nóng)業(yè)區(qū)劃、地形分布。氣候氣象，主要包括≥0℃積溫、年降水量。土地利用，主要包括土地利用現(xiàn)狀、農(nóng)用地地塊。農(nóng)田管理，主要包括耕地質(zhì)量等級、基本農(nóng)田、高標準農(nóng)田。農(nóng)田土壤基礎(chǔ)，主要包括土壤類型、耕地質(zhì)量監(jiān)測點、耕地質(zhì)量補充調(diào)查、測土配方施肥采樣點、土壤墑情監(jiān)測點。土壤理化指標，主要包括土壤pH值、土壤有機質(zhì)、土壤全氮、土壤有效磷、土壤速效鉀。土壤類型數(shù)據(jù)，對土壤類型屬性數(shù)據(jù)進行整理，包括土壤類型編號、采樣點編號、采樣點經(jīng)緯度等信息以及生成土壤空間數(shù)據(jù)。施肥分區(qū)數(shù)據(jù)，結(jié)合土壤類型、耕地養(yǎng)分水平、種植作物和產(chǎn)量以及施肥規(guī)律分區(qū)等，從而形成施肥分區(qū)。測土數(shù)據(jù)，對縣域內(nèi)采樣點進行確定，對每個采樣點進行編號，GPS定位經(jīng)緯度信息附在每個采樣點上。測土數(shù)據(jù)整理，對有機質(zhì)、堿解氮、有效磷、速效鉀、pH值5個測土參數(shù)數(shù)值進行整理，生成相關(guān)屬性數(shù)據(jù)(mdb、dbf、sq等)，將屬性數(shù)據(jù)導(dǎo)入GIS中,生成相關(guān)空間數(shù)據(jù)庫。參數(shù)數(shù)據(jù)，對包括土壤類型、施肥分區(qū)、作物種類、有機質(zhì)以及試驗等內(nèi)容進行整理，并剔除報表目標產(chǎn)量數(shù)據(jù)中異常高或異常低等歧義數(shù)據(jù)[2]。

3.2 應(yīng)用管理功能

數(shù)據(jù)管理分為3個模塊。權(quán)限管理，用于對用戶的數(shù)據(jù)范圍權(quán)限進行管理；文件管理，用于對用戶上傳的文件進行統(tǒng)一管理；數(shù)據(jù)庫管理，用于管理數(shù)據(jù)庫中的數(shù)據(jù)[3]。

3.3 查詢功能

耕地資源管理單元工作底圖由土地利用現(xiàn)狀圖、行政區(qū)劃圖和土壤圖疊加而成，反映了全省耕地的分布情況，可以查詢每一塊耕地的位置、權(quán)屬、面積、利用方式、土壤類型、地貌類型、立地條件、農(nóng)田管理、土壤養(yǎng)分、耕地質(zhì)量等屬性。

4 平臺實現(xiàn)

吉林省黑土地(耕地)質(zhì)量大數(shù)據(jù)平臺基于J2EE平臺開發(fā)，通過Jfinal、undertow、jboot、Duboo、Zookeeper搭建的共享服務(wù)平臺，用于RESTful、XL/JSON服務(wù)的快速開發(fā)、注冊、發(fā)現(xiàn)等工作。大量的黑土地(耕地)大數(shù)據(jù)利用數(shù)據(jù)倉庫Hive，進行提取→轉(zhuǎn)換→加載→并行計算→分布式處理，建立文檔庫和異構(gòu)索引庫，完成非結(jié)構(gòu)化數(shù)據(jù)信息的存儲。

基于以上平臺架構(gòu)和整體設(shè)計思路，開發(fā)幾種應(yīng)用模塊。

4.1 黑土地保護界面

包括黑土地分布、類型、面積及技術(shù)等數(shù)據(jù)信息，并匯總了10余套黑土地保護技術(shù)模式，如圖2。

4.2 耕地質(zhì)量評價界面

以調(diào)查評價點為基礎(chǔ)，采集包括土壤有機質(zhì)、耕層、pH值、養(yǎng)分等16項指標數(shù)據(jù)，依據(jù)土壤類型、有效土層、pH值、土壤肥力等調(diào)查和監(jiān)測信息，自動生成耕地質(zhì)量等級結(jié)果，進行圖示化反應(yīng)，提出有針對保護措施和科學(xué)施肥指導(dǎo)等，如圖3。

圖3 耕地質(zhì)量評價界面

4.3 監(jiān)測數(shù)據(jù)界面

主要依托具備“三區(qū)四情”功能的長期定位監(jiān)測點，包括吉林省已建設(shè)的199個耕地質(zhì)量監(jiān)測點的耕地土壤有機質(zhì)、pH值、養(yǎng)分等相關(guān)指標的變化趨勢，并集成物聯(lián)網(wǎng)技術(shù)實時監(jiān)測耕地質(zhì)量狀況以及苗青、環(huán)情，然后通過采集的數(shù)據(jù)，完成整理分析，自動生成各級耕地質(zhì)量監(jiān)測報告，為耕地質(zhì)量保護提供依據(jù)，科學(xué)指導(dǎo)農(nóng)業(yè)生產(chǎn)，如圖4、圖5。

圖4 監(jiān)測數(shù)據(jù)界面

圖5 物聯(lián)網(wǎng)監(jiān)測系統(tǒng)應(yīng)用界面

4.4 墑情數(shù)據(jù)界面

主要依托自動墑情監(jiān)測站數(shù)據(jù)，分析土壤墑情狀況和發(fā)展趨勢，指導(dǎo)適墑播種和抗旱防澇等。包括已建設(shè)的370個土壤墑情監(jiān)測點的不同深度土層的溫度、含水量信息以及氣象信息。根據(jù)監(jiān)測結(jié)果，自動生成墑情簡報，及時發(fā)布墑情預(yù)警，指導(dǎo)農(nóng)業(yè)生產(chǎn)活動，如圖6、圖7。

圖6 墑情數(shù)據(jù)界面

圖7 平臺自動生成簡報

4.5 信息服務(wù)模塊

包括信息查詢、專家服務(wù)、軟件服務(wù)等相關(guān)服務(wù)功能，如圖8。

圖8 軟件服務(wù)應(yīng)用界面

5 結(jié)論

針對黑土地(耕地)質(zhì)量數(shù)據(jù)信息存在多元異構(gòu)、物理分散、利用率低等問題，運用大數(shù)據(jù)、云計算等現(xiàn)代信息技術(shù)手段，以大數(shù)據(jù)管理、應(yīng)用為基礎(chǔ)，研發(fā)了以問題為導(dǎo)向的農(nóng)業(yè)資源大數(shù)據(jù)共享服務(wù)平臺，打破了多元數(shù)據(jù)庫系統(tǒng)之間的壁壘，實現(xiàn)了農(nóng)業(yè)數(shù)據(jù)的有效共享和利用。為農(nóng)業(yè)指導(dǎo)提供各種資源統(tǒng)計匯總“一張圖”服務(wù)，實現(xiàn)了對地區(qū)耕地信息的快速、系統(tǒng)、全面的掌握，為政策制定和發(fā)展計劃提供了良好的數(shù)據(jù)支撐。