“三農(nóng)”數(shù)據(jù)云平臺設計研究

羅治情， 官 波， 陳娉婷， 吳亞玲， 沈祥成

(湖北省農(nóng)業(yè)科學院農(nóng)業(yè)經(jīng)濟技術(shù)研究所，湖北武漢 430064

近年來，在互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等技術(shù)的推動下，我國已經(jīng)邁入“大數(shù)據(jù)”時代。大數(shù)據(jù)已經(jīng)在電子商務、市場營銷、臨床診斷、金融等領(lǐng)域發(fā)揮著重要作用，但是在我國的整個農(nóng)業(yè)領(lǐng)域，大數(shù)據(jù)的研究和應用還稍顯落后[1]。目前，大數(shù)據(jù)對于農(nóng)業(yè)的重要性日益凸顯，農(nóng)業(yè)領(lǐng)域都在積極開展農(nóng)業(yè)大數(shù)據(jù)相關(guān)方面的研究。

1 國內(nèi)外農(nóng)業(yè)大數(shù)據(jù)研究現(xiàn)狀

國內(nèi)外都將大數(shù)據(jù)研究和生產(chǎn)計劃提高到國家戰(zhàn)略層面。美國政府于2012年3月發(fā)起“大數(shù)據(jù)研究和發(fā)展計劃(Big Data Research and Development Initiative)”[2]，同時由政府資助建立公共數(shù)據(jù)共享網(wǎng)站data.gov，美國農(nóng)業(yè)部在此建立了自己的門戶，目前可以鏈接到348個農(nóng)業(yè)數(shù)據(jù)集。大量涉農(nóng)信息化企業(yè)利用政府公開發(fā)布的農(nóng)業(yè)大數(shù)據(jù)進行分析、預測并提供給農(nóng)業(yè)生產(chǎn)者用于農(nóng)場生產(chǎn)管理及精細化耕作，以幫助農(nóng)場主提高生產(chǎn)效率：如Farmeron公司推出基于Web的農(nóng)場管理工具，通過大數(shù)據(jù)技術(shù)監(jiān)測分析農(nóng)場生產(chǎn)及生產(chǎn)狀況，有利于農(nóng)場主科學制定農(nóng)業(yè)生產(chǎn)計劃；Solum公司根據(jù)土壤數(shù)據(jù)開發(fā)了能夠?qū)崿F(xiàn)高效精準的土壤抽樣分析的系統(tǒng)，以幫助種植者精準施肥；Monsanto公司通過分析海量天氣數(shù)據(jù)來預測未來可能對農(nóng)業(yè)生產(chǎn)造成破壞的各種天氣[2-3]。英國政府于2013年7月發(fā)布“英國農(nóng)業(yè)技術(shù)戰(zhàn)略(A UK Strategy for Agricultural Technologies)”，該戰(zhàn)略高度重視利用大數(shù)據(jù)和信息技術(shù)提升農(nóng)業(yè)生產(chǎn)效率，致力于將英國打造成農(nóng)業(yè)信息學世界級強國[4]。同時，英國政府建立了有“英國數(shù)據(jù)銀行”之稱的data.gov.uk網(wǎng)站，通過完全公布政府數(shù)據(jù)，進一步支持和開發(fā)大數(shù)據(jù)技術(shù)在科技、商業(yè)、農(nóng)業(yè)等領(lǐng)域的發(fā)展。法國正著力打造一個“大農(nóng)業(yè)”數(shù)據(jù)體系，互聯(lián)網(wǎng)應用被納入體系內(nèi)[5]。日本利用云和大數(shù)據(jù)進行農(nóng)業(yè)生產(chǎn)，韓國、澳大利亞、印度等國政府也開始大數(shù)據(jù)的研究進程，促進大數(shù)據(jù)和農(nóng)業(yè)現(xiàn)代化融合[6-7]。

目前農(nóng)業(yè)大數(shù)據(jù)相關(guān)的研究，我國處于起步階段。2014年3月，《政府工作報告》中明確指出，要設立新興產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新平臺，在大數(shù)據(jù)等方面趕超先進，引領(lǐng)未來產(chǎn)業(yè)發(fā)展。2015年12月，農(nóng)業(yè)部發(fā)布《農(nóng)業(yè)部關(guān)于推進農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實施意見》，全面部署農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展工作；與此同時，農(nóng)業(yè)部完成了“農(nóng)業(yè)綜合信息服務平臺”(http：//12316.agri.gov.cn)[8]，一定程度上促進了全國農(nóng)業(yè)系統(tǒng)信息資源的共建共享。中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所發(fā)起了信息聯(lián)盟，旨在促進涉農(nóng)信息資源與專家隊伍的集成、共享，聯(lián)合推進信息云服務[9]。山東農(nóng)業(yè)大學發(fā)起了國內(nèi)第一個農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟，并搭建了“渤海糧倉科技示范工程大數(shù)據(jù)平臺”[3]。2014年，中國科學院數(shù)據(jù)大會舉行，專門設立農(nóng)業(yè)與農(nóng)村信息化大數(shù)據(jù)技術(shù)與應用分論壇[9]。另外，國內(nèi)的企業(yè)也對云計算、大數(shù)據(jù)給予高度關(guān)注。量子數(shù)聚(北京)科技有限公司和山東農(nóng)業(yè)大學共同推出的“農(nóng)業(yè)大數(shù)據(jù)應用云平臺”(http：//www.dataagri.com)[10]。通過整合多渠道農(nóng)業(yè)相關(guān)數(shù)據(jù)，引入數(shù)據(jù)挖掘展現(xiàn)技術(shù)，面向用戶提供數(shù)據(jù)查詢、分析等應用服務。布瑞克提供的“中國農(nóng)業(yè)大數(shù)據(jù)平臺”(http：//www.agdata.cn)[11]，匯聚了豐富全面的中國農(nóng)產(chǎn)品數(shù)據(jù)的信息平臺，提供數(shù)據(jù)檢索、查詢、相關(guān)研究報告等功能。華夏中璟建設的“中國農(nóng)業(yè)云·大數(shù)據(jù)”(http：//www.nyydsj.cn)[12]，通過收集農(nóng)業(yè)耕地、農(nóng)田、種植、養(yǎng)殖、需求、供應、交易等數(shù)據(jù)并進行匯總，通過云計算分析后進行發(fā)布，為農(nóng)業(yè)生產(chǎn)提供數(shù)據(jù)信息。

在學術(shù)研究領(lǐng)域，目前關(guān)于大數(shù)據(jù)的研究主要有2個方面：一是基于計算機科學偏向技術(shù)層面的研究，二是大數(shù)據(jù)分析的跨學科研究。而關(guān)于農(nóng)業(yè)大數(shù)據(jù)的研究目前還不多見[13]。著名期刊《Nature》和《Science》針對大數(shù)據(jù)分別出版了?？癇ig Data”和“Dealing with Data”，討論了大數(shù)據(jù)處理面臨的各種問題[14-15]。溫孚江提出，農(nóng)業(yè)大數(shù)據(jù)研究需要多學科協(xié)同攻關(guān)，組建農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟是一種可行的協(xié)同機制[16]。孫忠富等結(jié)合農(nóng)業(yè)特點，分析了大數(shù)據(jù)在農(nóng)業(yè)上的需求、主要應用領(lǐng)域和任務，對我國農(nóng)業(yè)大數(shù)據(jù)和智慧農(nóng)業(yè)的發(fā)展提出了一些建議[17]。王文生等從我國現(xiàn)代農(nóng)業(yè)發(fā)展的角度，分析了國家農(nóng)業(yè)大數(shù)據(jù)中心建設的戰(zhàn)略需求，提出了農(nóng)業(yè)大數(shù)據(jù)中心建設的主要內(nèi)容，為我國農(nóng)業(yè)大數(shù)據(jù)的發(fā)展提供了參考和依據(jù)[1]。許世衛(wèi)等提出應該建立大數(shù)據(jù)技術(shù)創(chuàng)新與組織創(chuàng)新的雙重驅(qū)動機制，重點在數(shù)據(jù)科學與農(nóng)業(yè)科學融合、農(nóng)業(yè)基準數(shù)據(jù)建設、數(shù)據(jù)頂層結(jié)構(gòu)治理等[18]。秦學敏等通過互聯(lián)網(wǎng)思維下農(nóng)業(yè)大數(shù)據(jù)的需求和現(xiàn)狀的研究分析，指出農(nóng)業(yè)大數(shù)據(jù)存在數(shù)據(jù)采集、數(shù)據(jù)建模和應用平臺等的問題[9]。孟祥寶等從服務、管理、應用、技術(shù)、資源5個關(guān)鍵環(huán)節(jié)分析設計了農(nóng)業(yè)大數(shù)據(jù)SMART應用體系架構(gòu)，在此基礎上，設計了一個農(nóng)業(yè)大數(shù)據(jù)智能分析平臺[19]。李秀峰等認為，農(nóng)業(yè)大數(shù)據(jù)需要農(nóng)業(yè)信息服務實現(xiàn)技術(shù)創(chuàng)新，主要包括農(nóng)業(yè)大數(shù)據(jù)智能處理技術(shù)、農(nóng)業(yè)大數(shù)據(jù)決策本體技術(shù)、農(nóng)業(yè)信息化云服務人機交互技術(shù)，并建議成立國家級農(nóng)業(yè)大數(shù)據(jù)共享聯(lián)盟[20]。除此之外，針對農(nóng)業(yè)全產(chǎn)業(yè)鏈，結(jié)合農(nóng)業(yè)大數(shù)據(jù)自身特點來討論數(shù)據(jù)采集、分析與應用的研究成果很少見。

2 存在問題與發(fā)展趨勢

綜上所述，大數(shù)據(jù)在農(nóng)業(yè)領(lǐng)域中的應用程度不高，究其原因是多方面的。一方面，農(nóng)業(yè)數(shù)據(jù)采集困難以及缺少針對農(nóng)業(yè)全產(chǎn)業(yè)鏈的應用平臺尤為突出；另一方面，雖然大數(shù)據(jù)的理念和技術(shù)具有一定的普適性，但在農(nóng)業(yè)信息標準化程度較低、缺少統(tǒng)一的標準和規(guī)范的情況下，按照傳統(tǒng)的方法與模式各自建設共享平臺，必然缺少“系統(tǒng)性、整體性、協(xié)同性”，這也是當前大數(shù)據(jù)在農(nóng)業(yè)領(lǐng)域中還沒有成熟應用的重要原因。

筆者對制約我國農(nóng)業(yè)產(chǎn)業(yè)發(fā)展過程中的瓶頸問題進行了系統(tǒng)的研究，認為以互聯(lián)網(wǎng)為媒介，將現(xiàn)代信息技術(shù)深度融于農(nóng)技推廣、農(nóng)資流通、農(nóng)產(chǎn)品運輸銷售、農(nóng)產(chǎn)品質(zhì)量監(jiān)管(追溯)等各個環(huán)節(jié)，實現(xiàn)農(nóng)業(yè)的智能化、精準化、定制化、個性化，是當今世界農(nóng)業(yè)發(fā)展的新趨勢，并取得一定的研究成果[21-23]。在此基礎上，開展農(nóng)業(yè)大數(shù)據(jù)相關(guān)的基礎研究工作，提出構(gòu)建農(nóng)業(yè)大數(shù)據(jù)需解決的問題[24]。為此，本研究認為，應從農(nóng)業(yè)信息全球化的視覺出發(fā)，以農(nóng)業(yè)全產(chǎn)業(yè)鏈和“三農(nóng)”領(lǐng)域內(nèi)所有用戶需求為研究對象，統(tǒng)一農(nóng)業(yè)基礎數(shù)據(jù)標準和規(guī)范，構(gòu)建農(nóng)業(yè)基礎數(shù)據(jù)庫，建設“三農(nóng)”數(shù)據(jù)云平臺，從而對農(nóng)業(yè)大數(shù)據(jù)進行采集、分析和應用，是農(nóng)業(yè)大數(shù)據(jù)發(fā)展的必然趨勢。

3 “三農(nóng)”數(shù)據(jù)云平臺設計

構(gòu)建大數(shù)據(jù)平臺，所涉及的技術(shù)領(lǐng)域非常廣泛。在大數(shù)據(jù)處理的一般流程的基礎上，本研究將大數(shù)據(jù)的處理流程劃分為數(shù)據(jù)采集、數(shù)據(jù)處理與存儲、數(shù)據(jù)分析與挖掘、數(shù)據(jù)應用和數(shù)據(jù)安全等幾個模塊。鑒于“三農(nóng)”數(shù)據(jù)云平臺作為農(nóng)業(yè)大數(shù)據(jù)的基礎平臺，側(cè)重于數(shù)據(jù)的采集、處理與基礎應用，同時為適應農(nóng)業(yè)大數(shù)據(jù)平臺構(gòu)建的技術(shù)要求，本研究重點研究“三農(nóng)”數(shù)據(jù)的相關(guān)標準與規(guī)范、平臺的體系架構(gòu)等。

3.1 “三農(nóng)”數(shù)據(jù)相關(guān)標準與規(guī)范

標準先行已成為當前各行各業(yè)數(shù)據(jù)應用的共識，有了標準，數(shù)據(jù)才能共享，才能支撐大數(shù)據(jù)處理平臺應用的開展。

本研究從應用標準體系及技術(shù)標準體系2個方面研究“三農(nóng)”數(shù)據(jù)的相關(guān)標準與規(guī)范，包含物種及相關(guān)病蟲害、品種的信息標準，初級(始)農(nóng)產(chǎn)品商品名稱規(guī)范及其內(nèi)涵、外延，農(nóng)業(yè)產(chǎn)業(yè)服務名稱規(guī)范及其內(nèi)涵、外延，農(nóng)業(yè)產(chǎn)業(yè)信息分類規(guī)范，度量衡名稱規(guī)范，鄉(xiāng)村基礎信息標準，數(shù)據(jù)交換格式和協(xié)議的標準等。

以物種為例，本研究定義了物種信息標準(表1)。

表1 物種信息標準

在數(shù)據(jù)交換方面，通過規(guī)范數(shù)據(jù)接口和協(xié)議，并提供數(shù)據(jù)分析應用的Open API，實現(xiàn)與第三方應用系統(tǒng)的擴展。

3.2 “三農(nóng)”數(shù)據(jù)云平臺架構(gòu)

從平臺設計與開發(fā)的角度出發(fā)，研究“三農(nóng)”數(shù)據(jù)云平臺體系架構(gòu)。本研究基于對農(nóng)業(yè)全產(chǎn)業(yè)鏈和“三農(nóng)”領(lǐng)域內(nèi)各類涉農(nóng)主體的需求分析，結(jié)合當前主流大數(shù)據(jù)平臺架構(gòu)，設計“三農(nóng)”數(shù)據(jù)云平臺架構(gòu)(圖1)。

從圖1可以看出，IaaS(基礎設施即服務，Infrastructure as a Service)層是將虛擬硬件資源以服務的模式提供，主要是將基礎設施資源(計算、存儲、網(wǎng)絡帶寬等)進行虛擬化和池化管理，便于實現(xiàn)資源的動態(tài)分配、再分配和回收。

PaaS(平臺即服務，Platform as a Service)層將應用開發(fā)、測試和運行的平臺與服務的模式提供，可以基于該平臺，進行應用的快速開發(fā)、測試和部署運行。該層在IaaS基礎上提供統(tǒng)一的平臺化系統(tǒng)軟件支撐服務，包括身份認證、訪問控制、數(shù)據(jù)挖掘等。

SaaS(軟件即服務，Software as a Service)層是將軟件以服務的模式提供，用戶通過標準的網(wǎng)頁瀏覽器或客戶端應用來使用互聯(lián)網(wǎng)上的軟件。

3.3 “三農(nóng)”數(shù)據(jù)云平臺建設

“三農(nóng)”數(shù)據(jù)云平臺的建設見圖2。(1)借鑒主流大數(shù)據(jù)平臺框架搭建“三農(nóng)”數(shù)據(jù)云平臺，同時制定“三農(nóng)”數(shù)據(jù)的相關(guān)標準與規(guī)范并建設“三農(nóng)”基礎數(shù)據(jù)庫；(2)基于統(tǒng)一的訪問接口標準和數(shù)據(jù)交換協(xié)議，實現(xiàn)數(shù)據(jù)的采集與應用；(3)通過平臺試用，并收集、分析用戶反饋信息，逐步完善平臺功能。

4 結(jié)論

本研究從農(nóng)業(yè)信息全球化的視覺出發(fā)，以農(nóng)業(yè)全產(chǎn)業(yè)鏈和“三農(nóng)”領(lǐng)域內(nèi)所有用戶需求為研究對象，統(tǒng)一農(nóng)業(yè)基礎數(shù)據(jù)標準和規(guī)范，構(gòu)建農(nóng)業(yè)基礎數(shù)據(jù)庫，建設“三農(nóng)”數(shù)據(jù)云平臺，從而對農(nóng)業(yè)大數(shù)據(jù)進行采集、分析和應用，是構(gòu)建農(nóng)業(yè)大數(shù)據(jù)的基礎，形成農(nóng)業(yè)大數(shù)據(jù)的必由之路。同時，本研究深入研究現(xiàn)代農(nóng)業(yè)發(fā)展難題，為解決“三農(nóng)”信息服務的“最后一公里”問題提出解決思路，對推進中國農(nóng)業(yè)現(xiàn)代化將發(fā)揮重要作用，并具有重要的理論意義和應用價值。