王強
新疆維吾爾自治區(qū)農業(yè)廳農業(yè)信息中心,烏魯木齊830049
大數(shù)據(jù)技術在農業(yè)領域的應用分析及建設策略
王強
新疆維吾爾自治區(qū)農業(yè)廳農業(yè)信息中心,烏魯木齊830049
農業(yè)大數(shù)據(jù)涉及農業(yè)生產、經營、管理和服務的方方面面。隨著農業(yè)大數(shù)據(jù)時代的到來,需要利用大數(shù)據(jù)的理論和技術,綜合農業(yè)現(xiàn)代化發(fā)展戰(zhàn)略,不斷推進農業(yè)大數(shù)據(jù)技術的應用實踐。本文通過對農業(yè)大數(shù)據(jù)的應用前景和存在的問題進行分析,提出加快推進農業(yè)大數(shù)據(jù)的建設策略。
大數(shù)據(jù)技術;農業(yè);應用分析;建設策略
隨著信息技術的快速發(fā)展,特別是近年來云計算、物聯(lián)網、大數(shù)據(jù)、電子商務等新興技術促使人類社會的數(shù)據(jù)種類和規(guī)模正以前所未有的速度增長,大數(shù)據(jù)時代正式來到。數(shù)據(jù)已成為一種基礎性資源。農業(yè)作為第一產業(yè),擁有海量、多樣的數(shù)據(jù),其規(guī)模效應給數(shù)據(jù)存儲、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn),數(shù)據(jù)管理方式正在變革。
1.1 基本概念
學術界和工業(yè)界都對大數(shù)據(jù)賦予大量的關注并開展了深刻的研究。Nature于2008年推出Big Data??cience于2011年推出??禗ealing with Data》,均圍繞科學研究中大數(shù)據(jù)問題展開討論。麥肯錫研究院(MGI)則于2011年6月發(fā)布名為《Big Data:The next frontier for innovation, competition,and productivity》的研究報告,對大數(shù)據(jù)的影響、關鍵技術和應用領域等進行了詳盡的分析,并指出大數(shù)據(jù)將會是帶動未來生產力發(fā)展和創(chuàng)新以及消費增長的指向標。
大數(shù)據(jù)在全球范圍內備受關注,對大數(shù)據(jù)的定義也有多種提法。IBM認為大數(shù)據(jù)具備規(guī)模性(Volume)、多樣性(Variety)、和高速性(Velocity)、精確性(Veracity)。規(guī)模性指數(shù)據(jù)量巨大,量級達到TB級及PB級;多樣性指數(shù)據(jù)類型放多,包括結構化數(shù)據(jù)和非結構化數(shù)據(jù);高速性指數(shù)據(jù)創(chuàng)建、處理和分析的速度在持續(xù)加快。
1.2 大數(shù)據(jù)與其他現(xiàn)代信息技術關系
1.2.1 云計算
大數(shù)據(jù)的數(shù)據(jù)量極大,超過了任何一臺計算機的處理能力,那么如何對它進行處理,就需要云計算。云計算是技術,提供分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術。如果數(shù)據(jù)是財富,那么大數(shù)據(jù)就是寶藏,而云計算就是挖掘和利用寶藏的利器。
1.2.2 數(shù)據(jù)整合
數(shù)據(jù)整合是借助于分布式計算、搜索引擎等多種技術,對非結構化數(shù)據(jù)及各種業(yè)務系統(tǒng)產生的結構化數(shù)據(jù),通過對數(shù)據(jù)的抽取、轉換、關聯(lián)、標識等過程,建立一個安全、可靠、穩(wěn)定、高效的數(shù)據(jù)服務平臺,使之成為標準規(guī)范內的、面向業(yè)務的、有價值的、鮮活的數(shù)據(jù),為上層應用服務,為日常工作服務,真正發(fā)揮其應有的價值,最大限度的提升數(shù)據(jù)共享和服務能力的過程。
在大數(shù)據(jù)時代,隨著數(shù)據(jù)資源爆炸性增長,更需要對海量的各種不同數(shù)據(jù)源實現(xiàn)數(shù)據(jù)傳遞、轉換、凈化、集成等功能,從用戶的業(yè)務需求和實際應用出發(fā),對海量數(shù)據(jù)資源和處理流程進行綜合分析,以信息資源規(guī)劃為標準,通過數(shù)據(jù)層面的整理提煉,將分散在各個“信息孤島”中的有效信息資源,形成完善的數(shù)據(jù)中心系統(tǒng),全面支持數(shù)據(jù)共享、統(tǒng)一管理和分析決策。
1.2.3 物聯(lián)網、移動物聯(lián)網
物聯(lián)網、移動物聯(lián)網等是大數(shù)據(jù)資源的來源方式。
《國家中長期科學和技術發(fā)展規(guī)劃綱要(2006-2020年)》、《軟件和信息技術服務業(yè)“十二五”發(fā)展規(guī)劃》、《物聯(lián)網“十二五”發(fā)展規(guī)劃》、農業(yè)部《全國農業(yè)農村信息化發(fā)展“十二五”規(guī)劃》以及國務院《關于加快推進農業(yè)科技創(chuàng)新持續(xù)增強農產品供給保障能力的若干意見》等。
3.1 測土配方施肥服務系統(tǒng)
農業(yè)部印發(fā)的《2014年種植業(yè)工作要點》中,要求各地推進配方肥到田和施肥方式轉變,重點解決“看病、開方”后的“抓藥、用藥”問題,利用“大數(shù)據(jù)”與相關化肥生產企業(yè)合作推廣配方肥,同時還開展測土配方施肥手機信息服務和新型經營主體科學施肥示范試點,提高肥料利用效率。
3.2 基于大數(shù)據(jù)技術的大棚智能控制系統(tǒng)
3.2.1 監(jiān)測系統(tǒng)
利用傳感技術,采集溫室大棚種植中關鍵要素,如空氣、土壤的溫濕度、光照強度、二氧化碳濃度等數(shù)據(jù),利用現(xiàn)代網絡通訊技術將數(shù)據(jù)及時傳送到控制終端和大數(shù)據(jù)服務中心。
3.2.2 控制系統(tǒng)
控制系統(tǒng)接收控制終端和大數(shù)據(jù)服務中心的命令,進行相應操作。如對卷簾機、風機、灌溉裝置等進行控制,實現(xiàn)農業(yè)生產的智能化管理、精準管理。
3.2.3 控制終端
由手機等移動終端設備安裝智能控制系統(tǒng)終端軟件,使用戶實時獲得監(jiān)測信息,并進行相應操作。
3.2.4 大數(shù)據(jù)服務中心
基于云計算建立大數(shù)據(jù)服務中心,建立不同農作物的生長模型,根據(jù)監(jiān)測信息,系統(tǒng)自行決定在何種條件下,對何種設備進行操作,減少人工干預,做到精確控制,節(jié)約生產成本,提高生產效率。
3.3 病蟲害預測
病蟲害的發(fā)生與土壤情況,溫濕度都有密不可分的關系,通過對歷史生產數(shù)據(jù)進行分析,結合建立數(shù)學模型,可得出病蟲害發(fā)生預測。根據(jù)這類預測,生產者就可通過調節(jié)大棚內溫濕度,通過施肥等改善土壤結構,有效避免病蟲害的發(fā)生,從而減少農藥的施用,提高農產品質量。
3.4 作物成熟度與上市期預測
通過對歷史生產數(shù)據(jù)進行分析,結合當前的氣象數(shù)據(jù),可對農作物成熟度進行預測,并預估上市時間。生產者可根據(jù)當前及歷史市場價格走勢情況,通過調整溫濕度及施肥情況,調整農作物成熟時間;通過調整養(yǎng)殖溫度計飼料供給、保鮮等人工干預,調整產品上市時間,以獲得最好的收益。例如,湖北湘口現(xiàn)代漁業(yè)園區(qū),建有一座河蟹恒溫活體保鮮庫,在螃蟹上市高峰時,如果收購價偏低,通過電腦控制恒溫保鮮,實現(xiàn)錯時上市。
3.5 農業(yè)災害預測
農業(yè)生產受氣象條件影響很大,洪、澇、大風等都會對農業(yè)收成帶來直接影響。將歷史生產數(shù)據(jù)與歷史氣象進行綜合分析,可得出降雨量、風力等氣象與產量的關系,根據(jù)這些預測結果,在類似天氣出現(xiàn)之前,進行適當?shù)念A防措施,保證農作物產量。
4.1 農村土地承包經營權信息管理方面的應用
土地承包經營權確認了農民對承包土地的占有、使用、收益權利,關系到農民的切身利益。但由于歷史條件限制,很多地區(qū)不同程度的存在農村土地承包管理混亂,土地糾紛解決困難。為改變這一狀況,國家積極開展農村土地承包經營權調查工作。從各地調查情況看,土地承包經營權的應用規(guī)模主要以本地區(qū)為主,管理方法以手工為主,信息化程度不高。信息化必將成為規(guī)范土地承包經營權管理、推廣土地經營權應用的有效手段。利用計算機、遙感、地理信息系統(tǒng)、全球定位系統(tǒng)等技術,建立一個規(guī)范、高效、應用范圍廣的土地承包經營權管理平臺將極大提高土地權屬調查效率,提高農村土地流轉的管理水平。
4.2 農產品質量安全管理
目前,食品安全問題備受關注,綠色食品、有機食品雖然價格不菲,卻成為很多人購買的首選。但市場上出現(xiàn)了一些假冒的綠色、有機農產品,普通消費者很難辨別真?zhèn)?。開發(fā)三品認證查詢系統(tǒng),供消費者查詢。當消費者普遍接受這種方式時,會發(fā)生大量用戶同時并發(fā)訪問系統(tǒng)的情況,應對這種大規(guī)模的并發(fā)訪問,正是大數(shù)據(jù)的強項。
4.3 農資服務
利用大數(shù)據(jù)技術,通過采集到的生產數(shù)據(jù)、銷量數(shù)據(jù)等資源,結合季節(jié)、民族、地區(qū)差異等因素,設計專業(yè)的數(shù)據(jù)分析模型,預測各地區(qū)、各類農產品的供求平衡關系,提前發(fā)出預警信息,提示來年哪類農產品需求可能大于已知的種植面積,建議適量增加該類農產品的種植,引導種子等農產品生產資料提前進行流轉,為農民播種做好農資服務。一方面通過提前播種,在供求平衡被打破前,是農產品產量滿足市場需求,達到平抑物價的作用。另一方面通過預測,提示生產資料供應按需生產,充分調配,避免農產品生產資料產能過?;蚨倘?。
4.4 農技服務
目前,種植、農機、畜牧、水產養(yǎng)殖等農業(yè)生產技術發(fā)展較快,傳統(tǒng)的農技服務推廣依賴基層農技人員進行指導,但是存在基層推廣人員的技術水平參差不齊,針對性指導不足等問題,傳統(tǒng)的農技推廣服務方式已不能滿足廣大農戶日益增加的農業(yè)技術指導需求。利用大數(shù)據(jù)技術,通過采集農產品種養(yǎng)殖數(shù)據(jù)、病蟲害數(shù)據(jù)、防疫物資銷售數(shù)據(jù)等,與歷史數(shù)據(jù)相結合,通過模型分析,將已有的專家解答、相關的農業(yè)技術、附近的農技人員與提問農戶信息進行匹配,是農技服務更有針對性。大數(shù)據(jù)技術的運用可以較好的解決海量信息匹配的難題,為農機推廣服務。
4.5 農業(yè)信息服務
廣大農民對于農業(yè)信息的需求潛力巨大,但由于多種原因,農民獲得有用農業(yè)信息較少。利用大數(shù)據(jù)技術,通過對農戶基本信息、所在地域、種養(yǎng)殖領域、種養(yǎng)殖規(guī)模等基礎信息的采集,通過模型分析,將與其相關的農業(yè)政策法規(guī)、農產品歷史數(shù)據(jù)、市場信息等匹配,為農民提供豐富的信息資源,使農民方便快捷的獲取與農業(yè)生產、加工、經營相關的信息服務。既增強了農業(yè)管理部門對農民提供信息服務的方式和內容,又對農民獲取信息后更好的從事農業(yè)生產,繼續(xù)為增產增收創(chuàng)造條件。
近年來,我國農業(yè)應急管理的形勢十分嚴峻,極端天氣日益增多,各種重大自然災害呈多發(fā)、頻發(fā)、重發(fā)態(tài)勢,對農業(yè)生產和農民生命財產安全造成重大影響,農業(yè)應急管理工作已呈常態(tài)化趨勢,加強農業(yè)應急管理工作已成為農業(yè)部門一項緊急而重要的職責,農業(yè)應急管理工作對信息化需求較為迫切,對信息資源、數(shù)據(jù)資源的依賴度較高,開展大數(shù)據(jù)技術研究對做好預測預警、應急處置、災害評估等具有重要意義。以動物疫情領域為例,圍繞重大動物疫情應急指揮核心業(yè)務,梳理各管理部門的信息資源,確定元數(shù)據(jù)內容,建立應急信息資源目錄,實現(xiàn)數(shù)據(jù)交換和共享,對數(shù)據(jù)進行清洗和融合后,進行數(shù)據(jù)挖掘和活化。具體可分為:數(shù)據(jù)采集、應急資源目錄建設、數(shù)據(jù)交換與共享、數(shù)據(jù)融合、大數(shù)據(jù)分析與挖掘、數(shù)據(jù)活化等。
6.1 缺乏整體大數(shù)據(jù)資源規(guī)劃
農業(yè)大數(shù)據(jù)資源規(guī)劃實職對數(shù)據(jù)的采集、處理、傳輸和利用的全面規(guī)劃。數(shù)據(jù)資源規(guī)劃是農業(yè)信息化的基礎工程。但由于目前沒有農業(yè)數(shù)據(jù)資源整體規(guī)劃,造成數(shù)據(jù)資源建設目標不清,數(shù)據(jù)資源結構和資源分布不均衡,資源重復建設,共享水平不高,資源建設存在空白領域等問題,隨著農業(yè)數(shù)據(jù)資源大規(guī)模增長,沒有信息資源規(guī)劃的頂層設計,農業(yè)大數(shù)據(jù)的匯集、處理、分析等工作將難以進行。
6.2 農業(yè)大數(shù)據(jù)分而治之
目前,農業(yè)部相繼建設了農業(yè)政策法規(guī)、農經統(tǒng)計、農產品價格等60多個數(shù)據(jù)庫,構建了40余條部省協(xié)同信息采集渠道。各省級農業(yè)部門也結合實際情況建設了一批地方農業(yè)數(shù)據(jù)庫。但是,這些數(shù)據(jù)分散存儲在各部門,各應用系統(tǒng)數(shù)據(jù)結構不統(tǒng)一,數(shù)據(jù)整合難度大,而且由于沒有有效共享、數(shù)據(jù)整合的制度和要求,數(shù)據(jù)分而治之現(xiàn)象嚴重。單獨的數(shù)據(jù)難以發(fā)揮作用,融合的數(shù)據(jù)才具有分析挖掘的價值。農業(yè)大數(shù)據(jù)若分散存儲分散管理,則只能是數(shù)量上的大數(shù)據(jù),而無法發(fā)揮其預測、分析等的價值和作用。
6.3 農業(yè)大數(shù)據(jù)來源不足
目前,農業(yè)部門建立的農業(yè)數(shù)據(jù)采集渠道及數(shù)量級遠不能滿足指導農業(yè)宏觀決策、微觀生產指導、農業(yè)市場分析等數(shù)據(jù)支撐的需要,出現(xiàn)了數(shù)據(jù)量不足、頻度不夠、涵蓋面不廣、連續(xù)性不強等問題。目前多采取的數(shù)據(jù)采集方式為層層上報,時效性差,數(shù)據(jù)采集多以任務方式下達,積極主動性不強,分布在各類農業(yè)網站、12316、農業(yè)企業(yè)的多種格式的數(shù)據(jù)未能收集和匯總,已有的采集渠道未能得到充分利用等等。
6.4 農業(yè)數(shù)據(jù)資源利用率低
傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)分析工具僅能處理結構化數(shù)據(jù),對于網頁、音視頻、圖片、文檔等非結構化數(shù)據(jù)無法進行處理和利用。目前國家農業(yè)數(shù)據(jù)中心存儲有約3.6T的數(shù)據(jù),結構化數(shù)據(jù)僅占17%,也就是說83%的數(shù)據(jù)未得到開發(fā)利用。農業(yè)數(shù)據(jù)分散存儲,格式不一、標準不同,無法進行綜合利用,沒有挖掘出數(shù)據(jù)的應有價值。
當前農業(yè)大數(shù)據(jù)建設還處于早期階段,各級農業(yè)部門已經認識到了農業(yè)大數(shù)據(jù)的重要性。依據(jù)農業(yè)部相關信息化戰(zhàn)略規(guī)劃要求,結合我國農業(yè)信息化實際,本著“集成、創(chuàng)新、落地、協(xié)同、固本”的建設策略,開展農業(yè)大數(shù)據(jù)云平臺建設是農業(yè)大數(shù)據(jù)建設的重中之重。
農業(yè)大數(shù)據(jù)建設應逐步推進農業(yè)信息的規(guī)范化和標準化建設,有效整合農業(yè)內外資源,提高農業(yè)信息化深度應用、高端應用、合成應用能力和水平;增加基礎設施建設力度,完善信息中心各類基礎設施;加強整合信息資源,對各類信息精心篩選、加工整序,建立完善的數(shù)據(jù)整合體系;通過數(shù)據(jù)整合和數(shù)據(jù)共享,提升相關各部門和機構的緊密配合程度,使每個系統(tǒng)都得以有效運轉;推進農村信息資源整合的整體進程,形成信息化建設綜合保障長效機制,整體提升農業(yè)信息化管理和應用水平。
農業(yè)大數(shù)據(jù)平臺建設應采用大數(shù)據(jù)處理與挖掘分析、智能應用、智能消息推送、社會化協(xié)作、服務化架構等關鍵技術,把農業(yè)大數(shù)據(jù)平臺建設成為全新一代的松耦合、高效和高可用、高度可伸展、安全可靠的應用服務支撐平臺,為各種規(guī)模和各種類型的云應用提供統(tǒng)一開發(fā)、運行和管理的服務。
農業(yè)大數(shù)據(jù)云平臺的建設目標:
一是通過平臺的建設,匯集各方資源,構建農業(yè)領域大數(shù)據(jù)研究中心。二是通過數(shù)據(jù)整合,采集和加工處理,建成農業(yè)數(shù)據(jù)資源平臺。三是依托農業(yè)大數(shù)據(jù)相關技術,包括數(shù)據(jù)采集技術、存儲技術、分析挖掘技術、展現(xiàn)技術等構建農業(yè)大數(shù)據(jù)應用平臺。四是通過分析應用平臺,進行成果發(fā)布,形成農業(yè)領域專業(yè)研究的權威成果發(fā)布平臺,服務于政府、科研院所、涉農企業(yè)、社會公眾等。
7.1 農業(yè)大數(shù)據(jù)建設思路
按照高起點設計、主體先行的思路,農業(yè)大數(shù)據(jù)建設策略分為三步:搭建農業(yè)大數(shù)據(jù)云平臺,農業(yè)大數(shù)據(jù)整合,農業(yè)應用聚合創(chuàng)新。
規(guī)范農業(yè)大數(shù)據(jù)標準和規(guī)范體系,搭建農業(yè)大數(shù)據(jù)云平臺,構建云數(shù)據(jù)服務模型框架,逐步豐富資源服務功能,有效整合農業(yè)內外資源,提高農業(yè)信息化深度應用、高端應用、合成應用能力和水平,不改變原有農業(yè)應用系統(tǒng)進行聚合創(chuàng)新。
7.2 農業(yè)大數(shù)據(jù)建設要求
一是多元與整體考慮并存,滿足農業(yè)多部門和業(yè)務的寬幅需求,隨時了解不同業(yè)務需求變化,集中規(guī)范化、標準化解決,確保農業(yè)大數(shù)據(jù)云平臺長期的服務能力。
二是前瞻性與階段性相結合,需要具有適當?shù)那罢靶裕浞挚紤]到未來的技術發(fā)展方向和需求變化方向。
三是標準化與可擴展性相結合,充分考慮未來農業(yè)業(yè)務服務內容拓展,使系統(tǒng)在較長時期內能適應農業(yè)業(yè)務發(fā)展的需要。
四是先進性與安全性相結合,農業(yè)大數(shù)據(jù)承載著多樣的數(shù)據(jù)信息,采用先進技術的同時,也要保證系統(tǒng)運行的穩(wěn)定與安全。
7.3 農業(yè)大數(shù)據(jù)標準規(guī)范建設
農業(yè)數(shù)據(jù)標準規(guī)范體系建設,是對農業(yè)信息活動的各個環(huán)節(jié)實行標準化管理,將信息獲取、傳遞、存儲、分析和利用等環(huán)節(jié)有效銜接,從而切實有效的開發(fā)和利用農業(yè)信息資源,提高資源使用效率,擴大資源共享范圍。
農業(yè)數(shù)據(jù)標準規(guī)范體系建設是農業(yè)信息資源開發(fā)利用的關鍵因素。隨著農業(yè)數(shù)據(jù)大規(guī)模增長,農業(yè)大數(shù)據(jù)迫切需要出臺相關標準規(guī)范體系支撐,按照頂層設計、統(tǒng)一規(guī)劃、統(tǒng)一標準的原則,重點從采集、處理、傳輸和利用進行全面規(guī)劃的標準技術規(guī)范體系框架。這些標準包括數(shù)據(jù)元素標準、信息分類編碼標準、數(shù)據(jù)交換標準等。這些標準的建立,將貫穿信息需求分析、數(shù)據(jù)建模和后續(xù)應用開發(fā)的全過程。
[1]黃建全,解翠平,黎凌.新疆農業(yè)信息化發(fā)展現(xiàn)狀及建議[J],新疆農業(yè)科技,2013(5):1-4
[2]許世衛(wèi).農業(yè)信息分析學[M].北京高等教育出版社,20012: 1-323.
[3]陳曉華,農業(yè)信息化概論[M].北京:中國農業(yè)出版社,2012:1-386.
王強(1980年2月-),本科學歷,農藝師,研究方向:農業(yè)農村信息化。
2014-12-18