農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)建設(shè)的研究

任孟霞

（衡水學(xué)院，河北 衡水 053000）

隨著云平臺(tái)、物聯(lián)網(wǎng)在各行各業(yè)的廣泛應(yīng)用，通過收集不斷變化的數(shù)據(jù)，再對(duì)其進(jìn)行分類、挖掘及深度分析，可以使行業(yè)的發(fā)展更加順暢。我國(guó)是一個(gè)農(nóng)業(yè)大國(guó)，隨著信息科技的不斷深入，我國(guó)的農(nóng)業(yè)生產(chǎn)逐漸往高效、智能方向發(fā)展[1]。傳統(tǒng)農(nóng)業(yè)在收集和管理相關(guān)數(shù)據(jù)信息時(shí)，并不能做到系統(tǒng)化，存儲(chǔ)和查閱較為困難，而通過農(nóng)業(yè)大數(shù)據(jù)技術(shù)采集的數(shù)據(jù)能覆蓋整個(gè)農(nóng)業(yè)領(lǐng)域，所獲得的信息更加全面，同時(shí)能全方位地進(jìn)行查閱。大數(shù)據(jù)技術(shù)以其及時(shí)性與系統(tǒng)化的優(yōu)點(diǎn)為收集和分類農(nóng)業(yè)信息提供了新策略，并且通過分析能準(zhǔn)確預(yù)測(cè)未來，從而使傳統(tǒng)農(nóng)業(yè)向現(xiàn)代化農(nóng)業(yè)發(fā)展，能為生產(chǎn)、銷售及其他相關(guān)事項(xiàng)進(jìn)行有效預(yù)警、監(jiān)測(cè)，并為其決策提供準(zhǔn)確依據(jù)。

1 農(nóng)業(yè)大數(shù)據(jù)概述

1.1 農(nóng)業(yè)大數(shù)據(jù)的特點(diǎn)

農(nóng)業(yè)大數(shù)據(jù)對(duì)于整個(gè)大數(shù)據(jù)技術(shù)的應(yīng)用是一種特殊實(shí)踐，農(nóng)業(yè)從生產(chǎn)到銷售的過程中存在多個(gè)環(huán)節(jié)，通過農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)收集、分析和處理相關(guān)數(shù)據(jù)，再將其應(yīng)用到農(nóng)業(yè)生產(chǎn)、銷售等環(huán)節(jié)中，能為我國(guó)的農(nóng)業(yè)生產(chǎn)等提供更為精準(zhǔn)的數(shù)據(jù)分析報(bào)告。

從當(dāng)前的農(nóng)業(yè)大數(shù)據(jù)分析情況來看，農(nóng)業(yè)大數(shù)據(jù)較為復(fù)雜且具有鮮明的特點(diǎn)。其數(shù)據(jù)量非常大且較為廣泛，數(shù)據(jù)更新速度也非?？?，分析難度非常大。一方面，農(nóng)業(yè)領(lǐng)域所涉及的數(shù)據(jù)類型較多，如表格、圖片及影像資料等，所采集到的數(shù)據(jù)中也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的存在[2]。另一方面，農(nóng)作物生產(chǎn)過程中會(huì)受到自然條件、病蟲害管理等各種外部因素帶來的影響，所生成的數(shù)據(jù)具有一定的差異，這使相關(guān)人員需要進(jìn)行更加深入的挖掘與分析，從而實(shí)現(xiàn)數(shù)據(jù)個(gè)性化服務(wù)，以便這些農(nóng)業(yè)數(shù)據(jù)能更好地服務(wù)于農(nóng)業(yè)生產(chǎn)和銷售。

1.2 農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的建設(shè)意義

如果農(nóng)民能及時(shí)跟蹤天氣產(chǎn)生的數(shù)據(jù)變化，宏觀地了解市場(chǎng)供需情況及農(nóng)作物具體的生長(zhǎng)數(shù)據(jù)，讓農(nóng)民及農(nóng)業(yè)技術(shù)人員及時(shí)觀察和了解田間及市場(chǎng)的實(shí)際情況，并對(duì)農(nóng)作物生長(zhǎng)情況進(jìn)行預(yù)估，就能準(zhǔn)確地掌握是否需要對(duì)農(nóng)作物進(jìn)行澆水、噴藥等，這不僅能有效降低因自然因素、病蟲害等對(duì)農(nóng)作物產(chǎn)量造成的影響，也能通過實(shí)時(shí)的市場(chǎng)供需數(shù)據(jù)降低經(jīng)濟(jì)損失。從世界范圍來看，不少社會(huì)團(tuán)體與企業(yè)都已經(jīng)意識(shí)到農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)所帶來的便利，并開始致力于促進(jìn)大數(shù)據(jù)在農(nóng)業(yè)領(lǐng)域中實(shí)現(xiàn)跨領(lǐng)域應(yīng)用[3]。

在大數(shù)據(jù)時(shí)代下，通過建立一個(gè)綜合的數(shù)據(jù)分析平臺(tái)來規(guī)范農(nóng)產(chǎn)品生產(chǎn)，可以實(shí)現(xiàn)對(duì)農(nóng)作物、市場(chǎng)供需等現(xiàn)狀的記錄和分析，及時(shí)調(diào)整農(nóng)產(chǎn)品種植和育種過程及農(nóng)產(chǎn)品分配過程，并將這些數(shù)據(jù)分析結(jié)果與農(nóng)業(yè)生產(chǎn)經(jīng)驗(yàn)結(jié)合，形成一套能控制和管理的措施，從而有效、有序地促進(jìn)我國(guó)農(nóng)業(yè)發(fā)展。

2 農(nóng)業(yè)大數(shù)據(jù)平臺(tái)建設(shè)的現(xiàn)狀

經(jīng)過多年的發(fā)展，我國(guó)的農(nóng)業(yè)信息系統(tǒng)呈現(xiàn)出多層次、多學(xué)科的特點(diǎn)，為不同領(lǐng)域建立了不同層次的數(shù)據(jù)資源，形成了較為豐富的信息資源庫(kù)。但是，由于沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，缺乏信息共享，信息資源與業(yè)務(wù)之間存在利益關(guān)系，使得這些數(shù)據(jù)的利用率不高，并且相當(dāng)分散，存在信息冗余的情況。

農(nóng)業(yè)大數(shù)據(jù)的出現(xiàn)和應(yīng)用優(yōu)化了農(nóng)業(yè)經(jīng)濟(jì)發(fā)展，同時(shí)也實(shí)現(xiàn)了地區(qū)農(nóng)業(yè)的可持續(xù)發(fā)展及產(chǎn)業(yè)結(jié)構(gòu)調(diào)整，進(jìn)一步促進(jìn)了我國(guó)智慧農(nóng)業(yè)發(fā)展，促使相關(guān)機(jī)構(gòu)更加精準(zhǔn)地把握農(nóng)業(yè)的發(fā)展方向。不過，這一切都需要建立在擁有完善的農(nóng)業(yè)大數(shù)據(jù)基礎(chǔ)之上，并且能及時(shí)地對(duì)采集到的數(shù)據(jù)進(jìn)行有效的分析和處理，因此農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的建設(shè)具有非常重要的意義。從技術(shù)上看，現(xiàn)有的各種類型的平臺(tái)如果能整合在一起，就能更好地應(yīng)用先進(jìn)的大數(shù)據(jù)系統(tǒng)框架，以實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的收集，發(fā)揮現(xiàn)代信息技術(shù)優(yōu)勢(shì)，并借助大數(shù)據(jù)時(shí)代提供的其他輔助功能，構(gòu)建高效的開放式業(yè)務(wù)應(yīng)用平臺(tái)[4]。從分析平臺(tái)的結(jié)構(gòu)上看，借助良好的可配置性，其能滿足資源擴(kuò)充與業(yè)務(wù)流程變的要求，并且隨著信息技術(shù)的進(jìn)步，更好地實(shí)現(xiàn)了人機(jī)交互，以促進(jìn)一般技術(shù)人員的開發(fā)和使用。隨著應(yīng)用領(lǐng)域的擴(kuò)展，業(yè)務(wù)發(fā)展和業(yè)務(wù)規(guī)模的增加，系統(tǒng)的可擴(kuò)展性和適用性也必須得到提高。

3 農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的建設(shè)策略

3.1 設(shè)計(jì)思路與原則

農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)需要利用物聯(lián)網(wǎng)、傳感器等大數(shù)據(jù)采集技術(shù)，采集包括土壤數(shù)、氣象及農(nóng)產(chǎn)品價(jià)格等的多類型數(shù)據(jù)，并建立多元化、大規(guī)模的數(shù)據(jù)農(nóng)業(yè)信息數(shù)據(jù)庫(kù)。農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)不僅會(huì)為用戶提供當(dāng)?shù)剞r(nóng)業(yè)生產(chǎn)的各項(xiàng)數(shù)據(jù)，同時(shí)能進(jìn)行自定義、可視化查詢服務(wù)，為農(nóng)業(yè)生產(chǎn)提供更精準(zhǔn)的信息化服務(wù)[5]。

農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)所使用的原理是多元化數(shù)據(jù)收集，收集相關(guān)的各種數(shù)據(jù)，并以分析平臺(tái)預(yù)設(shè)的數(shù)據(jù)為參考，構(gòu)建一個(gè)集成的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。在農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的應(yīng)用過程中，其可根據(jù)用戶的需求給予個(gè)性化服務(wù)，從而使得用戶能使用其提供的服務(wù)快速查詢所需信息。

3.2 農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的架構(gòu)組成

農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)需要通過基礎(chǔ)設(shè)備實(shí)現(xiàn)對(duì)數(shù)據(jù)的采集、歸類和處理，經(jīng)過分析后將其表現(xiàn)在具體的應(yīng)用上?；A(chǔ)設(shè)備所執(zhí)行的采集工作，也是農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)能實(shí)現(xiàn)數(shù)據(jù)處理、分析的前提。另外，數(shù)據(jù)采集層還需要采集直接通過實(shí)地的傳感器系統(tǒng)傳輸?shù)臄?shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)收集，并移交給數(shù)據(jù)處理層進(jìn)行處理，與標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行對(duì)比，實(shí)現(xiàn)多元化異構(gòu)數(shù)據(jù)，再通過數(shù)據(jù)分析層進(jìn)行分析，將結(jié)果提交給應(yīng)用層，為不同的需求者提供相應(yīng)的數(shù)據(jù)服務(wù)。

1）總體架構(gòu)。實(shí)現(xiàn)農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的建立，需要以大數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)處理分析為基礎(chǔ)，整合農(nóng)業(yè)各個(gè)領(lǐng)域的所有相關(guān)數(shù)據(jù)，這樣才能為農(nóng)業(yè)生產(chǎn)用戶、農(nóng)業(yè)企業(yè)及相關(guān)企業(yè)更好地提供農(nóng)業(yè)數(shù)據(jù)信息綜合分析，并且為決策管理部門提供更為精準(zhǔn)的服務(wù)。

2）關(guān)鍵技術(shù)框架。以農(nóng)業(yè)大數(shù)據(jù)為基礎(chǔ)，將農(nóng)業(yè)領(lǐng)域及相關(guān)產(chǎn)業(yè)鏈的數(shù)據(jù)進(jìn)行綜合整理和分析，實(shí)現(xiàn)對(duì)多元化數(shù)據(jù)的管理和分析，借助ETL 工具及相關(guān)的設(shè)計(jì)工具和設(shè)備為需求者提供相應(yīng)的數(shù)據(jù)服務(wù)，通過BI 分析平臺(tái)等對(duì)復(fù)雜的數(shù)據(jù)進(jìn)行分析處理。各種BI 工具是該分析平臺(tái)的基本服務(wù)與操作框架，可以通過分析模型實(shí)現(xiàn)對(duì)數(shù)據(jù)的全面管理，以及實(shí)現(xiàn)對(duì)相關(guān)資源的整合和分析。平臺(tái)所收集到的數(shù)據(jù)有多源異構(gòu)的性質(zhì)，因此在實(shí)現(xiàn)時(shí)需要考慮多級(jí)分布式存儲(chǔ)系統(tǒng)，以便實(shí)現(xiàn)高速緩存文件，從而實(shí)現(xiàn)數(shù)據(jù)源存儲(chǔ)負(fù)擔(dān)的降低。

農(nóng)業(yè)大數(shù)據(jù)的多元化數(shù)據(jù)接口和集成體系結(jié)構(gòu)，對(duì)數(shù)據(jù)從數(shù)據(jù)源到數(shù)據(jù)存儲(chǔ)之間具體的規(guī)范體系結(jié)構(gòu)進(jìn)行了描述。農(nóng)業(yè)多元化數(shù)據(jù)量大，采集到的數(shù)據(jù)會(huì)出現(xiàn)異構(gòu)、丟失及沖突等情況，可通過ETL 數(shù)據(jù)的建立實(shí)現(xiàn)對(duì)數(shù)據(jù)的加載、清理及轉(zhuǎn)換。針對(duì)農(nóng)業(yè)大數(shù)據(jù)環(huán)境中關(guān)于實(shí)地農(nóng)業(yè)數(shù)據(jù)采集、處理等復(fù)雜問題，確保數(shù)據(jù)能實(shí)現(xiàn)精準(zhǔn)數(shù)據(jù)分析和挖掘，從而實(shí)現(xiàn)精確生產(chǎn)或自動(dòng)化生產(chǎn)，并跟蹤市場(chǎng)供應(yīng)鏈，實(shí)現(xiàn)智能生產(chǎn)，以滿足其他相關(guān)產(chǎn)業(yè)的應(yīng)用要求。

建設(shè)農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)使用ETL 技術(shù)對(duì)多元化異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，從而更為系統(tǒng)地為用戶提供相關(guān)信息的快速查詢和分析，并且可以構(gòu)建農(nóng)作物生長(zhǎng)指標(biāo)工具，實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)監(jiān)控、生成圖形報(bào)告等。同時(shí)，數(shù)據(jù)分析平臺(tái)會(huì)根據(jù)管理者預(yù)設(shè)的數(shù)值與實(shí)際情況進(jìn)行對(duì)比，為農(nóng)作物的生長(zhǎng)提供綜合評(píng)估參數(shù)，為監(jiān)測(cè)、預(yù)警分析模型提供準(zhǔn)確的分析對(duì)比參數(shù)，并借助BI 進(jìn)行綜合展示。

3.3 農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)構(gòu)建的關(guān)鍵技術(shù)

1）數(shù)據(jù)采集處理分析。農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)的基礎(chǔ)是為了實(shí)現(xiàn)多元化數(shù)據(jù)的收集與集成處理。對(duì)于數(shù)據(jù)采集，要確保ETL 工具能提高數(shù)據(jù)采集效率，并且保證工作時(shí)該平臺(tái)性能的穩(wěn)定，確保編寫的插件有高標(biāo)準(zhǔn)的可重用性，滿足各種類型的數(shù)據(jù)源接入。只有這樣，在農(nóng)業(yè)生產(chǎn)過程中，最終使用者才能借助該平臺(tái)輕松獲取數(shù)據(jù)報(bào)告，不需要執(zhí)行較為復(fù)雜的編程任務(wù)。對(duì)于數(shù)據(jù)庫(kù)的設(shè)計(jì)，應(yīng)考慮采用三級(jí)服務(wù)等級(jí)，即詳細(xì)、摘要及應(yīng)用集成。首先，將ETL采集到的數(shù)據(jù)按照相應(yīng)的提取規(guī)則建立臨時(shí)存儲(chǔ)數(shù)據(jù)庫(kù)，并將其作為詳細(xì)數(shù)據(jù)，從中提取出關(guān)鍵信息劃入摘要數(shù)據(jù)中，根據(jù)業(yè)務(wù)的需要來調(diào)用相應(yīng)的數(shù)據(jù)。其次，根據(jù)查詢的需要，將詳細(xì)數(shù)據(jù)信息與摘要數(shù)據(jù)展示給用戶，從而實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)和銷售過程的多維數(shù)據(jù)體系。

2）通過BI 分析平臺(tái)進(jìn)行分析。BI 分析平臺(tái)以其能有效處理復(fù)雜數(shù)據(jù)的優(yōu)勢(shì)在農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)中承擔(dān)處理多維數(shù)據(jù)服務(wù)的角色，將不容易理解的專業(yè)數(shù)據(jù)或復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為較容易理解的圖形；并借助其提供的多維分析工具，讓用戶直觀地查看綜合分析后的需求信息，對(duì)每個(gè)指標(biāo)的動(dòng)態(tài)與出現(xiàn)的變化進(jìn)行分析和預(yù)測(cè)，借助數(shù)據(jù)報(bào)告顯示功能，將獲得的結(jié)果通過文本、數(shù)字及圖形等農(nóng)民容易理解的方式進(jìn)行展示。

4 結(jié)束語(yǔ)

文章所研究的農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)，需要建立在農(nóng)業(yè)大數(shù)據(jù)基礎(chǔ)之上，通過分析系統(tǒng)結(jié)構(gòu)設(shè)計(jì)，對(duì)農(nóng)業(yè)從生產(chǎn)過程中所產(chǎn)生的各項(xiàng)數(shù)據(jù)進(jìn)行采集和分析，為后續(xù)的相關(guān)領(lǐng)域提供精準(zhǔn)的大數(shù)據(jù)信息服務(wù)；還可以根據(jù)市場(chǎng)供需信息的反饋，對(duì)農(nóng)業(yè)生產(chǎn)者的具體生產(chǎn)情況進(jìn)行調(diào)整，從而實(shí)現(xiàn)更好的自動(dòng)化生產(chǎn)與產(chǎn)品跟蹤。通過農(nóng)業(yè)生產(chǎn)與銷售集成，使輔助農(nóng)業(yè)生產(chǎn)、銷售的各行各業(yè)都能參與其中，為農(nóng)業(yè)生產(chǎn)銷售提供服務(wù)，通過農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)進(jìn)行調(diào)整，使農(nóng)業(yè)生產(chǎn)的附加值得到有效的提高。