蘋(píng)果產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用體系架構(gòu)設(shè)計(jì)

程述漢，畢燕東， 束懷瑞

(1.山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，山東泰安 271018；2.山東農(nóng)業(yè)大學(xué)園藝科學(xué)與工程學(xué)院)

數(shù)據(jù)資源已經(jīng)成為商業(yè)資本用于創(chuàng)造新的經(jīng)濟(jì)利益。蘋(píng)果產(chǎn)業(yè)數(shù)據(jù)涵蓋果樹(shù)栽培、農(nóng)業(yè)科技、農(nóng)業(yè)裝備、氣象、土地、水利、農(nóng)資、病蟲(chóng)害防治、生態(tài)環(huán)境、市場(chǎng)流通、果品加工、食品安全等諸多環(huán)節(jié)，數(shù)據(jù)源較為復(fù)雜。生物作為蘋(píng)果生產(chǎn)過(guò)程主體的特質(zhì)，導(dǎo)致蘋(píng)果生產(chǎn)的區(qū)域化、多樣化、差異化以及動(dòng)態(tài)性和復(fù)雜性，時(shí)刻面臨著不斷產(chǎn)生的大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的獲取、挖掘、存貯、處理與應(yīng)用等問(wèn)題，構(gòu)成了農(nóng)業(yè)大數(shù)據(jù)研究與應(yīng)用的基礎(chǔ)條件?；诖髷?shù)據(jù)的理論和技術(shù)，開(kāi)展蘋(píng)果大數(shù)據(jù)研究與應(yīng)用服務(wù)，將對(duì)智慧農(nóng)業(yè)的發(fā)展產(chǎn)生重大推動(dòng)作用。

1 蘋(píng)果產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)體系

當(dāng)前蘋(píng)果產(chǎn)業(yè)存在的主要問(wèn)題是增產(chǎn)不增效、增效不增收，對(duì)國(guó)內(nèi)外市場(chǎng)響應(yīng)乏力，對(duì)消費(fèi)者的多樣化需求了解不夠，資源環(huán)境問(wèn)題日益突出。迫切需要應(yīng)用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能，建立多源數(shù)據(jù)感知、內(nèi)容理解、深度學(xué)習(xí)、演繹推理一體化技術(shù)體系和應(yīng)用平臺(tái)，使信息技術(shù)在全產(chǎn)業(yè)鏈中得到廣泛應(yīng)用，為農(nóng)業(yè)4.0奠定基礎(chǔ)(農(nóng)業(yè)4.0是融合互聯(lián)網(wǎng)的高度智能化的種植管理)。

產(chǎn)前，需要高標(biāo)準(zhǔn)果園建設(shè)，果園環(huán)境監(jiān)測(cè)，農(nóng)資監(jiān)管，市場(chǎng)預(yù)測(cè)分析。產(chǎn)中，需要智慧農(nóng)業(yè)促進(jìn)農(nóng)機(jī)-農(nóng)藝智能融合，節(jié)本增效，提高土地產(chǎn)出率、勞動(dòng)生產(chǎn)率、資源利用率。產(chǎn)后，需要果品電商，冷鏈物流，果品質(zhì)量安全監(jiān)測(cè)預(yù)警。同時(shí)需要通過(guò)信息反饋和機(jī)器學(xué)習(xí)，不斷提高農(nóng)業(yè)大數(shù)據(jù)服務(wù)水平。

根據(jù)智慧果園的相關(guān)要素進(jìn)行需求分析，從系統(tǒng)的觀點(diǎn)出發(fā)，按照頂層設(shè)計(jì)原則，從服務(wù)、管理、應(yīng)用、資源和技術(shù)5個(gè)方面提出蘋(píng)果大數(shù)據(jù)SMART(Specific、Measurable、Attainable、Relevant、Time-based，明確性、衡量性、可實(shí)現(xiàn)性、相關(guān)性、時(shí)限性)應(yīng)用架構(gòu)體系(圖1)。其中，技術(shù)和資源是農(nóng)業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)(投入)層；分析處理和應(yīng)用平臺(tái)是農(nóng)業(yè)大數(shù)據(jù)應(yīng)用最直接的產(chǎn)出物，定義為應(yīng)用層；管理是指在蘋(píng)果產(chǎn)業(yè)項(xiàng)目的規(guī)劃建設(shè)和各應(yīng)用系統(tǒng)的運(yùn)營(yíng)維護(hù)方面能夠提供自動(dòng)化、一體化和智能化管理；服務(wù)是指為廣大果農(nóng)、相關(guān)企業(yè)和組織提供蘋(píng)果產(chǎn)業(yè)公共服務(wù)和專業(yè)技術(shù)服務(wù)，管理和服務(wù)構(gòu)成蘋(píng)果大數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)體系的服務(wù)層。應(yīng)用層充分利用云計(jì)算、模式識(shí)別、人工智能等各種智能計(jì)算和信息處理技術(shù)，對(duì)海量數(shù)據(jù)和信息進(jìn)行分析和處理，動(dòng)態(tài)優(yōu)化生產(chǎn)、管理和營(yíng)銷(xiāo)方案，是數(shù)據(jù)處理的核心。對(duì)蘋(píng)果大數(shù)據(jù)服務(wù)平臺(tái)的服務(wù)、管理、應(yīng)用、資源和技術(shù)需求作進(jìn)一步的說(shuō)明。

從數(shù)學(xué)這一學(xué)科來(lái)看，他本身就具備抽象性強(qiáng)、邏輯能力大、結(jié)構(gòu)嚴(yán)謹(jǐn)?shù)忍攸c(diǎn)，同時(shí)隨著知識(shí)點(diǎn)的不斷深入，基礎(chǔ)知識(shí)的作用與日俱增，對(duì)邏輯思維能力要求也越來(lái)越高。小學(xué)數(shù)學(xué)教學(xué)，是培養(yǎng)小學(xué)生邏輯思維能力的基礎(chǔ)，是后期數(shù)學(xué)學(xué)習(xí)中知識(shí)點(diǎn)掌握難易的關(guān)鍵，就目前數(shù)學(xué)教學(xué)現(xiàn)狀來(lái)看，即使是小學(xué)數(shù)學(xué)，復(fù)雜繁瑣的知識(shí)、難以理解的術(shù)語(yǔ)、抽象的圖案，讓本就思維邏輯能力不夠的小學(xué)生學(xué)起來(lái)更加困難，以至隨著學(xué)習(xí)的不斷加深，知識(shí)點(diǎn)的不斷累積，小學(xué)生在難以理解致使跟不上進(jìn)度的情況下，很容易產(chǎn)生厭學(xué)情緒，所以，換句話說(shuō)，復(fù)雜繁瑣的知識(shí)點(diǎn)，是制約小學(xué)數(shù)學(xué)教學(xué)中培養(yǎng)學(xué)生思維能力的主要障礙。

圖1 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用架構(gòu)體系

1.1 服務(wù)(Service)

服務(wù)是蘋(píng)果大數(shù)據(jù)研究與應(yīng)用的最終目標(biāo)。果農(nóng)、農(nóng)資公司、農(nóng)民合作組織、相關(guān)企業(yè)(生產(chǎn)、加工、儲(chǔ)運(yùn)、銷(xiāo)售)是蘋(píng)果產(chǎn)業(yè)的行為主體；政府是蘋(píng)果產(chǎn)業(yè)公共服務(wù)的主要提供者，為其提供基礎(chǔ)設(shè)施建設(shè)、技術(shù)推廣、信息化、政策法律法規(guī)等方面的公共服務(wù)，包括蘋(píng)果產(chǎn)前、產(chǎn)中、產(chǎn)后的全面、系統(tǒng)、一體化的服務(wù)。因此，政府在面向果農(nóng)、農(nóng)資公司、農(nóng)民合作組織、相關(guān)企業(yè)時(shí)需要提供越來(lái)越智慧化的農(nóng)業(yè)服務(wù)。各行為主體必須及時(shí)提供相關(guān)數(shù)據(jù)和信息，積極參與蘋(píng)果大數(shù)據(jù)服務(wù)平臺(tái)的建設(shè)，方能解決數(shù)據(jù)共享和深度利用等問(wèn)題。

1.2 管理(Management)

管理是指在蘋(píng)果產(chǎn)業(yè)活動(dòng)過(guò)程中，政府及蘋(píng)果產(chǎn)業(yè)行為主體都要履行的管理職能，從項(xiàng)目規(guī)劃建設(shè)到應(yīng)用系統(tǒng)運(yùn)維管理及監(jiān)督，整個(gè)過(guò)程都需要政府和各行為主體共同參與。智慧農(nóng)業(yè)的管理應(yīng)立足于宏觀管理，主要包括智慧農(nóng)業(yè)規(guī)劃管理、運(yùn)營(yíng)管理和監(jiān)督評(píng)價(jià)管理3部分。規(guī)劃管理主要是指針對(duì)蘋(píng)果產(chǎn)業(yè)重大項(xiàng)目、工程，以相關(guān)的產(chǎn)業(yè)規(guī)劃、政策法規(guī)為依據(jù)，在人力、物力、資金等方面進(jìn)行科學(xué)合理地計(jì)劃和組織協(xié)調(diào)；運(yùn)營(yíng)管理則涵蓋了果品生產(chǎn)、加工、流通、安全等多個(gè)領(lǐng)域，具體體現(xiàn)在管理模式、收益模式和運(yùn)營(yíng)成效3方面；監(jiān)督評(píng)價(jià)管理主要是對(duì)規(guī)劃和運(yùn)營(yíng)管理效果的監(jiān)督和評(píng)價(jià)，因此對(duì)于具體的產(chǎn)業(yè)管理活動(dòng)，公眾的廣泛參與可以有效地起到群策群力和全民監(jiān)督作用，為蘋(píng)果產(chǎn)業(yè)的智慧管理提供公眾基礎(chǔ)性的數(shù)據(jù)來(lái)源。

1.3 應(yīng)用(Application)

應(yīng)用是指蘋(píng)果大數(shù)據(jù)應(yīng)用系統(tǒng)、管理平臺(tái)的設(shè)計(jì)、開(kāi)發(fā)與使用，為蘋(píng)果大數(shù)據(jù)管理和服務(wù)提供全面支撐。根據(jù)目前蘋(píng)果大數(shù)據(jù)的主要來(lái)源，可以將其應(yīng)用領(lǐng)域歸納為如下幾個(gè)方面。

1.3.1蘋(píng)果生產(chǎn)管理 運(yùn)用農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)在蘋(píng)果生產(chǎn)過(guò)程中科學(xué)采集所需數(shù)據(jù)進(jìn)行分析處理，進(jìn)而提供“精準(zhǔn)化”的農(nóng)資配方和農(nóng)藝措施、“智慧化”的管理決策和設(shè)施控制，達(dá)到蘋(píng)果提質(zhì)增產(chǎn)、果農(nóng)提效增收的目的。農(nóng)業(yè)大數(shù)據(jù)在數(shù)字果園管理中具有果樹(shù)長(zhǎng)勢(shì)監(jiān)測(cè)、果園病蟲(chóng)害監(jiān)測(cè)和實(shí)時(shí)識(shí)別、病蟲(chóng)害防治方案實(shí)時(shí)提供、蘋(píng)果生產(chǎn)專業(yè)化指導(dǎo)、果品質(zhì)量安全溯源等用途。蘋(píng)果生產(chǎn)管理中需要解決的另一問(wèn)題，是要通過(guò)大數(shù)據(jù)分析給出適地適樹(shù)的實(shí)現(xiàn)途徑，并優(yōu)化品種結(jié)構(gòu)和管理模式。

1.3.2蘋(píng)果資源管理 蘋(píng)果資源除了土地、水等自然資源之外，還包括各種相關(guān)生物資源和蘋(píng)果生產(chǎn)資料等。從目前中國(guó)蘋(píng)果面積大、經(jīng)營(yíng)分散、產(chǎn)量和品質(zhì)不高、市場(chǎng)競(jìng)爭(zhēng)力差的現(xiàn)實(shí)出發(fā)，有必要運(yùn)用物聯(lián)網(wǎng)、大數(shù)據(jù)等先進(jìn)技術(shù)對(duì)蘋(píng)果資源進(jìn)一步優(yōu)化配置、合理開(kāi)發(fā)，從而實(shí)現(xiàn)蘋(píng)果產(chǎn)業(yè)的高產(chǎn)優(yōu)質(zhì)和節(jié)能高效。

1.3.3生態(tài)環(huán)境管理 蘋(píng)果生態(tài)環(huán)境包括土壤、大氣、水質(zhì)、氣象、污染、災(zāi)害等，需要對(duì)這些環(huán)境影響因子實(shí)現(xiàn)全面監(jiān)測(cè)、精準(zhǔn)化管理。通過(guò)大數(shù)據(jù)探索果園化肥、農(nóng)藥“雙控雙降”有效途徑，走資源節(jié)約型、環(huán)境友好型可持續(xù)發(fā)展之路。

1.3.5果園裝備管理 提供果園裝備和設(shè)施在工作運(yùn)作情況下?tīng)顟B(tài)的監(jiān)控、遠(yuǎn)程診斷以及服務(wù)調(diào)度等方面的智能化管理和應(yīng)用。利用果園氣象和土壤等環(huán)境信息采集設(shè)備，果樹(shù)營(yíng)養(yǎng)和果實(shí)品質(zhì)等生理信息監(jiān)測(cè)設(shè)備，植物生物量和性狀探測(cè)裝置，以及基于果園群體結(jié)構(gòu)的變量施藥裝備，建立果園管理信息化精準(zhǔn)作業(yè)技術(shù)體系，開(kāi)展果園信息服務(wù)和精準(zhǔn)作業(yè)技術(shù)與裝備的集成應(yīng)用示范。

1.3.6蘋(píng)果科研大數(shù)據(jù)資源管理 蘋(píng)果科研產(chǎn)生的大數(shù)據(jù)有空間與地面的遙感數(shù)據(jù)，基因圖譜、大規(guī)模測(cè)序、蘋(píng)果基因組數(shù)據(jù)以及大量的生物實(shí)驗(yàn)數(shù)據(jù)。通過(guò)對(duì)蘋(píng)果科研大數(shù)據(jù)的智能分析，能夠更好地指導(dǎo)蘋(píng)果生產(chǎn)和加工流通。

在上述各類(lèi)應(yīng)用中，果品生產(chǎn)過(guò)程、果業(yè)資源、生態(tài)環(huán)境、果品質(zhì)量安全、果品市場(chǎng)流通各環(huán)節(jié)的監(jiān)測(cè)和預(yù)測(cè)是重點(diǎn)應(yīng)用方向。

1.4 資源(Resource)

資源分為自然資源和社會(huì)資源兩大類(lèi)，這里主要考慮自然資源、基礎(chǔ)設(shè)施資源和信息資源。資源的開(kāi)發(fā)和利用是蘋(píng)果大數(shù)據(jù)應(yīng)用的基礎(chǔ)。自然資源包括土地資源、水資源、大氣資源等天然存在的資源?；A(chǔ)設(shè)施資源在這里特指包含有線傳輸網(wǎng)絡(luò)、無(wú)線傳感網(wǎng)、移動(dòng)互聯(lián)網(wǎng)以及各種信息化終端等網(wǎng)絡(luò)基礎(chǔ)設(shè)施，是蘋(píng)果大數(shù)據(jù)應(yīng)用的通信設(shè)施基礎(chǔ)。信息資源是指在人們從事蘋(píng)果生產(chǎn)活動(dòng)的過(guò)程中，產(chǎn)生的各種語(yǔ)言、文字、音視頻、圖像、圖表、數(shù)字以及傳感器采集的信息等所有信息構(gòu)成的集合。當(dāng)前蘋(píng)果生產(chǎn)管理活動(dòng)中普遍存在資源分散、標(biāo)準(zhǔn)不統(tǒng)一等問(wèn)題，造成了信息共享和交換的困難。因此，有必要對(duì)元數(shù)據(jù)進(jìn)行有效管理，將交換標(biāo)準(zhǔn)一致化，不斷優(yōu)化交換流程，為蘋(píng)果大數(shù)據(jù)的應(yīng)用提供強(qiáng)大的數(shù)據(jù)信息基礎(chǔ)。

除蘋(píng)果生產(chǎn)管理數(shù)據(jù)之外，農(nóng)資生產(chǎn)、果品存貯、加工、流通、市場(chǎng)等相關(guān)衍生產(chǎn)業(yè)的數(shù)據(jù)，涉農(nóng)經(jīng)濟(jì)主體的相關(guān)信息，以及統(tǒng)計(jì)數(shù)據(jù)、進(jìn)出口數(shù)據(jù)等宏觀經(jīng)濟(jì)背景的數(shù)據(jù)，也是蘋(píng)果大數(shù)據(jù)系統(tǒng)所要關(guān)注的。

1.5 技術(shù)(Technology )

隨著信息系統(tǒng)的快速發(fā)展，不僅要求海量信息可靠存儲(chǔ)，還需滿足大量用戶快速訪問(wèn)、智能分析、分類(lèi)匯總數(shù)據(jù)等方面的需求。大數(shù)據(jù)技術(shù)是一個(gè)整體，沒(méi)有統(tǒng)一的解決方案，相關(guān)技術(shù)涉及數(shù)據(jù)的傳輸、存儲(chǔ)、計(jì)算、挖掘、展現(xiàn)和開(kāi)發(fā)者平臺(tái)6個(gè)部分。蘋(píng)果大數(shù)據(jù)的特點(diǎn)及其存儲(chǔ)應(yīng)用所需要具備的各種功能特征，決定了蘋(píng)果大數(shù)據(jù)應(yīng)用在技術(shù)體系架構(gòu)上可以采用基于Hadoop分布式處理的軟件生態(tài)系統(tǒng)，并可以將Spark納入Hadoop并取代MapReduce，搭建混合處理框架。由于Hadoop是開(kāi)源軟件，使用成本很低，非常適合作為農(nóng)業(yè)方面大數(shù)據(jù)應(yīng)用處理的技術(shù)選擇，其技術(shù)架構(gòu)如圖2所示。

圖2 蘋(píng)果大數(shù)據(jù)應(yīng)用Hadoop技術(shù)架構(gòu)

2 蘋(píng)果產(chǎn)業(yè)大數(shù)據(jù)智能分析平臺(tái)技術(shù)設(shè)計(jì)

大數(shù)據(jù)分析的重要目標(biāo)之一是發(fā)現(xiàn)數(shù)據(jù)的關(guān)聯(lián)性。農(nóng)業(yè)數(shù)據(jù)的低價(jià)值密度特性，要求對(duì)大量的數(shù)據(jù)進(jìn)行深入的比較、提純和轉(zhuǎn)變等分析和挖掘處理，發(fā)現(xiàn)其內(nèi)在的意義和相互間的聯(lián)系，以便為果農(nóng)、相關(guān)企業(yè)和部門(mén)提供科學(xué)準(zhǔn)確的決策支持服務(wù)。本研究所設(shè)計(jì)的蘋(píng)果大數(shù)據(jù)智能分析平臺(tái)，能夠在智能數(shù)字果園等進(jìn)行數(shù)據(jù)分析處理方面得到應(yīng)用，為果農(nóng)、相關(guān)企業(yè)和部門(mén)提供智能化決策支撐。

2.1 平臺(tái)總體架構(gòu)

借助先進(jìn)成熟的大數(shù)據(jù)存儲(chǔ)及處理技術(shù)，建設(shè)蘋(píng)果大數(shù)據(jù)智能分析平臺(tái)，整合及加工內(nèi)外部各種農(nóng)業(yè)相關(guān)數(shù)據(jù)，形成權(quán)威的果業(yè)信息統(tǒng)一視圖，為相關(guān)部門(mén)和企業(yè)決策、果業(yè)公共服務(wù)、果品質(zhì)量安全監(jiān)管、果業(yè)管理、果業(yè)生產(chǎn)環(huán)境保護(hù)等提供數(shù)據(jù)應(yīng)用支撐。從IAAS(基礎(chǔ)設(shè)施即服務(wù))、PAAS(平臺(tái)即服務(wù))、SAAS(軟件即服務(wù))三方面的服務(wù)模式設(shè)計(jì)了蘋(píng)果大數(shù)據(jù)智能分析平臺(tái)的總體架構(gòu)，如圖3所示。

2.2 平臺(tái)技術(shù)實(shí)現(xiàn)

2.2.1技術(shù)框架 蘋(píng)果大數(shù)據(jù)智能分析平臺(tái)由綜合平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(Extract-Transform-Load，ETL)工具、設(shè)計(jì)工具、運(yùn)行時(shí)、預(yù)置應(yīng)用和商業(yè)智能(Business Intelligence，BI)門(mén)戶6部分構(gòu)成，為相關(guān)企業(yè)提供端到端的BI服務(wù)。技術(shù)框架如圖4所示。

綜合平臺(tái)提供系統(tǒng)基礎(chǔ)服務(wù)和運(yùn)行框架，統(tǒng)一管理各種BI工具和分析模型，并可對(duì)資源進(jìn)行管理。ETL工具可以完成異構(gòu)數(shù)據(jù)的整合、集成和輔助數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，形成各領(lǐng)域的主題數(shù)據(jù)庫(kù)。設(shè)計(jì)工具提供了靈活查詢、多維分析、指標(biāo)工具、管理駕駛艙、智能報(bào)告、及地圖分析等工具，能實(shí)現(xiàn)各種分析模型的定義和發(fā)布。運(yùn)行時(shí)用于解析設(shè)計(jì)模型，并監(jiān)控整個(gè)模型的運(yùn)行狀態(tài)。預(yù)置應(yīng)用提供多個(gè)分析、評(píng)價(jià)、預(yù)警、預(yù)測(cè)、優(yōu)化方面的模型，為用戶提供參考。BI門(mén)戶采用Portal(一個(gè)開(kāi)源的基于Web的網(wǎng)站模版)技術(shù)，將各種應(yīng)用系統(tǒng)資源、數(shù)據(jù)資源、信息資源統(tǒng)一集成到一個(gè)平臺(tái)之下，根據(jù)每個(gè)用戶使用特點(diǎn)和角色的不同，形成個(gè)性化的應(yīng)用界面。

圖3 蘋(píng)果大數(shù)據(jù)智能分析平臺(tái)總體架構(gòu)

圖4 農(nóng)業(yè)大數(shù)據(jù)智能分析平臺(tái)技術(shù)框架

2.2.2數(shù)據(jù)采集分析 平臺(tái)的基礎(chǔ)核心是從農(nóng)業(yè)各類(lèi)數(shù)據(jù)源中采集數(shù)據(jù)，并整理形成蘋(píng)果產(chǎn)業(yè)各領(lǐng)域主題數(shù)據(jù)庫(kù)。核心數(shù)據(jù)采集整理的ETL工具，采用基于開(kāi)源項(xiàng)目kettle(國(guó)外開(kāi)源的純java編寫(xiě)的ETL工具)再進(jìn)行二次開(kāi)發(fā)完成。該ETL工具數(shù)據(jù)抽取高效，性能穩(wěn)定，而且是采用插件式框架，針對(duì)不同主題的采集數(shù)據(jù)源需求，開(kāi)發(fā)相應(yīng)的數(shù)據(jù)采集整理插件即可，插件的可復(fù)用性強(qiáng)；用戶端實(shí)現(xiàn)非編程、可視化數(shù)據(jù)采集設(shè)計(jì)功能。數(shù)據(jù)采集過(guò)程如圖4所示，從各數(shù)據(jù)源采集到的數(shù)據(jù)，先經(jīng)過(guò)格式檢查校驗(yàn)和轉(zhuǎn)換處理后存儲(chǔ)于臨時(shí)存儲(chǔ)區(qū)。臨時(shí)存儲(chǔ)區(qū)數(shù)據(jù)再經(jīng)過(guò)三級(jí)ETL抽取整理后形成各領(lǐng)域的主題數(shù)據(jù)庫(kù)。在主題數(shù)據(jù)庫(kù)設(shè)計(jì)方面，根據(jù)不同應(yīng)用需求提供三級(jí)數(shù)據(jù)服務(wù)層，分別是細(xì)節(jié)數(shù)據(jù)層、匯總數(shù)據(jù)層和應(yīng)用集市層。一級(jí)ETL抽取將臨時(shí)存儲(chǔ)區(qū)的數(shù)據(jù)按照預(yù)設(shè)的ETL抽取規(guī)則，抽取整理到細(xì)節(jié)數(shù)據(jù)層。二級(jí)ETL抽取將細(xì)節(jié)數(shù)據(jù)抽取、整理、分析成面向業(yè)務(wù)主題的統(tǒng)計(jì)數(shù)據(jù)集，即匯總數(shù)據(jù)層。第三級(jí)ETL抽取將細(xì)節(jié)數(shù)據(jù)層和匯總數(shù)據(jù)層數(shù)據(jù)抽取整理成應(yīng)用集市層，形成各主題多維數(shù)據(jù)立方體。

2.2.3 BI分析平臺(tái) BI分析平臺(tái)和門(mén)戶采用Portal技術(shù)實(shí)現(xiàn)，通過(guò)系統(tǒng)提供的多維數(shù)據(jù)服務(wù)，定制不同的預(yù)警和分析模型，BI系統(tǒng)可以將復(fù)雜的專業(yè)數(shù)據(jù)，以簡(jiǎn)單、易懂的圖形方式展現(xiàn)出來(lái)，配合多維分析工具，用戶可從數(shù)據(jù)立方體中對(duì)分析指標(biāo)進(jìn)行多維度、多角度的分析，科學(xué)準(zhǔn)確地了解各指標(biāo)的現(xiàn)狀和發(fā)展趨勢(shì)。報(bào)告輸出功能可自動(dòng)生成包含文字、數(shù)字、圖表、報(bào)表的PDF或DOC形式的決策分析報(bào)告。

3 結(jié)束語(yǔ)

蘋(píng)果大數(shù)據(jù)服務(wù)是一個(gè)嶄新的研究領(lǐng)域，大數(shù)據(jù)平臺(tái)尚不多見(jiàn)。蘋(píng)果產(chǎn)業(yè)具有數(shù)據(jù)源分布廣、時(shí)效性強(qiáng)、類(lèi)型多樣、結(jié)構(gòu)復(fù)雜和獲取困難等特點(diǎn)，決定了蘋(píng)果大數(shù)據(jù)研究和應(yīng)用具有復(fù)雜性、多樣性和挑戰(zhàn)性。本研究重點(diǎn)分析構(gòu)建了蘋(píng)果產(chǎn)業(yè)大數(shù)據(jù)應(yīng)用的架構(gòu)體系，并對(duì)蘋(píng)果大數(shù)據(jù)智能分析平臺(tái)進(jìn)行功能設(shè)計(jì)及技術(shù)實(shí)現(xiàn)，對(duì)于集成、挖掘和使用在蘋(píng)果生產(chǎn)、管理、加工流通中產(chǎn)生的大量數(shù)據(jù)，具有一定的現(xiàn)實(shí)意義。