農(nóng)業(yè)大數(shù)據(jù)中心構(gòu)建研究

唐勇

【摘 要】文章立足我國(guó)當(dāng)前農(nóng)業(yè)實(shí)情，提出農(nóng)業(yè)大數(shù)據(jù)中心的構(gòu)建思路和方案。詳細(xì)闡述了基于應(yīng)用層、數(shù)據(jù)層、網(wǎng)絡(luò)層和感知層的體系架構(gòu)，同時(shí)闡釋了建設(shè)過程中的關(guān)鍵技術(shù)，并對(duì)使用方法和范圍給出了建議。

【關(guān)鍵詞】農(nóng)業(yè)；大數(shù)據(jù)中心；構(gòu)建

【中圖分類號(hào)】F323.3 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2016）09-0047-03

0 前言

我國(guó)作為一個(gè)農(nóng)業(yè)大國(guó)，農(nóng)業(yè)現(xiàn)代化始終是我國(guó)現(xiàn)代化進(jìn)程中的重要環(huán)節(jié)，利用信息化技術(shù)推動(dòng)農(nóng)業(yè)現(xiàn)代化的發(fā)展，不但能提高農(nóng)業(yè)生產(chǎn)水平，還能推動(dòng)農(nóng)村的大力發(fā)展，為我國(guó)扶貧、小康等多項(xiàng)國(guó)策奠定基礎(chǔ)。近些年，隨著云計(jì)算、大數(shù)據(jù)技術(shù)的不斷涌現(xiàn)及農(nóng)業(yè)數(shù)據(jù)中心的建立，農(nóng)村、農(nóng)民、農(nóng)產(chǎn)品的現(xiàn)狀更加精確地展現(xiàn)出來(lái)，為發(fā)展農(nóng)業(yè)提供準(zhǔn)確的數(shù)據(jù)支撐。

1 農(nóng)業(yè)信息化現(xiàn)狀

近些年，信息化技術(shù)雖然取得了飛速發(fā)展，但在農(nóng)村，尤其在偏遠(yuǎn)山區(qū)，農(nóng)業(yè)信息化幾乎是空白，主要表現(xiàn)在以下方面。

（1）基礎(chǔ)設(shè)施缺乏。由于經(jīng)濟(jì)相對(duì)落后，有的地方甚至連計(jì)算機(jī)、打印機(jī)等基礎(chǔ)設(shè)施都沒有。農(nóng)村僅有的信息化基礎(chǔ)設(shè)施，也就是各電信運(yùn)營(yíng)商的發(fā)射基站。

（2）農(nóng)民信息化技術(shù)缺乏。農(nóng)民文化水平相對(duì)較低，加之知識(shí)更新慢，其信息化技術(shù)相對(duì)薄弱，能夠正常操作計(jì)算機(jī)的非常少。

（3）無(wú)法復(fù)制城市的信息化經(jīng)驗(yàn)。農(nóng)村地大物博，人口分散，要想發(fā)展信息化，不能照搬城市的信息化發(fā)展策略。

盡管農(nóng)村基礎(chǔ)設(shè)施落后，但隨著農(nóng)民手機(jī)使用率大幅度提高，農(nóng)民利用手機(jī)處理信息的能力也相對(duì)提高。在此基礎(chǔ)上，建立一個(gè)農(nóng)業(yè)大數(shù)據(jù)中心，處理農(nóng)業(yè)數(shù)據(jù)，農(nóng)民通過手機(jī)使用中心的資源即可，避免了多點(diǎn)建設(shè)、重復(fù)建設(shè)等問題，節(jié)約了建設(shè)成本，可以加快農(nóng)村信息化進(jìn)程。

2 構(gòu)建方案

傳統(tǒng)的數(shù)據(jù)中心只包括數(shù)據(jù)庫(kù)、存儲(chǔ)設(shè)備及應(yīng)用系統(tǒng)，本文提出的農(nóng)業(yè)大數(shù)據(jù)中心在智慧農(nóng)業(yè)體系架構(gòu)及實(shí)際使用的基礎(chǔ)上，增加了數(shù)據(jù)采集部分，各類采集設(shè)備的信息也要存儲(chǔ)在數(shù)據(jù)中心，以便統(tǒng)一管理。農(nóng)業(yè)大數(shù)據(jù)中心一共分為4個(gè)層次，分別為應(yīng)用層、數(shù)據(jù)層、網(wǎng)絡(luò)層和感知層。其體系結(jié)構(gòu)如圖1所示。

2.1 應(yīng)用層

應(yīng)用層是應(yīng)用軟件集中的層次，集中了3類軟件：

第一類是大數(shù)據(jù)中心管理系統(tǒng)，主要用于管理系統(tǒng)的硬件和資源，以及資源的調(diào)度。大數(shù)據(jù)中心管理系統(tǒng)類似于計(jì)算機(jī)的操作系統(tǒng)，是管理員管理數(shù)據(jù)中心的接口。在本層中，主要包括用戶權(quán)限管理、資源管理、安全設(shè)定管理、監(jiān)控管理、計(jì)量計(jì)費(fèi)管理、租戶用戶管理等功能。在這些功能中，監(jiān)控和計(jì)量功能是最為基礎(chǔ)的功能。它管理著用戶獲取資源池中所有虛擬機(jī)的狀態(tài)信息，利用OpenStack提供的Restful API可以實(shí)現(xiàn)對(duì)整個(gè)系統(tǒng)的操作及管理。

第二類是大數(shù)據(jù)備份系統(tǒng)，主要用來(lái)備份大數(shù)據(jù)中心的數(shù)據(jù)，以增強(qiáng)數(shù)據(jù)中心的健壯性。數(shù)據(jù)備份采用“三朵云”備份方式，“三朵云”采用異地部署方式進(jìn)行。主數(shù)據(jù)中心部署的“主云”為用戶提供數(shù)據(jù)基礎(chǔ)；容災(zāi)中心部署一套獨(dú)立的“容災(zāi)云”，為“主云”提供數(shù)據(jù)級(jí)容災(zāi)保護(hù)，當(dāng)主云發(fā)生災(zāi)難時(shí)，可將整套云平臺(tái)及相關(guān)業(yè)務(wù)系統(tǒng)全部切換到容災(zāi)中心的容災(zāi)云中，繼續(xù)提供服務(wù)?！爸髟啤迸c“容災(zāi)云”部署在同一城市，在異地再部署一個(gè)二次備份云，以防“主云”和“容災(zāi)云”所在城市發(fā)生自然災(zāi)害而損壞數(shù)據(jù)。

第三類是業(yè)務(wù)系統(tǒng)。農(nóng)民、農(nóng)村、農(nóng)產(chǎn)品的所有業(yè)務(wù)系統(tǒng)集中在這一模塊，這一模塊是用戶使用數(shù)據(jù)中心的接口。包含農(nóng)民、農(nóng)村、農(nóng)產(chǎn)品所有信息的處理，通過幾十個(gè)甚至幾百個(gè)業(yè)務(wù)系統(tǒng)來(lái)實(shí)現(xiàn)。由于信息化建設(shè)已經(jīng)進(jìn)行了很多年，在數(shù)據(jù)中心建設(shè)之前有關(guān)農(nóng)業(yè)的各類信息管理系統(tǒng)已經(jīng)建設(shè)好，大部分系統(tǒng)是從原來(lái)的數(shù)據(jù)中心移植過來(lái)，這些系統(tǒng)都有自己獨(dú)立的數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)之間沒有任何聯(lián)系，形成了一個(gè)個(gè)信息孤島。在當(dāng)前形勢(shì)下，需要將所有的信息綜合起來(lái)進(jìn)行統(tǒng)計(jì)分析，形成各類決策，在此背景下，數(shù)據(jù)中心需要建設(shè)一個(gè)綜合分析系統(tǒng)，綜合分析系統(tǒng)的基礎(chǔ)是建立中間件和中間庫(kù)，利用中間庫(kù)來(lái)與原來(lái)的各數(shù)據(jù)中心相對(duì)接以轉(zhuǎn)換數(shù)據(jù)格式。

2.2 數(shù)據(jù)層

（1）數(shù)據(jù)。農(nóng)業(yè)數(shù)據(jù)中心的數(shù)據(jù)主要分為5類：一是農(nóng)村數(shù)據(jù)，是指農(nóng)村的相關(guān)信息，如村名、村的地理位置、村的人口數(shù)等，這些信息是農(nóng)民和農(nóng)產(chǎn)品數(shù)據(jù)的統(tǒng)計(jì)基礎(chǔ)。二是農(nóng)民數(shù)據(jù)，主要是指農(nóng)民的個(gè)人信息，包括農(nóng)民的姓名、身份證號(hào)、年齡、家庭地址等信息，這些信息可以有效地管理農(nóng)民個(gè)體。三是農(nóng)產(chǎn)品數(shù)據(jù)，是指農(nóng)民種植產(chǎn)品的數(shù)據(jù)，這些信息可以有效地管理農(nóng)產(chǎn)品，這類數(shù)據(jù)非常龐大，是數(shù)據(jù)中心最為重要的數(shù)據(jù)之一。四是設(shè)備數(shù)據(jù)，主要是指各層的設(shè)備數(shù)據(jù)，這部分?jǐn)?shù)據(jù)是保證整個(gè)數(shù)據(jù)中心正常運(yùn)行的條件。五是各類業(yè)務(wù)數(shù)據(jù)，是指各類管理系統(tǒng)、信息交換系統(tǒng)等因使用產(chǎn)生的數(shù)據(jù)或者從外面引入的數(shù)據(jù)，此類數(shù)據(jù)是數(shù)據(jù)中心與外界相連的基礎(chǔ)。

（2）集群方式。農(nóng)業(yè)大數(shù)據(jù)中心的數(shù)據(jù)量非常龐大，需要集眾多數(shù)據(jù)服務(wù)器才能存儲(chǔ)相關(guān)的數(shù)據(jù)。主要設(shè)備有空間管理存儲(chǔ)服務(wù)器數(shù)據(jù)庫(kù)、空間管理存儲(chǔ)服務(wù)器系統(tǒng)、空間管理存儲(chǔ)服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器（外掛備份存儲(chǔ)硬盤）、硬盤籠。這些數(shù)據(jù)庫(kù)服務(wù)器可以按照功能類別進(jìn)行集群，比如將多個(gè)web server服務(wù)器集群在一起，將FTP服務(wù)器集群在一起等。在進(jìn)行數(shù)據(jù)服務(wù)器設(shè)計(jì)時(shí)，需要考慮設(shè)置主數(shù)據(jù)服務(wù)器和從數(shù)據(jù)服務(wù)器，同時(shí)設(shè)立主服務(wù)器群和從服務(wù)器群，主數(shù)據(jù)服務(wù)器群不直接與外界進(jìn)行數(shù)據(jù)交換，只與從數(shù)據(jù)服務(wù)器群進(jìn)行數(shù)據(jù)交換。

數(shù)據(jù)庫(kù)集中，負(fù)載均衡是必須采用的技術(shù)，可以利用專門的硬件來(lái)實(shí)現(xiàn)，也可以利用網(wǎng)絡(luò)設(shè)備中的負(fù)載均衡功能來(lái)實(shí)現(xiàn)。硬件負(fù)載均衡的功能相對(duì)強(qiáng)大，直接在服務(wù)器和外部網(wǎng)絡(luò)間安裝負(fù)載均衡設(shè)備，獨(dú)立于操作系統(tǒng)，整體性能得到有效提高，加上多樣化的負(fù)載均衡策略，智能化的流量管理，可達(dá)到最佳的負(fù)載均衡需求。

2.3 網(wǎng)絡(luò)層

網(wǎng)絡(luò)層承擔(dān)數(shù)據(jù)中信息連接的任務(wù)，農(nóng)業(yè)數(shù)據(jù)中心的網(wǎng)絡(luò)層可分為2個(gè)部分，一部分是內(nèi)，一部分是外。“內(nèi)”是數(shù)據(jù)中心中“室內(nèi)”的部分，與一般的數(shù)據(jù)中心一樣，主要由二層交換機(jī)、三層交換機(jī)、路由器等設(shè)備構(gòu)成，按照業(yè)務(wù)需求對(duì)其進(jìn)行網(wǎng)絡(luò)配置和管理?！巴狻笔侵浮笆彝狻钡木W(wǎng)絡(luò)部分，承擔(dān)著將設(shè)立在農(nóng)村的各類傳感器數(shù)據(jù)傳輸回?cái)?shù)據(jù)中心的任務(wù)，這部分的網(wǎng)絡(luò)可以利用3G/4G網(wǎng)絡(luò)進(jìn)行，但成本較高。近些年，Zigbee技術(shù)得到了飛速發(fā)展，具有傳輸速度快、性能穩(wěn)定等優(yōu)良特征，將“外”的數(shù)據(jù)傳輸回室內(nèi)時(shí)，可以利用Zigbee網(wǎng)絡(luò)進(jìn)行傳輸。AD HOC網(wǎng)絡(luò)由于無(wú)需中心服務(wù)器，每個(gè)節(jié)點(diǎn)既有信息終端也有信息中端的功能，AD HOC網(wǎng)絡(luò)還具有良好自修功能，具有較好的抗震性，利用AD HOC網(wǎng)絡(luò)進(jìn)行信息傳輸也是一種比較理想的選擇。

2.4 感知層

感知層負(fù)責(zé)感知農(nóng)村外界的信息，由各類傳感設(shè)備組成，主要包括光傳感器、溫度傳感器、適度傳感器、監(jiān)控設(shè)備等，這些設(shè)備通過網(wǎng)絡(luò)層連接起來(lái)，將感知的外界數(shù)據(jù)通過各類網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)中心。感知層構(gòu)建好以后，可以分類來(lái)進(jìn)行管理，也可以按照項(xiàng)目來(lái)進(jìn)行管理，在針對(duì)單個(gè)傳感設(shè)備進(jìn)行信息編輯時(shí)，既要打上設(shè)備類型數(shù)據(jù)，又要打上項(xiàng)目類別數(shù)據(jù)。感知層屬于硬件系統(tǒng)，但其感知的數(shù)據(jù)要存儲(chǔ)到數(shù)據(jù)庫(kù)中，其本身的設(shè)備信息也要存儲(chǔ)到數(shù)據(jù)庫(kù)中。

3 關(guān)鍵技術(shù)

農(nóng)村大數(shù)據(jù)中心的構(gòu)建涉及的技術(shù)非常多，但其核心技術(shù)主要有虛擬化技術(shù)、分布式處理技術(shù)、分布式存儲(chǔ)技術(shù)和大數(shù)據(jù)中心管理技術(shù)4類。

（1）虛擬化技術(shù)。虛擬化將數(shù)據(jù)中心中所有的資源整合成一個(gè)資源池，用戶可以通過申請(qǐng)來(lái)使用此資源池。農(nóng)業(yè)大數(shù)據(jù)中心有4類虛擬資源：應(yīng)用虛擬化、網(wǎng)絡(luò)虛擬化、桌面虛擬化和存儲(chǔ)虛擬化。國(guó)內(nèi)外有很多相關(guān)企業(yè)已經(jīng)實(shí)現(xiàn)了相關(guān)技術(shù)。目前，性能最為穩(wěn)定的是VMware，國(guó)內(nèi)主要3galsses、蟻視、暴風(fēng)等。在農(nóng)村，信息化水平相對(duì)落后，經(jīng)濟(jì)水平也相對(duì)較低，可以將打印機(jī)、信息處理設(shè)備等進(jìn)行虛擬化，以供農(nóng)民們使用。將信息處理設(shè)備虛擬化后，農(nóng)民使用手機(jī)即可調(diào)用資源池中的計(jì)算設(shè)備進(jìn)行數(shù)據(jù)計(jì)算，同時(shí)為農(nóng)民虛擬數(shù)據(jù)存儲(chǔ)空間存儲(chǔ)數(shù)據(jù)。虛擬化技術(shù)大大降低了農(nóng)村信息化的成本。在進(jìn)行農(nóng)業(yè)資源虛擬化時(shí)，要向移動(dòng)端設(shè)備傾斜。

（2）分布式處理技術(shù)。分布式處理技術(shù)是保證農(nóng)業(yè)數(shù)據(jù)計(jì)算速度的重要技術(shù)。在進(jìn)行數(shù)據(jù)處理前，先通過算法將一個(gè)大任務(wù)分配成多個(gè)小任務(wù)，數(shù)據(jù)中心通過任務(wù)調(diào)用算法來(lái)調(diào)用任務(wù)[1]。在執(zhí)行時(shí)，通過MAP函數(shù)，將不同的任務(wù)分配給不同的計(jì)算模塊進(jìn)行計(jì)算，計(jì)算完畢以后，調(diào)用REDUCE函數(shù)將處理結(jié)果進(jìn)行回收。由于農(nóng)業(yè)數(shù)據(jù)量大，利用分布式處理技術(shù)可以快速計(jì)算海量數(shù)據(jù)，快速得到計(jì)算結(jié)果[2]。

（3）分布式存儲(chǔ)技術(shù)。大數(shù)據(jù)中心數(shù)據(jù)量大，在存儲(chǔ)時(shí)很難將之存儲(chǔ)在一個(gè)服務(wù)器上，故需要將這些數(shù)據(jù)分散在多臺(tái)具有存儲(chǔ)功能的服務(wù)器上，并將之冗余存儲(chǔ)，以保證數(shù)據(jù)的安全性。當(dāng)前，分布式存儲(chǔ)的主要架構(gòu)有直連式存儲(chǔ)（DAS）、網(wǎng)絡(luò)附加存儲(chǔ)（NAS）和存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）3種。在設(shè)計(jì)分布式存儲(chǔ)時(shí)，不僅要考慮數(shù)據(jù)的冗余備份，還應(yīng)該考慮通過分布式存儲(chǔ)來(lái)提高計(jì)算的性能，減少數(shù)據(jù)搜索時(shí)間和計(jì)算響應(yīng)時(shí)間。

（4）大數(shù)據(jù)中心管理技術(shù)。由于大數(shù)據(jù)中心的數(shù)據(jù)分布在不同的存儲(chǔ)設(shè)備上，需要通過一定的管理方法來(lái)調(diào)用這些數(shù)據(jù)，目前比較主流的大計(jì)算數(shù)據(jù)管理技術(shù)主要有Google的BigTable技術(shù)和Hadoop的HBase技術(shù)[3]。

4 總結(jié)

我國(guó)是農(nóng)業(yè)大國(guó)，不同地方的農(nóng)村實(shí)際情況不一樣，建設(shè)農(nóng)業(yè)大數(shù)據(jù)中心，應(yīng)立足于當(dāng)?shù)剞r(nóng)業(yè)實(shí)情，做好精準(zhǔn)的需求分析。通過農(nóng)業(yè)大數(shù)據(jù)中心管理農(nóng)業(yè)業(yè)務(wù)，同時(shí)應(yīng)該與更高級(jí)別政府的數(shù)據(jù)中心進(jìn)行對(duì)接，數(shù)據(jù)規(guī)范做到統(tǒng)一，通過一定的方式將數(shù)據(jù)中心的數(shù)據(jù)共享給政府，為政府在制定農(nóng)村決策時(shí)提供數(shù)據(jù)支撐，充分發(fā)揮數(shù)據(jù)中心的價(jià)值。

參 考 文 獻(xiàn)

[1]劉鵬.云計(jì)算[M].第2版.北京：電子工業(yè)出版社，2011.

[2]Venkata Joysula，Malcolm Orr，GregPage.云計(jì)算與數(shù)據(jù)中心自動(dòng)化[M].張猛，譯.北京：人民郵電出版社，2012.

[3]岳紅麗，張侃.云計(jì)算在區(qū)域醫(yī)療信息化中的應(yīng)用探索[J].計(jì)算機(jī)與現(xiàn)代化，2012（8）：141-143.

[責(zé)任編輯：鐘聲賢]