大數(shù)據(jù)背景下數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系構(gòu)建

□王書夢

隨著智慧農(nóng)業(yè)、農(nóng)村電商、電子政務(wù)的發(fā)展，農(nóng)業(yè)農(nóng)村大數(shù)據(jù)呈現(xiàn)出爆發(fā)式增長，大數(shù)據(jù)技術(shù)服務(wù)于農(nóng)村農(nóng)業(yè)領(lǐng)域成為未來發(fā)展的趨勢。黨的十九大報(bào)告提出實(shí)施鄉(xiāng)村振興戰(zhàn)略，在規(guī)劃中提出“數(shù)字鄉(xiāng)村戰(zhàn)略”，2019 年國家印發(fā)了《數(shù)字鄉(xiāng)村發(fā)展戰(zhàn)略綱要》，2022 年印發(fā)了《數(shù)字鄉(xiāng)村發(fā)展行動計(jì)劃》。數(shù)字鄉(xiāng)村建設(shè)是我國歷經(jīng)幾十年的農(nóng)業(yè)農(nóng)村信息化后進(jìn)入的新時期。數(shù)字鄉(xiāng)村發(fā)展行動計(jì)劃里就數(shù)字建設(shè)基礎(chǔ)設(shè)施、智慧農(nóng)業(yè)、公共服務(wù)、鄉(xiāng)村文化、智慧鄉(xiāng)村等方面做了相關(guān)部署。

數(shù)字鄉(xiāng)村建設(shè)是推動農(nóng)業(yè)農(nóng)村信息化發(fā)展的重要舉措，是智慧城市向智慧鄉(xiāng)村的縱向拓展，是“互聯(lián)網(wǎng)+農(nóng)業(yè)”等信息技術(shù)向農(nóng)村農(nóng)業(yè)各大領(lǐng)域的應(yīng)用和融合。數(shù)字鄉(xiāng)村的基礎(chǔ)是數(shù)據(jù)，建設(shè)數(shù)字鄉(xiāng)村各領(lǐng)域應(yīng)用的基礎(chǔ)數(shù)據(jù)資源，對數(shù)字鄉(xiāng)村全面發(fā)展具有重要意義。

數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源發(fā)展現(xiàn)狀

從鄉(xiāng)村信息化的角度來理解數(shù)字鄉(xiāng)村的概念，以農(nóng)民、政務(wù)管理人員、企業(yè)人員、土地經(jīng)營管理人員等多角度調(diào)查目前鄉(xiāng)村信息化的現(xiàn)狀，發(fā)現(xiàn)數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系存在的問題。從調(diào)查的結(jié)果來看，農(nóng)村政務(wù)信息化存在職能處室繁多，各部門間信息不互通，缺少統(tǒng)一的業(yè)務(wù)處理平臺，數(shù)據(jù)資源無法共享，同一類信息在多處存儲，造成數(shù)據(jù)資源冗余；缺少大數(shù)據(jù)處理平臺，辦事效率低，農(nóng)民辦事難，一件事跑好多部門；缺少黨務(wù)、村務(wù)等信息發(fā)布平臺，農(nóng)民獲取信息難，很多事無人監(jiān)管。農(nóng)村電商迅速興起，同時顯現(xiàn)出大多數(shù)農(nóng)民、農(nóng)企缺乏專業(yè)的電商知識和管理平臺，經(jīng)營較混亂，產(chǎn)品質(zhì)量安全無法追溯；農(nóng)產(chǎn)品的銷售渠道比較單一，農(nóng)民對產(chǎn)品的市場需求預(yù)測能力不足，導(dǎo)致農(nóng)產(chǎn)品出現(xiàn)滯銷、價(jià)格低等狀況。農(nóng)業(yè)生產(chǎn)智能化水平不高，對土質(zhì)、水分、養(yǎng)分的監(jiān)測不到位，缺乏科學(xué)的、智能化的種植手段；對于某些農(nóng)作物，農(nóng)民缺乏相應(yīng)的技術(shù)指導(dǎo)和學(xué)習(xí)平臺。

數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源應(yīng)用體系

大數(shù)據(jù)背景下構(gòu)建數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源應(yīng)面向?qū)嶋H應(yīng)用需求，圍繞著組織的核心目標(biāo)，統(tǒng)一規(guī)劃指標(biāo)體系，有計(jì)劃地進(jìn)行數(shù)據(jù)的采集、整合、加工、應(yīng)用、共享、服務(wù)及推送?；A(chǔ)數(shù)據(jù)資源體系建設(shè)的首要任務(wù)是明確數(shù)字鄉(xiāng)村數(shù)據(jù)資源的具體應(yīng)用場景。

針對農(nóng)村目前的數(shù)字應(yīng)用現(xiàn)狀以及數(shù)字鄉(xiāng)村發(fā)展相關(guān)指導(dǎo)計(jì)劃，可將數(shù)字鄉(xiāng)村數(shù)據(jù)資源的應(yīng)用場景以信息平臺表示分為以下幾種。鄉(xiāng)村綜合辦事信息平臺：政府政務(wù)信息服務(wù)、社區(qū)黨建、交流論壇、微信公眾號、公共設(shè)施管理等服務(wù)；農(nóng)產(chǎn)品大數(shù)據(jù)分析平臺：糧食、棉花、菜、茶、油、果等農(nóng)產(chǎn)品信息采集、存儲、共享，農(nóng)產(chǎn)品產(chǎn)供銷一體化管理；農(nóng)業(yè)資源與環(huán)境監(jiān)測平臺：農(nóng)業(yè)自然資源管理、農(nóng)用設(shè)施管理、生態(tài)環(huán)境監(jiān)測等；鄉(xiāng)村惠民公共服務(wù)平臺：“互聯(lián)網(wǎng)+”教育、醫(yī)療、就業(yè)等服務(wù)；鄉(xiāng)村文旅宣傳平臺：網(wǎng)上農(nóng)貿(mào)市場、數(shù)字農(nóng)家樂、特色旅游、特色經(jīng)濟(jì)和招商引資等服務(wù)。

六大平臺數(shù)據(jù)共享、數(shù)據(jù)互通，不同平臺的同類數(shù)據(jù)要保持?jǐn)?shù)據(jù)格式一致，按統(tǒng)一的數(shù)據(jù)采集、存儲標(biāo)準(zhǔn)匯集為用戶提供服務(wù)。大數(shù)據(jù)技術(shù)蓬勃發(fā)展，已應(yīng)用于各行各業(yè)，鄉(xiāng)村大數(shù)據(jù)資源的不斷增長預(yù)示著數(shù)字鄉(xiāng)村信息服務(wù)各大平臺要充分規(guī)劃設(shè)計(jì)，以保證能夠提供服務(wù)。

如圖1 所示，數(shù)字鄉(xiāng)村信息服務(wù)平臺主要提供資源目錄、搜索引擎、訂閱/發(fā)布、數(shù)據(jù)共享、數(shù)據(jù)交換、大數(shù)據(jù)服務(wù)。鄉(xiāng)村數(shù)據(jù)資源目錄提供的數(shù)據(jù)應(yīng)從鄉(xiāng)村各類用戶的角度出發(fā)，按照農(nóng)村農(nóng)業(yè)領(lǐng)域的業(yè)務(wù)標(biāo)準(zhǔn)以及國家電子政務(wù)相關(guān)標(biāo)準(zhǔn)組織編制。搜索引擎提供關(guān)鍵字搜索及農(nóng)村農(nóng)業(yè)專業(yè)術(shù)語搜索，便于高效地檢索數(shù)據(jù)。訂閱/發(fā)布提供用戶訂閱信息，發(fā)布農(nóng)業(yè)農(nóng)村相關(guān)領(lǐng)域咨詢及重要公告，并及時通知相關(guān)人員查看。數(shù)據(jù)共享、交換服務(wù)主要面向各種應(yīng)用系統(tǒng)和政府相關(guān)業(yè)務(wù)部門，遵循數(shù)據(jù)共享、交換標(biāo)準(zhǔn)，通過網(wǎng)頁下載、數(shù)據(jù)庫訪問等方式提供服務(wù)。大數(shù)據(jù)服務(wù)主要提供農(nóng)業(yè)信息、農(nóng)產(chǎn)品信息、農(nóng)村電商產(chǎn)生數(shù)據(jù)信息等各類數(shù)據(jù)的分析和挖掘，包括數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)建模與分析、數(shù)據(jù)可視化等服務(wù)。

圖1 數(shù)字鄉(xiāng)村信息服務(wù)平臺應(yīng)用體系

數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系

鄉(xiāng)村數(shù)據(jù)資源體系建設(shè)，應(yīng)根據(jù)數(shù)據(jù)資源體系建設(shè)的基本流程，遵循農(nóng)村農(nóng)業(yè)各領(lǐng)域信息化發(fā)展的原則和建設(shè)標(biāo)準(zhǔn)，統(tǒng)一規(guī)劃、設(shè)計(jì)、管理，同時充分借鑒企業(yè)及其他領(lǐng)域的先進(jìn)技術(shù)和經(jīng)驗(yàn)，對農(nóng)業(yè)農(nóng)村數(shù)據(jù)資源提下進(jìn)行架構(gòu)設(shè)計(jì)。為保證技術(shù)方案和體系架構(gòu)貼合實(shí)際并能有效落實(shí)，能夠長時間服務(wù)于農(nóng)業(yè)、農(nóng)村、農(nóng)民，要充分對農(nóng)業(yè)農(nóng)村領(lǐng)域進(jìn)行調(diào)研，設(shè)計(jì)出可根據(jù)需求進(jìn)行實(shí)時擴(kuò)展的數(shù)據(jù)資源服務(wù)體系。根據(jù)基本內(nèi)容和建設(shè)流程，完成了鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系總體架構(gòu)，主要內(nèi)容包括：標(biāo)準(zhǔn)體系、安全體系、服務(wù)體系、應(yīng)用體系、加工處理體系、數(shù)據(jù)存儲體系、數(shù)據(jù)采集體系、基礎(chǔ)設(shè)施、管理體系、質(zhì)量保障體系，如圖2 所示。

圖2 數(shù)字鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源體系總體架構(gòu)

第一，鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源采集。數(shù)據(jù)資源的采集決定了數(shù)據(jù)潛在的價(jià)值及意義，可以通過多種途徑和方法進(jìn)行數(shù)據(jù)的采集。目前基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)采集方式主要有以下幾種：一是通過數(shù)據(jù)庫采集農(nóng)業(yè)農(nóng)村各業(yè)務(wù)系統(tǒng)信息，部署像Redis、MongoDB 和HBase 等NoSQL數(shù)據(jù)庫，各大數(shù)據(jù)庫之間相互配合完成海量數(shù)據(jù)的采集。二是通過查看系統(tǒng)日志進(jìn)行采集，對業(yè)務(wù)系統(tǒng)日常產(chǎn)生的大量日志數(shù)據(jù)進(jìn)行分析。三是利用網(wǎng)絡(luò)爬蟲技術(shù)和分布式的網(wǎng)頁數(shù)據(jù)采集技術(shù)進(jìn)行網(wǎng)頁、論壇、交易平臺等數(shù)據(jù)采集，如抓取農(nóng)產(chǎn)品交易電商平臺的評論、瀏覽量等數(shù)據(jù)。四是通過傳感器、攝像頭、監(jiān)測儀等智能終端來獲取各類信號、圖片、錄像等數(shù)據(jù)，如農(nóng)業(yè)自然環(huán)境監(jiān)測、農(nóng)業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)遙感等。

第二，鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源存儲。調(diào)查顯示，目前農(nóng)業(yè)農(nóng)村常用業(yè)務(wù)平臺信息存儲多采用結(jié)構(gòu)化的數(shù)據(jù)存儲方式，利用關(guān)系型數(shù)據(jù)庫軟件存儲。大數(shù)據(jù)時代為滿足海量多樣化的信息存儲，應(yīng)考慮滿足大數(shù)據(jù)分析與挖掘的數(shù)據(jù)存儲方式來存儲農(nóng)業(yè)遙感、農(nóng)業(yè)物聯(lián)網(wǎng)等視頻、音頻、圖片等多樣化的數(shù)據(jù)。對于鄉(xiāng)村相關(guān)領(lǐng)域業(yè)務(wù)系統(tǒng)來說，像政務(wù)文件、政策規(guī)定等PDF、WORD 等非結(jié)構(gòu)數(shù)據(jù)可以用大數(shù)據(jù)平臺的HDFS 存儲；像網(wǎng)絡(luò)輿情、業(yè)務(wù)日志等半結(jié)構(gòu)數(shù)據(jù)可以采用 HBASE 存儲；像溫度自動監(jiān)測、土壤自動監(jiān)測、濕度自動監(jiān)測等小時、分鐘級數(shù)據(jù)提供時序數(shù)據(jù)庫實(shí)現(xiàn)海量數(shù)據(jù)存儲。

第三，鄉(xiāng)村基礎(chǔ)數(shù)據(jù)資源加工。數(shù)字鄉(xiāng)村建設(shè)涉及的業(yè)務(wù)領(lǐng)域眾多、數(shù)據(jù)復(fù)雜多樣，直接采集獲取的數(shù)據(jù)往往不能直接用于數(shù)據(jù)分析，所以需要對獲取的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換等數(shù)據(jù)資源預(yù)處理。例如農(nóng)村飲用水質(zhì)量監(jiān)測、環(huán)境質(zhì)量監(jiān)測點(diǎn)等相關(guān)聯(lián)的數(shù)據(jù)，在不違背數(shù)據(jù)唯一性和關(guān)聯(lián)性的基礎(chǔ)上完成水資源專題數(shù)據(jù)集成。

數(shù)字鄉(xiāng)村數(shù)據(jù)資源體系不僅能夠整合現(xiàn)有信息系統(tǒng)的數(shù)據(jù)資源，還能夠規(guī)范新建信息系統(tǒng)的數(shù)據(jù)格式和數(shù)據(jù)標(biāo)準(zhǔn)，從而提升數(shù)據(jù)的質(zhì)量，為大數(shù)據(jù)分析和挖掘提供規(guī)范的數(shù)據(jù)資源。