基于數(shù)據(jù)中臺的數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源體系建設

[摘要] 隨著大數(shù)據(jù)技術的發(fā)展和數(shù)字鄉(xiāng)村建設數(shù)據(jù)量不斷增長，對于鄉(xiāng)村數(shù)據(jù)資源的管理和共享成為亟待解決的問題。本文采用數(shù)據(jù)中臺技術對數(shù)字鄉(xiāng)村數(shù)據(jù)資源進行分類管理，建立數(shù)字鄉(xiāng)村數(shù)據(jù)中臺體系架構，并基于此架構探索出數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源建設路徑，包括統(tǒng)一采集接入、數(shù)據(jù)集中處理、數(shù)據(jù)資源存儲、數(shù)據(jù)組織管理、元數(shù)據(jù)管理。

[關鍵詞] 數(shù)字鄉(xiāng)村；數(shù)據(jù)中臺；數(shù)據(jù)資源

[基金項目] 2021年度山東省社會科學普及應用項目“大數(shù)據(jù)背景下數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源體系構建研究”（編號：2021-SKZZ-18）

[作者單位] 山東華宇工學院

隨著大數(shù)據(jù)技術的不斷發(fā)展，鄉(xiāng)村數(shù)據(jù)呈爆炸式增長，如何對鄉(xiāng)村數(shù)據(jù)資源進行有效的管理并提供共享服務，是數(shù)字鄉(xiāng)村建設亟待解決的問題。根據(jù)以往的數(shù)據(jù)集成思路，借助統(tǒng)一的數(shù)據(jù)平臺可以快速響應用戶的各種需求，滿足多種業(yè)務場景的應用。數(shù)據(jù)中臺技術是指運用統(tǒng)一的標準和技術，對海量的異構數(shù)據(jù)進行采集、加工、存儲、管理等一系列數(shù)據(jù)集成與管理，為各類應用提供數(shù)據(jù)共享服務。通過數(shù)據(jù)中臺，數(shù)字鄉(xiāng)村所涉及的各類用戶、政府、農(nóng)民、企業(yè)等對內(nèi)對外建立統(tǒng)一的業(yè)務系統(tǒng)和管理平臺，減少各種業(yè)務系統(tǒng)信息孤島現(xiàn)象，打通各部門間的數(shù)據(jù)墻，形成統(tǒng)一的數(shù)據(jù)規(guī)范。

數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源數(shù)據(jù)中臺架構

數(shù)據(jù)中臺設計原則。數(shù)據(jù)中臺的建設要保證來源于不同系統(tǒng)的同類數(shù)據(jù)具有一致性，要遵循相應的行業(yè)數(shù)據(jù)庫設計標準，以及農(nóng)業(yè)農(nóng)村領域的數(shù)據(jù)標準和地方標準。數(shù)據(jù)中臺設計時要在充分考慮數(shù)據(jù)實用性的基礎上整合數(shù)據(jù)資源，要通過不斷變化的需求進行數(shù)據(jù)資源的重組，滿足數(shù)據(jù)實用性原則；要考慮數(shù)據(jù)的獨立性，能夠使數(shù)據(jù)獨立于具體應用之外，不隨各類系統(tǒng)的變化而改變。同時，數(shù)據(jù)庫的設計要有可擴展性，當新的需求出現(xiàn)時，可以在原有基礎上進行擴展，不必完全重新設計數(shù)據(jù)庫。此外，數(shù)據(jù)中臺還應該有數(shù)據(jù)的安全設計，進行有效的備份和數(shù)據(jù)恢復，確保發(fā)生事故時能夠快速恢復，并且要有安全授權設計，避免非法用戶的訪問。

數(shù)據(jù)中臺技術和層次架構。數(shù)據(jù)結構總體可以分為三種，結構化數(shù)據(jù)、非結構化數(shù)據(jù)以及其他半結構化數(shù)據(jù)。對于結構化數(shù)據(jù)的存儲目前主要用關系型數(shù)據(jù)庫處理；非結構化數(shù)據(jù)的存儲主要在非關系型數(shù)據(jù)庫中，例如文件管理系統(tǒng)，存儲一些圖片、視頻、文檔等數(shù)據(jù)；半結構化數(shù)據(jù)實質(zhì)是一種結構化數(shù)據(jù)的形式，包括一些相關的標記用以區(qū)分不同的語義元素。數(shù)據(jù)中臺建設過程中要能夠處理這三種類型的數(shù)據(jù)資源。

數(shù)據(jù)中臺建設數(shù)據(jù)資源采集、數(shù)據(jù)資源融合、數(shù)據(jù)資源共享等數(shù)據(jù)服務體系。在整個體系建設中，將數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)標準納入其中。經(jīng)過數(shù)據(jù)中臺的不斷應用，推進數(shù)據(jù)的采集接入、分析、挖掘和治理能力的提升，從而完善數(shù)據(jù)中臺服務。總體來看數(shù)據(jù)中臺主要包括數(shù)據(jù)的統(tǒng)一采集接入平臺、數(shù)據(jù)集中處理平臺、數(shù)據(jù)管理平臺、大數(shù)據(jù)分析與數(shù)據(jù)挖掘平臺、統(tǒng)一管理平臺以及數(shù)據(jù)可視化平臺等多個平臺。

數(shù)據(jù)中臺數(shù)據(jù)架構。數(shù)據(jù)中臺的數(shù)據(jù)架構按數(shù)據(jù)庫的處理內(nèi)容不同分為原始庫、資源庫、主題庫、業(yè)務庫等。原始庫是存儲未經(jīng)處理的原始數(shù)據(jù)，主要存放和原系統(tǒng)一致的數(shù)據(jù)；資源庫的建設是基于原始庫，按資源類型的不同將原始庫中的數(shù)據(jù)規(guī)范化處理，形成不同主題的數(shù)據(jù)；主題庫基于原始庫和資源庫，構建數(shù)據(jù)的邏輯關系，形成實體關系模型，完成知識圖譜的建設等；業(yè)務庫面向不同業(yè)務的場景，建立起相關的數(shù)據(jù)結構。數(shù)據(jù)中臺同時應建立起索引庫和資源目錄，對數(shù)字鄉(xiāng)村數(shù)據(jù)資源進行整合，對相應的元數(shù)據(jù)進行管理，比如業(yè)務元數(shù)據(jù)和技術元數(shù)據(jù)。

采用分層分類方法將數(shù)字鄉(xiāng)村數(shù)據(jù)指標按照其屬性及其數(shù)據(jù)來源分為農(nóng)村基礎信息數(shù)據(jù)指標、農(nóng)業(yè)基礎信息數(shù)據(jù)指標、農(nóng)民基礎信息數(shù)據(jù)指標三大類，在每一大類里，業(yè)務關聯(lián)度高的數(shù)據(jù)歸入同一小類。數(shù)據(jù)指標采用名稱、代碼、數(shù)據(jù)類型、是否為空、注釋來描述數(shù)字鄉(xiāng)村相關數(shù)據(jù)。

數(shù)字鄉(xiāng)村基礎數(shù)據(jù)資源體系建設路徑

數(shù)據(jù)資源統(tǒng)一采集接入。數(shù)據(jù)資源的采集是數(shù)據(jù)擁有價值的第一步，同時也決定了數(shù)據(jù)潛在的意義。目前基于大數(shù)據(jù)技術的數(shù)字鄉(xiāng)村數(shù)據(jù)資源采集方式有以下幾種：一是利用農(nóng)村農(nóng)業(yè)各個業(yè)務系統(tǒng)進行信息采集，通過部署各類非關系型數(shù)據(jù)庫負載均衡和分片完成海量數(shù)據(jù)的采集。二是通過查看各個業(yè)務系統(tǒng)的系統(tǒng)日志采集數(shù)據(jù)，利用在線分析和離線分析方式分析系統(tǒng)日志文件獲得數(shù)據(jù)。三是利用網(wǎng)頁數(shù)據(jù)的爬取技術采集網(wǎng)頁、論壇、交易平臺等數(shù)據(jù)信息。四是利用智慧終端各類傳感器、監(jiān)測平臺、監(jiān)控設備等來獲取圖片、視頻等信息。

數(shù)據(jù)集中處理。數(shù)據(jù)集中處理主要是對數(shù)據(jù)的提取、清洗、關聯(lián)、對比、標識、對象化等操作。數(shù)字鄉(xiāng)村建設涉及的業(yè)務領域眾多、數(shù)據(jù)復雜多樣，采集獲取的數(shù)據(jù)往往不能直接用于數(shù)據(jù)分析，所以需要對獲取的數(shù)據(jù)進行數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等數(shù)據(jù)資源預處理，篩選出與主題相關的數(shù)據(jù)。數(shù)字鄉(xiāng)村建設中采集的數(shù)據(jù)源多來自不同的業(yè)務平臺，要將相關聯(lián)的異構數(shù)據(jù)源合并放入一個一致的數(shù)據(jù)存儲中完成數(shù)據(jù)的集成。

鄉(xiāng)村基礎數(shù)據(jù)資源存儲。目前，農(nóng)業(yè)農(nóng)村相關業(yè)務平臺的后臺數(shù)據(jù)存儲多采用結構化關系型數(shù)據(jù)庫軟件存儲。大數(shù)據(jù)時代的數(shù)據(jù)存儲方式應該發(fā)生轉變，為海量多樣化數(shù)據(jù)分析提供支持，而主流的大數(shù)據(jù)存儲是支持海量數(shù)據(jù)讀寫，支持上億行、上百萬列的，面向列的分布式非關系型數(shù)據(jù)庫。鄉(xiāng)村業(yè)務系統(tǒng)中的政務文件、政策規(guī)定等非結構化數(shù)據(jù)可以用大數(shù)據(jù)平臺的分布式文件系統(tǒng)存儲；網(wǎng)絡輿情、業(yè)務日志等半結構化數(shù)據(jù)可采用列式存儲的分布式數(shù)據(jù)庫存儲；溫度、土壤、濕度自動監(jiān)測等小時、分鐘級數(shù)據(jù)提供時序數(shù)據(jù)庫實現(xiàn)海量數(shù)據(jù)存儲。

數(shù)據(jù)組織管理。根據(jù)中臺數(shù)據(jù)架構進行數(shù)據(jù)的組織管理，建立原始庫、資源庫、主題庫、知識庫、業(yè)務庫、數(shù)據(jù)資源目錄。原始庫可以進行數(shù)據(jù)的原始加工，抽取數(shù)據(jù)的關鍵信息、對數(shù)據(jù)進行分級分類標簽管理，同時提供查詢、推送、對比、訂閱等服務。資源庫是經(jīng)由原始庫中的數(shù)據(jù)整合和清洗過后形成的，可以提供數(shù)據(jù)的檢索、統(tǒng)計分析、訂閱服務等。主題庫具有相似特征的不同數(shù)據(jù)分類進行歸集，構建不同實體間知識圖譜，能夠提供數(shù)據(jù)分析和統(tǒng)計服務。業(yè)務庫提供專題類業(yè)務分析，構建實體庫中的業(yè)務相關模型，基于資源庫建設而形成。

數(shù)字鄉(xiāng)村元數(shù)據(jù)管理。為了更有效地完成數(shù)據(jù)的管理，方便數(shù)據(jù)的擴展，實現(xiàn)對鄉(xiāng)村數(shù)據(jù)資源的便捷訪問，設計使用元數(shù)據(jù)進行數(shù)據(jù)管理。元數(shù)據(jù)是用來描述數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)和數(shù)據(jù)本身構成了不同層次的數(shù)據(jù)，對于信息系統(tǒng)而言要能適應元數(shù)據(jù)結構和數(shù)據(jù)內(nèi)容結構。元數(shù)據(jù)管理可以進行元數(shù)據(jù)的自動修改，例如當系統(tǒng)應用需求發(fā)生改變或擴展時，元數(shù)據(jù)管理能自動識別變化，從而修改元數(shù)據(jù)，信息應用系統(tǒng)不需要進行數(shù)據(jù)的整體修改。