數(shù)據(jù)處理與共享平臺架構(gòu)的研究與應(yīng)用

劉建輝 修姍姍

一、引言

當(dāng)前，大數(shù)據(jù)、人工智能、區(qū)塊鏈等新技術(shù)成為掀起數(shù)字化轉(zhuǎn)型浪潮的關(guān)鍵變量，萬物互聯(lián)，數(shù)字時代的到來，對各行各業(yè)的諸多方面產(chǎn)生了深遠影響。特別是“云大物移智鏈邊”的結(jié)合對社會中任何實體的活動和行為數(shù)據(jù)化、模型化都成為可能，而從中抽取出的結(jié)構(gòu)化信息，在市場預(yù)測、工業(yè)自動化等眾多領(lǐng)域創(chuàng)造出了前所未有的價值?？萍寄芰Φ臉O大豐富，數(shù)據(jù)價值日益凸顯，全息畫像、精準監(jiān)測、風(fēng)險預(yù)警、輔助決策等等，正在打破傳統(tǒng)的業(yè)務(wù)模式，催生出更加共享的經(jīng)濟生態(tài)，通過與傳統(tǒng)產(chǎn)業(yè)的融合實現(xiàn)價值增量，為各行各業(yè)賦能，推動高質(zhì)量的發(fā)展。

盡管越來越多的信息能為業(yè)務(wù)工作提供更大的便利，但在業(yè)務(wù)發(fā)展過程中，涉及的數(shù)據(jù)量大、數(shù)據(jù)種類多，信息數(shù)據(jù)的搜集整理難度越來越大。要想全面整合信息，真正獲取這些數(shù)據(jù)的價值，需建立數(shù)據(jù)思維，通過數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)，總結(jié)數(shù)據(jù)深層次的規(guī)律，通過建立標(biāo)準化數(shù)據(jù)平臺進行數(shù)據(jù)處理，發(fā)現(xiàn)數(shù)據(jù)隱含的潛在價值。

二、數(shù)據(jù)處理與共享平臺介紹

數(shù)據(jù)處理與共享平臺主要由數(shù)據(jù)接入服務(wù)、數(shù)據(jù)存儲服務(wù)、數(shù)據(jù)分析服務(wù)和數(shù)據(jù)共享服務(wù)組成，主要功能如下：

（一）數(shù)據(jù)接入服務(wù)

數(shù)據(jù)接入服務(wù)作為底層基礎(chǔ)支撐性服務(wù)，是數(shù)據(jù)處理與共享平臺的核心組成部分。數(shù)據(jù)接入服務(wù)通過提供多種數(shù)據(jù)接入工具，將基礎(chǔ)數(shù)據(jù)進行統(tǒng)一的匯聚接入，為數(shù)據(jù)分析提供原始數(shù)據(jù)支撐。

（二）數(shù)據(jù)存儲服務(wù)

數(shù)據(jù)存儲服務(wù)作為數(shù)據(jù)采集的上層，作為數(shù)據(jù)分析共享的支撐服務(wù)，也是數(shù)據(jù)處理與共享平臺的核心組成部分。數(shù)據(jù)存儲服務(wù)需要滿足對結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲和查詢的需求。查詢的高效性和存儲的安全性是數(shù)據(jù)存儲服務(wù)的兩項關(guān)鍵指標(biāo)。

（三）數(shù)據(jù)分析服務(wù)

數(shù)據(jù)分析服務(wù)提供數(shù)據(jù)深度挖掘和分析，利用分布式存儲和并行計算框架，結(jié)合多種分布式計算引擎，對各類結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的信息資源進行快速的分布式計算、并提供基于關(guān)聯(lián)、聚類、分類、預(yù)測等類算法庫以及可視化組件、拖拽式的數(shù)據(jù)挖掘分析開發(fā)工具包。

（四）數(shù)據(jù)共享服務(wù)

數(shù)據(jù)共享服務(wù)通過數(shù)據(jù)共享交換手段，實現(xiàn)數(shù)據(jù)的匯聚、流通，構(gòu)建以數(shù)據(jù)為核心，業(yè)務(wù)為牽引、預(yù)警決策為目標(biāo)的信息樞紐，為業(yè)務(wù)提供數(shù)據(jù)服務(wù)和決策支持。同時通過數(shù)據(jù)共享交換，實現(xiàn)跨部門、跨地域、跨層級的數(shù)據(jù)共享交換應(yīng)用。

三、數(shù)據(jù)處理與共享平臺架構(gòu)

數(shù)據(jù)處理與共享平臺包括數(shù)據(jù)處理模塊和數(shù)據(jù)共享模塊，主要包括存儲層、交互層、數(shù)據(jù)處理層、數(shù)據(jù)服務(wù)層。其中存儲層、交互層、數(shù)據(jù)處理層主要進行原始數(shù)據(jù)存儲以及數(shù)據(jù)處理，服務(wù)層主要提供數(shù)據(jù)共享服務(wù)，可以實現(xiàn)兩種模式數(shù)據(jù)共享，原始數(shù)據(jù)以及治理后的數(shù)據(jù)共享。

數(shù)據(jù)處理與共享平臺的在處理業(yè)務(wù)數(shù)據(jù)時，會將數(shù)據(jù)進行匯集、標(biāo)準化處理以及融合，以便使用者查詢數(shù)據(jù)、分析數(shù)據(jù)。例如在獲取不同渠道的數(shù)據(jù)時，數(shù)據(jù)處理與共享平臺會先進行源數(shù)據(jù)存儲，接著進行數(shù)據(jù)標(biāo)準化，將散亂的源數(shù)據(jù)進行有序的分類、存儲，最后在按照不同的需求進行數(shù)據(jù)的初步歸類，以便前端數(shù)據(jù)服務(wù)進行調(diào)用。

（一）數(shù)據(jù)處理模塊

數(shù)據(jù)處理模塊主要負責(zé)數(shù)據(jù)存儲、數(shù)據(jù)管控及數(shù)據(jù)分析，模塊采取扁平化設(shè)計，分布式部署，各節(jié)點之間完全對等，都可以對外提供服務(wù)。模塊建設(shè)將本著由內(nèi)至外的原則設(shè)計實現(xiàn)。

一是要整合當(dāng)前運行數(shù)據(jù)，建立基于云技術(shù)的數(shù)據(jù)交互共享平臺。明確大數(shù)據(jù)的采集、傳輸、存儲、使用、開放等各環(huán)節(jié)，保障網(wǎng)絡(luò)安全的范圍邊界、責(zé)任主體和具體要求，制定和實施大數(shù)據(jù)的采集開放、指標(biāo)口徑、分類目錄、交換接口、訪問接口等關(guān)鍵共性標(biāo)準。

二是要打通上下游系統(tǒng)數(shù)據(jù)資源，初步形成體系化應(yīng)用的業(yè)態(tài)和數(shù)據(jù)產(chǎn)業(yè)鏈條。收集與深度挖掘業(yè)務(wù)系統(tǒng)數(shù)據(jù)源進行數(shù)據(jù)采集，實現(xiàn)各數(shù)據(jù)源數(shù)據(jù)統(tǒng)一匯總、統(tǒng)一存儲，解決“各自為政、條塊分割、煙囪林立、信息孤島”，初步實現(xiàn)數(shù)據(jù)整合。

三是要實現(xiàn)數(shù)據(jù)資源深度融合?；趥€性化業(yè)務(wù)要求，結(jié)合大數(shù)據(jù)分析和智能決策，實現(xiàn)數(shù)據(jù)資源的深度融合，提高數(shù)據(jù)輸出價值。

數(shù)據(jù)處理模塊功能結(jié)構(gòu)上分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)路由、數(shù)據(jù)輸出，數(shù)據(jù)采集對接大量外部接口，更加有效的保證數(shù)據(jù)采集高效、穩(wěn)定；數(shù)據(jù)處理模塊主要是對收集到的數(shù)據(jù)進行清洗及模型化等處理，保證數(shù)據(jù)能夠被有效處理及存儲；數(shù)據(jù)路由主要為針對數(shù)據(jù)進行輸入輸出路由配置，保證數(shù)據(jù)路由有跡可循，同時滿足靈活多變的路由規(guī)則配置；數(shù)據(jù)輸出主要面向外部對接系統(tǒng)提供相關(guān)輸出數(shù)據(jù)，更加全面滿足不同對接系統(tǒng)協(xié)議需求，同時對異常進行監(jiān)控處理，保證系統(tǒng)持續(xù)可用性。

數(shù)據(jù)處理模塊采用數(shù)據(jù)即服務(wù)（DaaS）技術(shù)理念，革新數(shù)據(jù)采集模式，深化數(shù)據(jù)應(yīng)用服務(wù)， 探索設(shè)立數(shù)據(jù)開放共享關(guān)鍵共性標(biāo)準，推進解決數(shù)據(jù)孤島問題，建立完整的共享平臺。

（二）數(shù)據(jù)共享

數(shù)據(jù)共享模塊包括常規(guī)數(shù)據(jù)收集、數(shù)據(jù)共享，共享數(shù)據(jù)種類除了能進行源數(shù)據(jù)的共享外，還可以將平臺中標(biāo)準化的數(shù)據(jù)進行共享，從而使得共享的數(shù)據(jù)內(nèi)容更加豐富，在此基礎(chǔ)上，該模塊還能提供一定程度的數(shù)據(jù)服務(wù)，即將收集來的數(shù)據(jù)以特定的條件進行分析并輸出一個結(jié)果或者趨勢，使該模塊的功能更加豐富。同時，數(shù)據(jù)共享模塊加入安全管理，其中包括數(shù)據(jù)授權(quán)、數(shù)據(jù)審計、數(shù)據(jù)加密、數(shù)據(jù)脫敏、安全治理功能。在實現(xiàn)源數(shù)據(jù)收集共享、數(shù)據(jù)服務(wù)共享、第三方數(shù)據(jù)交換的基礎(chǔ)上進一步強化數(shù)據(jù)安全、數(shù)據(jù)隱私的管控。數(shù)據(jù)共享模塊通過web Service的服務(wù)請求和調(diào)用，實現(xiàn)數(shù)據(jù)的交換和共享，數(shù)據(jù)使用者通過Rest API接口獲取相應(yīng)的數(shù)據(jù)，具備支持多種協(xié)議、數(shù)據(jù)格式的共享，確保數(shù)據(jù)安全、有序、有效共享。

數(shù)據(jù)共享模塊整體框架是開放的生態(tài)框架，為了支持各系統(tǒng)業(yè)務(wù)模塊、業(yè)務(wù)功能的動態(tài)擴展、靈活更新，模塊采用以下原則進行設(shè)計實現(xiàn)。

業(yè)務(wù)數(shù)據(jù)共享“索引管道式”交換，數(shù)據(jù)共享模塊根據(jù)實際需求可通過網(wǎng)絡(luò)對松耦合、粗粒度的應(yīng)用組件進行分布式部署、使用和組合。組合之間采用簡單的、可精準定義的接口進行通訊，不涉及底層編程接口標(biāo)準、協(xié)議和通訊模型。所有數(shù)據(jù)訪問均通過數(shù)據(jù)接口組件，具有服務(wù)可重用、服務(wù)即時性、標(biāo)準化服務(wù)接口、支持各種消息模式等特點，能夠更加從容的面對業(yè)務(wù)的變化、實時獲取相應(yīng)數(shù)據(jù)。

微服務(wù)架構(gòu)支撐數(shù)據(jù)采集、清洗、加工、共享等服務(wù)運行，數(shù)據(jù)共享模塊采用微服務(wù)體系架構(gòu)，服務(wù)可獨立部署在不同進程中，不同服務(wù)之間是通過一些輕量級的機制進行通信，同時服務(wù)可獨立擴展伸縮，每個服務(wù)又定義了明確邊界。數(shù)據(jù)共享模塊使用分布式服務(wù)組成系統(tǒng)，根據(jù)業(yè)務(wù)對組織進行劃分，強調(diào)服務(wù)個體和弱通信，自動化運維，支持快速演化。

數(shù)據(jù)共享模塊運用數(shù)據(jù)管道運行服務(wù)引擎為驅(qū)動，通過建立不同信息資源共享交換的數(shù)據(jù)傳輸管道，形成各個獲取的數(shù)據(jù) API 接口，按統(tǒng)一共性建設(shè)需求，整合并建立標(biāo)準共享數(shù)據(jù)訪問接口和統(tǒng)一的數(shù)據(jù)格式，以接口形式對外提供各類數(shù)據(jù)服務(wù)，高效構(gòu)建“數(shù)據(jù)接口資源池”，以降低數(shù)據(jù)使用者的開發(fā)難度和成本，最終實現(xiàn)數(shù)據(jù)的按需、按權(quán)、合規(guī)調(diào)度、適時共享，支持實時、精準共享與交換服務(wù)。

四、結(jié)語

綜上所述，數(shù)據(jù)處理與共享平臺的研究與應(yīng)用，對數(shù)據(jù)資源有效利用，對用好、用活數(shù)據(jù)，具有重大促進作用。本文研究的數(shù)據(jù)處理與共享平臺是為了實現(xiàn)跨地區(qū)、跨層級的信息交換和共享，區(qū)別于傳統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)平臺，數(shù)據(jù)共享模塊基于數(shù)據(jù)處理模塊，提供的共享數(shù)據(jù)范圍廣、數(shù)據(jù)量大，數(shù)據(jù)交互更高效可靠，并提供統(tǒng)一的數(shù)據(jù)資源目錄，支持線上的資源申請，實現(xiàn)第三方應(yīng)用的統(tǒng)一管理，提供統(tǒng)一的監(jiān)控和日志記錄，更全面的數(shù)據(jù)脫敏策略和安全策略，提高業(yè)務(wù)協(xié)同效率，具有很高的實用價值。