基于數(shù)據(jù)中臺架構的數(shù)據(jù)管理研究

關鍵詞：數(shù)據(jù)中臺架構;數(shù)據(jù)管理;工業(yè)互聯(lián)網(wǎng)

中圖法分類號：TP393 文獻標識碼：A

1引言

在工業(yè)互聯(lián)網(wǎng)時代，企業(yè)數(shù)字化轉(zhuǎn)型將成為一種趨勢。數(shù)字轉(zhuǎn)型本質(zhì)上是通過運用信息技術推動產(chǎn)業(yè)進行轉(zhuǎn)型。企業(yè)的數(shù)字化轉(zhuǎn)型不是孤立環(huán)節(jié)，而是整個社會數(shù)字化轉(zhuǎn)型中非常重要的部分。如何最大化數(shù)據(jù)的價值，以指導業(yè)務決策并刺激業(yè)務增長是企業(yè)推動數(shù)字化轉(zhuǎn)型的關鍵挑戰(zhàn)。數(shù)據(jù)中心的重點是收集商業(yè)數(shù)據(jù)商品、數(shù)據(jù)開發(fā)和建模、數(shù)據(jù)服務功能的生產(chǎn)和企業(yè)的完全自主，是數(shù)字轉(zhuǎn)換技術的核心。

2建設數(shù)據(jù)中臺架構的意義

（1）大數(shù)據(jù)改變了企業(yè)的管理方式

由于大數(shù)據(jù)具有很強的包容性，因此各個單位與企業(yè)之間的界限是非常模糊的，這也解決了信息孤島問題，讓數(shù)據(jù)共享成為可能，以此讓協(xié)作工作和業(yè)務工作的效率和自主性得到提高。隨著大數(shù)據(jù)技術水平的提升，在公共服務管理的過程中，能夠有效減少投資、有效監(jiān)管企業(yè)、有效提升決策能力，并提升公共服務能力，從而實現(xiàn)智慧化管理。

（2）大數(shù)據(jù)可以用來整合信息

對企業(yè)收集的信息進行共享和比較，能夠發(fā)現(xiàn)其中存在的監(jiān)管漏洞，有效提升對問題的識別和預警能力，達到增加企業(yè)利潤、提高質(zhì)量的目的。建設數(shù)據(jù)中臺架構，收集、整理和分析數(shù)據(jù)，運用云計算技術實現(xiàn)對資源的集成管理，可以對資源進行有效利用。而提高設備的使用效率和資源配置的服務效率，可以防止進行重復建設，從而有效地減少維護成本。隨著大數(shù)據(jù)技術的應用，能夠極大地提升決策效率，讓決策過程更加科學和準確，提升其可預測性、快速預警以及應急響應的能力，降低決策成本。

（3）數(shù)據(jù)中臺架構是構建和應用大型業(yè)務數(shù)據(jù)的基礎平臺

通過對數(shù)據(jù)中臺的建設，大型企業(yè)數(shù)據(jù)應用項目能夠在總體框架內(nèi)進行統(tǒng)一;通過更高層次的集成和聯(lián)合建設，可以形成更加集中、有序以及共享的數(shù)據(jù)，從而能夠?qū)ΜF(xiàn)有的信息資源進行有效整合。打破信息孤島之后，可以讓行業(yè)和部門之間的信息進行有效共享，進而有效提升協(xié)作效率以及服務水平。

數(shù)據(jù)中臺架構需要包含數(shù)據(jù)技術能力。數(shù)據(jù)中心能夠進行收集、處理和應用相應的數(shù)據(jù)，對于多種技術進行集成。然而，數(shù)據(jù)中臺架構不只是進行數(shù)據(jù)收集，應該讓處理后的數(shù)據(jù)不再像網(wǎng)絡一樣耀眼。其主要內(nèi)容是從各種業(yè)務線和業(yè)務領域的海量數(shù)據(jù)中進行提取，并將它們按照邏輯組合到特定的業(yè)務中。此外，應該恢復業(yè)務運營、生產(chǎn)、管理全連接下各對象的行為樹，使其能夠靈活、快速地擴展使用。同時，數(shù)據(jù)中臺架構需要讓企業(yè)的職能活動能夠?qū)ν惶椎募夹g和數(shù)據(jù)產(chǎn)品進行共享。通過業(yè)務系統(tǒng)，可以為業(yè)務提供強大的算法、數(shù)據(jù)和技術支持。而數(shù)據(jù)則來自企業(yè)并為企業(yè)提供服務，形成周期循環(huán)。

3 數(shù)據(jù)中臺架構的建設

3.1數(shù)據(jù)規(guī)劃

數(shù)據(jù)中臺架構屬于綜合性的數(shù)據(jù)中心，其主要任務是讓企業(yè)對數(shù)據(jù)進行集成以及提取，并對相應的數(shù)據(jù)和技術進行共享，以更好地挖掘數(shù)據(jù)的附加值，進而結合產(chǎn)品的能力以及算法進行業(yè)務反饋。換句話說，數(shù)據(jù)來自業(yè)務并提供相應的服務，業(yè)務則周期性地包含更多的能量，據(jù)此形成數(shù)據(jù)生態(tài)并迸發(fā)無限的可能性。數(shù)據(jù)應用程序是使用數(shù)據(jù)中心中的數(shù)據(jù)創(chuàng)建自己的數(shù)據(jù)值。采用大數(shù)據(jù)處理技術，可以為整個平臺提供實時的信息服務，查明工作中存在的不足，并自動反饋給各部門，成為人工智能大腦，在業(yè)務系統(tǒng)的配合下進行自動控制。數(shù)據(jù)中臺建設主要包含以下情況。

第一，數(shù)據(jù)中心體系結構設計。其為數(shù)據(jù)共享服務設計了一個整體架構，重點關注“如何使分析場景成為現(xiàn)實”。系統(tǒng)分析和盤點各種數(shù)據(jù)源、數(shù)據(jù)生產(chǎn)、數(shù)據(jù)使用、數(shù)據(jù)質(zhì)量、數(shù)據(jù)共享以及公司資產(chǎn)建設和管理的現(xiàn)狀，包括但不限于公司的其他方面。規(guī)劃公司數(shù)據(jù)共享服務的架構項目，可以設計主數(shù)據(jù)中心、全球數(shù)據(jù)中心、提取數(shù)據(jù)中心、綜合數(shù)據(jù)服務層和數(shù)據(jù)資產(chǎn)管理系統(tǒng)?；诠緮?shù)據(jù)共享服務的項目架構，可以結合可用性、可預測性、可擴展性和合理投資的原則設計基礎架構，以支持產(chǎn)品選擇。

第二，對數(shù)據(jù)進行存儲規(guī)劃。需要結合企業(yè)現(xiàn)有的數(shù)據(jù)現(xiàn)狀、業(yè)務流程以及數(shù)據(jù)應用需求，制定相應的數(shù)據(jù)共享服務，如業(yè)務板塊的規(guī)劃、數(shù)據(jù)域以及業(yè)務空間等。

第三，定義數(shù)據(jù)規(guī)范。其代表公司相關數(shù)據(jù)的定義，如數(shù)據(jù)大小、業(yè)務流程、原子度量、業(yè)務限制等。

第四，R+D數(shù)據(jù)建模。數(shù)據(jù)存儲規(guī)劃、數(shù)據(jù)的標準化定義、基于現(xiàn)有業(yè)務流程和數(shù)據(jù)的模型物理設計、模型的邏輯設計和數(shù)據(jù)輸入策略（清理、結構化和更新）、準時性等。

第五，對數(shù)據(jù)進行導入。為了整合多個來源數(shù)據(jù)，可以根據(jù)不同渠道的特點和分析需求，制定不同的同步策略和數(shù)據(jù)分析的規(guī)則，并對項目數(shù)據(jù)集成策略及其內(nèi)容進行邏輯更新，實現(xiàn)數(shù)據(jù)周期的自動同步。

第六，綜合方案。以模型設計為基礎，進行數(shù)據(jù)標識，從而完善數(shù)據(jù)生產(chǎn)環(huán)節(jié)，組織周期性任務，進而做好數(shù)據(jù)中心的建設。通過標準化定義、智能化的數(shù)據(jù)建模、研發(fā)數(shù)據(jù)、數(shù)據(jù)連接提取和綜合調(diào)度，形成相應的數(shù)據(jù)管理系統(tǒng)。

3.2項目設計方案

數(shù)據(jù)中心不僅專注于內(nèi)部共享，還開放給社會公司和成員單位以及整合大型行業(yè)的數(shù)據(jù)和應用程序。隨著數(shù)據(jù)不斷增多，共享變得越來越普遍，數(shù)據(jù)安全和隱私變得越來越重要。數(shù)據(jù)中心由五個主要功能組成：存儲和處理、數(shù)據(jù)平臺、數(shù)據(jù)治理（數(shù)據(jù)資產(chǎn)管理）、數(shù)據(jù)操作和數(shù)據(jù)應用。數(shù)據(jù)中心設計數(shù)據(jù)的采集、處理、分析以及服務的全過程功能，形成了多種采集方式和一套基于元數(shù)據(jù)、基礎數(shù)據(jù)以及數(shù)據(jù)資產(chǎn)管理的管理體系。此外，企業(yè)的共享數(shù)據(jù)中心可以劃分成垂直數(shù)據(jù)中心、公共數(shù)據(jù)中心、數(shù)據(jù)提取的中心。

第一，垂直數(shù)據(jù)中心。企業(yè)垂直數(shù)據(jù)中心由垂直數(shù)據(jù)存儲中心組成，垂直數(shù)據(jù)存儲中心根據(jù)不同的業(yè)務分類執(zhí)行不同的業(yè)務功能。垂直數(shù)據(jù)中心為公司收集業(yè)務數(shù)據(jù)和管理數(shù)據(jù)，包括來自各個業(yè)務子系統(tǒng)的結構化和非結構化數(shù)據(jù)。

第二，公共數(shù)據(jù)中心。公共數(shù)據(jù)中心是比較抽象的概念，其主要集成、分類和分析信息系統(tǒng)中的數(shù)據(jù)。每個主題都需要對應相應的領域，在分析數(shù)據(jù)后，可以進行完整和一致的描述，從而描述每個分析目標中包含的多個數(shù)據(jù)和數(shù)據(jù)關系。

第三，數(shù)據(jù)中心的提取。構建一個健全的數(shù)據(jù)中心，用于使用/自然業(yè)務對象提取公司數(shù)據(jù)，并以提取標簽為結構，形成用戶、建筑和財務等自然對象數(shù)據(jù)系統(tǒng)。數(shù)據(jù)系統(tǒng)由多維數(shù)據(jù)指標和基本數(shù)據(jù)標簽、統(tǒng)計數(shù)據(jù)標簽和算法數(shù)據(jù)標簽組成。

3.3數(shù)據(jù)中臺功能設計

在企業(yè)發(fā)展的階段，數(shù)據(jù)研發(fā)模型與企業(yè)的業(yè)務之間是緊密相連的。此外，數(shù)據(jù)系統(tǒng)也是結合企業(yè)的數(shù)據(jù)單元進行的縱向建立。而每個垂直業(yè)務都會帶來與之類似的其他數(shù)據(jù)系統(tǒng)。同時，隨著業(yè)務的不斷發(fā)展，數(shù)據(jù)規(guī)模迅速擴大，垂直業(yè)務單元數(shù)量也會不斷增加。雖然是一個垂直單位，但所有領域的所有數(shù)據(jù)類型（品種）都可以具有核心競爭力。

垂直單元之間的數(shù)據(jù)組織反過來會導致數(shù)據(jù)調(diào)用和復制的混亂，加之重復建設造成的資源浪費、數(shù)據(jù)度量定義不同造成的歧義、數(shù)據(jù)使用門檻的提高等問題在企業(yè)發(fā)展的過程中日益突出，亟待解決。

數(shù)據(jù)開發(fā)和管理平臺是未來業(yè)務的必要平臺，該平臺涵蓋離線計算和實時應用，以滿足開發(fā)者在數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)提取方面的需求。數(shù)據(jù)質(zhì)量和數(shù)據(jù)應用程序（如地圖、數(shù)據(jù)模型和數(shù)據(jù)API）可以提高開發(fā)人員的生產(chǎn)效率，提高業(yè)務數(shù)據(jù)開發(fā)的效率，并有效簡化數(shù)據(jù)的提取過程。

第一，對數(shù)據(jù)進行計算和存儲。整個平臺底層通過運用流行的Hadoop分布式平臺，spark計算引擎可以進行離線計算，F(xiàn)link引擎則主要是進行實時計算。該系統(tǒng)主要以分布式的體系結構為基礎，可以水平擴展。隨著數(shù)據(jù)量不斷增加，通過使用添加的方式，能夠有效地解決計算性能中存在的問題，滿足各種場景的數(shù)據(jù)需求，從而支持SQL、Java、Python等接口，進而滿足不同的需求。存儲系統(tǒng)架構主要以分布式HDFS文件系統(tǒng)為基礎，能夠為數(shù)據(jù)分配計算能力提供支持。計算集群可以基于硬件異構體進行配置，并且可以根據(jù)性能要求輕松地進行更改。

第二，離線數(shù)據(jù)的開發(fā)和管理。首先，數(shù)據(jù)集成。數(shù)據(jù)集成模塊是不同存儲設備之間數(shù)據(jù)交換的通道，其能夠更好地支持常用數(shù)據(jù)庫的集成和共享。數(shù)據(jù)集成支持分布式系統(tǒng)的結構，支持同步閾值檢查等;其次，數(shù)據(jù)開發(fā)。數(shù)據(jù)開發(fā)是完成計算機清理、統(tǒng)計或數(shù)據(jù)提取邏輯的統(tǒng)一過程。而在編程周期方面，其支持按天、周、月、時、分配置多個編程周期的各種任務。同時，需要記錄每個版本的修改歷史，以便比較不同版本的代碼/參數(shù);最后，管理服務中心。當進行實時數(shù)據(jù)采集時，該系統(tǒng)還可以實時跟蹤和警告輸入和輸出數(shù)據(jù)的數(shù)量。而支持實時任務執(zhí)行控制、列出不同的任務執(zhí)行狀態(tài)，從而能夠制定相應的警報功能，可同時設置任務啟動、任務終止等條件，進行短信、消息和其他方式的提醒方式，并配置相應的警報接受者。

3.4數(shù)據(jù)應用水平

在平臺生成數(shù)據(jù)后，需要通過相關應用程序為用戶提供數(shù)據(jù)服務，從而最大程度地提高數(shù)據(jù)的價值。而企業(yè)中的相關數(shù)據(jù)或?qū)ο蠓治隹梢灾苯舆M行數(shù)據(jù)的顯示或應用。同時，業(yè)務數(shù)據(jù)目錄和數(shù)據(jù)處理服務等應用程序可以把資源進行整合，從而有效提高數(shù)據(jù)的商業(yè)價值以及大型數(shù)據(jù)中臺的計算能力。項目數(shù)據(jù)的應用和技術的開發(fā)則在技術市場占據(jù)主要地位。此外，根據(jù)最終需求，Bi報告軟件用于固定的內(nèi)容分析，其可由PC和移動終端創(chuàng)建。一些智能數(shù)據(jù)應用程序（如存儲位置和公司簡介）則以定制開發(fā)的形式呈現(xiàn)。

4基于數(shù)據(jù)中臺架構的數(shù)據(jù)管理應用

主要數(shù)據(jù)指用于描述公司實體的數(shù)據(jù)，如組織中的事物和人員，其核心是公司數(shù)據(jù)。主要數(shù)據(jù)是不同系統(tǒng)之間交換和共享數(shù)據(jù)的關鍵。目前，一些公司已經(jīng)建立了統(tǒng)一的基礎數(shù)據(jù)平臺，但基礎數(shù)據(jù)仍由公司內(nèi)部的專門服務部門進行維護和使用，沒有形成統(tǒng)一的公司、項目、業(yè)務和組織標準。不正確的主代碼則加劇了其他系統(tǒng)中工人的重復管理和低效操作現(xiàn)象。

基于統(tǒng)一的數(shù)據(jù)模型，公司基礎數(shù)據(jù)管理平臺設計用于識別和隔離分布在各個系統(tǒng)中的基礎數(shù)據(jù)，管理和維護基礎數(shù)據(jù)表中的各個字段，通過分布機制進行權限認證和共享，以滿足各業(yè)務系統(tǒng)的使用要求。同時，為了避免基礎數(shù)據(jù)的重復，應整合業(yè)務基礎數(shù)據(jù)管理平臺的相關功能，對各業(yè)務系統(tǒng)的功能進行改造和增強，并在其系統(tǒng)中維護基礎數(shù)據(jù)。

因此，在主要數(shù)據(jù)的基礎上，對原產(chǎn)地數(shù)據(jù)整合的建議是：第一，建立商業(yè)模式標準。通過建立主業(yè)務數(shù)據(jù)分類框架，建立目錄索引，逐一分析和整理各業(yè)務系統(tǒng)的數(shù)據(jù)，形成數(shù)據(jù)模型的標準;第二，統(tǒng)計主要數(shù)據(jù)。識別各業(yè)務系統(tǒng)的主要數(shù)據(jù)，對相關參數(shù)的屬性進行排序，確定各數(shù)據(jù)元的來源和權限，建立基礎數(shù)據(jù)臺賬;第三，完善基礎數(shù)據(jù)平臺。及時維護和更新業(yè)務數(shù)據(jù)管理平臺，以維護高級功能并集成一系列基本服務;第四，改造和更新現(xiàn)有的信息系統(tǒng)。通過對各業(yè)務系統(tǒng)相關功能的應用和集成，可以協(xié)調(diào)原系統(tǒng)中業(yè)務活動和事件產(chǎn)生的主要數(shù)據(jù);第五，建立數(shù)據(jù)管理機制。建立數(shù)據(jù)管理相關機制，在公司內(nèi)部搭建數(shù)據(jù)管理支撐平臺，實現(xiàn)數(shù)據(jù)標準、共享、賬戶、安全、質(zhì)量的一體化管理。

5結語

業(yè)務數(shù)據(jù)管理是構建業(yè)務數(shù)據(jù)中心體系結構的首要任務。在分析基于數(shù)據(jù)中心組織的數(shù)據(jù)管理時，顯然首先要解決的是數(shù)據(jù)問題，以實現(xiàn)數(shù)據(jù)共享和標準化。本文從數(shù)據(jù)中臺架構進行建設的意義著手，探討了數(shù)據(jù)中臺架構建設的具體思路，并提出了基于數(shù)據(jù)中臺架構的數(shù)據(jù)管理應用，希望可以為企業(yè)數(shù)據(jù)管理提供參考，從而提高企業(yè)在互聯(lián)網(wǎng)大數(shù)據(jù)時代的競爭力。

作者簡介：

劉戈（1985—），本科，研究方向：ITSS運維和智慧城市。