主數(shù)據(jù)管理系統(tǒng)在企業(yè)信息化建設(shè)項目中的應用

崔娟娜

（中國水利水電第十一工程局有限公司，鄭州472000）

1 引言

隨著大數(shù)據(jù)的持續(xù)深挖，多數(shù)企業(yè)都已開始關(guān)注數(shù)據(jù)價值及數(shù)據(jù)管理問題。其中，主數(shù)據(jù)作為當下企業(yè)的核心數(shù)據(jù)，其相對應的主數(shù)據(jù)管理系統(tǒng)至關(guān)重要。這是因為，經(jīng)過主數(shù)據(jù)管理平臺梳理后的數(shù)據(jù)，能夠確保企業(yè)核心數(shù)據(jù)的統(tǒng)一性、精準性與完整性，可進一步提高企業(yè)主數(shù)據(jù)的品質(zhì)，從而最終達成企業(yè)數(shù)據(jù)共享與業(yè)務協(xié)同操作的目的。

2 企業(yè)信息化建設(shè)項目中遇到的困境

現(xiàn)階段，信息系統(tǒng)的應用已融入了企業(yè)的各管理、業(yè)務模塊。在企業(yè)經(jīng)營生產(chǎn)過程中，各種信息系統(tǒng)持續(xù)產(chǎn)生繁復多樣的業(yè)務數(shù)據(jù)，從而導致各項業(yè)務系統(tǒng)堆積了龐大的數(shù)據(jù)資源，這些數(shù)據(jù)資源對企業(yè)日常業(yè)務中產(chǎn)生著巨大的價值，但處理起來很復雜。這在很大程度上限制了企業(yè)信息化建設(shè)的發(fā)展，也限制了海量數(shù)據(jù)資源價值的發(fā)揮。各類分散的管理系統(tǒng)不足體現(xiàn)在以下3個方面：

1）欠缺與其他系統(tǒng)達成統(tǒng)一共享的標準，不僅造成“信息孤島”現(xiàn)象，還增加了系統(tǒng)集成的困難程度。

2）缺乏整體統(tǒng)一數(shù)據(jù)視圖與規(guī)范，給數(shù)據(jù)的整合與挖掘增加了一定難度，且因數(shù)據(jù)質(zhì)量欠佳，所以依據(jù)這種不夠全面的數(shù)據(jù)分析結(jié)果，會對決策與管控效果產(chǎn)生誤判。

3）欠缺統(tǒng)一的數(shù)據(jù)管控平臺，大量數(shù)據(jù)仍然在分系統(tǒng)當中，故而無法實現(xiàn)對有價值的數(shù)據(jù)實施集成與共享，無法展現(xiàn)出數(shù)據(jù)資產(chǎn)的實用價值。

針對上述問題，采用主數(shù)據(jù)管理系統(tǒng)來統(tǒng)一管理各個分散的數(shù)據(jù)系統(tǒng)，是解決這一困境的有效方法之一。

3 主數(shù)據(jù)管理平臺在企業(yè)信息化建設(shè)中設(shè)計理念

3.1 主數(shù)據(jù)管理平臺定位

對于當前階段的主數(shù)據(jù)管理平臺來說，主要是依托互聯(lián)網(wǎng)與計算機這2項技術(shù)，經(jīng)處理后生成并維護主數(shù)據(jù)，以確保其能夠具有統(tǒng)一的規(guī)范、技術(shù)及方案。在此之后，主數(shù)據(jù)管理平臺會將完整、精準的主數(shù)據(jù)通過特定的服務方法，分散到各決策支持系統(tǒng)（通常該系統(tǒng)都需要使用到相關(guān)數(shù)據(jù)）、業(yè)務系統(tǒng)與業(yè)務流程等。其中，集成、共享、數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理是4大重點要素[1]。

此外，應用主數(shù)據(jù)管理系統(tǒng)作為主數(shù)據(jù)和各業(yè)務分系統(tǒng)相互間的紐帶，能夠提供給每個分系統(tǒng)對應基礎(chǔ)性數(shù)據(jù)存儲與錄入規(guī)范功能，這具體表現(xiàn)為以下2個方面：

1）為滿足操作類業(yè)務應用系統(tǒng)需求而向其傳輸規(guī)范化的核心主數(shù)據(jù)。在該功能中，主數(shù)據(jù)管理系統(tǒng)不僅能夠統(tǒng)一、集中地管控和維護主數(shù)據(jù)，還能夠通過數(shù)據(jù)接口（或集成工具）來實現(xiàn)對核心主數(shù)據(jù)的同步處理。通過以上2種措施，既能有效促進各分系統(tǒng)實現(xiàn)對于數(shù)據(jù)共享及協(xié)同，也能為整合并解析數(shù)據(jù)做好充分準備。

2）保證分析類使用系統(tǒng)所運用到的數(shù)據(jù)的品質(zhì)以及分析維度信息的完整性。也就是說，主數(shù)據(jù)管理系統(tǒng)在通過標準化主數(shù)據(jù)與定義維度后，可以更好地服務于數(shù)據(jù)解析，從而為數(shù)據(jù)解析提供具備統(tǒng)一性的統(tǒng)計解析口徑，以更好地在進一步提高數(shù)據(jù)統(tǒng)計精準性的同時，使整體數(shù)據(jù)應用水準得到提升。

3.2 主數(shù)據(jù)管理系統(tǒng)模塊

就主數(shù)據(jù)管理系統(tǒng)組織架構(gòu)而言，其根本需求必須是管理及應用主數(shù)據(jù)。為了實現(xiàn)這一根本需求，在設(shè)計架構(gòu)時，一定要遵守“拓展性、先進性、完整性”這3個原則，在功能上不僅需要有整體數(shù)據(jù)管理與使用的基本管理功能，還需要有可以為數(shù)據(jù)管理帶來強大的外部集成與協(xié)作技能。換言之，主數(shù)據(jù)管理系統(tǒng)必須要保障自身具備先進的交換機制，以更好地實現(xiàn)對于數(shù)據(jù)的同步。在此前提下，其在對外方面還需能夠保障各項預置服務，以確保在外部使用系統(tǒng)需要調(diào)用主數(shù)據(jù)時得到更好的回應，從而進一步強化主數(shù)據(jù)管理系統(tǒng)的實時操作性[2]。

3.2.1 主數(shù)據(jù)采集

主數(shù)據(jù)重點來自統(tǒng)建類主數(shù)據(jù)、自建類主數(shù)據(jù)，而部分來源則主要為當前系統(tǒng)的實時性主數(shù)據(jù)?；诖?，通過主數(shù)據(jù)管理系統(tǒng)中的管理模式，不僅能夠?qū)崿F(xiàn)篩選數(shù)據(jù)目標，還能以集中模式來確保主數(shù)據(jù)產(chǎn)生與變更都可在主數(shù)據(jù)管理系統(tǒng)中進行維護。其中，經(jīng)過推送與其他系統(tǒng)同步的操作方式有：

1）在統(tǒng)建類主數(shù)據(jù)時，所選擇用來將其更新到主數(shù)據(jù)管理系統(tǒng)的推送方法通常都是“定向單一”。

2）在自建類主數(shù)據(jù)時，除了要保證將其植入主數(shù)據(jù)管理系統(tǒng)必須是一次性操作外，還要將數(shù)據(jù)維護工作統(tǒng)一實施于系統(tǒng)中。

3）在當前使用系統(tǒng)中分散實時性主數(shù)據(jù)時，要一次性將其增加至主數(shù)據(jù)管理系統(tǒng)當中；與此同時，還要保證展開操縱過程中要一直采用更新與維護主數(shù)據(jù)管理系統(tǒng)這一模式。

3.2.2 主數(shù)據(jù)管控

主數(shù)據(jù)整體處置程序的內(nèi)容則為審批及訂閱分發(fā)主數(shù)據(jù)：（1）對于主數(shù)據(jù)審批來說，需實現(xiàn)維護申請主數(shù)據(jù)以及管控審批程序這2項功能（除了統(tǒng)建主數(shù)據(jù)）。同時，在審批完成后，主數(shù)據(jù)及其統(tǒng)建主數(shù)據(jù)能夠以主數(shù)據(jù)分發(fā)措施為指令，系統(tǒng)地將主數(shù)據(jù)分發(fā)到已訂閱的相關(guān)業(yè)務系統(tǒng)中。（2）系統(tǒng)在服從數(shù)據(jù)分發(fā)措施指令進行管控的同時，還會完成針對多種使用系統(tǒng)或多種數(shù)據(jù)源的分發(fā)，且會儲存分發(fā)結(jié)果。一般來說，重點劃分為以下2種方法：

1）自動分發(fā)。該方法是指在依照分發(fā)措施的前提下，對不同分發(fā)對象與需求實行配置，并在時間規(guī)定范圍內(nèi)來將已更新完成的主數(shù)據(jù)發(fā)布到已訂閱使用系統(tǒng)中；不僅如此。自動分發(fā)這一方法還能將分發(fā)結(jié)果進行共時記錄。

2）人工分發(fā)。該方法需要依靠人工操作，具體來說，即在每層級管理員發(fā)起主數(shù)據(jù)管理系統(tǒng)后，由這些管理員依據(jù)自身權(quán)限來對主數(shù)據(jù)信息進行篩選，從而實施發(fā)送（通常以配置規(guī)則或指定分發(fā)為依據(jù)）；需注意的是，人工分發(fā)也必須保證分發(fā)結(jié)果能夠被及時報告與記載[3]。

3.2.3 基礎(chǔ)管理

主數(shù)據(jù)資深業(yè)務管理主要內(nèi)容有數(shù)據(jù)標準管理與質(zhì)量管理等。通常情況下，主數(shù)據(jù)資深業(yè)務管理會在劃分主數(shù)據(jù)標準管理時，將其歸納為主數(shù)據(jù)實體管理以及參考實體管理2個部分。具體來說，擬定相關(guān)標準時一般都需要遵循以下5個方面的原則：

1）唯一性。即單獨的主數(shù)據(jù)編碼在使用系統(tǒng)中，要確保自身是唯一標識對象。

2）兼容性。即除了要滿足業(yè)務需求外，還要以編碼形式來將現(xiàn)有模式進行集合，這不僅能夠使新舊編碼在替換時更加方面，還能有效減少新舊編碼替換過程所需消耗的工作量與時間成本。

3）可拓展性。即在擬定編碼標準時，必須以發(fā)展的眼光來將這一標準與未來業(yè)務發(fā)展的相適應性，從而保證科學的拓展性。

4）穩(wěn)定性。即不僅要避免如業(yè)務變更、組織結(jié)構(gòu)變更等影響因素導致編碼必須替換，還要將擬定編碼標準穩(wěn)定性作為主要考慮內(nèi)容。

5）可識別性。即在保障編碼穩(wěn)定性這一先決條件的基礎(chǔ)上，要合理為賦予編碼在業(yè)務方面意義，以更好地使工作人員在應用操作時能夠更便利。

3.2.4 查詢功能

查詢功能是日志查詢、綜合查詢、數(shù)據(jù)庫表結(jié)構(gòu)查詢的基礎(chǔ)，且支持查詢多種信息，如：（1）主數(shù)據(jù)管理員通過主數(shù)據(jù)同步日志，能查詢主數(shù)據(jù)與其他業(yè)務系統(tǒng)的同步數(shù)據(jù)；（2）經(jīng)過主數(shù)據(jù)分發(fā)日志，完成主數(shù)據(jù)分發(fā)日志查詢與導出，而在主數(shù)據(jù)分發(fā)不成功時，系統(tǒng)則會提示分發(fā)出現(xiàn)異常，并依據(jù)具體狀況針對分發(fā)異常的主數(shù)據(jù)進行再次發(fā)送，且同時能使用逐條分發(fā)與全部分發(fā)等功能。

4 主數(shù)據(jù)管理系統(tǒng)的技術(shù)架構(gòu)

4.1 引導（Boot strap）+響應式后臺管理（Metronic）技術(shù)構(gòu)架

Bootstrap為前端框架，其以超文本標記語言（HTML）、級聯(lián)樣式表（CSS）、腳本編寫語言（JavaScript）為基礎(chǔ)，簡便靈動，且支持布局、全局CSS樣式與某些常見插件功能，風格一致，極易定制，適合在多種風格互聯(lián)網(wǎng)（Web）研發(fā)。另外，Bootstrap還將Metronic作為模板框架，支持扁平化組件樣式和多套界面模板且集中了數(shù)個界面組件，結(jié)果與風格一致。此外，Bootstrap還填補了管理系統(tǒng)界面的不足以及樹插件（JQuery）與Bootstrap自身插件風格不一致的缺陷。

4.2 分布式緩存（Kafka）技術(shù)構(gòu)架

Kafka為分布式，拓展性強、處置速度快、可持久化，歸結(jié)為分布式發(fā)布與訂閱的消息系統(tǒng)，具備水平拓展與高吞吐量的特點，已被普及應用。其優(yōu)點可體現(xiàn)在如下4方面：

1）解耦合。每個微服務經(jīng)過Kafka的統(tǒng)一接口實施數(shù)據(jù)替換，減少了系統(tǒng)模塊相互間的耦合性。

2）廣闊拓展性。不僅能夠隨意給Kafka增設(shè)推送消息量，還能夠經(jīng)過水平拓展Kafka的消息轉(zhuǎn)發(fā)器（Broker）節(jié)點來完成消息量負載平衡。

3）加強緩沖能力。針對微服務相互間訪問量的加劇，Kafka消息隊列能夠高效緩沖系統(tǒng)的巨大流量壓力。

4）健壯性強。Kafka在局部失去功能狀況下，不會給整體系統(tǒng)帶來影響。此外，可借助消息的及時同步機制，來完成每個系統(tǒng)相互間的數(shù)據(jù)同步，具有較強的有效性。

5 結(jié)語

主數(shù)據(jù)管理系統(tǒng)為企業(yè)信息化建設(shè)的基本工作內(nèi)容，可經(jīng)過數(shù)據(jù)標準化推動信息系統(tǒng)的高效集成與業(yè)務集成，同時由企業(yè)級數(shù)據(jù)資產(chǎn)規(guī)范化管理，來有效推動信息系統(tǒng)的高效管理與業(yè)務管理，以進一步提高主數(shù)據(jù)的一致性、可使用性與安全性，可整體提高信息化建設(shè)的效果，從而有效創(chuàng)建完備的數(shù)據(jù)管理平臺來確保信息化建設(shè)達到良好效果，最終為達成信息化戰(zhàn)略目標提供強大的動力。