公司主數(shù)據(jù)管理研究與思考

李智星　萬磊　舒新義　馬先俊　徐敏

摘要：公司規(guī)模不斷擴大的過程中，由于業(yè)務的需求，公司內(nèi)部存在許多應用系統(tǒng)，目前僅營銷系統(tǒng)已達23個之多。由于每個系統(tǒng)中的數(shù)據(jù)存儲方式和維護方式不同，因而各個應用系統(tǒng)之間將會出現(xiàn)分塊的信息孤島，不利于系統(tǒng)間的數(shù)據(jù)共享。同時，數(shù)據(jù)標準的不統(tǒng)一，錯綜復雜的數(shù)據(jù)對照和映射關系，使得公司無法及時并準確地進行數(shù)據(jù)分析工作。以上問題的存在，嚴重影響了公司的高層決策，并阻礙了數(shù)據(jù)資產(chǎn)價值的實現(xiàn)。對于電網(wǎng)企業(yè)，主數(shù)據(jù)是企業(yè)信息數(shù)據(jù)的重要組成部分，對主數(shù)據(jù)進行統(tǒng)一管理，可以大大提高企業(yè)的效益。目前，國內(nèi)企業(yè)對主數(shù)據(jù)的重要性認識不足，企業(yè)內(nèi)部沒有統(tǒng)一的主數(shù)據(jù)標準，給企業(yè)的發(fā)展帶來了阻礙。文章圍繞公司存在的數(shù)據(jù)冗余、數(shù)據(jù)不一致的問題展開研究。在探索數(shù)據(jù)不一致的過程中，提出共享數(shù)據(jù)管理和基礎數(shù)據(jù)標準化管理。由于共享數(shù)據(jù)管理已經(jīng)很成熟，所以文章以基礎數(shù)據(jù)標準化管理為研究重點，分別從數(shù)據(jù)結(jié)構(gòu)維護，規(guī)則制定以及數(shù)據(jù)維護等方面進行詳細介紹。通過基礎數(shù)據(jù)管理系統(tǒng)使用交換集成方法實現(xiàn)不同系統(tǒng)間數(shù)據(jù)的傳輸，從而保證系統(tǒng)間數(shù)據(jù)的一致性。幫助其實現(xiàn)數(shù)據(jù)資產(chǎn)價值、推動業(yè)務創(chuàng)新、增強企業(yè)競爭實力。

一、研究背景

20世紀60年代電網(wǎng)企業(yè)的信息化開始起步。這期間，既有基礎設施及應用軟件的更新?lián)Q代，也有單位、部門基于各自獨特需求建立的信息管理系統(tǒng)。也就不可避免的形成信息“孤島”及信息資源難以共享的問題。

數(shù)據(jù)是企業(yè)信息化的基礎，而獲得有用的數(shù)據(jù)來支撐各層決策是信息化發(fā)展的最終目標，因此數(shù)據(jù)管理是企業(yè)信息化的核心。隨著數(shù)據(jù)的作用的凸顯，其作為信息系統(tǒng)的基礎必須牢固。那么如何確保數(shù)據(jù)的完整性、準確性、一致性就是十分嚴峻的問題。如果數(shù)據(jù)質(zhì)量出現(xiàn)問題，輕者造成業(yè)務低效，重者造成重大決策失誤，產(chǎn)生不良后果，因此，確保數(shù)據(jù)質(zhì)量是一項長期的工作，包括數(shù)據(jù)的清理、數(shù)據(jù)的重組和規(guī)劃等。

主數(shù)據(jù)是對業(yè)務對象所需的核心數(shù)據(jù)進行統(tǒng)一定義，它不會頻繁變化，且可以被業(yè)務流程及其他應用引用。研究、實施主數(shù)據(jù)管理不僅可以向各應用系統(tǒng)提供經(jīng)濟、高效的數(shù)據(jù)服務，還可確保數(shù)據(jù)的完整性、一致性；主數(shù)據(jù)管理研究是通過對公共數(shù)據(jù)的發(fā)現(xiàn)和標準化描述來促進數(shù)據(jù)一致性管理，進而實現(xiàn)跨部門數(shù)據(jù)共享融合；主數(shù)據(jù)管理實施可以獲得一致的企業(yè)數(shù)據(jù)視圖，對部門的業(yè)務管理意義重大。

隨著電網(wǎng)規(guī)模不斷擴大、傳統(tǒng)的數(shù)據(jù)管理已難以適應快速變化的需求，迫切需要加快推進主數(shù)據(jù)管理建設，實現(xiàn)數(shù)據(jù)管理規(guī)范化、標準化的目標。

二、研究現(xiàn)狀

目前，國內(nèi)部分先進企業(yè)已開始關注企業(yè)主數(shù)據(jù)管理的重要性，并進行了益嘗試： Z銀行針對缺乏統(tǒng)一的客戶關系管理、信息孤島難以消除、不能跨系統(tǒng)采集、共享數(shù)據(jù)、不能處理隨機分析需求；難以獲得管理信息的統(tǒng)一視圖以及現(xiàn)有數(shù)據(jù)資源利用不夠、信息重復錄入等問題，有針對性的提出解決策略，即通過整合架構(gòu)將信息資源從分布異構(gòu)的子業(yè)務系統(tǒng)中剝離、獲取銀行內(nèi)部信息資源的統(tǒng)一視圖，以確保信息的一致性、準確性、以分析原始信息為基礎能獲取有關業(yè)務的洞察力用以支持決策。

國外歐美較成熟的企業(yè)，也經(jīng)歷了包括“信息孤島”在內(nèi)的系列“數(shù)據(jù)處理危機”問題。為解決這一系列問題，業(yè)界IBM、SAP等提出的主數(shù)據(jù)管理的理念。國外企業(yè)的主數(shù)據(jù)管理工作較為典型的有：西門子醫(yī)療系統(tǒng)，通過主數(shù)據(jù)管理形成了自動化的全球綜合解決方案，主數(shù)據(jù)管理系統(tǒng)的建立促進了企業(yè)的利潤最大化；美國XCEL公司目標是成為能源行業(yè)領袖，其業(yè)務遍布美國。為在節(jié)約業(yè)務時間、改進業(yè)務流程、提高客戶滿意度等方面取得成效，XCEL能源公司的后臺數(shù)據(jù)庫應用IBM的主數(shù)據(jù)管理工具進行了整合，幫助公司消除了信息孤島、提供了企業(yè)統(tǒng)一的數(shù)據(jù)視圖、支撐了企業(yè)關鍵決策、同時還提供了業(yè)務執(zhí)行的全局數(shù)據(jù)支撐、并為業(yè)務趨勢分析提供了可信的數(shù)據(jù)來源；AETNA公司是資產(chǎn)達199億美元的保險公司，公司目標是：“致力于為客戶提供全方位的服務同時有效控制其相關醫(yī)療成本”。該企業(yè)的具體做法是 “先于競爭對手應用主數(shù)據(jù)管理軟件將分散的信息資源集中起來，并可提供一致的實時信息，以及時了解患者一系列情況。基于企業(yè)信息統(tǒng)一視圖，公司各部門之間能夠信息共享，并作出相應決策。

當前，國外歐美一些信息化程度較高的企業(yè)大多基于充分利用現(xiàn)有數(shù)據(jù)積累，避免重建信息系統(tǒng)對企業(yè)造成損失的雙重考慮，將公司的主數(shù)據(jù)管理技術(shù)的重點放在對現(xiàn)有系統(tǒng)主數(shù)據(jù)的整合與管理方面，典型的有IBM、SAP等。但是，基于現(xiàn)有系統(tǒng)建主數(shù)據(jù)管理系統(tǒng)的先天不足就在于：大量的冗余數(shù)據(jù)、標準不統(tǒng)一、數(shù)據(jù)整合困難等。從成本效益分析來看，這種不完全的主數(shù)據(jù)管理較開發(fā)新系統(tǒng)而言產(chǎn)生的效益更高，更易于被多數(shù)企業(yè)所認同。

而就國內(nèi)現(xiàn)有的信息化程度來看，實施西方企業(yè)已有較為成熟主數(shù)據(jù)管理方案并非最佳選擇。但是，可以充分借鑒國外企業(yè)的經(jīng)驗教訓，提前籌劃主數(shù)據(jù)管理問題，在一系列信息系統(tǒng)的包袱尚未形成時，實施企業(yè)主數(shù)據(jù)管理。這就需要一條適合于公司的主數(shù)據(jù)管理路線，即基于對現(xiàn)有的業(yè)務流程分析，建立主數(shù)據(jù)管理體系，減少數(shù)據(jù)冗余，避免信息孤島。

三、主數(shù)據(jù)管理研究內(nèi)容

（一）業(yè)務目的

通過對現(xiàn)有信息系統(tǒng)環(huán)境進行分析，主數(shù)據(jù)管理的目的在于解決數(shù)據(jù)冗余、數(shù)據(jù)不一致、業(yè)務低效及業(yè)務變化四個主要問題。

數(shù)據(jù)冗余：公司每個業(yè)務部門、甚至每個系統(tǒng)、應用都會收集其業(yè)務范圍的核心業(yè)務實體數(shù)據(jù)。典型例子：設備參數(shù)和客戶數(shù)據(jù)在企業(yè)內(nèi)各個角落都被重復記錄著。但在收集設備與客戶信息的過程中，只會產(chǎn)生少數(shù)相同或一致的結(jié)果。這將會導致除了存儲成本之外的另一嚴重的問題——數(shù)據(jù)冗余導致數(shù)據(jù)質(zhì)量過差。

數(shù)據(jù)不一致：企業(yè)內(nèi)主數(shù)據(jù)不一致導致大量資源浪費，如時間、成本以及人力資源等。判斷企業(yè)內(nèi)客戶真實信息本身并不能增加企業(yè)利潤。但卻會因沒有統(tǒng)一的業(yè)務口徑、標準以及存儲機制用來保存比對客戶數(shù)據(jù)，使得對客戶數(shù)據(jù)一致處理的過程重復出現(xiàn)而增加企業(yè)的成本消耗。

業(yè)務低效：雜亂無章的主數(shù)據(jù)會產(chǎn)生業(yè)務低效問題，如配網(wǎng)搶修管理，由于營配貫通不到位，配搶中心值班員需要綜合幾個系統(tǒng)數(shù)據(jù)去判斷一個客戶的真正位置，這不僅是低效的，而且有可能會由于信息的不全不暢、搶修超時，使客戶不滿意而投訴。企業(yè)內(nèi)的各種工作都顯示出，散亂的主數(shù)據(jù)管理嚴重降低了企業(yè)的效率。

業(yè)務變化：企業(yè)內(nèi)經(jīng)常發(fā)生各種變化，如開展新的業(yè)務或服務，組織機構(gòu)變化，新技術(shù)出現(xiàn)。這些企業(yè)內(nèi)的各種變化都會導致企業(yè)主數(shù)據(jù)的變化，如果沒有適用的標準來管理這些變化，企業(yè)在數(shù)據(jù)冗余、數(shù)據(jù)不一致和業(yè)務低效等問題就會不斷加劇。

（二）技術(shù)路線

1. 需求調(diào)研

（1）業(yè)務現(xiàn)狀調(diào)研

針對公司業(yè)務現(xiàn)狀，了解業(yè)務過程中涉及到的業(yè)務實體，從數(shù)據(jù)全生命周期視角來關注業(yè)務實體的數(shù)據(jù)在業(yè)務過程中是如何產(chǎn)生、應用和終結(jié)。例如，企業(yè)關注的客戶實體，從數(shù)據(jù)全生命周期視角來看，客戶的信息從哪個業(yè)務環(huán)節(jié)產(chǎn)生，在哪些業(yè)務環(huán)節(jié)使用，最后在什么條件下終結(jié)。

（2）業(yè)務系統(tǒng)現(xiàn)狀調(diào)研

對企業(yè)的業(yè)務流程充分了解后，再對業(yè)務系統(tǒng)現(xiàn)狀進行梳理，分析業(yè)務實體存在于哪些系統(tǒng)中，在各業(yè)務系統(tǒng)在應用過程中使用了業(yè)務實體的哪些屬性，這些屬性是在哪個系統(tǒng)中維護和更新。

（3）公司戰(zhàn)略與規(guī)劃調(diào)研

長遠來看，有必要了解公司發(fā)展戰(zhàn)略和業(yè)務規(guī)劃，分析哪些數(shù)據(jù)目前沒有、但未來可能會有共享需求，需要作為主數(shù)據(jù)進行管理，并在建立主數(shù)據(jù)管理體系時充分考慮未來主數(shù)據(jù)可能增加屬性的需求，確保主數(shù)據(jù)模型的可擴展性。

2. 主數(shù)據(jù)的梳理和規(guī)劃

（1）主數(shù)據(jù)梳理

在需求調(diào)研基礎上，將各業(yè)務系統(tǒng)中梳理出來最核心的、有共享需要的基礎數(shù)據(jù)納入主數(shù)據(jù)管理目錄，歸集主數(shù)據(jù)應用屬性，形成主數(shù)據(jù)管理體系。

（2）主數(shù)據(jù)規(guī)劃

主數(shù)據(jù)管理體系形成后，將主數(shù)據(jù)劃分層級為企業(yè)級和業(yè)務級。企業(yè)級主數(shù)據(jù)為公司各部門都有共享需求的數(shù)據(jù)，業(yè)務級的數(shù)據(jù)則為業(yè)務部門專用數(shù)據(jù)。

3. 主數(shù)據(jù)指標體系

（1）主數(shù)據(jù)描述

定義各主數(shù)據(jù)具有哪些屬性，每個屬性值的口徑是什么，避免各個業(yè)務系統(tǒng)中數(shù)據(jù)口徑或定義不一致。

（2）主數(shù)據(jù)質(zhì)量標準

定義各主數(shù)據(jù)的所有屬性值的合理性規(guī)則、完整性規(guī)則及數(shù)據(jù)質(zhì)量審核流程。

（3）主數(shù)據(jù)歸屬

協(xié)調(diào)主數(shù)據(jù)歸屬，確定主數(shù)據(jù)歸口管理部門，以及主數(shù)據(jù)屬性的審核及維護部門。

（4）主數(shù)據(jù)使用標準

主數(shù)據(jù)建成后，對主數(shù)據(jù)的使用進行規(guī)范，特別是敏感主數(shù)據(jù)，如客戶私密信息，確定不同角色的主數(shù)據(jù)使用權(quán)限，以及各個系統(tǒng)之間的主數(shù)據(jù)使用接口。

（5）主數(shù)據(jù)的生命周期管理

定義每一個主數(shù)據(jù)的生命周期，明確各個主數(shù)據(jù)什么時候產(chǎn)生，以及什么情況下終結(jié)。

（三）主數(shù)據(jù)管理

1. 主數(shù)據(jù)的定義與標準化

主數(shù)據(jù)是在企業(yè)中可以共享的、數(shù)據(jù)標準一致的業(yè)務實體，是跨系統(tǒng)、跨平臺、跨應用的基礎數(shù)據(jù)的權(quán)威來源。

2. 主數(shù)據(jù)的清洗和整合

集中進行主數(shù)據(jù)的清洗和整合。通過數(shù)據(jù)治理、前后數(shù)據(jù)補全，得到標準的、干凈的、連續(xù)的數(shù)據(jù)，供數(shù)據(jù)挖掘使用。

3. 主數(shù)據(jù)的分發(fā)與共享

以共享服務的方式把完整、統(tǒng)一、準確的主數(shù)據(jù)分發(fā)給企業(yè)范圍內(nèi)需要使用數(shù)據(jù)的相關方。

4. 主數(shù)據(jù)的質(zhì)量監(jiān)測與反饋

對主數(shù)據(jù)質(zhì)量、規(guī)約符合性進行分析和處理，對冗余、錯誤的主數(shù)據(jù)進行集中的重組、清洗、匹配、校驗和修復，為各個業(yè)務系統(tǒng)提供高質(zhì)量的主數(shù)據(jù)信息。

四、總結(jié)與展望

本文對國內(nèi)外企業(yè)主數(shù)據(jù)管理及應用現(xiàn)狀進行深入分析，結(jié)合當前公司主數(shù)據(jù)管理實際，總結(jié)出主數(shù)據(jù)管理的業(yè)務目的，提出了主數(shù)據(jù)管理技術(shù)路線：一是需求調(diào)研，包括業(yè)務現(xiàn)狀調(diào)研、業(yè)務系統(tǒng)現(xiàn)狀調(diào)研和公司戰(zhàn)略與規(guī)劃調(diào)研；二是主數(shù)據(jù)梳理和規(guī)劃，主要有主數(shù)據(jù)梳理和主數(shù)據(jù)規(guī)劃兩部分；三是構(gòu)建主數(shù)據(jù)指標體系，包括對主數(shù)據(jù)的描述、主數(shù)據(jù)質(zhì)量標準、主數(shù)據(jù)歸屬、主數(shù)據(jù)使用標準及主數(shù)據(jù)生命周期管理。最后，討論主數(shù)據(jù)的管理，主要從主數(shù)據(jù)的清洗和豐富、主數(shù)據(jù)的分發(fā)與共享兩個方面開展研究。

本文對公司主數(shù)據(jù)管理進行了有益的探索，以此為基礎，后續(xù)可對相關技術(shù)及管理方法進一步提升：梳理更多領域的業(yè)務數(shù)據(jù)資源，實現(xiàn)主數(shù)據(jù)建模；加強主數(shù)據(jù)模型對公司數(shù)據(jù)管理的支撐作用，夯實公司數(shù)據(jù)管理工作基礎。

參考文獻：

[1]黃云華，王俊彪，蔣建軍，楊賓宏.企業(yè)編碼主數(shù)據(jù)模型研究[J].制造技術(shù)與機床，2007（03）.

[2]于卓桐，劉峰.主數(shù)據(jù)管理技術(shù)在高速鐵路信息化上的應用[J].鐵路計算機應用，2008（04）.

[3]趙輝.使用元數(shù)據(jù)框架改善數(shù)據(jù)資源質(zhì)量[J].中國科技資源導刊，2008（02）.

（作者單位：李智星、萬磊，國網(wǎng)湖北省電力公司；舒新義、馬先俊、徐敏，國網(wǎng)湖北省電力公司鄂州供電公司）