淺談企業(yè)主數(shù)據(jù)管理及基礎(chǔ)實現(xiàn)

張曉輝

摘要：該文對企業(yè)主數(shù)據(jù)概念、主數(shù)據(jù)管理的必要性進行了介紹，對主數(shù)據(jù)系統(tǒng)搭建模式進行分析，通過實踐對企業(yè)主數(shù)據(jù)系統(tǒng)搭建的基礎(chǔ)環(huán)節(jié)進行了研究和探討。

關(guān)鍵詞：企業(yè)主數(shù)據(jù)；實現(xiàn)模式；數(shù)據(jù)推送

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2015）18-0011-02

1.企業(yè)主數(shù)據(jù)的背景

隨著電子化辦公的深入和計算機技術(shù)的發(fā)展，企業(yè)信息化建設(shè)越來越為重要。對于大型企業(yè)來說，通常需要使用多個系統(tǒng)，如人力資源系統(tǒng)、業(yè)務(wù)采購系統(tǒng)、財務(wù)系統(tǒng)等，且系統(tǒng)間不乏相關(guān)性。然而，這些系統(tǒng)往往是在不同時期逐步建設(shè)完成的，在系統(tǒng)架構(gòu)及平臺上，相互之間沒有太多的關(guān)聯(lián)，數(shù)據(jù)規(guī)范自成體系且獨立存儲，不僅形成數(shù)據(jù)孤島，且往往存在大量的數(shù)據(jù)冗余。由于系統(tǒng)間業(yè)務(wù)實體存在交叉，在進行企業(yè)級數(shù)據(jù)統(tǒng)計分析時，需要綜合調(diào)用各系統(tǒng)的數(shù)據(jù)，這時企業(yè)主數(shù)據(jù)系統(tǒng)的建立尤為重要。

企業(yè)主數(shù)據(jù)是指在整個企業(yè)范圍內(nèi)所有系統(tǒng)（操作/事務(wù)型應(yīng)用系統(tǒng)以及統(tǒng)計/分析型系統(tǒng)）間要共享的數(shù)據(jù)，它是具有高業(yè)務(wù)價值的、可以在企業(yè)內(nèi)跨越各個業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個異構(gòu)的應(yīng)用系統(tǒng)中。如客戶、員工信息以及企業(yè)經(jīng)營主體相關(guān)的數(shù)據(jù)。主數(shù)據(jù)需要在整個企業(yè)范圍內(nèi)保持一致性、完整性、可控性，為了達成這一目標，就需要進行主數(shù)據(jù)管理。本文將以航運企業(yè)常見的三個基礎(chǔ)系統(tǒng)（財務(wù)管理系統(tǒng)、經(jīng)營管理系統(tǒng)、船舶管理系統(tǒng)，以下稱業(yè)務(wù)系統(tǒng)）為例，對主數(shù)據(jù)管理的概念和基礎(chǔ)解決方案進行介紹。

2.主數(shù)據(jù)的選定與清洗

主數(shù)據(jù)并不是企業(yè)所有的數(shù)據(jù)，而是穩(wěn)定高、各系統(tǒng)使用頻率高的高價值數(shù)據(jù)，其特點是基于業(yè)務(wù)、生命周期長、跨系統(tǒng)使用。比如大部分的交易數(shù)據(jù)、帳單數(shù)據(jù)等都不是主數(shù)據(jù)，而像描述核心業(yè)務(wù)實體的數(shù)據(jù)，如客戶、供應(yīng)商、帳戶等是主數(shù)據(jù)。根據(jù)這一原則我們將三大業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù)梳理如下：

1）財務(wù)管理系統(tǒng)，負責(zé)船舶相關(guān)的各種費用的收付款等。主數(shù)據(jù)為：收款人、付款人、船舶、港口。

2）經(jīng)營管理系統(tǒng)，負責(zé)船舶租賃經(jīng)營，調(diào)度指揮等。主數(shù)據(jù)為：船舶、港口、租家、船東、代理。

3）船舶管理系統(tǒng)，負責(zé)船舶硬件維護，動態(tài)監(jiān)控等。主數(shù)據(jù)為：船舶，港口，供應(yīng)商，代理。

對上述三個系統(tǒng)中主數(shù)據(jù)進一步清洗，可以分為三類：船舶、港口、客戶（收款人、付款人、租家、船東、代理、供應(yīng)商）。

主數(shù)據(jù)的主體確定后，我們還需要對主數(shù)據(jù)進行標準化。在財務(wù)系統(tǒng)中，必須嚴格按照銀行流水單進行錄入，但實際業(yè)務(wù)中經(jīng)常出現(xiàn)同一客戶不同名稱的情況，這些名稱區(qū)別可能僅為一個空格或一個字母。如經(jīng)營管理系統(tǒng)中租家為“XXXXCo.，Ltd.”，在財務(wù)系統(tǒng)中付款人為“XXXX Co.，Ltd”，二者區(qū)別為一個“.”，它們實際上為同一個客戶。為了實現(xiàn)二者的統(tǒng)一，我們在主數(shù)據(jù)中建立兩個客戶，然后通過“組”的概念，對其進行標準化歸類，將同一實體的多個客戶歸為同一組，這樣我們在查詢、統(tǒng)計時通過組代碼將多個客戶進行關(guān)聯(lián)。

3.主數(shù)據(jù)的管理和分工

主數(shù)據(jù)的管理不是單純的技術(shù)問題，在企業(yè)內(nèi)部貫徹實施統(tǒng)一的標準，需要愿景、制度、IT等全方位的配合，也就是說，主數(shù)據(jù)管理實質(zhì)上是一個企業(yè)管理問題。所以，為主數(shù)據(jù)管理而建立的獨立信息平臺，最好由業(yè)務(wù)方面的高層來負責(zé)，而不是IT部門負責(zé)人。單靠一個系統(tǒng)，一種技術(shù)無法有效的實現(xiàn)主數(shù)據(jù)的管理，企業(yè)內(nèi)各部門之間的合理分工與高效協(xié)調(diào)才是主數(shù)據(jù)管理的根本前提。鑒于主數(shù)據(jù)的重要性，在系統(tǒng)外應(yīng)遵循如下原則：

1）主數(shù)據(jù)應(yīng)保證在企業(yè)內(nèi)部具有唯一性和準確性，因此主數(shù)據(jù)的新建和變更應(yīng)由專職的崗位負責(zé)，維護人員應(yīng)對相關(guān)的主數(shù)據(jù)非常熟悉并且具有權(quán)威性，如船舶主數(shù)據(jù)由船舶管理部門維護，港口主數(shù)據(jù)由運營調(diào)度部門維護，客戶主數(shù)據(jù)由市場調(diào)研部門維護。

2）主數(shù)據(jù)維護應(yīng)有嚴格的流程。當某個業(yè)務(wù)系統(tǒng)觸發(fā)對企業(yè)主數(shù)據(jù)的改動時，首先將申請?zhí)峤恢林鲾?shù)據(jù)維護人員，由其對已有主數(shù)據(jù)庫進行檢索，確認不存在時方可進行增加，添加前要進行清洗和提煉，以保證主數(shù)據(jù)的準確性。

3）主數(shù)據(jù)維護應(yīng)保證及時性和穩(wěn)定性。在主數(shù)據(jù)維護后應(yīng)在企業(yè)內(nèi)部將整合之后完整、準確的主數(shù)據(jù)以通知或公告等形式及時分發(fā)給所有有關(guān)的應(yīng)用系統(tǒng)使用人員。各業(yè)務(wù)系統(tǒng)參照主數(shù)據(jù)規(guī)則嚴格執(zhí)行，必要時應(yīng)對自己系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)進行適當調(diào)整。

4.主數(shù)據(jù)管理的系統(tǒng)實現(xiàn)

4.1搭建模式選擇

在需求及分工確定后，主數(shù)據(jù)管理最終需要通過計算機系統(tǒng)實現(xiàn)，也就是搭建企業(yè)主數(shù)據(jù)管理系統(tǒng)。建設(shè)主數(shù)據(jù)管理系統(tǒng)時，應(yīng)根據(jù)企業(yè)內(nèi)部現(xiàn)有業(yè)務(wù)系統(tǒng)的實際情況選擇適合的搭建模式。目前常見的模式有四種：注冊模式、合并模式、共存模式、集中模式。在系統(tǒng)實施過程中這四種模式并不是獨立存在的，往往是多種模式的一個組合，通過SOA服務(wù)方式，將主數(shù)據(jù)管理信息服務(wù)化，供不同業(yè)務(wù)系統(tǒng)使用。這里重點介紹一下最常用的共存模式和集中模式。

共存模式是指業(yè)務(wù)系統(tǒng)中都存儲各自所需的主數(shù)據(jù)，各業(yè)務(wù)系統(tǒng)使用時，直接使用本地的主數(shù)據(jù)。主數(shù)據(jù)發(fā)生變更后，主數(shù)據(jù)系統(tǒng)需要及時更新業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。共存模式主要特點為：1）對現(xiàn)有系統(tǒng)影響較小，直接使用原業(yè)務(wù)系統(tǒng)的數(shù)據(jù)維護功能，界面開發(fā)成本低；2）主數(shù)據(jù)存儲在業(yè)務(wù)系統(tǒng)本地，調(diào)用速度快，系統(tǒng)性能高。需要注意的是必須做好主數(shù)據(jù)來源系統(tǒng)之間的界面分工，防止多個系統(tǒng)對同一類型的數(shù)據(jù)進行修改，引發(fā)數(shù)據(jù)不一致問題。

一般來講，在業(yè)務(wù)系統(tǒng)比較成熟且系統(tǒng)數(shù)量不多的情況下，建設(shè)主數(shù)據(jù)系統(tǒng)時比較適合共享模式。

集中模式是指主數(shù)據(jù)統(tǒng)一在主數(shù)據(jù)管理系統(tǒng)中維護，各業(yè)務(wù)系統(tǒng)不保留本地備份，當使用主數(shù)據(jù)時，直接到主數(shù)據(jù)系統(tǒng)查詢并獲取所需信息。從管理上來講，如果所有主數(shù)據(jù)都是在一個系統(tǒng)中產(chǎn)生和管理、且數(shù)據(jù)變更后能實時同步到其它系統(tǒng)的，都可認為是集中模式。集中模式的主要特為：1）主數(shù)據(jù)的產(chǎn)生和更新在同一系統(tǒng)中，減少了維護成本；2）當主數(shù)據(jù)更新時，能實時更新各系統(tǒng)中的相應(yīng)數(shù)據(jù)。其主要劣勢是對于現(xiàn)有業(yè)務(wù)系統(tǒng)改造工作量較大，實施成本高，而且業(yè)務(wù)系統(tǒng)間實時訪問主數(shù)據(jù)庫，系統(tǒng)性能可能受到影響。

一般來講，在企業(yè)信息化建設(shè)初期，適合搭建集中模式主數(shù)據(jù)管理系統(tǒng)，業(yè)務(wù)系統(tǒng)圍繞主數(shù)據(jù)系統(tǒng)以星型結(jié)構(gòu)進行擴展，可從源頭上保證企業(yè)主數(shù)據(jù)的一致性和準確性。

4.2實現(xiàn)實例

鑒于某航運公司的三個業(yè)務(wù)系統(tǒng)都比較成熟，且操作用戶沒有交叉，我們選擇共享模式實現(xiàn)主數(shù)據(jù)管理。主數(shù)據(jù)存儲在單獨的數(shù)據(jù)庫，在主數(shù)據(jù)庫與三個業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫之間分別開發(fā)獨立的接口，用于實現(xiàn)數(shù)據(jù)同步。

在數(shù)據(jù)同步方式上，根據(jù)業(yè)務(wù)系統(tǒng)對及時陛的要求，分別采取主動推送、自動抓取、推送和抓取相結(jié)合三種方式。以客戶主數(shù)據(jù)為例，生產(chǎn)管理系統(tǒng)負責(zé)主數(shù)據(jù)維護，財務(wù)系統(tǒng)使用且及時性要求高，船舶管理系統(tǒng)使用但及時性要求低。因此，市場部用戶在生產(chǎn)管理系統(tǒng)中維護客戶主數(shù)據(jù)后，通過接口立即將數(shù)據(jù)主動推送到主數(shù)據(jù)庫。主數(shù)據(jù)庫收到數(shù)據(jù)變更后，首先在本地進行存儲，然后通過觸發(fā)器將客戶數(shù)據(jù)推送到財務(wù)系統(tǒng)，以便其可立即使用。在主數(shù)據(jù)系統(tǒng)中建立定時任務(wù)，在船舶管理系統(tǒng)使用負荷低的時間段（每天中午12：00和晚上23：00）執(zhí)行數(shù)據(jù)推送任務(wù)，同時船舶管理系統(tǒng)中設(shè)置抓取接口，用戶觸發(fā)時可立即從主數(shù)據(jù)系統(tǒng)中抽取一次最新數(shù)據(jù)。

數(shù)據(jù)庫備份和容災(zāi)是主數(shù)據(jù)管理系統(tǒng)建設(shè)非常重要的部分，為此我們采用了實時備份和定期備份相結(jié)合的方式，通過CDC技術(shù)進行實時備份，同時在每晚22：00執(zhí)行定時任務(wù)進行一次完整備份，并將備份文件進行保存。

5.結(jié)束語

主數(shù)據(jù)管理使企業(yè)能夠集中化管理數(shù)據(jù)，實現(xiàn)各業(yè)務(wù)系統(tǒng)間基礎(chǔ)數(shù)據(jù)的統(tǒng)一，改進數(shù)據(jù)規(guī)范性，減少了跨系統(tǒng)的數(shù)據(jù)變換、轉(zhuǎn)移所需的成本和時間，降低了數(shù)據(jù)冗余度，使各系統(tǒng)有機地聯(lián)接在一起，提高了企業(yè)信息化水平。

通過主數(shù)據(jù)的歸類和固化，企業(yè)在統(tǒng)計客戶成交、客戶貢獻值、年度盈虧等各種經(jīng)營數(shù)據(jù)時，能夠大大提高統(tǒng)計效率和數(shù)據(jù)的準確性，為企業(yè)決策提供強有力的數(shù)據(jù)支持。從長遠看，主數(shù)據(jù)管理系統(tǒng)對未來新業(yè)務(wù)系統(tǒng)的建設(shè)打造了高標準的數(shù)據(jù)平臺，為數(shù)據(jù)倉庫和BI系統(tǒng)建設(shè)奠定了基礎(chǔ)。