浙江煙草主數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

顏時(shí)鋒

（中國煙草總公司浙江省公司，杭州市上城區(qū)將軍路9 號， 310001)

0 引言

隨著信息化不斷發(fā)展，近十年浙江煙草進(jìn)行了全方位的信息化建設(shè)，先后建設(shè)了專賣、營銷、物流、電話訂貨、辦公自動化、財(cái)務(wù)管理等應(yīng)用系統(tǒng)， 但隨著企業(yè)信息化建設(shè)的不斷推進(jìn)和深化，對企業(yè)主數(shù)據(jù)的管理問題日益凸顯。

首先，在信息化建設(shè)初期，大部分系統(tǒng)是采用從下至上、業(yè)務(wù)豎井的構(gòu)建模式，使得各系統(tǒng)之間的主數(shù)據(jù)各自為政，造成了系統(tǒng)間的主數(shù)據(jù)標(biāo)準(zhǔn)不一、相互獨(dú)立，形成信息孤島。

其次，缺乏全省統(tǒng)一的主數(shù)據(jù)視圖，給系統(tǒng)間的數(shù)據(jù)共享和數(shù)據(jù)統(tǒng)計(jì)分析帶來極大的困難。

第三，缺少全省統(tǒng)一的主數(shù)據(jù)更新同步渠道，各系統(tǒng)間采用不同的方式進(jìn)行數(shù)據(jù)同步，而且存在一對多、多對多的數(shù)據(jù)同步情況，給數(shù)據(jù)管理帶來極大困難。

1 主數(shù)據(jù)管理系統(tǒng)總體設(shè)計(jì)

1.1 主數(shù)據(jù)管理范疇和機(jī)制

主數(shù)據(jù)管理經(jīng)過國內(nèi)外專家多年的研究，已經(jīng)建立完善的建設(shè)機(jī)制及評估的標(biāo)準(zhǔn)，參照J(rèn)ill Dyche, Evan Levy 的觀點(diǎn)大體可以把主數(shù)據(jù)管理分為五個(gè)層次，從低到高反映了主數(shù)據(jù)管理(MDM)的不同成熟度。結(jié)合浙江煙草信息化現(xiàn)狀，浙江煙草主數(shù)據(jù)管理采用主數(shù)據(jù)成熟度Level 3 集中總線處理方式。Level 3 打破了各個(gè)獨(dú)立應(yīng)用的組織邊界，使各個(gè)系統(tǒng)都能接受的數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一建立和維護(hù)主數(shù)據(jù)，極大的降低了應(yīng)用數(shù)據(jù)訪問的復(fù)雜性，大大簡化了面向數(shù)據(jù)規(guī)則的管理。

經(jīng)分析，浙江煙草主數(shù)據(jù)管理系統(tǒng)本次需要進(jìn)行統(tǒng)一管理的主數(shù)據(jù)共有7 個(gè)，包括組織機(jī)構(gòu)、人員、卷煙供應(yīng)商、卷煙規(guī)格、卷煙品牌、行政區(qū)域、零售客戶。

主數(shù)據(jù)管理機(jī)制約定如下：

①主數(shù)據(jù)的結(jié)構(gòu)和信息分類編碼在省局主數(shù)據(jù)管理系統(tǒng)中統(tǒng)一管理，由主數(shù)據(jù)管理系統(tǒng)對主數(shù)據(jù)的結(jié)構(gòu)和基礎(chǔ)編碼分類進(jìn)行定義。

②零售戶、卷煙品牌、卷煙規(guī)格、供應(yīng)商、組織機(jī)構(gòu)、人員六個(gè)主數(shù)據(jù)的內(nèi)容在維護(hù)方業(yè)務(wù)系統(tǒng)中管理；行政區(qū)劃的內(nèi)容在主數(shù)據(jù)管理系統(tǒng)中維護(hù)。

③主數(shù)據(jù)通過企業(yè)服務(wù)總線發(fā)送給各業(yè)務(wù)系統(tǒng)，各業(yè)務(wù)系統(tǒng)從企業(yè)服務(wù)總線接收基礎(chǔ)編碼分類，實(shí)現(xiàn)統(tǒng)一共享。

④主數(shù)據(jù)內(nèi)容維護(hù)方必須對主數(shù)據(jù)進(jìn)行業(yè)務(wù)校驗(yàn)和技術(shù)校驗(yàn)，嚴(yán)格按照主數(shù)據(jù)系統(tǒng)定義的主數(shù)據(jù)結(jié)構(gòu)將主數(shù)據(jù)信息通過企業(yè)服務(wù)總線推送給主數(shù)據(jù)管理系統(tǒng)。

⑤主數(shù)據(jù)系統(tǒng)在接收到業(yè)務(wù)系統(tǒng)傳送過來的主數(shù)據(jù)時(shí)，根據(jù)已定義的結(jié)構(gòu)和范圍等規(guī)則對于共享數(shù)據(jù)、有校驗(yàn)依據(jù)的關(guān)鍵內(nèi)容等進(jìn)行校驗(yàn)，并通過企業(yè)服務(wù)總線將其同步到其他使用方業(yè)務(wù)系統(tǒng)中。

⑥使用方業(yè)務(wù)系統(tǒng)通過從企業(yè)服務(wù)總線接收相應(yīng)的主數(shù)據(jù)內(nèi)容。

1.2 數(shù)據(jù)交互方式

主數(shù)據(jù)管理系統(tǒng)和業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交互是雙向的，通過ETL和對外接口實(shí)現(xiàn)，既可以從業(yè)務(wù)系統(tǒng)向主數(shù)據(jù)管理系統(tǒng)同步數(shù)據(jù)，也可以從主數(shù)據(jù)管理系統(tǒng)向各個(gè)業(yè)務(wù)系統(tǒng)對外發(fā)布數(shù)據(jù)。對外接口包括發(fā)布/訂閱、Web Service、和批處理等方式。

2 主數(shù)據(jù)管理系統(tǒng)功能設(shè)計(jì)

2.1 體系架構(gòu)

從浙江煙草實(shí)際出發(fā)，主數(shù)據(jù)管理系統(tǒng)的體系架構(gòu)如圖1 所示，包含功能組件、應(yīng)用支撐組件和對外服務(wù)三個(gè)層次。功能組件層是主數(shù)據(jù)系統(tǒng)的核心層，為用戶提供了主數(shù)據(jù)操作和維護(hù)功能，應(yīng)用支撐組件層是主數(shù)據(jù)系統(tǒng)的基礎(chǔ)層，為功能組件層提供基礎(chǔ)技術(shù)環(huán)境支撐，對外服務(wù)層負(fù)責(zé)與企業(yè)服務(wù)總線的數(shù)據(jù)交互，通過與集成平臺企業(yè)服務(wù)總線的對接，實(shí)現(xiàn)與外部各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)通信。

圖1 主數(shù)據(jù)管理系統(tǒng)體系架構(gòu)

2.2 功能設(shè)計(jì)

2.2.1 主數(shù)據(jù)模型維護(hù)

主數(shù)據(jù)模型維護(hù)是數(shù)據(jù)建模階段主要使用的功能，提供對主數(shù)據(jù)模型的新建、修改、發(fā)布、取消發(fā)布、刪除和查詢，并可以配置主數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系。

2.2.2 主數(shù)據(jù)規(guī)則維護(hù)

主數(shù)據(jù)全局規(guī)則是指主數(shù)據(jù)表在沒有配置展現(xiàn)方式的情況下，定義的主數(shù)據(jù)表和系統(tǒng)角色對應(yīng)的默認(rèn)展現(xiàn)規(guī)則，可以認(rèn)為是與角色相關(guān)的一系列權(quán)限設(shè)置。

主數(shù)據(jù)生成規(guī)則是通過預(yù)先定義好的邏輯規(guī)則自動生成某一個(gè)主數(shù)據(jù)屬性的值（可以認(rèn)為是主數(shù)據(jù)實(shí)例的某一屬性值），而這種特定的邏輯是通過預(yù)先寫好的程序代碼實(shí)現(xiàn)的。

2.2.3 主數(shù)據(jù)內(nèi)容維護(hù)

在維護(hù)主數(shù)據(jù)模型和主數(shù)據(jù)規(guī)則之后，就可以對主數(shù)據(jù)實(shí)例進(jìn)行維護(hù)。主數(shù)據(jù)維護(hù)包括主數(shù)據(jù)的新建、修改、刪除、查詢、啟用、停用、導(dǎo)入、導(dǎo)出等功能。

2.2.4 主數(shù)據(jù)展現(xiàn)

主數(shù)據(jù)展現(xiàn)包括主數(shù)據(jù)查詢和主數(shù)據(jù)下載兩個(gè)主要功能。主數(shù)據(jù)下載是向用戶提供系統(tǒng)中已發(fā)布主數(shù)據(jù)內(nèi)容的下載，根據(jù)用戶權(quán)限的不同，下載主數(shù)據(jù)的范圍也有所不同。

2.2.5 主數(shù)據(jù)日志查詢

日志監(jiān)控提供對主數(shù)據(jù)模型、主數(shù)據(jù)實(shí)例維護(hù)過程中的操作日志查看功能，監(jiān)控主數(shù)據(jù)系統(tǒng)的變化情況，便于追溯歷史信息。

2.3 接口設(shè)計(jì)

主數(shù)據(jù)管理系統(tǒng)定義主數(shù)據(jù)相關(guān)結(jié)構(gòu)與編碼規(guī)范，各維護(hù)方業(yè)務(wù)系統(tǒng)通過集成平臺MQ 方式將經(jīng)過校驗(yàn)的主數(shù)據(jù)傳送給主數(shù)據(jù)管理系統(tǒng)，主數(shù)據(jù)管理系統(tǒng)通過集成平臺MQ 方式進(jìn)行統(tǒng)一分發(fā)，將主數(shù)據(jù)分發(fā)給各使用方業(yè)務(wù)系統(tǒng)。

考慮到業(yè)務(wù)系統(tǒng)可能存在的異常情況，主數(shù)據(jù)管理系統(tǒng)支持業(yè)務(wù)系統(tǒng)通過Webservice 方式主動到主數(shù)據(jù)管理系統(tǒng)查詢主數(shù)據(jù)的同步方式。主數(shù)據(jù)管理系統(tǒng)提供的主數(shù)據(jù)交換服務(wù)列表包括主數(shù)據(jù)系統(tǒng)查詢、接收和推送接口以及業(yè)務(wù)系統(tǒng)推送、接收接口。

2.3.1 交換模式

①推送模式

主數(shù)據(jù)維護(hù)方業(yè)務(wù)系統(tǒng)變更主數(shù)據(jù)后，調(diào)用推送接口將主數(shù)據(jù)信息同步到主數(shù)據(jù)管理系統(tǒng)中，主數(shù)據(jù)管理系統(tǒng)調(diào)用接收接口接收主數(shù)據(jù)信息；主數(shù)據(jù)管理系統(tǒng)接收到變更的主數(shù)據(jù)后，調(diào)用推送接口將主數(shù)據(jù)推送到企業(yè)服務(wù)總線（MQ）中，主數(shù)據(jù)使用方業(yè)務(wù)系統(tǒng)調(diào)用接收接口接收主數(shù)據(jù)信息，更新到使用方業(yè)務(wù)系統(tǒng)中。

②查詢模式

主數(shù)據(jù)使用方可以通過調(diào)用主數(shù)據(jù)提供的查詢服務(wù)接口查詢最新的主數(shù)據(jù)信息。

2.4 部署模式

由于業(yè)務(wù)系統(tǒng)物理設(shè)備較為集中，因此對主數(shù)據(jù)管理系統(tǒng)采用了集中部署方式。主數(shù)據(jù)管理系統(tǒng)集中部署到總部的節(jié)點(diǎn)，總部的用戶之間通過內(nèi)網(wǎng)直接訪問主數(shù)據(jù)管理系統(tǒng)，下屬的分支機(jī)構(gòu)用戶則通過行業(yè)網(wǎng)訪問總部的主數(shù)據(jù)管理系統(tǒng)。這種部署方式的好處是總部可集中管理企業(yè)主數(shù)據(jù)，部署和管理模式相對簡單，消耗成本低。

3 主數(shù)據(jù)管理系統(tǒng)的實(shí)施策略

為了有序地推進(jìn)主數(shù)據(jù)管理項(xiàng)目的實(shí)施，必須制定統(tǒng)一的主數(shù)據(jù)實(shí)施策略。浙江煙草主數(shù)據(jù)管理實(shí)施策略包括數(shù)據(jù)建模、數(shù)據(jù)整合、數(shù)據(jù)發(fā)布以及數(shù)據(jù)監(jiān)控四個(gè)步驟。

3.1 數(shù)據(jù)建模

數(shù)據(jù)建模階段主要是完成以下幾項(xiàng)工作：

①創(chuàng)建結(jié)構(gòu)：根據(jù)對主數(shù)據(jù)的設(shè)計(jì)，在系統(tǒng)中建立主數(shù)據(jù)的相關(guān)結(jié)構(gòu)，包括主數(shù)據(jù)分類、主數(shù)據(jù)表以及主數(shù)據(jù)表中的屬性信息；

②建立主數(shù)據(jù)表間的關(guān)聯(lián)關(guān)系：如通過自關(guān)聯(lián)和外關(guān)聯(lián)屬性建立表和表之間的主從關(guān)系；

③維護(hù)展現(xiàn)方式：根據(jù)不同角色配置不同的展現(xiàn)方式，如功能按鈕、頁面模板及數(shù)據(jù)操作權(quán)限等；

④建立相應(yīng)的規(guī)則：如編碼規(guī)則、主數(shù)據(jù)生成規(guī)則、主數(shù)據(jù)校驗(yàn)規(guī)則等。

3.2 數(shù)據(jù)整合

在數(shù)據(jù)建模之后就可以把所有相關(guān)的主數(shù)據(jù)初始化到主數(shù)據(jù)管理系統(tǒng)中，這個(gè)操作被稱為數(shù)據(jù)整合，需要做的工作有以下幾個(gè)方面：

①數(shù)據(jù)導(dǎo)入：從其他業(yè)務(wù)系統(tǒng)導(dǎo)入數(shù)據(jù)到主數(shù)據(jù)管理系統(tǒng)，可通過多種方式進(jìn)行，如通過文件、ETL、Web Service、公共API 等，數(shù)據(jù)導(dǎo)入的鏈路可以是一次性的，也可以是保持常態(tài)的，作為數(shù)據(jù)同步的通道，數(shù)據(jù)有更新的時(shí)候可以自動接收；

②數(shù)據(jù)清洗、合并：由于主數(shù)據(jù)在業(yè)務(wù)系統(tǒng)維護(hù)和存儲的時(shí)候不符合規(guī)范，或多個(gè)業(yè)務(wù)系統(tǒng)存儲相同的主數(shù)據(jù)，造成錯誤或重復(fù)的情況，因此需要對數(shù)據(jù)進(jìn)行比對、甄別后，剔除錯誤數(shù)據(jù)，完成對數(shù)據(jù)的清洗及合并操作；

③數(shù)據(jù)校驗(yàn)：建立特定的主數(shù)據(jù)校驗(yàn)規(guī)則后，校驗(yàn)系統(tǒng)中的主數(shù)據(jù)，并顯示校驗(yàn)結(jié)果和具體的主數(shù)據(jù)錯誤信息。

3.3 數(shù)據(jù)發(fā)布

主數(shù)據(jù)管理系統(tǒng)中的所有主數(shù)據(jù)置為發(fā)布狀態(tài)后才能被查詢、使用、共享。數(shù)據(jù)發(fā)布包含以下幾方面內(nèi)容：

①工作流審批：通過系統(tǒng)集成的工作流配置工具對主數(shù)據(jù)的生命周期進(jìn)行管理，如為某類主數(shù)據(jù)的申報(bào)、審批和發(fā)布配置工作流；

②數(shù)據(jù)訂閱/分發(fā)：發(fā)布的主數(shù)據(jù)同步到其他業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)共享，是通過系統(tǒng)集成的數(shù)據(jù)交換工具進(jìn)行主數(shù)據(jù)訂閱，并根據(jù)實(shí)時(shí)性要求分發(fā)到指定的目的地；

③主數(shù)據(jù)查詢/下載/導(dǎo)出：通過系統(tǒng)查詢主數(shù)據(jù)，并下載或?qū)С鲋付ǖ母袷健?/p>

3.4 數(shù)據(jù)監(jiān)控

數(shù)據(jù)監(jiān)控的過程是貫穿整個(gè)主數(shù)據(jù)管理實(shí)施過程的，但從實(shí)施步驟來講，它是在建模、整合和發(fā)布之后才需要關(guān)注的，包括以下內(nèi)容：

①變更處理：在主數(shù)據(jù)管理系統(tǒng)中對主數(shù)據(jù)的變更進(jìn)行處理，如主數(shù)據(jù)的更新、停用等操作，必要時(shí)通過工作流進(jìn)行審批；

①監(jiān)控預(yù)警：建立預(yù)警規(guī)則，對主數(shù)據(jù)的某些修改和變更進(jìn)行監(jiān)控，違反規(guī)則后進(jìn)行系統(tǒng)預(yù)警；

③日志記錄：系統(tǒng)會記錄主數(shù)據(jù)建模和主數(shù)據(jù)維護(hù)時(shí)的操作日志，包括操作方式、操作數(shù)據(jù)內(nèi)容、操作時(shí)間、操作人員等，以備日后查詢或追溯歷史。

4 結(jié)論

主數(shù)據(jù)管理系統(tǒng)的建設(shè)一方面幫助浙江煙草全方位深層次的梳理企業(yè)信息資源現(xiàn)狀，另一方面提供了一套科學(xué)完整的方案來解決數(shù)據(jù)層面的不一致問題。同時(shí)，站在企業(yè)長遠(yuǎn)發(fā)展的角度，搭建一個(gè)高擴(kuò)展性和延續(xù)性的主數(shù)據(jù)管理平臺，建立符合企業(yè)業(yè)務(wù)發(fā)展的數(shù)據(jù)規(guī)范管理體系，從根本上解決主數(shù)據(jù)分散重復(fù)、口徑不一致、共享困難造成的信息孤島等問題，推動全省內(nèi)各類信息系統(tǒng)的整合和數(shù)據(jù)的共享，全面提升信息化支撐能力。

[1] Jill Dyche,Evan Levy.主數(shù)據(jù)管理(MDM)的成熟度評估.2009,1

[2] 林泳琴.面向企業(yè)應(yīng)用集成的主數(shù)據(jù)管理系統(tǒng).2011,5.

[3] 田瑞蘭.試談主數(shù)據(jù)管理信息系統(tǒng)的建設(shè).2011,7.