福建煙草數(shù)據(jù)中心主數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

黃錦輝

摘 要：福建煙草現(xiàn)有系統(tǒng)大都是采用從下至上、業(yè)務(wù)豎井的構(gòu)建模式，重點(diǎn)偏向指定的業(yè)務(wù)域，數(shù)據(jù)被分散到各個(gè)業(yè)務(wù)系統(tǒng)分別獨(dú)自管理和使用。這就使得各系統(tǒng)之間形成信息孤島，造成了系統(tǒng)間主數(shù)據(jù)的不統(tǒng)一。針對(duì)此問(wèn)題，結(jié)合工作實(shí)際，本文就福建煙草數(shù)據(jù)中心項(xiàng)目中的主數(shù)據(jù)管理系統(tǒng)方面進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，旨在通過(guò)主數(shù)據(jù)管理項(xiàng)目的建設(shè)，幫助福建煙草全方位深層次的梳理企業(yè)信息資源的現(xiàn)狀，提供一套科學(xué)完整的方案來(lái)解決數(shù)據(jù)層面的不一致問(wèn)題，同時(shí)站在企業(yè)長(zhǎng)遠(yuǎn)發(fā)展的角度，搭建一個(gè)高擴(kuò)展性和延續(xù)性的主數(shù)據(jù)管理平臺(tái)，建立符合企業(yè)業(yè)務(wù)發(fā)展的數(shù)據(jù)規(guī)范管理體系。

關(guān)鍵詞：數(shù)據(jù)中心；主數(shù)據(jù)；J2EE

一、緒論

（一）研究?jī)?nèi)容

1.全面深入梳理福建煙草公司各業(yè)務(wù)系統(tǒng)主數(shù)據(jù)資源，設(shè)計(jì)符合行業(yè)特性和企業(yè)現(xiàn)狀的權(quán)威主數(shù)據(jù)模型，數(shù)據(jù)模型設(shè)計(jì)充分考慮完整性和預(yù)見(jiàn)性。

2.根據(jù)主數(shù)據(jù)資源的梳理結(jié)果制定相關(guān)的標(biāo)準(zhǔn)編碼規(guī)范，明確不同主數(shù)據(jù)的編碼規(guī)則，建立企業(yè)統(tǒng)一的標(biāo)準(zhǔn)編碼體系。

3.構(gòu)建集中的主數(shù)據(jù)管理平臺(tái)，實(shí)現(xiàn)主數(shù)據(jù)統(tǒng)一管理。通過(guò)平臺(tái)來(lái)支撐主數(shù)據(jù)日常維護(hù)、主數(shù)據(jù)版本管理、主數(shù)據(jù)完整視圖展現(xiàn)、主數(shù)據(jù)質(zhì)量把控和主數(shù)據(jù)分發(fā)同步等操作功能。

4.制定標(biāo)準(zhǔn)化規(guī)范化的主數(shù)據(jù)管理制度，明確主數(shù)據(jù)維護(hù)的相關(guān)責(zé)任對(duì)象及審批流程。指導(dǎo)和約束整個(gè)主數(shù)據(jù)管理交換體系中參與者執(zhí)行數(shù)據(jù)維護(hù)和實(shí)現(xiàn)數(shù)據(jù)共享的動(dòng)作和行為。

二、系統(tǒng)總體設(shè)計(jì)

描述項(xiàng)目設(shè)計(jì)的系統(tǒng)架構(gòu)、技術(shù)路線、技術(shù)難點(diǎn)，網(wǎng)絡(luò)拓?fù)鋱D、數(shù)據(jù)處理流程。針對(duì)主數(shù)據(jù)管理系統(tǒng)的管理需求、業(yè)務(wù)需求、接口需求、功能需求以及技術(shù)需求，在總體體系架構(gòu)中，我們采用J2EE技術(shù)架構(gòu)，使用廣泛接受的標(biāo)準(zhǔn)（如XML和SOAP）和松耦合的設(shè)計(jì)模式。同時(shí)，基于J2EE的技術(shù)架構(gòu)和開(kāi)放標(biāo)準(zhǔn)將有利于構(gòu)建一個(gè)易于擴(kuò)展和可伸縮的系統(tǒng)。如圖1所示：

（一）業(yè)務(wù)架構(gòu)設(shè)計(jì)

管理平臺(tái)針對(duì)主數(shù)據(jù)以“統(tǒng)一維護(hù)、集中存儲(chǔ)、統(tǒng)一分發(fā)、實(shí)時(shí)監(jiān)控”的管理思想指導(dǎo)主數(shù)據(jù)管理的實(shí)施。根據(jù)福建煙草當(dāng)前的業(yè)務(wù)現(xiàn)狀和具體需求采用合適的適配器完成企業(yè)內(nèi)訂閱系統(tǒng)的主數(shù)據(jù)分發(fā)，通過(guò)WEB服務(wù)接口向上級(jí)機(jī)關(guān)或者其他行業(yè)用戶提供主數(shù)據(jù)查詢服務(wù)。

（二）技術(shù)架構(gòu)設(shè)計(jì)

主數(shù)據(jù)管理平臺(tái)的技術(shù)架構(gòu)使用基于 J2EE 平臺(tái)的SOA風(fēng)格的架構(gòu)。系統(tǒng)使用標(biāo)準(zhǔn)的 J2EE 服務(wù)器，使用標(biāo)準(zhǔn)的技術(shù)，并實(shí)現(xiàn)與企業(yè)內(nèi)部門戶系統(tǒng)的集成和通過(guò)接口適配器與外界進(jìn)行服務(wù)的發(fā)布和信息的交互。

系統(tǒng)使用基于J2EE平臺(tái)上的多層結(jié)構(gòu)。系統(tǒng)從技術(shù)實(shí)現(xiàn)角度分成三個(gè)層次。

展現(xiàn)層：前端展現(xiàn)使用struts2展現(xiàn)框架加 jquery 的前端JS工具，實(shí)現(xiàn)標(biāo)準(zhǔn)的ajax 的富交互應(yīng)用，以實(shí)現(xiàn)良好的用戶體驗(yàn)，同時(shí)不使用 ActiveX，Java Applet 等技術(shù)以避免客戶機(jī)安裝配置的麻煩。

業(yè)務(wù)服務(wù)層：業(yè)務(wù)服務(wù)使用Java bean 實(shí)現(xiàn)相應(yīng)的業(yè)務(wù)邏輯，并把Java bean 由 Spring 框架托管實(shí)現(xiàn)依賴性的自動(dòng)注入。業(yè)務(wù) bean組織業(yè)務(wù)邏輯，并可以方便的把相應(yīng)的業(yè)務(wù)操作暴露成系統(tǒng)服務(wù)供其它系統(tǒng)調(diào)用。

OR映射層：使用hibernate加spring jdbc映射工具實(shí)現(xiàn)對(duì)象到關(guān)系數(shù)據(jù)庫(kù)的映射[10]。

三、系統(tǒng)詳細(xì)設(shè)計(jì)

主數(shù)據(jù)管理系統(tǒng)主要包含主數(shù)據(jù)交換、主數(shù)據(jù)查詢、主數(shù)據(jù)管理、標(biāo)準(zhǔn)管理、統(tǒng)計(jì)分析五大主要功能，本章將針對(duì)整個(gè)系統(tǒng)的各個(gè)功能模塊給出詳細(xì)設(shè)計(jì)。

（一）主數(shù)據(jù)標(biāo)準(zhǔn)管理

主數(shù)據(jù)標(biāo)準(zhǔn)管理模塊包含內(nèi)容如下所示：

1.資源目錄管理：

實(shí)現(xiàn)對(duì)資源目錄的新增、刪除、修改功能，目錄支持三級(jí)以上的分類層次。

2.標(biāo)準(zhǔn)文檔管理：

信息分類編碼標(biāo)準(zhǔn)、數(shù)據(jù)元標(biāo)準(zhǔn)、主數(shù)據(jù)管理制度、數(shù)據(jù)集成規(guī)范。這部分實(shí)現(xiàn)對(duì)標(biāo)準(zhǔn)文檔的目錄維護(hù)、查詢以及導(dǎo)出。

3.編碼規(guī)則管理：

包括組織機(jī)構(gòu)、人員信息、產(chǎn)品信息、零售戶信息、供應(yīng)商信息五大主題的邏輯規(guī)則和物理規(guī)則的新增、修改、刪除等。

4.基礎(chǔ)代碼管理：

包括公共類、卷煙經(jīng)營(yíng)類、煙葉經(jīng)營(yíng)類、專賣類、財(cái)務(wù)類、勞動(dòng)人事類、統(tǒng)計(jì)類、固定資產(chǎn)類、物流類、科技類等各種基礎(chǔ)代碼的查詢、新增、修改，代碼屬性包括：名稱、編碼、國(guó)際碼、啟用狀態(tài)、備注等。

（二）主數(shù)據(jù)對(duì)象管理

主數(shù)據(jù)對(duì)象管理模塊包含內(nèi)容如下：

1.主數(shù)據(jù)模型管理：

主數(shù)據(jù)模型目錄包括：組織機(jī)構(gòu)、人員、產(chǎn)品、零售戶、供應(yīng)商五大類。每個(gè)模型包括模型名稱、模型編碼、模型狀態(tài)、審批角色、模型描述、附屬主表、編碼、名稱、類型、長(zhǎng)度、精度等屬性。

2.主數(shù)據(jù)維護(hù)：

主要內(nèi)容包括主數(shù)據(jù)的序號(hào)、申請(qǐng)類型、申請(qǐng)時(shí)間、申請(qǐng)標(biāo)題、審批人、審批時(shí)間、審批狀態(tài)、審批意見(jiàn)等。

3.主數(shù)據(jù)審批：

主要包括組織機(jī)構(gòu)、人員、產(chǎn)品、零售戶、供應(yīng)商五大主數(shù)據(jù)的審批管理。包含批量審批和逐個(gè)審批兩個(gè)模塊。

4.主數(shù)據(jù)查詢：

可以查詢?nèi)我鈱徟蟮闹鲾?shù)據(jù)，查詢操作約束在用戶的權(quán)限范圍內(nèi)，查詢結(jié)果通過(guò)二維表表形式展現(xiàn)，支持分頁(yè)瀏覽。查看具體某條數(shù)據(jù)時(shí)不光顯示當(dāng)前版本的數(shù)據(jù)。

（三）主數(shù)據(jù)交換管理

主數(shù)據(jù)交換主要用于管理本系統(tǒng)整編數(shù)據(jù)庫(kù)資源，包括適配器管理、交換標(biāo)準(zhǔn)查詢、主數(shù)據(jù)訂閱、數(shù)據(jù)訂閱審批、主數(shù)據(jù)分發(fā)同步等。具體功能如下所示

1.適配器管理

主數(shù)據(jù)新增、變更的消息最終將通過(guò)適配器發(fā)送給目標(biāo)系統(tǒng)，傳遞消息時(shí)需建立對(duì)方系統(tǒng)的適配器連接，適配器管理主要是對(duì)傳遞消息的目標(biāo)系統(tǒng)和源系統(tǒng)適配器連接屬性進(jìn)行維護(hù)，以及對(duì)適配器狀態(tài)的監(jiān)控，實(shí)時(shí)了解當(dāng)前適配器的運(yùn)行狀態(tài)。

2.交換標(biāo)準(zhǔn)查詢

系統(tǒng)對(duì)組織機(jī)構(gòu)、人員、產(chǎn)品、零售戶、供應(yīng)商等五大主數(shù)據(jù)采用了消息通知的機(jī)制來(lái)響應(yīng)數(shù)據(jù)變更后各系統(tǒng)的數(shù)據(jù)同步處理，消息載體為業(yè)界最成熟最標(biāo)準(zhǔn)的XML語(yǔ)言。管理平臺(tái)對(duì)數(shù)據(jù)交換格式進(jìn)行統(tǒng)一定制，促使數(shù)據(jù)在整個(gè)交換同步過(guò)程中的消息包裝和消息解析的方式和方法達(dá)成一致協(xié)議。包括基礎(chǔ)標(biāo)準(zhǔn)和中軟海晟（MQ）兩部分

3.數(shù)據(jù)同步訂閱

管理平臺(tái)負(fù)責(zé)保留所有業(yè)務(wù)系統(tǒng)的訂閱信息，數(shù)據(jù)新增、變更消息在下發(fā)之前需要讀取該訂閱信息，針對(duì)指定的數(shù)據(jù)對(duì)象只有業(yè)務(wù)系統(tǒng)對(duì)其進(jìn)行了訂閱才會(huì)對(duì)其發(fā)送數(shù)據(jù)變更消息。管理人員統(tǒng)一對(duì)下游所需訂閱的字段進(jìn)行統(tǒng)一配置。

4.數(shù)據(jù)訂閱審批

為了更好的管理數(shù)據(jù)權(quán)限，確保正確的數(shù)據(jù)按照正確的格式下發(fā)到正確的系統(tǒng)，對(duì)下游系統(tǒng)申請(qǐng)的需要訂閱的數(shù)據(jù)信息進(jìn)行審核，確認(rèn)是否授權(quán)相關(guān)字段，以保證數(shù)據(jù)下發(fā)的針對(duì)性和可

控性。

5.主數(shù)據(jù)分發(fā)同步

管理平臺(tái)支持訂閱群發(fā)和指定下發(fā)兩種發(fā)送方式。

（四）主數(shù)據(jù)監(jiān)控管理

主數(shù)據(jù)監(jiān)控管理模塊包含內(nèi)容如下所示：

1.接收記錄查詢

包括消息名稱、接收時(shí)間、處理結(jié)果、消息編碼、消息記錄數(shù)，處理時(shí)間、處理結(jié)果等。

2.主數(shù)據(jù)流監(jiān)控

包括數(shù)據(jù)管理流程查詢、同步流程下發(fā)等。

3.WS數(shù)據(jù)服務(wù)監(jiān)控

包括查詢記錄和下發(fā)數(shù)據(jù)兩個(gè)模塊。

（五）主數(shù)據(jù)統(tǒng)計(jì)分析

1.模型統(tǒng)計(jì)

模型統(tǒng)計(jì)是針對(duì)所有的目錄對(duì)應(yīng)的模型統(tǒng)計(jì)出來(lái)的數(shù)量用圖形方式顯示出來(lái)，讓用戶一目了然各個(gè)目錄對(duì)應(yīng)的模型數(shù)據(jù)的比重。

2.訂閱統(tǒng)計(jì)

訂閱統(tǒng)計(jì)分析是對(duì)源系統(tǒng)訂閱信息的集中展現(xiàn)，分析目前有哪些業(yè)務(wù)系統(tǒng)跟主數(shù)據(jù)對(duì)接，每個(gè)業(yè)務(wù)系統(tǒng)分別有多少支數(shù)據(jù)交換接口，方便用戶對(duì)系統(tǒng)的訂閱信息有個(gè)整體直觀的了解。

3.下發(fā)記錄統(tǒng)計(jì)

通過(guò)柱狀圖、圓餅圖、報(bào)表等展示下發(fā)記錄統(tǒng)計(jì)。

（六）系統(tǒng)安全性設(shè)計(jì)

對(duì)于WEB應(yīng)用的安全設(shè)計(jì)必須考慮輸入驗(yàn)證、身份驗(yàn)證、授權(quán)、配置管理、敏感數(shù)據(jù)保護(hù)、會(huì)話管理、密碼系統(tǒng)、參數(shù)處理、異常管理和審核與日志記錄等。

由于本系統(tǒng)是建立在WEB應(yīng)用基礎(chǔ)上，對(duì)于其安全性的考慮是多方面的，安全管理涉及的技術(shù)是多方面的，但是最關(guān)鍵是要解決用戶的認(rèn)證和授權(quán)。因此需要部署一個(gè)方便管理用戶的認(rèn)證和授權(quán)的安全管理框架。在本系統(tǒng)中我們采用了Acegi作為我們的WEB應(yīng)用安全管理框架。這是因?yàn)锳cegi是Spring框架下最成熟的安全系統(tǒng)，能夠和目前流行的Web容器無(wú)縫集成。它使用了Spring的方式提供了安全和認(rèn)證安全服務(wù)，包括使用Bean Context，攔截器和面向接口的編程方式。因此，Acegi安全系統(tǒng)能夠輕松地適用于復(fù)雜的安全需求[12]。它有以下特點(diǎn)：

四、系統(tǒng)實(shí)現(xiàn)

（一）系統(tǒng)部署

系統(tǒng)的邏輯部署架構(gòu)如下圖2所示：

如上圖所示，系統(tǒng)的邏輯部署架構(gòu)體現(xiàn)了主數(shù)據(jù)系統(tǒng)和業(yè)務(wù)系統(tǒng)的在部署層面的關(guān)系，系統(tǒng)通過(guò)專線網(wǎng)絡(luò)與傳統(tǒng)的其他廠商建設(shè)的系統(tǒng)進(jìn)行對(duì)接，并完成數(shù)據(jù)的交換處理，而主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)中心中的系統(tǒng)部署在同一網(wǎng)絡(luò)環(huán)境中。

（二）主要功能

主數(shù)據(jù)管理平臺(tái)的實(shí)現(xiàn)滿足了數(shù)據(jù)完整性、數(shù)據(jù)準(zhǔn)確性、數(shù)據(jù)一致性、數(shù)據(jù)邏輯合理性等方面的要求，實(shí)現(xiàn)與國(guó)家局代碼系統(tǒng)的對(duì)接，并提供可供業(yè)務(wù)人員理解和使用的用戶訪問(wèn)界面，建立企業(yè)內(nèi)唯一的主數(shù)據(jù)管理中心。下面將系統(tǒng)主要功能界面做一展示。

五、總結(jié)與展望

（一）總結(jié)

本文研究了數(shù)據(jù)中心中的主數(shù)據(jù)管理的方法，按照總體規(guī)劃，分步實(shí)施的原則，探討了建設(shè)功能完善、高效實(shí)用、高度集成，體現(xiàn)自身特色的主數(shù)據(jù)中心系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)的方法。本系統(tǒng)的建設(shè)主要實(shí)現(xiàn)了以下目標(biāo)：1、實(shí)現(xiàn)全省五大主數(shù)據(jù)及相關(guān)基礎(chǔ)代碼編碼的統(tǒng)一管理；2、實(shí)現(xiàn)了省局與地市間主數(shù)據(jù)的訂閱同步交互；3、實(shí)現(xiàn)了全省主數(shù)據(jù)的統(tǒng)一視圖；4、解決了跨部門、跨系統(tǒng)、跨業(yè)務(wù)線間主數(shù)據(jù)的同步管理；5、改變了以往各系統(tǒng)間基礎(chǔ)代碼各自維護(hù)的管理現(xiàn)狀；6、建立了基于統(tǒng)一的ESB服務(wù)總線，建成主數(shù)據(jù)的交互渠道；7、建立了全省統(tǒng)一的編碼標(biāo)準(zhǔn)規(guī)范。

總之通過(guò)信息資源集成整合、共享、充分利用、發(fā)揮和挖掘信息資源價(jià)值、提供統(tǒng)一集成的主數(shù)據(jù)支撐，主數(shù)據(jù)管理系統(tǒng)必將為提高福建煙草商業(yè)的經(jīng)營(yíng)管理水平、宏觀決策水平，提升公司經(jīng)濟(jì)效益和整體核心競(jìng)爭(zhēng)力提供有利的支撐。

（二）展望

福建煙草的主數(shù)據(jù)管理，是福建煙草數(shù)據(jù)中心項(xiàng)目信息資源標(biāo)準(zhǔn)體系的核心組成部分。在信息資源規(guī)劃方法論的指導(dǎo)下，全面深入分析梳理福建煙草相關(guān)業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)資源，結(jié)合行業(yè)相關(guān)規(guī)范標(biāo)準(zhǔn)的要求和企業(yè)現(xiàn)狀，完成五大主數(shù)據(jù)（客戶、產(chǎn)品、供應(yīng)商、組織機(jī)構(gòu)）的主數(shù)據(jù)模型設(shè)計(jì)，以及相關(guān)編碼標(biāo)準(zhǔn)的制定，并在主數(shù)據(jù)管理平臺(tái)上完成模型和標(biāo)準(zhǔn)的落地，實(shí)現(xiàn)主數(shù)據(jù)的統(tǒng)一管理，為后續(xù)的應(yīng)用集成建設(shè)和數(shù)據(jù)分析做好標(biāo)準(zhǔn)和規(guī)范的基礎(chǔ)工作。福建煙草的主數(shù)據(jù)管理系統(tǒng)，必將為福建煙草維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性，逐步建成功能完善、高效實(shí)用、高度集成，體現(xiàn)自身特色的數(shù)據(jù)中心系統(tǒng)，實(shí)現(xiàn)系統(tǒng)集成、資源整合與信息有效共享，打造一體化數(shù)字煙草打造堅(jiān)實(shí)的基礎(chǔ)。