基于企業(yè)數(shù)據(jù)服務(wù)總線的主數(shù)據(jù)管理系統(tǒng)的集成方案

高亞萍

（白銀有色集團(tuán)股份有限公司信息與自動(dòng)化管理中心，甘肅 白銀 730900）

0 引言

通過(guò)主數(shù)據(jù)管理系統(tǒng)，實(shí)現(xiàn)主數(shù)據(jù)為集團(tuán)公司現(xiàn)有系統(tǒng)提供基礎(chǔ)數(shù)據(jù)資源。實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)在集團(tuán)公司財(cái)務(wù)、物資集中管理、銷(xiāo)售、生產(chǎn)等各業(yè)務(wù)領(lǐng)域的全方面應(yīng)用。實(shí)現(xiàn)與集團(tuán)公司在建的所需的各類主數(shù)據(jù)的接收/分發(fā)系統(tǒng)集成規(guī)范和接口功能開(kāi)發(fā)。

1 概述說(shuō)明

主數(shù)據(jù)管理是一個(gè)全面的信息基礎(chǔ)，用于決定和建立單一、準(zhǔn)確、及時(shí)、權(quán)威的事實(shí)來(lái)源，主數(shù)據(jù)管理最重要的就是數(shù)據(jù)的唯一性、完整性和相互的關(guān)系，建立統(tǒng)一、集中的主數(shù)據(jù)系統(tǒng)是信息共享和集成的基礎(chǔ)，良好的系統(tǒng)集成方式和效率是主數(shù)據(jù)系統(tǒng)應(yīng)用的重要目標(biāo)[1]。

主數(shù)據(jù)系統(tǒng)支持主動(dòng)推送和數(shù)據(jù)共享兩類發(fā)布方式，能夠在主數(shù)據(jù)發(fā)生變化時(shí)將其推送至目標(biāo)系統(tǒng)，也可建立主數(shù)據(jù)共享庫(kù)，將發(fā)生變化的主數(shù)據(jù)以主題視圖或其它方式存儲(chǔ)于共享數(shù)據(jù)庫(kù)中并實(shí)時(shí)更新，以便于業(yè)務(wù)系統(tǒng)采用，同時(shí)支持對(duì)有主數(shù)據(jù)需求的業(yè)務(wù)系統(tǒng)進(jìn)行定義，通過(guò)標(biāo)準(zhǔn)接口或數(shù)據(jù)交換平臺(tái)進(jìn)行標(biāo)準(zhǔn)化的主數(shù)據(jù)分發(fā)。主數(shù)據(jù)系統(tǒng)與外部業(yè)務(wù)系統(tǒng)之間應(yīng)具有較好的集成性，以保證主數(shù)據(jù)管理的及時(shí)性，能夠反映當(dāng)前業(yè)務(wù)的基礎(chǔ)數(shù)據(jù)狀況和滿足當(dāng)前業(yè)務(wù)運(yùn)營(yíng)對(duì)主數(shù)據(jù)管理的實(shí)際需求。系統(tǒng)建設(shè)必須遵照集團(tuán)統(tǒng)一的數(shù)據(jù)規(guī)范和管理規(guī)范，不僅要考慮系統(tǒng)的完整實(shí)現(xiàn)，還要考慮企業(yè)現(xiàn)有系統(tǒng)與之相關(guān)業(yè)務(wù)的無(wú)縫集成能力。集成系統(tǒng)的接口不但要保證暢通的數(shù)據(jù)交換，還要滿足擴(kuò)展要求，符合接口標(biāo)準(zhǔn)規(guī)范。系統(tǒng)要預(yù)留軟、硬件接口，能夠?qū)崿F(xiàn)與集團(tuán)現(xiàn)有信息系統(tǒng)的集成，實(shí)現(xiàn)數(shù)據(jù)共享。系統(tǒng)的內(nèi)容與標(biāo)準(zhǔn)會(huì)隨著企業(yè)的發(fā)展而產(chǎn)生變化，因此，系統(tǒng)建設(shè)隨著業(yè)務(wù)的變化可以柔性地適應(yīng)，要便于維護(hù)、升級(jí)，并留有數(shù)據(jù)接口，利于以后系統(tǒng)變更[2]。

2 總體架構(gòu)

主數(shù)據(jù)系統(tǒng)是各業(yè)務(wù)系統(tǒng)主數(shù)據(jù)的源頭，及時(shí)有效的主數(shù)據(jù)自動(dòng)分發(fā)方案才能確保主數(shù)據(jù)系統(tǒng)的成功實(shí)施。為保證數(shù)據(jù)分發(fā)，需在主數(shù)據(jù)系統(tǒng)與目標(biāo)系統(tǒng)之間建立接口連接。系統(tǒng)主要采用WEB SERVICE方式對(duì)其它系統(tǒng)提供數(shù)據(jù)接口，具體訪問(wèn)地址和服務(wù)名稱根據(jù)實(shí)際情況而定。

圖1 系統(tǒng)集成架構(gòu)圖

系統(tǒng)架構(gòu)具有靈活性和擴(kuò)展性，能夠以低成本、高效率的方式支持未來(lái)系統(tǒng)升級(jí)和業(yè)務(wù)流程變化。系統(tǒng)支持多語(yǔ)言環(huán)境，系統(tǒng)使用unicode編碼進(jìn)行系統(tǒng)間數(shù)據(jù)傳輸，對(duì)于需要一次傳輸大量數(shù)據(jù)量，采用分段異步數(shù)據(jù)傳輸或?qū)⑼较⑦M(jìn)行拆分并分段傳輸?shù)姆绞?，保證系統(tǒng)數(shù)據(jù)傳輸?shù)臏?zhǔn)確性，避免影響系統(tǒng)性能。系統(tǒng)接口支持標(biāo)準(zhǔn)WebService、MQ、Mail、文件、數(shù)據(jù)庫(kù)等常用方式以及PI等數(shù)據(jù)交換中間件的集成，系統(tǒng)具備定時(shí)任務(wù)的功能[3]。

集成方案有二種，其中一種是通過(guò)數(shù)據(jù)服務(wù)總線系統(tǒng)（PO）方式分發(fā)或訂閱主數(shù)據(jù)，另外一種是通過(guò)主數(shù)據(jù)系統(tǒng)和目標(biāo)系統(tǒng)后臺(tái)表對(duì)表方式傳遞數(shù)據(jù)。結(jié)合集團(tuán)的業(yè)務(wù)特點(diǎn)，我們推薦使用企業(yè)數(shù)據(jù)服務(wù)總線（PO）的方式進(jìn)行系統(tǒng)集成。

3 集成方案

主數(shù)據(jù)系統(tǒng)支持系統(tǒng)集成以Web Service、RESTFul服務(wù)為傳輸協(xié)議，采用松藕合的方式進(jìn)行集成。集成方案有二種，其中一種是通過(guò)主數(shù)據(jù)搭建接口服務(wù)的方式分發(fā)或訂閱主數(shù)據(jù)，另外一種是通過(guò)主數(shù)據(jù)系統(tǒng)為目標(biāo)系統(tǒng)建立接口表的方式，目標(biāo)系統(tǒng)自主到表中獲取數(shù)據(jù)的方式。

3.1 數(shù)據(jù)來(lái)源為業(yè)務(wù)系統(tǒng)

數(shù)據(jù)來(lái)源為業(yè)務(wù)系統(tǒng)的，例如：供應(yīng)商準(zhǔn)入系統(tǒng)等，表現(xiàn)為業(yè)務(wù)系統(tǒng)已經(jīng)長(zhǎng)時(shí)間運(yùn)行，里面有大量歷史數(shù)據(jù)，且數(shù)據(jù)與新制定標(biāo)準(zhǔn)不存在原則性沖突，同時(shí)業(yè)務(wù)部門(mén)將該業(yè)務(wù)系統(tǒng)作為主數(shù)據(jù)管理的主要平臺(tái)。主數(shù)據(jù)系統(tǒng)上線后，針對(duì)此類主數(shù)據(jù)，其集成方式既要作為接收主數(shù)據(jù)的一方進(jìn)行管理，同時(shí)又要作為發(fā)送一方進(jìn)行管理[4]。

步驟：①業(yè)務(wù)系統(tǒng)數(shù)據(jù)發(fā)送至主數(shù)據(jù)接口模塊，由主數(shù)據(jù)接口模塊返回成功、失敗標(biāo)志，失敗則重復(fù)上述步驟；②主數(shù)據(jù)接口模塊將數(shù)據(jù)發(fā)送至主數(shù)據(jù)系統(tǒng)，由主數(shù)據(jù)系統(tǒng)返回成功、失敗標(biāo)識(shí)至主數(shù)據(jù)接口模塊，再由主數(shù)據(jù)接口模塊將標(biāo)識(shí)返回給業(yè)務(wù)系統(tǒng)，如果失敗則重復(fù)上述步驟；③主數(shù)據(jù)系統(tǒng)將數(shù)據(jù)發(fā)送至主數(shù)據(jù)接口模塊，由主數(shù)據(jù)接口模塊返回成功、失敗標(biāo)識(shí)，失敗則重復(fù)上述步驟；④主數(shù)據(jù)接口模塊將數(shù)據(jù)發(fā)送至各個(gè)業(yè)務(wù)系統(tǒng)，由業(yè)務(wù)系統(tǒng)返回成功、失敗標(biāo)識(shí)至主數(shù)據(jù)接口模塊，再由主數(shù)據(jù)接口模塊將標(biāo)識(shí)返回給主數(shù)據(jù)系統(tǒng)，如果失敗則重復(fù)上述步驟。（注：初始化數(shù)據(jù)較大時(shí)，建議線下操作，如excel等。上述描述中主數(shù)據(jù)接口模塊過(guò)程可省略，省略后即為主數(shù)據(jù)系統(tǒng)與業(yè)務(wù)系統(tǒng)點(diǎn)對(duì)點(diǎn)集成。）

3.2 數(shù)據(jù)來(lái)源為主數(shù)據(jù)系統(tǒng)

數(shù)據(jù)來(lái)源為主數(shù)據(jù)系統(tǒng)的，主要是通用性較高，無(wú)法在現(xiàn)有的單一業(yè)務(wù)系統(tǒng)里面進(jìn)行管理的主數(shù)據(jù)。此類主數(shù)據(jù)，由于數(shù)據(jù)的產(chǎn)生、審核、變更、存儲(chǔ)、分發(fā)都在同一個(gè)系統(tǒng)里面，因此系統(tǒng)集成時(shí)，主數(shù)據(jù)系統(tǒng)只作為一個(gè)分發(fā)系統(tǒng)，并不接受業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)。

步驟：①主數(shù)據(jù)系統(tǒng)將數(shù)據(jù)發(fā)送至主數(shù)據(jù)接口模塊，由主數(shù)據(jù)接口模塊返回成功失敗標(biāo)識(shí)，失敗則重復(fù)上述步驟；②主數(shù)據(jù)接口模塊將數(shù)據(jù)發(fā)送至各個(gè)業(yè)務(wù)系統(tǒng)，由業(yè)務(wù)系統(tǒng)返回成功、失敗標(biāo)識(shí)至主數(shù)據(jù)接口模塊，再由主數(shù)據(jù)接口模塊將標(biāo)識(shí)返回給主數(shù)據(jù)系統(tǒng)，如果失敗則重復(fù)上述步驟。

3.3 新建系統(tǒng)的集成

新的信息系統(tǒng)上線時(shí)，原則上所有主數(shù)據(jù)都應(yīng)與主數(shù)據(jù)系統(tǒng)里的數(shù)據(jù)一致。因此，針對(duì)新建系統(tǒng)，主要有幾方面工作要做：①收集新建系統(tǒng)所需主數(shù)據(jù)類別；②查看主數(shù)據(jù)系統(tǒng)代碼體系內(nèi)容，并下載所需代碼；③根據(jù)下載的代碼，初始化新建系統(tǒng)，并根據(jù)主數(shù)據(jù)系統(tǒng)要求，調(diào)整主數(shù)據(jù)模板；④新建系統(tǒng)與主數(shù)據(jù)系統(tǒng)約定好集成時(shí)間，在集成時(shí)間點(diǎn)，根據(jù)新建系統(tǒng)主數(shù)據(jù)需求，下載主數(shù)據(jù)系統(tǒng)內(nèi)對(duì)應(yīng)的靜態(tài)主數(shù)據(jù)，并將其導(dǎo)入新建系統(tǒng)；⑤新建系統(tǒng)完成與主數(shù)據(jù)接口模塊的集成，增量數(shù)據(jù)通過(guò)主數(shù)據(jù)接口模塊⑥方式接收；若新建系統(tǒng)在主數(shù)據(jù)系統(tǒng)內(nèi)沒(méi)有找到所需的代碼，需向公司信息化管理部門(mén)申請(qǐng)?jiān)谥鲾?shù)據(jù)系統(tǒng)新建對(duì)應(yīng)的分類，待新建的代碼或信息代碼在主數(shù)據(jù)系統(tǒng)建立后再進(jìn)行系統(tǒng)集成。

3.4 已有系統(tǒng)的集成

（1）數(shù)據(jù)映射方式。此類系統(tǒng)主要是其歷史數(shù)據(jù)不能或者不愿意按照新的標(biāo)準(zhǔn)進(jìn)行清洗，可采取數(shù)據(jù)映射的方式進(jìn)行系統(tǒng)的集成。此類系統(tǒng)集成需要確認(rèn)其歷史數(shù)據(jù)與主數(shù)據(jù)系統(tǒng)內(nèi)數(shù)據(jù)的對(duì)應(yīng)關(guān)系，并在業(yè)務(wù)系統(tǒng)內(nèi)部建立映射關(guān)系表。

（2）數(shù)據(jù)清洗方式。此類系統(tǒng)內(nèi)的歷史數(shù)據(jù)可以按照新標(biāo)準(zhǔn)進(jìn)行清洗，可以直接接收主數(shù)據(jù)系統(tǒng)內(nèi)的相關(guān)數(shù)據(jù)。此類系統(tǒng)的集成需先將歷史數(shù)據(jù)導(dǎo)出，然后按照新標(biāo)準(zhǔn)清洗后，同時(shí)導(dǎo)入主數(shù)據(jù)系統(tǒng)和業(yè)務(wù)系統(tǒng)，然后再進(jìn)行系統(tǒng)集成。

4 集成測(cè)試

系統(tǒng)集成完成后，需要模擬生產(chǎn)環(huán)境對(duì)集成接口進(jìn)行驗(yàn)證，測(cè)試過(guò)程中既要選擇有效、合理的數(shù)據(jù)進(jìn)行測(cè)試，也要選擇無(wú)效、不合理的數(shù)據(jù)進(jìn)行測(cè)試，用以發(fā)現(xiàn)接口問(wèn)題并及時(shí)處理[5]。

5 集成效果

主數(shù)據(jù)管理系統(tǒng)通過(guò)系統(tǒng)接口，將一致的、唯一的、標(biāo)準(zhǔn)的數(shù)據(jù)發(fā)放給需要使用該數(shù)據(jù)的各個(gè)系統(tǒng)。主數(shù)據(jù)管理系統(tǒng)可確保主數(shù)據(jù)的全生命周期管理。從創(chuàng)建，修改，使用，停用等多個(gè)環(huán)節(jié)進(jìn)行管理，統(tǒng)一各個(gè)業(yè)務(wù)系統(tǒng)主數(shù)據(jù)，避免使用主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)不必再次進(jìn)行功能重復(fù)建設(shè)。一定程度上節(jié)省了信息化建設(shè)資金[6]。

6 結(jié)論

綜上所述，通過(guò)搭建統(tǒng)一的主數(shù)據(jù)管理平臺(tái)，將各類數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)明細(xì)進(jìn)行統(tǒng)一管理，實(shí)現(xiàn)主數(shù)據(jù)的在線申請(qǐng)、審批、分發(fā)等功能。為集團(tuán)公司及下屬單位信息系統(tǒng)提供公共、開(kāi)放、統(tǒng)一的數(shù)據(jù)共享服務(wù)，實(shí)現(xiàn)與集團(tuán)公司及下屬單位重點(diǎn)系統(tǒng)的數(shù)據(jù)集成工作，通過(guò)應(yīng)用系統(tǒng)的接口發(fā)開(kāi)，確保主數(shù)據(jù)管理系統(tǒng)與相關(guān)信息系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)的共享與交換。切實(shí)提高集團(tuán)公司信息化標(biāo)準(zhǔn)水平，為集團(tuán)公司信息系統(tǒng)集成、業(yè)務(wù)協(xié)同貫通掃清障礙。