聯(lián)邦式數(shù)據(jù)交換與共享技術(shù)研究與實(shí)現(xiàn)

彭漢仔 譚獻(xiàn)海 翟妍偉

摘 要：針對電務(wù)綜合監(jiān)測系統(tǒng)存在的數(shù)據(jù)源異構(gòu)問題，提出了一種基于XML的聯(lián)邦數(shù)據(jù)交換與共享框架來管理各個監(jiān)測站點(diǎn)的數(shù)據(jù)。該框架將每個數(shù)據(jù)源看成一個獨(dú)立的聯(lián)邦進(jìn)行管理。每個聯(lián)邦成員都可以了解整個聯(lián)邦有哪些可供共享的數(shù)據(jù)，并調(diào)閱查看其它成員的歷史數(shù)據(jù)，同時訂閱其他成員發(fā)布的實(shí)時數(shù)據(jù)和推送報警信息等實(shí)時數(shù)據(jù)。

關(guān)鍵詞：異構(gòu)數(shù)據(jù)；數(shù)據(jù)集成與交換；聯(lián)邦；數(shù)據(jù)透明訪問；訂閱發(fā)布

中圖分類號：TP392 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2016）05-00-03

0 引 言

當(dāng)今鐵路快速發(fā)展，帶動了信號技術(shù)的跨越式進(jìn)步。大量先進(jìn)的信號系統(tǒng)與技術(shù)投入運(yùn)營。如裝備監(jiān)測設(shè)備可進(jìn)行實(shí)時狀態(tài)信息采集，并利用這些采集的實(shí)時信息進(jìn)行故障診斷和及時報警，可以在極大程度上提高鐵路的運(yùn)行效率。然而這些監(jiān)測信息、狀態(tài)信息等大都存儲于各個地區(qū)不同的監(jiān)測站點(diǎn)，而這些站點(diǎn)維護(hù)著自己的監(jiān)測系統(tǒng)，使用著彼此互不兼容的存儲格式，形成了一個個“信息孤島”[1]。所以要想充分利用這些監(jiān)測信息、狀態(tài)信息，進(jìn)行計算機(jī)輔助故障診斷、判斷故障、開展智能化研究、預(yù)測設(shè)備健康狀況等工作時，就必須對現(xiàn)有的互不兼容的異構(gòu)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)集成。目前，現(xiàn)有的數(shù)據(jù)集成方案已日趨成熟，然而國內(nèi)乃至世界范圍內(nèi)將數(shù)據(jù)集成技術(shù)運(yùn)用到鐵路電務(wù)綜合檢測上的成功案例基本沒有。本研究在充分分析各個監(jiān)測站點(diǎn)數(shù)據(jù)格式的基礎(chǔ)上，提出一套基于各個監(jiān)測站點(diǎn)的聯(lián)邦式管理方法，用以實(shí)現(xiàn)各個站點(diǎn)間的透明訪問[2，3]、成員間歷史數(shù)據(jù)交換、成員實(shí)時數(shù)據(jù)的訂閱與即時推送[4]。在保證現(xiàn)有各個數(shù)據(jù)源獨(dú)立性的同時，以一個統(tǒng)一的視角對當(dāng)前的所有監(jiān)測信息、狀態(tài)信息等進(jìn)行綜合利用。為電務(wù)綜合監(jiān)測系統(tǒng)進(jìn)行高效的智能故障診斷提供良好的數(shù)據(jù)基礎(chǔ)。

1 電務(wù)綜合監(jiān)測聯(lián)邦式數(shù)據(jù)交換與共享系統(tǒng)設(shè)計

電務(wù)綜合監(jiān)測聯(lián)邦式數(shù)據(jù)庫管理系統(tǒng)要求系統(tǒng)內(nèi)的兩個成員之間可以進(jìn)行數(shù)據(jù)互操作，即聯(lián)邦內(nèi)的任意一個成員可以調(diào)閱聯(lián)邦內(nèi)其他成員的數(shù)據(jù)，可以訂閱聯(lián)邦內(nèi)其他成員更新的實(shí)時數(shù)據(jù)。要求當(dāng)一個聯(lián)邦成員有數(shù)據(jù)更新時，可以將該更新內(nèi)容推送給其它訂閱了該數(shù)據(jù)的成員。

系統(tǒng)主要分為以下幾個模塊：

（1）注冊模塊

所有想要加入聯(lián)邦系統(tǒng)的數(shù)據(jù)源都需要向聯(lián)邦控制中心申請注冊，成功后才能以一個邦員的身份做其他操作。

（2）數(shù)據(jù)定義模塊

根據(jù)數(shù)據(jù)源結(jié)構(gòu)的不同可以手動或者自動定義本地數(shù)據(jù)庫全部數(shù)據(jù)的基本信息，為控制中心制定全局?jǐn)?shù)據(jù)庫提供基本信息。

（3）數(shù)據(jù)發(fā)布模塊

該模塊負(fù)責(zé)信息定義邦員的數(shù)據(jù)發(fā)布，并將該信息提交至控制中心的數(shù)據(jù)容器。

（4）數(shù)據(jù)訂閱模塊

該模塊負(fù)責(zé)定義邦員的數(shù)據(jù)訂閱情況，并將該信息提交至控制中心的數(shù)據(jù)容器 。

（5）數(shù)據(jù)自動推送模塊

在邦員有數(shù)據(jù)更新時，會將這些更新推送給訂閱了該數(shù)據(jù)的其他邦員。

（6）透明訪問模塊

提供對全局?jǐn)?shù)據(jù)的訪問，聯(lián)邦系統(tǒng)自動根據(jù)查詢請求分解成針對各個邦員的子查詢，并匯總結(jié)果，返回給請求發(fā)起方，在不知道系統(tǒng)內(nèi)其他成員的情況下獲取對應(yīng)的數(shù)據(jù)。

該系統(tǒng)流程主要分為成員注冊初始化、成員之間的數(shù)據(jù)共享交換、系統(tǒng)透明訪問三個部分。成員注冊初始化過程如圖1所示。

圖1 成員注冊初始化

1.1 注冊及初始化流程

（1）注冊

填寫自身注冊名稱、自身IP、聯(lián)邦控制中心IP，根據(jù)控制中心IP發(fā)出注冊請求。如果符合注冊資格則返回注冊成功的消息。

（2）邦員數(shù)據(jù)定義

定義自身的全部數(shù)據(jù)基礎(chǔ)信息，形成LDM（Local Data Model，LDM）文件發(fā)送給控制中心，控制中心匯總各個邦員的LDM文件形成GDM（Global Data Model，GDM）文件。GDM文件包含當(dāng)前系統(tǒng)所有成員的全部數(shù)據(jù)信息。

（3）邦員數(shù)據(jù)發(fā)布

定義邦員的數(shù)據(jù)發(fā)布信息，并提交至控制中心。控制中心匯總各個邦員的發(fā)布信息形成GPM（Global Publish Model，GPM）文件，即全局發(fā)布文件。

（4）邦員數(shù)據(jù)訂閱

定義邦員的數(shù)據(jù)訂閱信息，提交至控制中心?？刂浦行膮R總各個邦員的數(shù)據(jù)訂閱信息形成GSM（Global Subscribe Model，GSM）文件，即全局訂閱文件。

1.2 聯(lián)邦成員數(shù)據(jù)共享交換流程

控制中心通過數(shù)據(jù)容器來描述整個聯(lián)邦的全局?jǐn)?shù)據(jù)及各個邦員的數(shù)據(jù)訂閱/發(fā)布情況，并將最新副本冗余存儲到各個邦員。數(shù)據(jù)容器總共包含三大配置文件：GDM（全局?jǐn)?shù)據(jù)模型），GPM（全局發(fā)布模型），GSM（全局訂閱模型）。

GDM：記錄聯(lián)邦系統(tǒng)中的所有數(shù)據(jù)基本信息。

GPM：記錄各個邦員的數(shù)據(jù)發(fā)布情況。

GSM：記錄各個邦員的數(shù)據(jù)訂閱情況。

當(dāng)數(shù)據(jù)容器的內(nèi)容有變更時，控制中心會將變動情況推送給各個邦員，各邦員會根據(jù)該變動修改自身維護(hù)的訂閱發(fā)布文件以和控制中心保持一致。

此外，在邦員有實(shí)時數(shù)據(jù)更新時，會根據(jù)自己維護(hù)的訂閱發(fā)布配置文件，將這些更新推送給訂閱了該數(shù)據(jù)的其他邦員。數(shù)據(jù)容器主要構(gòu)成如圖2所示。聯(lián)邦成員數(shù)據(jù)交換如圖3所示。

圖2 數(shù)據(jù)容器的主要構(gòu)成圖

圖3 聯(lián)邦成員的數(shù)據(jù)交換圖

1.3 透明訪問流程

系統(tǒng)內(nèi)成員之間的數(shù)據(jù)共享和交換如圖4所示。

當(dāng)用戶在訪問聯(lián)邦系統(tǒng)的全局?jǐn)?shù)據(jù)時，邦員可以根據(jù)自身維護(hù)的數(shù)據(jù)容器配置文件副本或這些數(shù)據(jù)所在數(shù)據(jù)源對應(yīng)IP，并向其發(fā)送命令請求。其他邦員接收并執(zhí)行這些查詢請求然后返回查詢結(jié)果，查詢發(fā)起者將這些查詢結(jié)果匯總并呈獻(xiàn)給用戶，用戶只需知道該系統(tǒng)可以提供哪些數(shù)據(jù)即可，無需知道這些數(shù)據(jù)具體由誰提供，達(dá)到將整個系統(tǒng)看成一個數(shù)據(jù)源實(shí)現(xiàn)透明訪問的效果。

圖4 系統(tǒng)內(nèi)成員數(shù)據(jù)交換結(jié)構(gòu)圖

2 關(guān)鍵技術(shù)

2.1 虛擬全局?jǐn)?shù)據(jù)定義

虛擬全局?jǐn)?shù)據(jù)庫是整個系統(tǒng)正常運(yùn)行的基石。每個新加入的邦員都可以選擇手動或者自動添加自身數(shù)據(jù)生成LOM文件并提交至控制中心生成GOM文件。LOM文件應(yīng)當(dāng)包含本地數(shù)據(jù)源中擁有的全部數(shù)據(jù)的基本信息。考慮到各個數(shù)據(jù)源之間存在結(jié)構(gòu)上的差異，擬采用XML來描述數(shù)據(jù)容器內(nèi)的各種文件、數(shù)據(jù)消息、命令消息等中間數(shù)據(jù)交換介質(zhì)[5，6]。

XML具有非常高的自描述性，可有效提高在不同應(yīng)用、不同模塊間數(shù)據(jù)交換的可操作性。通過XML可實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化、結(jié)構(gòu)化，解決不同平臺、不同系統(tǒng)之間的數(shù)據(jù)結(jié)構(gòu)/模式的差異問題，使得數(shù)據(jù)層在XML技術(shù)的支持下統(tǒng)一起來[7，8]。

2.2 數(shù)據(jù)發(fā)布與訂閱關(guān)系定義

每個邦員都可以通過發(fā)布模塊和訂閱模塊來制定對應(yīng)的發(fā)布/訂閱文件。pub_sub.txt用來表示自身發(fā)布和自身訂閱的數(shù)據(jù)，并提交給控制中心[9]。該文件具體內(nèi)容如圖5所示，表明需要發(fā)布或訂閱的數(shù)據(jù)名稱即可，其他信息可在數(shù)據(jù)容器的GOM文件中得到補(bǔ)充?？刂浦行氖盏礁鱾€邦員的pub_sub.txt內(nèi)容后與自身保留的各個邦員的注冊信息進(jìn)行匯總并將對應(yīng)的內(nèi)容收納進(jìn)GPM文件和GSM文件中。

圖5 pub_sub.txt內(nèi)容示意圖

2.3 數(shù)據(jù)的自動發(fā)布

每個邦員自身的數(shù)據(jù)有更新時，會在數(shù)據(jù)容器的GSM中查詢哪些邦員訂閱了該數(shù)據(jù)，同時獲取對應(yīng)邦員的IP地址。使用底層封裝好的Socket接口向這些IP地址發(fā)送對應(yīng)的內(nèi)容更新。

2.4 數(shù)據(jù)透明訪問

外界訪問聯(lián)邦數(shù)據(jù)庫系統(tǒng)時，直接針對數(shù)據(jù)容器中的虛擬全局?jǐn)?shù)據(jù)庫進(jìn)行訪問，在接受到請求后，控制中心分局GOM中的內(nèi)容分解為針對各個邦員的子查詢，子查詢返回結(jié)果后由控制中心匯總結(jié)果并對外返回數(shù)據(jù)，訪問者只需要知道虛擬全局?jǐn)?shù)據(jù)庫中有哪些數(shù)據(jù)，而不需要知道聯(lián)邦系統(tǒng)中具體有哪些邦員。對外屏蔽系統(tǒng)內(nèi)其他邦員的存在，從而達(dá)到透明訪問的效果。

3 系統(tǒng)演示

在本地數(shù)據(jù)定義階段，邦員可進(jìn)行全局?jǐn)?shù)據(jù)的定義，可以選擇曾經(jīng)定義過的LDM（Local Data Model，LDM）文件或者手動添加新數(shù)據(jù)覆蓋原有的LDM文件。數(shù)據(jù)定義界面如圖6所示。

圖6 數(shù)據(jù)定義界面

邦員可以在圖7所示的透明訪問界面里看到當(dāng)前系統(tǒng)的所有全局?jǐn)?shù)據(jù)，通過輸入指定的查詢條件查詢到對應(yīng)的數(shù)據(jù)，而不需要知道這些數(shù)據(jù)的具體來源[10]。

4 結(jié) 語

電務(wù)綜合監(jiān)測系統(tǒng)需要綜合多個監(jiān)測站點(diǎn)的監(jiān)測數(shù)據(jù)來做故障診斷及智能分析，然而各個監(jiān)測站點(diǎn)之間的差異性異常復(fù)雜，使得這個場合的數(shù)據(jù)集成變?yōu)橐粋€難題。使用聯(lián)邦式的管理方式結(jié)合XML在結(jié)構(gòu)上可以比較清晰地描述整個系統(tǒng)結(jié)構(gòu)，便于維護(hù)管理。

圖7 透明訪問界面

參考文獻(xiàn)

[1] 黃曉川，楊曉鵬，黃琛.基于XML異構(gòu)數(shù)據(jù)庫中數(shù)據(jù)遷移技術(shù)的研究[J].科技視界，2014（34）：97-98.

[2] Brodie M L.Data Integration at Scale： From Relational Data Integration to Information Ecosystems[C].IEEE International Conference on Advanced Information Networking & Applications. IEEE， 2010：2-3.

[3] Jovanovic P， Romero O， Simitsis A， et al. ORE： an iterative approach to the design and evolution of multi-dimensional schemas[J]. Fifteenth International Workshop on Data Warehousing & Olap， 2012：1-8.

[4] 趙偉.發(fā)布/訂閱系統(tǒng)數(shù)據(jù)模型的設(shè)計與實(shí)現(xiàn)[D].南京：南京理工大學(xué)，2009.

[5] 魚濱，鄭婭峰.基于XML的異構(gòu)系統(tǒng)集成框架的研究[J].計算機(jī)應(yīng)用與軟件，2005，22（7）：14-15.

[6] 蘇明.基于XML的數(shù)據(jù)集成中間件的研究[D].西安：西安電子科技大學(xué)，2013.

[7] 胡昔祥.基于P2P和XML內(nèi)容的發(fā)布訂閱系統(tǒng).計算機(jī)工程與應(yīng)用[J]. 2007，43（29）：101-103.

[8] 王哲，宋茂強(qiáng).基于SaaS的XML數(shù)據(jù)庫中間件的設(shè)計與實(shí)現(xiàn)[J].計算機(jī)安全，2010（2）：73-76.

[9]齊鳳亮，金蓓弘，陳海彪，等.發(fā)布/訂閱系統(tǒng)中的原子訂閱管理和匹配[J].計算機(jī)科學(xué)，2009，36（12）：111-114.

[10] 陳遠(yuǎn)斌.面向信息共享的數(shù)據(jù)集成技術(shù)應(yīng)用研究[D].哈爾濱：哈爾濱工程大學(xué)，2013.