運(yùn)輸信息集成平臺(tái)報(bào)文信息采集方式研究與實(shí)現(xiàn)

宋長(zhǎng)春

（ 1.中國(guó)鐵道科學(xué)研究院，北京 100081；2.中國(guó)鐵路沈陽(yáng)局集團(tuán)有限公司 信息技術(shù)所，沈陽(yáng) 110001 ）

鐵路企業(yè)經(jīng)過(guò)多年的信息化建設(shè)，已在各業(yè)務(wù)領(lǐng)域建成眾多的信息系統(tǒng)，在運(yùn)輸生產(chǎn)中發(fā)揮著重要的作用，但各個(gè)信息系統(tǒng)的運(yùn)輸生產(chǎn)數(shù)據(jù)都存儲(chǔ)在各自的系統(tǒng)內(nèi)部，無(wú)統(tǒng)一共享標(biāo)準(zhǔn)，這為系統(tǒng)間數(shù)據(jù)互通和信息共享帶來(lái)了較大的難度。為了打破現(xiàn)有的信息孤島，實(shí)現(xiàn)資源的整合，中國(guó)國(guó)家鐵路集團(tuán)有限公司（簡(jiǎn)稱：國(guó)鐵集團(tuán)）建設(shè)的運(yùn)輸信息集成平臺(tái)（簡(jiǎn)稱：集成平臺(tái)）提出了開放式的信息共享架構(gòu)和信息共享管理機(jī)制[1]。集成平臺(tái)數(shù)據(jù)的采集有多種方式，包括：（1）直接通過(guò)基于集成平臺(tái)的應(yīng)用獲取數(shù)據(jù)，將原始數(shù)據(jù)庫(kù)直接部署在集成平臺(tái)；（2）通過(guò)數(shù)據(jù)庫(kù)級(jí)共享獲取信息；（3）通過(guò)業(yè)務(wù)系統(tǒng)提供的服務(wù)調(diào)用獲取數(shù)據(jù)；（4）采用報(bào)文方式，由信息提供者形成標(biāo)準(zhǔn)格式報(bào)文，通過(guò)消息隊(duì)列（MQ，Message Queue）傳輸方式交換到集成平臺(tái)等方式[2]。本文利用Webspere MQ技術(shù)[3]和可擴(kuò)展標(biāo)記語(yǔ)言（XML，Extensible Markup Language）標(biāo)準(zhǔn)建立報(bào)文上報(bào)規(guī)范，利用鐵路MQ統(tǒng)一傳輸平臺(tái)制定了統(tǒng)一的數(shù)據(jù)傳輸方式，通過(guò)對(duì)報(bào)文信息采集方式的研究及實(shí)現(xiàn)，提出了一整套切實(shí)可行的現(xiàn)存異構(gòu)系統(tǒng)間信息互通、數(shù)據(jù)整和的標(biāo)準(zhǔn)規(guī)范、采集流程和具體功能。

1 報(bào)文類型及傳輸方式

1.1 報(bào)文類型

集成平臺(tái)通過(guò)采集和整合各類運(yùn)輸信息系統(tǒng)的業(yè)務(wù)和生產(chǎn)數(shù)據(jù)，建立列車、貨車、貨物、機(jī)車、機(jī)車乘務(wù)員等運(yùn)輸信息庫(kù)，集成平臺(tái)所需的報(bào)文類型可分為4大類15小類，分別為：列車（列車出發(fā)報(bào)文、列車到達(dá)報(bào)文、列車編成報(bào)文、列車解體報(bào)文、保留/解保留報(bào)文）、車輛（裝車報(bào)文、卸車報(bào)文、運(yùn)非報(bào)文、新車加入報(bào)文、車輛退出報(bào)文、股道車輛報(bào)文）、機(jī)車（機(jī)車報(bào)文、乘務(wù)員報(bào)文）、股道信息（股道車輛報(bào)文）[4]。

1.2 報(bào)文傳輸方式

站段、鐵路局和國(guó)鐵集團(tuán)間采用基于MQ的統(tǒng)一傳輸平臺(tái)傳輸報(bào)文數(shù)據(jù)。傳輸方式為，站段級(jí)應(yīng)用系統(tǒng)通過(guò)MQ客戶端向所屬路局統(tǒng)一傳輸平臺(tái)發(fā)送報(bào)文數(shù)據(jù)，報(bào)文數(shù)據(jù)自動(dòng)傳輸?shù)铰肪值腗Q通信服務(wù)器上的本地隊(duì)列中，鐵路局程序從統(tǒng)一傳輸平臺(tái)隊(duì)列中取出報(bào)文進(jìn)行入庫(kù)處理，形成業(yè)務(wù)數(shù)據(jù)；同時(shí)，傳送到國(guó)鐵集團(tuán)統(tǒng)一傳輸平臺(tái)隊(duì)列，國(guó)鐵集團(tuán)程序從統(tǒng)一傳輸平臺(tái)隊(duì)列中取出報(bào)文，對(duì)報(bào)文進(jìn)行入庫(kù)處理。報(bào)文的具體傳輸方式如圖1所示。

圖1 報(bào)文傳輸方式示意圖

2 報(bào)文信息采集方式設(shè)計(jì)與實(shí)現(xiàn)

2.1 報(bào)文信息采集規(guī)范

信息交換規(guī)范的制定是平臺(tái)實(shí)現(xiàn)的基礎(chǔ)，統(tǒng)一傳輸平臺(tái)上的數(shù)據(jù)都必須有明確的定義，嚴(yán)格按照規(guī)范執(zhí)行，以標(biāo)準(zhǔn)格式的XML信息報(bào)文來(lái)發(fā)送和接收[5]。規(guī)范要求XML消息報(bào)文由MQI（Message Queue Interface）消息頭、數(shù)據(jù)頭格式、報(bào)文頭和報(bào)文體組成[6]。MQI消息頭確定報(bào)文消息的相關(guān)信息；數(shù)據(jù)頭格式確定報(bào)文消息的接收方等信息；報(bào)文頭作為報(bào)文消息的一部分，標(biāo)記報(bào)文產(chǎn)生點(diǎn)、產(chǎn)生時(shí)間等相關(guān)信息；報(bào)文體為報(bào)文消息的主體，包含報(bào)文所要求包含的傳輸信息，根據(jù)報(bào)文類型的不同而不同。

由于各系統(tǒng)的架構(gòu)以及開發(fā)語(yǔ)言的不同，系統(tǒng)間互通必須遵循上述規(guī)范，按照規(guī)范的要求在適當(dāng)?shù)臅r(shí)機(jī)發(fā)送本系統(tǒng)所產(chǎn)生的業(yè)務(wù)報(bào)文數(shù)據(jù)。所有交換數(shù)據(jù)都依據(jù)該規(guī)范轉(zhuǎn)換成XML標(biāo)準(zhǔn)格式的報(bào)文，通過(guò)Webspere MQ技術(shù)[7]進(jìn)行分發(fā)轉(zhuǎn)送，從而實(shí)現(xiàn)跨平臺(tái)、跨業(yè)務(wù)應(yīng)用系統(tǒng)的信息交換和共享[8]，在降低系統(tǒng)內(nèi)部改造成本的同時(shí)達(dá)到系統(tǒng)間數(shù)據(jù)共享的目的。

2.1.1 傳輸報(bào)文的消息結(jié)構(gòu)

傳輸報(bào)文的消息結(jié)構(gòu)如圖2所示，在此結(jié)構(gòu)中能夠獲得報(bào)文信息的所有相關(guān)信息，包括業(yè)務(wù)系統(tǒng)因業(yè)務(wù)變化重新發(fā)送報(bào)告對(duì)原有報(bào)文進(jìn)行修正的相關(guān)標(biāo)識(shí)等數(shù)據(jù)信息。

2.1.2 報(bào)文具體格式定義

MQI消息頭格式由24個(gè)字節(jié)組成，具體的格式定義如圖3所示。

數(shù)據(jù)頭格式由一組字符串組成，最大256字節(jié)，具體格式定義如圖4所示。

2.1.3 XML數(shù)據(jù)報(bào)文樣式

報(bào)文體具體數(shù)據(jù)格式及內(nèi)容，因報(bào)告類型的不同會(huì)有所不同，但是格式及結(jié)構(gòu)是一致的，以列車到達(dá)報(bào)文為例報(bào)文體樣式如下。

2.2 報(bào)文信息采集流程

由圖5可知報(bào)文信息采集流程可分為業(yè)務(wù)系統(tǒng)、MQ統(tǒng)一傳輸平臺(tái)、報(bào)告處理平臺(tái)和集成平臺(tái)4部分。業(yè)務(wù)系統(tǒng)是平臺(tái)底層的各類信息系統(tǒng)，是平臺(tái)數(shù)據(jù)的根本來(lái)源，每個(gè)系統(tǒng)按照?qǐng)?bào)文采集規(guī)范約定產(chǎn)生相關(guān)的報(bào)文，并負(fù)責(zé)對(duì)報(bào)文的消息進(jìn)行更正、撤銷等處理；MQ統(tǒng)一傳輸平臺(tái)主要負(fù)責(zé)將業(yè)務(wù)系統(tǒng)發(fā)送的報(bào)文進(jìn)行分發(fā)，主要是要根據(jù)報(bào)文的標(biāo)識(shí)來(lái)確定是一級(jí)國(guó)鐵集團(tuán)落地還是二級(jí)路局落地，并記錄傳輸日志；報(bào)文采集處理模塊主要負(fù)責(zé)處理各個(gè)業(yè)務(wù)系統(tǒng)上報(bào)的報(bào)文并形成集成平臺(tái)所需要的數(shù)據(jù)[9]。

2.3 報(bào)文采集處理模塊的實(shí)現(xiàn)

圖2 傳輸報(bào)文結(jié)構(gòu)圖

圖4 數(shù)據(jù)頭格式具體格式定義示意圖

報(bào)文采集處理模塊運(yùn)行于整個(gè)系統(tǒng)的后臺(tái)，利用C#語(yǔ)言，采用C/S模式進(jìn)行開發(fā)，數(shù)據(jù)庫(kù)管理系統(tǒng)采用Oracle系統(tǒng)。C/S開發(fā)模式主要優(yōu)點(diǎn)有程序運(yùn)行穩(wěn)定，降低系統(tǒng)通訊的開銷，提高平臺(tái)數(shù)據(jù)處理的能力且便于維護(hù)人員進(jìn)行監(jiān)控及維護(hù)。

圖5 報(bào)文信息采集流程圖

報(bào)文采集處理模塊共有7個(gè)功能，分別為：MQ接收落地、落地文件入庫(kù)、日志查詢、參數(shù)配置、文件清理、數(shù)據(jù)庫(kù)清理和后臺(tái)監(jiān)控。落地文件處理方式可根據(jù)本局報(bào)文量的多少，按照配置文件配置為單進(jìn)程運(yùn)行或多進(jìn)程同時(shí)處理報(bào)文，提高報(bào)文處理效率。

（1）MQ接收落地：由于發(fā)送報(bào)文的底層業(yè)務(wù)系統(tǒng)眾多，模塊接收到的報(bào)文信息量較大，因此模塊處理報(bào)文數(shù)據(jù)應(yīng)先將報(bào)文信息分發(fā)到配置文件指定的文件夾中，避免MQ隊(duì)列的堵塞。

（2）落地文件處理：此功能主要負(fù)責(zé)將對(duì)應(yīng)文件夾內(nèi)的報(bào)文進(jìn)行處理，形成集成平臺(tái)的業(yè)務(wù)數(shù)據(jù)，并記錄相關(guān)日志。處理過(guò)程主要依據(jù)報(bào)文內(nèi)容的業(yè)務(wù)邏輯形成相應(yīng)的數(shù)據(jù)，并且在處理過(guò)程中對(duì)報(bào)文內(nèi)容的合法性和合規(guī)性進(jìn)行校驗(yàn)，從而提高所生成數(shù)據(jù)的可用性及完整性。

（3）日志查詢：此功能可以查詢模塊生成的相關(guān)的處理日志，便于日常維護(hù)。

（4）參數(shù)配置：對(duì)模塊的各項(xiàng)參數(shù)進(jìn)行個(gè)性化設(shè)置，可設(shè)置輪循時(shí)間、轉(zhuǎn)發(fā)機(jī)制、目錄配置等參數(shù)，根據(jù)不同的報(bào)文數(shù)據(jù)量以及服務(wù)器的配置進(jìn)行靈活配置。

（5）文件清理：根據(jù)模塊參數(shù)配置定時(shí)清理模塊所產(chǎn)生的過(guò)期報(bào)文文件，避免長(zhǎng)時(shí)間的積壓導(dǎo)致文件系統(tǒng)硬盤可用空間不足。

（6）數(shù)據(jù)庫(kù)清理：根據(jù)模塊參數(shù)配置定時(shí)清理集成平臺(tái)相關(guān)的業(yè)務(wù)數(shù)據(jù)以及采集處理模塊所產(chǎn)生的過(guò)期日志數(shù)據(jù)。

（7）后臺(tái)監(jiān)控：監(jiān)控MQ隊(duì)列深度、文件系統(tǒng)磁盤空間信息、報(bào)告接收時(shí)間等相關(guān)信息，提高報(bào)文信息采集的穩(wěn)定性。

2.4 報(bào)文信息采集方式的特點(diǎn)

（1）數(shù)據(jù)共享更便捷

XML是基于互聯(lián)網(wǎng)標(biāo)準(zhǔn)的數(shù)據(jù)傳輸規(guī)范，通過(guò)XML，可以輕松地跨平臺(tái)、跨系統(tǒng)的實(shí)現(xiàn)數(shù)據(jù)傳遞[10]和數(shù)據(jù)共享。

（2）簡(jiǎn)化業(yè)務(wù)系統(tǒng)的改造

集成平臺(tái)涉及到的業(yè)務(wù)系統(tǒng)眾多，如果整體改造，代價(jià)大、耗時(shí)長(zhǎng)，對(duì)原有業(yè)務(wù)也會(huì)產(chǎn)生較大影響，但報(bào)文信息采集方式的建立，使業(yè)務(wù)系統(tǒng)的改造降到了最低，減少了對(duì)原有系統(tǒng)的影響。

（3）數(shù)據(jù)傳輸更安全可靠

報(bào)文信息采集基于Webspere MQ消息中間件進(jìn)行消息傳輸，消息中間件為不同應(yīng)用系統(tǒng)之間的數(shù)據(jù)交互搭建了安全、穩(wěn)定、高效的橋梁，從而保障了整個(gè)體系的傳輸安全。

3 結(jié)束語(yǔ)

運(yùn)輸信息集成平臺(tái)報(bào)文信息采集利用現(xiàn)有的成熟技術(shù)，建立了一套完整的跨平臺(tái)、跨系統(tǒng)的數(shù)據(jù)整合方案。文中描述的技術(shù)規(guī)范、采集流程、處理方式和數(shù)據(jù)訪問(wèn)等技術(shù)，將為鐵路數(shù)據(jù)資源整合和鐵路大數(shù)據(jù)[8]的建設(shè)提供一套切實(shí)有效的數(shù)據(jù)互通的解決方案。