基于大數(shù)據(jù)技術(shù)的高速鐵路綜合試驗(yàn)數(shù)據(jù)管理

東春昭， 楊東盛， 許聰， 徐貴紅

（1. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司鐵路基礎(chǔ)設(shè)施檢測(cè)中心，北京 100081；2. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081；3. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司科技和信息化部，北京 100081）

0 引言

近年來，中國(guó)國(guó)家鐵路集團(tuán)有限公司（簡(jiǎn)稱國(guó)鐵集團(tuán)）針對(duì)鐵路建設(shè)和運(yùn)營(yíng)的重大技術(shù)問題，先后組織一系列重大綜合試驗(yàn)任務(wù)，如大西客專時(shí)速350 km高鐵成套技術(shù)綜合試驗(yàn)、京沈客專自主化智能高鐵技術(shù)綜合試驗(yàn)、京津城際鐵路時(shí)速350 km達(dá)速檢測(cè)試驗(yàn)、蘭新客專貨車適應(yīng)性動(dòng)態(tài)性能試驗(yàn)、西成客專長(zhǎng)大下坡動(dòng)車組制動(dòng)專項(xiàng)試驗(yàn)等，為鐵路新技術(shù)研發(fā)、新產(chǎn)品應(yīng)用、運(yùn)輸組織創(chuàng)新等提供了試驗(yàn)驗(yàn)證。

綜合試驗(yàn)分為前期準(zhǔn)備、試驗(yàn)實(shí)施及試驗(yàn)總結(jié)等階段［1]，綜合試驗(yàn)全流程示意見圖1。綜合試驗(yàn)在各階段不斷產(chǎn)生并積累大量數(shù)據(jù)，經(jīng)調(diào)研，綜合試驗(yàn)參試科目涉及車、機(jī)、工、電、輛等多個(gè)專業(yè)，涵蓋原始數(shù)據(jù)、過程數(shù)據(jù)和結(jié)果數(shù)據(jù)，涉及文本、圖紙、視頻、圖像、聲音等多種結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)類型，數(shù)據(jù)量級(jí)已達(dá)PB級(jí)［2]?，F(xiàn)階段，試驗(yàn)數(shù)據(jù)分散于各參試單位，由參試人員整理保存，數(shù)據(jù)管理形式存在兩方面不足：一是數(shù)據(jù)分散［3]，無法進(jìn)行跨專業(yè)數(shù)據(jù)共享及綜合分析；二是無法保障數(shù)據(jù)安全。

圖1 綜合試驗(yàn)全流程示意圖

由于試驗(yàn)數(shù)據(jù)歷史存量大、增量大，傳統(tǒng)數(shù)據(jù)庫(kù)無法對(duì)海量數(shù)據(jù)資源有效利用。目前，各參試單位雖然暫時(shí)保存了綜合試驗(yàn)數(shù)據(jù)，但無法充分挖掘其內(nèi)在價(jià)值并進(jìn)行歷史數(shù)據(jù)關(guān)聯(lián)分析。不斷增長(zhǎng)的試驗(yàn)數(shù)據(jù)反映了裝備、系統(tǒng)、平臺(tái)、產(chǎn)品等的技術(shù)參數(shù)，是鐵路大數(shù)據(jù)的重要組成部分。因此，研究基于大數(shù)據(jù)的高速鐵路綜合試驗(yàn)數(shù)據(jù)管理技術(shù)，是保障高速鐵路綜合試驗(yàn)數(shù)據(jù)安全和高效管理的需要，是充分挖掘高速鐵路綜合試驗(yàn)大數(shù)據(jù)價(jià)值的需要，是綜合試驗(yàn)數(shù)據(jù)管理體系建設(shè)和數(shù)據(jù)共享的需要。

1 綜合試驗(yàn)數(shù)據(jù)管理方法論

針對(duì)綜合試驗(yàn)數(shù)據(jù)管理存在的各項(xiàng)問題，在調(diào)研試驗(yàn)現(xiàn)場(chǎng)數(shù)據(jù)類型、數(shù)據(jù)分析需求、數(shù)據(jù)共享需求的基礎(chǔ)上，結(jié)合鐵路數(shù)據(jù)服務(wù)平臺(tái)基于Hadoop、HDFS、Spark、Hive、Kafka等技術(shù)的存儲(chǔ)分析能力［4]，規(guī)劃并設(shè)計(jì)一種支持各類試驗(yàn)數(shù)據(jù)的收集、分析和共享的方法論，形成流程管理、質(zhì)量管理、安全管理、共享管理的程序和規(guī)則，涉及工作職責(zé)、數(shù)據(jù)流程、數(shù)據(jù)命名、數(shù)據(jù)安全等管理內(nèi)容。

1.1 工作職責(zé)

基于大數(shù)據(jù)技術(shù)的綜合試驗(yàn)數(shù)據(jù)管理的數(shù)據(jù)流轉(zhuǎn)示意見圖2。數(shù)據(jù)管理流程涉及試驗(yàn)人員、各參試單位數(shù)據(jù)管理小組、項(xiàng)目數(shù)據(jù)管理小組、項(xiàng)目指揮部等不同人員。其中，試驗(yàn)人員及各參試單位數(shù)據(jù)管理小組負(fù)責(zé)整理本單位試驗(yàn)數(shù)據(jù)，提煉需要使用鐵路數(shù)據(jù)服務(wù)平臺(tái)進(jìn)行存儲(chǔ)的關(guān)鍵指標(biāo)試驗(yàn)數(shù)據(jù)，并對(duì)每日試驗(yàn)數(shù)據(jù)進(jìn)行采集、整理、轉(zhuǎn)換、檢查、提交；項(xiàng)目數(shù)據(jù)管理小組負(fù)責(zé)將各參試單位試驗(yàn)數(shù)據(jù)接入鐵路數(shù)據(jù)服務(wù)平臺(tái)，按不同試驗(yàn)項(xiàng)目劃分不同租戶，設(shè)定相應(yīng)權(quán)限進(jìn)行分類管理，維護(hù)鐵路數(shù)據(jù)服務(wù)平臺(tái)，對(duì)大數(shù)據(jù)使用共享提供技術(shù)支持；項(xiàng)目指揮部負(fù)責(zé)試驗(yàn)期間對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一管理，協(xié)調(diào)并督促各參試單位進(jìn)行數(shù)據(jù)管理。

綜合試驗(yàn)現(xiàn)場(chǎng)數(shù)據(jù)管理工作需要在項(xiàng)目部統(tǒng)一領(lǐng)導(dǎo)下進(jìn)行，原則上要求各參試單位每日上報(bào)數(shù)據(jù)，由項(xiàng)目部統(tǒng)一存儲(chǔ)管理。

圖2 綜合試驗(yàn)數(shù)據(jù)管理的數(shù)據(jù)流轉(zhuǎn)示意圖

1.2 數(shù)據(jù)流程

綜合試驗(yàn)數(shù)據(jù)收集管理流程如下：

（1）數(shù)據(jù)采集。每日試驗(yàn)完畢后，車上測(cè)試人員及時(shí)采集車載系統(tǒng)試驗(yàn)數(shù)據(jù)，地面測(cè)試人員及時(shí)采集地面測(cè)點(diǎn)試驗(yàn)數(shù)據(jù)。

（2）數(shù)據(jù)整理。各數(shù)據(jù)管理小組每日將試驗(yàn)數(shù)據(jù)按規(guī)范格式命名整理，同時(shí)導(dǎo)出關(guān)鍵數(shù)據(jù)指標(biāo)。

（3）數(shù)據(jù)檢查。對(duì)數(shù)據(jù)的完整性、規(guī)范性、準(zhǔn)確性和有效性進(jìn)行檢查，檢查通過后方可提交。

（4）數(shù)據(jù)提交。原則上當(dāng)日提交試驗(yàn)數(shù)據(jù)至現(xiàn)場(chǎng)數(shù)據(jù)管理系統(tǒng)（鐵路數(shù)據(jù)服務(wù)平臺(tái)前置機(jī)服務(wù)器）進(jìn)行臨時(shí)存儲(chǔ)。

（5）數(shù)據(jù)傳輸與匯交。綜合試驗(yàn)期間，試驗(yàn)數(shù)據(jù)在現(xiàn)場(chǎng)數(shù)據(jù)管理系統(tǒng)進(jìn)行臨時(shí)存儲(chǔ)，綜合試驗(yàn)結(jié)束后，將鐵路數(shù)據(jù)服務(wù)平臺(tái)前置機(jī)服務(wù)器（現(xiàn)場(chǎng)）與平臺(tái)集群服務(wù)器通過網(wǎng)絡(luò)以工作流定時(shí)執(zhí)行的方式自動(dòng)同步保存至鐵路數(shù)據(jù)服務(wù)平臺(tái)的集群服務(wù)器。

1.3 數(shù)據(jù)命名

為規(guī)范化管理綜合試驗(yàn)數(shù)據(jù)并便于后期數(shù)據(jù)開放共享，在匯集試驗(yàn)數(shù)據(jù)的同時(shí)，采集試驗(yàn)數(shù)據(jù)的元數(shù)據(jù)信息。試驗(yàn)數(shù)據(jù)命名應(yīng)包含以下要素：試驗(yàn)單位、試驗(yàn)項(xiàng)目（簡(jiǎn)稱）、數(shù)據(jù)類型、試驗(yàn)列車、試驗(yàn)車次、試驗(yàn)工點(diǎn)、速度級(jí)、試驗(yàn)時(shí)間、數(shù)據(jù)格式等。

（1）車載系統(tǒng)試驗(yàn)數(shù)據(jù)命名規(guī)則為：試驗(yàn)時(shí)間-試驗(yàn)單位-負(fù)責(zé)人-試驗(yàn)項(xiàng)目-數(shù)據(jù)類型-試驗(yàn)列車-試驗(yàn)車次-行別-試驗(yàn)工點(diǎn)（可選）-速度級(jí)（可選）（數(shù)據(jù)格式）。

示例：20190310-XX 所-負(fù)責(zé)人-軌道狀態(tài)車輛響應(yīng)關(guān)聯(lián)關(guān)系試驗(yàn)-軌檢數(shù)據(jù)-CRH380AM-55706-下行-350（CIT）。

（2）地面測(cè)點(diǎn)試驗(yàn)數(shù)據(jù)命名規(guī)則為：試驗(yàn)時(shí)間-試驗(yàn)單位-負(fù)責(zé)人-試驗(yàn)項(xiàng)目-數(shù)據(jù)類型-試驗(yàn)列車-試驗(yàn)車次-行別-試驗(yàn)工點(diǎn)-速度級(jí)（數(shù)據(jù)格式）。

示例：20190310-XX 所-負(fù)責(zé)人-道岔直向試驗(yàn)-輪軌力及位移數(shù)據(jù)-CRH380AM-55706-下行-K198+750-350（STS）。

1.4 數(shù)據(jù)安全

對(duì)于綜合試驗(yàn)數(shù)據(jù)的存儲(chǔ)管理，安全保障是重中之重，需應(yīng)用各種數(shù)據(jù)安全防護(hù)系統(tǒng)或軟件，以保障服務(wù)器、數(shù)據(jù)庫(kù)和文檔的數(shù)據(jù)安全。

1.4.1 服務(wù)器

應(yīng)用北京網(wǎng)御星云信息技術(shù)有限公司的運(yùn)維安全網(wǎng)關(guān)V3.0（堡壘機(jī)）系統(tǒng)，針對(duì)業(yè)務(wù)環(huán)境下的用戶運(yùn)維操作，進(jìn)行控制和審計(jì)的合規(guī)性管控［5]。通過對(duì)自然人身份、資源、資源賬號(hào)的集中管理建立“自然人—資源—資源賬號(hào)”對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)自然人對(duì)資源的統(tǒng)一授權(quán)。同時(shí)，對(duì)授權(quán)人員的運(yùn)維操作進(jìn)行記錄、分析、展現(xiàn)，實(shí)現(xiàn)事前規(guī)劃預(yù)防、事中實(shí)時(shí)監(jiān)控、違規(guī)行為響應(yīng)、事后合規(guī)報(bào)告、事故追蹤回放，加強(qiáng)內(nèi)部業(yè)務(wù)操作行為監(jiān)管，避免核心資產(chǎn)（服務(wù)器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等）損失，保障業(yè)務(wù)系統(tǒng)正常運(yùn)營(yíng)。系統(tǒng)可實(shí)現(xiàn)客戶端工具的自動(dòng)調(diào)出、密碼代填和操作審計(jì)等功能。

1.4.2 數(shù)據(jù)庫(kù)

應(yīng)用數(shù)據(jù)庫(kù)審計(jì)系統(tǒng)，對(duì)數(shù)據(jù)庫(kù)操作行為和內(nèi)容進(jìn)行審計(jì)，以及對(duì)業(yè)務(wù)運(yùn)維操作行為進(jìn)行細(xì)粒度的合規(guī)性審計(jì)和管理［6]。通過對(duì)內(nèi)部人員的數(shù)據(jù)庫(kù)操作及運(yùn)維操作等網(wǎng)絡(luò)行為進(jìn)行解析、分析、記錄、匯報(bào)，實(shí)現(xiàn)事前規(guī)劃預(yù)防、事中實(shí)時(shí)監(jiān)視、事后合規(guī)報(bào)告、事故追蹤溯源，加強(qiáng)內(nèi)外部網(wǎng)絡(luò)行為監(jiān)管。

1.4.3 文檔

應(yīng)用文檔安全加密軟件，提供文檔（文件）安全的全方位解決方案，確保受控文件安全。軟件可實(shí)現(xiàn)以下功能：（1）實(shí)時(shí)透明加密；（2）客戶端自我防護(hù)；（3）用戶權(quán)限管理；（4）文檔等級(jí)控制；（5）容災(zāi)保護(hù)機(jī)制；（6）系統(tǒng)日志審計(jì)；（7）身份認(rèn)證集成；（8）自定義審批流程；（9）差異化的反截屏控制；（10）窗口浮水??；（11）穿透壓縮包操作；（12）監(jiān)控指定目錄設(shè)置；（13）賬號(hào)安全保護(hù)。

2 高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)開發(fā)

根據(jù)《鐵路信息化總體規(guī)劃》總體要求，依托鐵路數(shù)據(jù)服務(wù)平臺(tái)，采用“平臺(tái)+應(yīng)用”的服務(wù)模式，利用鐵路數(shù)據(jù)服務(wù)平臺(tái)具備的數(shù)據(jù)存儲(chǔ)共享和分析計(jì)算能力，設(shè)計(jì)并開發(fā)了高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)。

2.1 總體架構(gòu)

高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)包含綜合試驗(yàn)前置服務(wù)系統(tǒng)和試驗(yàn)數(shù)據(jù)大數(shù)據(jù)服務(wù)系統(tǒng)2部分，其總體架構(gòu)見圖3。系統(tǒng)通過多租戶管理的方式為各參試單位提供相對(duì)獨(dú)立的管理應(yīng)用單元，通過權(quán)限確定數(shù)據(jù)的訪問、共享使用范圍［7]。

（1）綜合試驗(yàn)前置服務(wù)系統(tǒng)。即部署在試驗(yàn)現(xiàn)場(chǎng)進(jìn)行試驗(yàn)數(shù)據(jù)采集、專業(yè)內(nèi)數(shù)據(jù)分析、跨專業(yè)關(guān)聯(lián)分析的大數(shù)據(jù)平臺(tái)前置系統(tǒng)。系統(tǒng)對(duì)試驗(yàn)基礎(chǔ)信息數(shù)據(jù)、試驗(yàn)過程數(shù)據(jù)、試驗(yàn)分析結(jié)果數(shù)據(jù)等各類數(shù)據(jù)進(jìn)行管理。

（2）試驗(yàn)數(shù)據(jù)大數(shù)據(jù)服務(wù)系統(tǒng)。即部署在國(guó)鐵集團(tuán)鐵路數(shù)據(jù)服務(wù)平臺(tái)上的試驗(yàn)數(shù)據(jù)系統(tǒng)。系統(tǒng)由以下部分組成：

圖3 高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)總體架構(gòu)

①數(shù)據(jù)采集：對(duì)試驗(yàn)產(chǎn)生的數(shù)據(jù)進(jìn)行多維度采集，同時(shí)對(duì)采集過程進(jìn)行監(jiān)控。

②數(shù)據(jù)存儲(chǔ)：對(duì)海量多元異構(gòu)試驗(yàn)數(shù)據(jù)分類存儲(chǔ)，并對(duì)數(shù)據(jù)進(jìn)行元數(shù)據(jù)描述及管理。

③數(shù)據(jù)網(wǎng)關(guān)：對(duì)平臺(tái)數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)訪問管控。④數(shù)據(jù)處理：對(duì)平臺(tái)數(shù)據(jù)進(jìn)行清洗、加工等處理。⑤數(shù)據(jù)分析：對(duì)平臺(tái)數(shù)據(jù)進(jìn)行分析、脫敏等處理。⑥數(shù)據(jù)服務(wù)：提供數(shù)據(jù)目錄、數(shù)據(jù)開放和數(shù)據(jù)監(jiān)控功能。

⑦平臺(tái)運(yùn)行監(jiān)控管理：對(duì)高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資源進(jìn)行全生命周期管理，為業(yè)務(wù)人員提供數(shù)據(jù)資源使用與服務(wù)全過程可視化的檢索與瀏覽。

⑧平臺(tái)安全保障體系：保障數(shù)據(jù)安全及訪問安全。

⑨數(shù)據(jù)應(yīng)用：通過大數(shù)據(jù)技術(shù)提供輔助科研、指導(dǎo)生產(chǎn)、數(shù)據(jù)服務(wù)能力開放、算法模型能力開放及數(shù)據(jù)增值等能力。

2.2 功能組成

對(duì)應(yīng)上述總體架構(gòu)，高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)主要功能分為用戶應(yīng)用前端功能和后端功能。用戶應(yīng)用前端功能主要面向試驗(yàn)現(xiàn)場(chǎng)的即時(shí)管理分析；用戶應(yīng)用后端功能主要面向數(shù)據(jù)的綜合應(yīng)用。系統(tǒng)總體功能劃分見圖4。

圖4 高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)總體功能劃分

（1）前端功能主要用戶是現(xiàn)場(chǎng)試驗(yàn)人員和試驗(yàn)管理人員。其功能包括：試驗(yàn)數(shù)據(jù)接入、試驗(yàn)線路管理、綜合試驗(yàn)管理、測(cè)點(diǎn)信息管理、試驗(yàn)數(shù)據(jù)分析、系統(tǒng)管理、數(shù)據(jù)報(bào)表與報(bào)告、線路及項(xiàng)目信息檢索查詢等。此外，還包括相應(yīng)的用戶管理、配置管理、數(shù)據(jù)安全管理等一系列配套的支撐性功能。

①試驗(yàn)數(shù)據(jù)接入：對(duì)各類試驗(yàn)數(shù)據(jù)進(jìn)行導(dǎo)入操作，支持一鍵上傳及導(dǎo)入。試驗(yàn)數(shù)據(jù)包括非結(jié)構(gòu)化的試驗(yàn)原始數(shù)據(jù)、分析處理后的關(guān)鍵指標(biāo)數(shù)據(jù)。

②試驗(yàn)線路管理：在系統(tǒng)中對(duì)線路基本信息（如線路名、速度級(jí)、線路類型等）進(jìn)行管理，可進(jìn)行線路增刪改等管理操作。

③綜合試驗(yàn)管理：維護(hù)管理試驗(yàn)項(xiàng)目的各類基礎(chǔ)信息，包括試驗(yàn)大綱中的各項(xiàng)內(nèi)容：試驗(yàn)必要性、前期基礎(chǔ)、試驗(yàn)?zāi)康摹⒃囼?yàn)內(nèi)容、試驗(yàn)方法、試驗(yàn)測(cè)點(diǎn)布置、試驗(yàn)設(shè)備、參考標(biāo)準(zhǔn)、試驗(yàn)要求、試驗(yàn)計(jì)劃、試驗(yàn)條件、試驗(yàn)負(fù)責(zé)人、試驗(yàn)參與人員等。

④測(cè)點(diǎn)信息管理：基于GIS平臺(tái)對(duì)測(cè)點(diǎn)信息進(jìn)行管理，測(cè)點(diǎn)信息包括：所屬試驗(yàn)項(xiàng)目、試驗(yàn)專業(yè)、測(cè)點(diǎn)位置（里程信息）、測(cè)點(diǎn)負(fù)責(zé)人、該測(cè)點(diǎn)產(chǎn)生的數(shù)據(jù)類型及數(shù)據(jù)量匯總等。

⑤試驗(yàn)數(shù)據(jù)分析：分析各參試項(xiàng)目關(guān)鍵指標(biāo)數(shù)據(jù)，各專業(yè)根據(jù)需求在試驗(yàn)現(xiàn)場(chǎng)進(jìn)行相關(guān)趨勢(shì)分析、歷史數(shù)據(jù)對(duì)比分析等。此外，還包括綜合試驗(yàn)數(shù)據(jù)的關(guān)聯(lián)分析、查詢等功能。

⑥系統(tǒng)管理：系統(tǒng)用戶管理、菜單管理、日志管理、備份恢復(fù)管理等支撐性功能。

（2）后端功能主要用戶是國(guó)鐵集團(tuán)所有對(duì)試驗(yàn)數(shù)據(jù)有管理、分析、應(yīng)用需求的人員。其功能包括：數(shù)據(jù)對(duì)比分析、數(shù)據(jù)融合分析、數(shù)據(jù)綜合分析、數(shù)據(jù)報(bào)表與報(bào)告、全量歷史試驗(yàn)數(shù)據(jù)檢索查詢、全量試驗(yàn)數(shù)據(jù)訪問及獲取服務(wù)、數(shù)據(jù)目錄、租戶管理、權(quán)限管理、數(shù)據(jù)可視化等。此外，還包括大數(shù)據(jù)服務(wù)系統(tǒng)的支撐性功能。

2.3 數(shù)據(jù)共享

高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)為用戶提供綜合試驗(yàn)數(shù)據(jù)的共享功能。數(shù)據(jù)共享機(jī)制包括：

（1）數(shù)據(jù)脫敏［8]：避免敏感數(shù)據(jù)被用戶不合法查看；

（2）數(shù)據(jù)分級(jí)分類：對(duì)數(shù)據(jù)集按照業(yè)務(wù)類別進(jìn)行分類，并設(shè)置安全級(jí)別，提供不同級(jí)別用戶的數(shù)據(jù)共享規(guī)則；

（3）數(shù)據(jù)共享：針對(duì)不同用戶使用不同數(shù)據(jù)，能靈活方便地設(shè)置各種共享策略。

系統(tǒng)通過數(shù)據(jù)目錄展示的方式，為用戶提供數(shù)據(jù)資源瀏覽功能，用戶如需獲取數(shù)據(jù)，可通過系統(tǒng)提交數(shù)據(jù)使用申請(qǐng)，經(jīng)批準(zhǔn)后通過系統(tǒng)獲得申請(qǐng)的數(shù)據(jù)。

系統(tǒng)通過Restful API、JDBC/ODBC 連接的方式對(duì)外提供全量試驗(yàn)數(shù)據(jù)訪問及獲取服務(wù)。對(duì)于數(shù)據(jù)共享的接口，主要涉及非實(shí)時(shí)數(shù)據(jù)接口和實(shí)時(shí)數(shù)據(jù)接口：

（1）非實(shí)時(shí)數(shù)據(jù)接口：鐵路數(shù)據(jù)服務(wù)平臺(tái)統(tǒng)一采用RESTful；

（2）實(shí)時(shí)數(shù)據(jù)接口：采用Kafka 消息隊(duì)列、Web-Socket stomp、RESTful。

其他系統(tǒng)如需接入數(shù)據(jù)需協(xié)商數(shù)據(jù)接口方式、接入周期及網(wǎng)絡(luò)通道，作為數(shù)據(jù)共享的技術(shù)準(zhǔn)備。

3 結(jié)束語(yǔ)

基于大數(shù)據(jù)技術(shù)的試驗(yàn)數(shù)據(jù)管理方法論以及基于大數(shù)據(jù)技術(shù)的高速鐵路綜合試驗(yàn)數(shù)據(jù)系統(tǒng)均已在京沈客專自主化智能高鐵技術(shù)綜合試驗(yàn)中試用。該研究?jī)?yōu)化了現(xiàn)場(chǎng)數(shù)據(jù)管理流程，實(shí)現(xiàn)了基于大數(shù)據(jù)技術(shù)以高速鐵路綜合試驗(yàn)數(shù)據(jù)管理為核心的統(tǒng)一數(shù)據(jù)系統(tǒng)?；诖髷?shù)據(jù)技術(shù)充分挖掘高速鐵路綜合試驗(yàn)數(shù)據(jù)深層次價(jià)值，實(shí)現(xiàn)對(duì)各類試驗(yàn)數(shù)據(jù)的收集、管理、分析和共享服務(wù)等目標(biāo)，具備現(xiàn)場(chǎng)試驗(yàn)數(shù)據(jù)實(shí)時(shí)匯集管理、試驗(yàn)基礎(chǔ)信息管理、數(shù)據(jù)專項(xiàng)分析等功能，不僅解決了高速鐵路綜合試驗(yàn)數(shù)據(jù)分散存儲(chǔ)的不足，也保障了數(shù)據(jù)的安全和完整［9-10]。研究涵蓋試驗(yàn)準(zhǔn)備、實(shí)施及總結(jié)等階段，協(xié)助現(xiàn)場(chǎng)試驗(yàn)人員進(jìn)行數(shù)據(jù)的導(dǎo)入、查詢與分析，為后期進(jìn)行歷史數(shù)據(jù)對(duì)比分析、專項(xiàng)分析、數(shù)據(jù)共享等提供了有力支撐。