高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理技術(shù)研究與應(yīng)用

楊東盛， 東春昭， 韓春明， 徐貴紅

（1. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081；2. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司鐵路基礎(chǔ)設(shè)施檢測(cè)中心，北京 100081；3. 中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司基礎(chǔ)設(shè)施檢測(cè)研究所，北京 100081）

0 引言

聯(lián)調(diào)聯(lián)試［1］是高速鐵路建設(shè)的重要環(huán)節(jié)，是對(duì)全線各系統(tǒng)功能、性能、狀態(tài)和匹配關(guān)系的綜合測(cè)試、驗(yàn)證、調(diào)整和優(yōu)化的過(guò)程，為線路的開(kāi)通運(yùn)營(yíng)提供技術(shù)保障。聯(lián)調(diào)聯(lián)試項(xiàng)目在各專(zhuān)業(yè)的試驗(yàn)中積累了寶貴的測(cè)試數(shù)據(jù)，為鐵路設(shè)計(jì)、建設(shè)、運(yùn)營(yíng)、維護(hù)提供支持，為相應(yīng)標(biāo)準(zhǔn)制訂、修訂提供依據(jù)，也為設(shè)備健康管理、高效運(yùn)營(yíng)提供長(zhǎng)期保障。隨著智能高鐵建設(shè)的推進(jìn)，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)實(shí)現(xiàn)聯(lián)調(diào)聯(lián)試數(shù)據(jù)智能化綜合分析的要求不斷增加，對(duì)聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理提出了更高要求［2-3］。

高鐵聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理系統(tǒng)提供了一個(gè)數(shù)據(jù)匯集、分析應(yīng)用和共享服務(wù)的平臺(tái)，實(shí)現(xiàn)了聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)數(shù)據(jù)匯集管理、基礎(chǔ)信息維護(hù)、數(shù)據(jù)專(zhuān)項(xiàng)分析等功能，對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化的結(jié)果和原始數(shù)據(jù)實(shí)現(xiàn)關(guān)聯(lián)管理，并通過(guò)數(shù)據(jù)服務(wù)接口等途徑實(shí)現(xiàn)數(shù)據(jù)的安全共享及應(yīng)用能力。

根據(jù)聯(lián)調(diào)聯(lián)試數(shù)據(jù)采集及共享的特性，系統(tǒng)建設(shè)中提出了一些針對(duì)性的創(chuàng)新設(shè)計(jì)。在數(shù)據(jù)采集方面，系統(tǒng)通過(guò)將前置系統(tǒng)與大數(shù)據(jù)服務(wù)端分離部署的方式解決了聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)的網(wǎng)絡(luò)不通、無(wú)法直接回傳數(shù)據(jù)的問(wèn)題。同時(shí)，根據(jù)聯(lián)調(diào)聯(lián)試中結(jié)果數(shù)據(jù)與原始數(shù)據(jù)的特性，將非結(jié)構(gòu)化原始數(shù)據(jù)與結(jié)構(gòu)化的分析結(jié)果分別采用增量更新同步、依元數(shù)據(jù)標(biāo)簽抽取的方式，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)匯集。在數(shù)據(jù)共享方面，系統(tǒng)基于服務(wù)端的鐵路數(shù)據(jù)服務(wù)平臺(tái)提供分析及共享服務(wù)［4-5］。系統(tǒng)方案提供了多層級(jí)、分用戶(hù)的數(shù)據(jù)定制化獲取方案，從而實(shí)現(xiàn)安全可控的數(shù)據(jù)共享及使用服務(wù)。同時(shí)，根據(jù)采集時(shí)建立的結(jié)果數(shù)據(jù)與原始數(shù)據(jù)間的標(biāo)簽綁定關(guān)系，系統(tǒng)可實(shí)現(xiàn)靈活可控的數(shù)據(jù)表及文件訪問(wèn)，為聯(lián)調(diào)聯(lián)試跨專(zhuān)業(yè)數(shù)據(jù)分析挖掘和設(shè)備全生命周期數(shù)據(jù)分析提供有效支撐。

1 數(shù)據(jù)管理分析系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)總體設(shè)計(jì)框架

高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理系統(tǒng)的總體架構(gòu)主要分為前置系統(tǒng)、大數(shù)據(jù)服務(wù)端2 個(gè)部分，總體架構(gòu)見(jiàn)圖1。

圖1 高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理總體架構(gòu)

其中，前置系統(tǒng)部署在聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)用于數(shù)據(jù)采集，專(zhuān)業(yè)內(nèi)數(shù)據(jù)分析以及跨專(zhuān)業(yè)關(guān)聯(lián)分析。系統(tǒng)對(duì)各類(lèi)聯(lián)調(diào)聯(lián)試數(shù)據(jù)進(jìn)行管理，包括測(cè)試基礎(chǔ)信息數(shù)據(jù)、過(guò)程數(shù)據(jù)、分析結(jié)果數(shù)據(jù)等；大數(shù)據(jù)服務(wù)端是基于鐵路數(shù)據(jù)服務(wù)平臺(tái)提供的資源及服務(wù)能力構(gòu)建的聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理服務(wù)系統(tǒng)，包含數(shù)據(jù)匯集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)共享等功能。

1.2 前置系統(tǒng)

1.2.1 功能

前置系統(tǒng)在聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理系統(tǒng)整體框架中主要承擔(dān)現(xiàn)場(chǎng)數(shù)據(jù)集中采集任務(wù)，其系統(tǒng)功能主要涵蓋現(xiàn)場(chǎng)數(shù)據(jù)采集、數(shù)據(jù)的歸集及元數(shù)據(jù)標(biāo)簽管理等方面。

（1）現(xiàn)場(chǎng)數(shù)據(jù)采集。對(duì)數(shù)據(jù)源端上傳的數(shù)據(jù)根據(jù)文件名、上傳路徑、時(shí)間戳等標(biāo)志信息進(jìn)行初步分類(lèi)及完整性校驗(yàn)，并存儲(chǔ)元數(shù)據(jù)文件、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。

（2）數(shù)據(jù)歸集及管理。采集數(shù)據(jù)包括非結(jié)構(gòu)化的原始數(shù)據(jù)、分析處理后的結(jié)果數(shù)據(jù)等。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)解析后按規(guī)則存儲(chǔ)至前置系統(tǒng)數(shù)據(jù)庫(kù)；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，上傳后系統(tǒng)定期向大數(shù)據(jù)服務(wù)端的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)模塊導(dǎo)入。其中，元數(shù)據(jù)信息部分可以根據(jù)文件名自動(dòng)提取，并提供測(cè)試人員增補(bǔ)的功能。

（3）向服務(wù)端上傳數(shù)據(jù)。前置系統(tǒng)部署在測(cè)試現(xiàn)場(chǎng)，系統(tǒng)采集到的數(shù)據(jù)會(huì)根據(jù)項(xiàng)目進(jìn)展定期進(jìn)行數(shù)據(jù)上傳導(dǎo)入。前置系統(tǒng)帶回接入內(nèi)網(wǎng)后，結(jié)構(gòu)化數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)同步的方式整體導(dǎo)入至大數(shù)據(jù)服務(wù)端的數(shù)據(jù)倉(cāng)庫(kù)；非結(jié)構(gòu)化數(shù)據(jù)根據(jù)讀取路徑拷貝的方式導(dǎo)入至相應(yīng)存儲(chǔ)模塊。

（4）數(shù)據(jù)檢索、分析及展示。前置系統(tǒng)提供初步的Web 頁(yè)面檢索、分析及圖表展示等管理分析功能，為實(shí)現(xiàn)聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)的數(shù)據(jù)管理提供簡(jiǎn)單便捷的操作處理?xiàng)l件。

1.2.2 設(shè)計(jì)實(shí)現(xiàn)

前置系統(tǒng)功能的設(shè)計(jì)實(shí)現(xiàn)，主要需考慮聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)的硬件部署、現(xiàn)場(chǎng)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的采集存儲(chǔ)方式等。

（1）硬件部署。前置系統(tǒng)在聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)采用與互聯(lián)網(wǎng)物理隔離的方式，保障數(shù)據(jù)安全，即在聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)采用與內(nèi)網(wǎng)環(huán)境相同的安全策略。聯(lián)調(diào)聯(lián)試結(jié)束后，數(shù)據(jù)通過(guò)物理存儲(chǔ)介質(zhì)攜帶回內(nèi)網(wǎng)環(huán)境，并傳入大數(shù)據(jù)服務(wù)端存儲(chǔ)管理。

（2）數(shù)據(jù)管理。對(duì)于結(jié)構(gòu)化（半結(jié)構(gòu)化）數(shù)據(jù)，系統(tǒng)采用FTP/SFTP 上傳半結(jié)構(gòu)化文件并按規(guī)則解析入庫(kù)等方式存入前置數(shù)據(jù)庫(kù)中；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)采用Web頁(yè)面上傳，F(xiàn)TP周期性自動(dòng)上傳等方式存儲(chǔ)在前置機(jī)中。結(jié)構(gòu)化數(shù)據(jù)解析入庫(kù)前，需經(jīng)過(guò)簡(jiǎn)單的數(shù)據(jù)清洗和完整性校驗(yàn)；非結(jié)構(gòu)化數(shù)據(jù)可根據(jù)自動(dòng)提取的元數(shù)據(jù)補(bǔ)充相關(guān)標(biāo)簽后，與結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)。

（3）采集接口。前置系統(tǒng)在聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)只對(duì)外提供數(shù)據(jù)采集接口，形式可以包括Web頁(yè)面錄入、FTP上傳半結(jié)構(gòu)化文件并按規(guī)則解析入庫(kù)、Kafka［6］、Socket或RESTful［7］等接口獲取數(shù)據(jù)流等方式。

1.3 大數(shù)據(jù)服務(wù)端

1.3.1 功能

大數(shù)據(jù)服務(wù)端功能主要由鐵路數(shù)據(jù)服務(wù)平臺(tái)的資源和能力提供，包括數(shù)據(jù)匯集、數(shù)據(jù)管理、數(shù)據(jù)共享等基礎(chǔ)功能。并在此基礎(chǔ)上，提供綜合分析、可視化展示等應(yīng)用功能。

（1）數(shù)據(jù)匯集。項(xiàng)目結(jié)束后，現(xiàn)場(chǎng)采集數(shù)據(jù)由前置機(jī)帶回內(nèi)網(wǎng)環(huán)境。對(duì)結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)服務(wù)端的關(guān)系型數(shù)據(jù)庫(kù)通過(guò)增量更新同步，將新增數(shù)據(jù)匯集存儲(chǔ)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)服務(wù)端的對(duì)象存儲(chǔ)功能模塊根據(jù)文件的時(shí)間戳，將新增數(shù)據(jù)同步存儲(chǔ)，用于分析、在線瀏覽和共享使用。

（2）數(shù)據(jù)管理。大數(shù)據(jù)服務(wù)端根據(jù)聯(lián)調(diào)聯(lián)試各類(lèi)數(shù)據(jù)的數(shù)據(jù)量大小、使用情況等因素，調(diào)配資源，將逐步積累的大量清洗、治理后的結(jié)構(gòu)化數(shù)據(jù)遷移到數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)，將積累的非結(jié)構(gòu)化歷史文件遷移到分布式文件系統(tǒng)（HDFS），供數(shù)據(jù)分析使用。

（3）數(shù)據(jù)目錄及檢索。數(shù)據(jù)目錄將大數(shù)據(jù)服務(wù)端的數(shù)據(jù)按照分類(lèi)進(jìn)行展現(xiàn)，用戶(hù)通過(guò)分類(lèi)找到包含若干屬性的數(shù)據(jù)表，使用戶(hù)能夠通過(guò)數(shù)據(jù)目錄獲知數(shù)據(jù)的種類(lèi)以及相關(guān)信息。用戶(hù)還可以在數(shù)據(jù)列表中根據(jù)相關(guān)字段對(duì)數(shù)據(jù)進(jìn)行篩選、排序、并根據(jù)關(guān)鍵字對(duì)內(nèi)容進(jìn)行檢索。

（4）數(shù)據(jù)分析。數(shù)據(jù)分析功能面向技術(shù)開(kāi)發(fā)人員、聯(lián)調(diào)聯(lián)試業(yè)務(wù)人員提供腳本開(kāi)發(fā)及自助分析2 部分功能，實(shí)現(xiàn)對(duì)聯(lián)試聯(lián)試數(shù)據(jù)的專(zhuān)業(yè)內(nèi)部分析、跨專(zhuān)業(yè)關(guān)聯(lián)分析功能。

1.3.2 設(shè)計(jì)實(shí)現(xiàn)

對(duì)于數(shù)據(jù)服務(wù)平臺(tái)聯(lián)調(diào)聯(lián)試相關(guān)的技術(shù)實(shí)現(xiàn)主要需考慮數(shù)據(jù)匯集、數(shù)據(jù)治理和數(shù)據(jù)共享3個(gè)方面。

（1）數(shù)據(jù)匯集。對(duì)于結(jié)構(gòu)化數(shù)據(jù)匯集，在內(nèi)網(wǎng)環(huán)境中，通過(guò)部署在前置系統(tǒng)的后臺(tái)程序與數(shù)據(jù)服務(wù)平臺(tái)關(guān)系型數(shù)據(jù)庫(kù)建立連接，將結(jié)構(gòu)化數(shù)據(jù)由前置機(jī)關(guān)系型數(shù)據(jù)庫(kù)（MySQL）上傳導(dǎo)入至平臺(tái)的PostgreSQL數(shù)據(jù)庫(kù)，其中大數(shù)據(jù)服務(wù)端的庫(kù)表結(jié)構(gòu)需與前置數(shù)據(jù)庫(kù)統(tǒng)一；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)匯集，前置系統(tǒng)與大數(shù)據(jù)服務(wù)端的對(duì)象存儲(chǔ)模塊建立連接，通過(guò)檢索判斷各文件在數(shù)據(jù)庫(kù)中存儲(chǔ)的元數(shù)據(jù)、路徑及時(shí)間戳，將新增文件自動(dòng)導(dǎo)入。

（2） 數(shù)據(jù)治理。在數(shù)據(jù)匯集的流處理階段（Flink）［8］對(duì)數(shù)據(jù)格式、完整性等進(jìn)行校驗(yàn)，對(duì)采集數(shù)據(jù)出現(xiàn)異常的情況進(jìn)行日志記錄和反饋，對(duì)清洗后的正常數(shù)據(jù)及元數(shù)據(jù)入庫(kù)存儲(chǔ)。

（3）數(shù)據(jù)共享。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，提供RESTful 風(fēng)格封裝的標(biāo)準(zhǔn)化接口進(jìn)行數(shù)據(jù)共享。數(shù)據(jù)服務(wù)平臺(tái)的用戶(hù)權(quán)限控制采用Kerberos 進(jìn)行認(rèn)證［9］，對(duì)外RESTful接口的權(quán)限控制由JWT Token 認(rèn)證的方式［10］實(shí)現(xiàn)。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，集成API 提供文檔文件的Web 網(wǎng)頁(yè)端在線編輯瀏覽，對(duì)于專(zhuān)業(yè)數(shù)據(jù)軟件，支持檢索下載使用或以遠(yuǎn)程訪問(wèn)的方式使用。

2 數(shù)據(jù)管理方案

2.1 閉環(huán)管理分析應(yīng)用流程

數(shù)據(jù)通過(guò)前置機(jī)采集，上傳抽取到內(nèi)網(wǎng)大數(shù)據(jù)服務(wù)端的數(shù)據(jù)服務(wù)平臺(tái)中，并由平臺(tái)提供數(shù)據(jù)的治理、分析和共享服務(wù)。數(shù)據(jù)采集和共享操作的具體流程見(jiàn)圖2。

在聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)，外部專(zhuān)業(yè)數(shù)據(jù)源數(shù)據(jù)通過(guò)前置系統(tǒng)的數(shù)據(jù)采集模塊經(jīng)上傳導(dǎo)入等操作進(jìn)入數(shù)據(jù)管理系統(tǒng)。隨后經(jīng)過(guò)數(shù)據(jù)完整性校驗(yàn)、增加時(shí)間戳標(biāo)記暫存于前置系統(tǒng)中。前置系統(tǒng)還提供對(duì)聯(lián)調(diào)聯(lián)試專(zhuān)業(yè)基礎(chǔ)數(shù)據(jù)的維護(hù)，主要包括對(duì)地面專(zhuān)業(yè)的測(cè)點(diǎn)數(shù)據(jù)錄入、試驗(yàn)基礎(chǔ)元數(shù)據(jù)維護(hù)以及結(jié)構(gòu)化結(jié)果數(shù)據(jù)、日?qǐng)?bào)文件與原始數(shù)據(jù)文件的綁定，以及對(duì)全部采集數(shù)據(jù)的管理（查詢(xún)、檢索及元數(shù)據(jù)維護(hù)）操作。

圖2 數(shù)據(jù)采集共享流程

聯(lián)調(diào)聯(lián)試結(jié)束后，存儲(chǔ)于前置機(jī)的數(shù)據(jù)由物理介質(zhì)帶回內(nèi)網(wǎng)環(huán)境。數(shù)據(jù)分別通過(guò)“結(jié)構(gòu)化數(shù)據(jù)同步”“非結(jié)構(gòu)化數(shù)據(jù)抽取”方式進(jìn)行數(shù)據(jù)匯集。結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)、非結(jié)構(gòu)化的原始文件存于大數(shù)據(jù)服務(wù)端提供的對(duì)象存儲(chǔ)服務(wù)中。針對(duì)聯(lián)調(diào)聯(lián)試現(xiàn)場(chǎng)與大數(shù)據(jù)服務(wù)端在數(shù)據(jù)采集過(guò)程中網(wǎng)絡(luò)不通無(wú)法交互的問(wèn)題，“結(jié)構(gòu)化數(shù)據(jù)同步”模塊在開(kāi)始同步前及同步中會(huì)記錄導(dǎo)入標(biāo)志位信息。在前置系統(tǒng)與大數(shù)據(jù)服務(wù)端網(wǎng)絡(luò)連通后，該設(shè)計(jì)方式可實(shí)現(xiàn)增量數(shù)據(jù)導(dǎo)入，從而避免了數(shù)據(jù)缺失、導(dǎo)入重復(fù)、數(shù)據(jù)結(jié)構(gòu)混亂、數(shù)據(jù)不連續(xù)等問(wèn)題的發(fā)生；“非結(jié)構(gòu)化數(shù)據(jù)抽取”模塊在結(jié)構(gòu)化的結(jié)果數(shù)據(jù)導(dǎo)入后進(jìn)行數(shù)據(jù)抽取，對(duì)于現(xiàn)場(chǎng)采集的“軌道幾何狀態(tài)”“動(dòng)車(chē)組動(dòng)力學(xué)響應(yīng)”“接觸網(wǎng)幾何狀態(tài)”等既存在測(cè)量結(jié)果值，也存在原始波形文件的試驗(yàn)數(shù)據(jù)，系統(tǒng)會(huì)在結(jié)構(gòu)化數(shù)據(jù)中標(biāo)記其抽取原始文件的路徑信息，取出到平臺(tái)后可根據(jù)結(jié)果數(shù)據(jù)尋找到原始數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)間的相互綁定。

匯集至大數(shù)據(jù)服務(wù)端的數(shù)據(jù)可以直接共享，也可通過(guò)數(shù)據(jù)治理或數(shù)據(jù)分析，提供更精細(xì)化的數(shù)據(jù)或直接提供分析結(jié)果共享使用。共享數(shù)據(jù)的獲取方式包括：Web 端在線瀏覽、專(zhuān)業(yè)軟件數(shù)據(jù)遠(yuǎn)程終端操作、應(yīng)用程序通過(guò)訂制化接口獲取等。

2.2 數(shù)據(jù)采集接入設(shè)計(jì)

2.2.1 數(shù)據(jù)接入方案

聯(lián)調(diào)聯(lián)試各試驗(yàn)項(xiàng)目數(shù)據(jù)采集、匯集及數(shù)據(jù)遷移同步至大數(shù)據(jù)服務(wù)端鐵路數(shù)據(jù)服務(wù)平臺(tái)的流程見(jiàn)圖3。各專(zhuān)業(yè)數(shù)據(jù)經(jīng)采集接入至數(shù)據(jù)管理系統(tǒng)，暫存至關(guān)系型數(shù)據(jù)庫(kù)和磁盤(pán)中，通過(guò)抽取操作由前置系統(tǒng)匯入鐵路數(shù)據(jù)服務(wù)平臺(tái)各對(duì)應(yīng)存儲(chǔ)模塊存儲(chǔ)。

圖3 聯(lián)調(diào)聯(lián)試數(shù)據(jù)接入流程

2.2.2 結(jié)構(gòu)化數(shù)據(jù)接入

對(duì)于結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)采用定制化數(shù)據(jù)遷移同步工具的方式，通過(guò)自主研發(fā)的數(shù)據(jù)遷移同步工具創(chuàng)建數(shù)據(jù)遷移同步任務(wù)，配置元數(shù)據(jù)倉(cāng)庫(kù)連接、目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)連接，錄入篩選條件對(duì)數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行篩選，最后將篩選的數(shù)據(jù)加載至目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。

2.2.3 非結(jié)構(gòu)化數(shù)據(jù)接入

非結(jié)構(gòu)化數(shù)據(jù)的接入與結(jié)構(gòu)化數(shù)據(jù)的對(duì)接是相互關(guān)聯(lián)的，采用訂制化數(shù)據(jù)遷移同步工具，分為以下3步：

（1）獲取非結(jié)構(gòu)化數(shù)據(jù)及元數(shù)據(jù)：在使用訂制化數(shù)據(jù)遷移同步工具對(duì)接結(jié)構(gòu)化數(shù)據(jù)時(shí)，獲取非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)位置及相應(yīng)的標(biāo)簽元數(shù)據(jù)。

（2）非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)：根據(jù)結(jié)構(gòu)化數(shù)據(jù)中記錄的文件存儲(chǔ)位置以及時(shí)間戳，調(diào)用大數(shù)據(jù)服務(wù)端對(duì)象存儲(chǔ)的非結(jié)構(gòu)化文件數(shù)據(jù)存儲(chǔ)接口，將新增數(shù)據(jù)及元數(shù)據(jù)同步到對(duì)象存儲(chǔ)中，并返回非結(jié)構(gòu)化數(shù)據(jù)的唯一標(biāo)識(shí)。

（3）關(guān)聯(lián)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)：非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)過(guò)程中，會(huì)返回非結(jié)構(gòu)化數(shù)據(jù)的唯一標(biāo)識(shí)，將此唯一標(biāo)識(shí)與對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)相關(guān)聯(lián)，存入目標(biāo)數(shù)據(jù)庫(kù)完成數(shù)據(jù)接入。

2.3 數(shù)據(jù)共享使用設(shè)計(jì)

2.3.1 用戶(hù)管理

大數(shù)據(jù)服務(wù)端通過(guò)用戶(hù)、角色、權(quán)限設(shè)計(jì)提供相應(yīng)的管理功能，不同的角色具備不同的操作權(quán)限（見(jiàn)圖4），各用戶(hù)可以有不同的角色以實(shí)現(xiàn)不同的交互功能和操作，通過(guò)租戶(hù)、角色及用戶(hù)的設(shè)計(jì)實(shí)現(xiàn)對(duì)多層級(jí)用戶(hù)的管理。這里租戶(hù)通常對(duì)應(yīng)1個(gè)部門(mén)，它是一個(gè)多人協(xié)作的工作空間，組內(nèi)可以有多個(gè)角色及用戶(hù)。角色是權(quán)限的承載機(jī)制，用于靈活配置各租戶(hù)或用戶(hù)的權(quán)限。用戶(hù)為系統(tǒng)普通成員，可由租戶(hù)分配角色，對(duì)平臺(tái)及相關(guān)數(shù)據(jù)進(jìn)行授權(quán)的操作。

圖4 大數(shù)據(jù)服務(wù)端用戶(hù)管理架構(gòu)

2.3.2 數(shù)據(jù)訪問(wèn)控制

數(shù)據(jù)管理系統(tǒng)通過(guò)數(shù)據(jù)訪問(wèn)權(quán)限的設(shè)計(jì)，實(shí)現(xiàn)不同用戶(hù)對(duì)各類(lèi)數(shù)據(jù)的訪問(wèn)控制。通過(guò)權(quán)限和角色控制機(jī)制，可以實(shí)現(xiàn)靈活可控的數(shù)據(jù)表及文件訪問(wèn)控制，以支撐跨專(zhuān)業(yè)的數(shù)據(jù)分析和共享能力，主要流程見(jiàn)圖5。

圖5 數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)存儲(chǔ)及訪問(wèn)流程

在前置系統(tǒng)中，各類(lèi)數(shù)據(jù)的訪問(wèn)權(quán)屬于各專(zhuān)業(yè)的數(shù)據(jù)源角色。各類(lèi)非結(jié)構(gòu)化數(shù)據(jù)采用獨(dú)立賬戶(hù)及根目錄存儲(chǔ)，從系統(tǒng)層面保障數(shù)據(jù)訪問(wèn)的獨(dú)立性，保障數(shù)據(jù)安全。

在大數(shù)據(jù)服務(wù)端，數(shù)據(jù)主要用于跨專(zhuān)業(yè)的綜合分析、共享等應(yīng)用，平臺(tái)通過(guò)租戶(hù)、用戶(hù)、角色等概念將用戶(hù)分組歸類(lèi)，保障數(shù)據(jù)使用的規(guī)范及安全可控，并提供靈活便捷的控制機(jī)制。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，平臺(tái)提供了細(xì)化到數(shù)據(jù)表的權(quán)限控制，可實(shí)現(xiàn)特定用戶(hù)對(duì)特定表或表空間的訪問(wèn)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)文件，平臺(tái)使用對(duì)象存儲(chǔ)的設(shè)計(jì)，為非結(jié)構(gòu)化數(shù)據(jù)分配獨(dú)立的數(shù)據(jù)存儲(chǔ)地址，數(shù)據(jù)使用者可根據(jù)授權(quán)訪問(wèn)特定的文件。

2.3.3 數(shù)據(jù)共享方式

除了頁(yè)面直接瀏覽、查詢(xún)和檢索（對(duì)于結(jié)構(gòu)化數(shù)據(jù)），或集成解析工具進(jìn)行在線的查看、編輯（對(duì)于非機(jī)構(gòu)化數(shù)據(jù)文件），數(shù)據(jù)管理系統(tǒng)對(duì)于多種試驗(yàn)數(shù)據(jù)還提供其他共享服務(wù)方式。

（1）對(duì)于結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)服務(wù)端對(duì)外提供RESTful 風(fēng)格封裝的標(biāo)準(zhǔn)化接口進(jìn)行數(shù)據(jù)共享。并提供用戶(hù)權(quán)限及接口的相關(guān)認(rèn)證機(jī)制。由此，大數(shù)據(jù)服務(wù)端可以對(duì)聯(lián)調(diào)聯(lián)試數(shù)據(jù)提供方便高效且安全的數(shù)據(jù)訪問(wèn)接口。

（2）對(duì)于非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)服務(wù)端提供基礎(chǔ)文檔文件的Web 網(wǎng)頁(yè)端在線編輯瀏覽功能；對(duì)于專(zhuān)業(yè)原始數(shù)據(jù)的訪問(wèn)，支持檢索下載或以遠(yuǎn)程方式通過(guò)終端連接到集成專(zhuān)業(yè)軟件的虛擬服務(wù)器調(diào)取數(shù)據(jù)。

3 實(shí)施應(yīng)用效果

聯(lián)調(diào)聯(lián)試數(shù)據(jù)分為車(chē)載測(cè)試項(xiàng)目數(shù)據(jù)及地面測(cè)試項(xiàng)目數(shù)據(jù)。車(chē)載測(cè)試項(xiàng)目包括軌道幾何狀態(tài)檢測(cè)、動(dòng)車(chē)組動(dòng)力學(xué)檢測(cè)、通信系統(tǒng)檢測(cè)等。地面測(cè)試項(xiàng)目包括軌道結(jié)構(gòu)動(dòng)力性能檢測(cè)、道岔動(dòng)力性能檢測(cè)、路基及過(guò)渡段動(dòng)力性能檢測(cè)等。數(shù)據(jù)管理系統(tǒng)需要根據(jù)不同系統(tǒng)的實(shí)際數(shù)據(jù)使用情況，提供適用于專(zhuān)業(yè)系統(tǒng)或軟件的定制化數(shù)據(jù)匯集方式。

根據(jù)聯(lián)調(diào)聯(lián)試各專(zhuān)業(yè)數(shù)據(jù)結(jié)構(gòu)，前置系統(tǒng)可進(jìn)行適配，并實(shí)現(xiàn)結(jié)構(gòu)化的結(jié)果數(shù)據(jù)與多種類(lèi)型的原始數(shù)據(jù)文件相互關(guān)聯(lián)。數(shù)據(jù)管理員選定專(zhuān)業(yè)菜單后，在結(jié)果數(shù)據(jù)管理中上傳結(jié)構(gòu)化數(shù)據(jù)，系統(tǒng)自動(dòng)識(shí)別入庫(kù)（見(jiàn)圖6）。上傳原始數(shù)據(jù)文件時(shí)則需先選定對(duì)應(yīng)的結(jié)果數(shù)據(jù)，從而實(shí)現(xiàn)關(guān)聯(lián)上傳。系統(tǒng)在記錄時(shí)解析文件名獲取行別、速度級(jí)等基礎(chǔ)標(biāo)簽信息，方便錄入。

圖6 前置系統(tǒng)數(shù)據(jù)上傳

在將數(shù)據(jù)導(dǎo)入至大數(shù)據(jù)服務(wù)端的數(shù)據(jù)服務(wù)平臺(tái)時(shí)，可預(yù)先在前置系統(tǒng)中配置好相應(yīng)的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)源地址。導(dǎo)入時(shí)選擇需要導(dǎo)入的數(shù)據(jù)專(zhuān)業(yè)及日期范圍即可實(shí)現(xiàn)將數(shù)據(jù)自動(dòng)接入平臺(tái)（見(jiàn)圖7）。

圖7 前置系統(tǒng)數(shù)據(jù)導(dǎo)入模塊

結(jié)果數(shù)據(jù)及原始文件分別可以在大數(shù)據(jù)服務(wù)端的數(shù)據(jù)資產(chǎn)管理和對(duì)象存儲(chǔ)菜單中進(jìn)行查詢(xún)檢索、在線瀏覽及下載使用，系統(tǒng)會(huì)根據(jù)用戶(hù)權(quán)限對(duì)其有權(quán)查看的內(nèi)容進(jìn)行呈現(xiàn)（見(jiàn)圖8）。其中，對(duì)于通用類(lèi)型文件，系統(tǒng)集成API提供直接在線編輯使用。大數(shù)據(jù)服務(wù)端提供數(shù)據(jù)自主分析功能，用戶(hù)根據(jù)需要可對(duì)存儲(chǔ)在平臺(tái)中的數(shù)據(jù)進(jìn)行挖掘、建模、可視化等大數(shù)據(jù)分析操作（見(jiàn)圖9）。

圖8 大數(shù)據(jù)服務(wù)端非結(jié)構(gòu)化數(shù)據(jù)檢索

圖9 大數(shù)據(jù)服務(wù)端數(shù)據(jù)自主分析

4 結(jié)束語(yǔ)

高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)管理技術(shù)通過(guò)前置系統(tǒng)與大數(shù)據(jù)服務(wù)端分離部署、數(shù)據(jù)接入模塊中根據(jù)元數(shù)據(jù)標(biāo)簽導(dǎo)入非結(jié)構(gòu)化數(shù)據(jù)、完整的數(shù)據(jù)訪問(wèn)控制機(jī)制及豐富的共享接口方式等創(chuàng)新設(shè)計(jì)，實(shí)現(xiàn)了對(duì)高速鐵路聯(lián)調(diào)聯(lián)試數(shù)據(jù)的集中統(tǒng)一管理和共享使用。同時(shí)，增加了聯(lián)調(diào)聯(lián)試周期的全流程管理，進(jìn)一步實(shí)現(xiàn)聯(lián)調(diào)聯(lián)試過(guò)程和數(shù)據(jù)管理的全覆蓋，保障聯(lián)調(diào)聯(lián)試數(shù)據(jù)的實(shí)時(shí)性和完整性。系統(tǒng)的部署及使用不僅實(shí)現(xiàn)了對(duì)現(xiàn)有聯(lián)調(diào)聯(lián)試數(shù)據(jù)的安全和有效管理維護(hù)，也為長(zhǎng)期積累各類(lèi)聯(lián)調(diào)聯(lián)試過(guò)程數(shù)據(jù)、對(duì)數(shù)據(jù)綜合對(duì)比分析等提供支撐，為充分挖掘聯(lián)調(diào)聯(lián)試數(shù)據(jù)的大數(shù)據(jù)價(jià)值提供了可能。