高速鐵路災(zāi)害監(jiān)測(cè)系統(tǒng)大數(shù)據(jù)分析

趙方霞，王 瑞，包 云，王嬌嬌

（中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所， 北京 100081）

鐵路行車環(huán)境復(fù)雜，包括沿線風(fēng)、雨、雪、地震等自然災(zāi)害及落石、落物等異物侵限和人為入侵等行為。多年來(lái)，國(guó)內(nèi)外鐵路因自然災(zāi)害及侵限引起的事故頻發(fā)，嚴(yán)重威脅著鐵路的行車安全，并造成了巨大的經(jīng)濟(jì)損失，因此各國(guó)都開(kāi)展了對(duì)高速鐵路防災(zāi)技術(shù)的研究[1-2]，并建立了相應(yīng)的防災(zāi)系統(tǒng)對(duì)危及列車運(yùn)行安全的自然災(zāi)害及侵限事件進(jìn)行監(jiān)測(cè)[3-8]，但這些研究大多數(shù)是災(zāi)害監(jiān)測(cè)系統(tǒng)的理論研究，目前關(guān)于災(zāi)害監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)數(shù)據(jù)的挖掘分析及運(yùn)用研究還比較少，因此有必要開(kāi)展災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析方面的工作，以指導(dǎo)災(zāi)害監(jiān)測(cè)系統(tǒng)的建設(shè)、運(yùn)用、維護(hù)和標(biāo)準(zhǔn)編制等工作。

目前，開(kāi)展災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析工作已經(jīng)具備條件，我國(guó)高速鐵路自2008年京津城際鐵路開(kāi)始建設(shè)自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)（簡(jiǎn)稱：災(zāi)害監(jiān)測(cè)系統(tǒng)），已開(kāi)通運(yùn)營(yíng)的高速鐵路均同步建有災(zāi)害監(jiān)測(cè)系統(tǒng)，建設(shè)早的線路災(zāi)害監(jiān)測(cè)系統(tǒng)已經(jīng)運(yùn)行了近10年，積累了大量的監(jiān)測(cè)、報(bào)警以及設(shè)備狀態(tài)數(shù)據(jù)，為大數(shù)據(jù)分析提供了基礎(chǔ)條件。此外，云計(jì)算、大數(shù)據(jù)等新信息技術(shù)及應(yīng)用的快速發(fā)展[9-12]，使高速鐵路災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析應(yīng)用成為可能。

1 高速鐵路災(zāi)害監(jiān)測(cè)系統(tǒng)概述

1.1 系統(tǒng)介紹

高速鐵路災(zāi)害監(jiān)測(cè)系統(tǒng)是為了保證高速鐵路行車安全，對(duì)危及列車運(yùn)行安全的自然災(zāi)害及異物侵限事件進(jìn)行實(shí)時(shí)監(jiān)測(cè)，全面掌握災(zāi)害報(bào)警信息，實(shí)現(xiàn)及時(shí)準(zhǔn)確的災(zāi)害報(bào)警和預(yù)警功能，從而防止或減輕因?yàn)?zāi)害引發(fā)的損失。

1.2 相關(guān)數(shù)據(jù)

高速鐵路災(zāi)害監(jiān)測(cè)系統(tǒng)目前存儲(chǔ)的數(shù)據(jù)包括：風(fēng)監(jiān)測(cè)及報(bào)警數(shù)據(jù)、雨監(jiān)測(cè)及報(bào)警數(shù)據(jù)、雪深監(jiān)測(cè)及報(bào)警數(shù)據(jù)、異物侵限電網(wǎng)狀態(tài)監(jiān)測(cè)及報(bào)警數(shù)據(jù)、設(shè)備狀態(tài)數(shù)據(jù)、監(jiān)控單元設(shè)備狀態(tài)數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)處理設(shè)備狀態(tài)數(shù)據(jù)、鐵路局中心設(shè)備狀態(tài)數(shù)據(jù)、氣象數(shù)據(jù)、日志文件、雪深視頻數(shù)據(jù)等。具體如表1所示。

表1 災(zāi)害監(jiān)測(cè)系統(tǒng)數(shù)據(jù)列表

2 高速鐵路災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析技術(shù)方案

2.1 技術(shù)架構(gòu)

高速鐵路災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析技術(shù)架構(gòu)主要是由數(shù)據(jù)層、存儲(chǔ)層、分析層和展示層組成，如圖1所示。各層之間相互協(xié)作，貫穿數(shù)據(jù)的產(chǎn)生、聚集、存儲(chǔ)、分析和應(yīng)用各個(gè)階段。技術(shù)架構(gòu)還包括標(biāo)準(zhǔn)規(guī)范和安全保障體系，用于規(guī)范化數(shù)據(jù)處理流程和提供安全可靠的訪問(wèn)機(jī)制。高速鐵路災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析環(huán)境技術(shù)組件主要以目前成熟的產(chǎn)品為主進(jìn)行集成，由Hadoop、MapReduce等開(kāi)源產(chǎn)品及技術(shù)構(gòu)成。

（1）數(shù)據(jù)層。大數(shù)據(jù)處理服務(wù)器從鐵路局中心系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器提取相關(guān)的分析數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)：監(jiān)測(cè)數(shù)據(jù)、報(bào)警數(shù)據(jù)、設(shè)備狀態(tài)數(shù)據(jù)、氣象數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)：日志文件；非結(jié)構(gòu)化數(shù)據(jù)：雪深視頻數(shù)據(jù)等，共同構(gòu)成了高速鐵路災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析的數(shù)據(jù)源。

（2）存儲(chǔ)層。根據(jù)數(shù)據(jù)的不同分類而選擇有針對(duì)性的數(shù)據(jù)交換工具，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的全面預(yù)處理。利用ETL實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換及加載，主要運(yùn)用Sqoop對(duì)關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行抽取，運(yùn)用Flume實(shí)現(xiàn)文件數(shù)據(jù)的采集。采用分布式文件系統(tǒng)（HDFS）、分布式數(shù)據(jù)庫(kù)（Hbase）等存儲(chǔ)技術(shù)，對(duì)災(zāi)害監(jiān)測(cè)相關(guān)數(shù)據(jù)提供大數(shù)據(jù)存儲(chǔ)支持。

（3）分析層?；贛apReduce分布式計(jì)算框架，利用工作流、分析算法和模型工具等數(shù)據(jù)分析引擎組件來(lái)實(shí)現(xiàn)大數(shù)據(jù)的處理和分析，并開(kāi)展大數(shù)據(jù)分析模型構(gòu)建，不斷驗(yàn)證和檢驗(yàn)這些模型，通過(guò)持續(xù)訓(xùn)練模型來(lái)提高分析準(zhǔn)確性，為應(yīng)用展示提供數(shù)據(jù)分析服務(wù)。在模型工具方面，Spark和MapReduce各有優(yōu)缺點(diǎn)，Spark在內(nèi)存中處理數(shù)據(jù)，速度雖然快但需要很大的內(nèi)存容量。而MapReduce是通過(guò)map和reduce操作在磁盤(pán)中處理數(shù)據(jù)。當(dāng)涉及需要重復(fù)讀取同樣的數(shù)據(jù)進(jìn)行迭代式計(jì)算時(shí)，適合選擇Spark，但是當(dāng)涉及單次讀取，類似ETL（抽取、轉(zhuǎn)換、加載）操作的任務(wù)，比如數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)整合等時(shí)，適合選擇MapReduce。

（4）展示層。是與最終用戶直接相關(guān)的一層，利用分析層提供的服務(wù)，結(jié)合用戶實(shí)際應(yīng)用需求，經(jīng)過(guò)簡(jiǎn)單的封裝加工后，以直觀、簡(jiǎn)便、可視化、便于操作的方式為各類用戶提供基于大數(shù)據(jù)的各種應(yīng)用展示服務(wù)。

（5）標(biāo)準(zhǔn)體系及安全保障體系。標(biāo)準(zhǔn)體系主要保證按統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行信息整合，提升數(shù)據(jù)的唯一性和一致性。安全保障體系主要為數(shù)據(jù)安全提供可靠保障。

2.2 功能分析

（1）災(zāi)害規(guī)律分析

利用已有的災(zāi)害監(jiān)測(cè)及報(bào)警的數(shù)據(jù)，建立災(zāi)害分析大數(shù)據(jù)模型，以此分析災(zāi)害發(fā)生的時(shí)空分布及變化規(guī)律，主要分析大風(fēng)、暴雨、暴雪時(shí)空分布規(guī)律；通過(guò)分析某一時(shí)間周期內(nèi)，災(zāi)害報(bào)警次數(shù)、影響時(shí)長(zhǎng)等參數(shù)對(duì)災(zāi)害報(bào)警進(jìn)行規(guī)律挖掘。

（2）災(zāi)害預(yù)警

利用已有的災(zāi)害監(jiān)測(cè)及報(bào)警數(shù)據(jù)，結(jié)合氣象局的氣象數(shù)據(jù)，利用機(jī)器學(xué)習(xí)以及氣象預(yù)報(bào)相關(guān)算法，建立災(zāi)害預(yù)測(cè)模型，對(duì)未來(lái)一定時(shí)期內(nèi)災(zāi)害發(fā)生概率及發(fā)展變化趨勢(shì)進(jìn)行預(yù)測(cè)和評(píng)估，對(duì)大風(fēng)和降雨量進(jìn)行預(yù)警。

圖1 災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析技術(shù)架構(gòu)

（3）運(yùn)用規(guī)則優(yōu)化

分析高速鐵路沿線風(fēng)、雨、雪持續(xù)規(guī)律，結(jié)合車輛傾覆時(shí)間，在保證安全的情況下，以“提高列車運(yùn)行效率”為目標(biāo)，得到最優(yōu)的報(bào)警/解除時(shí)限、限速區(qū)段設(shè)置。

（4）監(jiān)測(cè)點(diǎn)布設(shè)優(yōu)化

對(duì)既有災(zāi)害監(jiān)測(cè)點(diǎn)布置進(jìn)行評(píng)估和優(yōu)化，對(duì)新建災(zāi)害監(jiān)測(cè)點(diǎn)進(jìn)行設(shè)置，主要對(duì)風(fēng)、雨、雪等災(zāi)害監(jiān)測(cè)點(diǎn)布設(shè)進(jìn)行優(yōu)化分析，確定相應(yīng)的監(jiān)測(cè)點(diǎn)布設(shè)及補(bǔ)設(shè)方案。

（5）設(shè)備選型

綜合考慮涉及設(shè)備選型的各個(gè)因素，建立相應(yīng)的設(shè)備選型決策模型，對(duì)各種災(zāi)害監(jiān)測(cè)設(shè)備性能指標(biāo)進(jìn)行統(tǒng)計(jì)和對(duì)比分析，從而選取精度高、適應(yīng)性好、可靠性高的設(shè)備，包括風(fēng)、雨、雪監(jiān)測(cè)設(shè)備選型。

（6）設(shè)備狀態(tài)分析

針對(duì)災(zāi)害監(jiān)測(cè)系統(tǒng)的各臺(tái)設(shè)備，從各個(gè)特征維度進(jìn)行歸類，統(tǒng)計(jì)分析該類設(shè)備在各個(gè)維度上的表現(xiàn)情況，在此基礎(chǔ)上對(duì)設(shè)備重點(diǎn)故障、故障關(guān)聯(lián)因素、故障原因等進(jìn)行分析，并通過(guò)大數(shù)據(jù)深度學(xué)習(xí)算法，提取設(shè)備故障關(guān)聯(lián)性最大的特征，建立設(shè)備故障預(yù)警模型，對(duì)設(shè)備故障進(jìn)行預(yù)警，對(duì)設(shè)備的維護(hù)工作提供參考。災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析實(shí)現(xiàn)功能具體如圖2所示。

3 實(shí)例分析

以大風(fēng)規(guī)律和設(shè)備狀態(tài)數(shù)據(jù)為例，說(shuō)明大數(shù)據(jù)分析在災(zāi)害規(guī)律分析和設(shè)備運(yùn)行狀態(tài)分析方面的應(yīng)用，為災(zāi)害監(jiān)測(cè)和設(shè)備維護(hù)提供支持。

3.1 規(guī)律分析

以某線路L1和L2為例，統(tǒng)計(jì)風(fēng)速超過(guò)15 m/s的記錄進(jìn)行分析，結(jié)果如表2所示。從表2可以看出，L1介于15 ～16 m/s之間的大風(fēng)占49%，大于20 m/s的只占1.01%，未發(fā)生大于30 m/s的風(fēng)速值。L2線介于15～16 m/s占58%，大于20 m/s的只占1.11%。因此，如果可將現(xiàn)有大風(fēng)一級(jí)報(bào)警閾值從15 m/s提高至16 m/s，大風(fēng)報(bào)警將減少約50%左右，從而大幅度降低調(diào)度人員工作量。

對(duì)線路L1和L2報(bào)警次數(shù)以及報(bào)警等級(jí)分布進(jìn)行統(tǒng)計(jì)分析，結(jié)果如表3和表4所示，從表中看出，線路L1每個(gè)監(jiān)測(cè)點(diǎn)每月平均報(bào)警達(dá)到了141次；從報(bào)警等級(jí)看出線路L1和L2一級(jí)報(bào)警比例最高，其中，線路L2甚至占到了98%。

3.2 設(shè)備運(yùn)行狀態(tài)分析

根據(jù)對(duì)2013—2016年全路災(zāi)害監(jiān)測(cè)系統(tǒng)調(diào)研數(shù)據(jù)分析，災(zāi)害監(jiān)測(cè)系統(tǒng)的主要故障為電源故障、防雷模塊故障、風(fēng)速風(fēng)向計(jì)故障、監(jiān)控主機(jī)故障、通信模塊故障及雨量計(jì)故障等，具體故障原因統(tǒng)計(jì)如圖3所示，從中可以看出，電源故障是系統(tǒng)的主要故障。電源故障包括外電斷開(kāi)無(wú)法自投自復(fù)故障、UPS故障、專用電源故障、電源模塊自身故障等情況。災(zāi)害監(jiān)測(cè)設(shè)備狀態(tài)分析有助于認(rèn)識(shí)設(shè)備運(yùn)行規(guī)律，為系統(tǒng)維護(hù)提供數(shù)據(jù)支持。

圖2 災(zāi)害監(jiān)測(cè)大數(shù)據(jù)分析實(shí)現(xiàn)功能

表2 線路L1和L2風(fēng)速統(tǒng)計(jì)分析

表3 線路L1和L2報(bào)警次數(shù)統(tǒng)計(jì)分析

表4 線路L1和L2報(bào)警等級(jí)統(tǒng)計(jì)分析

圖3 2013—2016年災(zāi)害監(jiān)測(cè)系統(tǒng)故障原因統(tǒng)計(jì)

4 結(jié)束語(yǔ)

在建立高速鐵路災(zāi)害監(jiān)測(cè)系統(tǒng)大數(shù)據(jù)分析框架的基礎(chǔ)上，通過(guò)搭建大數(shù)據(jù)分析環(huán)境，實(shí)現(xiàn)高速鐵路災(zāi)害規(guī)律的挖掘分析和設(shè)備運(yùn)行狀態(tài)的統(tǒng)計(jì)分析，研究有助于發(fā)揮大數(shù)據(jù)對(duì)災(zāi)害監(jiān)測(cè)系統(tǒng)的系統(tǒng)設(shè)計(jì)、優(yōu)化、運(yùn)用維護(hù)、新技術(shù)研發(fā)、標(biāo)準(zhǔn)制定等工作的數(shù)據(jù)支持。下一步將通過(guò)大數(shù)據(jù)技術(shù)深入挖掘高速鐵路災(zāi)害規(guī)律，進(jìn)行災(zāi)害預(yù)警和設(shè)備狀態(tài)健康管理。