劉峰博,干葉婷,周 峰(同濟(jì)大學(xué)道路與交通工程教育部重點(diǎn)實(shí)驗(yàn)室,上海201804)
?
大數(shù)據(jù)技術(shù)在軌道交通應(yīng)急輔助決策系統(tǒng)中的應(yīng)用設(shè)計(jì)
劉峰博,干葉婷,周峰
(同濟(jì)大學(xué)道路與交通工程教育部重點(diǎn)實(shí)驗(yàn)室,上海201804)
摘要:從城市軌道交通網(wǎng)絡(luò)化運(yùn)營(yíng)條件出發(fā),針對(duì)應(yīng)急輔助決策系統(tǒng)將要應(yīng)對(duì)越來(lái)越復(fù)雜的異構(gòu)大數(shù)據(jù)問(wèn)題,探討大數(shù)據(jù)技術(shù)在系統(tǒng)中的應(yīng)用。首先分析系統(tǒng)中大數(shù)據(jù)的組成、特征和處理需求;隨后基于可借鑒的大數(shù)據(jù)處理技術(shù),構(gòu)建了應(yīng)急輔助決策系統(tǒng)中大數(shù)據(jù)的處理框架,并設(shè)計(jì)了數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析/挖掘和數(shù)據(jù)結(jié)果展現(xiàn)等5個(gè)環(huán)節(jié)的大數(shù)據(jù)處理技術(shù)應(yīng)用方法;最后基于北京市城市軌道交通現(xiàn)行方案,設(shè)計(jì)了融合大數(shù)據(jù)技術(shù)的應(yīng)急輔助決策系統(tǒng)流程。研究可為城市軌道交通應(yīng)急管理提供技術(shù)參考。
關(guān)鍵詞:軌道交通;應(yīng)急管理;大數(shù)據(jù);輔助決策
在城市軌道交通運(yùn)營(yíng)進(jìn)入網(wǎng)絡(luò)化的當(dāng)下,運(yùn)營(yíng)安全與可靠性是至關(guān)重要的問(wèn)題。軌道交通運(yùn)營(yíng)管理者需要對(duì)日常的運(yùn)營(yíng)質(zhì)量、治安事件加以控制,對(duì)大客流沖擊、突發(fā)事件等高效應(yīng)對(duì),以保障運(yùn)營(yíng)服務(wù)水平。應(yīng)急輔助決策系統(tǒng)負(fù)責(zé)開(kāi)展網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)采集發(fā)布、參數(shù)模式管理、系統(tǒng)維護(hù),以及對(duì)運(yùn)營(yíng)數(shù)據(jù)、業(yè)務(wù)指標(biāo)等進(jìn)行分析,為運(yùn)營(yíng)和建設(shè)提供輔助決策依據(jù)。需要軌道交通運(yùn)營(yíng)各專(zhuān)業(yè)系統(tǒng)及地面公共、消防、公安等外部資源的支持,需要收集和分析跨線路、跨專(zhuān)業(yè)、跨部門(mén)、跨行業(yè)的信息,以滿(mǎn)足網(wǎng)絡(luò)應(yīng)急事件的快速響應(yīng)、高效處置。
以往關(guān)于城市軌道交通應(yīng)急管理的研究,數(shù)據(jù)集成、信息處理往往是技術(shù)關(guān)注要點(diǎn)。邵偉中[1]、徐瑞華[2]等人研究了網(wǎng)絡(luò)應(yīng)急處置輔助決策的主要技術(shù)及相關(guān)問(wèn)題,在基于工作流的軌道交通應(yīng)急管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)中體現(xiàn)了貫穿始終的是信息處理,數(shù)據(jù)的頻繁下載上傳[3]。于鴻飛[4]等人在闡述應(yīng)急預(yù)案和案例的檢索技術(shù)時(shí)充分說(shuō)明了數(shù)據(jù)的多維性,用案例推理和專(zhuān)家知識(shí)方法分類(lèi)數(shù)據(jù),不同類(lèi)型數(shù)據(jù)用不同算法計(jì)算。李文杰[5]等人針對(duì)目前已有的城市交通安全運(yùn)營(yíng)、應(yīng)急管理的信息系統(tǒng),設(shè)計(jì)了基于SOA的應(yīng)急管理系統(tǒng)集成方案,實(shí)現(xiàn)了應(yīng)急管理各類(lèi)信息的共享和業(yè)務(wù)流程的協(xié)同處理。Yi Peng[6]等構(gòu)建了一個(gè)基于數(shù)據(jù)集成、數(shù)據(jù)挖掘和多目標(biāo)決策支持的突發(fā)事件應(yīng)急信息管理框架。Vagelis Hristidis[7]等系統(tǒng)詳細(xì)地討論了突發(fā)事件應(yīng)急管理每個(gè)過(guò)程中的數(shù)據(jù)管理及分析問(wèn)題,包含多參數(shù)實(shí)時(shí)動(dòng)態(tài)信息獲取、網(wǎng)絡(luò)監(jiān)測(cè)、海量數(shù)據(jù)集成、特征參數(shù)識(shí)別、網(wǎng)絡(luò)信息傳播、信息交互共享等。應(yīng)急輔助決策系統(tǒng)的基礎(chǔ)和關(guān)鍵是實(shí)時(shí)的數(shù)據(jù)處理和信息傳輸。目前系統(tǒng)內(nèi)部的數(shù)據(jù)處理主要采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)方法,要求數(shù)據(jù)的一致性和關(guān)聯(lián)性;系統(tǒng)與運(yùn)營(yíng)各專(zhuān)業(yè)系統(tǒng)和外部資源間的信息溝通則主要通過(guò)專(zhuān)用的通信設(shè)施進(jìn)行,要求高的穩(wěn)定性和可靠性。
在網(wǎng)絡(luò)化運(yùn)營(yíng)越來(lái)越復(fù)雜的情況下,城市軌道交通應(yīng)急輔助決策系統(tǒng)要應(yīng)對(duì)越來(lái)越復(fù)雜的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)挖掘和數(shù)據(jù)發(fā)布等需求,數(shù)據(jù)大量、連續(xù)、分布式、異構(gòu)、不斷變化,且應(yīng)急決策要求即時(shí)響應(yīng),傳統(tǒng)的關(guān)系數(shù)據(jù)管理(并行數(shù)據(jù)庫(kù))和不同部門(mén)系統(tǒng)間的互通方式均存在擴(kuò)展性和適應(yīng)性不足的問(wèn)題,將無(wú)法勝任數(shù)據(jù)分析越來(lái)越“大、多、快、準(zhǔn)”的高要求。而這些復(fù)雜的數(shù)據(jù)正符合大數(shù)據(jù)的特征,因此處理大數(shù)據(jù)可參考當(dāng)前比較先進(jìn)的技術(shù),在數(shù)據(jù)分析和信息傳輸方面尋找更可靠和長(zhǎng)遠(yuǎn)的方式。借鑒道路交通領(lǐng)域應(yīng)用大數(shù)據(jù)技術(shù)的經(jīng)驗(yàn)[8-11],探討大數(shù)據(jù)技術(shù)在軌道交通應(yīng)急輔助決策系統(tǒng)中的應(yīng)用。
1.1主要數(shù)據(jù)組成
1)客流監(jiān)視數(shù)據(jù)。網(wǎng)絡(luò)化運(yùn)營(yíng)時(shí)代的城市軌道交通,對(duì)客流的預(yù)測(cè)和監(jiān)視是從網(wǎng)絡(luò)、線路和車(chē)站3個(gè)層面出發(fā)。針對(duì)特定日期,比如國(guó)定節(jié)假日進(jìn)行客流預(yù)測(cè),以調(diào)整和實(shí)施新的運(yùn)行圖,并為大客流下的一些重要換乘站、一些繁忙線路以及整個(gè)網(wǎng)絡(luò)層面的運(yùn)營(yíng)協(xié)調(diào)提供預(yù)警,為大客流應(yīng)急指揮提供輔助支持。與此同時(shí),在運(yùn)營(yíng)時(shí)段進(jìn)行實(shí)時(shí)的客流監(jiān)視,以保障在突發(fā)情況下能夠及時(shí)而靈活地應(yīng)對(duì)。客流數(shù)據(jù)是基礎(chǔ),需分層分布采集和處理。
2)列車(chē)監(jiān)視數(shù)據(jù)。對(duì)運(yùn)營(yíng)中的列車(chē)和熱備列車(chē)進(jìn)行實(shí)時(shí)的追蹤檢測(cè):一方面能掌握其位置,確保其正常工作;另一方面輔助應(yīng)急情況的應(yīng)對(duì)策略,以求在突發(fā)事件后能夠在第一時(shí)間確定列車(chē)位置,實(shí)施列車(chē)清客、列車(chē)救援等行車(chē)調(diào)整方案。列車(chē)監(jiān)視數(shù)據(jù)包括對(duì)整個(gè)網(wǎng)絡(luò)中每一列車(chē)的每一項(xiàng)狀態(tài)指標(biāo)的實(shí)時(shí)監(jiān)視。
3)設(shè)備監(jiān)視數(shù)據(jù)。城市軌道交通應(yīng)急輔助決策同時(shí)也需要設(shè)施設(shè)備的實(shí)時(shí)數(shù)據(jù),比如信號(hào)系統(tǒng)設(shè)備是否正常運(yùn)轉(zhuǎn)、通信設(shè)備是否通暢等,這些數(shù)據(jù)是應(yīng)急情況下下達(dá)列車(chē)運(yùn)行調(diào)整策略、客運(yùn)組織調(diào)整計(jì)劃等的基礎(chǔ)保障。
4)電子化預(yù)案數(shù)據(jù)。為了便于機(jī)動(dòng)化的應(yīng)急調(diào)度指揮,目前北京、上海等城市軌道交通網(wǎng)絡(luò)發(fā)達(dá)的城市均采用電子化、數(shù)字化的應(yīng)急預(yù)案系統(tǒng)。將設(shè)定好的預(yù)案輸入到預(yù)案管理系統(tǒng)中,應(yīng)急情況下結(jié)合調(diào)度規(guī)則和事故案例經(jīng)驗(yàn),能夠快速調(diào)用系統(tǒng)中適合當(dāng)下情況的預(yù)案。對(duì)預(yù)案數(shù)據(jù)進(jìn)行數(shù)字化管理、調(diào)用分析并與調(diào)度指揮相適應(yīng)。
5)應(yīng)急處置數(shù)據(jù)。主要指應(yīng)急事件處置報(bào)告、圖片、視頻、音頻等數(shù)據(jù),是針對(duì)具體事件的原始資料和處置結(jié)果,此類(lèi)數(shù)據(jù)是應(yīng)急處理和案例學(xué)習(xí)的重要參考,通常包括很多細(xì)節(jié),數(shù)據(jù)量大且不具有相對(duì)統(tǒng)一的格式。
1.2數(shù)據(jù)特征
1)一般性特征。應(yīng)急輔助數(shù)據(jù)是上述多個(gè)系統(tǒng)和環(huán)節(jié)的所有數(shù)據(jù)集,是軌道交通的大數(shù)據(jù),具有“4V”特征。規(guī)模性(Volume):數(shù)據(jù)的規(guī)模從MB級(jí)別向TB躍進(jìn),甚至將來(lái)可能是PB級(jí);多樣性(Variety):除了傳統(tǒng)的關(guān)系型數(shù)據(jù),視頻、音頻和圖片等非關(guān)系型數(shù)據(jù)量也越來(lái)越大;高速性(Velocity):應(yīng)急輔助大數(shù)據(jù)處理對(duì)時(shí)效性的要求非常高;價(jià)值性(Value):從海量數(shù)據(jù)中得到支持決策的信息是一個(gè)很大挑戰(zhàn)。如何對(duì)TB、PB級(jí)別的軌道交通數(shù)據(jù)進(jìn)行準(zhǔn)確、高效地處理和分析及預(yù)測(cè),做出即時(shí)和正確的應(yīng)急處置決策以保障城市軌道交通正常運(yùn)營(yíng)是目前亟待解決的關(guān)鍵問(wèn)題。
2)專(zhuān)業(yè)性特征。軌道交通應(yīng)急輔助數(shù)據(jù)同時(shí)具有其獨(dú)有的一些特征。一方面,客流數(shù)據(jù)、列車(chē)數(shù)據(jù)、設(shè)備數(shù)據(jù)等,它們的核心內(nèi)容都具有結(jié)構(gòu)化特征,有其各自統(tǒng)一的格式,具有可通用的數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn)、指標(biāo)體系等。另一方面,預(yù)案數(shù)據(jù)、應(yīng)急處置數(shù)據(jù)等較難形成統(tǒng)一的結(jié)構(gòu),目前大多以文件個(gè)數(shù)來(lái)統(tǒng)計(jì)。數(shù)據(jù)的不同結(jié)構(gòu)特征為建立完善即時(shí)的應(yīng)急輔助決策系統(tǒng)帶來(lái)了大挑戰(zhàn)。
圖1列舉了目前北京城市軌道交通網(wǎng)絡(luò)化運(yùn)營(yíng)中應(yīng)急決策所需的相關(guān)數(shù)據(jù),可見(jiàn)數(shù)據(jù)量大、來(lái)源豐富且數(shù)據(jù)類(lèi)型多樣。根據(jù)符合實(shí)際的估算,結(jié)構(gòu)化數(shù)據(jù)約50 TB,非結(jié)構(gòu)化數(shù)據(jù)約86 TB,非結(jié)構(gòu)化數(shù)據(jù)比例超過(guò)60%。
圖1 城市軌道交通大數(shù)據(jù)舉例(作者修訂源于文獻(xiàn)[12])Fig.1 Examples of urban rail transit big data
1.3數(shù)據(jù)處理需求
城市軌道交通網(wǎng)絡(luò)化環(huán)境下,對(duì)大量化、異構(gòu)化數(shù)據(jù)處理的高效性和可用性要求較高,在應(yīng)急條件下,尤其需要快速地提取到有效的預(yù)案信息、行車(chē)數(shù)據(jù)、客流數(shù)據(jù)等,同時(shí)要第一時(shí)間記錄事件的錄像、音頻等資料,以及后期的處置報(bào)告、案例分析等的存檔與管理。
傳統(tǒng)的并行數(shù)據(jù)庫(kù)技術(shù)無(wú)法勝任這種異構(gòu)化的數(shù)據(jù),因?yàn)樗揽坎⑿杏?jì)算提升數(shù)據(jù)處理速度,追求高度一致性和容錯(cuò)性。根據(jù)CAP(一致性Consistency,可用性Availability,分區(qū)容錯(cuò)性tolerance to network Partitions)理論,在分布式系統(tǒng)中,三者不可兼得,因而并行關(guān)系數(shù)據(jù)庫(kù)必然無(wú)法保證較好的可用性和擴(kuò)展性[13]。因此,必須尋找高擴(kuò)展性的數(shù)據(jù)分析技術(shù),在數(shù)據(jù)的采集、預(yù)處理、存儲(chǔ)、分析與挖掘、成果展現(xiàn)的全過(guò)程中有效應(yīng)用,為應(yīng)急決策提供輔助,大數(shù)據(jù)的處理技術(shù)為此開(kāi)拓了新思路。
2.1可借鑒的大數(shù)據(jù)處理技術(shù)
大數(shù)據(jù)處理技術(shù)主要指基于MapReduce思想實(shí)現(xiàn)的并行計(jì)算技術(shù),從基本的MapReduce平臺(tái)到Hadoop平臺(tái)、Spark平臺(tái),數(shù)據(jù)的處理效率越來(lái)越高。軌道交通應(yīng)急管理在強(qiáng)調(diào)快速響應(yīng)的同時(shí),也較為關(guān)注任務(wù)管理和數(shù)據(jù)計(jì)算的分布明確性,而Spark是基于內(nèi)存迭代計(jì)算的快速數(shù)據(jù)分析解決框架,不具備對(duì)計(jì)算任務(wù)的管理能力(需要第三方資源管理平臺(tái)調(diào)度分配任務(wù))[14],因此暫不考慮Spark處理技術(shù)。
1)MapReduce。MapReduce技術(shù)框架包含3個(gè)層面的內(nèi)容:①分布式文件系統(tǒng);②并行編程模型;③并行執(zhí)行引擎。文件系統(tǒng)數(shù)據(jù)存儲(chǔ)采用鍵/值對(duì)(Key/Value)模式,元數(shù)據(jù)集中管理與數(shù)據(jù)塊分散存儲(chǔ),通過(guò)數(shù)據(jù)復(fù)制(至少3份)實(shí)現(xiàn)高度容錯(cuò)。并行編程模型通過(guò)Map(分解)和Reduce(合并)2個(gè)階段,先分后合地按照Key/Value對(duì)處理數(shù)據(jù)。并行執(zhí)行引擎完成了這一系列并行計(jì)算過(guò)程。
該技術(shù)將傳統(tǒng)的查詢(xún)、分解及數(shù)據(jù)分析進(jìn)行分布式處理,將處理任務(wù)分配到不同的處理節(jié)點(diǎn),因此具有更強(qiáng)的并行處理能力。其對(duì)數(shù)據(jù)一致性要求不高,具有突出的擴(kuò)展性和可用性,特別適用于海量的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的混合處理。通過(guò)結(jié)合MapReduce技術(shù)進(jìn)行實(shí)時(shí)分析,某家電公司的信用計(jì)算時(shí)間從33 h縮短到8 s,而MKI的基因分析時(shí)間從數(shù)天縮短到20 min[15]。圖2是比較典型的基于MapReduce技術(shù)的大數(shù)據(jù)處理工具。
圖2 基于MapReduce技術(shù)的大數(shù)據(jù)處理工具Fig.2 Big data processing tools based on MapReduce
2)Hadoop。單純的MapReduce作為典型的離線計(jì)算框架,無(wú)法滿(mǎn)足在線實(shí)時(shí)計(jì)算需求。Hadoop是開(kāi)放源碼并行運(yùn)算編程工具和分散式檔案系統(tǒng),是MapReduce的開(kāi)源實(shí)現(xiàn),憑借其開(kāi)源和易用的特性,成為大數(shù)據(jù)處理的首選[16]。系統(tǒng)存儲(chǔ)由HDFS(分布式文件系統(tǒng))實(shí)現(xiàn),分析由MapReduce實(shí)現(xiàn)。Hadoop架構(gòu)支持在公有云端存儲(chǔ)EB量級(jí)數(shù)據(jù)的應(yīng)用,許多互聯(lián)網(wǎng)公司,包括Facebook、谷歌、eBay和雅虎等,都已開(kāi)發(fā)了基于Hadoop的EB量級(jí)超大規(guī)模數(shù)據(jù)應(yīng)用。
國(guó)內(nèi)外大數(shù)據(jù)技術(shù)的發(fā)展不斷創(chuàng)新,一些大集團(tuán)更是在爭(zhēng)先推出適應(yīng)自身的大數(shù)據(jù)處理技術(shù)和系統(tǒng)。因此,要從大體量、多類(lèi)別、異構(gòu)化的數(shù)據(jù)中快速提取價(jià)值,需要結(jié)合以MapReduce和Hadoop為代表的非關(guān)系數(shù)據(jù)分析技術(shù),改進(jìn)或重構(gòu)整個(gè)數(shù)據(jù)庫(kù)技術(shù)體系。2011年,F(xiàn)acebook首次公開(kāi)新數(shù)據(jù)處理分析平臺(tái)PUMA,通過(guò)對(duì)數(shù)據(jù)多處理環(huán)節(jié)區(qū)分優(yōu)化,相比之前單純采用Hadoop和Hive進(jìn)行處理的技術(shù),數(shù)據(jù)分析周期從2 d降到10 s以?xún)?nèi),效率提高數(shù)萬(wàn)倍[16]。
2.2大數(shù)據(jù)處理技術(shù)的應(yīng)用設(shè)計(jì)
軌道交通的大數(shù)據(jù)分析不能簡(jiǎn)單直接地使用一款數(shù)據(jù)分析軟件,而是要在數(shù)據(jù)處理需求的基礎(chǔ)上,分析如何實(shí)用到各環(huán)節(jié)中。通過(guò)對(duì)軌道交通突發(fā)事件應(yīng)急管理數(shù)據(jù)集成、數(shù)據(jù)挖掘及決策支持的分析,首先構(gòu)建了應(yīng)急輔助決策系統(tǒng)的大數(shù)據(jù)信息處理框架,如圖3所示;其次分析大數(shù)據(jù)處理技術(shù)在各環(huán)節(jié)中的應(yīng)用。
1)數(shù)據(jù)采集。對(duì)于城市軌道交通運(yùn)營(yíng)組織數(shù)據(jù)這類(lèi)保密性要求較高、涉及部門(mén)或系統(tǒng)較廣的數(shù)據(jù),應(yīng)該使用分布式異構(gòu)數(shù)據(jù)接口、特定API(應(yīng)用程序編程接口)采集,并傳到統(tǒng)一數(shù)據(jù)接口共享特定數(shù)據(jù)。對(duì)于一些非結(jié)構(gòu)化數(shù)據(jù),建立統(tǒng)一的本地?cái)?shù)據(jù)文件,以結(jié)構(gòu)化的形式存儲(chǔ)。在發(fā)現(xiàn)采集的數(shù)據(jù)與規(guī)定的標(biāo)準(zhǔn)或規(guī)范不符時(shí),應(yīng)及時(shí)修正,為應(yīng)急情況下的即時(shí)響應(yīng)做好數(shù)據(jù)基礎(chǔ)準(zhǔn)備。
2)數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理即提取有效信息?,F(xiàn)實(shí)數(shù)據(jù)經(jīng)常存在不完整或不一致、數(shù)據(jù)存在冗余的情況,需要對(duì)應(yīng)急處置決策信息數(shù)據(jù)進(jìn)行填補(bǔ)、篩選、合并、規(guī)格化、檢查一致性等預(yù)處理,并對(duì)數(shù)據(jù)的多種屬性進(jìn)行初步組織,從而提高數(shù)據(jù)分析質(zhì)量,減少分析時(shí)間,可以利用基于Hadoop的數(shù)據(jù)處理技術(shù),以提高處理效率。
3)數(shù)據(jù)存儲(chǔ)。目前數(shù)據(jù)的存儲(chǔ)采用很多臺(tái)PC存儲(chǔ),那么就需要保證其可用性,因?yàn)橐坏┌l(fā)生錯(cuò)誤,數(shù)據(jù)失效,將給正常運(yùn)營(yíng)和質(zhì)量分析帶來(lái)負(fù)面影響??蓱?yīng)用HDFS采用Key/Value的存儲(chǔ)模式,元數(shù)據(jù)集中管理與數(shù)據(jù)塊分散存儲(chǔ),且便于調(diào)用。另外,建議對(duì)重要的同一份運(yùn)營(yíng)數(shù)據(jù)在不同節(jié)點(diǎn)上存儲(chǔ)3份副本,以提高系統(tǒng)的容錯(cuò)性和可靠性,為應(yīng)急輔助決策提供有效的數(shù)據(jù)支持。同時(shí),整個(gè)應(yīng)急處置過(guò)程中的數(shù)據(jù)要與運(yùn)營(yíng)公司運(yùn)營(yíng)數(shù)據(jù)做到同步,雙方不斷更新實(shí)時(shí)應(yīng)急數(shù)據(jù)和運(yùn)營(yíng)數(shù)據(jù),為線網(wǎng)運(yùn)營(yíng)提供動(dòng)態(tài)保障。
圖3 應(yīng)急輔助決策系統(tǒng)的大數(shù)據(jù)處理框架Fig.3 Big data processing frame of emergency decision supporting system
4)數(shù)據(jù)分析/挖掘。對(duì)提取到的有效信息進(jìn)行分析挖掘得以生成解決方案,或者對(duì)應(yīng)急處置的資料數(shù)據(jù)、決策信息、處置結(jié)果進(jìn)行必要的分析研究時(shí),可以采用并行處理方式以提高異構(gòu)數(shù)據(jù)的處理效率,如上文提高的MapReduce技術(shù)。在處理過(guò)程中,各處理節(jié)點(diǎn)完成自身任務(wù)后,只需將結(jié)果返回給主控制節(jié)點(diǎn)即可,各處理節(jié)點(diǎn)間不進(jìn)行任何交互;并且當(dāng)數(shù)據(jù)量增加時(shí),要求只增加分布式服務(wù)節(jié)點(diǎn),無(wú)須修改分析算法。
5)數(shù)據(jù)結(jié)果展現(xiàn)。大數(shù)據(jù)場(chǎng)景下,結(jié)果展現(xiàn)更加注重交互式和可視化,主要形式有報(bào)表、圖形化、選擇性查詢(xún)等。在綜合運(yùn)營(yíng)協(xié)調(diào)中心、運(yùn)營(yíng)公司等用戶(hù)使用應(yīng)急輔助決策系統(tǒng)時(shí),為了快速方便地獲得自己所需的信息,需要與系統(tǒng)進(jìn)行交互,如對(duì)各類(lèi)查詢(xún)條件進(jìn)行組合篩選、增刪查詢(xún)條件、界面布局個(gè)性化定制等,從而增加信息獲取的靈活性和便捷性。
基于北京市城市軌道交通應(yīng)急管理的方法,設(shè)計(jì)了融合大數(shù)據(jù)技術(shù)的應(yīng)急輔助決策系統(tǒng)的業(yè)務(wù)流程,如圖4所示。其中白色箭頭均代表數(shù)據(jù)的傳遞和處理,存在于應(yīng)急處置的各個(gè)環(huán)節(jié)。數(shù)據(jù)同步意味著突發(fā)事件時(shí)的運(yùn)營(yíng)相關(guān)數(shù)據(jù)(客流、票務(wù)、行車(chē)、乘務(wù)、設(shè)備、路網(wǎng)、運(yùn)營(yíng)等結(jié)構(gòu)化數(shù)據(jù))與應(yīng)急事件數(shù)據(jù)(事件信息、應(yīng)急預(yù)案、錄音錄像、路網(wǎng)圖、運(yùn)行圖等非結(jié)構(gòu)化數(shù)據(jù))的采集、預(yù)處理、存儲(chǔ)、分析挖掘、結(jié)果展現(xiàn)等環(huán)節(jié)的快速、統(tǒng)一處理,且實(shí)現(xiàn)各個(gè)指揮調(diào)度終端的同步跟進(jìn)。
“自動(dòng)報(bào)警”、“人工報(bào)警”主要包括數(shù)據(jù)的采集階段,由北京市TCC(軌道交通路網(wǎng)指揮中心)指揮系統(tǒng)根據(jù)實(shí)時(shí)數(shù)據(jù)自動(dòng)報(bào)警或者運(yùn)營(yíng)公司實(shí)地運(yùn)營(yíng)數(shù)據(jù)發(fā)生異常后由調(diào)度相關(guān)人員報(bào)警;隨后應(yīng)急指揮中心對(duì)突發(fā)事件接警,進(jìn)行前期數(shù)據(jù)記錄和分析,由此利用人機(jī)交互界面選擇適當(dāng)?shù)念A(yù)案執(zhí)行,各級(jí)各部分對(duì)執(zhí)行過(guò)程的進(jìn)展進(jìn)行實(shí)時(shí)監(jiān)控。這一突發(fā)事件應(yīng)急處置的基本流程中,應(yīng)急指揮中心和運(yùn)營(yíng)公司在每一環(huán)節(jié)都要做到數(shù)據(jù)同步更新,以達(dá)到實(shí)時(shí)掌握運(yùn)營(yíng)動(dòng)態(tài),向調(diào)度人員、列車(chē)司機(jī)、乘客等發(fā)布實(shí)時(shí)有效的信息。決策信息最終以各類(lèi)形式顯示,調(diào)度中心和運(yùn)營(yíng)公司再進(jìn)行處置操作的評(píng)估報(bào)告分析,得到的數(shù)據(jù)報(bào)表可以存入應(yīng)急預(yù)案系統(tǒng),以備日后工作參考。
圖4 大數(shù)據(jù)技術(shù)的應(yīng)急輔助決策系統(tǒng)業(yè)務(wù)流程設(shè)計(jì)(修改于文獻(xiàn)[12])Fig.4 Business procedure of emergency decision supporting system based on big data technologies
在分析城市軌道交通應(yīng)急輔助大數(shù)據(jù)組成和特征的基礎(chǔ)之上,探討了城市軌道交通應(yīng)急輔助決策系統(tǒng)中大數(shù)據(jù)方法的應(yīng)用框架及關(guān)鍵技術(shù)。綜合上述分析可見(jiàn),應(yīng)急輔助決策系統(tǒng)對(duì)數(shù)據(jù)的要求符合大數(shù)據(jù)的相應(yīng)特征,其對(duì)大數(shù)據(jù)技術(shù)有較大的需求,應(yīng)用前景廣闊。在軌道交通大數(shù)據(jù)技術(shù)的實(shí)踐中,有以下3點(diǎn)建議:
1)大數(shù)據(jù)技術(shù)中不是單純地套用現(xiàn)有技術(shù),而是要結(jié)合軌道交通和應(yīng)急處置的具體需求,進(jìn)行實(shí)用性應(yīng)用的開(kāi)發(fā)和實(shí)踐。
2)數(shù)據(jù)是基礎(chǔ)和中心,也是一切大數(shù)據(jù)應(yīng)用的前提,因此需要先做好數(shù)據(jù)準(zhǔn)備:①建立數(shù)據(jù)標(biāo)準(zhǔn)體系,確保數(shù)據(jù)質(zhì)量;②采集盡可能多且全面的業(yè)務(wù)數(shù)據(jù);③運(yùn)用數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行整合,建立數(shù)據(jù)聯(lián)系;④建立數(shù)據(jù)安全管理保障體系,確保數(shù)據(jù)安全。做好規(guī)范的數(shù)據(jù)管理,為數(shù)據(jù)分析等后續(xù)工作提供可靠依據(jù)。
3)在對(duì)數(shù)據(jù)管理整合之后,通過(guò)各個(gè)業(yè)務(wù)層進(jìn)行循序漸進(jìn)地?cái)?shù)據(jù)分析應(yīng)用和推廣,最終達(dá)到為安全可靠地運(yùn)營(yíng)工作提供保障的目的。
參考文獻(xiàn):
[1]邵偉中,徐瑞華.城市軌道交通網(wǎng)絡(luò)運(yùn)營(yíng)協(xié)調(diào)及應(yīng)急處置輔助決策技術(shù)[J].城市軌道交通研究,2008,11(6):17-18.
[2]徐瑞華,滕靖.城市軌道交通網(wǎng)絡(luò)應(yīng)急指揮輔助決策支持系統(tǒng)的相關(guān)問(wèn)題研究[J].城市公用事業(yè),2010,24(3):1-4.
[3]徐瑞華,張銘,王志強(qiáng).基于工作流的軌道交通應(yīng)急管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].同濟(jì)大學(xué)學(xué)報(bào):自然科學(xué)版,2008,36(6):754-759.
[4]于鴻飛,秦勇,王子洋,等.城市軌道交通應(yīng)急處置輔助決策系統(tǒng)的研究[J].交通信息與安全,2013,31(5):163-168.
[5]李文杰,秦勇,賈利民.基于SOA的城市軌道交通應(yīng)急管理系統(tǒng)集成的研究[C]//中國(guó)職業(yè)安全健康協(xié)會(huì).第一屆全國(guó)安全科學(xué)理論研討會(huì)論文集.北京:中國(guó)商務(wù)出版社,2007:367-375.
[6]PENG Y,ZHANG Y,TANG Y,et al. An incident information management framework based on data integration,data mining,and multi-criteria decision making[J]. Decision Support Systems,2011,51(2):316-327.
[7]HRISTIDIS V,CHEN S C,LI TAO,et al. Survey of data management and analysis in disaster situations[J]. Journal of Systems & Software,2010,83(10):1701-1714.
[8]周為鋼,楊良懷,龔衛(wèi)華,等.大數(shù)據(jù)處理技術(shù)在智能交通中的應(yīng)用[C]//中國(guó)智能交通協(xié)會(huì).第八屆中國(guó)智能交通年會(huì)論文集.北京:電子工業(yè)出版社,2013:226-235.
[9]葉亮.“大數(shù)據(jù)”背景下我國(guó)交通數(shù)據(jù)管理應(yīng)用的轉(zhuǎn)型與發(fā)展[J].交通與運(yùn)輸:學(xué)術(shù)版,2013(S2):65-68.
[10]邱衛(wèi)云.智能交通大數(shù)據(jù)分析云平臺(tái)技術(shù)[J].中國(guó)交通信息化,2013(10):106-110.
[11]唐要安.大數(shù)據(jù)在交通中的應(yīng)用[J].交通世界:運(yùn)輸車(chē)輛,2013(12):126-127.
[12]北京市軌道交通指揮中心,Teradata Universe.首都軌道交通大數(shù)據(jù)實(shí)踐與探索[E/B/OL].百度文庫(kù),http://dwz.cn/1Hzea1.
[13]李國(guó)杰,程學(xué)旗.大數(shù)據(jù)研究:未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國(guó)科學(xué)院院刊,2012,27(6):647-657.
[14]梁彥.基于分布式平臺(tái)Spark和YARN的數(shù)據(jù)挖掘算法的并行化研究[D].廣州:中山大學(xué),2014.
[15]李志剛,朱志軍,佘從國(guó),等.大數(shù)據(jù):大價(jià)值、大機(jī)遇、大變革[M].北京:電子工業(yè)出版社,2012:152-178.
[16]陶雪嬌,胡曉峰,劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào),2013,25(S1):142-146.
[17]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2013,50(1):146-169.
[18]王樹(shù)良,丁剛毅,鐘鳴.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考[J].中國(guó)電子科學(xué)研究院學(xué)報(bào),2013,8(1):8-17.
[19]覃雄派,王會(huì)舉,杜小勇,等.大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào),2012,23(1):32-45.
[20]李偉,徐瑞華.突發(fā)事件下地鐵網(wǎng)絡(luò)乘客出行行為仿真模型[J].華東交通大學(xué)學(xué)報(bào),2015,32(2):46-53.
(責(zé)任編輯姜紅貴)
Application Design of Big Data Technologies in Emergency Decision Supporting System
Liu Fengbo,Gan Yeting,Zhou Feng
(Key Laboratory of Road and Traffic Engineering of the Ministry of Education,Tongji University,Shanghai 201804,China)
Abstract:According to operating conditions of urban rail transit network,aiming at the issue of more and more complex heterogeneous big data that the emergency decision supporting system would deal with,this paper discusses the application of big data technologies in the emergency decision supporting system. Firstly,the composition,characteristics and processing requirements of big data are analyzed. Secondly,in light of the referential processing technologies,the processing framework of emergency decision supporting system is established. Besides,the technology applications of big data processing methods in data collection,preprocessing,storage,ana-Lysis/mining and data results display are carried out. Finally,based on the present urban rail transit programs of Beijing,procedures of emergency decision supporting system integrating big data technologies are designed. The study can provide technical references for urban rail transit emergency management.
Key words:urban rail transit;emergency management;big data;decision supporting system
中圖分類(lèi)號(hào):U231.92
文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1005-0523(2016)02-0056-07
收稿日期:2015-07-27
基金項(xiàng)目:中國(guó)博士后科學(xué)基金(2014M551454)
作者簡(jiǎn)介:劉峰博(1990—),女,博士研究生,研究方向?yàn)榻煌ㄟ\(yùn)輸規(guī)劃與管理。
通訊作者:周峰(1986—),男,博士,研究方向?yàn)檐壍澜煌ㄟ\(yùn)營(yíng)管理。