趙宏濤,王 濤,張 琦
(1. 中國(guó)鐵道科學(xué)研究院,北京 100081;2. 中國(guó)鐵道科學(xué)研究院 通信信號(hào)研究所, 北京 100081)
鐵路調(diào)度系統(tǒng)是在鐵路運(yùn)輸生產(chǎn)過程中,為了保證完成運(yùn)輸計(jì)劃、實(shí)現(xiàn)列車運(yùn)行圖而綜合運(yùn)用計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)和現(xiàn)代控制技術(shù)等先進(jìn)技術(shù)手段,以列車運(yùn)行調(diào)整為中心,兼顧列車與調(diào)車作業(yè)的高度自動(dòng)化和智能化的調(diào)度指揮和控制系統(tǒng)[1]。我國(guó)現(xiàn)有調(diào)度系統(tǒng)正在向著信息密集化系統(tǒng)轉(zhuǎn)變:各子系統(tǒng)陸續(xù)建成并投入使用,包括全路TDMS/CTC、ATIS、現(xiàn)車系統(tǒng)等;海量數(shù)據(jù)在日常調(diào)度指揮和行車運(yùn)營(yíng)中產(chǎn)生,包括列車實(shí)際運(yùn)行圖、基本圖、日班計(jì)劃、車輛編組信息及信號(hào)設(shè)備狀態(tài)等;大量設(shè)備終端皆需要與后臺(tái)數(shù)據(jù)庫(kù)進(jìn)行信息交互。新技術(shù)的應(yīng)用不可避免地伴隨著新問題的產(chǎn)生:各模塊間信息交流量少,資源共享利用率低、實(shí)時(shí)性差且易產(chǎn)生信息孤島;海量數(shù)據(jù)必然引入效率、安全與可靠性等方面的問題;各應(yīng)用終端直接訪問數(shù)據(jù)庫(kù),大量頻繁并發(fā)的短連接極易造成數(shù)據(jù)讀寫效率的低下。因此設(shè)計(jì)一套虛擬共用安全信息平臺(tái),為系統(tǒng)提供公共的、可靠安全且高效的數(shù)據(jù)服務(wù),成為了調(diào)度系統(tǒng)的迫切需要。
虛擬共用信息平臺(tái)是一套整合調(diào)度系統(tǒng)各邏輯子系統(tǒng)、子模塊信息資源,按一定標(biāo)準(zhǔn)規(guī)范和協(xié)議格式完成多元異構(gòu)數(shù)據(jù)的接入、存儲(chǔ)、分發(fā)、整理和挖掘等功能,并面向外部應(yīng)用提供安全可靠和高效的數(shù)據(jù)服務(wù)的完整物理系統(tǒng)。平臺(tái)采用集中控制管理與分布存儲(chǔ)相結(jié)合的體系結(jié)構(gòu),通過用戶身份認(rèn)證、權(quán)限隔離、數(shù)據(jù)加密等安全保障技術(shù),依靠負(fù)載均衡模塊來協(xié)調(diào)眾多邏輯讀寫單元連接物理存儲(chǔ)數(shù)據(jù)層。研究建立虛擬共用信息平臺(tái)是調(diào)度系統(tǒng)進(jìn)行信息整合的技術(shù)保障,是實(shí)現(xiàn)我國(guó)鐵路調(diào)度系統(tǒng)高速發(fā)展的關(guān)鍵。
虛擬,意味著透明、異構(gòu)和分布。從邏輯層面來說,平臺(tái)內(nèi)部結(jié)構(gòu)對(duì)外部應(yīng)用是透明的,用戶不需要關(guān)心數(shù)據(jù)存儲(chǔ)位置、系統(tǒng)調(diào)用關(guān)系等信息,只需要按照約定連接方式和協(xié)議讀寫數(shù)據(jù)即可;而從物理層面來講,平臺(tái)本身的各模塊、數(shù)據(jù)源可能分布在不同的地理位置,由不同廠商產(chǎn)品以不同格式和協(xié)議組成,例如:數(shù)據(jù)信息可能存儲(chǔ)在Oracle的關(guān)系數(shù)據(jù)庫(kù)中,也可能以XML格式保存在文件系統(tǒng)當(dāng)中。對(duì)各數(shù)據(jù)源形式的高兼容特性,為已部署系統(tǒng)平順過渡和融合到新的平臺(tái)提供了可能。透明保證了平臺(tái)的完整和統(tǒng)一;異構(gòu)可以使現(xiàn)有系統(tǒng)以較少代價(jià)融合進(jìn)新的平臺(tái);而分布則提供了數(shù)據(jù)安全和系統(tǒng)性能。
共用,意味著平臺(tái)提供統(tǒng)一的接入代理以實(shí)現(xiàn)數(shù)據(jù)格式的統(tǒng)一和子系統(tǒng)的接入。平臺(tái)的服務(wù)對(duì)象為特定外部應(yīng)用,采集信息以通用格式進(jìn)行融合,并提供信息安全服務(wù)。
本文對(duì)平臺(tái)的總體設(shè)計(jì)原則總結(jié)為通用、安全和高效。
通用原則不僅表明平臺(tái)對(duì)少量修飾后的已有系統(tǒng)和未來技術(shù)擴(kuò)展的極大兼容,更表明平臺(tái)在數(shù)據(jù)格式、業(yè)務(wù)流程、系統(tǒng)架構(gòu)和接口定義等方面標(biāo)準(zhǔn)的統(tǒng)一。統(tǒng)一標(biāo)準(zhǔn)可以擴(kuò)大平臺(tái)的應(yīng)用領(lǐng)域和適用范圍,也為平臺(tái)的推廣奠定基礎(chǔ)。
調(diào)度系統(tǒng)是鐵路日常運(yùn)輸組織的指揮中樞,確保調(diào)度系統(tǒng)安全,首要任務(wù)是確保系統(tǒng)中數(shù)據(jù)的安全。安全設(shè)計(jì)理念應(yīng)該從平臺(tái)設(shè)計(jì)初期就考慮進(jìn)去,并貫穿產(chǎn)品開發(fā)的整個(gè)周期。
平臺(tái)的高效性指平臺(tái)并發(fā)處理數(shù)據(jù)的能力。調(diào)度算法、參數(shù)設(shè)置、異常處理和安全級(jí)別等因素均對(duì)處理效率產(chǎn)生影響。
根據(jù)平臺(tái)設(shè)計(jì)總體原則及已有類似系統(tǒng)實(shí)現(xiàn)經(jīng)驗(yàn)[2],設(shè)計(jì)虛擬共用信息平臺(tái)由4層結(jié)構(gòu)組成。如圖1所示。
圖1 虛擬通用信息平臺(tái)系統(tǒng)架構(gòu)
安全應(yīng)用層:負(fù)責(zé)完成外部應(yīng)用接入、對(duì)外連接代理、數(shù)據(jù)挖掘和威脅屏蔽隔離4項(xiàng)功能。具體主業(yè)務(wù)邏輯(前兩項(xiàng))由應(yīng)用層實(shí)現(xiàn),包括:登錄連接、查詢操作、讀寫操作等需要與外部應(yīng)用溝通的處理步驟。數(shù)據(jù)挖掘功能由挖掘模塊提供,借助于人工智能和機(jī)器學(xué)習(xí)等技術(shù),通過關(guān)聯(lián)分析、規(guī)律尋找和表示,挖掘模塊從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息,為日后的行車調(diào)度優(yōu)化調(diào)整提供依據(jù)。應(yīng)用層被安全層完整包裹以保障數(shù)據(jù)安全和平臺(tái)安全,用戶認(rèn)證鑒權(quán)等安全操作在安全層實(shí)現(xiàn)。本邏輯層不關(guān)心數(shù)據(jù)的具體表示形式,只要各類應(yīng)用遵循信息集成的接口規(guī)范,即可有效地、透明地操作底層各類數(shù)據(jù)源。具體數(shù)據(jù)服務(wù)發(fā)布形式將在下章詳述。
負(fù)載均衡層:依據(jù)調(diào)度策略將上層接入的工作任務(wù)(負(fù)載)進(jìn)行平衡、分?jǐn)偟蕉鄠€(gè)讀寫操作單元上進(jìn)行實(shí)施從而共同完成工作任務(wù),提高系統(tǒng)的整體處理能力。具體策略可以參考多重負(fù)載策略進(jìn)行任務(wù)調(diào)度,包括隨機(jī)策略、公約輪循策略、最少活躍調(diào)度策略和一致性哈希策略等。數(shù)據(jù)整理優(yōu)化模塊是對(duì)日常采集的數(shù)據(jù)進(jìn)行檢驗(yàn)、歸類編碼和結(jié)構(gòu)調(diào)整的單元,是數(shù)據(jù)統(tǒng)計(jì)分析的基礎(chǔ),可以減少存儲(chǔ)空間、提升查詢效率。因?yàn)槠湫枰獜恼Z(yǔ)義層面查找數(shù)據(jù)的內(nèi)在聯(lián)系,而非原數(shù)據(jù)(Raw Data)級(jí)別的操作,故設(shè)置在負(fù)載均衡層實(shí)現(xiàn),在資源占用率較低時(shí)運(yùn)行。
邏輯讀寫:層包含大量針對(duì)不同數(shù)據(jù)源的讀寫單元和一套協(xié)議轉(zhuǎn)換模塊。借助于協(xié)議轉(zhuǎn)換層在各類原始協(xié)議與平臺(tái)存儲(chǔ)統(tǒng)一協(xié)議間的轉(zhuǎn)換,分布、并行讀寫單元直接且有針對(duì)性地操作對(duì)應(yīng)的底層數(shù)據(jù)源,實(shí)現(xiàn)直連功能。讀寫單元的數(shù)量以最大限度挖掘系統(tǒng)潛能為依據(jù)。
物理存儲(chǔ)層:是平臺(tái)內(nèi)部以及外部應(yīng)用系統(tǒng)中數(shù)據(jù)流的最終靜態(tài)存儲(chǔ)單元。數(shù)據(jù)以原鐵道部部標(biāo)或特定統(tǒng)一協(xié)議存儲(chǔ),存儲(chǔ)介質(zhì)可以為關(guān)系數(shù)據(jù)庫(kù),也可以是XML格式數(shù)據(jù)源或文件系統(tǒng),依賴于平臺(tái)應(yīng)用環(huán)境及被融合系統(tǒng)原始狀態(tài)。高速緩存用以保存頻繁被讀取且變化較少的數(shù)據(jù)集合,提升查詢速度。
平臺(tái)數(shù)據(jù)流按圖1所示協(xié)議和方向流動(dòng)。
平臺(tái)數(shù)據(jù)來源于外置的信息采集單元和各外部應(yīng)用系統(tǒng)的輸入。隨著平臺(tái)應(yīng)用范圍的擴(kuò)大,其所采用的通用協(xié)議將被更多外部系統(tǒng)所采納,信息的表達(dá)和數(shù)據(jù)的傳輸也將更加直接和高效。
在平臺(tái)數(shù)據(jù)量超過單機(jī)承載能力時(shí),一般會(huì)采用分布式存儲(chǔ),其在擴(kuò)展性和可用性上會(huì)面臨較大挑戰(zhàn):如何保證各點(diǎn)間數(shù)據(jù)的同步、如何快速索引數(shù)據(jù)存儲(chǔ)的物理位置等問題皆是平臺(tái)設(shè)計(jì)者需要考慮的。
作為一套完整的數(shù)據(jù)提供平臺(tái),而非簡(jiǎn)單的數(shù)據(jù)堆積,其核心區(qū)別在于是否提供基于存儲(chǔ)的計(jì)算能力。計(jì)算一般分為離線計(jì)算和在線計(jì)算(流式計(jì)算、即時(shí)計(jì)算)兩種。平臺(tái)發(fā)展后期,將能智能處理用戶需求,針對(duì)模糊輸入給出關(guān)聯(lián)輸出。典型應(yīng)用為數(shù)據(jù)挖掘模塊:依據(jù)一個(gè)運(yùn)行在分布式計(jì)算集群上的公用算法平臺(tái)來進(jìn)行各種海量數(shù)據(jù)處理,建立數(shù)據(jù)關(guān)系及數(shù)據(jù)模型,給出內(nèi)在規(guī)律,在準(zhǔn)確輸出的基礎(chǔ)上給出指導(dǎo)意見。
平臺(tái)安全包括平臺(tái)整體的安全和數(shù)據(jù)安全。
平臺(tái)的保密性、完整性和可用性是保證行車調(diào)度安全的一個(gè)重要組成部分,根據(jù)國(guó)家等級(jí)保護(hù)防御區(qū)域劃分原則以及信息系統(tǒng)的功能性、安全價(jià)值和面臨威脅的相似性,客運(yùn)專線CTC系統(tǒng)應(yīng)具有四級(jí)信息系統(tǒng)安全保護(hù)能力[3]。包括:防火墻、入侵檢測(cè)、用戶鑒權(quán)認(rèn)證、數(shù)據(jù)加密等措施多應(yīng)用于鐵路調(diào)度系統(tǒng)。這些措施的引入必然導(dǎo)致計(jì)算性能的下降和用戶體驗(yàn)的降低,需站在數(shù)據(jù)和用戶的角度統(tǒng)籌考慮。
(1)網(wǎng)絡(luò)Socket連接;
(2)B/S(Brower/Server)結(jié)構(gòu)方式;
(3)中間件連接方式;
(4)Web Service連接。
4種方式各有利弊,適用于不同開發(fā)環(huán)境。方式1實(shí)現(xiàn)靈活,但開發(fā)周期長(zhǎng),編程代價(jià)高,適用于小范圍的特殊環(huán)境應(yīng)用;方式2雖然交互性稍差,但其在可視化方面的優(yōu)勢(shì),適合用于展示海量數(shù)據(jù)的多樣性、多角度、多層次特性;消息傳輸中間件為應(yīng)用系統(tǒng)互聯(lián)互通提供了可靠的消息通信手段,能夠?qū)崿F(xiàn)不同操作平臺(tái)、數(shù)據(jù)庫(kù)和硬件系統(tǒng)平臺(tái)間的數(shù)據(jù)通信,易于調(diào)試;方式4作為一項(xiàng)較新技術(shù),可使運(yùn)行在不同機(jī)器上的不同應(yīng)用無需借助附加的、專門的第3方軟件或硬件,就可相互交換數(shù)據(jù)或集成。采用哪幾種方式的組合,需要因地制宜,適當(dāng)擴(kuò)展。
平臺(tái)在演進(jìn),數(shù)據(jù)在源源不斷地增長(zhǎng),它們的保有和維護(hù)成本也在隨之提高。以FZy-CTC系統(tǒng)為例,調(diào)度命令、行車計(jì)劃、操作日志、各路局和子系統(tǒng)間接口數(shù)據(jù)等信息皆需由數(shù)據(jù)服務(wù)單元永久存儲(chǔ)或中轉(zhuǎn)。因此,需要從大數(shù)據(jù)[4]處理的全局角度來考慮如何從存儲(chǔ)、計(jì)算上盡可能地降低成本,讓平臺(tái)可以持續(xù)。
業(yè)界通常用Volume、Variety、Value和Velocity(簡(jiǎn)稱為“4V”,即數(shù)據(jù)體量巨大、數(shù)據(jù)類型繁多、價(jià)值密度低和處理速度快)4個(gè)特征來顯著區(qū)分大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)。借鑒大數(shù)據(jù)領(lǐng)域處理方法,對(duì)虛擬共用信息平臺(tái)的維護(hù)進(jìn)行優(yōu)化設(shè)計(jì):對(duì)數(shù)據(jù)采用冷熱分離(冷數(shù)據(jù)存儲(chǔ)到磁帶上等)、按業(yè)務(wù)特征進(jìn)行分層壓縮(按列存儲(chǔ)、存儲(chǔ)數(shù)據(jù)差異等)、計(jì)算資源細(xì)粒度錯(cuò)峰化(資源進(jìn)行細(xì)粒度分配或預(yù)估、按照業(yè)務(wù)時(shí)間進(jìn)行波峰與波谷整合)、數(shù)據(jù)生命周期管理(比如進(jìn)行過期垃圾數(shù)據(jù)清除)等手段來節(jié)省成本。
整個(gè)調(diào)度系統(tǒng)中,上層應(yīng)用將專注于用戶交互和具體業(yè)務(wù)邏輯,信息平臺(tái)則側(cè)重于提供底層數(shù)據(jù)服務(wù)功能。借助于平臺(tái)靈活的組織架構(gòu),通過數(shù)據(jù)采集、轉(zhuǎn)換、集成分析,將數(shù)據(jù)進(jìn)行深度整合與關(guān)聯(lián),建立一整套包括數(shù)據(jù)傳輸、存儲(chǔ)、計(jì)算、挖掘、可視化呈現(xiàn)的技術(shù)服務(wù)體系,并在此基礎(chǔ)上提供一個(gè)統(tǒng)一的數(shù)據(jù)開發(fā)平臺(tái)完成用戶認(rèn)證、數(shù)據(jù)鑒權(quán)、工作流、監(jiān)控告警、數(shù)據(jù)管理、數(shù)據(jù)開發(fā)等工作,實(shí)現(xiàn)一套完整數(shù)據(jù)服務(wù)虛擬平臺(tái)。
本文在對(duì)我國(guó)現(xiàn)有調(diào)度系統(tǒng)現(xiàn)狀分析的基礎(chǔ)上,設(shè)計(jì)了一套虛擬共用安全信息平臺(tái)用以提供完整數(shù)據(jù)服務(wù)。通過對(duì)平臺(tái)四層邏輯結(jié)構(gòu)的詳細(xì)描述以及對(duì)平臺(tái)實(shí)施過程中的關(guān)鍵問題進(jìn)行探討,分析得出信息平臺(tái)在統(tǒng)一接口、整合服務(wù)、優(yōu)化數(shù)據(jù)等方面,具有較為顯著的改善作用;且其實(shí)現(xiàn)方式靈活,部署遷移簡(jiǎn)單,易擴(kuò)展,適合應(yīng)用于鐵路調(diào)度系統(tǒng),有著較好的發(fā)展前景。
[1]王 濤,徐 偉,黃 康. 京九線FZy—CTC分散自律調(diào)度集中系統(tǒng)的研究[J]. 鐵道通信信號(hào),2010, 6 (1):11-14.
[2]關(guān)積珍. ITS共用信息平臺(tái)系統(tǒng)結(jié)構(gòu)及集成[J]. 交通運(yùn)輸系統(tǒng)工程與信息, 2002,11 (4):11-16.
[3]戴啟元. 客運(yùn)專線CTC系統(tǒng)網(wǎng)絡(luò)安全設(shè)計(jì)[J]. 鐵道通信信號(hào),2010,46(4):66-68.
[4]高毅龍,侯成剛. 大數(shù)據(jù)塊的存儲(chǔ)與訪問方案[J]. 計(jì)算機(jī)工程,1999(11):88-89.