云數(shù)融合的城軌大數(shù)據(jù)平臺(tái)方案研究

陳莉莉,狄穎琪

(南瑞軌道交通技術(shù)有限公司,江蘇 南京 210038)

0 引言

2020年,中國(guó)城市軌道交通協(xié)會(huì)發(fā)布了《中國(guó)城市軌道交通智慧城軌發(fā)展綱要》,提出運(yùn)營(yíng)業(yè)務(wù)全面上云的目標(biāo)。根據(jù)目前國(guó)內(nèi)城市軌道交通新建設(shè)線路情況,不但業(yè)務(wù)普遍采用云上部署,而且線路中也越來(lái)越多地采用大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)存儲(chǔ)和服務(wù)。依據(jù)該《發(fā)展綱要》,大數(shù)據(jù)平臺(tái)的定位更接近于數(shù)據(jù)中臺(tái),即整合多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù),形成數(shù)據(jù)資產(chǎn),并向高級(jí)智慧應(yīng)用提供數(shù)據(jù)共享服務(wù)。

國(guó)內(nèi)軌道交通大數(shù)據(jù)平臺(tái)的建設(shè)歷史不長(zhǎng)[1]。經(jīng)過(guò)近幾年的迅速發(fā)展,目前已建設(shè)的大數(shù)據(jù)平臺(tái)暴露出以下問(wèn)題:首先是未實(shí)現(xiàn)完全的數(shù)據(jù)開(kāi)放共享,對(duì)大數(shù)據(jù)的分析挖掘都僅圍繞或支撐具體的幾項(xiàng)數(shù)據(jù)應(yīng)用;其次是不具備實(shí)時(shí)數(shù)據(jù)分析和共享能力,都只是對(duì)歷史數(shù)據(jù)的離線數(shù)據(jù)分析。隨著城軌智慧應(yīng)用需求的不斷提升,數(shù)據(jù)應(yīng)用的類型越來(lái)越多。很多應(yīng)用場(chǎng)景,比如雜散電流分析、在線供電監(jiān)測(cè)等,采用機(jī)器挖掘和深度學(xué)習(xí)時(shí)的實(shí)時(shí)模型,要求實(shí)時(shí)數(shù)據(jù)與離線數(shù)據(jù)相結(jié)合以進(jìn)行計(jì)算和分析。因此,當(dāng)新的智慧應(yīng)用業(yè)務(wù)不斷產(chǎn)生并提出各種靈活的數(shù)據(jù)服務(wù)需求時(shí),大數(shù)據(jù)平臺(tái)往往無(wú)法提供有效的數(shù)據(jù)服務(wù)。因此,必須對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行系統(tǒng)升級(jí)[2]。

本文基于某城軌云項(xiàng)目的建設(shè)過(guò)程,構(gòu)建云數(shù)融合的系統(tǒng)框架,對(duì)大數(shù)據(jù)平臺(tái)按照云的數(shù)據(jù)即服務(wù)(data-as-a-service,DaaS)層進(jìn)行系統(tǒng)構(gòu)建。本文設(shè)計(jì)注重提供靈活通用的數(shù)據(jù)服務(wù)能力。本文在項(xiàng)目經(jīng)驗(yàn)的基礎(chǔ)上形成云數(shù)融合的城軌大數(shù)據(jù)平臺(tái)方案。該方案響應(yīng)了中國(guó)城市軌道交通協(xié)會(huì)的《中國(guó)城市軌道交通智慧城軌發(fā)展綱要》,解決了現(xiàn)有大數(shù)據(jù)平臺(tái)數(shù)據(jù)服務(wù)和共享能力不足的問(wèn)題,為高級(jí)應(yīng)用提供了低代碼的可配置式歷史數(shù)據(jù)服務(wù),以及基于斷面和變化推送的實(shí)時(shí)數(shù)據(jù)共享服務(wù),實(shí)現(xiàn)了數(shù)據(jù)的高可用性[3]。

1 系統(tǒng)框架

城軌生產(chǎn)業(yè)務(wù)系統(tǒng)架構(gòu)經(jīng)歷了三個(gè)發(fā)展階段,從應(yīng)用部署在各自裸金屬服務(wù)器上的傳統(tǒng)架構(gòu),到業(yè)務(wù)系統(tǒng)部署在云平臺(tái)上,再隨著技術(shù)的成熟發(fā)展出云數(shù)融合的平臺(tái)架構(gòu)。在傳統(tǒng)架構(gòu)下,各系統(tǒng)在各自的服務(wù)器上部署應(yīng)用業(yè)務(wù),而數(shù)據(jù)從各源端重復(fù)接入。到了第一代云平臺(tái),各應(yīng)用系統(tǒng)部署在云平臺(tái),使用云上虛擬化資源,并出現(xiàn)了跨系統(tǒng)的高級(jí)智慧應(yīng)用。但是這一階段的數(shù)據(jù)接入方式并沒(méi)有優(yōu)化。隨著智慧應(yīng)用需求的增多,需要對(duì)數(shù)據(jù)和資源進(jìn)行整合,由此產(chǎn)生了新一代的云數(shù)融合的平臺(tái)架構(gòu)。云數(shù)融合的平臺(tái)搭建數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái),實(shí)現(xiàn)數(shù)據(jù)與服務(wù)的共享[4]。數(shù)據(jù)一次接入后,即可重復(fù)使用。

云平臺(tái)納管大數(shù)據(jù)服務(wù)器,為大數(shù)據(jù)平臺(tái)提供網(wǎng)絡(luò)和安全支撐,并提供平臺(tái)即服務(wù)(platform-as-a-service,PaaS)層公有組件。大數(shù)據(jù)平臺(tái)在邏輯功能上嵌入云平臺(tái),作為云平臺(tái)的DaaS層,部署在云內(nèi)的虛擬數(shù)據(jù)中心(virtual data center,VDC),為云上業(yè)務(wù)提供數(shù)據(jù)服務(wù)。

在云數(shù)融合的基礎(chǔ)支撐平臺(tái)上,基礎(chǔ)設(shè)施即服務(wù)(infrastructure-as-a-service,IaaS)層提供全面的虛擬化服務(wù),如計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全等; PaaS層實(shí)現(xiàn)資源整合共享,提供平臺(tái)級(jí)統(tǒng)一組件服務(wù);DaaS層負(fù)責(zé)所有應(yīng)用的數(shù)據(jù)采集、存儲(chǔ)、標(biāo)準(zhǔn)化,并提供數(shù)據(jù)服務(wù)給各高級(jí)應(yīng)用進(jìn)行分析處理和數(shù)據(jù)展現(xiàn);軟件即服務(wù)(software-as-a-service,SaaS)層為運(yùn)營(yíng)提供各種智慧應(yīng)用服務(wù)。

云數(shù)融合基礎(chǔ)支撐平臺(tái)系統(tǒng)架構(gòu)如圖1所示。

圖1 云數(shù)融合基礎(chǔ)支撐平臺(tái)系統(tǒng)架構(gòu)

云平臺(tái)作為大數(shù)據(jù)平臺(tái)的基座,具有以下優(yōu)點(diǎn)。云的虛擬化資源池可以進(jìn)行靈活配置,避免了傳統(tǒng)架構(gòu)的硬件局限,使數(shù)據(jù)接入更加簡(jiǎn)單方便、可擴(kuò)展性更強(qiáng)。PaaS層的組件支持簡(jiǎn)化了業(yè)務(wù)部署和整合的過(guò)程。云平臺(tái)納管大數(shù)據(jù)平臺(tái),提供了數(shù)據(jù)安全保障。云平臺(tái)給各業(yè)務(wù)系統(tǒng)提供唯一的基準(zhǔn)時(shí)鐘源,使來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)可以實(shí)現(xiàn)時(shí)間上的對(duì)齊[5-6]。

大數(shù)據(jù)平臺(tái)的主要功能如下。大數(shù)據(jù)平臺(tái)接入軌道交通各生產(chǎn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù),并進(jìn)行清洗、轉(zhuǎn)換、整合、標(biāo)準(zhǔn)化、壓縮和存儲(chǔ),使數(shù)據(jù)形成資產(chǎn)。大數(shù)據(jù)平臺(tái)對(duì)這些數(shù)據(jù)資產(chǎn)進(jìn)行服務(wù)化封裝,以低代碼的靈活方式,向上層高級(jí)應(yīng)用提供數(shù)據(jù)服務(wù)。所建立的各高級(jí)應(yīng)用可以自由訪問(wèn)獲取數(shù)據(jù)的數(shù)據(jù)服務(wù)平臺(tái)[7]。大數(shù)據(jù)平臺(tái)從數(shù)據(jù)采集、數(shù)據(jù)緩存、數(shù)據(jù)治理到數(shù)據(jù)集市的各大主題庫(kù)為應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)支撐。這屏蔽了數(shù)據(jù)源系統(tǒng)的變化,減少了應(yīng)用的實(shí)現(xiàn)難度和技術(shù)風(fēng)險(xiǎn)。

DaaS的主要功能如下。

①數(shù)據(jù)采集和存儲(chǔ)。

大數(shù)據(jù)平臺(tái)采集來(lái)自于各子系統(tǒng)的數(shù)據(jù),并作清洗、轉(zhuǎn)換、壓縮、存儲(chǔ)。各種數(shù)據(jù)接入方式都通過(guò)接口服務(wù)器轉(zhuǎn)成消息中間件(Kafka)發(fā)送到大數(shù)據(jù)平臺(tái)。

②數(shù)據(jù)資產(chǎn)化。

在大數(shù)據(jù)平臺(tái)的建設(shè)過(guò)程中制定符合軌道交通行業(yè)規(guī)范的標(biāo)準(zhǔn)化規(guī)則,對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行數(shù)據(jù)治理,以形成數(shù)據(jù)資產(chǎn)。

③數(shù)據(jù)服務(wù)化。

通過(guò)網(wǎng)絡(luò)應(yīng)用編程、Kafka、 安全文件傳輸協(xié)議(secure file transfer protocol,SFTP)等數(shù)據(jù)接口,使第三方數(shù)據(jù)消費(fèi)者能夠選擇合適的方式獲取和使用數(shù)據(jù)。

2 DaaS功能的實(shí)現(xiàn)

DaaS是目前比較先進(jìn)的技術(shù)理念。大數(shù)據(jù)平臺(tái)集中存儲(chǔ)云上數(shù)據(jù),進(jìn)行數(shù)據(jù)清洗、標(biāo)準(zhǔn)化、集成等操作,并向不同的業(yè)務(wù)用戶提供數(shù)據(jù)服務(wù)。各智慧應(yīng)用可以通過(guò)這些服務(wù)獲取數(shù)據(jù),以實(shí)現(xiàn)分析處理和數(shù)據(jù)展現(xiàn)。作為數(shù)據(jù)消費(fèi)者的高級(jí)應(yīng)用,DaaS無(wú)需考慮數(shù)據(jù)來(lái)源,實(shí)現(xiàn)了數(shù)據(jù)的源端隔離[8]。

2.1 數(shù)據(jù)治理

大數(shù)據(jù)平臺(tái)存儲(chǔ)來(lái)自不同源系統(tǒng)的數(shù)據(jù)。在數(shù)據(jù)生命周期內(nèi),通過(guò)數(shù)據(jù)治理對(duì)元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等進(jìn)行管理,以形成數(shù)據(jù)資產(chǎn)地圖。

數(shù)據(jù)治理必須先建立數(shù)據(jù)標(biāo)準(zhǔn)。未經(jīng)標(biāo)準(zhǔn)化處理的數(shù)據(jù)無(wú)法在各應(yīng)用系統(tǒng)之間進(jìn)行共享。因此,需要建立一整套數(shù)據(jù)規(guī)范、治理流程,并使用技術(shù)工具,以確保各種重要的運(yùn)營(yíng)數(shù)據(jù)在各線路之間以及地鐵各部門(mén)之間的使用和交換具有一致性和準(zhǔn)確性。

首先,數(shù)據(jù)標(biāo)準(zhǔn)化要實(shí)現(xiàn)主數(shù)據(jù)的身份標(biāo)識(shí)(identity document,ID)編碼全線網(wǎng)統(tǒng)一。大數(shù)據(jù)平臺(tái)建立主數(shù)據(jù)ID與各業(yè)務(wù)系統(tǒng)內(nèi)部ID的映射表,實(shí)現(xiàn)主數(shù)據(jù)在原系統(tǒng)與大數(shù)據(jù)平臺(tái)內(nèi)存儲(chǔ)對(duì)象的一致性關(guān)聯(lián)。其次,數(shù)據(jù)標(biāo)準(zhǔn)化要實(shí)現(xiàn)通用數(shù)據(jù)對(duì)象建模。其從通用性角度出發(fā),對(duì)車(chē)輛、信號(hào)、供電、通信、綜合監(jiān)控、火災(zāi)、電扶梯、售檢票等各系統(tǒng)相關(guān)元素的數(shù)據(jù)對(duì)象進(jìn)行總結(jié)提煉,劃分業(yè)務(wù)主題并建模。同時(shí),按照數(shù)倉(cāng)的業(yè)務(wù)分層模型,對(duì)數(shù)據(jù)表按照數(shù)據(jù)運(yùn)營(yíng)層到應(yīng)用層進(jìn)行明確劃分。根據(jù)業(yè)務(wù)需要實(shí)現(xiàn)模型的按需擴(kuò)展時(shí),需在遵循標(biāo)準(zhǔn)化設(shè)計(jì)規(guī)則下建立新的業(yè)務(wù)數(shù)據(jù)表。這就兼顧了統(tǒng)一性和靈活性的原則[9]。最后,數(shù)據(jù)標(biāo)準(zhǔn)化要統(tǒng)一元數(shù)據(jù)管理,建立數(shù)據(jù)對(duì)象及其屬性表之間的關(guān)聯(lián),整理各源系統(tǒng)的數(shù)據(jù),建立數(shù)據(jù)字典。

2.2 數(shù)據(jù)服務(wù)

大數(shù)據(jù)平臺(tái)對(duì)加工處理過(guò)的數(shù)據(jù)資產(chǎn)進(jìn)行服務(wù)化封裝,以微服務(wù)的方式提供一系列通用服務(wù)接口。數(shù)據(jù)服務(wù)提供的方式有Restful 應(yīng)用程序接口(application program interface,API)、Kafka,以及SFTP大批量數(shù)據(jù)傳送。

數(shù)據(jù)服務(wù)的關(guān)鍵在于通用性、靈活性以及安全性。對(duì)此,需要先確立數(shù)據(jù)安全管理工作流程,使數(shù)據(jù)消費(fèi)者需要獲得授權(quán)才能訪問(wèn)數(shù)據(jù)。這樣,大數(shù)據(jù)平臺(tái)提供通用的標(biāo)準(zhǔn)接口,則得到授權(quán)的數(shù)據(jù)消費(fèi)者可以很方便地從平臺(tái)獲取數(shù)據(jù)。在技術(shù)上,這要求實(shí)現(xiàn)低代碼維護(hù)方式,從而在新需求出現(xiàn)時(shí)可以通過(guò)配置生成新服務(wù)接口,以避免系統(tǒng)的二次開(kāi)發(fā)。

某些城軌智慧應(yīng)用中采用機(jī)器挖掘和深度學(xué)習(xí)的實(shí)時(shí)模型,需要大數(shù)據(jù)平臺(tái)同時(shí)提供實(shí)時(shí)數(shù)據(jù)與離線數(shù)據(jù),并將其結(jié)合起來(lái)進(jìn)行計(jì)算分析。因此,大數(shù)據(jù)平臺(tái)采用了一些實(shí)時(shí)流處理組件,如Kafka、Flink、Redis等,以實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)共享。

大數(shù)據(jù)平臺(tái)流處理的數(shù)據(jù)流如圖2所示。

圖2 大數(shù)據(jù)平臺(tái)流處理的數(shù)據(jù)流圖

大數(shù)據(jù)平臺(tái)的任務(wù)管理模塊通過(guò)切分和調(diào)度使各數(shù)據(jù)同步作業(yè)。每個(gè)作業(yè)都是處理不同線路系統(tǒng)數(shù)據(jù)的單獨(dú)流任務(wù)。這些數(shù)據(jù)同步作業(yè)接收來(lái)自各主題的實(shí)時(shí)Kafka信息,并根據(jù)時(shí)間戳校驗(yàn)將信息實(shí)時(shí)同步到作業(yè)內(nèi)部維護(hù)相關(guān)數(shù)據(jù)的Map以及Redis中。這樣就保證了數(shù)據(jù)服務(wù)的實(shí)時(shí)性。

大數(shù)據(jù)平臺(tái)提供以下三種方式的數(shù)據(jù)訪問(wèn)接口,以滿足高級(jí)智慧應(yīng)用的數(shù)據(jù)服務(wù)需求。

①歷史數(shù)據(jù)Restful API共享服務(wù)。

存儲(chǔ)在大數(shù)據(jù)平臺(tái)的歷史數(shù)據(jù)采用API網(wǎng)關(guān)發(fā)布Restful API。數(shù)據(jù)消費(fèi)者通過(guò)大數(shù)據(jù)平臺(tái)提供的服務(wù)目錄,選擇并調(diào)用API,通過(guò)主動(dòng)查詢獲得數(shù)據(jù)。為避免API服務(wù)的二次開(kāi)放,本文方案采用了動(dòng)態(tài)API網(wǎng)關(guān)技術(shù)。這不僅使低代碼的API編輯成為可能,而且即時(shí)生效。在API的編輯過(guò)程中,大部分場(chǎng)合通過(guò)界面拖拽來(lái)配置,少部分需要靈活查詢的場(chǎng)合通過(guò)填寫(xiě)結(jié)構(gòu)化查詢語(yǔ)句(structured query language,SQL),即可提供API服務(wù)。

②實(shí)時(shí)數(shù)據(jù)共享服務(wù)。

實(shí)時(shí)數(shù)據(jù)共享有兩種方式:一種是基于Kafka消息的實(shí)時(shí)變化數(shù)據(jù)推送;另一種是實(shí)時(shí)斷面數(shù)據(jù)Restful API服務(wù)。

大數(shù)據(jù)平臺(tái)提供管理工具進(jìn)行變化數(shù)據(jù)訂閱配置,以配置數(shù)據(jù)消費(fèi)者需要推送的數(shù)據(jù)點(diǎn),以及推送的數(shù)據(jù)主題。負(fù)責(zé)數(shù)據(jù)推送的流任務(wù)監(jiān)控各數(shù)據(jù)接入主題。當(dāng)感知到某個(gè)主題中有訂閱數(shù)據(jù)發(fā)生變化時(shí),流任務(wù)通過(guò)Kafka向相應(yīng)主題發(fā)出消息,并主動(dòng)推送變化數(shù)據(jù)?；贙afka的數(shù)據(jù)推送利用大數(shù)據(jù)平臺(tái)的流處理功能,采用Flink組件,可以達(dá)到秒級(jí)延時(shí)。這就滿足了有實(shí)時(shí)性需求的應(yīng)用,比如電網(wǎng)信號(hào)分析、雜散電流監(jiān)控的實(shí)時(shí)數(shù)據(jù)需求。

在Redis組件中存儲(chǔ)各源系統(tǒng)的實(shí)時(shí)斷面數(shù)據(jù),實(shí)時(shí)數(shù)據(jù)微服務(wù)通過(guò)管道方式一次批量讀取源系統(tǒng)的斷面數(shù)據(jù),向擁有數(shù)據(jù)訪問(wèn)權(quán)限的消費(fèi)者提供Restful接口,以進(jìn)行實(shí)時(shí)斷面數(shù)據(jù)共享服務(wù)。

③基于SFTP的大量歷史數(shù)據(jù)共享。

在需要提供大量歷史數(shù)據(jù)共享服務(wù)的場(chǎng)合,大數(shù)據(jù)平臺(tái)提供相應(yīng)的微服務(wù)。該服務(wù)先把大批量歷史數(shù)據(jù)導(dǎo)出為csv文件,然后采用SFTP方式把文件傳給數(shù)據(jù)消費(fèi)者。

DaaS功能實(shí)現(xiàn)了云上數(shù)據(jù)服務(wù),為能效管理、在線電流監(jiān)測(cè)等系統(tǒng)提供了歷史和實(shí)時(shí)數(shù)據(jù)共享。DaaS進(jìn)行設(shè)備、行車(chē)、客流、能效等4大主題的離線和實(shí)時(shí)指標(biāo)計(jì)算,為商業(yè)智能(business intelligence,BI)工具提供了數(shù)據(jù)展示的接口。

3 結(jié)論

本文闡述了在城軌云項(xiàng)目的建設(shè)過(guò)程中構(gòu)建的云數(shù)融合的城軌大數(shù)據(jù)平臺(tái)方案。大數(shù)據(jù)平臺(tái)通過(guò)“統(tǒng)一采集、統(tǒng)一存儲(chǔ)、統(tǒng)一管理、統(tǒng)一運(yùn)營(yíng)、統(tǒng)一服務(wù)”的方法,對(duì)來(lái)自各源系統(tǒng)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行歸整和存儲(chǔ),并提供數(shù)據(jù)服務(wù)給數(shù)據(jù)消費(fèi)者使用[10]。大數(shù)據(jù)平臺(tái)在功能上嵌入云內(nèi)。其角色定義是數(shù)字資產(chǎn)的提供方,作為DaaS層向云上各高級(jí)智慧應(yīng)用提供數(shù)據(jù)服務(wù),實(shí)現(xiàn)了數(shù)據(jù)生產(chǎn)者和消費(fèi)者之間的隔離。該方案在業(yè)內(nèi)創(chuàng)新性地實(shí)現(xiàn)了可配置式實(shí)時(shí)和低代碼的微服務(wù)接口方式。云數(shù)融合避免了將來(lái)新數(shù)據(jù)接入時(shí)的硬件改動(dòng),將其簡(jiǎn)化為云上虛擬化資源的配置問(wèn)題。大數(shù)據(jù)平臺(tái)可配置式的微服務(wù)接口,在面對(duì)將來(lái)新的智慧應(yīng)用需求時(shí),避免了系統(tǒng)二次開(kāi)發(fā)的復(fù)雜性。該方案實(shí)現(xiàn)了服務(wù)的高可用性,提升了資產(chǎn)利用價(jià)值,促進(jìn)了行業(yè)的數(shù)字化升級(jí)。