智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型方法研究

劉 俊，史天運(yùn)，李 平，徐貴紅，楊連報(bào)

（1.中國(guó)鐵道科學(xué)研究院 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081；2.中國(guó)鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081）

智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型方法研究

劉 俊1，史天運(yùn)2，李 平1，徐貴紅1，楊連報(bào)1

（1.中國(guó)鐵道科學(xué)研究院 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081；2.中國(guó)鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081）

本文針對(duì)困擾眾多企業(yè)的大數(shù)據(jù)服務(wù)平臺(tái)選型問題，對(duì)當(dāng)前主流的大數(shù)據(jù)服務(wù)平臺(tái)技術(shù)架構(gòu)進(jìn)行了分析，并結(jié)合鐵路行業(yè)的特點(diǎn)從測(cè)試指標(biāo)和測(cè)試基準(zhǔn)兩方面研究了大數(shù)據(jù)服務(wù)平臺(tái)產(chǎn)品的選型方法，對(duì)于促進(jìn)智能鐵路的逐步落地及其大數(shù)據(jù)服務(wù)平臺(tái)的建設(shè)實(shí)施具有一定的指導(dǎo)意義。

大數(shù)據(jù)；智能鐵路；平臺(tái)；選型；測(cè)試

智能化技術(shù)可理解為廣義的信息技術(shù)，即為計(jì)算機(jī)、電子工程、軟件工程和自動(dòng)化這些領(lǐng)域所涉及的各種技術(shù)的集合。隨著鐵路列車運(yùn)行速度、規(guī)模和環(huán)境的變化，以及人類社會(huì)生活的不斷發(fā)展，信息技術(shù)在鐵路行車安全、故障診斷、客戶服務(wù)等諸多領(lǐng)域得到了越來越多的應(yīng)用，同時(shí)也遇到了許多新的挑戰(zhàn)。智能鐵路應(yīng)運(yùn)而生。近年來，移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等信息新技術(shù)的發(fā)展和應(yīng)用，對(duì)人類生產(chǎn)方式、社會(huì)生活以及思維方法等方面帶了越來越廣泛而深入的影響。在“互聯(lián)網(wǎng)+”和創(chuàng)新驅(qū)動(dòng)等國(guó)家戰(zhàn)略帶來的新形勢(shì)下，電網(wǎng)等傳統(tǒng)行業(yè)對(duì)其智能化進(jìn)行了新的詮釋和規(guī)劃，也給我國(guó)鐵路智能化理念的發(fā)展提供了參考。另外，人們對(duì)便捷交通需求的日益增強(qiáng)和鐵路運(yùn)營(yíng)效率瓶頸的出現(xiàn)也要求我國(guó)鐵路以更加開放的理念融入綜合交通體系，思考如何通過提高綜合交通整體效率的同時(shí)取得自身效率的提升。事實(shí)上，遍布鐵路建設(shè)、運(yùn)營(yíng)、管理中積累的大量數(shù)據(jù)中蘊(yùn)含著巨大的價(jià)值，可用于提升鐵路行業(yè)的智能化水平。然而，傳統(tǒng)的數(shù)據(jù)分析技術(shù)已難以滿足從這些數(shù)據(jù)中及時(shí)、準(zhǔn)確地獲取價(jià)值所提出的要求。對(duì)此，迫切需要建立大數(shù)據(jù)服務(wù)平臺(tái)來實(shí)現(xiàn)對(duì)鐵路業(yè)務(wù)數(shù)據(jù)的智能分析。

由于鐵路運(yùn)輸組織、生產(chǎn)管理、經(jīng)營(yíng)決策之間聯(lián)系緊密，需要有一個(gè)將其全都納入的總體框架來統(tǒng)一分析和規(guī)劃，以實(shí)現(xiàn)鐵路整體的智能化。在如圖1所示的智能鐵路總體框架中。業(yè)務(wù)應(yīng)用層包括7大智能應(yīng)用系統(tǒng)，是針對(duì)運(yùn)輸組織、客貨服務(wù)、經(jīng)營(yíng)管理等3個(gè)業(yè)務(wù)領(lǐng)域的7項(xiàng)核心業(yè)務(wù)應(yīng)用[1]。在業(yè)務(wù)應(yīng)用層和數(shù)據(jù)資源層之間的公共信息服務(wù)層包括主數(shù)據(jù)平臺(tái)、信息共享平臺(tái)、智能信息服務(wù)平臺(tái)和大數(shù)據(jù)服務(wù)平臺(tái)。其中，大數(shù)據(jù)服務(wù)平臺(tái)為鐵路行業(yè)各個(gè)大數(shù)據(jù)應(yīng)用提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)、處理、分析和可視化等服務(wù)。

圖1 智能鐵路總體架構(gòu)

由此可見，鐵路智能化發(fā)展中所面臨的挑戰(zhàn)對(duì)大數(shù)據(jù)服務(wù)平臺(tái)提出了迫切需求。并且，大數(shù)據(jù)服務(wù)平臺(tái)作為智能鐵路總體框架中的核心要素之一，充分利用數(shù)據(jù)資源層獲取所需數(shù)據(jù)，為智能鐵路的各種核心業(yè)務(wù)應(yīng)用提供關(guān)鍵支撐。智能鐵路的典型特征包括自感知、自協(xié)同、自處理、自診斷、自決策、自適應(yīng)及自學(xué)習(xí)[2]，而大數(shù)據(jù)服務(wù)平臺(tái)則是智能鐵路“自診斷、自決策、自適應(yīng)、自學(xué)習(xí)”典型特征的實(shí)現(xiàn)基礎(chǔ)。事實(shí)上，在大數(shù)據(jù)時(shí)代到來之前，數(shù)據(jù)分析已在鐵路行業(yè)的多個(gè)領(lǐng)域有所應(yīng)用，并發(fā)揮了重要的作用。在新時(shí)代下隨著大數(shù)據(jù)相關(guān)技術(shù)及數(shù)據(jù)感知與傳輸技術(shù)的發(fā)展，大數(shù)據(jù)分析已替代原有的數(shù)據(jù)分析，是實(shí)現(xiàn)鐵路智能化的核心技術(shù)之一。

不同行業(yè)對(duì)大數(shù)據(jù)應(yīng)用的需求可能有所不同，其適合的大數(shù)據(jù)服務(wù)平臺(tái)也有差異。如何進(jìn)行大數(shù)據(jù)服務(wù)平臺(tái)選型是鐵路行業(yè)應(yīng)用大數(shù)據(jù)的前提條件，同時(shí)也是比較棘手的一項(xiàng)工作。對(duì)此，本文旨在從技術(shù)角度研究智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)的選型方法。

1 智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型需求分析

鐵路行業(yè)在客運(yùn)服務(wù)、物流及多式聯(lián)運(yùn)、運(yùn)輸安全、基礎(chǔ)設(shè)施和移動(dòng)裝備維修等多方面都有大數(shù)據(jù)分析應(yīng)用的需求。對(duì)于不同的業(yè)務(wù)需求，其適配的智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)的層次架構(gòu)、技術(shù)方案以及所支持的系統(tǒng)功能和業(yè)務(wù)功能都可能有所不同。例如，大數(shù)據(jù)服務(wù)平臺(tái)的技術(shù)方案包括技術(shù)架構(gòu)和應(yīng)用技術(shù)方案，其中，可采用的技術(shù)架構(gòu)主要有基于Hadoop生態(tài)圈的大數(shù)據(jù)服務(wù)平臺(tái)、大數(shù)據(jù)一體機(jī)、基于MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群及其混合架構(gòu)，各有其特點(diǎn)和適用場(chǎng)景。因此，需要對(duì)各種大數(shù)據(jù)技術(shù)架構(gòu)進(jìn)行評(píng)估，根據(jù)業(yè)務(wù)需求來選擇合適的大數(shù)據(jù)技術(shù)架構(gòu)及其中的功能組件。對(duì)于同一類大數(shù)據(jù)技術(shù)架構(gòu)，其實(shí)施部署中可采用的產(chǎn)品繁多，比如Hadoop發(fā)行版就有很多種，因此還需要確定采用哪家廠商的產(chǎn)品，即對(duì)大數(shù)據(jù)產(chǎn)品進(jìn)行選型。當(dāng)前，構(gòu)建合適的大數(shù)據(jù)服務(wù)平臺(tái)所必須的大數(shù)據(jù)技術(shù)架構(gòu)和產(chǎn)品選型是困擾眾多企業(yè)應(yīng)用大數(shù)據(jù)的首要難題。對(duì)此，通常對(duì)各廠家的大數(shù)據(jù)產(chǎn)品進(jìn)行POC測(cè)試，以判別各個(gè)大數(shù)據(jù)產(chǎn)品是否能支持和滿足用戶所要求的功能和性能。然而，由于不同行業(yè)對(duì)大數(shù)據(jù)應(yīng)用的需求可能有所不同，相應(yīng)的大數(shù)據(jù)平臺(tái)選型方法也有所不同。對(duì)于鐵路行業(yè)而言，大數(shù)據(jù)服務(wù)平臺(tái)選型同樣具有行業(yè)自身的特點(diǎn)，是一件比較棘手的工作。

下面，對(duì)現(xiàn)有的大數(shù)據(jù)服務(wù)平臺(tái)技術(shù)架構(gòu)進(jìn)行分析，為鐵路行業(yè)用戶確定符合自身需求的大數(shù)據(jù)技術(shù)架構(gòu)提供依據(jù)。從測(cè)試指標(biāo)和測(cè)試基準(zhǔn)兩方面提出智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型方法，為大數(shù)據(jù)產(chǎn)品選型提供技術(shù)上的參考。

2 大數(shù)據(jù)服務(wù)平臺(tái)技術(shù)架構(gòu)分析

目前，大數(shù)據(jù)服務(wù)平臺(tái)技術(shù)架構(gòu)可分為4種：

（1）采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群。重點(diǎn)面向行業(yè)大數(shù)據(jù)，通過列存儲(chǔ)、粗粒度索引等多項(xiàng)大數(shù)據(jù)處理技術(shù)，再結(jié)合MPP架構(gòu)高效的分布式計(jì)算模式，完成對(duì)分析類應(yīng)用的支撐，運(yùn)行環(huán)境多為低成本PC Server，具有高性能和高擴(kuò)展性的特點(diǎn)。對(duì)于結(jié)構(gòu)化數(shù)據(jù)分析，目前最佳選擇是MPP數(shù)據(jù)庫(kù)。

（2）Hadoop生態(tài)系統(tǒng)。圍繞Hadoop衍生出相關(guān)的大數(shù)據(jù)技術(shù)。相比于采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群，Hadoop生態(tài)系統(tǒng)更擅長(zhǎng)非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計(jì)算模型。這種技術(shù)架構(gòu)已成為大型互聯(lián)網(wǎng)企業(yè)的標(biāo)準(zhǔn)方案[3]需要說明的是，Hadoop生態(tài)系統(tǒng)包含很多組件，分別為大數(shù)據(jù)服務(wù)平臺(tái)支撐不同的功能。其中，除了HDFS、MapReduce、Hbase等基本組件外，有些組件旨在支持特定的應(yīng)用，如Mahout提供數(shù)據(jù)挖掘算法庫(kù)及其支持架構(gòu)、Flume用于海量日志收集、Sqoop主要用于傳統(tǒng)數(shù)據(jù)庫(kù)和Hadoop之前傳輸數(shù)據(jù)，等。因此，通常根據(jù)實(shí)際業(yè)務(wù)需求來選擇Hadoop生態(tài)系統(tǒng)中的部分組件搭建大數(shù)據(jù)服務(wù)平臺(tái)。

（3）大數(shù)據(jù)一體機(jī)。這是一種專為大數(shù)據(jù)的分析處理而設(shè)計(jì)的軟、硬件結(jié)合的產(chǎn)品，由一組集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)以及為數(shù)據(jù)查詢、處理、分析用途而特別預(yù)先安裝及優(yōu)化的軟件組成。高性能大數(shù)據(jù)一體機(jī)具有良好的穩(wěn)定性和縱向擴(kuò)展性，但其價(jià)格相對(duì)較高。

（4）是采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)與Hadoop生態(tài)系統(tǒng)相結(jié)合。相比于MPP架構(gòu)，Hadoop架構(gòu)更擅長(zhǎng)非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理。近年來，許多SQL-on-Hadoop數(shù)據(jù)庫(kù)不斷涌現(xiàn)，包括Hive、Hadapt、Citus、Impala、Stinger和Apache Drill等。總的來說，和市場(chǎng)上主流的MPP數(shù)據(jù)庫(kù)相比，SQL-on-Hadoop在SQL性能方面還存在一定的差距。對(duì)此，一些企業(yè)采用了基于MPP架構(gòu)的新型數(shù)據(jù)庫(kù)與Hadoop生態(tài)系統(tǒng)混搭的方式，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL和事務(wù)支持能力；用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時(shí)滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求。文獻(xiàn)[4]針對(duì)未來電信運(yùn)營(yíng)商，建議大數(shù)據(jù)平臺(tái)采用以Hadoop為核心的融合化技術(shù)方案。

包括傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、采用MPP架構(gòu)的新型數(shù)據(jù)庫(kù)、Hadoop生態(tài)系統(tǒng)等，在大數(shù)據(jù)應(yīng)用中都有其擅長(zhǎng)的領(lǐng)域。要在充分利用現(xiàn)有信息設(shè)施的基礎(chǔ)上建設(shè)智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)，高效支撐鐵路的智能化發(fā)展，就須根據(jù)需求方面業(yè)務(wù)功能和系統(tǒng)功能所涉及的應(yīng)用類型、數(shù)據(jù)量等因素以及平臺(tái)方面涉及的性能、擴(kuò)展性、價(jià)格、運(yùn)維、穩(wěn)定性等因素，從數(shù)據(jù)整合、存儲(chǔ)、計(jì)算、分析等各層次對(duì)這些技術(shù)架構(gòu)及其組件進(jìn)行合理的評(píng)估選型。

3 智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型方法

由于Hadoop平臺(tái)在非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計(jì)算模型方面具有明顯的優(yōu)勢(shì)，并隨著技術(shù)的不斷發(fā)展在SQL方面與MPP架構(gòu)的差距正在縮小，因此本節(jié)僅針對(duì)基于Hadoop架構(gòu)的大數(shù)據(jù)平臺(tái)選型方法進(jìn)行研究。

3.1 測(cè)試指標(biāo)

通過對(duì)大數(shù)據(jù)服務(wù)平臺(tái)選型方法進(jìn)行廣泛深入地調(diào)研分析，本文提出的鐵路大數(shù)據(jù)服務(wù)平臺(tái)測(cè)試指標(biāo)體系如圖2所示。該指標(biāo)包括產(chǎn)品運(yùn)維管理、數(shù)據(jù)接入/導(dǎo)出支持、數(shù)據(jù)處理、數(shù)據(jù)流程管理、多租戶與權(quán)限管理等13項(xiàng)測(cè)試內(nèi)容。鐵路行業(yè)用戶可根據(jù)其具體需求選擇其中部分項(xiàng)目進(jìn)行測(cè)試。

圖2 智能鐵路大數(shù)據(jù)測(cè)試指標(biāo)體系

測(cè)試指標(biāo)可分為功能和性能兩方面。功能測(cè)試旨在確定某個(gè)大數(shù)據(jù)平臺(tái)能夠提供哪些功能，測(cè)試結(jié)果只有“是”和“否”之分；性能測(cè)試則是測(cè)試該平臺(tái)在指定負(fù)載下的性能，測(cè)試結(jié)果是衡量不同性能的具體數(shù)值。圖2中，除了 “數(shù)據(jù)處理性能”和“數(shù)據(jù)建模分析性能”外，所有測(cè)試項(xiàng)目都屬于功能性測(cè)試。

3.1.1 性能測(cè)試

性能測(cè)試又可分為平臺(tái)級(jí)性能測(cè)試和應(yīng)用級(jí)性能測(cè)試，其中，平臺(tái)級(jí)性能測(cè)試不采用企業(yè)用戶的實(shí)際業(yè)務(wù)數(shù)據(jù)和負(fù)載，僅利用公開的標(biāo)準(zhǔn)大數(shù)據(jù)及其負(fù)載，相應(yīng)的數(shù)據(jù)和業(yè)務(wù)模型都是公開的。應(yīng)用級(jí)性能測(cè)試則需采用企業(yè)用戶的實(shí)際業(yè)務(wù)數(shù)據(jù)和負(fù)載，相應(yīng)的數(shù)據(jù)和業(yè)務(wù)模型有待建立，因此相對(duì)于平臺(tái)級(jí)測(cè)試需要更多的測(cè)試時(shí)間。圖2中的“數(shù)據(jù)處理性能”為平臺(tái)級(jí)性能測(cè)試，包括SQL、NoSQL和離線分析3類智能鐵路大數(shù)據(jù)應(yīng)用典型負(fù)載的執(zhí)行性能。而“數(shù)據(jù)建模分析性能”則為應(yīng)用級(jí)性能測(cè)試，可根據(jù)鐵路行業(yè)各用戶的測(cè)試時(shí)間限制以及大數(shù)據(jù)廠商的意愿來確定是否進(jìn)行測(cè)試。

3.1.2 功能測(cè)試

功能測(cè)試包括從運(yùn)維管理、數(shù)據(jù)接入/導(dǎo)出/處理、數(shù)據(jù)流程管理、多租戶與權(quán)限管理、安全性、可靠性、兼容性、開放性、擴(kuò)展性、數(shù)據(jù)建模及展現(xiàn)等方面。其中，運(yùn)維管理用于測(cè)試大數(shù)據(jù)服務(wù)平臺(tái)在自動(dòng)化部署、日志管理、配置管理、故障告警管理等方面的功能，是智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)必須具備的基本功能；考慮到目前我國(guó)鐵路行業(yè)很多單位都已建設(shè)并運(yùn)轉(zhuǎn)著傳統(tǒng)數(shù)據(jù)庫(kù)或FTP，所以數(shù)據(jù)接入/導(dǎo)出用于測(cè)試大數(shù)據(jù)服務(wù)平臺(tái)與傳統(tǒng)數(shù)據(jù)庫(kù)及FTP之間的數(shù)據(jù)交互功能，以便新建的大數(shù)據(jù)服務(wù)平臺(tái)與現(xiàn)有的數(shù)據(jù)庫(kù)或FTP能夠共享數(shù)據(jù)，協(xié)同工作；另外，支撐智能鐵路列車安全運(yùn)行的各類業(yè)務(wù)系統(tǒng)數(shù)據(jù)關(guān)系著旅客及工作人員人身安全甚至社會(huì)穩(wěn)定，不能開放，這就要求對(duì)這些數(shù)據(jù)開展大數(shù)據(jù)分析的前提條件是保證平臺(tái)的安全性，因此安全性測(cè)試也是智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型中很重要一項(xiàng)內(nèi)容。此外，智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)的建設(shè)應(yīng)循序漸進(jìn)，逐步擴(kuò)大應(yīng)用范圍，因此還需測(cè)試平臺(tái)的擴(kuò)展性，以便在不影響原分析任務(wù)的同時(shí)水平擴(kuò)容。

在具體開展測(cè)試時(shí)，應(yīng)根據(jù)自身需求對(duì)圖2中各個(gè)測(cè)試項(xiàng)目的重要性分配權(quán)值，以使測(cè)試結(jié)果反映用戶業(yè)務(wù)特點(diǎn)。

3.2 測(cè)試基準(zhǔn)

一般來說，大數(shù)據(jù)應(yīng)用具有明顯的行業(yè)特點(diǎn)。由于不同行業(yè)對(duì)大數(shù)據(jù)的需求可能有所不同，有些傳統(tǒng)行業(yè)甚至可能對(duì)大數(shù)據(jù)具有比較特殊的應(yīng)用需求，因此大數(shù)據(jù)平臺(tái)評(píng)測(cè)的另一核心是根據(jù)用戶具體需求來確定測(cè)試基準(zhǔn)。

由于企業(yè)常常將數(shù)據(jù)看作是比較敏感的資產(chǎn)，通常不愿公開，即使是公開也僅是樣本數(shù)據(jù)。因此，很多企業(yè)都需面臨測(cè)試數(shù)據(jù)的來源問題。對(duì)此，一種可行的辦法是采用公開的大數(shù)據(jù)測(cè)試基準(zhǔn)。目前，可用于大數(shù)據(jù)平臺(tái)選型的公開基準(zhǔn)繁多，包括TPCDS、BigBench[5]、YCSB（Yahoo! Cloud Serving Benchmark）[6]和BigDataBench[7]，CALDA[8]、CloudSuite[9]等。其中，有的為傳統(tǒng)數(shù)據(jù)管理系統(tǒng)測(cè)試基準(zhǔn)，有的為針對(duì)大數(shù)據(jù)的測(cè)試基準(zhǔn)?？偟膩碚f，現(xiàn)有的大多數(shù)相關(guān)基準(zhǔn)沒有完整地涵蓋大數(shù)據(jù)的特性。對(duì)于我國(guó)鐵路行業(yè)而言，可參考TPC-DS、YCSB和BigDataBench這3種測(cè)試基準(zhǔn)。下面分別進(jìn)行簡(jiǎn)要介紹。

3.2.1 TPC-DS

該基準(zhǔn)是由TPC組織提出、面向決策支持應(yīng)用的測(cè)試基準(zhǔn)。TPC-DS針對(duì)SQL測(cè)試，屬于關(guān)系型數(shù)據(jù)管理系統(tǒng)測(cè)試基準(zhǔn)[10]，其業(yè)務(wù)模型以現(xiàn)實(shí)中的商品零售業(yè)務(wù)為藍(lán)本，一共包括99個(gè)測(cè)試案例。測(cè)試案例中包含各種業(yè)務(wù)模型，如分析報(bào)告性，迭代式的在線分析性，數(shù)據(jù)挖掘性等。對(duì)于各測(cè)試案例，該基準(zhǔn)提供公開的數(shù)據(jù)集和負(fù)載。

3.2.2 YCSB

YCSB由雅虎設(shè)計(jì)，用于測(cè)試云服務(wù)系統(tǒng)、NoSQL及鍵值存儲(chǔ)。目前YCSB自帶6種負(fù)載，但用戶可自定義read/update/insert/scan操作的比例，并選擇操作目標(biāo)記錄的分布。YCSB支持Hbase、Cassandra、CouchDB、MongDB等多種NoSQL數(shù)據(jù)庫(kù)，但沒有提供可擴(kuò)展的數(shù)據(jù)集。

3.2.3 BigDataBench

BigDataBench由中國(guó)科學(xué)院計(jì)算所牽頭研制，其設(shè)計(jì)方法緊密聯(lián)系工業(yè)界，完成了工業(yè)標(biāo)準(zhǔn)的大數(shù)據(jù)平臺(tái)性能測(cè)試標(biāo)準(zhǔn)。BigDataBench從搜索引擎、社交網(wǎng)絡(luò)、電子商務(wù)、多媒體、生物信息學(xué)5個(gè)典型應(yīng)用場(chǎng)景出發(fā)，其 BigDataBench 3.1包含14個(gè)真實(shí)的數(shù)據(jù)集和33個(gè)負(fù)載，負(fù)載類型主要包括離線分析、NoSQL和交互式分析（SQL）。該基準(zhǔn)提供公開的數(shù)據(jù)集和負(fù)載。

鐵路行業(yè)用戶可通過研究以上3種基準(zhǔn)中各負(fù)載與各種鐵路大數(shù)據(jù)應(yīng)用之間的近似映射關(guān)系，以盡可能利用公開測(cè)試基準(zhǔn)的負(fù)載和數(shù)據(jù)集，減少鐵路業(yè)務(wù)建模和數(shù)據(jù)收集清洗的工作量。對(duì)于映射負(fù)載集中可獲得部分鐵路業(yè)務(wù)數(shù)據(jù)的負(fù)載，可利用大數(shù)據(jù)生成工具將這些數(shù)據(jù)生成大數(shù)據(jù)集來替代原有的公開數(shù)據(jù)集，以取得更加符合鐵路數(shù)據(jù)特點(diǎn)的測(cè)試效果。經(jīng)過多年的發(fā)展，鐵路行業(yè)已積累了豐富的業(yè)務(wù)模型，其中有些甚至做了并行化處理，對(duì)此可選取部分模型加入到映射負(fù)載集合中，以構(gòu)建盡可能反映鐵路業(yè)務(wù)特點(diǎn)的大數(shù)據(jù)服務(wù)平臺(tái)測(cè)試基準(zhǔn)。

4 結(jié)束語(yǔ)

大數(shù)據(jù)服務(wù)平臺(tái)對(duì)于當(dāng)前鐵路智能化發(fā)展具有非常重要的作用。本文針對(duì)大數(shù)據(jù)服務(wù)平臺(tái)在鐵路行業(yè)應(yīng)用中面臨的選型問題，通過對(duì)目前主流的大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)進(jìn)行對(duì)比分析，為智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)技術(shù)架構(gòu)選型提供了一定的支撐；同時(shí)，結(jié)合鐵路領(lǐng)域大數(shù)據(jù)應(yīng)用的特點(diǎn)，提出了智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)選型中的測(cè)試指標(biāo)體系，給出測(cè)試基準(zhǔn)的確定方法，為智能鐵路大數(shù)據(jù)服務(wù)平臺(tái)相關(guān)產(chǎn)品選型提供一定的技術(shù)參考。

[1] 馬小寧.智能鐵路總體框架研究[D].北京：中國(guó)鐵道科學(xué)研究院，2013.

[2] 史天運(yùn),郭 歌,李 平.智能鐵路總體框架的研究[C].第六屆中國(guó)智能交通年會(huì)暨第七屆國(guó)際節(jié)能與新能源汽車創(chuàng)新發(fā)展論壇優(yōu)秀論文集（上冊(cè)）—智能交通.2011.

[3] 于富東.大數(shù)據(jù)平臺(tái)的關(guān)鍵技術(shù)及組網(wǎng)方案[J].電信科學(xué),2015,31（7）：158-163.

[4] 王 暉,唐向京.共享開放的運(yùn)營(yíng)商大數(shù)據(jù)平臺(tái)架構(gòu)研究[J].信息通信技術(shù)，2014（6）：52-58.

[5] 2012 Ghazal A,Rabl T,Hu M,et al.BigBench:towards an industry standard benchmark for big data analytics[C].ACM SIGMOD International Conference on Management of Data.ACM,2013:1197-1208.

[6] Cooper B,Silberstein A,Tam E,et al. Beanchmarking cloud serving systems with YCSB[C].Proceedings of the 1st ACM Symposium on Cloud Computing.lndianapolis,Indiana,USA,2010:143-154.

[7] 詹劍鋒,高婉鈴,王 磊,等.BigDataBench:開源的大數(shù)據(jù)系統(tǒng)評(píng)測(cè)基準(zhǔn)[J].計(jì)算機(jī)學(xué)報(bào),2016（1）：196-211.

[8] Paulson,A.Rasin,D.J.Abadi,D.J.DeWitt,S.Madden,and M.Stonebraker,A comparison of approaches to large-scale data analysis[C].SIGMOD Conference,pp.165-178,2009.

[9] Ferdman M,Adileh A,Kocberber O,et al.Clearing the clouds:a study of emerging scale-out workloads on modern hardware[J].ACM SIGPLAN Notices,2012,47(4):37-48.

[10] 金澈清,錢衛(wèi)寧,周敏奇,等.數(shù)據(jù)管理系統(tǒng)評(píng)測(cè)基準(zhǔn)：從傳統(tǒng)數(shù)據(jù)庫(kù)到新興大數(shù)據(jù)[J].計(jì)算機(jī)學(xué)報(bào),2015,38（1）：18-34.

責(zé)任編輯 徐侃春

Type selection method of big data service platform for intelligent railway

LIU Jun1,SHI Tianyun2,LI Ping1,XU Guihong1,YANG Lianbao1
( 1.Research and Application Innovation Center for Big Data Technology in Railway,China Academy of Railway Sciences,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

Focusing on the problem of how to select the big data service platform,which was disturbing many enterprise users at present,this paper analyzed the current main technical structures of the big data service platform,and studied on the product selection method of the big data service platform from the perspectives of both testing metrics and testing benchmark according to the characteristics of railway industry.The work is expected to be instructive to the gradual advancing of intelligent railways and the construction of railway big data service platform.

big data;intelligent railway;platform;type selection;test

U29-39

A

1005-8451（2016）09-0067-05

2016-06-15

中國(guó)鐵路總公司科技研究開發(fā)計(jì)劃課題（2015X003-F）；中國(guó)鐵道科學(xué)研究院院基金重大項(xiàng)目（1551DZ8004）。

劉 俊，在讀博士后；史天運(yùn)，研究員。