大數(shù)據(jù)基準(zhǔn)測試流程與測試工具

姜春宇 孟苗苗

1 工業(yè)和信息化部電信研究院標(biāo)準(zhǔn)所，云計(jì)算標(biāo)準(zhǔn)與測試驗(yàn)證北京市重點(diǎn)實(shí)驗(yàn)室 北京 100191

2 中國聯(lián)合網(wǎng)絡(luò)通信有限公司 北京 100033

引言

互聯(lián)網(wǎng)的普及已經(jīng)連接了全世界近30億人口，目前，互聯(lián)網(wǎng)上的網(wǎng)頁數(shù)目已經(jīng)突破10億[1]，大量的數(shù)據(jù)在網(wǎng)絡(luò)中產(chǎn)生，而新的互聯(lián)網(wǎng)技術(shù)和應(yīng)用的結(jié)合形成了豐富的數(shù)據(jù)源，并帶來數(shù)據(jù)量爆發(fā)式的增長。大數(shù)據(jù)在數(shù)據(jù)量、數(shù)據(jù)類型和處理時(shí)效性等方面帶來了新的挑戰(zhàn)，應(yīng)運(yùn)而生的大數(shù)據(jù)處理技術(shù)采用分布式文件系統(tǒng)、分布式并行計(jì)算框架等模型以低廉的價(jià)格解決大數(shù)據(jù)的挑戰(zhàn)。新的計(jì)算框架和數(shù)據(jù)庫系統(tǒng)層出不窮，大數(shù)據(jù)產(chǎn)品和系統(tǒng)不斷推陳出新，催生出對(duì)這些產(chǎn)品和技術(shù)進(jìn)行基準(zhǔn)對(duì)比的需求。

大數(shù)據(jù)基準(zhǔn)測試從具體應(yīng)用中抽象出有代表性的負(fù)載，根據(jù)真實(shí)數(shù)據(jù)的特征和分布生成可擴(kuò)展的數(shù)據(jù)集，以相應(yīng)的指標(biāo)衡量負(fù)載處理數(shù)據(jù)集的效果，以此來比較大數(shù)據(jù)處理系統(tǒng)的性能。本文結(jié)合大數(shù)據(jù)處理系統(tǒng)的特點(diǎn)，闡述大數(shù)據(jù)基準(zhǔn)測試的要素和構(gòu)建流程，最后從數(shù)據(jù)、負(fù)載和軟件棧等方面比較現(xiàn)有基準(zhǔn)測試工具，并展望未來基準(zhǔn)測試工具的發(fā)展方向。

1 大數(shù)據(jù)起源和特點(diǎn)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，產(chǎn)生了越來越多的數(shù)據(jù)來源?；ヂ?lián)網(wǎng)應(yīng)用記錄著用戶每天在網(wǎng)上的行為數(shù)據(jù)，用戶的社交數(shù)據(jù)、搜索數(shù)據(jù)、購物數(shù)據(jù)都被一一記錄下來。而線下的生活也處處與網(wǎng)絡(luò)相關(guān)，通話記錄、醫(yī)療數(shù)據(jù)、環(huán)境數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)也通過網(wǎng)絡(luò)留存下來。工業(yè)互聯(lián)網(wǎng)中的機(jī)器配備了傳感器和網(wǎng)絡(luò)傳輸裝置，積累了大量機(jī)器數(shù)據(jù)。物聯(lián)網(wǎng)連接地球上所有的人和物，感知并跟蹤著物體和人的狀態(tài)。據(jù)IDC預(yù)測，從2005年到2020年，全球數(shù)據(jù)量將會(huì)從130EB增長到40ZB[2]。

隨著數(shù)據(jù)源種類的激增，新的數(shù)據(jù)不僅在數(shù)據(jù)量上有了很大的體量，其數(shù)據(jù)結(jié)構(gòu)也不同于以往的關(guān)系型數(shù)據(jù)結(jié)構(gòu)，智能設(shè)備、傳感器和各種應(yīng)用的興起，視頻、圖片、音頻、文檔、網(wǎng)頁和日志等大量非結(jié)構(gòu)化的數(shù)據(jù)蜂擁而來，為當(dāng)前的數(shù)據(jù)處理帶來新的挑戰(zhàn)。互聯(lián)網(wǎng)服務(wù)的進(jìn)化，使得用戶對(duì)數(shù)據(jù)處理的速度有了更高要求，數(shù)據(jù)量規(guī)模和數(shù)據(jù)類型復(fù)雜性的增加對(duì)大數(shù)據(jù)處理速度帶來挑戰(zhàn)。IBM從四個(gè)維度定義大數(shù)據(jù)，即數(shù)量(Volume)、種類(Variety)、速度(Velocity)、真實(shí)性(Veracity)[3]。大數(shù)據(jù)具備大體量、多樣性、高時(shí)效性和真實(shí)性等特征。

2 大數(shù)據(jù)處理平臺(tái)的構(gòu)成

大數(shù)據(jù)的大體量、多樣性和處理的時(shí)效性是傳統(tǒng)單設(shè)備縱向擴(kuò)展無法解決的，這種挑戰(zhàn)首先在互聯(lián)網(wǎng)搜索中體現(xiàn)出來，搜索引擎需要檢索和存儲(chǔ)的網(wǎng)站數(shù)量龐大，以非結(jié)構(gòu)化數(shù)據(jù)為主，為此谷歌率先于2004年提出一套分布式數(shù)據(jù)處理的技術(shù)體系，即能夠橫向擴(kuò)展的分布式文件系統(tǒng)(GFS)、分布式計(jì)算系統(tǒng)(MapReduce)和分布式數(shù)據(jù)庫(BigTable)等技術(shù)，以較低成本很好地解決了大數(shù)據(jù)面臨的困境，奠定了大數(shù)據(jù)技術(shù)的基礎(chǔ)。受谷歌論文啟發(fā)，Apache Hadoop實(shí)現(xiàn)了自己的分布式文件系統(tǒng)(HDFS)、分布式計(jì)算系統(tǒng)(MapReduce)和分布式數(shù)據(jù)庫(Hbase)，并將其開源，從而加速了大數(shù)據(jù)技術(shù)和應(yīng)用的發(fā)展。大數(shù)據(jù)處理平臺(tái)主要由分布式文件系統(tǒng)、分布式計(jì)算平臺(tái)、分布式存儲(chǔ)系統(tǒng)等構(gòu)成。以Hadoop為例，其基本組件如圖1所示。

圖1 Hadoop基本組件

3 大數(shù)據(jù)基準(zhǔn)測試要素

基于Hadoop和Spark原理的大數(shù)據(jù)處理平臺(tái)在工業(yè)界和學(xué)術(shù)界都得到了廣泛應(yīng)用，谷歌、Facebook、百度、阿里巴巴等互聯(lián)網(wǎng)公司早已研發(fā)部署了大數(shù)據(jù)處理系統(tǒng)，越來越多的中級(jí)企業(yè)開始在大數(shù)據(jù)基礎(chǔ)平臺(tái)之上開發(fā)大數(shù)據(jù)應(yīng)用，IDG調(diào)研了751家企業(yè)，其中49%的企業(yè)反饋已經(jīng)或正在實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目[4]。盡管大數(shù)據(jù)的平臺(tái)和應(yīng)用發(fā)展迅速，但缺少基準(zhǔn)來衡量大數(shù)據(jù)平臺(tái)的性能，而且大數(shù)據(jù)系統(tǒng)的復(fù)雜性、多樣性和變化性為評(píng)估帶來很大困難。

大數(shù)據(jù)基準(zhǔn)測試能夠評(píng)估和比較大數(shù)據(jù)系統(tǒng)和架構(gòu)，其主要作用有三個(gè)方面。1)它能提升大數(shù)據(jù)領(lǐng)域的技術(shù)、理論和算法，并挖掘出大數(shù)據(jù)的潛在價(jià)值和知識(shí)。2)它能幫助系統(tǒng)開發(fā)人員設(shè)計(jì)系統(tǒng)功能、調(diào)優(yōu)系統(tǒng)性能、提升部署方法[5]。3)它容許用戶比較不同系統(tǒng)的性能，幫助選購產(chǎn)品。

設(shè)計(jì)大數(shù)據(jù)基準(zhǔn)測試通常包含以下考慮。1)選擇數(shù)據(jù)和生成數(shù)據(jù)，確定數(shù)據(jù)集的大小、類型以及覆蓋的應(yīng)用場景，提供數(shù)據(jù)集或者數(shù)據(jù)生成的工具。2)確定測試負(fù)載，負(fù)載需要覆蓋不同的應(yīng)用場景，具有代表性，能夠較全面地反應(yīng)系統(tǒng)的特性。3)明確測試指標(biāo)，大數(shù)據(jù)基準(zhǔn)測試主要從性能、能效、性價(jià)比、可靠性等角度衡量大數(shù)據(jù)系統(tǒng)和架構(gòu)。4)確定基準(zhǔn)測試所針對(duì)的軟件系統(tǒng)和框架，不同框架處適用的場景不同。

4 測試流程

大數(shù)據(jù)基準(zhǔn)測試主要有三個(gè)流程，即數(shù)據(jù)生成、負(fù)載選擇和指標(biāo)選擇。簡要來說，數(shù)據(jù)生成主要生成不同的數(shù)據(jù)類型并滿足大數(shù)據(jù)的四V特點(diǎn);負(fù)載選擇主要是選擇合適的負(fù)載以運(yùn)行數(shù)據(jù)產(chǎn)生結(jié)果;指標(biāo)選擇確定衡量的維度，以便從不同方面評(píng)估大數(shù)據(jù)框架。

4.1 數(shù)據(jù)生成

大數(shù)據(jù)基準(zhǔn)測試通常要么采用現(xiàn)實(shí)數(shù)據(jù)，要么合成數(shù)據(jù)。使用現(xiàn)實(shí)數(shù)據(jù)存在兩個(gè)困難，首先，大多數(shù)情況下數(shù)據(jù)都是企業(yè)比較敏感的部分，企業(yè)通常不愿意公開提供數(shù)據(jù);其次，現(xiàn)實(shí)數(shù)據(jù)只適應(yīng)于特定應(yīng)用場景，有其局限性，無法適應(yīng)所有負(fù)載;所以，用數(shù)據(jù)生成工具合成數(shù)據(jù)成為大數(shù)據(jù)基準(zhǔn)測試通常采用的方法。數(shù)據(jù)生成分為數(shù)據(jù)篩選、數(shù)據(jù)處理、數(shù)據(jù)生成和格式轉(zhuǎn)換四步。

4.1.1 生成步驟

1)數(shù)據(jù)篩選。在篩選數(shù)據(jù)時(shí)，①需要考慮數(shù)據(jù)和負(fù)載的匹配性，數(shù)據(jù)類型應(yīng)該符合特定負(fù)載的要求，數(shù)據(jù)集需要來源于特定的大數(shù)據(jù)應(yīng)用場景，如電子商務(wù)、搜索引擎、社交網(wǎng)絡(luò)等，并符合真實(shí)數(shù)據(jù)的數(shù)據(jù)特征和分布特征;②根據(jù)測試機(jī)器的數(shù)量和應(yīng)用的特點(diǎn)，評(píng)估數(shù)據(jù)量的大小。2)數(shù)據(jù)處理。待處理的數(shù)據(jù)是建立在能保持原始數(shù)據(jù)的特性并能消除其中敏感信息的基礎(chǔ)上進(jìn)行相關(guān)操作的。針對(duì)不同的數(shù)據(jù)類型，應(yīng)該采用該類領(lǐng)域中有代表性的數(shù)據(jù)建模方法對(duì)真實(shí)數(shù)據(jù)進(jìn)行建模，抽取出數(shù)據(jù)的特征，并將這些特征存儲(chǔ)在模型文件中。3)數(shù)據(jù)生成。數(shù)據(jù)生成通常需要特定的生成工具來完成，生成工具依據(jù)不同類型的數(shù)據(jù)處理過程來設(shè)計(jì)。首先需要提出數(shù)據(jù)的模型特征，基于提取出的模型和所需的數(shù)據(jù)量生成測試數(shù)據(jù)。除了需要保證所選用建模方法的模型特性外，還要滿足在數(shù)據(jù)生成過程中通過參數(shù)來控制數(shù)據(jù)生成的并發(fā)量和大小，不同的參數(shù)可以模擬出不同的應(yīng)用場景;不同的數(shù)據(jù)生成工具通過建模步驟，保證生成的測試數(shù)據(jù)保持原有數(shù)據(jù)的數(shù)據(jù)特征，并且可以縮放至大數(shù)據(jù)規(guī)模。4)數(shù)據(jù)格式轉(zhuǎn)換。這個(gè)流程保證生成數(shù)據(jù)能通過格式轉(zhuǎn)換工具生成符合特定應(yīng)用的輸入格式。

4.1.2 示例

例如，通過分析應(yīng)用和負(fù)載需求，假設(shè)現(xiàn)在要生成1T左右的文本數(shù)據(jù)。首先選擇網(wǎng)絡(luò)上開放維基百科的數(shù)據(jù)源，以此數(shù)據(jù)源為樣本，利用開源的數(shù)據(jù)生成工具并提取出數(shù)據(jù)的特征，數(shù)據(jù)生成工具根據(jù)數(shù)據(jù)特征和需要擴(kuò)展的數(shù)據(jù)量(這里是1T)來生成數(shù)據(jù)集，這樣就能得到基于實(shí)際應(yīng)用中數(shù)據(jù)擴(kuò)展的數(shù)據(jù)集。最后，根據(jù)負(fù)載需要的輸入格式再對(duì)數(shù)據(jù)集的格式進(jìn)行轉(zhuǎn)化。

4.2 負(fù)載選擇

負(fù)載是大數(shù)據(jù)基準(zhǔn)需要執(zhí)行的具體任務(wù)，用來處理數(shù)據(jù)并產(chǎn)生結(jié)果，負(fù)載將大數(shù)據(jù)平臺(tái)的應(yīng)用抽象成一些基本操作。由于行業(yè)和領(lǐng)域的不同，其應(yīng)用有很多不同的特點(diǎn)，從系統(tǒng)資源消耗方面負(fù)載可分為計(jì)算密集型、I/O密集型和混合密集型的任務(wù)。例如運(yùn)營商的話單查詢需要多次調(diào)用數(shù)據(jù)庫，是典型的I/O密集型任務(wù);而互聯(lián)網(wǎng)的聚類過程需要大量的迭代計(jì)算，是典型的計(jì)算密集型任務(wù);搜索引擎中的PageRank算法既需要數(shù)據(jù)交換又要不斷地迭代計(jì)算，屬于混合型任務(wù)。

選擇負(fù)載有兩種策略。第一種是從企業(yè)應(yīng)用的場景出發(fā)，模擬企業(yè)應(yīng)用流程，采用應(yīng)用中的真實(shí)數(shù)據(jù)進(jìn)行測試。例如一家從事搜索的企業(yè)，其應(yīng)用場景可以基本抽象為Nutch、Index和PageRank三種負(fù)載;銀行的典型應(yīng)用主要是賬單查詢、帳目的更改等，可以抽象為對(duì)數(shù)據(jù)庫表的查詢和更改。第二種是從通用的角度來考量，從測試整個(gè)大數(shù)據(jù)平臺(tái)的角度出發(fā)，選擇負(fù)載時(shí)需要覆蓋大數(shù)據(jù)處理平臺(tái)主要組件即分布式計(jì)算框架、分布式文件系統(tǒng)和分布式存儲(chǔ)的能力。以Hadoop平臺(tái)為例，負(fù)載主要需要測試Hadoop(包括HDFS和MapReduce)、數(shù)據(jù)倉庫(Hive)和NoSQL數(shù)據(jù)庫的能力。測試負(fù)載需要覆蓋多種應(yīng)用類型和任務(wù)的資源特點(diǎn)。如表1所示，選取TeraSort、PageRank和Na?ve Bayes來測試Hadoop，這三個(gè)算法分別屬于I/O資源密集、混合和計(jì)算資源密集的任務(wù);選取Join Query來測試Hive組件，Read/Write/Scan負(fù)載來測試HBase組件，它們分別屬于計(jì)算密集和I/O密集負(fù)載。

表1 測試負(fù)載示例

4.3 指標(biāo)

測試指標(biāo)主要分為兩類，一類是從用戶角度出發(fā)的指標(biāo)，這類指標(biāo)注重于直觀化，讓用戶容易理解[6];第二類指標(biāo)是從架構(gòu)的角度出發(fā)的，主要考量系統(tǒng)架構(gòu)的能力。第一類的指標(biāo)主要有每秒執(zhí)行的請(qǐng)求數(shù)，請(qǐng)求延遲和每秒執(zhí)行的操作數(shù);第二類指標(biāo)注重比較系統(tǒng)性能間的差異，主要有每秒浮點(diǎn)計(jì)算速度和每秒數(shù)據(jù)吞吐量等。在實(shí)際測試中，為比較不同平臺(tái)之間的差異，可以從以下四個(gè)維度來評(píng)估大數(shù)據(jù)平臺(tái):性能、能耗、性價(jià)和可靠性，具體介紹和計(jì)算方式見表2。

表2 測試指標(biāo)

5 大數(shù)據(jù)測試工具

當(dāng)前大數(shù)據(jù)基準(zhǔn)工具有很多，主要分為三種類型。一類屬于微型負(fù)載，這類負(fù)載測試只測試大數(shù)據(jù)平臺(tái)的某個(gè)特定組件或應(yīng)用，例如GridMix是面向Hadoop集群的測試基準(zhǔn);TeraSort只針對(duì)文本數(shù)據(jù)的排序;雅虎開發(fā)的YCSB對(duì)比NoSQL數(shù)據(jù)庫的性能，其目的是評(píng)估鍵值和云數(shù)據(jù)庫[7];Facebook的LinkBench專門用于測試存儲(chǔ)社交圖譜和網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)庫[8]。第二類是綜合類的測試工具，模擬幾類典型應(yīng)用，覆蓋大數(shù)據(jù)軟件平臺(tái)的多個(gè)功能組件，比如英特爾的Hibench是針對(duì)Hadoop和Hive平臺(tái)的基準(zhǔn)測試工具，其負(fù)載按照業(yè)務(wù)能分為微型負(fù)載、搜索業(yè)務(wù)、機(jī)器學(xué)習(xí)和分析請(qǐng)求等四類[9];BigDataBench是中科院計(jì)算所提出的大數(shù)據(jù)測試工具，覆蓋了結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)，其負(fù)載模擬了搜索引擎、社交網(wǎng)絡(luò)和電子商務(wù)等業(yè)務(wù)模型[6]。第三類測試工具是具體應(yīng)用領(lǐng)域端到端的大數(shù)據(jù)測試工具，這類的測試工具主要有BigBench，是基于TPC-DS開發(fā)的端到端大數(shù)據(jù)測試工具，面向零售業(yè)務(wù)，模擬電子商務(wù)的整個(gè)流程，主要測試MapReduce和并行DBMS[10]，其優(yōu)點(diǎn)是應(yīng)用場景結(jié)合非常緊密，行業(yè)針對(duì)性很強(qiáng)。

這三類測試工具各有其應(yīng)用場景，微型測試工具測試的應(yīng)用較單一，效率高、成本低，但無法通體衡量大數(shù)據(jù)平臺(tái)的性能，綜合類測試工具覆蓋面比較廣，考慮到應(yīng)用類型和不同平臺(tái)組件，能夠較全面考量大數(shù)據(jù)平臺(tái)執(zhí)行不同類型任務(wù)的性能，通用性好。端到端的大數(shù)據(jù)測試工具滿足了對(duì)企業(yè)特定業(yè)務(wù)的模擬，與企業(yè)應(yīng)用場景結(jié)合緊密，覆蓋了企業(yè)大數(shù)據(jù)業(yè)務(wù)全流程的模擬和測試，是未來大數(shù)據(jù)測試工具發(fā)展的趨勢。

6 總結(jié)

大數(shù)據(jù)基準(zhǔn)測試負(fù)載、數(shù)據(jù)、指標(biāo)的選擇都應(yīng)該基于企業(yè)具體業(yè)務(wù)場景和應(yīng)用需求，對(duì)于業(yè)務(wù)種類較多、覆蓋多個(gè)平臺(tái)組件的企業(yè)應(yīng)該考慮抽象一些共性的負(fù)載，選擇通用性的測試工具。對(duì)于行業(yè)領(lǐng)域比較明確，業(yè)務(wù)種類比較集中的企業(yè)，應(yīng)該多考慮抽象出特定的場景的負(fù)載，選用實(shí)際數(shù)據(jù)進(jìn)行擴(kuò)展，最好定制端到端的測試工具。目前來看，大數(shù)據(jù)測試工具都屬于微型工具，其負(fù)載均模擬真實(shí)業(yè)務(wù)中的一些簡單操作，主要從性能角度衡量大數(shù)據(jù)基礎(chǔ)平臺(tái)(Hadoop或者Spark平臺(tái))，目前比較缺少端到端的面向具體業(yè)務(wù)場景的測試負(fù)載和測試數(shù)據(jù)。隨著企業(yè)的大數(shù)據(jù)應(yīng)用的逐步發(fā)展，企業(yè)更加了解自身需求，未來大數(shù)據(jù)基準(zhǔn)測試的發(fā)展將注重以下兩點(diǎn)。1)面向具體行業(yè)的應(yīng)用場景，模擬典型的應(yīng)用類型，針對(duì)特定行業(yè)端到端的測試工具，比如模擬搜索引擎、社交網(wǎng)絡(luò)、上網(wǎng)流量查詢、銀行賬單查詢等業(yè)務(wù)的負(fù)載。2)簡化測試部署、執(zhí)行的復(fù)雜性，提供更好的可視化工具。

[1]Total Number of Websites.Internetlivestats[EB/OL].[2014-10-11].http://www.internetlivestats.com/total-number-ofwebsites/

[2]John Gantz,David Reinsel.The Digital Universe In 2020:Big Data,Bigger Digital Shadows,and Biggest Growth in the Far East[R/OL].[2014-10-11].http://www.emc.com/leadership/digital-universe/2014iview/executivesummary.htm

[3]The Four V's of Big Data[EB/OL].[2014-10-11].http://www.ibmbigdatahub.com/infographic/four-vs-big-data

[4]The 2014 IDG Enterprise Big Data research[R/OL].[2014-10-11].http://www.idgenterprise.com/report/bigdata-2

[5]Rui Han,Xiaoyi Lu.On Big Data Benchmarking[C]//The Fourth workshop on Big Data Benchmarks,Performance Optimization,and Emerging Hardware.Salt Lake City,Utah,USA,2014:3-18

[6]Wang L,Zhan J,Luo C,et al.BigDataBench:a Big Data Benchmark Suit from Internet Services[C]//The 20th IEEE International Symposium On High Performance Computer Architecture.Orlando,USA,2014

[7]Brian F.Cooper,Adam Silberstein,Erwin Tam,et al. Benchmarking Cloud Serving Systems with YCSB[C]//The 1st ACM symposium on Cloud computing,SoCC'10.Indianapolis,Indiana,USA,2010:143-153

[8]Timothy G.Armstrong,Vamsi Ponnekanti,DhrubaBorthaku.LinkBench:a Database Benchmark Based on the Facebook Social Graph[C]//SIGMOD,ACM,USA,2013:1185-1196

[9]Shengsheng Huang,Jie Huang,Jinquan Dai,et al.The HiBench Benchmark Suit:Characterization of the MapReduce-Based Data Analysis[C]//Data Engineering Workshops.I IEEE 26th International Conferenace on IEEE,2010:41-51

[10]Ahmad Ghazal,TilmannRabl,Minqing Hu,el al.BigBench:Towards an Industry Standard Benchmark for Big Data Analytics[C]//SIGMOD ACM.NewYork,2013:197-208