• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化思考*

    2015-04-15 08:46:08陳凱中國(guó)信息通信研究院通信標(biāo)準(zhǔn)研究所高級(jí)工程師
    信息通信技術(shù)與政策 2015年2期
    關(guān)鍵詞:標(biāo)準(zhǔn)化

    陳凱 中國(guó)信息通信研究院通信標(biāo)準(zhǔn)研究所高級(jí)工程師

    魏凱中國(guó)信息通信研究院通信標(biāo)準(zhǔn)研究所高級(jí)工程師

    周曉敏 中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司技術(shù)部項(xiàng)目經(jīng)理

    大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化思考*

    陳凱 中國(guó)信息通信研究院通信標(biāo)準(zhǔn)研究所高級(jí)工程師

    魏凱中國(guó)信息通信研究院通信標(biāo)準(zhǔn)研究所高級(jí)工程師

    周曉敏 中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司技術(shù)部項(xiàng)目經(jīng)理

    大數(shù)據(jù)基準(zhǔn)測(cè)試是大數(shù)據(jù)技術(shù)和產(chǎn)品發(fā)展中不可或缺的標(biāo)尺。目前,雖然已經(jīng)有了很多的測(cè)試工具,如何將它們標(biāo)準(zhǔn)化成為業(yè)界關(guān)注的焦點(diǎn)。本文介紹了大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化的緊迫性,分析了大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化現(xiàn)狀和測(cè)試工具,指出了大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化所面臨的挑戰(zhàn);最后,對(duì)大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化最新進(jìn)展,以及大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化下一步的發(fā)展方向進(jìn)行了展望。

    大數(shù)據(jù) 基準(zhǔn)測(cè)試 Hadoop 標(biāo)準(zhǔn)化

    1 引言

    大數(shù)據(jù)是指難以用現(xiàn)有的軟件工具提取、存儲(chǔ)、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合。今天越來(lái)越多的企業(yè)認(rèn)識(shí)到,大數(shù)據(jù)的分析能力將成為競(jìng)爭(zhēng)力的核心,企業(yè)對(duì)大數(shù)據(jù)的投資也在不斷擴(kuò)大。Gartner調(diào)查顯示,73%的企業(yè)計(jì)劃在未來(lái)兩年內(nèi)投資大數(shù)據(jù)。以開(kāi)源Hadoop、Spark等為基礎(chǔ)的大數(shù)據(jù)基礎(chǔ)平臺(tái)解決方案和云服務(wù)如雨后春筍不斷涌現(xiàn),形成了近200億美元的市場(chǎng)規(guī)模。

    然而對(duì)于很多企業(yè)用戶來(lái)說(shuō),如何評(píng)價(jià)一個(gè)大數(shù)據(jù)平臺(tái)的綜合能力,常常是系統(tǒng)設(shè)計(jì)、產(chǎn)品和服務(wù)選型、平臺(tái)建設(shè)、系統(tǒng)優(yōu)化和運(yùn)維時(shí)面臨的一大挑戰(zhàn)?;仡檾?shù)據(jù)庫(kù)和服務(wù)器產(chǎn)品的發(fā)展歷史,一套公平、可重復(fù)、便于理解的測(cè)試基準(zhǔn),是推動(dòng)產(chǎn)品和服務(wù)快速成熟的重要支撐。今天,大數(shù)據(jù)平臺(tái)正處在發(fā)展初期,各種新架構(gòu)、新產(chǎn)品和新服務(wù)不斷涌現(xiàn),研發(fā)、采購(gòu)、驗(yàn)收等環(huán)節(jié)迫切需要統(tǒng)一的衡量標(biāo)準(zhǔn)來(lái)牽引。目前來(lái)看,國(guó)內(nèi)外還缺乏一套能體現(xiàn)大數(shù)據(jù)特點(diǎn),又簡(jiǎn)便易行,且被工業(yè)界廣泛認(rèn)可的大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)。

    2 大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化現(xiàn)狀

    大數(shù)據(jù)分析系統(tǒng)具有高性能、高擴(kuò)展、高可用、高效能、易使用、易管理等特點(diǎn),其架構(gòu)設(shè)計(jì)的復(fù)雜性使得系統(tǒng)測(cè)試也非常復(fù)雜,針對(duì)其測(cè)試的研究同其設(shè)計(jì)開(kāi)發(fā)的研究相比則相對(duì)薄弱。直到2014年6月,TPC(事務(wù)處理性能協(xié)會(huì))才發(fā)布了基準(zhǔn)測(cè)試標(biāo)準(zhǔn)TPCx-HS和配套的測(cè)試工具。TPC專門為虛擬服務(wù)器以及事務(wù)處理等機(jī)制提供客觀且不受供應(yīng)商影響的基準(zhǔn)測(cè)試解決方案。

    TPC一直認(rèn)為在制定行業(yè)的標(biāo)準(zhǔn)時(shí),性能、持有成本和能源效率是成功的三大關(guān)鍵,因此TPCx-HS的測(cè)試重點(diǎn)仍然是性能驗(yàn)證、性價(jià)比、功耗以及可用性。TPCx-HS能夠?qū)τ布败浖桨讣右詸z測(cè),其中包括Hadoop運(yùn)行時(shí)、Hadoop文件系統(tǒng)、API兼容系統(tǒng)以及MapReudce層等。TPCx-HS這一名稱中的“x”代表Express,即精簡(jiǎn)之意。目前,只有Sort一種測(cè)試負(fù)載,TPCx-HS委員會(huì)認(rèn)為精簡(jiǎn)版本的基準(zhǔn)測(cè)試能夠滿足企業(yè)級(jí)基準(zhǔn)測(cè)試需求,而且不會(huì)耗費(fèi)更多時(shí)間及成本資源。TPC協(xié)會(huì)的成員思科公司已經(jīng)在其大數(shù)據(jù)系統(tǒng)上運(yùn)行TPCx-HS基準(zhǔn)測(cè)試并公布了最終成績(jī)。

    而另一個(gè)國(guó)際標(biāo)準(zhǔn)測(cè)試的權(quán)威機(jī)構(gòu)SPEC(標(biāo)準(zhǔn)性能評(píng)測(cè)機(jī)構(gòu))雖然成立了大數(shù)據(jù)基準(zhǔn)測(cè)試研究組,但目前還沒(méi)有發(fā)布大數(shù)據(jù)基準(zhǔn)測(cè)試的標(biāo)準(zhǔn)。

    3 大數(shù)據(jù)基準(zhǔn)測(cè)試工具

    基準(zhǔn)測(cè)試工具在大數(shù)據(jù)系統(tǒng)研發(fā)中不可或缺。伴隨著各種平臺(tái)軟件的出現(xiàn),特別是開(kāi)源大數(shù)據(jù)平臺(tái)的發(fā)展,多種針對(duì)不同框架的基準(zhǔn)測(cè)試工具也陸續(xù)出現(xiàn)。其中,除了ApacheHadoop自帶的基準(zhǔn)測(cè)試工具外,很多企業(yè)和研究機(jī)構(gòu)也發(fā)布了自己的大數(shù)據(jù)基準(zhǔn)測(cè)試工具。

    3.1 Apache Hadoop基準(zhǔn)測(cè)試工具

    Hadoop自帶了若干基準(zhǔn)評(píng)測(cè)程序,安裝開(kāi)銷小、運(yùn)行方便。常用的有DFSCIOTest用于測(cè)試HDFS的I/O性能;Sort程序評(píng)測(cè)MapReduce;MRbench檢驗(yàn)小型作業(yè)的快速響應(yīng)能力;NNBench測(cè)試Namenode硬件的加載過(guò)程;Gridm ix可以通過(guò)模擬Hadoop Cluster中的實(shí)際負(fù)載來(lái)評(píng)測(cè)Hadoop性能。

    Hadoop自帶的基準(zhǔn)評(píng)測(cè)程序相對(duì)簡(jiǎn)單。例如,Gridm ix所使用的用例并不能代表所有的Hadoop使用場(chǎng)景,缺乏CPU-Bound的用例。而現(xiàn)實(shí)應(yīng)用中,不僅存在很多I/O密集型的應(yīng)用,也存在很多CPU密集型的應(yīng)用,如聚類算法、倒排索引等;也不能模擬隨機(jī)提交作業(yè)(如按泊松分布進(jìn)行提交)的應(yīng)用場(chǎng)景。因此,并不完全符合測(cè)試的預(yù)期。

    3.2 TPCx-HSKit

    TPC發(fā)布基準(zhǔn)測(cè)試標(biāo)準(zhǔn)TPCx-HS的同時(shí),也發(fā)布了配套的測(cè)試工具TPCx-HSKit。

    TPCx-HS負(fù)載包含以下4個(gè)模塊:

    (1)HSGen:數(shù)據(jù)生成器,基于TeraGen。

    (2)HSDateCheck:檢查數(shù)據(jù)集和副本的符合性。(3)HSSort:數(shù)據(jù)排序,基于TeraSort。

    (4)HSValidate:排序后的數(shù)據(jù)校驗(yàn),基于Tera Validate。

    比例因子(Scale factor,SF)可以從1TB擴(kuò)展到10000TB。3個(gè)主要指標(biāo)(Metrics):HSph@SF代表每小時(shí)的吞吐量、$/HSph@S代表性價(jià)比、System Availability Data代表可用性,以及一個(gè)代表功率的可選指標(biāo)Watts/HSph@SF。

    3.3 Hibench

    Intel在Hadoop基準(zhǔn)測(cè)試工具基礎(chǔ)上做了許多重要的擴(kuò)展,提供了一套開(kāi)源Benchmark Suite-HiBench,來(lái)對(duì)其Hadoop集群做Benchmark,并通過(guò)HiTune進(jìn)行性能數(shù)據(jù)采集。HiTune是Hadoop性能分析工具,可以從每個(gè)節(jié)點(diǎn)上分布收集性能數(shù)據(jù),并且可以將這些數(shù)據(jù)進(jìn)行匯總,生產(chǎn)圖形化的報(bào)告,讓客戶可以迅速明白哪個(gè)節(jié)點(diǎn)出了問(wèn)題,進(jìn)而迅速調(diào)整。HiBench選取的計(jì)算模型較為全面和綜合,既包含M icro Benchmarks和HDFSBenchmarks,又包含Web Search(網(wǎng)頁(yè)搜索)、MachineLearning(機(jī)器學(xué)習(xí))和DataAnalytics(數(shù)據(jù)分析)等應(yīng)用。

    3.4 YCSB

    YCSB(Yahoo Cloud Serving Benchmark)是雅虎開(kāi)源的一款通用的性能測(cè)試工具,可以對(duì)各類NoSQL產(chǎn)品進(jìn)行相關(guān)的性能測(cè)試,包括Bigtable、HBase、Azure、CouchDB、MongoDB等。YCSB與HBase自帶的性能測(cè)試工具(Performance Evaluation)相比,可以兼容HBase不同的版本,可以選擇進(jìn)行測(cè)試的方式有:Read+W rite和Read+Scan,還可以選擇不同操作的頻度與選取Key的方式,也可以實(shí)時(shí)顯示測(cè)試的進(jìn)度。

    3.5 BigBench

    BigBench是第一個(gè)基于端到端的大數(shù)據(jù)分析測(cè)試工具,它提供了非常豐富的查詢集合,涵蓋了各種復(fù)雜且真實(shí)的場(chǎng)景,主要用于測(cè)試并行數(shù)據(jù)庫(kù)在SQL-MR環(huán)境下的查詢能力。BigBench包含兩個(gè)關(guān)鍵的組件,即數(shù)據(jù)模型規(guī)范和負(fù)載/查詢規(guī)范。其中,結(jié)構(gòu)化數(shù)據(jù)部分主要采用TPC-DS的數(shù)據(jù)模型。BigBench包含30個(gè)查詢/負(fù)載,能夠在Hadoop平臺(tái)上執(zhí)行。

    3.6 BigDateBench

    BigDataBench是由中科院計(jì)算所開(kāi)發(fā)的開(kāi)源軟件,覆蓋了微基準(zhǔn)測(cè)試(M icro Benchmarks)、Cloud OLTP、關(guān)系查詢、搜索引擎、社交網(wǎng)絡(luò)和電子商務(wù)6種典型的應(yīng)用場(chǎng)景,包含19種不同類型的負(fù)載應(yīng)用程序和6種不同類型的數(shù)據(jù)集。

    BigDataBench還提供可以保留原始數(shù)據(jù)特性的,以小規(guī)模真實(shí)數(shù)據(jù)生成大規(guī)模數(shù)據(jù)的數(shù)據(jù)生成工具。包括文本數(shù)據(jù)、圖數(shù)據(jù)和(數(shù)據(jù)庫(kù))表數(shù)據(jù)在內(nèi)的數(shù)據(jù)集都可以通過(guò)該生成工具生成。同時(shí),涵蓋了完整的系統(tǒng)軟件棧,覆蓋的應(yīng)用類型包括實(shí)時(shí)分析、離線分析和在線服務(wù)應(yīng)用。

    4 大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化面臨的挑戰(zhàn)

    大數(shù)據(jù)基準(zhǔn)測(cè)試工具為基準(zhǔn)測(cè)試的實(shí)施提供了基礎(chǔ)。然而,要做到可重復(fù)、可比較,還需要制定相應(yīng)的標(biāo)準(zhǔn),對(duì)測(cè)試中的預(yù)置條件、測(cè)試負(fù)載參數(shù)、測(cè)試數(shù)據(jù)和測(cè)試步驟進(jìn)行詳盡的約束。

    4.1 數(shù)據(jù)生成

    數(shù)據(jù)生成是大數(shù)據(jù)基準(zhǔn)測(cè)試首先要解決的問(wèn)題。由于企業(yè)通常不會(huì)公開(kāi)自己的數(shù)據(jù),因此真實(shí)數(shù)據(jù)很難獲得。即使可以獲得,其數(shù)據(jù)也往往是基于特定的應(yīng)用場(chǎng)景,不具有普適性。而隨機(jī)生成的數(shù)據(jù),更難以體現(xiàn)應(yīng)用的特征。因此,目前常用的生成工具會(huì)采用二者結(jié)合的方式,即通過(guò)建模先從真實(shí)的數(shù)據(jù)樣本中提取應(yīng)用特征,在保持應(yīng)用特征的前提下再隨機(jī)生成測(cè)試樣本。合成數(shù)據(jù)看似很好地解決了問(wèn)題,但關(guān)鍵在于提取和擴(kuò)展的過(guò)程中如何保持應(yīng)用特征以及生成的速度是否足夠快。

    4.2 負(fù)載的選擇

    負(fù)載是大數(shù)據(jù)需要執(zhí)行的具體任務(wù),用來(lái)處理數(shù)據(jù)并產(chǎn)生結(jié)果,負(fù)載將大數(shù)據(jù)平臺(tái)的應(yīng)用抽象成一些基本操作。由于行業(yè)和領(lǐng)域的不同,其應(yīng)用有很多不同的特點(diǎn),從系統(tǒng)資源消耗方面負(fù)載可分為計(jì)算密集型、I/O密集型和混合密集型。例如,運(yùn)營(yíng)商的話單查詢需要多次調(diào)用數(shù)據(jù)庫(kù),是典型的I/O密集型任務(wù);而互聯(lián)網(wǎng)的聚類過(guò)程需要大量的迭代計(jì)算,是典型的計(jì)算密集型任務(wù);搜索引擎中的PageRank算法既需要數(shù)據(jù)交換又要不斷地迭代計(jì)算,屬于混合型任務(wù)。面對(duì)各種復(fù)雜的應(yīng)用場(chǎng)景,很難選擇出合適的測(cè)試負(fù)載。

    4.3 集群規(guī)模

    隨著大數(shù)據(jù)的迅速發(fā)展,集群規(guī)模也越來(lái)越龐大。例如,TDW(TencentDistributedDataWarehouse,騰訊分布式數(shù)據(jù)倉(cāng)庫(kù))單集群規(guī)模達(dá)到4400臺(tái),CPU總核數(shù)達(dá)到10萬(wàn)左右,存儲(chǔ)容量達(dá)到100PB;每日作業(yè)數(shù)100多萬(wàn),每日計(jì)算量4PB,作業(yè)并發(fā)數(shù)2000左右,TDW已經(jīng)成為騰訊最大的離線數(shù)據(jù)處理平臺(tái)。

    第三方實(shí)驗(yàn)室的集群規(guī)模通常是幾百臺(tái),甚至幾十臺(tái),遠(yuǎn)遠(yuǎn)小于運(yùn)營(yíng)商運(yùn)營(yíng)的規(guī)模,測(cè)試的結(jié)果可能會(huì)與實(shí)際情況有很大的差距。為了降低測(cè)試的復(fù)雜性和成本,通常只能在現(xiàn)網(wǎng)上運(yùn)行簡(jiǎn)單的測(cè)試用例,而目前能夠提供大數(shù)據(jù)在線服務(wù)還比較少,主要有微軟HDInsight、UcloudUDDP、百度BMR和阿里ODPS等。

    4.4 軟件的兼容性

    Hadoop的發(fā)行版除了社區(qū)的ApacheHadoop外,Cloudera、Hortonworks、MapR、EMC、IBM、Intel和華為等都提供了自己的商業(yè)版本。商業(yè)版主要是提供了專業(yè)的技術(shù)支持,這對(duì)一些大型企業(yè)尤其重要。社區(qū)版ApacheHadoop包含兩個(gè)版本:Hadoop 1.0和Hadoop 2.0。其中,Hadoop 1.0由一個(gè)分布式文件系統(tǒng)HDFS和一個(gè)離線計(jì)算框架MapReduce組成;而Hadoop2.0則包含一個(gè)支持NameNode橫向擴(kuò)展的HDFS,一個(gè)資源管理系統(tǒng)YARN和一個(gè)運(yùn)行在YARN上的離線計(jì)算框架MapReduce。隨著大數(shù)據(jù)軟件逐步被推向市場(chǎng),被更多的用戶安裝,兼容性問(wèn)題也會(huì)日益凸現(xiàn)。

    5 大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化最新進(jìn)展

    2015年1月29日,數(shù)據(jù)中心聯(lián)盟(www.dca.org.cn)發(fā)布了國(guó)內(nèi)第一個(gè)大數(shù)據(jù)產(chǎn)品和服務(wù)基準(zhǔn)測(cè)試規(guī)范《大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試技術(shù)要求第一部分技術(shù)要求》和《大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試技術(shù)要求第二部分測(cè)試方法》。與該規(guī)范配套的評(píng)測(cè)工具源代碼也同期發(fā)布,并移交開(kāi)源社區(qū)持續(xù)開(kāi)發(fā)。該規(guī)范是由中國(guó)信息通信研究院(原工業(yè)和信息化部電信研究院)牽頭,聯(lián)合中科院計(jì)算所、華為、中國(guó)移動(dòng)、Intel、微軟、IBM、新浪、百度、阿里、騰訊、浪潮、世紀(jì)互聯(lián)、UCould等國(guó)內(nèi)外知名公司和科研機(jī)構(gòu)共同制定,囊括了國(guó)內(nèi)外主流大數(shù)據(jù)產(chǎn)品與服務(wù)提供商。

    如圖1所示,《大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試技術(shù)要求第一部分技術(shù)要求》的評(píng)價(jià)對(duì)象主要包括大數(shù)據(jù)軟件平臺(tái)(如基于開(kāi)源Hadoop、Spark平臺(tái)的商業(yè)軟件)、大數(shù)據(jù)軟硬一體機(jī)和云端大數(shù)據(jù)服務(wù)三大類。

    (1)大數(shù)據(jù)軟件平臺(tái)

    主要由分布式文件系統(tǒng)(如HDFS)、分布式計(jì)算系統(tǒng)(如MapReduce)、分布式數(shù)據(jù)庫(kù)(如HBase)、分布式數(shù)據(jù)倉(cāng)庫(kù)(如Hive)等多個(gè)模塊構(gòu)成,能夠提供大數(shù)據(jù)的存儲(chǔ)、管理和計(jì)算能力。大數(shù)據(jù)軟件平臺(tái)主要包括開(kāi)源的Hadoop、Spark等及其商業(yè)化軟件版本,一般部署在通用硬件平臺(tái)上。

    (2)大數(shù)據(jù)軟硬一體機(jī)

    大數(shù)據(jù)軟硬一體機(jī)集成了服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)和大數(shù)據(jù)軟件平臺(tái),以整機(jī)的形式銷售給客戶。對(duì)于大數(shù)據(jù)一體機(jī)方案,測(cè)試衡量的是軟件和硬件整體的性能。

    (3)大數(shù)據(jù)云服務(wù)

    大數(shù)據(jù)云服務(wù)由云服務(wù)商將大數(shù)據(jù)軟件平臺(tái)部署到云端,以公共云服務(wù)的形式向用戶提供大數(shù)據(jù)存儲(chǔ)、管理和計(jì)算能力,按量收費(fèi),用戶無(wú)需關(guān)心集群軟硬件的搭建和運(yùn)維。

    規(guī)范根據(jù)大數(shù)據(jù)特點(diǎn),精選了NoSQL、離線分析和實(shí)時(shí)交互分析等最具代表性的21個(gè)基本負(fù)載,能夠考核平臺(tái)在計(jì)算密集、I/O密集和混合任務(wù)等不同場(chǎng)景的表現(xiàn)。標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)生成、負(fù)載選擇、測(cè)試指標(biāo)、用例執(zhí)行和測(cè)試配置。標(biāo)準(zhǔn)還從用戶角度出發(fā)定義了多個(gè)維度的指標(biāo),不僅有基本的吞吐量質(zhì)保,還有能耗、壓力、擴(kuò)展性、容錯(cuò)能力等多方面的指標(biāo)。

    《大數(shù)據(jù)平臺(tái)基準(zhǔn)測(cè)試技術(shù)要求第二部分測(cè)試方法》規(guī)定了典型測(cè)試負(fù)載的測(cè)試流程,并給出了測(cè)試數(shù)據(jù)規(guī)模的要求(見(jiàn)表1)。

    圖1 大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)中定義的測(cè)試對(duì)象

    6 結(jié)束語(yǔ)

    目前,大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化工作仍處于起步階段,國(guó)內(nèi)相關(guān)工作取得了初步進(jìn)展,對(duì)大數(shù)據(jù)平臺(tái)的基本操作測(cè)試進(jìn)行了規(guī)范。但應(yīng)該看到,這僅僅是大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)化工作的開(kāi)始,未來(lái)還有較長(zhǎng)的路要走。下一步大數(shù)據(jù)基準(zhǔn)測(cè)試標(biāo)準(zhǔn)的發(fā)展重點(diǎn),一是針對(duì)企業(yè)對(duì)SQLonHadoop數(shù)據(jù)倉(cāng)庫(kù)方案的需求,細(xì)化交互分析基準(zhǔn)測(cè)試負(fù)載的制定;二是面向政務(wù)、金融、電信等重點(diǎn)行業(yè),研究制定端到端的負(fù)載,推動(dòng)行業(yè)大數(shù)據(jù)技術(shù)與產(chǎn)品的演進(jìn)。

    表1 10種典型測(cè)試負(fù)載、特點(diǎn)、應(yīng)用、數(shù)據(jù)類型和負(fù)載參數(shù)

    2015-01-20)

    云計(jì)算標(biāo)準(zhǔn)與測(cè)試驗(yàn)證北京市重點(diǎn)實(shí)驗(yàn)室項(xiàng)目資助

    猜你喜歡
    標(biāo)準(zhǔn)化
    標(biāo)準(zhǔn)化綜合
    標(biāo)準(zhǔn)化簡(jiǎn)述
    企業(yè)標(biāo)準(zhǔn)化管理信息系統(tǒng)
    標(biāo)準(zhǔn)化是綜合交通運(yùn)輸?shù)谋U稀庾x《交通運(yùn)輸標(biāo)準(zhǔn)化體系》
    對(duì)標(biāo)準(zhǔn)化管理工作的幾點(diǎn)思考
    解讀:國(guó)家標(biāo)準(zhǔn)委副主任談標(biāo)準(zhǔn)化法
    福建輕紡(2017年12期)2017-04-10 12:56:27
    如何創(chuàng)建標(biāo)準(zhǔn)化團(tuán)隊(duì)?
    以標(biāo)準(zhǔn)化引領(lǐng)科技創(chuàng)新
    論汽車維修診斷標(biāo)準(zhǔn)化(上)
    隨機(jī)變量標(biāo)準(zhǔn)化序列及其應(yīng)用
    国产精品一区二区三区四区久久 | 欧美久久黑人一区二区| 女性生殖器流出的白浆| 国产av在哪里看| 手机成人av网站| 搡老熟女国产l中国老女人| 99精品欧美一区二区三区四区| 黄色a级毛片大全视频| 午夜亚洲福利在线播放| 精品国产一区二区三区四区第35| 中文字幕av电影在线播放| 很黄的视频免费| 少妇裸体淫交视频免费看高清 | www日本在线高清视频| 国产成人欧美在线观看| 99国产极品粉嫩在线观看| 亚洲中文日韩欧美视频| 香蕉国产在线看| 亚洲精品粉嫩美女一区| 国产av在哪里看| 欧美不卡视频在线免费观看 | 国产成人一区二区三区免费视频网站| 午夜福利免费观看在线| 天天躁狠狠躁夜夜躁狠狠躁| 精品福利观看| 久久影院123| tocl精华| 香蕉丝袜av| 一区二区日韩欧美中文字幕| 国产成人欧美| 午夜91福利影院| 亚洲第一欧美日韩一区二区三区| 一级,二级,三级黄色视频| 一进一出好大好爽视频| 一本大道久久a久久精品| 国产精品一区二区在线不卡| 操美女的视频在线观看| 精品人妻在线不人妻| 国产av一区在线观看免费| 精品久久久久久成人av| 久久精品国产99精品国产亚洲性色 | 欧美激情久久久久久爽电影 | 久久天堂一区二区三区四区| 99久久99久久久精品蜜桃| 最新在线观看一区二区三区| 国产精华一区二区三区| 黄频高清免费视频| 九色亚洲精品在线播放| 精品国内亚洲2022精品成人| 99久久综合精品五月天人人| 男人的好看免费观看在线视频 | 成人国产一区最新在线观看| 亚洲午夜精品一区,二区,三区| www.熟女人妻精品国产| 女警被强在线播放| 久久99一区二区三区| 亚洲视频免费观看视频| 亚洲精品久久成人aⅴ小说| 国产精品久久久久成人av| 国产精品成人在线| 9191精品国产免费久久| 精品免费久久久久久久清纯| 韩国精品一区二区三区| 免费一级毛片在线播放高清视频 | 夜夜躁狠狠躁天天躁| 亚洲精品中文字幕一二三四区| 亚洲国产欧美日韩在线播放| 国产av一区在线观看免费| 免费女性裸体啪啪无遮挡网站| 亚洲成人久久性| 看片在线看免费视频| 亚洲精品久久午夜乱码| 久久久精品国产亚洲av高清涩受| 亚洲精华国产精华精| 淫秽高清视频在线观看| 久久天堂一区二区三区四区| 亚洲自拍偷在线| 亚洲一区二区三区色噜噜 | 999精品在线视频| 欧美日韩av久久| 99久久99久久久精品蜜桃| 中文字幕最新亚洲高清| 色婷婷av一区二区三区视频| 18美女黄网站色大片免费观看| 大陆偷拍与自拍| 深夜精品福利| 国产主播在线观看一区二区| 国产亚洲精品第一综合不卡| 丝袜在线中文字幕| 一级黄色大片毛片| 欧美国产精品va在线观看不卡| 人人妻人人添人人爽欧美一区卜| 亚洲欧美激情综合另类| 99久久精品国产亚洲精品| 精品无人区乱码1区二区| 精品国产美女av久久久久小说| 夜夜看夜夜爽夜夜摸 | 亚洲自拍偷在线| 国产精品久久久av美女十八| 女性被躁到高潮视频| 人人妻人人添人人爽欧美一区卜| 在线观看免费高清a一片| 50天的宝宝边吃奶边哭怎么回事| 色精品久久人妻99蜜桃| 嫩草影视91久久| 久久久国产成人精品二区 | 桃红色精品国产亚洲av| 久久人人精品亚洲av| 日本一区二区免费在线视频| 99精品欧美一区二区三区四区| 国产精品98久久久久久宅男小说| 亚洲成国产人片在线观看| 国产一区二区激情短视频| 精品人妻1区二区| 欧美乱色亚洲激情| 在线观看免费午夜福利视频| 人人妻人人爽人人添夜夜欢视频| 757午夜福利合集在线观看| 国产极品粉嫩免费观看在线| 免费高清视频大片| 精品久久久久久,| 50天的宝宝边吃奶边哭怎么回事| 国产精品av久久久久免费| 美女高潮喷水抽搐中文字幕| 啦啦啦 在线观看视频| 午夜亚洲福利在线播放| 国产蜜桃级精品一区二区三区| 搡老岳熟女国产| 国产av在哪里看| 少妇粗大呻吟视频| 亚洲成人久久性| 国产欧美日韩一区二区三区在线| 亚洲熟女毛片儿| 不卡av一区二区三区| 香蕉久久夜色| 淫妇啪啪啪对白视频| 美女扒开内裤让男人捅视频| 亚洲免费av在线视频| 国产国语露脸激情在线看| 精品熟女少妇八av免费久了| 大型av网站在线播放| 香蕉丝袜av| 成人永久免费在线观看视频| 丝袜美足系列| 黄色怎么调成土黄色| 亚洲情色 制服丝袜| 高清av免费在线| 多毛熟女@视频| 91精品国产国语对白视频| 国产日韩一区二区三区精品不卡| 久久久国产成人免费| 国产97色在线日韩免费| 欧美中文综合在线视频| 在线播放国产精品三级| 人人妻人人澡人人看| 这个男人来自地球电影免费观看| 99国产精品一区二区蜜桃av| a级毛片在线看网站| 国产熟女午夜一区二区三区| 女人被狂操c到高潮| av福利片在线| 国产精品久久久久久人妻精品电影| 亚洲aⅴ乱码一区二区在线播放 | 老汉色∧v一级毛片| 国产男靠女视频免费网站| 精品一区二区三卡| 国产蜜桃级精品一区二区三区| 亚洲男人天堂网一区| 国产三级黄色录像| 亚洲av成人av| 国产三级黄色录像| 成人免费观看视频高清| 另类亚洲欧美激情| 亚洲欧美日韩另类电影网站| 桃红色精品国产亚洲av| 免费高清视频大片| 一区二区三区激情视频| 亚洲av片天天在线观看| 女性生殖器流出的白浆| 新久久久久国产一级毛片| 老熟妇乱子伦视频在线观看| 亚洲成国产人片在线观看| 国产成人精品久久二区二区91| 另类亚洲欧美激情| 妹子高潮喷水视频| 免费日韩欧美在线观看| 国产乱人伦免费视频| 亚洲五月色婷婷综合| 久久精品91蜜桃| 国产精品综合久久久久久久免费 | 成人18禁在线播放| 精品久久久久久成人av| 正在播放国产对白刺激| 黄色毛片三级朝国网站| 国产熟女xx| 精品国产国语对白av| 岛国在线观看网站| 亚洲色图av天堂| 日本五十路高清| 亚洲av成人av| 1024视频免费在线观看| 真人一进一出gif抽搐免费| 麻豆av在线久日| 欧美人与性动交α欧美精品济南到| 亚洲国产中文字幕在线视频| 午夜日韩欧美国产| 免费日韩欧美在线观看| 女人爽到高潮嗷嗷叫在线视频| 精品高清国产在线一区| 国产精品国产高清国产av| 亚洲国产欧美日韩在线播放| 两个人免费观看高清视频| 99精国产麻豆久久婷婷| 国产有黄有色有爽视频| 成年人免费黄色播放视频| 久久人妻熟女aⅴ| 久久性视频一级片| 免费不卡黄色视频| 亚洲欧美精品综合久久99| 女人爽到高潮嗷嗷叫在线视频| 午夜视频精品福利| 久久狼人影院| 久久久久久大精品| 日韩高清综合在线| 久久香蕉激情| 夫妻午夜视频| www日本在线高清视频| 超碰97精品在线观看| 啦啦啦免费观看视频1| 美女高潮喷水抽搐中文字幕| 久久亚洲真实| 国产精品亚洲av一区麻豆| 夫妻午夜视频| 国产亚洲欧美精品永久| 国产高清videossex| a级毛片黄视频| 久久人人精品亚洲av| 亚洲中文av在线| 国产有黄有色有爽视频| 1024视频免费在线观看| 欧美色视频一区免费| 大码成人一级视频| 亚洲精品av麻豆狂野| 九色亚洲精品在线播放| 黑人巨大精品欧美一区二区蜜桃| 欧美午夜高清在线| 啦啦啦 在线观看视频| 亚洲性夜色夜夜综合| 久久精品亚洲av国产电影网| 久久久久久亚洲精品国产蜜桃av| 午夜成年电影在线免费观看| 中文字幕av电影在线播放| 女性被躁到高潮视频| 免费在线观看影片大全网站| 天天影视国产精品| 深夜精品福利| 免费观看人在逋| 午夜精品在线福利| 首页视频小说图片口味搜索| 两个人看的免费小视频| 搡老熟女国产l中国老女人| 国产亚洲av高清不卡| 日本五十路高清| 亚洲精品一二三| 香蕉丝袜av| 欧美乱妇无乱码| 可以免费在线观看a视频的电影网站| 久久久久久久久免费视频了| 超碰成人久久| 三上悠亚av全集在线观看| 日本 av在线| 女性生殖器流出的白浆| 久久天躁狠狠躁夜夜2o2o| 人人妻人人澡人人看| 国产片内射在线| 色婷婷久久久亚洲欧美| 老司机靠b影院| 日韩 欧美 亚洲 中文字幕| 91成年电影在线观看| 99久久国产精品久久久| 真人做人爱边吃奶动态| 美女国产高潮福利片在线看| 高清欧美精品videossex| 午夜两性在线视频| 免费少妇av软件| 精品免费久久久久久久清纯| 首页视频小说图片口味搜索| 91在线观看av| 日韩中文字幕欧美一区二区| 国产精品久久久av美女十八| 亚洲七黄色美女视频| 老司机福利观看| 美女国产高潮福利片在线看| 亚洲成人免费av在线播放| 美女高潮喷水抽搐中文字幕| 久久精品人人爽人人爽视色| 99riav亚洲国产免费| 日本wwww免费看| 99国产精品99久久久久| 国产深夜福利视频在线观看| 亚洲av电影在线进入| 一进一出抽搐动态| 国产精品久久电影中文字幕| 精品久久久精品久久久| 亚洲av成人不卡在线观看播放网| 久久狼人影院| 亚洲九九香蕉| 日韩有码中文字幕| 热re99久久国产66热| 婷婷精品国产亚洲av在线| 精品国产乱码久久久久久男人| 在线观看免费午夜福利视频| 午夜久久久在线观看| 麻豆成人av在线观看| 人人妻人人爽人人添夜夜欢视频| 极品教师在线免费播放| 黄片大片在线免费观看| 国产精品 欧美亚洲| 成人特级黄色片久久久久久久| 亚洲久久久国产精品| 两人在一起打扑克的视频| 香蕉久久夜色| 无限看片的www在线观看| 亚洲精品中文字幕在线视频| 精品人妻在线不人妻| 黄色视频不卡| 日韩有码中文字幕| 黄片播放在线免费| 老司机亚洲免费影院| 免费看a级黄色片| 一个人免费在线观看的高清视频| 国产欧美日韩综合在线一区二区| 国产精品电影一区二区三区| 亚洲国产欧美日韩在线播放| 十八禁网站免费在线| 两性夫妻黄色片| 久久人妻av系列| 午夜两性在线视频| 日本精品一区二区三区蜜桃| 久久久精品国产亚洲av高清涩受| 淫妇啪啪啪对白视频| 国产亚洲av高清不卡| 国产又爽黄色视频| 免费女性裸体啪啪无遮挡网站| 老司机午夜十八禁免费视频| 在线观看免费高清a一片| 麻豆久久精品国产亚洲av | 最近最新免费中文字幕在线| 久久久国产一区二区| www日本在线高清视频| 国产av一区二区精品久久| 久久精品91无色码中文字幕| 国产高清videossex| 女性被躁到高潮视频| 久久国产精品男人的天堂亚洲| 亚洲性夜色夜夜综合| 午夜精品久久久久久毛片777| 久久国产精品人妻蜜桃| 黄色 视频免费看| 人人妻人人爽人人添夜夜欢视频| 日韩欧美国产一区二区入口| 久久精品国产亚洲av香蕉五月| 日韩大码丰满熟妇| 日日夜夜操网爽| 午夜影院日韩av| 久久久精品欧美日韩精品| 一进一出抽搐动态| 热re99久久国产66热| 久久久久久免费高清国产稀缺| 国产免费av片在线观看野外av| 精品福利永久在线观看| 精品第一国产精品| 韩国精品一区二区三区| 最近最新中文字幕大全免费视频| 天堂影院成人在线观看| 国产亚洲精品久久久久久毛片| 欧美黑人精品巨大| 亚洲aⅴ乱码一区二区在线播放 | 欧美人与性动交α欧美精品济南到| 最新美女视频免费是黄的| 久久久久久人人人人人| 99国产综合亚洲精品| svipshipincom国产片| 国产精品免费视频内射| 国产成年人精品一区二区 | 久久国产精品影院| 久久精品国产亚洲av香蕉五月| 色精品久久人妻99蜜桃| 窝窝影院91人妻| 成人三级黄色视频| 日韩高清综合在线| 精品高清国产在线一区| 一a级毛片在线观看| 视频在线观看一区二区三区| av网站在线播放免费| 国产精品久久久久成人av| 一区福利在线观看| 69精品国产乱码久久久| 好看av亚洲va欧美ⅴa在| 婷婷六月久久综合丁香| 国产精华一区二区三区| 国产精品一区二区免费欧美| 丰满饥渴人妻一区二区三| 成年人免费黄色播放视频| 日本撒尿小便嘘嘘汇集6| 超碰成人久久| 欧美午夜高清在线| 亚洲人成电影免费在线| 黑人操中国人逼视频| 男女下面进入的视频免费午夜 | 人妻久久中文字幕网| 又紧又爽又黄一区二区| 国产一区二区激情短视频| 97超级碰碰碰精品色视频在线观看| 高清欧美精品videossex| 日本 av在线| 久久性视频一级片| 国产成人免费无遮挡视频| 日本五十路高清| 国产成人精品无人区| 级片在线观看| 国产高清视频在线播放一区| 成在线人永久免费视频| 熟女少妇亚洲综合色aaa.| 在线观看免费视频日本深夜| 中文字幕人妻丝袜一区二区| 精品国产一区二区久久| 国产精品乱码一区二三区的特点 | 成人三级黄色视频| 麻豆av在线久日| 欧美最黄视频在线播放免费 | 亚洲精品粉嫩美女一区| 久久精品国产99精品国产亚洲性色 | 一a级毛片在线观看| 制服诱惑二区| 久久精品国产综合久久久| 亚洲第一青青草原| 波多野结衣一区麻豆| 精品久久久精品久久久| 天天影视国产精品| 男女午夜视频在线观看| 中文字幕另类日韩欧美亚洲嫩草| 午夜久久久在线观看| 精品国产超薄肉色丝袜足j| 国产亚洲欧美在线一区二区| 十分钟在线观看高清视频www| 一级作爱视频免费观看| 久久天躁狠狠躁夜夜2o2o| 9191精品国产免费久久| 午夜福利一区二区在线看| 操出白浆在线播放| 超碰成人久久| 天堂动漫精品| 精品久久蜜臀av无| 亚洲全国av大片| 一级片免费观看大全| 91在线观看av| 亚洲,欧美精品.| 久久久久国产一级毛片高清牌| 国产成人欧美| 日韩人妻精品一区2区三区| 久久精品国产综合久久久| 亚洲第一青青草原| av片东京热男人的天堂| 超碰97精品在线观看| 免费女性裸体啪啪无遮挡网站| 精品第一国产精品| 久久人人精品亚洲av| 欧美精品一区二区免费开放| 不卡av一区二区三区| 日韩欧美免费精品| 亚洲精品国产一区二区精华液| 丰满饥渴人妻一区二区三| 欧美日韩乱码在线| xxxhd国产人妻xxx| 国产一区在线观看成人免费| 成人黄色视频免费在线看| 色播在线永久视频| 午夜福利,免费看| 老司机福利观看| 97碰自拍视频| 国产av又大| 国产精品98久久久久久宅男小说| 国产午夜精品久久久久久| 法律面前人人平等表现在哪些方面| 欧美亚洲日本最大视频资源| 18禁美女被吸乳视频| 亚洲精品久久午夜乱码| 日韩 欧美 亚洲 中文字幕| 在线观看日韩欧美| 欧美精品亚洲一区二区| 久久久国产精品麻豆| 国产片内射在线| 新久久久久国产一级毛片| 大香蕉久久成人网| 亚洲自偷自拍图片 自拍| 99国产精品免费福利视频| 成人18禁在线播放| www.自偷自拍.com| 桃红色精品国产亚洲av| 欧美不卡视频在线免费观看 | 国产99白浆流出| 性色av乱码一区二区三区2| 人人妻人人添人人爽欧美一区卜| 波多野结衣av一区二区av| 黄片大片在线免费观看| 欧美精品亚洲一区二区| 99国产精品一区二区蜜桃av| 一本综合久久免费| 欧美日韩中文字幕国产精品一区二区三区 | 悠悠久久av| 亚洲精华国产精华精| 亚洲va日本ⅴa欧美va伊人久久| 五月开心婷婷网| 人人澡人人妻人| 国产精品国产av在线观看| 最新在线观看一区二区三区| 亚洲国产欧美日韩在线播放| 人成视频在线观看免费观看| 一级毛片高清免费大全| 精品乱码久久久久久99久播| 欧美一级毛片孕妇| 久久久久亚洲av毛片大全| 成人黄色视频免费在线看| 女同久久另类99精品国产91| 大型av网站在线播放| 超碰成人久久| 露出奶头的视频| 99精品在免费线老司机午夜| 亚洲成人国产一区在线观看| 午夜久久久在线观看| 日本欧美视频一区| 国产区一区二久久| 每晚都被弄得嗷嗷叫到高潮| 午夜福利在线观看吧| 香蕉久久夜色| 欧美日韩中文字幕国产精品一区二区三区 | 国产xxxxx性猛交| 桃色一区二区三区在线观看| 国产欧美日韩一区二区三区在线| 日韩高清综合在线| www日本在线高清视频| 香蕉丝袜av| 午夜福利影视在线免费观看| 国产精品九九99| 亚洲情色 制服丝袜| 宅男免费午夜| 日本三级黄在线观看| 国产又色又爽无遮挡免费看| 亚洲第一欧美日韩一区二区三区| 国产亚洲精品第一综合不卡| av片东京热男人的天堂| 老熟妇仑乱视频hdxx| 欧美成狂野欧美在线观看| 黑人巨大精品欧美一区二区mp4| 久久人妻福利社区极品人妻图片| 美女福利国产在线| 国产精品一区二区三区四区久久 | 精品一区二区三区视频在线观看免费 | 深夜精品福利| 91大片在线观看| 91麻豆精品激情在线观看国产 | 在线观看一区二区三区激情| 国产97色在线日韩免费| 日本五十路高清| 老司机午夜十八禁免费视频| 日韩精品青青久久久久久| 18禁黄网站禁片午夜丰满| 欧美日韩亚洲高清精品| 国产av又大| 精品一区二区三区视频在线观看免费 | 亚洲一码二码三码区别大吗| 不卡av一区二区三区| 国产精品av久久久久免费| 中文字幕高清在线视频| 亚洲精品粉嫩美女一区| 免费在线观看日本一区| 欧美黄色片欧美黄色片| 中文字幕最新亚洲高清| 另类亚洲欧美激情| www.熟女人妻精品国产| 日本 av在线| 国产精品久久电影中文字幕| 精品国产一区二区三区四区第35| 中文字幕色久视频| 亚洲国产精品sss在线观看 | 国产精品电影一区二区三区| 久久久水蜜桃国产精品网| 久久青草综合色| 国产成年人精品一区二区 | 日本 av在线| 日韩欧美在线二视频| 国产主播在线观看一区二区| 欧洲精品卡2卡3卡4卡5卡区| 80岁老熟妇乱子伦牲交| www.熟女人妻精品国产| 另类亚洲欧美激情| 天堂影院成人在线观看| 一二三四社区在线视频社区8| 亚洲精品av麻豆狂野| 99精国产麻豆久久婷婷| 欧美精品啪啪一区二区三区| 国产成人精品久久二区二区91| a级毛片黄视频| a级毛片在线看网站| 精品少妇一区二区三区视频日本电影| 亚洲一区二区三区欧美精品| 国产亚洲精品久久久久久毛片| 男人的好看免费观看在线视频 | 一边摸一边做爽爽视频免费| 一区二区三区精品91| 亚洲一区二区三区色噜噜 | 国产aⅴ精品一区二区三区波| 亚洲,欧美精品.| 久久青草综合色|