網(wǎng)絡(luò)大數(shù)據(jù)基準(zhǔn)測(cè)試程序擬定與探討

高加瓊

（四川職業(yè)技術(shù)學(xué)院計(jì)算機(jī)科學(xué)系，四川遂寧629000）

網(wǎng)絡(luò)大數(shù)據(jù)基準(zhǔn)測(cè)試程序擬定與探討

高加瓊

（四川職業(yè)技術(shù)學(xué)院計(jì)算機(jī)科學(xué)系，四川遂寧629000）

利用基準(zhǔn)測(cè)驗(yàn)流程來(lái)檢驗(yàn)計(jì)算機(jī)裝置處理數(shù)據(jù)的性能表現(xiàn)是目前采用的主要方式，但是，至今還沒(méi)有一個(gè)成熟完善且被業(yè)界普遍遵循的基準(zhǔn)檢驗(yàn)方案問(wèn)世，特別是悄然而至的大數(shù)據(jù)涌潮給當(dāng)今社會(huì)帶來(lái)了更為艱巨的問(wèn)題，為求得較理想的測(cè)驗(yàn)方案，本文依托具體的大數(shù)據(jù)平臺(tái)擬定了一套Hadoop系統(tǒng)的交通事務(wù)大數(shù)據(jù)基準(zhǔn)撿驗(yàn)流程.經(jīng)挑撿若干個(gè)屬性等級(jí)的項(xiàng)目，把流程內(nèi)容特點(diǎn)進(jìn)行數(shù)量化處理，并選取以同類相聚的計(jì)算方法，評(píng)估每一個(gè)流程的輸進(jìn)參數(shù)集合的近似程度，參照類別聚集情況，給基準(zhǔn)測(cè)驗(yàn)確定了典型的流程及輸進(jìn)參數(shù)集合.最終，經(jīng)過(guò)實(shí)踐檢驗(yàn)證明，該基準(zhǔn)測(cè)驗(yàn)在符合流程內(nèi)容廣泛性的前提下，徹底去掉了基準(zhǔn)測(cè)驗(yàn)集合中的多余成分.

大數(shù)據(jù)基準(zhǔn)測(cè)驗(yàn)流程；輸進(jìn)參數(shù)集；流程近似性；交通信息

由于網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和持續(xù)地?cái)U(kuò)大應(yīng)用領(lǐng)域，人類的生存已進(jìn)入了大數(shù)據(jù)時(shí)代，據(jù)有關(guān)資料公布顯示，二零一一年度，全世界I P終端客戶占人口總數(shù)的32.77%.此數(shù)據(jù)標(biāo)志著地球上生存的二十三億人隨時(shí)都在不斷地創(chuàng)造新的參數(shù).二零一二年三月，相關(guān)公司通報(bào)全球一日創(chuàng)造的參數(shù)量可躍及2.5E B（每E B等于一億G B）［1］.

大數(shù)據(jù)具備不同于其他數(shù)據(jù)的特點(diǎn)，其具有四個(gè)“V”的特性，即Volume（數(shù)據(jù)量大）、Velocity（速率高）、Varity（種類多）和Value（價(jià)值高）.數(shù)量大，說(shuō)的是一個(gè)參數(shù)集合規(guī)模突破了P B等級(jí)或更多；速率高，說(shuō)的是其參數(shù)量的速率提高的相當(dāng)迅速；數(shù)據(jù)樣式復(fù)雜，其包括各類隨機(jī)顯現(xiàn)、沒(méi)有確定性趨勢(shì)的、不宜記錄于常規(guī)記錄表中的參數(shù)等等，其中相當(dāng)量的參數(shù)是來(lái)自于各行業(yè)的視覺(jué)、語(yǔ)音及日復(fù)一日的常規(guī)記錄.然而，絕大部分?jǐn)?shù)據(jù)不具備足夠的應(yīng)用價(jià)值，在應(yīng)用前必須經(jīng)過(guò)篩選、提質(zhì)和交融等過(guò)程［4］，且需要運(yùn)用幾率話題模型來(lái)描述和解決，幾率話題模型是一系列旨在發(fā)現(xiàn)隱藏在大規(guī)模文檔中的主題結(jié)構(gòu)的算法.幾率話題模型見(jiàn)圖1，其中，α和β表示語(yǔ)料級(jí)別的參數(shù)，θ是文檔級(jí)別的變量，每個(gè)文檔對(duì)應(yīng)一個(gè)θ，X和Y都是單詞級(jí)別變量，X由θ生成，Y由X和β共同生成.

圖1 幾率話題模型

針對(duì)這些嚴(yán)峻的實(shí)際現(xiàn)狀，優(yōu)質(zhì)的大數(shù)據(jù)處理程序的問(wèn)世顯得尤為迫切，以攻克社會(huì)、團(tuán)體和個(gè)人用戶在生存過(guò)程中面臨的諸多新難題，為他們的工作、學(xué)習(xí)和生活帶來(lái)實(shí)實(shí)在在的方便，為人類社會(huì)大數(shù)據(jù)課題的解決提供技術(shù)支撐.出于更優(yōu)質(zhì)高效地調(diào)控和精確地評(píng)估此類龐大繁雜的參數(shù)集合體系的目的，業(yè)界不斷推出各類型的處理大數(shù)據(jù)程序流程，但不如人愿的是，至今仍無(wú)一套既可用來(lái)調(diào)理和評(píng)判如此相異的大數(shù)據(jù)體系、且能客觀地顯現(xiàn)相關(guān)體系的性質(zhì)區(qū)別的普遍基準(zhǔn)測(cè)驗(yàn)方法集合.正是這些大數(shù)據(jù)的特性給其基準(zhǔn)測(cè)驗(yàn)集合的編制造成了相當(dāng)高的難度［2］.

1 大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合編制的關(guān)鍵內(nèi)容

編制大數(shù)據(jù)基準(zhǔn)測(cè)驗(yàn)流程集合基本要應(yīng)對(duì)五個(gè)方面難題：（1）該體系的繁雜程度嚴(yán)重制約著擬制一套標(biāo)準(zhǔn)的基準(zhǔn)檢驗(yàn)樣板模型的進(jìn)程；（2）該體系內(nèi)運(yùn)用范疇的復(fù)雜性給選擇有代表性的運(yùn)用流程增加了很大難度；（3）該體系內(nèi)的參數(shù)量規(guī)模也給基準(zhǔn)檢驗(yàn)流程的再現(xiàn)過(guò)程造成了相當(dāng)程度的難題；（4）該體系的迅捷演變也期待著基準(zhǔn)檢驗(yàn)包變更能夠配合上參數(shù)體系的演變［3］；（5）不具備可以當(dāng)做基準(zhǔn)檢驗(yàn)流程輸進(jìn)的實(shí)際參數(shù).上述難點(diǎn)的存在致使至今尚未獲得一套被普遍贊同的大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合.

2 現(xiàn)實(shí)已存在的大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合

大數(shù)據(jù)基準(zhǔn)檢測(cè)流程具有相當(dāng)?shù)闹匾?，許多業(yè)內(nèi)專家早就涉入有關(guān)內(nèi)容，部分知名I T運(yùn)營(yíng)商及學(xué)術(shù)單位也相繼推出各自體系的大數(shù)據(jù)基準(zhǔn)檢測(cè)流程集合，但是，這部分檢測(cè)流程集合均帶有不同種類和程度的缺陷或弊病.

H i B ench屬于一類配合于H adoop體系的基準(zhǔn)檢測(cè)流程集合，所推出的基準(zhǔn)檢測(cè)流程既涵蓋組合的基準(zhǔn)檢測(cè)，又囊括實(shí)際的運(yùn)用流程，它把流程運(yùn)作持續(xù)耗費(fèi)時(shí)間及體系進(jìn)出比率當(dāng)作基準(zhǔn)檢驗(yàn)的估判標(biāo)準(zhǔn)［3］；某一直屬于云服務(wù)的流程集合，推出了一整套重點(diǎn)基準(zhǔn)檢測(cè)流程及負(fù)荷產(chǎn)出手段，此類負(fù)荷能夠恰當(dāng)比較4類云服務(wù)系統(tǒng)的性質(zhì)特點(diǎn)，給基準(zhǔn)檢測(cè)客戶挑撿最佳處理措施創(chuàng)造了基礎(chǔ)，我國(guó)科研單位也隨之推出了針對(duì)特殊應(yīng)用范疇的大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合.上面所述是3個(gè)各具特色的成功例證.現(xiàn)時(shí)所推出的三種相異的基準(zhǔn)檢驗(yàn)流程集合都很理想的完成了本系統(tǒng)的基準(zhǔn)檢驗(yàn)所需內(nèi)容，然而它們的有關(guān)表述里卻未說(shuō)明怎樣挑揀基準(zhǔn)檢驗(yàn)流程及給個(gè)別的基準(zhǔn)檢驗(yàn)流程選取輸進(jìn)參數(shù)集合，并且能給予其客觀實(shí)際的輸進(jìn)參數(shù)集合［3］.

3 大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合的條件需求

與常規(guī)基準(zhǔn)檢驗(yàn)流程集合相同，大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合亦必須符合下述6個(gè)項(xiàng)目的標(biāo)準(zhǔn)：

（1）大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程需要應(yīng)用到各個(gè)事業(yè)范疇，或相同范疇的諸個(gè)側(cè)面.現(xiàn)實(shí)社會(huì)，基本的大數(shù)據(jù)普及范疇包括學(xué)術(shù)研討、保健醫(yī)護(hù)、交易場(chǎng)所、金融保險(xiǎn)、信息傳輸、社會(huì)交往傳媒機(jī)構(gòu)以及零散銷售等領(lǐng)域，此類各異的應(yīng)用范疇給大數(shù)據(jù)體系賦予了各式各樣的需求內(nèi)容［1］.

（2）大數(shù)據(jù)基準(zhǔn)檢驗(yàn)需要包括各種參數(shù)類型，如是否具有結(jié)構(gòu)性的參數(shù)，實(shí)際來(lái)說(shuō)需要涵蓋取自于社會(huì)交往系統(tǒng)的圖參數(shù)、流態(tài)式參數(shù)、地理情況參數(shù)及遺傳基因參數(shù)等.基準(zhǔn)檢測(cè)集合的編制需要由運(yùn)用流程等級(jí)起步，于此部分相異參數(shù)類別內(nèi)選擇共存的重點(diǎn)參數(shù)運(yùn)作流程，比如編排順序等內(nèi)容［2］.

（3）大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程需選取組合參數(shù).當(dāng)做大數(shù)據(jù)的基準(zhǔn)檢驗(yàn)過(guò)程時(shí)，由I T網(wǎng)絡(luò)上下載具體的大批量參數(shù)集合成本相當(dāng)高，況且憑借現(xiàn)實(shí)的I T寬帶進(jìn)行傳送大數(shù)據(jù)集合也比較脫離客觀實(shí)際，所以，大數(shù)據(jù)基準(zhǔn)檢驗(yàn)集合需要編制出組合參數(shù)的計(jì)算方法及手段［4］.然而，針對(duì)如此要求，行業(yè)內(nèi)具有相當(dāng)多的不同意見(jiàn)，其中許多專家提出，組合參數(shù)不便于模擬實(shí)際參數(shù)集合所呈現(xiàn)出來(lái)的過(guò)程和內(nèi)容，筆者也認(rèn)可這一論斷.

（4）大數(shù)據(jù)基準(zhǔn)檢驗(yàn)必須顧及參數(shù)的隱私及安全要求。部分大數(shù)據(jù)集合里涵蓋了應(yīng)當(dāng)保密的資料，比如病人的診斷醫(yī)治資料、保險(xiǎn)單位的業(yè)務(wù)資料及有關(guān)軍隊(duì)國(guó)防材料等，所以，大數(shù)據(jù)基準(zhǔn)檢驗(yàn)應(yīng)用人員時(shí)，供給單位應(yīng)實(shí)行保障隱私不被泄露的大數(shù)據(jù)處理過(guò)程.

（5）該基準(zhǔn)檢驗(yàn)過(guò)程必須顧及流程的穩(wěn)妥性。部分大數(shù)據(jù)體系時(shí)常進(jìn)行較大規(guī)模運(yùn)算過(guò)程以及應(yīng)對(duì)相當(dāng)量的數(shù)據(jù)流資料運(yùn)算，這種情況下，必須要有確定的穩(wěn)妥性能，此番的運(yùn)用過(guò)程相對(duì)于大數(shù)據(jù)運(yùn)作流程都顯示了對(duì)其穩(wěn)妥性的需求.

（6）大數(shù)據(jù)基準(zhǔn)檢驗(yàn)要求需要吸取以往的成熟操作經(jīng)驗(yàn)，當(dāng)在編制大數(shù)據(jù)基準(zhǔn)檢驗(yàn)時(shí)，需要吸取在過(guò)去電腦條件時(shí)就早已成為普遍遵循的基準(zhǔn)檢驗(yàn)原則，這樣的原則內(nèi)容已有若干種.要借鑒它們的編制模型過(guò)程及性質(zhì)估判要求等，有時(shí)還可以在它的現(xiàn)有條件下利用單獨(dú)增加效能、增加大數(shù)據(jù)基準(zhǔn)性能等手段進(jìn)行編制大數(shù)據(jù)基準(zhǔn)檢測(cè)集合.

4 大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合的編制過(guò)程

大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程集合的編制過(guò)程基本有兩項(xiàng)內(nèi)容組成：（1）挑揀典型的基準(zhǔn)檢驗(yàn)流程；（2）給各個(gè)基準(zhǔn)檢驗(yàn)流程挑揀匹配的輸進(jìn)參數(shù)集合.另外，其撿驗(yàn)集合尚需符合前面幾項(xiàng)原則.

要具備此兩種性質(zhì)，還要處理好下面幾種事項(xiàng)：

（1）挑選典型的基準(zhǔn)檢驗(yàn)流程；

（2）評(píng)估若干種基準(zhǔn)檢驗(yàn)之間的流程運(yùn)作屬性之相近內(nèi)容，在維持流程運(yùn)作方式比較多的前提下，消除多余的成分；

（3）給預(yù)設(shè)的基準(zhǔn)檢驗(yàn)流程挑揀匹配的輸進(jìn)參數(shù)集合；

（4）給基準(zhǔn)檢驗(yàn)流程確定評(píng)判標(biāo)準(zhǔn).

此小節(jié)對(duì)SI A T-B ench的編制措施及前期結(jié)果做以初步闡述.

4.1 確定有代表性的運(yùn)用流程

由圖1可見(jiàn)，某個(gè)有代表性的大數(shù)據(jù)體系就像一條流水作業(yè)線，它憑借若干個(gè)各自相異的參數(shù)調(diào)理環(huán)節(jié)構(gòu)建，實(shí)際的大數(shù)據(jù)運(yùn)作流水線也許互不一樣，然而主要部分大多涵蓋圖2所顯現(xiàn)的5個(gè)環(huán)節(jié).

基準(zhǔn)檢驗(yàn)流程集合通常同時(shí)包含系統(tǒng)等級(jí)及組件等級(jí)的基準(zhǔn)檢驗(yàn)流程［2］.每一套體系等級(jí)的基準(zhǔn)檢驗(yàn)流程可以憑借總體大數(shù)據(jù)裝置流水作業(yè)線而構(gòu)建.此類的基準(zhǔn)檢驗(yàn)流程亦可另外稱為端至端的基準(zhǔn)檢驗(yàn).部分基準(zhǔn)檢驗(yàn)專業(yè)人士希望每套基準(zhǔn)檢驗(yàn)流程都可以檢驗(yàn)總體大數(shù)據(jù)體系，其實(shí)是不符合客觀情況的.一套優(yōu)質(zhì)高效體系等級(jí)的基準(zhǔn)檢驗(yàn)流程可以給客戶指出相當(dāng)便捷的方式來(lái)對(duì)比相異的大數(shù)據(jù)體系，實(shí)行基準(zhǔn)檢驗(yàn)的全部大數(shù)據(jù)體系都可運(yùn)用一樣的檢驗(yàn)流程，而且使用一樣的指標(biāo)做于比較.體系等級(jí)的基準(zhǔn)檢驗(yàn)流程的特點(diǎn)，是可以給裝置性能建立一份方便明晰的可視圖表，而不必劃分構(gòu)件等級(jí)的基準(zhǔn)檢驗(yàn)流程與各自時(shí)期環(huán)節(jié)中的實(shí)際運(yùn)行效果.

圖2 一套有代表性的大數(shù)據(jù)體系Pipeline樣板模型

組合部件等級(jí)的基準(zhǔn)檢驗(yàn)流程較體系等級(jí)的該類流程有深一步的機(jī)動(dòng)性能，而且它還比較方便確定內(nèi)容，并且，另外的區(qū)別是僅檢驗(yàn)體系的個(gè)別項(xiàng)目，是很方便安排且僅服務(wù)于體系的對(duì)象構(gòu)成部件.

4.2 選準(zhǔn)基準(zhǔn)檢驗(yàn)流程及輸進(jìn)參數(shù)集合

于此文里面，筆者憑借對(duì)流程運(yùn)作特性做近似性評(píng)判以便設(shè)置基準(zhǔn)檢驗(yàn)流程及與它相匹配的輸進(jìn)參數(shù)集合，流程運(yùn)作的近似性能評(píng)估由兩個(gè)環(huán)節(jié)組成.第一，用單元小組所屬性能去給流程運(yùn)作特點(diǎn)確定數(shù)量；第二，憑借核算有關(guān)工藝將流程運(yùn)作近似性質(zhì)做一評(píng)估.

本著編制相關(guān)系統(tǒng)的目標(biāo)，在此依托相異層面的特點(diǎn)把流程運(yùn)作做予評(píng)估：

（1）運(yùn)用類型的特點(diǎn).指體系的IO進(jìn)出比率、相關(guān)進(jìn)出參數(shù)規(guī)模的所占比例、兩個(gè)過(guò)程的運(yùn)作時(shí)間比例；

（2）運(yùn)作體系等級(jí)的特點(diǎn).指磁盤(pán)軟件儲(chǔ)存讀寫(xiě)的參數(shù)總量、網(wǎng)絡(luò)傳播的參數(shù)總量；

（3）微觀范疇組合等級(jí)的特點(diǎn)；

（4）排布方式體系等級(jí)的特點(diǎn)，指每個(gè)運(yùn)算階段間的較大差異性質(zhì).

由上述的各個(gè)層面里，本文挑揀二十一個(gè)特定性能去表達(dá)流程運(yùn)作特點(diǎn).

當(dāng)進(jìn)行實(shí)證檢驗(yàn)時(shí)，本文選用流程與輸進(jìn)參數(shù)集合的構(gòu)架作為主要表達(dá)樣本，用某個(gè)攜帶二十一項(xiàng)自身特性設(shè)定的向量去表達(dá)某個(gè)針對(duì)目標(biāo)的處理過(guò)程.所以，此類相異向量能夠被用來(lái)定量評(píng)估各自流程彼此的近似水平，保持基準(zhǔn)檢驗(yàn)流程集合的運(yùn)作形式之豐富性，而且能消除基準(zhǔn)檢測(cè)集合里的多余部分內(nèi)容.還能夠依托評(píng)估各類輸進(jìn)參數(shù)集合對(duì)流程運(yùn)作的影響來(lái)給基準(zhǔn)檢驗(yàn)流程挑出有代表性的引進(jìn)參數(shù)集合.

參數(shù)評(píng)估的基本步驟包括：

（1）將基礎(chǔ)參數(shù)做熵權(quán)核算，把所有自身特性做權(quán)重序列排布，熵權(quán)代表評(píng)估目標(biāo)的差異水平.遵循統(tǒng)一的原則，在基礎(chǔ)特性類別內(nèi)依照權(quán)重比例大小挑揀出一套子集合；

（2）對(duì)上一步驟的引出參數(shù)做規(guī)范化運(yùn)作，去掉各特性之間衡量規(guī)則的不同內(nèi)容；

（3）把上面的引出參數(shù)做主要組成評(píng)估，并核準(zhǔn)基本組成數(shù)目情況；

（4）利用每個(gè)主要組成的新定方位參數(shù)來(lái)表達(dá)流程和它的引入?yún)?shù)集的構(gòu)成；

（5）核算表達(dá)流程和引入?yún)?shù)集構(gòu)成向量的歐型相隔長(zhǎng)度，做各層面類別聚集.

運(yùn)用流程彼此間的區(qū)別和引入?yún)?shù)集合對(duì)流程運(yùn)作帶來(lái)的影響，能夠相當(dāng)便捷的依據(jù)散落節(jié)點(diǎn)圖（圖3）和層次聚類圖（圖4）做一描述.兩類相異流程和引進(jìn)參數(shù)集構(gòu)架的流程運(yùn)作愈接近，和其配合的兩種向量在流程運(yùn)作范圍內(nèi)愈靠近；相反時(shí)即得負(fù)面結(jié)果，足以證明其配套的流程運(yùn)行差別很明顯.

所以針對(duì)類別聚集效果，能夠相當(dāng)便捷地撤掉基準(zhǔn)檢驗(yàn)流程集合里的多余部分.針對(duì)一樣的基準(zhǔn)檢驗(yàn)流程亦能便捷地依托類別聚集效果挑揀典型的引入?yún)?shù)集合.

5 基準(zhǔn)檢驗(yàn)的評(píng)定標(biāo)準(zhǔn)

圖3 主成分散點(diǎn)圖

性質(zhì)評(píng)估是基準(zhǔn)檢驗(yàn)及比較各種相異體系的首要環(huán)節(jié)，通常條件下，除體系的進(jìn)出比率以外，性質(zhì)評(píng)定標(biāo)準(zhǔn)還涵蓋其付出的投入和收獲的產(chǎn)出，基準(zhǔn)檢測(cè)的客戶可依托性質(zhì)評(píng)定標(biāo)準(zhǔn)做平衡對(duì)待，參照本身需要情況挑揀性價(jià)比領(lǐng)先的大數(shù)據(jù)處理過(guò)程.再者，基準(zhǔn)檢驗(yàn)的精準(zhǔn)度及結(jié)論顯露出的可推斷性都是性質(zhì)評(píng)定標(biāo)準(zhǔn)的關(guān)鍵內(nèi)容.圖3為第一、第二主成份的散點(diǎn)圖，圖中的兩個(gè)點(diǎn)簇即表示一種尺寸的輸入數(shù)據(jù)，其高于內(nèi)存數(shù)據(jù)的程序行為為一組，低于則成為另一組.同時(shí)，由圖4的層次聚類圖看出，數(shù)據(jù)集越接近，程序行為越相似，如150G和160G、200G和250G.

圖4 層次聚類圖示

6 結(jié)束語(yǔ)

由本文的闡述評(píng)判過(guò)程可以得出，當(dāng)編制大數(shù)據(jù)基準(zhǔn)檢驗(yàn)流程方案時(shí)，對(duì)大數(shù)據(jù)有代表性流程運(yùn)作的方式進(jìn)行定量評(píng)估，而且把流程運(yùn)作的相近性亦給與評(píng)估，均能充分地配合基準(zhǔn)檢測(cè)流程方案的兩個(gè)條件，在維持流程運(yùn)作豐富性的前提下去掉多余程分.

經(jīng)過(guò)實(shí)驗(yàn)證明，針對(duì)某些大數(shù)據(jù)檢驗(yàn)流程，再引進(jìn)參數(shù)集為200G到1000G的序列范圍時(shí)，流程運(yùn)作極其相近，故Terasor t僅可選定200G來(lái)當(dāng)作典型的引入?yún)?shù)集合，不但能夠精確分析其在引進(jìn)參數(shù)1000G條件下的運(yùn)作特性，還可精確估計(jì)流程的工作時(shí)間，從而降低了80%的流程分析時(shí)間.相信以后定能編制更精準(zhǔn)的基準(zhǔn)檢驗(yàn)流程.

［1］M eng X F，C i X.B ig data management：concepts，tech ni q ues and chal lenges［J］.J ournal of C omputer R e searchand D evelopment，2013，50（1）：146-169.

［2］孟小峰，慈祥。大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)［J］.計(jì)算機(jī)研究與發(fā)展，2013.50（1）：1741-1752.

［3］李建中，劉顯敏。大數(shù)據(jù)的一個(gè)重要方面：數(shù)據(jù)可用性［J］.計(jì)算機(jī)研究與發(fā)展，2013，50（6）：1147-1162.

［4］趙彥榮，王偉平，孟丹，等。基于H adoop的高效連接查詢處理算法C HM J［J］.軟件學(xué)報(bào)，2012，23（8）：2032-2041.

TheResearchand Discussionon theProgram of LargeDataBenchmarkofNetwork

G A O J ia q iong
（S ichuan Vocational and Technical C ol lege，S uining S ichuan 629000）

Using the reference test procedures to test the per formance of a computer device for processing data is themain formused cur rent ly.H owever，there is no sophisticated and beingwidely followed benchmar k test program.To obtain the ideal test program，relying on a plat formof large data，the paper develops a t raf f ic af fairs B ig D ata reference pic k ing inspection process with H adoop system.A f ter pic k ing several proper ties of pro j ect，ma k ing number process of process content features，evaluating theappro x imate degreeof the input parameters of each process，thena typical f lowand input parameter set aremade.I t is proved that in conformitywith the breadth of the content process，it completely removedunwanted ingredients in the reference test col lection.

B ig D ata R eference Test P rocedures；I nput P arameter S et；F low A ppro x imation；Traf fic I nformation

TP311.13

A

1672-2094（2015）03-0147-04

責(zé)任編輯：張隆輝

2015-01-17

本文系四川省教育廳自然科學(xué)重點(diǎn)項(xiàng)目《網(wǎng)絡(luò)大數(shù)據(jù)測(cè)試基準(zhǔn)研究》（編號(hào)：15Z A0349）研究成果之一.

高加瓊（1973-），女，四川天全人，四川職業(yè)技術(shù)學(xué)院副教授.