基于科創(chuàng)大數(shù)據(jù)的系統(tǒng)架構(gòu)模擬研究?

顧 彬 武 煒 黃宏立 黃元闊

（珠海市生產(chǎn)力促進(jìn)中心 珠海 519000）

基于科創(chuàng)大數(shù)據(jù)的系統(tǒng)架構(gòu)模擬研究?

顧 彬 武 煒 黃宏立 黃元闊

（珠海市生產(chǎn)力促進(jìn)中心 珠海 519000）

伴隨業(yè)內(nèi)實(shí)行創(chuàng)新創(chuàng)業(yè)的熱潮，構(gòu)建科創(chuàng)大數(shù)據(jù)平臺成為政府服務(wù)機(jī)構(gòu)迫在眉睫的需求。以科技創(chuàng)新作為大數(shù)據(jù)平臺建立的背景，當(dāng)前業(yè)界涌現(xiàn)了各類大數(shù)據(jù)服務(wù)工具用于驗(yàn)證服務(wù)性能的優(yōu)劣。論文以科技創(chuàng)新作為研究背景，設(shè)計(jì)了一套大數(shù)據(jù)系統(tǒng)架構(gòu)模擬平臺，按照高性能計(jì)算芯片的設(shè)計(jì)理念，利用隊(duì)列理論和隨機(jī)模型相結(jié)合，將傳統(tǒng)的小時(shí)級的數(shù)據(jù)服務(wù)時(shí)間降低到分鐘級，論文主要介紹了該平臺的設(shè)計(jì)原理以及模擬大數(shù)據(jù)系統(tǒng)架構(gòu)的實(shí)際過程。

大數(shù)據(jù)；模擬平臺；隨機(jī)模型；排隊(duì)論

1 引言

近來，隨著國家創(chuàng)新創(chuàng)業(yè)熱潮的加劇，構(gòu)建科技創(chuàng)新的大數(shù)據(jù)平臺成為各級政府部門響應(yīng)國家科技號召、提升科創(chuàng)服務(wù)，為創(chuàng)業(yè)者提供高效、準(zhǔn)確的創(chuàng)業(yè)信息。基于科創(chuàng)的越來越多移動(dòng)應(yīng)用的出現(xiàn)，基于該應(yīng)用的大數(shù)據(jù)中心系統(tǒng)建模成為學(xué)者們的研究重點(diǎn)，這是由于基于移動(dòng)端設(shè)備的應(yīng)用需求遠(yuǎn)超傳統(tǒng)工作站的性能，盡管當(dāng)前有大量用于詳細(xì)評估桌面和服務(wù)器體系結(jié)構(gòu)組件的工具［1～3］，但這些詳細(xì)的建模工具不太適合研究科創(chuàng)數(shù)據(jù)中心系統(tǒng)。傳統(tǒng)的架構(gòu)模擬器通常比它們建模的硬件慢六個(gè)數(shù)量級，并且模擬周轉(zhuǎn)時(shí)間隨著建模的系統(tǒng)和核心的數(shù)量線性地增長。此外，模擬的存儲器占用量通常大于模擬工作負(fù)載，用這樣的工具模擬甚至適度的集群是棘手的。

本文提出了一種用于數(shù)據(jù)中心系統(tǒng)的仿真基礎(chǔ)架構(gòu)—SmartBig。該架構(gòu)使用排隊(duì)理論和隨機(jī)建模的組合，而不是使用詳細(xì)的微架構(gòu)模型來模擬服務(wù)器，可以在幾分鐘而不是幾小時(shí)內(nèi)模擬服務(wù)器集群服務(wù)，利用統(tǒng)計(jì)模擬技術(shù)將模擬周轉(zhuǎn)時(shí)間限制到所需精度所需的最小運(yùn)行時(shí)間。SmartBig基于隨機(jī)排隊(duì)模擬（SQS）方法［4～5］。SQS不是像傳統(tǒng)的仿真工具［1～3］那樣以指令、存儲器或磁盤訪問的粒度來模擬工作負(fù)載，而是建立在排隊(duì)理論的理論框架上，其中基本工作單元是一個(gè)任務(wù)（又名工作）。任務(wù)的特點(diǎn)是一組統(tǒng)計(jì)特性-描述其長度，資源需求，到達(dá)分布或其他相關(guān)屬性的隨機(jī)變量，通過觀察真實(shí)系統(tǒng)來收集這些屬性。SQS將數(shù)據(jù)中心抽象為描述軟件/硬件組件的相關(guān)行為的隊(duì)列和功率/性能模型的相互關(guān)聯(lián)網(wǎng)絡(luò)。離散事件模擬使用各種統(tǒng)計(jì)采樣技術(shù)來提供對可選擇的輸出變量與可量化的置信度測量的估計(jì)，同時(shí)使得并行仿真能夠提供強(qiáng)縮放以減少周轉(zhuǎn)時(shí)間。

2 SmartBig介紹

圖1 SmartBig使用概述圖

在對排隊(duì)模型的分析中，諸如到達(dá)時(shí)刻和服務(wù)分布的統(tǒng)計(jì)被用于計(jì)算封閉形式的績效測量。文獻(xiàn)［18］容易分析的排隊(duì)模型（例如，M/M/1）通常不能代表互聯(lián)網(wǎng)服務(wù)。選擇更通用的模型，例如G/G/1或G/G/k隊(duì)列（廣義的到達(dá)時(shí)間和服務(wù)時(shí)間分布以及1或k個(gè)服務(wù)器）沒有已知的閉式解決方案。然而，實(shí)驗(yàn)證明該隊(duì)列的精度通常是不足的，相反，使用本文提出的SmartBig，采用模擬分析來練習(xí)這些難以處理的模型。雖然這會帶來不可忽略的時(shí)間，并且集成到框架中可以重復(fù)使用的模型。本文，首先描述SmartBig模擬基礎(chǔ)的軟件架構(gòu)和細(xì)節(jié)，以及其使用的一般方法。

SmartBig最適合用于調(diào)查負(fù)載平衡、電源管理、資源分配、硬件配置或集群，分布式或多層數(shù)據(jù)中心應(yīng)用程序的成本優(yōu)化的研究。在SmartBig中，包括計(jì)算集群的許多系統(tǒng)被表示為通用排隊(duì)網(wǎng)絡(luò)，由SmartBig用戶通過配置文件和簡明的Java代碼來描述，在隊(duì)列模型中的任務(wù)對應(yīng)于正在研究的工作負(fù)載的最自然的工作單元，例如單個(gè)請求，事務(wù)，查詢等。SmartBig排隊(duì)網(wǎng)絡(luò)捕獲了處理步驟，通過這些步驟，任務(wù)必須以適合于所研究問題的細(xì)節(jié)水平進(jìn)行，排隊(duì)網(wǎng)絡(luò)中的每個(gè)服務(wù)器耦合到調(diào)制服務(wù)速率并生成感興趣的輸出變量（例如，任務(wù)執(zhí)行時(shí)間或能量消耗）的功率/性能模型。然后在SmartBig仿真環(huán)境中運(yùn)行該模型，對輸出度量進(jìn)行采樣，并在收斂時(shí)終止模擬，即每個(gè)輸出變量已被測量到所需的統(tǒng)計(jì)置信水平。如圖1所示為SmartBig的使用概述流程，主要包括兩個(gè)獨(dú)立的步驟：1）表征工作負(fù)載和感興趣的系統(tǒng)；2）模擬。

1）軟件架構(gòu)

SmartBig的軟件架構(gòu)分為兩個(gè)主要模塊：第一模塊用于描述模擬數(shù)據(jù)中心，包括類似于典型離散事件仿真器的模型和事件的集合，SmartBig使用面向?qū)ο蟮膶哟谓Y(jié)構(gòu)來表示數(shù)據(jù)中心的各個(gè)部分，例如服務(wù)器，機(jī)架等。SmartBig用戶可以使用這些現(xiàn)有對象來描述特定的數(shù)據(jù)中心架構(gòu)，如果需要更多的功能，也可以擴(kuò)展此層次結(jié)構(gòu)以建模新功能。例如，服務(wù)器模型可以被子類化或擴(kuò)展為包括用于各種ACPI功率模式的狀態(tài)變量，其調(diào)制任務(wù)運(yùn)行時(shí)間，控制ACPI狀態(tài)轉(zhuǎn)換和輸出功率/能量估計(jì)。配置文件描述了SmartBig如何實(shí)例化和連接這些對象并提供諸如核數(shù)，峰值功率等參數(shù)；第二個(gè)模塊為協(xié)調(diào)仿真。此模塊包括SmartBig統(tǒng)計(jì)軟件包，管理預(yù)熱和統(tǒng)計(jì)獨(dú)立性測試，跟蹤指定的輸出指標(biāo)，并在輸出指標(biāo)估計(jì)達(dá)到統(tǒng)計(jì)收斂時(shí)終止模擬，它還提供了一個(gè)通信和控制基礎(chǔ)設(shè)施，用于在核心和/或機(jī)器集群上分布BigHouse模擬。

2）工作負(fù)載和系統(tǒng)表征

應(yīng)用SmartBig實(shí)現(xiàn)特定實(shí)驗(yàn)，用戶必須重用或創(chuàng)建實(shí)現(xiàn)顯著工作負(fù)載特性和輸出度量的模型的系統(tǒng)模型組件。這些模型通常源自實(shí)際硬件的特性，表征包括在線和離線組件［6～9］。

SmartBig不是像傳統(tǒng)的模擬器那樣使用應(yīng)用程序二進(jìn)制文件或跟蹤，而是將系統(tǒng)中每種任務(wù)的到達(dá)和服務(wù)時(shí)間的經(jīng)驗(yàn)測量分布表示為工作負(fù)載。工作負(fù)載模型還可以包括其他關(guān)鍵任務(wù)參數(shù)的分布（例如，如果建模網(wǎng)絡(luò)鏈路，則任務(wù)的網(wǎng)絡(luò)業(yè)務(wù)）。以前的SmartBig用戶通過實(shí)時(shí)系統(tǒng)構(gòu)建這些經(jīng)驗(yàn)性工作負(fù)載模型。通常，該過程涉及插入二進(jìn)制，使得記錄任務(wù)到達(dá)的定時(shí)及其持續(xù)時(shí)間。隨后，可以處理這些軌跡以導(dǎo)出期望的分布。有必要在實(shí)時(shí)流量下在線捕獲這些工作負(fù)載模型，因?yàn)檫M(jìn)程間很大程度上依賴于互聯(lián)網(wǎng)服務(wù)的用戶。SmartBig使用這些分布生成合成事件跟蹤來驅(qū)動(dòng)其離散事件模擬。因?yàn)樗皇褂酶櫥蚨M(jìn)制，SmartBig工作負(fù)載模型可以緊湊地表示—典型的分布占用小于1MB，而事件跟蹤通常需要多GB文件。此外，與二進(jìn)制相反，行業(yè)通常不愿傳播、公開傳播的到達(dá)和服務(wù)分配顯然更容易，因?yàn)樗鼈儾恍枰尫艑Ｓ熊浖?/p>

如果模擬系統(tǒng)與收集跡線的系統(tǒng)顯著不同，則獲得統(tǒng)計(jì)上嚴(yán)格的性能估計(jì)。SmartBig的抽樣方法是建立在假設(shè)事件序列通過從經(jīng)驗(yàn)分布中隨機(jī)抽取而合成生成的。為了對特定系統(tǒng)建模，Smart-Big用戶提供簡潔的Java代碼，跟蹤與每個(gè)任務(wù)處理步驟相關(guān)聯(lián)的狀態(tài)變量，并生成與每個(gè)任務(wù)相關(guān)聯(lián)的輸出指標(biāo)。用戶提供的代碼接受輸入任務(wù)并計(jì)算相應(yīng)的輸出指標(biāo)，例如，在對多核服務(wù)器中的功率管理進(jìn)行建模的實(shí)驗(yàn)中，輸入任務(wù)的特征可以在于大小，狀態(tài)變量可以跟蹤每個(gè)核的ACPI功率狀態(tài)，而輸出度量可以包括消耗的時(shí)間和能量。通常，系統(tǒng)模型中描述的輸入任務(wù)和輸出度量之間的關(guān)系是從真實(shí)系統(tǒng)的離線表征導(dǎo)出的。在模擬過程中，本文提出了系統(tǒng)表征的具體例子，以及如何將這些模型合并到SmartBig中。

3）模擬

SmartBig模擬過程根據(jù)工作負(fù)載模型合成任務(wù)跟蹤，并通過分布式離散事件模擬練習(xí)用戶描述的排隊(duì)網(wǎng)絡(luò)和系統(tǒng)模型。SmartBig離散事件模擬的核心功能與用于模擬排隊(duì)網(wǎng)絡(luò)的其他工具沒有明顯不同，該功能根據(jù)文獻(xiàn)［9］對于排隊(duì)模型的詳細(xì)論證得出。SmartBig使用系統(tǒng)模型（例如，上述的多核功率性能模型）和隨著模擬進(jìn)行監(jiān)測和量化輸出度量估計(jì)的置信度的采樣機(jī)制來增加常規(guī)排隊(duì)網(wǎng)絡(luò)。

圖2 模擬過程介紹

1）預(yù)熱—模擬在初始瞬態(tài)狀態(tài)開始，其中觀測值被初始模擬狀態(tài)偏置（例如，所有隊(duì)列為空）。為了避免這種冷啟動(dòng)效應(yīng)，模擬必須經(jīng)歷熱身階段，并且進(jìn)行周期觀察，其中所有觀察值被丟棄。當(dāng)前，業(yè)界并沒有用于自動(dòng)檢測穩(wěn)態(tài)的嚴(yán)格方法可用，因此預(yù)熱周期必須由用戶明確指定。

2）校準(zhǔn)—從離散事件仿真中繪制樣本時(shí)必須解決的關(guān)鍵挑戰(zhàn)之一是確保采樣觀測值之間的獨(dú)立性。使用來自基于排隊(duì)的模擬的連續(xù)觀察已經(jīng)顯示將偏差引入估計(jì)，因?yàn)橛^察往往是自相關(guān)的（即附近的觀察不是獨(dú)立的）［10］。這種方法的主要后果是，穩(wěn)態(tài)模擬長度膨脹系數(shù)為1。因?yàn)槊咳?次就丟棄1-1個(gè)觀測值，必須模擬總共N=1·n個(gè)事件以實(shí)現(xiàn)目標(biāo)樣本大小。在校準(zhǔn)階段，SmartBig執(zhí)行運(yùn)行測試，以確定觀測值和適當(dāng)?shù)闹狈綀D分檔參數(shù)之間的滯后間隔，以實(shí)現(xiàn)分位數(shù)估計(jì)。

3）測量—一旦模擬進(jìn)入穩(wěn)態(tài)，收集觀察值用以填充每個(gè)輸出度量的直方圖表示。大多數(shù)仿真運(yùn)行時(shí)都花費(fèi)在這個(gè)階段；其他三個(gè)階段施加了不顯著的運(yùn)行時(shí)開銷。

4）收斂—一旦觀察到的樣本大小足以實(shí)現(xiàn)期望的置信區(qū)間，則認(rèn)為輸出度量收斂。如果樣本是使用分布式模擬生成的，則在此時(shí)合并。最后，可以報(bào)告分位數(shù)和平均值的估計(jì)。

準(zhǔn)確性和可信度。輸出度量的估計(jì)具有一起形成置信區(qū)間的相關(guān)聯(lián)的準(zhǔn)確度α和置信水平1-α。з以與輸出度量相同的單位（例如，具有±50ms的響應(yīng)時(shí)間）來定義置信區(qū)間的半寬度。本文通過平均估計(jì)值對這個(gè)值進(jìn)行歸一化，以便在多個(gè)輸出度量之間進(jìn)行有意義的比較：

在式（1）中，給定E將期望的精度描述為百分比（例如，具有±5%的響應(yīng)時(shí)間）。估計(jì)的置信水平描述了如果模擬被重復(fù)大量次數(shù)將落入置信區(qū)間內(nèi)的估計(jì)的預(yù)期百分比。95%的置信水平是常見的，在本文的其余部分使用此值。為了確定平均估計(jì)值的置信區(qū)間（例如，平均響應(yīng)時(shí)間）。根據(jù)中心極限定理，當(dāng)樣本量增加時(shí)，平均值估計(jì)的抽樣分布傾向于正態(tài)分布。因此，可以通過以下公式確定給定置信度所需的樣本大?。?/p>

其中 Z1-α表示標(biāo)準(zhǔn)正態(tài)：它是在（1-α/2）個(gè)分位數(shù)處的標(biāo)準(zhǔn)正態(tài)分布的值，并且對于95%的置信度是1.96。σ是樣本標(biāo)準(zhǔn)偏差，是所需置信區(qū)間的半寬度。分位數(shù)的置信區(qū)間也可以使用中心極限定理［12］來導(dǎo)出。

該符號與對于具有添加q作為期望分位數(shù)的平均估計(jì)相同，為了找到準(zhǔn)確的分位數(shù)，需要記錄和排序樣本中的所有觀測值。即使單個(gè)輸出度量所需的樣本大小也可能非常大。因此，記錄和分類整個(gè)樣本序列以確定分位數(shù)施加了很大的負(fù)擔(dān)。本文使用［11］中提出的方法來保持觀察變量的直方圖表示，大大減少了內(nèi)存開銷。該方法需要預(yù)先確定直方圖裝箱參數(shù)。通常，知道給定輸出度量的平均值和至少一個(gè)分位數(shù)是有用的。在這種情況下，用于所需置信度的所需樣本大小將為

3 實(shí)驗(yàn)研究

在本節(jié)中，使用SmartBig對相關(guān)的功能/性能進(jìn)行實(shí)驗(yàn)驗(yàn)證，這些實(shí)驗(yàn)已在真實(shí)的硬件服務(wù)中進(jìn)行了驗(yàn)證，具體介紹如下：

3.1 GoogleWeb搜索中的資源管理

本文的第一個(gè)案例研究取自文獻(xiàn)［12］，其中SmartBig來了解處理器和內(nèi)存低功耗模式對Google Web搜索的性能影響。研究的目的是了解如何在Web搜索服務(wù)器中實(shí)現(xiàn)能量比例操作，同時(shí)保持合理的延遲。使用SmartBig能夠預(yù)測侵入性實(shí)驗(yàn)的效果，如更改服務(wù)器性能狀態(tài)。

首先必須為工作負(fù)載收集經(jīng)驗(yàn)到達(dá)和服務(wù)分布。通過對生產(chǎn)二進(jìn)制進(jìn)行跟蹤實(shí)時(shí)流量的到達(dá)順序來獲得到達(dá)時(shí)間分布。為了測量服務(wù)時(shí)間分布，將查詢一次一個(gè)地注入到隔離的Web搜索節(jié)點(diǎn)中，從而確保在搜索節(jié)點(diǎn)內(nèi)沒有排隊(duì)。因此，可以簡單地將查詢服務(wù)時(shí)間測量為查詢的完成時(shí)間和到達(dá)時(shí)間之間的差。這些分布都是在大量查詢樣本上測量的。接下來測量隔離搜索節(jié)點(diǎn)的功率—性能行為以構(gòu)建系統(tǒng)模型。通過離線實(shí)驗(yàn)，改變處理器頻率和內(nèi)存延遲，并測量了處理器和內(nèi)存性能設(shè)置空間中每個(gè)點(diǎn)的單個(gè)查詢的平均服務(wù)時(shí)間。從這些數(shù)據(jù)，構(gòu)建了一個(gè)SmartBig系統(tǒng)模型，調(diào)整服務(wù)時(shí)間和每個(gè)查詢的報(bào)告功率估計(jì)。最后，通過這些表征步驟完成，SmartBig可以用來估計(jì)能源管理策略在各種負(fù)載下的影響，負(fù)載可以通過縮放到達(dá)間分布來改變。

圖3 驗(yàn)證Google網(wǎng)頁搜索的效果

圖3 提供了SmartBig模擬結(jié)果驗(yàn)證的局部視圖。線代表所預(yù)測的95百分位數(shù)延遲，由SmartBig和點(diǎn)表示來自實(shí)際硬件的測量數(shù)據(jù)。因?yàn)閷?shí)驗(yàn)改變了處理器和內(nèi)存設(shè)置，所以性能設(shè)置空間是二維的，該圖顯示了具有固定存儲器性能和可變CPU性能的子集。橫軸表示在典型工作范圍內(nèi)變化的利用率（以每秒最大查詢或QPS的百分比表示），所有驗(yàn)證點(diǎn)的平均誤差為9.2%。

3.2 時(shí)間安排

本文的第二個(gè)案例研究中，SmartBig用于研究DreamWeaver［12］，這是一種調(diào)度機(jī)制，旨在合并空閑時(shí)段，以便在多核服務(wù)器中使用空閑低功耗模式。調(diào)度機(jī)制被設(shè)計(jì)為盡可能地在所有核上對齊空閑和活動(dòng)時(shí)間，以最大化所有核都是空閑的間隔，并且整個(gè)系統(tǒng)可以被置于深度睡眠模式。調(diào)度機(jī)制的本質(zhì)是搶占執(zhí)行，并且如果未完成的任務(wù)比核少，則進(jìn)入深度睡眠。然而，如果任何任務(wù)被延遲超過預(yù)先指定的閾值，則系統(tǒng)喚醒并且執(zhí)行恢復(fù)，即使一些保持空閑。本質(zhì)上，該技術(shù)按每個(gè)請求的延遲交易，以創(chuàng)建深度睡眠的機(jī)會，結(jié)果如圖4所示。

圖4 到達(dá)間分布對延遲的影響圖

使用SmartBig預(yù)測此調(diào)度機(jī)制的有效性，并針對Solr開源Web搜索系統(tǒng)的調(diào)度機(jī)制的軟件實(shí)現(xiàn)驗(yàn)證SmartBig預(yù)測。Solr是一個(gè)功能齊全的網(wǎng)絡(luò)索引和搜索系統(tǒng)，用于許多企業(yè)在其網(wǎng)站中添加本地搜索功能。驗(yàn)證實(shí)驗(yàn)使用AOL查詢集［14］和維基百科的索引［15］來執(zhí)行Solr。

4 結(jié)語

本文提出了新的大數(shù)據(jù)系統(tǒng)架構(gòu)模擬研究系統(tǒng)SmartBig，該系統(tǒng)用于驗(yàn)證數(shù)據(jù)中心系統(tǒng)的仿真基礎(chǔ)架構(gòu)。通過提高仿真抽象級別，SmartBig可以比傳統(tǒng)的微架構(gòu)模擬器顯著更快地建模服務(wù)器或集群。通過兩個(gè)實(shí)例完成SmartBig對模型的驗(yàn)證（相比傳統(tǒng)的硬件服務(wù)），發(fā)現(xiàn)系統(tǒng)的準(zhǔn)確性是相當(dāng)好的。

［1］M.M.K.Martin，D.J.Sorin，B.M.Beckmann，M.R.Marty，M.Xu，A.R.Alameldeen，K.E.Moore，M.D.

Hill，and D.A.Wood.Multifacet's general executiondriven multiprocessor simulator（GEMS）toolset［J］.ACM SIGARCH Computer Architecture News，2005，33（4）：92-99.

［2］D.Wang，B.Ganesh，N.Tuaycharoen，K.Baynes，A.Jaleel，and B.Jacob.DRAMsim：a memory system simulator［J］.ACM SIGARCH Computer Architecture News，2005，33（4）：100-107.

［3］T.F.Wenisch，R.E.Wunderlich，M.Ferdman，A.Ailamaki，B.Falsafi，and J.C.Hoe.SimFlex：Statistical Sampling of Computer System Simulation［C］//IEEE Micro，2006，26（4）：18-31.

［4］D.Meisner，J.Wu，and T.F.Wenisch.Towards a Scalable Data Center-level Evaluation Methodology［C］//In Proc.of the International Symp.on Performance Analysis of Systems and Software，2011：121-122.

［5］D.Meisner and T.F.Wenisch.Stochastic Queuing Simulation for Data Center Workloads［C］//In Exascale Evaluation and Research Techniques Workshop，2010.

［6］孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)［J］.計(jì)算機(jī)研究與發(fā)展，2013，50（1）：146-169.MEN Xiaofeng，CHI Xiang.Big Data Management：Concepts，Techniques and Challenge［J］.Jonrnal of Computer Research and Development，2013，50（1）：146-169.

［7］徐庚保，曾蓮芝.基于仿真的復(fù)雜系統(tǒng)研究［J］.計(jì)算機(jī)仿真，2013，30（2）：1-4.XU Y B，ZENG Lianzhi.Simulation-Based Complex System Study［J］.Jonrnal of Computer Simulation，2013，30（2）：1-4.

［8］胡曉峰.大數(shù)據(jù)時(shí)代對建模仿真的挑戰(zhàn)與思考軍事運(yùn)籌與系統(tǒng)工程［J］.軍事運(yùn)籌與系統(tǒng)工程，2013，27（4）：5-12.HU Xiaofeng.Big data era to the challenge of modeling and simulation with thinking about military strategy and system engineering［J］.Military Operations Research and Systems Engineering，2013，27（4）：5-12.

［9］M.Harchol-balter.Theory of Performance Modeling，CMU Class Notes，2005.

［10］E.J.Chen and W.D.Kelton.Determining simulation run length with the runs test［J］.Simulation Modelling Practice and Theory，2003，11（3-4）：237-250.

［11］E.J.Chen and W.D.Kelton.Quantile and histogram estimation［C］//In Proc.of the Winter Simulation Conf.，2001.

［12］D.Meisner，C.M.Sadler，L.A.Barroso，W.-D.Weber，and T.F.Wenisch.Power Management of Online Data-Intensive Services［C］//In Proc.of the 38th International Symp.on Computer Architecture，2011.

［13］D.Meisner and T.F.Wenisch.DreamWeaver：Architectural Support for Deep Sleep［C］//In Proc.of the 17thInternational Conf.on Architectural Support for Programming Languages and Operating Systems，2012，47（4）：313-324.

［14］AOL Query Log，2006［OL］.http：//www.gregsadetsky.com/aol-data/.

［15］Welcome to Solr，2011［OL］.http：//lucene.apache.org/solr/.

Research on System Simulation Infrastructure Based on KeChuang Big Data

GU BinWU WeiHUANG HongliHUANG Yuankuo
（Zhuhai Productivity Promotion Center，Zhuhai 519000）

With the industry of carrying out the craze of innovation and entrepreneurship，to build a large data platform has become a government service agencies imminent needs.In the background of the establishment of large data platform，scientific and technological innovation，various large data service tools have emerged in the industry to verify the performance of service.In this paper，a large data system architecture simulation platform is designed based on the background of scientific and technological innovation.According to the design concept of high performance computing chip，the queuing theory and stochastic model are combined to reduce the traditional hourly data service time to minutes.The design principles of the platform and simulation of large-scale data system architecture of the actual process simulation are introduces in this paper.

big data，simulation platform，stochastic model，queuing theory

TP393

10.3969/j.issn.1672-9722.2017.11.021

Class Number TP393