服務(wù)器性能評(píng)價(jià)方法研究綜述

李 亮，李安昊，方魯杰，張 宇，李 鎖 在，徐志亮，袁 泉

(1.中電（海南）聯(lián)合創(chuàng)新研究院有限公司，海南 澄邁 571924；2.海南省PK體系關(guān)鍵技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，海南 澄邁 571924；3.中軟信息系統(tǒng)工程有限公司，北京 102209)

0 引言

計(jì)算機(jī)技術(shù)的發(fā)展推動(dòng)著社會(huì)進(jìn)步，各行各業(yè)逐漸開始進(jìn)入信息化的時(shí)代。隨著大數(shù)據(jù)時(shí)代的到來(lái)，人們對(duì)網(wǎng)絡(luò)應(yīng)用需求日益增長(zhǎng)，對(duì)計(jì)算機(jī)性能的要求越來(lái)越高。服務(wù)器相比于普通的終端機(jī)，其在穩(wěn)定性、安全性、性能等方面的要求更高，更受企業(yè)與一些行業(yè)工作者的青睞。目前市場(chǎng)上的服務(wù)器品牌有很多，例如中國(guó)長(zhǎng)城、華為、戴爾、惠普、浪潮等，其性能、系統(tǒng)架構(gòu)、價(jià)格等也不同，對(duì)于不同的使用場(chǎng)景也需要使用不同的服務(wù)器，對(duì)于企業(yè)或個(gè)人來(lái)說，如何為自己的應(yīng)用場(chǎng)景選擇合適的服務(wù)器是重中之重，因此在選購(gòu)前需要對(duì)服務(wù)器的性能進(jìn)行評(píng)價(jià)。

目前服務(wù)器的性能評(píng)價(jià)并沒有一個(gè)完整的國(guó)家標(biāo)準(zhǔn)或國(guó)際標(biāo)準(zhǔn)，只是對(duì)性能中的安全性等進(jìn)行規(guī)定，關(guān)于服務(wù)器性能評(píng)價(jià)的相關(guān)標(biāo)準(zhǔn)如表1所示。

表1 服務(wù)器性能評(píng)價(jià)相關(guān)標(biāo)準(zhǔn)

由于未有一個(gè)完整的服務(wù)器性能評(píng)價(jià)指標(biāo)，因此最初的服務(wù)器性能評(píng)價(jià)方法主要是對(duì)速度和穩(wěn)定性這兩個(gè)指標(biāo)進(jìn)行分析，一般情況下，只要速度和穩(wěn)定性滿足用戶要求，就認(rèn)為該服務(wù)器符合標(biāo)準(zhǔn)，這種方法具有一定的局限性。后續(xù)隨著計(jì)算機(jī)測(cè)試技術(shù)的發(fā)展，陸續(xù)加入了CPU、內(nèi)存容量、網(wǎng)絡(luò)延遲和寬帶、硬盤等指標(biāo)，逐漸豐富了服務(wù)器性能評(píng)價(jià)方法。

本文將目前主流的服務(wù)器性能評(píng)價(jià)方法歸納為三類：基于測(cè)試工具的評(píng)價(jià)方法、基于多屬性決策的評(píng)價(jià)方法及基于數(shù)據(jù)驅(qū)動(dòng)的評(píng)價(jià)方法?；跍y(cè)試工具的性能評(píng)價(jià)方法，需要技術(shù)人員對(duì)服務(wù)器的參數(shù)十分了解，根據(jù)一些測(cè)試軟件的數(shù)據(jù)進(jìn)行分析，通過知識(shí)表達(dá)和知識(shí)推理技術(shù)達(dá)到對(duì)服務(wù)器性能分析的目的。基于多屬性決策的性能評(píng)價(jià)方法是以服務(wù)器的工作原理為支撐，對(duì)服務(wù)器的性能指標(biāo)進(jìn)行數(shù)據(jù)收集，通過對(duì)服務(wù)器性能指標(biāo)建立數(shù)學(xué)模型，通過建模的方式完成對(duì)服務(wù)器性能的評(píng)價(jià)?；跀?shù)據(jù)驅(qū)動(dòng)的性能評(píng)價(jià)方法，它不需要對(duì)服務(wù)器的指標(biāo)進(jìn)行大量的數(shù)據(jù)處理或者建立復(fù)雜的模型去分析，只需要通過數(shù)據(jù)的自主學(xué)習(xí)來(lái)建立參數(shù)輸入與評(píng)價(jià)輸出的關(guān)系即可。

本文系統(tǒng)性地對(duì)上述三種服務(wù)器性能評(píng)價(jià)方法進(jìn)行介紹，然后對(duì)目前服務(wù)器性能評(píng)價(jià)中存在的問題還有未來(lái)的發(fā)展方向做進(jìn)一步的探討，并提出一些建議，最后對(duì)可能面臨的問題和挑戰(zhàn)進(jìn)行了闡述。

1 基于測(cè)試工具的評(píng)價(jià)方法

最初服務(wù)器的性能評(píng)價(jià)主要依靠技術(shù)人員的操作經(jīng)驗(yàn)進(jìn)行判斷，要求相關(guān)人員有著豐富的實(shí)踐經(jīng)驗(yàn)，充分掌握各種服務(wù)器的工作參數(shù)，從而完成服務(wù)器的性能評(píng)價(jià)，但這種方法較為費(fèi)時(shí)，對(duì)人員的要求高[1]。

隨著計(jì)算機(jī)軟件技術(shù)的不斷提升，利用計(jì)算機(jī)多線程的計(jì)算能力，使用一些服務(wù)器測(cè)評(píng)軟件(例如SPEC、Linpack、HPCC、UnixBench)進(jìn)行綜合測(cè)評(píng)達(dá)到性能評(píng)價(jià)的目的[2]。

文獻(xiàn)[3]采用了性能測(cè)試工具SPECweb99，將網(wǎng)絡(luò)性能作為標(biāo)準(zhǔn)，通過閾值分析的方式完成對(duì)服務(wù)器網(wǎng)絡(luò)系統(tǒng)性能的評(píng)價(jià)。文獻(xiàn)[4]采用ServerScope工具提供的數(shù)據(jù)監(jiān)控服務(wù)來(lái)監(jiān)控被測(cè)系統(tǒng)的性能，測(cè)試指標(biāo)主要包含最大并發(fā)流數(shù)目、聚合輸出帶寬等，以此分析和優(yōu)化電子商務(wù)Web服務(wù)器的性能。文獻(xiàn)[5]采用HPL(Hero Pro League)測(cè)試軟件進(jìn)行參數(shù)測(cè)量，深入探討了Linpack測(cè)試原理，提出了一套以此為基礎(chǔ)的測(cè)試指標(biāo)。

雖然計(jì)算機(jī)測(cè)試技術(shù)的快速發(fā)展極大程度上簡(jiǎn)化了數(shù)據(jù)處理與邏輯推理的過程，但是測(cè)試工具具有一定的局限性。由于測(cè)試工具的開發(fā)時(shí)間普遍較早，其部分算法已經(jīng)并不適用于目前的高性能的服務(wù)器，而對(duì)算法進(jìn)行改進(jìn)需要大量時(shí)間。此外不同測(cè)評(píng)軟件的標(biāo)準(zhǔn)不同，沒有統(tǒng)一性，并不能建立一個(gè)完整的評(píng)價(jià)結(jié)構(gòu)，應(yīng)用場(chǎng)景多有限制，例如HPCC測(cè)試軟件測(cè)試的子項(xiàng)過多，測(cè)試的結(jié)果需要非常專業(yè)的人士來(lái)進(jìn)行解讀，對(duì)于普通人士或者非專業(yè)人士并不友好，普通用戶或者非專業(yè)人士很難對(duì)自己的應(yīng)用場(chǎng)景做出正確的選擇[6-7]。此外由于標(biāo)準(zhǔn)不同，不同的測(cè)試工具測(cè)評(píng)出來(lái)的結(jié)果差異較大。例如使用UnixBench軟件進(jìn)行測(cè)評(píng)，使用相同的服務(wù)器而使用不同的系統(tǒng)內(nèi)核都會(huì)導(dǎo)致結(jié)果不盡相同，十分不利于非專業(yè)人士與普通用戶進(jìn)行分析。

2 基于多屬性決策的性能評(píng)價(jià)方法

基于多屬性決策的性能評(píng)價(jià)方法是根據(jù)經(jīng)驗(yàn)與知識(shí)的評(píng)價(jià)方法改進(jìn)而成的，它最初的想法是構(gòu)建數(shù)學(xué)模型或物理模型模擬服務(wù)器在特定的場(chǎng)景的工作過程，通過分布擬合出它們的工作參數(shù)，將模擬出的相關(guān)參數(shù)與實(shí)際測(cè)量值進(jìn)行對(duì)比，通過分布擬合它們的殘差值設(shè)置閾值，根據(jù)閾值進(jìn)行服務(wù)器性能評(píng)價(jià)，但這種僅限單一指標(biāo)判斷。根據(jù)數(shù)據(jù)處理的技術(shù)不斷加強(qiáng)，越來(lái)越多的智能算法被人們所提出，此時(shí)基于模型與數(shù)據(jù)聯(lián)合的建模方法越來(lái)越被人們所認(rèn)可，服務(wù)器的性能會(huì)關(guān)聯(lián)到不同的指標(biāo)，若想全面地將不同屬性的多個(gè)指標(biāo)結(jié)合在一起進(jìn)行評(píng)價(jià)，需要建立一定的數(shù)學(xué)模型進(jìn)行數(shù)據(jù)處理，基于此，服務(wù)器多屬性決策理論開始進(jìn)入了人們的視野。

在多屬性決策理論中，首先需要判斷將指標(biāo)劃分為定量指標(biāo)與定性指標(biāo)，一般來(lái)說處理此類多屬性決策問題需要設(shè)計(jì)決策方案，要清楚自己的指標(biāo)選取方式，指標(biāo)的選取有三種方案：全部選擇定量指標(biāo)、全部選擇定性指標(biāo)以及定量指標(biāo)與定性指標(biāo)的混合選用。這三種情況對(duì)應(yīng)的多屬性決策問題分別稱為定量型多屬性決策問題、定性型多屬性決策問題和混合型多屬性決策問題。通常根據(jù)不同的場(chǎng)景選擇不同的情況進(jìn)行分析[8]。

在解決多屬性決策問題中，一般都要涉及三個(gè)方面，分別是決策矩陣的規(guī)范化、各屬性權(quán)重的確定和最終結(jié)果的綜合排序，具體工作過程如圖1所示。

圖1 多屬性決策一般過程

多屬性決策通常具備以下特點(diǎn)：

(1)多方案調(diào)度：在進(jìn)行多屬性決策之前，必須要先進(jìn)行多種方案評(píng)估，并對(duì)所提出的方案編寫方案書；

(2)多評(píng)估屬性調(diào)度：在進(jìn)行多屬性決策之前，必須要衡量可行的屬性數(shù)，提出方案可能面臨的屬性調(diào)度問題，分析屬性間的關(guān)系，判斷屬性間是相互獨(dú)立還是具有關(guān)聯(lián)；

(3)多屬性的權(quán)重分配：對(duì)于不同的應(yīng)用場(chǎng)景指標(biāo)有不同的權(quán)重分配方案，分配不同的權(quán)重給不同的屬性，一般來(lái)說屬性的權(quán)重分配通常會(huì)經(jīng)過正規(guī)化處理。

目前應(yīng)用最多的是混合型多屬性決策問題，在應(yīng)用時(shí)屬性權(quán)重的選擇問題上一直是一個(gè)重要問題，近些年來(lái)對(duì)于其的研究一直未中斷。迄今為止，權(quán)重的分析方法主要有兩種：主觀賦權(quán)法和客觀賦權(quán)法。

主觀賦權(quán)法是根據(jù)研究人員或?qū)I(yè)人士的經(jīng)驗(yàn)對(duì)一些指標(biāo)進(jìn)行主觀判斷，從而確定指標(biāo)權(quán)重的方法。常見的主觀賦權(quán)法包括判斷矩陣法、模糊子集法、點(diǎn)估計(jì)值法等[9]。

相比較于主觀賦權(quán)法，客觀賦權(quán)法不含人的主觀因素，利用客觀信息通過一定的數(shù)學(xué)運(yùn)算完成指標(biāo)的賦權(quán)，目前常用的方法包括主成分分析方法、層次分析法、聚類分析、熵權(quán)法、均方根法等一系列方法。相比于主觀賦權(quán)法，客觀賦權(quán)法舍棄了主觀因素影響，在權(quán)重的選擇上可以利用數(shù)學(xué)公式來(lái)證明，更加具有公正性。

基于多屬性決策的服務(wù)器性能評(píng)價(jià)方式目前國(guó)內(nèi)外的研究較多，文獻(xiàn)[10]采用了層次分析法與模糊矩陣相結(jié)合的方式進(jìn)行流媒體服務(wù)器性能評(píng)價(jià)，首先使用層次分析法完成指標(biāo)的權(quán)重分析，然后采用模糊矩陣的定義來(lái)構(gòu)造判斷矩陣，最后采用定量與定性指標(biāo)結(jié)合的方式完成整個(gè)服務(wù)器的性能評(píng)價(jià)。文獻(xiàn)[11]建立了一種基于FTP服務(wù)器的排隊(duì)理論模型，通過對(duì)網(wǎng)絡(luò)帶寬利用率等定量指標(biāo)與網(wǎng)絡(luò)的可靠性等定性指標(biāo)進(jìn)行分析，提出了相應(yīng)的FTP服務(wù)改進(jìn)方案。文獻(xiàn)[12]針對(duì)云服務(wù)器的安全架構(gòu)、機(jī)制等進(jìn)行分析，建立了定量與定性指標(biāo)，通過建立模糊矩陣的方式將定性指標(biāo)定量化，將問題轉(zhuǎn)為定量指標(biāo)的分析上完成對(duì)云服務(wù)器安全的評(píng)價(jià)指標(biāo)。

但這種方法也有一定的缺陷，如果對(duì)指標(biāo)采用主動(dòng)賦權(quán)法，主觀性影響較大，在進(jìn)行指標(biāo)賦權(quán)的時(shí)候權(quán)重分配沒有一定的原理性，如果采用客觀賦權(quán)，因評(píng)估標(biāo)準(zhǔn)不具有一貫性，一旦參與評(píng)估的對(duì)象發(fā)生改變，權(quán)重也會(huì)相應(yīng)地進(jìn)行改變。

3 基于數(shù)據(jù)驅(qū)動(dòng)的性能評(píng)價(jià)方法

隨著近些年機(jī)器學(xué)習(xí)的快速發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的服務(wù)器性能評(píng)價(jià)方法是當(dāng)下學(xué)者們研究的重要方向，相對(duì)于基于測(cè)試工具的評(píng)價(jià)方法或基于多屬性決策的評(píng)價(jià)方法來(lái)說，它不需要對(duì)服務(wù)器的指標(biāo)進(jìn)行大量的數(shù)據(jù)處理或者建立復(fù)雜的模型去分析，只需要通過數(shù)據(jù)的自主學(xué)習(xí)來(lái)建立參數(shù)輸入與評(píng)價(jià)輸出的關(guān)系即可[13-15]。

機(jī)器學(xué)習(xí)是一門涉及智能算法、統(tǒng)計(jì)學(xué)、概率論學(xué)等多領(lǐng)域的交叉學(xué)科，其核心思想是通過計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，從而獲取新的知識(shí)或技能，或者是重新組織目前已經(jīng)學(xué)習(xí)到的知識(shí)框架并不斷進(jìn)行改進(jìn)，其工作原理如圖2所示。

圖2 機(jī)器學(xué)習(xí)一般過程

基于數(shù)據(jù)驅(qū)動(dòng)的服務(wù)器的性能評(píng)價(jià)方法主要有兩種，一種是基于擬合的方式進(jìn)行服務(wù)器性能評(píng)價(jià)，一種是基于回歸的方式進(jìn)行服務(wù)器性能評(píng)價(jià)。基于擬合的方式進(jìn)行服務(wù)器性能評(píng)價(jià)需要先建立一定的評(píng)價(jià)等級(jí)，將所測(cè)量的參數(shù)作為輸入，將評(píng)價(jià)等級(jí)作為輸出進(jìn)行模型訓(xùn)練并保留模型。后續(xù)將所需要進(jìn)行性能評(píng)價(jià)的服務(wù)器的測(cè)量參數(shù)輸入到模型中進(jìn)行擬合，輸出所定的評(píng)價(jià)等級(jí)[16]。

基于回歸的方式進(jìn)行服務(wù)器性能評(píng)價(jià)方法主要是將分析服務(wù)器參數(shù)與評(píng)價(jià)等級(jí)建立一個(gè)回歸分析模型，根據(jù)實(shí)測(cè)服務(wù)器參數(shù)來(lái)求解回歸模型中的參數(shù)，并對(duì)回歸模型的擬合效果進(jìn)行評(píng)價(jià)，如果擬合效果較好，則可以根據(jù)服務(wù)器參數(shù)對(duì)服務(wù)器性能進(jìn)行下一步的評(píng)價(jià)[17]。

文獻(xiàn)[18]結(jié)果表明此方法無(wú)需建立復(fù)雜的數(shù)學(xué)模型即可實(shí)現(xiàn)對(duì)Web服務(wù)器的性能評(píng)價(jià)。文獻(xiàn)[19]提出了多路徑傳輸網(wǎng)絡(luò)的評(píng)價(jià)模型——基于灰色關(guān)聯(lián)網(wǎng)絡(luò)性能評(píng)估模型MPTCP-GANPEM(Multi-Path TCP Grey Associated Network Performance Evaluation Model)，定性指標(biāo)選擇了精簡(jiǎn)性、可測(cè)性、代表性，并依次抽取了相應(yīng)的評(píng)價(jià)指標(biāo)作為網(wǎng)絡(luò)輸入，利用回歸的方式對(duì)服務(wù)器的綜合性能進(jìn)行量化評(píng)分。

此類方法雖不需要建立復(fù)雜模型，但其工作原理為黑箱原理，可解釋性不強(qiáng)，且過于依賴模型的穩(wěn)定性，容易出現(xiàn)過擬合的現(xiàn)象。此外此類方法需要充足的先驗(yàn)知識(shí)作為訓(xùn)練模型的數(shù)據(jù)，如果先驗(yàn)知識(shí)具有局限性，那么會(huì)對(duì)整體的評(píng)價(jià)產(chǎn)生較大的影響。

對(duì)以上三種服務(wù)器性能評(píng)價(jià)方法進(jìn)行總結(jié)，如表2所示。

表2 三種服務(wù)器性能評(píng)價(jià)方法對(duì)比

4 試驗(yàn)驗(yàn)證

選用兩臺(tái)服務(wù)器，配置分別如表3和表4所示。

表3 A服務(wù)器配置

表4 B服務(wù)器配置

分別使用三種方法對(duì)兩個(gè)服務(wù)器進(jìn)行對(duì)比，首先使用測(cè)試工具UnixBench對(duì)兩個(gè)服務(wù)器評(píng)價(jià)，測(cè)評(píng)結(jié)果如表5所示。

表5 UnixBench測(cè)試結(jié)果

其次采用多屬性的權(quán)重分配的方法進(jìn)行服務(wù)器性能評(píng)價(jià)，具體工作包括：對(duì)于定量指標(biāo)，采用改進(jìn)的灰色關(guān)聯(lián)分析方法進(jìn)行特征貢獻(xiàn)度求取，對(duì)于灰色關(guān)聯(lián)分析中主觀性較強(qiáng)導(dǎo)致求取關(guān)聯(lián)程度精度較差的問題，采用客觀賦權(quán)法進(jìn)行賦權(quán)，構(gòu)造一個(gè)最優(yōu)的虛擬方案作為參考數(shù)列，將其他方案以其為參考計(jì)算關(guān)聯(lián)系數(shù)，將關(guān)聯(lián)系數(shù)較低的定量指標(biāo)剔除；對(duì)于定性指標(biāo)，采用模糊化的方法進(jìn)行數(shù)據(jù)定量化，最后綜合定量指標(biāo)和定性指標(biāo)對(duì)可行方案進(jìn)行排序，完成對(duì)服務(wù)器的性能評(píng)價(jià)，結(jié)果如表6所示。

表6 評(píng)價(jià)得分

最后采用神經(jīng)網(wǎng)絡(luò)的方式建立一個(gè)回歸分析模型，根據(jù)實(shí)測(cè)服務(wù)器參數(shù)來(lái)求解回歸模型中的參數(shù)，并對(duì)回歸模型的擬合效果進(jìn)行評(píng)價(jià)，擬合效果較好，則可以根據(jù)服務(wù)器參數(shù)對(duì)服務(wù)器性能進(jìn)行下一步的評(píng)價(jià)，同時(shí)完成模型的訓(xùn)練。將驗(yàn)證數(shù)據(jù)導(dǎo)入到訓(xùn)練好的模型中得到相應(yīng)的值，與評(píng)價(jià)等級(jí)進(jìn)行比較。評(píng)價(jià)等級(jí)如表7所示，輸出結(jié)果如表8所示。

表7 評(píng)價(jià)等級(jí)

從上面的結(jié)果可得，三種方法中的結(jié)果都是B服務(wù)器性能較優(yōu)，但基于數(shù)據(jù)驅(qū)動(dòng)的方法兩者相差較小，經(jīng)分析是先驗(yàn)數(shù)據(jù)不足導(dǎo)致，說明基于數(shù)據(jù)驅(qū)動(dòng)的模型穩(wěn)定性較差，所以在先驗(yàn)數(shù)據(jù)不充足的情況下目前并不提倡使用這種方法，建議使用前兩種方法。

5 結(jié)論

目前針對(duì)服務(wù)器的性能評(píng)價(jià)主要包含有三種：基于測(cè)試工具的評(píng)價(jià)方法、基于多屬性決策的方法及基于數(shù)據(jù)驅(qū)動(dòng)的方法，對(duì)三種方法的總結(jié)如下：

基于測(cè)試工具的性能評(píng)價(jià)方法的優(yōu)點(diǎn)是使用工具方便上手，可操作性強(qiáng)，但其應(yīng)用場(chǎng)景多有限制，且測(cè)試的結(jié)果需要非常專業(yè)的人士來(lái)進(jìn)行解讀，對(duì)于普通人士或者非專業(yè)人士并不友好，很難對(duì)自己的應(yīng)用場(chǎng)景做出正確的選擇。其次大多數(shù)測(cè)試工具是早些年開發(fā)的，算法較為落后，如果對(duì)算法進(jìn)行改進(jìn)會(huì)浪費(fèi)大量的時(shí)間。

基于多屬性決策的性能評(píng)價(jià)方法是根據(jù)經(jīng)驗(yàn)與知識(shí)的評(píng)價(jià)方法改進(jìn)而成的，通過建立復(fù)雜的數(shù)學(xué)模型來(lái)建立評(píng)價(jià)體系。其優(yōu)點(diǎn)為可以將多個(gè)目標(biāo)關(guān)聯(lián)在一起，利用多屬性決策理論的想法來(lái)進(jìn)行數(shù)學(xué)模型搭建，評(píng)價(jià)體系通過數(shù)學(xué)公式來(lái)進(jìn)行構(gòu)建，方便非專業(yè)人士直接調(diào)用模型。但這種方法也有一定的缺陷，如果對(duì)指標(biāo)采用主動(dòng)賦權(quán)法，主觀性影響較大，在進(jìn)行指標(biāo)賦權(quán)的時(shí)候權(quán)重分配沒有一定的原理性；如果采用客觀賦權(quán)法，因評(píng)估標(biāo)準(zhǔn)不具有一貫性，一旦參與評(píng)估的對(duì)象發(fā)生改變，權(quán)重也會(huì)相應(yīng)地進(jìn)行改變。

基于數(shù)據(jù)驅(qū)動(dòng)的性能評(píng)價(jià)方法相對(duì)于基于經(jīng)驗(yàn)與知識(shí)的評(píng)價(jià)方法或基于模型搭建的評(píng)價(jià)方法來(lái)說，它不需要對(duì)服務(wù)器的指標(biāo)進(jìn)行大量的數(shù)據(jù)處理或者建立復(fù)雜的模型去分析，只需要通過數(shù)據(jù)的自主學(xué)習(xí)來(lái)建立參數(shù)輸入與評(píng)價(jià)輸出的關(guān)系即可。但其工作原理為黑箱原理，可解釋性不強(qiáng)，且過于依賴模型的穩(wěn)定性，容易出現(xiàn)過擬合的現(xiàn)象。

所以在接下來(lái)的研究中，首先要確定一個(gè)完整的服務(wù)器測(cè)評(píng)指標(biāo)，也就是要確定定量指標(biāo)與定性指標(biāo)，需要進(jìn)行大量的模型搭建進(jìn)行體系搭建，從而選擇出在大部分場(chǎng)景都能通用的服務(wù)器性能評(píng)價(jià)指標(biāo)，且目前的研究沒有將經(jīng)濟(jì)性因素概括進(jìn)去，后續(xù)的研究工作可以建立服務(wù)器性價(jià)比模型，將經(jīng)濟(jì)因素與性能評(píng)價(jià)結(jié)合，方便在實(shí)際應(yīng)用下選取最優(yōu)解。

其次，自動(dòng)化測(cè)試是繼續(xù)要研究的方向，在今后的工作中需要力圖實(shí)現(xiàn)測(cè)評(píng)過程的自動(dòng)化。而且目前還面臨著大多時(shí)候無(wú)法去現(xiàn)場(chǎng)進(jìn)行測(cè)試布置，只能通過場(chǎng)景模擬來(lái)進(jìn)行測(cè)試，由于大部分場(chǎng)景難以模擬，因此測(cè)試結(jié)果與實(shí)際結(jié)果差距較大，所以在后續(xù)工作中也要對(duì)服務(wù)器測(cè)試環(huán)境模擬技術(shù)進(jìn)行有針對(duì)性的研究。

最后，目前的服務(wù)器測(cè)評(píng)都是在一個(gè)相對(duì)溫和的場(chǎng)景下進(jìn)行測(cè)評(píng)，針對(duì)高并發(fā)、高壓力的環(huán)境下服務(wù)器測(cè)評(píng)的研究較少，且對(duì)服務(wù)器集群體性能測(cè)試較少，后續(xù)要增強(qiáng)此類研究。