云計算環(huán)境下定制化服務(wù)器的研究與測試

邱紅飛 李先緒 黃春光

【摘 要】隨著云計算、移動互聯(lián)網(wǎng)等業(yè)務(wù)的快速發(fā)展，X86服務(wù)器定制化的需求在電信運營商中將逐步增長。在研究服務(wù)器定制化方法的基礎(chǔ)上，分析了服務(wù)器的應(yīng)用場景，并對定制化服務(wù)器進行分類。通過對定制化服務(wù)器在不同應(yīng)用場景下的性能測試，提出了服務(wù)器定制化解決方案，為優(yōu)化定制化服務(wù)器提供有益參考。

【關(guān)鍵詞】服務(wù)器 定制化 云計算 虛擬化

doi：10.3969/j.issn.1006-1010.2016.06.014 中圖分類號：TP391 文獻標識碼：A 文章編號：1006-1010（2016）06-0061-06

引用格式：邱紅飛，李先緒，黃春光. 云計算環(huán)境下定制化服務(wù)器的研究與測試[J]. 移動通信， 2016，40（6）： 61-66.

1 引言

服務(wù)器作為云計算中提供計算、存儲資源的核心，是整個云計算服務(wù)的基礎(chǔ)。在云數(shù)據(jù)中心，大規(guī)模服務(wù)器的采用和管理帶來了機房能耗、運營和運維成本的攀升。同時，傳統(tǒng)的服務(wù)器采用統(tǒng)一的硬件配置，不會隨應(yīng)用場景的變化而變化，造成了服務(wù)器資源的浪費。因此，隨著云計算環(huán)境中上層應(yīng)用或業(yè)務(wù)種類的增多，定制化服務(wù)器應(yīng)運而生[1]。

定制化服務(wù)器相對傳統(tǒng)的服務(wù)器而言，是一種針對特定的、具體的應(yīng)用場景設(shè)計的服務(wù)器系統(tǒng)，以削弱通用性為代價，主要通過全局優(yōu)化、簡化功能、精簡部件、集成芯片等方式實現(xiàn)TCO（Total Cost of Ownership，總所有成本）的降低，能夠大幅提升特定應(yīng)用場景下的性能價格比。隨著云計算和移動互聯(lián)網(wǎng)等業(yè)務(wù)的快速發(fā)展、ICT（Information and Communication Technology，信息和通信技術(shù)）的融合、數(shù)據(jù)中心業(yè)務(wù)的轉(zhuǎn)型，電信運營商的服務(wù)器需求將進一步明確，并且逐步增長。因此，應(yīng)持續(xù)借鑒國內(nèi)外互聯(lián)網(wǎng)企業(yè)、基礎(chǔ)設(shè)施運營商的定制化服務(wù)器經(jīng)驗，逐步實現(xiàn)服務(wù)器定制化[2]。

不同的業(yè)務(wù)應(yīng)用類型對定制化服務(wù)器的硬件配置要求并不相同，定制化服務(wù)器的目的就是對不同業(yè)務(wù)應(yīng)用類型合理地進行硬件配置。本文通過對常用的定制化服務(wù)器的各項性能指標進行評估，找出了不同應(yīng)用場景下的性能和硬件配置依賴關(guān)系，為定制化服務(wù)器的物理配置提供了參考依據(jù)。

2 服務(wù)器定制化的方法及應(yīng)用分析

2.1 定制化的主要方法

云計算應(yīng)用服務(wù)器定制化的目的是為了滿足特定業(yè)務(wù)及數(shù)據(jù)中心環(huán)境要求，在現(xiàn)有量產(chǎn)服務(wù)器基礎(chǔ)上提出配置、節(jié)能和管理等技術(shù)要求，由服務(wù)器供應(yīng)商進行有針對性設(shè)計和優(yōu)化服務(wù)器，以提高資源利用率并降低服務(wù)器生命周期內(nèi)的TCO[2]。云計算應(yīng)用服務(wù)器定制化主要包括以下方面：

（1）精簡部件：在服務(wù)器定制中，應(yīng)針對不同業(yè)務(wù)對資源的不同需求和特點，并基于可靠性要求，對CPU（Central Processing Unit，中央處理器）、內(nèi)存、硬盤和網(wǎng)絡(luò)等進行有針對性的配置，避免部分資源出現(xiàn)瓶頸或明顯過度配置的情況。

（2）芯片集成：主要是將功能芯片板載化，如常用的板載化芯片包括網(wǎng)卡、顯卡、HBA（Host Bus Adapter，主機總線適配器）卡等。

（3）共享組件：基于資源需求，在多服務(wù)器需求場合下，應(yīng)盡量考慮在服務(wù)器定制中使用共享組件，即多個服務(wù)器節(jié)點使用一個機箱框架，共享風扇、電源等基礎(chǔ)組件。

（4）接口整合：針對特定的資源需求，可以將所需要的USB（Universal Serial Bus，通用串行總線）口、VGA（Video Graphics Array，視頻圖形陣列）口等外置接口進行集成整合，提供一個集成接口。

（5）軟件定制：針對特定的管理和運維需求，應(yīng)考慮支持對服務(wù)器節(jié)點或共享架構(gòu)下的服務(wù)器管理軟件進行定制，如對BIOS（Basic Input Output System，基本輸入輸出系統(tǒng)）和BMC（Baseboard Management Controller，基板管理控制器）的定制、監(jiān)控軟件管理等方面功能。

（6）能力擴展：基于現(xiàn)有的量產(chǎn)化服務(wù)器進行定制時，可根據(jù)業(yè)務(wù)需求，擴展服務(wù)器的功能和能力，包括增加支持特定功能的功能芯片或板卡，如在網(wǎng)絡(luò)吞吐密集型服務(wù)器定制中配置I/O（Input/Output，輸入/輸出）硬件加速芯片、在虛擬化應(yīng)用服務(wù)器中使用支持I/O虛擬化的功能芯片等。

2.2 定制化服務(wù)器應(yīng)用分類及特征

在電信運營商的云計算應(yīng)用中，大量需要定制化服務(wù)器主要包括Web服務(wù)器、計算虛擬化型服務(wù)器和分布式存儲型服務(wù)器等。這3種典型定制化服務(wù)器具體的特征如下：

（1）Web服務(wù)器

Web服務(wù)器已經(jīng)成為絕大多數(shù)企業(yè)不可或缺的平臺工具，作為一種廣泛使用的服務(wù)器產(chǎn)品。Web服務(wù)器的主要功能是提供網(wǎng)上信息瀏覽服務(wù)，通常有兩種類型：一種是代理模式（也稱為接入服務(wù)器），負責將收到的信息請求轉(zhuǎn)發(fā)給消息處理服務(wù)器（也稱為應(yīng)用程序服務(wù)器），不帶應(yīng)用處理程序；另一種是傳統(tǒng)的網(wǎng)站服務(wù)器，自身安裝了應(yīng)用處理程序，通常具有事務(wù)處理、數(shù)據(jù)庫連接和消息等功能，最常用的Web服務(wù)器是Apache和Microsoft的Internet信息服務(wù)器[3]。

（2）計算虛擬化型服務(wù)器

基于虛擬化技術(shù)的計算型服務(wù)器主要部署在業(yè)務(wù)平臺資源池、IT系統(tǒng)資源池、云數(shù)據(jù)中心資源池，用于承載內(nèi)部的業(yè)務(wù)平臺和對外服務(wù)的云產(chǎn)品[4]。在資源池部署中，虛擬化服務(wù)器的需求定位較為明確，主要呈現(xiàn)為多租戶、集群化、可彈性調(diào)度的總體特征，其定制需求和技術(shù)特征包括：較強的計算處理能力和大比例配備的內(nèi)存容量需求。虛擬化服務(wù)器要求具有較高配置的CPU和內(nèi)存，且CPU和內(nèi)存容量應(yīng)按一定比例合理配置；多網(wǎng)絡(luò)接口和較高的網(wǎng)絡(luò)帶寬要求；少許本地存儲容量要求；較高的設(shè)備可靠性要求。

為保證虛擬機的運行穩(wěn)定，對于虛擬化服務(wù)器的可靠性要求較高，如網(wǎng)絡(luò)冗余、電源冗余、存儲陣列硬盤要求采用RAID（Redundant Arrays of Independent Disks，磁盤冗余陣列）冗余技術(shù)等。

（3）分布式存儲型服務(wù)器

分布式存儲主要通過分布式文件系統(tǒng)、對象存儲或其他應(yīng)用系統(tǒng)支持，采用多臺廉價通用服務(wù)器及服務(wù)器自身提供的多個大容量廉價磁盤來搭建，從而取代傳統(tǒng)的集中部署的獨立式磁盤陣列系統(tǒng)，主要用于網(wǎng)盤存儲、郵箱系統(tǒng)、互聯(lián)網(wǎng)海量數(shù)據(jù)存儲（如網(wǎng)頁、圖片、視頻、音頻、日志等）、數(shù)據(jù)挖掘、搜索引擎、日志分析等多類應(yīng)用場景[5]。利用存儲型服務(wù)器搭建的分布式存儲系統(tǒng)在互聯(lián)網(wǎng)企業(yè)中已被廣泛應(yīng)用，應(yīng)用針對性強，其定制需求與技術(shù)特征包括：大存儲容量；高網(wǎng)絡(luò)I/O；較低CPU與內(nèi)存要求；較低硬件可靠性要求。

由于分布式文件系統(tǒng)本身采用軟件實現(xiàn)系統(tǒng)的可靠性，因此服務(wù)器自身對于磁盤的可用性沒有過高要求，主要以SATA（Serial Advanced Technology Attachment，串行高級技術(shù)附件）磁盤、Non-RAID磁盤為主。

3 服務(wù)器定制過程

下面主要針對上述3種典型云計算應(yīng)用，分析其定制化服務(wù)器所關(guān)心的主要性能指標和硬件配置的相互關(guān)系，制定服務(wù)器主要部件的配置列表，為云計算服務(wù)器的定制化提供理論依據(jù)。

3.1 Web服務(wù)器定制過程

（1）測試結(jié)果分析

針對Web定制化服務(wù)器性能測試采用的評估工具是LoadRunner，評估資源對象包括CPU、內(nèi)存、磁盤I/O和網(wǎng)絡(luò)I/O。服務(wù)器主要配置是2路4核、主頻2.4GHz的CPU、32GB DDR3（Double Data Rate，雙倍速率同步動態(tài)隨機存儲器）內(nèi)存、2個300GB容量、15 000轉(zhuǎn)速的SAS（Serial Attached SCSI，串行連接服務(wù)器硬盤）硬盤、1個千兆網(wǎng)卡的通用服務(wù)器。測試中將并發(fā)用戶數(shù)分別從1000到4000進行測試，其資源占用情況如表1所示：

在4000用戶數(shù)時，SAS硬盤的磁盤I/O出現(xiàn)了性能瓶頸，因此將以上2個SAS硬盤更換為SSD（Solid State Drives，固態(tài)硬盤）硬盤，從5000用戶數(shù)做進一步的測試，其資源占用情況如表2所示：

從業(yè)務(wù)模擬測試上可以看出，相對于使用SAS硬盤的通用型服務(wù)器而言，在4000用戶數(shù)以下，應(yīng)用對磁盤I/O的要求較高、內(nèi)存和CPU次之、網(wǎng)絡(luò)I/O要求較低，可以得出測試結(jié)論如下：

◆在SAS磁盤場景下，最大可以達到4000并發(fā)用戶數(shù)，所需的CPU資源相當于1路4核處理器，內(nèi)存需求約16GB，網(wǎng)絡(luò)資源僅需1個千兆以太網(wǎng)卡即可滿足。

◆在SSD硬盤場景下，由于硬盤的I/O能力大幅提高，最大可以達到9000并發(fā)用戶數(shù)，所需的CPU資源相當于2路4核處理器，內(nèi)存需求約32GB，網(wǎng)絡(luò)資源僅需1個千兆以太網(wǎng)卡即可滿足。

（2）定制方案

通過測試結(jié)果分析，Web服務(wù)器對磁盤I/O和內(nèi)存有著較高要求，包括更大的磁盤I/O能力、較高的CPU能力和內(nèi)存容量等。在更大的用戶數(shù)資源需求場景下，應(yīng)考慮使用更大磁盤I/O能力的SSD硬盤或外掛磁盤陣列。

◆CPU要求

單節(jié)點采用單處理器，功率不超過90W，可選擇實配4核或6核。當用戶數(shù)超過4000時應(yīng)考慮采用雙處理器，實配4核或6核。

◆內(nèi)存要求

4個DDR3內(nèi)存插槽，根據(jù)業(yè)務(wù)實際需求可考慮實配1根16GB內(nèi)存條，當用戶數(shù)超過4000時應(yīng)考慮實配2根16GB內(nèi)存條，頻率1333MHz，要求支持ECC（Error Correcting Code，錯誤檢查和糾正）功能。

◆磁盤要求

配置2個3.5寸SATA硬盤或SAS硬盤，支持熱插拔，配置RAID卡，硬盤容量在300GB以上選擇能滿足實際業(yè)務(wù)需求，且價格最低的型號，轉(zhuǎn)速不低于10 000轉(zhuǎn)/秒。當用戶數(shù)超過4000時應(yīng)考慮選配2個SSD硬盤，以滿足更高的磁盤I/O需求。

◆網(wǎng)絡(luò)要求

板載2個千兆網(wǎng)卡，根據(jù)業(yè)務(wù)需求考慮配置為熱備模式。如需外掛磁盤陣列，應(yīng)考慮配置1個雙口8GB的HBA卡或增加至少1個千兆以太網(wǎng)卡。

◆其他要求

其他要求包括維護要求、電源要求、機箱要求和風扇要求等。

3.2 計算虛擬化型服務(wù)器定制過程

（1）測試結(jié)果分析

針對計算型服務(wù)器性能測試采用的方法是在不同負載情況下，評測各廠商解決方案在確保用戶體驗時能夠在同一物理資源池上承載的最大虛擬桌面數(shù)量。測試中使用的輕負載主要包括Word、Excel、PowerPoint操作、PDF文件閱讀、IE瀏覽等典型的辦公類應(yīng)用操作，重負載中增加了視頻播放操作，它們能夠代表虛擬桌面上運行的典型業(yè)務(wù)應(yīng)用。測試設(shè)備的主要配置是2路8核、主頻2.4GHz的CPU、128GB DDR4內(nèi)存、1個300GB容量的MLC（Multi-Level Cell，多層次分傭）企業(yè)級固態(tài)硬盤、2個萬兆網(wǎng)卡和2個千兆網(wǎng)卡的通用服務(wù)器。

如表3所示，在虛擬桌面數(shù)量達到300左右時，CPU利用率都非常高，接近或達到100%，這表明桌面虛擬化服務(wù)器需要大量的CPU處理資源，所以針對虛擬化應(yīng)用的定制化服務(wù)器需要配置高性能CPU。由于虛擬機配置的內(nèi)存總和低于服務(wù)器總內(nèi)存容量，因此物理內(nèi)存資源尚未耗盡。虛擬機鏡像文件放置于獨立磁盤陣列上，本地磁盤沒有較大的I/O需求，僅需運行虛擬主機軟件，因此服務(wù)器磁盤活動總體較少，大部分服務(wù)器的磁盤讀寫速率不超過12MB/s，遠未達到磁盤理論讀寫速率，磁盤不帶緩存最大的讀寫速率約為100MB/s。另外，在虛擬桌面數(shù)量增加時，網(wǎng)絡(luò)有較大的I/O需求。

如表4所示，虛擬機數(shù)量和CPU利用率近似呈線性關(guān)系，當運行的虛擬機數(shù)量減少時，將會直接降低對CPU的使用。同時，網(wǎng)絡(luò)吞吐量和磁盤讀寫速率也會相應(yīng)降低，但內(nèi)存占用率不會隨著虛擬機數(shù)量的減少而減少。

（2）定制方案

通過測試分析，計算型虛擬化應(yīng)用對服務(wù)器的CPU資源、內(nèi)存資源和網(wǎng)絡(luò)資源有著較大的要求，同時要求支持相關(guān)硬件虛擬化技術(shù)。而由于大多數(shù)資源池均外掛網(wǎng)絡(luò)存儲，本地磁盤則基本不需要。然而，由于資源池將在具體應(yīng)用中承載多種類型的虛擬機業(yè)務(wù)，其資源需求特征也會隨著具體業(yè)務(wù)部署而有所不同，因此基于業(yè)務(wù)承載的不確定性且可在資源池內(nèi)進行彈性調(diào)度的主要特征，定制計算虛擬化型服務(wù)器，并預(yù)留較高的可擴展性。

◆CPU要求

單節(jié)點采用雙處理器，功率不超過100W，可選擇實配8核，要求支持硬件輔助虛擬化。

◆內(nèi)存要求

不少于8個DDR3內(nèi)存插槽，根據(jù)業(yè)務(wù)實際需求可考慮實配8根16GB內(nèi)存條，頻率1333MHz，要求支持ECC功能、多通道對稱設(shè)計。

◆磁盤要求

預(yù)留至少1個硬盤插槽，但可考慮不實配硬盤，而配置1個USB芯片（U盤）或SD卡（16GB或32GB），不要RAID。

◆網(wǎng)絡(luò)要求

配置2個千兆網(wǎng)卡和2個萬兆網(wǎng)卡，要求萬兆網(wǎng)口支持VMDQ（Virtual Machine Device Queue，虛擬設(shè)備隊列）技術(shù)，并根據(jù)業(yè)務(wù)需求考慮配置為熱備模式。如需外掛磁盤陣列，應(yīng)考慮配置1個雙口8GB的HBA卡或增加至少1個千兆以太網(wǎng)卡。若不配置萬兆網(wǎng)卡，則至少應(yīng)配置6個千兆網(wǎng)卡。

◆其他要求

其他要求包括主板要求、維護要求、電源要求、機箱要求和風扇要求等。

3.3 分布式存儲型服務(wù)器定制過程

（1）測試結(jié)果分析

針對分布式存儲服務(wù)器，采用FIO測試工具記錄系統(tǒng)進行讀寫操作時，系統(tǒng)資源的使用情況包括CPU利用率、內(nèi)存利用率、磁盤速率、網(wǎng)絡(luò)吞吐量等。FIO做所有盤測試，測試數(shù)據(jù)包大小分別為4kB、64kB、256kB的隨機混合讀寫的IOPS（Input/Output Operations Per Second，每秒進行讀寫操作的次數(shù)）及帶寬，數(shù)據(jù)包大小為1024kB大數(shù)據(jù)塊的順序讀寫的IOPS及帶寬。另外，測試要求在無文件系統(tǒng)的裸盤上進行，并要求延遲滿足不大于100ms。

如表5所示，測試設(shè)備的主要配置是2路6核、主頻2.4GHz的CPU、64GB DDR4內(nèi)存、12個4TB容量、7200轉(zhuǎn)速的SATA硬盤、2個萬兆網(wǎng)卡和2個千兆網(wǎng)卡的通用服務(wù)器。在各類型的數(shù)據(jù)包中，混合讀寫操作和順序讀寫操作的CPU利用率普遍在10%以下。對于內(nèi)存利用率來說，混合讀寫和順序讀寫操作任務(wù)消耗的內(nèi)存資源在50%以下，因此不是特別消耗內(nèi)存資源。大數(shù)據(jù)包讀寫操作的網(wǎng)絡(luò)吞吐量達到6Gbps，網(wǎng)絡(luò)吞吐量成為制約分布式存儲應(yīng)用服務(wù)器性能的一個瓶頸。

（2）定制方案

通過測試數(shù)據(jù)分析，在分布式存儲應(yīng)用環(huán)境下，基于存儲集群的特征，對存儲容量和網(wǎng)絡(luò)有非常高的要求，而對CPU資源、內(nèi)存資源則沒有特別高的要求。然而，由于分布式存儲將在具體應(yīng)用中承載多種類型的數(shù)據(jù)存儲業(yè)務(wù)，甚至可能包括部分數(shù)據(jù)分析、分類業(yè)務(wù)，其資源需求特征也會隨著具體業(yè)務(wù)部署而有所不同，因此考慮借鑒業(yè)界在搜索引擎業(yè)務(wù)、互聯(lián)網(wǎng)海量圖片數(shù)據(jù)存儲等分布式集群的部署經(jīng)驗，定制分布式存儲型服務(wù)器，并預(yù)留較高的可擴展性。

◆CPU要求

單節(jié)點采用雙處理器，功率不超過100W，可選擇實配4核或6核。

◆內(nèi)存要求

不少于8個DDR3內(nèi)存插槽，根據(jù)業(yè)務(wù)實際需求可考慮實配4根16GB內(nèi)存條，頻率1333MHz。在承載數(shù)據(jù)處理業(yè)務(wù)場景下，可考慮選擇支持ECC功能，要求支持多通道對稱設(shè)計。

◆磁盤要求

單節(jié)點不少于12塊3.5寸或24塊2.5寸SAS/SATA磁盤，通常可不支持熱插拔；在承載數(shù)據(jù)處理業(yè)務(wù)且對數(shù)據(jù)有較高可靠性要求場景下，可考慮支持熱插拔。通?？刹慌渲肦AID卡。

◆網(wǎng)絡(luò)要求

至少配置4個千兆網(wǎng)卡，并根據(jù)業(yè)務(wù)需求考慮配置為熱備模式。如考慮配置萬兆網(wǎng)卡，可配置2個千兆網(wǎng)卡和2個萬兆網(wǎng)卡，并根據(jù)業(yè)務(wù)需求考慮配置為熱備模式。

◆其他要求

其他要求包括主板要求、維護要求、電源要求、機箱要求和風扇要求等。

4 結(jié)束語

本文通過對3種不同業(yè)務(wù)應(yīng)用場景下定制化服務(wù)器的性能進行測試和分析，得出了針對不同應(yīng)用場景下的定制化服務(wù)器的配置方案。隨著業(yè)務(wù)規(guī)模的發(fā)展，電信運營商可以借鑒行業(yè)的經(jīng)驗和已有量產(chǎn)化服務(wù)器進行更強針對性的定制，在云資源池建設(shè)中，分布式存儲應(yīng)用等應(yīng)用場合大規(guī)模使用定制化服務(wù)器，以實現(xiàn)降本增效。

參考文獻：

[1] 沈玲，趙學(xué)健，孫知信. 基于云計算業(yè)務(wù)應(yīng)用的定制化服務(wù)器性能研究[J]. 南京郵電大學(xué)學(xué)報： 自然科學(xué)版， 2014（6）： 85-89.

[2] 中國電信集團公司. 中國電服務(wù)器定制技術(shù)要求[Z]. 2015.

[3] 劉沅. 定制化服務(wù)器在互聯(lián)網(wǎng)行業(yè)的應(yīng)用[J]. 微電腦世界， 2012（7）： 101.

[4] 童曉渝，張云勇，房秉毅，等. 大數(shù)據(jù)時代電信運營商的機遇[J]. 信息通信技術(shù)， 2013（1）： 5-9.

[5] 潘泓. 基于虛擬機的代碼保護技術(shù)研究[J]. 計算機應(yīng)用研究， 2013（12）： 209-212.

[6] 中國電信集團公司. IaaS服務(wù)器硬件技術(shù)規(guī)范[Z]. 2012.

[7] 劉繼華，陳策. 軟件測試技術(shù)的研究進展[J]. 微計算機信息， 2012（10）： 494-496.

[8] 徐小龍，吳家興，程春玲，等. 基于大規(guī)模廉價計算平臺的海量數(shù)據(jù)處理系統(tǒng)的研究[J]. 計算機應(yīng)用研究， 2012（2）： 582-585.

[9] 黃植勤，李先緒，邱紅飛. PC服務(wù)器能效測量研究與應(yīng)用實踐[J]. 電信科學(xué)， 2011（11）： 111-118.

[10] 尹國定，衛(wèi)紅. 云計算——實現(xiàn)概念計算的方法[J]. 東南大學(xué)學(xué)報： 自然科學(xué)版， 2003（4）： 502-506.★