Xen虛擬機(jī)存儲(chǔ)方式I/O性能研究

王星魁，彭新光，郝 瑞

(太原理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原030024)

虛擬化技術(shù)至今已有40多年的歷史，它起源于對(duì)分時(shí)系統(tǒng)的要求。早期的操作系統(tǒng)只能處理單個(gè)任務(wù)，為了能夠同時(shí)處理多個(gè)任務(wù)，提出了分時(shí)系統(tǒng)的概念，而分時(shí)系統(tǒng)的最早解決方案就是虛擬化技術(shù)。IBM最早發(fā)明了操作系統(tǒng)虛擬化技術(shù)，允許用戶在一臺(tái)主機(jī)上運(yùn)行多個(gè)操作系統(tǒng)，讓用戶盡可能充分地利用昂貴的大型機(jī)資源，并且相互之間不會(huì)產(chǎn)生任何干擾。隨著互聯(lián)網(wǎng)的發(fā)展，新興的虛擬機(jī)應(yīng)用不斷涌現(xiàn)，使虛擬化技術(shù)成為當(dāng)前比較熱的一個(gè)研究領(lǐng)域，出現(xiàn)了許多較為成熟的虛擬機(jī)或模擬器技術(shù)和產(chǎn)品，如Xen，VMware和Qemu，而存儲(chǔ)虛擬化則是實(shí)現(xiàn)它們的一個(gè)很重要的方面。

這里的存儲(chǔ)虛擬化特指虛擬機(jī)中的虛擬存儲(chǔ)設(shè)備，它與傳統(tǒng)意義上存儲(chǔ)設(shè)備所要實(shí)現(xiàn)的目標(biāo)是一致的，需要簡(jiǎn)化存儲(chǔ)管理系統(tǒng)，提高存儲(chǔ)利用率和性能，增強(qiáng)存儲(chǔ)數(shù)據(jù)的安全性。筆者著重研究在Xen虛擬機(jī)上不同虛擬存儲(chǔ)方式的I/O性能，分析比較使用不同的存儲(chǔ)方式對(duì)虛擬機(jī)的虛擬磁盤(pán)讀寫(xiě)速度的影響，從理論和實(shí)驗(yàn)兩方面說(shuō)明了使用虛擬磁盤(pán)鏡像存儲(chǔ)方式和塊設(shè)備存儲(chǔ)方式作為虛擬存儲(chǔ)設(shè)備在性能和功能上的差異。

1 Xen虛擬機(jī)簡(jiǎn)介

Xen是劍橋大學(xué)開(kāi)發(fā)的開(kāi)源的虛擬機(jī)，目前已在學(xué)術(shù)界和工業(yè)界得到廣泛支持。初期的Xen是一款準(zhǔn)虛擬化虛擬機(jī)，需要對(duì)運(yùn)行在虛擬機(jī)上的操作系統(tǒng)進(jìn)行修改。測(cè)試表明，Xen中虛擬機(jī)的性能和物理機(jī)器性能相差在3%左右。在Xen 3.0版本中，基于Intel的VT-x和AMD的AMD-V技術(shù)等硬件對(duì)虛擬化的支持，實(shí)現(xiàn)了對(duì)全虛擬化的支持，極大提高了Xen的兼容性。

Xen的基本原理為：Xen虛擬化技術(shù)在服務(wù)器硬件和操作系統(tǒng)中間實(shí)現(xiàn)了一個(gè)被稱為Xen Hypervisor的輕量級(jí)軟件層，為在它上面運(yùn)行的操作系統(tǒng)內(nèi)核提供了虛擬化的硬件環(huán)境。Xen采用混合模式，因此在Xen上的眾多Domain中存在一個(gè)特權(quán)域(Domain 0)用來(lái)輔助Xen管理其他Domain，提供相應(yīng)的虛擬資源服務(wù)，特別是其他Domain對(duì)I/O設(shè)備的訪問(wèn)。這樣，系統(tǒng)的實(shí)現(xiàn)機(jī)制和控制機(jī)制就會(huì)完全分離，同時(shí)也會(huì)提高設(shè)計(jì)和開(kāi)發(fā)的高效性。

2 Xen存儲(chǔ)虛擬化

新存儲(chǔ)實(shí)體對(duì)原存儲(chǔ)實(shí)體的存儲(chǔ)資源和存儲(chǔ)管理進(jìn)行變化和轉(zhuǎn)換的過(guò)程稱為存儲(chǔ)虛擬化，存儲(chǔ)資源包括存儲(chǔ)的讀寫(xiě)方式、連接方式、存儲(chǔ)的規(guī)格或結(jié)構(gòu)等，而存儲(chǔ)管理包括統(tǒng)一管理、分散管理、性能動(dòng)態(tài)調(diào)整管理等。從虛擬機(jī)的角度來(lái)看操作的是虛擬設(shè)備，而不必關(guān)心真正的物理設(shè)備是什么。虛擬機(jī)對(duì)虛擬存儲(chǔ)設(shè)備的訪問(wèn)最終經(jīng)過(guò)虛擬機(jī)監(jiān)視器(virtual machine monitor，VMM)映射到實(shí)際的物理存儲(chǔ)設(shè)備上，通常都是虛擬機(jī)把輸入/輸出請(qǐng)求發(fā)送給VMM，由VMM直接與實(shí)際的存儲(chǔ)設(shè)備驅(qū)動(dòng)打交道。例如，在Xen中，Guest OS都是通過(guò)前端驅(qū)動(dòng)與Domain 0上的后端驅(qū)動(dòng)通信，讀寫(xiě)虛擬存儲(chǔ)設(shè)備。虛擬存儲(chǔ)設(shè)備由Domain 0負(fù)責(zé)創(chuàng)建和賦給其他Domain。Xen虛擬機(jī)對(duì)虛擬塊設(shè)備的訪問(wèn)如圖1所示。

圖1 Xen虛擬機(jī)對(duì)虛擬塊設(shè)備的訪問(wèn)

為虛擬機(jī)提供的虛擬存儲(chǔ)設(shè)備可以有以下幾種方式：物理硬盤(pán)或其分區(qū)，包括iSCSI磁盤(pán)或GNBD卷;網(wǎng)絡(luò)存儲(chǔ)協(xié)議，包括NFS等網(wǎng)絡(luò)或并行文件系統(tǒng);基于邏輯卷(logical volumn manager，LVM);基于文件的虛擬存儲(chǔ)設(shè)備，也稱為虛擬磁盤(pán)鏡像(virtual disk image)。筆者重點(diǎn)討論的是虛擬磁盤(pán)鏡像存儲(chǔ)方式與物理硬盤(pán)存儲(chǔ)方式的I/O性能比較。

2.1 虛擬磁盤(pán)鏡像存儲(chǔ)方式

這種方式的優(yōu)點(diǎn)是配置靈活，而且要啟動(dòng)一個(gè)虛擬機(jī)必須要有一定形式的虛擬磁盤(pán)鏡像文件。在Xen 3.0.3版本以前就可以由loopback驅(qū)動(dòng)配置．img鏡像文件作為虛擬機(jī)的塊設(shè)備，在Xen 3.0.3版本之后加入了blktap驅(qū)動(dòng)模塊，加強(qiáng)了對(duì)這方面的支持，其他的鏡像文件格式有VMware實(shí)現(xiàn)的．vmdk格式，微軟在其Virtual PC和Virtual Server中使用的．vhd格式(支持虛擬鏡像文件大小的動(dòng)態(tài)伸縮)等。

2.2 物理硬盤(pán)存儲(chǔ)方式

這種方式的優(yōu)點(diǎn)是簡(jiǎn)單，可以直接將虛擬機(jī)的硬盤(pán)設(shè)置為某個(gè)硬盤(pán)或分區(qū)，不需要再在硬盤(pán)分區(qū)上另組織成別的形式。

3 性能評(píng)估

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)機(jī)器配置如下。CPU：Intel core i5-3450 3.1 G;內(nèi)存：4 G;硬盤(pán)：500 G。操作系統(tǒng)是 CentOs 4.5，內(nèi)核為編譯過(guò)的2.6.16.29-xen0-hosting-3.0.1，Xen的版本為3.0.1。I/O測(cè)試軟件：Iozone。

Iozone測(cè)試了向磁盤(pán)讀/寫(xiě)文件的能力，測(cè)試在Xen虛擬機(jī)上進(jìn)行，由于虛擬機(jī)內(nèi)存已被預(yù)設(shè)為128 M，而測(cè)試生成文件大小分別為512 M，1 024 M及2 048 M，因此可以排除CPU Cache和內(nèi)存Buffer Cache的影響，認(rèn)為測(cè)試結(jié)果真實(shí)地反應(yīng)出了磁盤(pán)I/O的極限性能。

3.2 對(duì)不同的存儲(chǔ)方式測(cè)試比較

為了方便比較，分別測(cè)試了三種情形的Xen虛擬機(jī)的讀/寫(xiě)性能：

1)利用磁盤(pán)分區(qū)作為Xen虛擬機(jī)文件系統(tǒng);2)利用img鏡像作為Xen虛擬機(jī)文件系統(tǒng);3)在兩個(gè)Xen虛擬機(jī)(采用磁盤(pán)分區(qū)作為文件系統(tǒng))上同時(shí)運(yùn)行Iozone，記錄其中某個(gè)虛擬機(jī)的I/O數(shù)據(jù)，本測(cè)試用來(lái)模擬多個(gè)虛擬機(jī)運(yùn)行時(shí)的磁盤(pán)I/O性能。

實(shí)驗(yàn)一：Iozone的writer測(cè)試。

Writer測(cè)試的是向磁盤(pán)寫(xiě)入文件的能力。對(duì)比圖2-a和圖2-b后可以看出，利用disk作為文件系統(tǒng)的磁盤(pán)寫(xiě)速度總的來(lái)說(shuō)要明顯優(yōu)于用img鏡像作為文件系統(tǒng)的寫(xiě)速度。前者的平均寫(xiě)速度為54.3 MB/s，后者的平均寫(xiě)速度為50.7 MB/s。而當(dāng)測(cè)試文件大小為2 G時(shí)，disk的寫(xiě)速度為50.7 MB/s，img的寫(xiě)速度為38.1 MB/s，說(shuō)明在處理大文件時(shí)，利用磁盤(pán)分區(qū)作為Xen虛擬機(jī)的文件系統(tǒng)具有較大的優(yōu)勢(shì)(與物理機(jī)的寫(xiě)速度基本一致)。相對(duì)前兩者而言，從圖2-c可以看出，當(dāng)兩個(gè)虛擬機(jī)同時(shí)處于較大的I/O壓力下，虛擬機(jī)的寫(xiě)速度明顯降低，平均寫(xiě)速度約為22.6 MB/s。

實(shí)驗(yàn)二：Iozone的re-writer測(cè)試。

Re-writer測(cè)試的是向磁盤(pán)寫(xiě)入一個(gè)已經(jīng)存在的文件的能力，也就是說(shuō)磁盤(pán)已經(jīng)存在了該文件的一些信息，因此一般說(shuō)來(lái)，re-writer測(cè)試的速度要略高于writer(寫(xiě)入一個(gè)新文件)測(cè)試的速度。對(duì)比圖3-a和圖3-b可以發(fā)現(xiàn)，與writer測(cè)試類(lèi)似，利用磁盤(pán)分區(qū)作為文件系統(tǒng)的虛擬機(jī)磁盤(pán)的re-writer速度要明顯快于利用img鏡像作為文件系統(tǒng)的re-writer速度。前者平均re-writer速度為51.4 MB/s，后者平均re-writer速度為33.8MB/s。而當(dāng)測(cè)試大小為2 G，record大小為256 kB時(shí)，img的re-writer速度只有26.7 MB/s，因此可以認(rèn)為，利用磁盤(pán)分區(qū)作為虛擬機(jī)文件系統(tǒng)在re-writer性能方面比用img鏡像作為文件系統(tǒng)要穩(wěn)定得多，而且速度也更快，很接近物理機(jī)的re-writer速度。

從圖3-c可以看出，在兩個(gè)虛擬機(jī)同時(shí)運(yùn)行Io-zone的情況下，其平均re-writer速度只有18.7MB/ s。

圖2 writer測(cè)試結(jié)果

圖3 Re-writer測(cè)試結(jié)果

實(shí)驗(yàn)三：Iozone的reader測(cè)試。

Reader測(cè)試的是磁盤(pán)讀取一個(gè)文件的能力。對(duì)比圖4-a和圖4-b可以發(fā)現(xiàn)，在reader方面，disk的性能遠(yuǎn)高于img的性能，前者平均讀取速度為58.9 MB/s，后者平均讀取速度為43.2 MB/s。從圖4-c中可以看出，當(dāng)兩個(gè)Xen虛擬機(jī)同時(shí)運(yùn)行Iozone時(shí)，平均reader速度只有4.3 MB/s。

實(shí)驗(yàn)四：Iozone的re-reader測(cè)試。

圖4 Reader測(cè)試結(jié)果

Re-reader測(cè)試的是磁盤(pán)讀取一個(gè)最近讀取過(guò)的文件的性能，一般來(lái)說(shuō)，系統(tǒng)會(huì)將最近讀取過(guò)的文件信息保留在buffer一段時(shí)間，因此re-reader速度一般略高于reader速度。對(duì)比圖5-a和圖5-b，disk的rereader速度明顯高于img的re-reader速度，前者平均值為59.1 MB/s，后者平均值為53.6 MB/s。

從圖5-c中可以看出，當(dāng)兩個(gè)虛擬機(jī)同時(shí)運(yùn)行Iozone時(shí)，re-reader平均速度只有4.5 MB/s。

圖5 Re-reader測(cè)試結(jié)果

3.3 結(jié)果分析

通過(guò)以上四次對(duì)數(shù)據(jù)的讀寫(xiě)測(cè)試發(fā)現(xiàn)，用磁盤(pán)分區(qū)作為文件系統(tǒng)的I/O性能總體上要好于虛擬磁盤(pán)鏡像作為文件系統(tǒng)的I/O性能。其原因在于虛擬磁盤(pán)鏡像在Domain 0當(dāng)中是作為回環(huán)設(shè)備存在的，可以在虛擬磁盤(pán)鏡像里創(chuàng)建不同于host的文件系統(tǒng)，這當(dāng)中就需要進(jìn)行文件類(lèi)型的轉(zhuǎn)換，而這個(gè)轉(zhuǎn)換就帶來(lái)了虛擬磁盤(pán)鏡像與分區(qū)之間性能的差異。雖然用磁盤(pán)分區(qū)作為文件系統(tǒng)的I/O性能好，但這種方式不夠靈活，不能夠隨著虛擬機(jī)的需要?jiǎng)討B(tài)地改變存儲(chǔ)空間容量大小，也僅僅適合單機(jī)環(huán)境，不能夠滿足大規(guī)模系統(tǒng)中設(shè)備共享的要求。

4 結(jié)束語(yǔ)

在Xen虛擬機(jī)上對(duì)虛擬磁盤(pán)鏡像存儲(chǔ)方式與物理硬盤(pán)存儲(chǔ)方式的I/O性能進(jìn)行了研究比較，發(fā)現(xiàn)使用磁盤(pán)分區(qū)作為文件系統(tǒng)的I/O性能總體上要好于虛擬磁盤(pán)鏡像作為文件系統(tǒng)的I/O性能。但是磁盤(pán)鏡像這種方式的配置靈活性要優(yōu)于物理硬盤(pán)存儲(chǔ)方式的配置靈活性。在VMM存儲(chǔ)虛擬化技術(shù)中還有一種存儲(chǔ)方式是基于邏輯卷的存儲(chǔ)方式，這種方式具有以上兩種方式的優(yōu)點(diǎn)，可以動(dòng)態(tài)地增減容量的大小，支持snapshot、條帶化提高I/O并行性能等屬性，也可以很方便地進(jìn)行copy-on-write等操作，更適合大規(guī)模的分布式環(huán)境中。

［1］ 湯泉，李小勇．文件支持的Xen存儲(chǔ)虛擬化研究［J］．計(jì)算機(jī)工程與應(yīng)用，2009，45(16)：77-79．

［2］ 付賽平，任國(guó)林．XEN網(wǎng)絡(luò)I/O完全虛擬化機(jī)制的可擴(kuò)展性研究［J］．計(jì)算機(jī)工程，2008，34(23)：102-104．

［3］ 楊宗博，郭玉東．提高存儲(chǔ)資源利用率的存儲(chǔ)虛擬化技術(shù)研究［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2008，29(12)：3224-3226．

［4］ 石磊，鄒德清，金海．Xen虛擬化技術(shù)［M］．武漢：華中科技大學(xué)出版社，2009．

［5］ Xen 3.0 user manual．http：//www．cl．cam．a(chǎn)c．uk/research/srg/netos/xen/readmes/user．pdf．/2013-03．

［6］ 薛海峰，卿斯?jié)h，張煥國(guó)．XEN 虛擬機(jī)分析［J］．系統(tǒng)仿真學(xué)報(bào)，2007，19(23)：5556-5558．

［7］ Roger W．Future hard disk drive systems［J］．Journal of Magnetism and Magnetic Materials，2009，321(6)：551-561．

［8］ Rao Jia，Bu Xiangping，Xu Chengzhong，et al．VCONF： a Reinforcement Learning Approach to Virtual Machine Auto Configuration［C］∥ICAC’09 Proceedings of the 6th International Conference on Autonomic Computing，2009：137-146．