對(duì)客票系統(tǒng)運(yùn)用存儲(chǔ)虛擬化技術(shù)的研究

李雁明，劉相坤，李 琪，武振華

（1.中國鐵道科學(xué)研究院，北京 100081；2.中國鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081 ）

對(duì)客票系統(tǒng)運(yùn)用存儲(chǔ)虛擬化技術(shù)的研究

李雁明1，劉相坤2，李 琪2，武振華2

（1.中國鐵道科學(xué)研究院，北京 100081；2.中國鐵道科學(xué)研究院 電子計(jì)算技術(shù)研究所，北京 100081 ）

結(jié)合鐵路客票系統(tǒng)當(dāng)前的存儲(chǔ)狀態(tài)，介紹虛擬化存儲(chǔ)技術(shù)。通過與傳統(tǒng)存儲(chǔ)的對(duì)比，發(fā)現(xiàn)在性能方面兩者差距不大，但在靈活性、擴(kuò)展性、高效性和管理便捷性上，虛擬化存儲(chǔ)遠(yuǎn)超傳統(tǒng)存儲(chǔ)，而且虛擬化存儲(chǔ)還有良好的經(jīng)濟(jì)效益。

客票系統(tǒng)；虛擬化；存儲(chǔ)

中國鐵路客票發(fā)售和預(yù)訂系統(tǒng)（簡稱：客票系統(tǒng)）自1996年開始建設(shè)，經(jīng)過多年的發(fā)展，已建成覆蓋全國的超大型售票網(wǎng)絡(luò)，實(shí)現(xiàn)了全國聯(lián)網(wǎng)售票，給旅客的出行帶來極大的方便。

為了進(jìn)一步提高客票系統(tǒng)的穩(wěn)定性和高可用性，需要把更多新理念、新技術(shù)注入網(wǎng)站中，而虛擬化技術(shù)就是其中一項(xiàng)。隨著虛擬化技術(shù)的日趨成熟，客票系統(tǒng)對(duì)虛擬化技術(shù)的應(yīng)用也越來越深入?？推毕到y(tǒng)已經(jīng)完成了服務(wù)器虛擬化，服務(wù)器虛擬化使得系統(tǒng)具有聚合、靈活、高效和彈性擴(kuò)展的特點(diǎn)。隨著業(yè)務(wù)量的上漲，存儲(chǔ)的容量也在不斷增大，傳統(tǒng)存儲(chǔ)在維護(hù)管理和擴(kuò)展性方面都已達(dá)到瓶頸期，必須考慮新的存儲(chǔ)方式，而存儲(chǔ)虛擬化就是解決以上問題的一種方式。

1 客票系統(tǒng)面臨的存儲(chǔ)問題及解決思路

1.1 存儲(chǔ)問題

1.1.1 存儲(chǔ)設(shè)備的管理問題

隨著互聯(lián)網(wǎng)售票占全路售票比例的不斷上升，業(yè)務(wù)規(guī)模和種類不斷擴(kuò)大，運(yùn)維人員逐漸感受到服務(wù)器虛擬化帶來的便利和高效，但僵化的傳統(tǒng)外置磁盤陣列逐漸成為提高管理水平和效率的瓶頸，數(shù)據(jù)中心的運(yùn)維人員需要同時(shí)管理服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)等硬件，還要管理數(shù)據(jù)庫、操作系統(tǒng)、虛擬化和云管理平臺(tái)，所以存儲(chǔ)設(shè)備的管理是一個(gè)不容忽視的問題。

1.1.2 存儲(chǔ)設(shè)備使用的高效性問題

每當(dāng)新業(yè)務(wù)需要存儲(chǔ)空間時(shí)，存儲(chǔ)管理的人員必須詳細(xì)了解存儲(chǔ)空間使用方和所需邏輯卷的空間、性能、可用性等數(shù)據(jù)服務(wù)的需求。導(dǎo)致存儲(chǔ)無法做到像虛擬服務(wù)器快速高效分配計(jì)算資源一樣去分配存儲(chǔ)資源。整個(gè)數(shù)據(jù)中心運(yùn)維的敏捷性、靈活性都因此受限。

1.1.3 單個(gè)存儲(chǔ)的性能問題和高成本問題

采用傳統(tǒng)外置磁盤陣列，將單個(gè)存儲(chǔ)的功能與性能綁定在某個(gè)具體存儲(chǔ)硬件上，并不能滿足所有的應(yīng)用要求，導(dǎo)致成本居高不下，造成嚴(yán)重浪費(fèi)。

1.1.4 集中存儲(chǔ)的擴(kuò)展性問題

如果為不同的應(yīng)用配置不同的集中存儲(chǔ)，將會(huì)造成大量分散的集中存儲(chǔ)，造成管理的困難，而且集中存儲(chǔ)存在擴(kuò)展性問題，存儲(chǔ)容量無法隨服務(wù)器計(jì)算能力的擴(kuò)展實(shí)現(xiàn)存儲(chǔ)容量的水平擴(kuò)展。同時(shí)，集中存儲(chǔ)在擴(kuò)容的時(shí)候可能面臨被存儲(chǔ)硬件廠商綁架，從而喪失議價(jià)能力的問題。

1.2 解決思路

存儲(chǔ)虛擬化最通俗的理解就是對(duì)存儲(chǔ)硬件資源進(jìn)行抽象化表現(xiàn)。通過將一個(gè)或多個(gè)目標(biāo)（Target）服務(wù)或功能與其它附加的功能集成，統(tǒng)一提供有用的全面功能服務(wù)。存儲(chǔ)虛擬化是一種貫穿于整個(gè)IT環(huán)境、用于簡化本來可能會(huì)相對(duì)復(fù)雜的底層基礎(chǔ)架構(gòu)的技術(shù)。存儲(chǔ)虛擬化的思想是將資源的邏輯映像與物理存儲(chǔ)分開，從而為系統(tǒng)和管理員提供一個(gè)簡化和無縫的資源虛擬視圖。

VMware VSAN 是針對(duì)服務(wù)器本地存儲(chǔ)進(jìn)行優(yōu)化的一種方式，它與虛擬服務(wù)器都運(yùn)行在 VMware vSphere 虛擬化環(huán)境中，兩者可以有機(jī)地統(tǒng)一起來。VSAN為vSphere虛擬化架構(gòu)提供高性能、可擴(kuò)展的存儲(chǔ)解決方案。

2 虛擬化存儲(chǔ)VSAN和傳統(tǒng)存儲(chǔ)EMC的對(duì)比

為了進(jìn)一步了解VSAN的功能和I/O（Input/ Output）性能，將VSAN與EMC集中式共享存儲(chǔ)進(jìn)行對(duì)比測(cè)試。本次對(duì)比測(cè)試計(jì)算節(jié)點(diǎn)由5臺(tái)IBM3850（CPU：2.67 GHz,內(nèi)存：512 GB）組成，基于10 GB網(wǎng)絡(luò)測(cè)試環(huán)境，分別掛載遠(yuǎn)端EMC共享存儲(chǔ)（Vplex,VMAX20K）和VSAN分布式存儲(chǔ)，形成兩個(gè)測(cè)試環(huán)境。為達(dá)到測(cè)試目的，本次測(cè)試通過模擬業(yè)務(wù)環(huán)境中的文件傳輸,數(shù)據(jù)庫加載數(shù)據(jù)，完成VSAN存儲(chǔ)的性能測(cè)試。

此次測(cè)試，使用5臺(tái)服務(wù)器組成1個(gè)VSAN集群，每臺(tái)主機(jī)創(chuàng)建1個(gè)磁盤組，每個(gè)磁盤組配置1塊1.2 T的固態(tài)硬盤（SSD，Solid State Drives）和4塊600 G的機(jī)械硬盤（HDD，Hard Disk Drive），其中，3塊HDD用于VSAN磁盤組，ESXi安裝占用1塊HDD。采用vSphere分布式虛擬交換機(jī)，上聯(lián)2塊萬兆網(wǎng)卡用于VSAN測(cè)試；采用標(biāo)準(zhǔn)虛擬交換機(jī)，上聯(lián)2塊千兆網(wǎng)卡用于管理，保留原有2塊HBA（Host Bus Adapter）卡掛載EMC共享存儲(chǔ)。

2.1 I/O性能測(cè)試

使用IOmeter測(cè)試工具和虛擬機(jī)測(cè)試VSAN和EMC共享存儲(chǔ)的I/O性能。

IOmeter測(cè)試工具和虛擬機(jī)主要用于收集VSAN和EMC共享存儲(chǔ)的IOPS（Input/Output Operations Per Second）數(shù)據(jù)。每臺(tái)虛擬機(jī)包含1個(gè)40 GB的vDisk和8個(gè)10 GB的vDisk，設(shè)置不同數(shù)據(jù)塊大小，不同讀寫比例，測(cè)試IOPS、占用帶寬、響應(yīng)延遲及CPU利用率等數(shù)據(jù)。為提高虛擬機(jī)I/O性能，配置4塊準(zhǔn)虛擬卡，多塊虛擬磁盤。IOmeter測(cè)試工具新建多個(gè)工作組分別承載每塊虛擬磁盤，設(shè)置并發(fā)指令數(shù)為16，選擇不同數(shù)據(jù)塊大小，不同讀寫比例的策略，設(shè)置刷新頻率為最小以實(shí)時(shí)觀察I/O變化情況，設(shè)置測(cè)試時(shí)間為15 min，分別運(yùn)行在2個(gè)對(duì)比環(huán)境中，測(cè)試結(jié)果如表1所示。

表1 I/O性能測(cè)試表

最終測(cè)得VSAN和EMC共享存儲(chǔ)的最高IOPS分別約為10.8萬和11.9萬，VSAN的I/O性能已經(jīng)接近EMC高端共享存儲(chǔ)，約為其91%。

2.2 讀取文件性能測(cè)試

本次測(cè)試使用文件服務(wù)器虛擬機(jī)6臺(tái)，VSAN環(huán)境和FCSAN環(huán)境各3臺(tái)，每臺(tái)虛擬機(jī)包含1個(gè)100 GB的vDisk。

測(cè)試從VSAN環(huán)境讀文件的性能。在VSAN環(huán)境配置http文件服務(wù)器，在/var/www/html目錄下存放6個(gè)10 GB大小的文件，用于模擬影像文件，同時(shí)在EMC共享存儲(chǔ)環(huán)境新建配置18臺(tái)虛擬機(jī)客戶端，測(cè)試同時(shí)讀取6個(gè)10 GB文件的性能，模擬18個(gè)鐵路局（公司）同時(shí)從HTTP文件服務(wù)器訪問下載文件。

同樣的方法，測(cè)試從EMC共享存儲(chǔ)環(huán)境讀文件的性能。將VSAN環(huán)境中的HTTP文件服務(wù)器遷移至EMC共享存儲(chǔ)環(huán)境，同時(shí)將EMC共享存儲(chǔ)環(huán)境18臺(tái)虛擬機(jī)客戶端遷移至VSAN環(huán)境，測(cè)試同時(shí)讀取6個(gè)10 GB文件的性能，模擬18個(gè)鐵路局（公司）同時(shí)從HTTP文件服務(wù)器訪問下載文件。

HTTP在兩個(gè)環(huán)境的性能測(cè)試結(jié)果如表2所示。

表2 讀取文件性能測(cè)試表

最終測(cè)得，當(dāng)HTTP文件服務(wù)器在EMC共享存儲(chǔ)環(huán)境時(shí)，客戶端讀取文件量（6×10G×18）約為1 080 GB，耗時(shí)約18 min；當(dāng)HTTP文件服務(wù)器在VSAN存儲(chǔ)環(huán)境時(shí)，客戶端讀取文件量（6×10G×18）約為1 080 GB，耗時(shí)約18 min，由此可知，同樣大小的文件，傳輸耗時(shí)基本無差別。

2.3 數(shù)據(jù)庫載入數(shù)據(jù)測(cè)試

本次測(cè)試使用數(shù)據(jù)庫虛擬機(jī)共2臺(tái)，VSAN環(huán)境和FCSAN環(huán)境中各2臺(tái)，每臺(tái)虛擬機(jī)有1個(gè)100 GB的vDisk和3個(gè)460 GB的vDisk，共1 480 GB。

在兩個(gè)測(cè)試環(huán)境下配置的數(shù)據(jù)庫虛擬機(jī)，每個(gè)數(shù)據(jù)庫創(chuàng)建有3張表，分別測(cè)試每個(gè)環(huán)境下同時(shí)向3個(gè)數(shù)據(jù)庫插入各3 600萬條數(shù)據(jù)，驗(yàn)證載入數(shù)據(jù)能力，測(cè)試結(jié)果如表3所示。

表3 數(shù)據(jù)庫載入性能測(cè)試表

最終測(cè)得，在插入相同數(shù)量的數(shù)據(jù)過程中，VSAN平均耗時(shí)約為共享存儲(chǔ)耗時(shí)的1.27倍，VSAN的數(shù)據(jù)庫載入能力與EMC的高端存儲(chǔ)還有一定的差距。

通過以上3次測(cè)試，對(duì)比了EMCVMAX20K高端存儲(chǔ)和VSAN存儲(chǔ)的性能。在性能方面，分析IOmeter、訪問文件服務(wù)器和數(shù)據(jù)庫插入數(shù)據(jù)3個(gè)場(chǎng)景的測(cè)試結(jié)果，EMCVMAX20K高端存儲(chǔ)由于采用基于內(nèi)存智能緩沖技術(shù)的VPLEX產(chǎn)品，表現(xiàn)出了較好的性能，VSAN存儲(chǔ)僅利用SSD閃存和SASHHD持久盤架構(gòu)，性能表現(xiàn)雖不如EMCVMAX20K，但結(jié)果也比較好，尤其在4 K數(shù)據(jù)塊大小時(shí)，IOPS最高可達(dá)10萬多。經(jīng)分析，目前VSAN測(cè)試環(huán)境主要由于后端數(shù)據(jù)持久層SASHDD盤及RAID卡的性能抑制了整體VSAN存儲(chǔ)的讀寫速度，如果后端存儲(chǔ)同樣采用SSD閃存盤，將會(huì)大幅提升整體性能。

3 VSAN解決方案

3.1 方案概述

VSAN方案設(shè)計(jì)理念基于“軟件定義的存儲(chǔ)”思想?！败浖x的存儲(chǔ)”可對(duì)存儲(chǔ)資源進(jìn)行抽象化處理，以支持存儲(chǔ)的池化、復(fù)制和按需分發(fā)。這使存儲(chǔ)層與虛擬化計(jì)算層非常相似：都具有聚合、靈活、高效和彈性擴(kuò)展的特點(diǎn)。它們的優(yōu)勢(shì)也如出一轍：全面降低了存儲(chǔ)基礎(chǔ)架構(gòu)的成本和復(fù)雜性。

Virtual SAN利用多個(gè)服務(wù)器的本地存儲(chǔ)構(gòu)建成1個(gè)共享的分布式數(shù)據(jù)存儲(chǔ)（datastore）。這個(gè)數(shù)據(jù)存儲(chǔ)的容量由組成Virtual SAN群集的多個(gè)主機(jī)里面的磁盤組匯集而成。這些主機(jī)可以是vSphere群集的1個(gè)子集。Virtual SAN數(shù)據(jù)存儲(chǔ)的總?cè)萘烤褪荲irtual SAN群集主機(jī)里HDD磁盤的容量之和。

運(yùn)行Virtual SAN的每個(gè)服務(wù)器節(jié)點(diǎn)可支持 5 個(gè)磁盤組。每個(gè)磁盤組有1～7 個(gè)HDD磁盤，但必須有1個(gè) SSD用于緩存層。SSD充當(dāng)分布式讀寫緩存，并不用于永久保存數(shù)據(jù)。每個(gè)磁盤組只支持1個(gè)SDD，70%的SSD 容量用于緩存讀取，其余30%用于寫入?？梢栽谌∠虼疟P暫存之前，在2個(gè)或2個(gè)以上節(jié)點(diǎn)之間鏡像緩存寫入來對(duì)該緩存寫入進(jìn)行保護(hù)。也可以使用多節(jié)點(diǎn)鏡像來防止發(fā)生磁盤故障和節(jié)點(diǎn)故障,如圖1所示。

圖1 VSAN存儲(chǔ)結(jié)構(gòu)圖

3.2 環(huán)境要求

3.2.1 計(jì)算資源要求

1個(gè)Virtual SAN至少需要3臺(tái)vSphere主機(jī)（其中每臺(tái)主機(jī)均具有本地存儲(chǔ)）以形成受支持的Virtual SAN集群。這樣，集群才能達(dá)到至少允許1臺(tái)主機(jī)、磁盤或網(wǎng)絡(luò)發(fā)生故障的最低可用性要求。

3.2.2 網(wǎng)絡(luò)要求

VSAN架構(gòu)，要求每臺(tái)vSphere主機(jī)必須至少具有1個(gè)1 GB或10 GB的網(wǎng)卡（NIC）。在每臺(tái)vSphere主機(jī)上，必須創(chuàng)建用于Virtual SAN通信的VMkernel端口。當(dāng)集群中的1臺(tái)vSphere主機(jī)擁有特定虛擬機(jī)時(shí)，此端口將用于集群間的節(jié)點(diǎn)通信，也用于讀寫操作。

3.2.3 存儲(chǔ)要求

Virtual SAN集群中的每臺(tái)vSphere主機(jī)均必須至少有1個(gè)全新的SSD 和1個(gè)全新的SAS/SATA/ PCI-e磁盤驅(qū)動(dòng)器。SSD充當(dāng)分布式讀寫緩存，并不用于永久保存數(shù)據(jù)。推薦的Virtual SAN的用于緩存SD容量是VSAN存儲(chǔ)總?cè)萘康?0%。

3.3 方案特點(diǎn)

（1）VSAN是使用服務(wù)器的直連存儲(chǔ)，它并不需要專用的網(wǎng)卡和芯片，所使用的服務(wù)器、硬盤以及網(wǎng)絡(luò)都是通用的硬件。

（2）VSAN是分布式的集群。它在網(wǎng)絡(luò)化的支持之下，其空間可以延展到支持32個(gè)節(jié)點(diǎn)?？梢允褂们д拙W(wǎng)，也可以用千兆網(wǎng)來組一個(gè)最初始化的集群。VSAN要求至少有3臺(tái)服務(wù)器來提供虛擬存儲(chǔ)服務(wù)器，也就是說保持?jǐn)?shù)據(jù)有2個(gè)備分，因此在PC里面，任何系統(tǒng)風(fēng)險(xiǎn)都不會(huì)產(chǎn)生任何的數(shù)據(jù)丟失。

（3）VSAN是使用閃存SSD的純加速產(chǎn)品。目前，機(jī)械硬盤的轉(zhuǎn)速并沒有辦法提高，如果用普通的機(jī)械硬盤，它對(duì)服務(wù)器的空間和性能都有一定制約。VMware采用的策略是混合策略，用SSD提供性能，由普通機(jī)械平臺(tái)提供能量。這使得VSAN的總成本控制在較低的水平，適用的市場(chǎng)范圍會(huì)更廣。

（4）管理便捷性。VSAN能實(shí)現(xiàn)普通的虛擬化管理，并且VSAN所支撐的虛擬機(jī)在網(wǎng)絡(luò)VSAN存儲(chǔ)的時(shí)候，具有最短的路徑、最快的API調(diào)用，并且這些全部在內(nèi)核完成。當(dāng)企業(yè)的存儲(chǔ)應(yīng)用需求發(fā)生變化的時(shí)候，可以在不停機(jī)的情況下，修改策略。在底層會(huì)滿足企業(yè)的新存儲(chǔ)要求，這個(gè)過程對(duì)于用戶來說非常方便。

（5）VSAN是完全固定在存儲(chǔ)VM虛擬化的基礎(chǔ)上的，它是一個(gè)VM的VMDK存儲(chǔ)，只用來做VMware的網(wǎng)絡(luò)建設(shè)。在VSAN里，默認(rèn)的存儲(chǔ)是VMPK存儲(chǔ)文件形式。在默認(rèn)的情況下，1個(gè)VMPK至少有2個(gè)以上的部分，分散在不同的界面上面。當(dāng)網(wǎng)絡(luò)出現(xiàn)問題的時(shí)候，在節(jié)點(diǎn)整理停機(jī)或者調(diào)令的情況下，可以在計(jì)算的同時(shí)保證計(jì)算的嚴(yán)密性，也保證存儲(chǔ)的數(shù)據(jù)安全。

4 結(jié)束語

當(dāng)前虛擬化技術(shù)已經(jīng)被廣泛應(yīng)用到 IT 基礎(chǔ)設(shè)施建設(shè)中。服務(wù)器虛擬化已得到充分的發(fā)展，但存儲(chǔ)虛擬化在數(shù)據(jù)中心還沒有得到廣泛應(yīng)用?；赩SAN的存儲(chǔ)虛擬化技術(shù)，在性能方面與傳統(tǒng)存儲(chǔ)的差距已經(jīng)越來越小，但是在靈活性、擴(kuò)展性以及管理維護(hù)便捷性等方面已經(jīng)遠(yuǎn)遠(yuǎn)超過傳統(tǒng)存儲(chǔ)。隨著存儲(chǔ)虛擬化技術(shù)的發(fā)展，將來數(shù)據(jù)中心可充分利用服務(wù)器自身硬盤存儲(chǔ)，達(dá)到去存儲(chǔ)化，從而產(chǎn)生巨大的經(jīng)濟(jì)效益。

[1]中國鐵道科學(xué)研究院.新一代客票系統(tǒng)總體技術(shù)方案[R].北京：中國鐵道科學(xué)研究院，2012，5.

[2]單杏花.客運(yùn)生產(chǎn)經(jīng)營指標(biāo)體系研究報(bào)告[R]. 北京：中國鐵道科學(xué)研究院，2011.

[3]施 慶.基于VMware vSphere的高校數(shù)據(jù)中心虛擬化建設(shè)研究[D].上海：復(fù)旦大學(xué)，2012.

[4]鐵道部客票總體組.新一代客票系統(tǒng)用戶需求說明書[S].北京：中國鐵道科學(xué)研究院，2011.

[5]李 聰.服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)虛擬化技術(shù)在數(shù)據(jù)中心的應(yīng)用研究[D].天津：天津大學(xué)，2009.

[6]王洪愛，朱建生，劉文韜，等.鐵路客票系統(tǒng)中緩存機(jī)制的應(yīng)用模型研究[J].鐵路計(jì)算機(jī)應(yīng)用，2013，22（2）.

責(zé)任編輯 楊琍明

Application of storage virtualization to Railway Ticketing and Reservation System

LI Yanming1,LIU Xiangkun2,LI Qi2,WU Zhenhua2
( 1.China Academy of Railway Sciences,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

Combined with the current state of the Ticketing and Reservation System,this article introduced the virtual storage technology.Compared with the traditional storage,the gap was not great in performance,but the fexibility,scalability,effciency and management of the convenience,the virtual memory was much better than the traditional storage.The virtual memory had good economic benefts.

Ticketing and Reservation System;virtual;storage

U293.22：TP39

A

1005-8451（2016）04-0028-04

2015-10-16

李雁明，在讀碩士研究生；劉相坤，副研究員。