服務器虛擬化技術在NSTL的應用實踐

□ 張婧 關越 / 中國科學技術信息研究所 北京 100038

胡鐵軍 / 國家科技圖書文獻中心 北京 100038

服務器虛擬化技術在NSTL的應用實踐

□ 張婧 關越 / 中國科學技術信息研究所 北京 100038

胡鐵軍 / 國家科技圖書文獻中心 北京 100038

隨著網(wǎng)絡化、數(shù)字化文獻信息量的不斷增長，文獻信息服務機構的數(shù)據(jù)中心一般都會擁有一定數(shù)量的服務器和至少TB級的存儲容量。如何利用更有效的技術手段以支撐數(shù)據(jù)中心未來業(yè)務的快速發(fā)展與高效管理，構筑能夠更好地適應業(yè)務信息系統(tǒng)的平臺，使IT系統(tǒng)真正成為提升業(yè)務能力的競爭武器，是目前對IT系統(tǒng)進行虛擬化規(guī)劃改造的主要目標。本文介紹了NSTL利用服務器虛擬化技術開展的具體應用實踐。

虛擬化，數(shù)據(jù)中心，云計算，網(wǎng)絡

1 引言

服務器虛擬化技術旨在通過運用虛擬化技術充分發(fā)揮服務器的硬件性能，為信息化業(yè)務的快速部署提供標準平臺，降低IT固定資產(chǎn)的運營成本，對服務器資源、計算資源、存儲資源進行動態(tài)分配，從而提高資源的利用率。如今虛擬化已成為數(shù)據(jù)中心變革的助推器，越來越受到人們的廣泛關注。

NSTL數(shù)據(jù)中心擁有近百臺應用服務器，承載著文獻服務系統(tǒng)、數(shù)據(jù)加工、聯(lián)合聯(lián)機編目、文獻綜合等業(yè)務系統(tǒng)，數(shù)據(jù)量在逐年增長。2012年，NSTL在業(yè)務體系中部署了虛擬化，利用虛擬化技術將資源池化，增加了業(yè)務部署的靈活性和便捷性，縮短了應用部署周期，有效控制了設備采購成本，解決了原有系統(tǒng)中資源分布與應用需求不匹配及部署僵化的問題，并逐步實現(xiàn)了業(yè)務系統(tǒng)整合和數(shù)據(jù)的集中統(tǒng)一備份，為下一步向云計算邁進積累了寶貴經(jīng)驗。

2 服務器虛擬化技術的優(yōu)勢

傳統(tǒng)服務器與應用一對一的部署方式相對服務器虛擬化部署應用在資源的有效利用及系統(tǒng)的管理維護上，前者存在很多難以解決的問題，包括擴展性、可用性、靈活性、應用兼容性等問題。而這些問題在基于服務器虛擬化的基礎平臺系統(tǒng)部署規(guī)劃中能夠很方便地解決，并且效果十分明顯。在一個構建了彈性資源池的服務器虛擬架構中，用戶可以把資源看成是專屬于自己的，管理員則可在企業(yè)范圍內(nèi)管理和優(yōu)化整個資源。

虛擬化架構的優(yōu)勢可以讓IT部門達成以下目標：

（1）實現(xiàn)TCO（Total cost of ownership）的節(jié)省

通過整合多個物理服務器到一個物理服務器，降低約40%的軟硬件成本；每個服務器的平均利用率從5%-15%提高到60%-80%。

（2）提高運維效率

將所有服務器的資源整合統(tǒng)一進行管理，并按需自動進行動態(tài)資源調(diào)配，無中斷的按需擴容，不再擔心舊系統(tǒng)的兼容性、維護和升級等一系列問題，業(yè)務連續(xù)性也會得到極大的保證。

（3）減少硬件支出

虛擬化技術可以將剩余的計算資源整合到一起再加以利用，硬件支出可以相對減少。

（4）滿足不同應用對系統(tǒng)資源的不同要求

采用虛擬架構后，由于每個虛擬機所需使用的系統(tǒng)資源都是由虛擬架構軟件統(tǒng)一進行調(diào)配，這種調(diào)配可以在虛擬機運行過程中在線實時地發(fā)揮作用，使得任何一個應用都可以有充分保證的資源來穩(wěn)定運行。同時，某些應用在此時用不到的資源又可以被其他更需要資源的應用臨時借用過去，最大限度地提高系統(tǒng)資源的利用率。

圖1 虛擬化環(huán)境結(jié)構示意圖

圖2 虛擬節(jié)點集群單月CPU、內(nèi)存、存儲性能圖表

3 NSTL虛擬化應用的特點

NSTL虛擬化環(huán)境由應用生產(chǎn)服務器（ESXi Server物理機）、虛擬數(shù)據(jù)中心管理服務器（vCenter物理機）、SAN存儲陣列、運維網(wǎng)關堡壘機和若干物理交換機構成。每臺物理服務器安裝有VMware vSphereESXi裸機虛擬化管理程序，配置了8個千兆網(wǎng)口，分別用于虛擬機的業(yè)務應用網(wǎng)絡、ESXi服務器的管理網(wǎng)絡、vMotion心跳網(wǎng)絡及容錯日志記錄網(wǎng)絡。每臺服務器通過HBA卡與存儲形成了冗余FC SAN環(huán)境。同時，還基于iSCSI協(xié)議，通過專用IP網(wǎng)絡形成了IPSAN環(huán)境，以增加虛擬化環(huán)境的靈活性和擴展性。另外，考慮到虛擬化環(huán)境中每個虛擬機的操作安全，在虛擬化環(huán)境網(wǎng)絡中還部署了一臺“運維網(wǎng)關”，實現(xiàn)對虛擬化環(huán)境虛擬服務器的訪問審計和運維安全管理。虛擬化環(huán)境結(jié)構示意圖參見圖1。

3.1 虛擬數(shù)據(jù)中心管理

VMware vCenter提供了功能較完善的圖形化的管理界面，可同時支持物理主機和虛擬機的管理。僅部署一臺vCenter Server就能夠?qū)崿F(xiàn)所有虛擬機的日常管理工作，包括各虛擬機控制管理、CPU內(nèi)存管理、用戶管理、存儲管理、網(wǎng)絡管理、日志收集、性能分析、故障診斷、權限管理、在線維護等。NSTL虛擬機CPU、內(nèi)存、存儲容量使用分析參見圖2。

VMware vCenter還提供了富有彈性的資源池管理特性，每個資源池內(nèi)的虛擬服務器可專屬使用該資源池內(nèi)的資源而不被資源池以外的虛擬服務器所影響。利用這一特性并結(jié)合NSTL自身業(yè)務系統(tǒng)的需求，我們創(chuàng)建了面向業(yè)務屬性具有層次結(jié)構的共享資源池，使共享資源池內(nèi)的虛擬服務器能夠按照不同的策略和業(yè)務負載情況動態(tài)地獲得計算資源。通過制定相關的資源分配策略，也使得在資源池內(nèi)的虛擬服務器增加或減少CPU和Memory資源變得更加靈活。實踐表明，部署虛擬化架構一定要合理地利用資源池特性，才能有效地提高計算資源的效率和使用率。NSTL資源池劃分參加圖3。

3.2 虛擬化的計算資源

虛擬化環(huán)境主體初期采用了2臺vSphereESXi的物理服務器作為動態(tài)的虛擬化架構基礎。VMware vSphereESXi是一個強健的經(jīng)過生產(chǎn)驗證的裸機虛擬化管理程序，它直接安裝在物理服務器上，統(tǒng)一管理物理服務器上可用的CPU、內(nèi)存、網(wǎng)卡、存儲等資源。每臺物理機最大可支持64個虛擬機（理論值），這些虛擬機可共享物理機的處理器、內(nèi)存、存儲和網(wǎng)絡資源，靈活地將資源調(diào)配給虛擬機，提高了硬件利用率。按照NSTL實際業(yè)務負載情況和應用部署需要，單臺ESXi物理服務器的虛擬機服務器部署能力可達到16：1，可最大化地利用計算資源。

圖3 NSTL資源池劃分

3.3 虛擬化的存儲資源

存儲是服務器不可或缺的重要組成部分，為了充分利用虛擬化軟件的各項增強功能，NSTL在虛擬化環(huán)境中采用的是FC/IPSAN的集中存儲融合方式：即需要高性能IO和穩(wěn)定吞吐的業(yè)務優(yōu)先通過FC SAN使用存儲資源，而IO需求較少、存儲量較大的業(yè)務使用IPSAN獲得較多存儲資源分配。為了滿足在線業(yè)務系統(tǒng)的需要，充分利用VMware虛擬架構中虛擬機可動態(tài)在線遷移的特性，配置冗余的交換機組成共享的SAN存儲架構，可以最大化地發(fā)揮虛擬架構的優(yōu)勢，實現(xiàn)動態(tài)的資源管理（VMware DRS），為以后的容災提供擴展性打下基礎。

初期建設可用存儲空間共30TB，每個虛擬服務器的存儲資源標配為500G，標準空間部署模式為Thin Provisioning精簡置備。利用vCenter提供的可用存儲空間統(tǒng)計功能，當虛擬機需要更多數(shù)據(jù)存儲空間時，可以隨時進行擴容，而當前的操作系統(tǒng)基本都支持在線存儲容量擴容無須重啟。

在虛擬化環(huán)境存儲架構中，我們還基于NSTL業(yè)務應用的情況，充分考慮了以下因素：

（1）存儲架構的訪問路徑冗余、IOPS與吞吐量的需求；

（2）每個ESXi服務器內(nèi)虛擬機并發(fā)IO隊列長度與HBA適配卡設置保持一致；

（3）根據(jù)應用需要設置LUN的RAID結(jié)構，對于隨機讀寫的數(shù)據(jù)庫如Oracle、SQL數(shù)據(jù)庫，則在LUN級別采用RAID10結(jié)構；對于數(shù)據(jù)庫日志通常為連續(xù)寫或恢復時連續(xù)讀，則在LUN級別采用RAID5結(jié)構。

（4）對于IO密集型的應用盡量采用單獨的VMFS存儲，避免在存儲端與其他應用產(chǎn)生IO爭用。

（5）多個虛擬機共用一個數(shù)據(jù)存儲或者多個主機共享一個數(shù)據(jù)存儲時，可以啟用存儲隊列QoS，確保核心應用的延時在可控范圍和對數(shù)據(jù)存儲讀寫的優(yōu)先級。

（6）對于ALUA磁盤陣列（非雙活磁盤陣列），為了防止多路徑讀寫沖突，在多路徑策略選擇時設置為MRU（最近使用策略），該策略可以保證只有在某個路徑故障時才啟用另一個存儲處理器連接LUN。

通過“服務器群－SAN網(wǎng)絡－存儲池”的存儲架構為虛擬化應用平臺提供存儲資源，有效提高了存儲利用率，簡化了管理和維護的工作量，提升了虛擬化環(huán)境的擴展性和可靠性。

3.4 擬化的網(wǎng)絡架構

虛擬化平臺網(wǎng)絡構建在NSTL千兆城域網(wǎng)內(nèi)，基于已有業(yè)務考慮，將它劃分成了管理網(wǎng)絡、VMotion實時遷移網(wǎng)絡、容錯日志記錄網(wǎng)絡和業(yè)務應用四個獨立網(wǎng)絡，業(yè)務應用網(wǎng)絡又包含了前臺業(yè)務和后臺業(yè)務。其網(wǎng)絡架構具有以下特點：

（1）管理網(wǎng)絡、前臺業(yè)務應用網(wǎng)絡和后臺業(yè)務應用網(wǎng)絡各自獨立。

（2）前臺與后臺業(yè)務應用網(wǎng)絡安全控制策略差異化。

（3）每個虛擬交換機配置兩個上行鏈路物理網(wǎng)絡端口，冗余策略遵循在不同PCI插槽的物理網(wǎng)卡之間配置。

（4）物理交換網(wǎng)絡進行冗余設置，避免單點故障。

（5）對多個端口捆綁做負載均衡，滿足大吞吐量和高并發(fā)網(wǎng)絡帶寬使用要求。

（6）虛擬交換機端口啟用802.1q的VLAN標記，按業(yè)務需求創(chuàng)建專有VLAN。

通過上述網(wǎng)絡架構設計方式，虛擬化環(huán)境能夠靈活地為NSTL城域網(wǎng)用戶提供虛擬化資源服務，既能滿足NSTL前臺業(yè)務，也能滿足后臺業(yè)務的應用部署需求，且在NSTL網(wǎng)絡安全策略的保護范圍之內(nèi)。ESXi服務器網(wǎng)絡示意圖參見圖4。

圖4 ESXi服務器網(wǎng)絡示意圖

圖5 安全審計系統(tǒng)

4 虛擬化環(huán)境中的運維安全

虛擬化環(huán)境中的運維管理比單臺服務器的維護管理復雜度要大得多，涉及了系統(tǒng)、網(wǎng)絡、應用、數(shù)據(jù)庫、中間件等多種應用，涉及的運維人員也分散在不同的部門，其維護的操作也是多樣化的，可以是Telnet、SSH、http、https、FTP、遠程桌面、KVM終端維護等。對于X86系統(tǒng)每臺虛擬服務器還需要考慮防病毒和系統(tǒng)補丁等問題。因而，做到對虛擬化服務器中各類設施的安全監(jiān)控和對操作行為的審計，避免出現(xiàn)問題卻無法追溯的情況發(fā)生，是實施虛擬化建設值得關注的問題。

4.1 運維審計

為了降低運維風險， NSTL在實際應用中采用了運維堡壘機對虛擬化中的各類主機、應用系統(tǒng)實行訪問控制和運維操作審計。起著操作網(wǎng)關作用的運維堡壘機能實現(xiàn)對人員、設備、操作行為等諸多要素的統(tǒng)籌管理和策略定義。因此，建立一個具有完備控制和審計功能的管理系統(tǒng)可為虛擬化業(yè)務提供安全保障。安全審計系統(tǒng)示意圖見圖5。

運維堡壘機采用“操作網(wǎng)關”的模式實現(xiàn)集中管理。這種部署模式的優(yōu)點是在部署過程中無需在被管理設備上安裝任何代理程序或插件，也不需要調(diào)整設備之間原有的網(wǎng)絡架構，對用戶當前的運維環(huán)境幾乎不會造成任何影響。用戶使用唯一的帳號登錄到運維操作管理系統(tǒng)中，系統(tǒng)會根據(jù)預先設置好的訪問控制規(guī)則，提示用戶選擇可以訪問的目標設備和相應系統(tǒng)帳號，用戶選擇后自動登錄到目標設備。運維堡壘機同時記錄了用戶的全部操作過程，可對操作過程進行回放。通過部署運維節(jié)點機達到了以下目的：

（1）實現(xiàn)單點登錄

全部運維人員集中通過運維管理系統(tǒng)來管理后臺的服務器、網(wǎng)絡設備等資源，同時對運維人員進行統(tǒng)一的身份認證。

（2）實現(xiàn)統(tǒng)一授權

統(tǒng)一部署訪問控制和權限控制等策略，保證操作者對后臺資源的合法使用，同時實現(xiàn)對高危操作過程的事中監(jiān)控和實時告警。

（3）快速定位問題

對操作人員原始的操作過程進行完整的記錄，并提供靈活的查詢搜索機制，從而在操作故障發(fā)生時，快速地定位故障的原因，還原操作的現(xiàn)場。

（4）簡化密碼管理

實現(xiàn)賬號密碼的集中管理，在簡化密碼管理的同時提高賬號密碼的安全性，滿足等級保護安全要求。

4.2 病毒防護措施

計算機病毒對應用系統(tǒng)的危害極大，常見的傳播途徑一種是通過存儲介質(zhì)進行傳播，另一種是通過網(wǎng)絡惡意傳播。對此，NSTL在部署虛擬化環(huán)境時也從多個維度采取了安全防護措施。

（1）首先基于業(yè)務配置了兩個網(wǎng)絡既前臺網(wǎng)絡與后臺網(wǎng)絡，將這兩個網(wǎng)絡的設備分別連接到不同的物理接入交換機上，依托NSTL城域網(wǎng)對于前后臺網(wǎng)絡的安全策略，實現(xiàn)基本的網(wǎng)絡安全保障。再將前后臺網(wǎng)絡分別劃分各自的VLAN，而對于運行在虛擬化環(huán)境中的虛擬機還可再進行邏輯上的劃分，通過VLAN間的訪問策略進行本地的安全控制。

（2）VMware Tools是一個驅(qū)動程序和實用程序的集合，每臺虛擬服務器上都安裝了Vmtools工具，利用Vmtools禁止兩臺虛擬機之間的文件共享，以及相互間的復制和粘貼等操作，在一定程度上可降低病毒傳播的風險。

（3）預先配置好操作系統(tǒng)模板，安裝專業(yè)殺毒軟件并定期更新這些模板的補丁和病毒庫，以降低系統(tǒng)風險，實現(xiàn)應用的快速部署。

（4）利用Esxi服務器的內(nèi)置防火墻策略對虛擬化環(huán)境中的關鍵服務通信進行監(jiān)控，控制入站和出站連接。

（5）利用運維網(wǎng)關的代理審計功能對虛擬機文件傳輸實現(xiàn)安全控制。

隨著網(wǎng)絡安全問題的日趨嚴重及新型安全風險的出現(xiàn)，需要持續(xù)關注虛擬化環(huán)境的網(wǎng)絡安全問題，在規(guī)避傳統(tǒng)網(wǎng)絡安全問題的同時，還應對未來網(wǎng)絡安全可能出現(xiàn)的風險未雨綢繆，以增強虛擬化環(huán)境的安全防護能力，保障虛擬化平臺的穩(wěn)定運行和應用安全。

5 服務器虛擬化技術在NSTL應用的思考

服務器虛擬化技術有各種優(yōu)點，但是在實際應用中也存在著運維難度高、應用對虛擬化服務器的適應性、虛擬層升級帶來的應用維護的復雜度等諸多問題。比如：

(1) 虛擬機的模板在制作過程中如果激活了操作系統(tǒng)，當從模板部署虛擬機后，新產(chǎn)生的系統(tǒng)仍然為激活狀態(tài)，從而導致存在不符合軟件正版化的風險。

(2) 隨著時間的推移，需要不斷更新虛擬硬件驅(qū)動、操作系統(tǒng)補丁和病毒庫，從而導致所有虛擬機和模板需要運維人員和應用人員共同參與處理，增加復雜性。

(3) 某些商業(yè)化應用軟件需要廠商根據(jù)硬件環(huán)境生成運行許可，由此會導致虛擬化的功能特性無法實現(xiàn)。

(4) 管理手段相對滯后，傳統(tǒng)數(shù)據(jù)安全技術尚不能完全適應虛擬化環(huán)境，導致數(shù)據(jù)安全保護手段與虛擬機環(huán)境不匹配，可能影響到數(shù)據(jù)安全。

以上羅列了一些在實踐中碰到的實際情況，有些是傳統(tǒng)管理方面對虛擬化新技術帶來變革的不適應，有些也確實是虛擬化技術產(chǎn)生的需要應對的新局面。因此，還需要在實踐中不斷地總結(jié)和完善。

6 結(jié)語

目前，NSTL 雖已實現(xiàn)基于虛擬化環(huán)境的在線業(yè)務系統(tǒng)的各種應用服務，但仍有許多工作尚待完善。虛擬化環(huán)境有別于傳統(tǒng)的物理服務器環(huán)境，維護人員對虛擬化環(huán)境中的虛擬設備和運維管理中的角色等存在認知差別，只有準確把握各個角色職責，逐步規(guī)范管理流程和制度，才能使虛擬化應用在使用和管理上更加高效便捷。同時，虛擬化平臺的投入使用，也給以往的IT運維習慣帶來了很大的挑戰(zhàn)。NSTL必須積極應對這種挑戰(zhàn)，通過技術手段、管理制度、人員培訓等保障虛擬化平臺持久、穩(wěn)定運行，從而實現(xiàn)部署虛擬化平臺的階段性目標。

[1]魯松.計算機虛擬化技術及應用[M].北京:機械工業(yè)出版社,2008:32-48.

[2] NSTL數(shù)字業(yè)務服務平臺備份體系系統(tǒng)設計方案，2011

[3]虛擬化是實現(xiàn)數(shù)據(jù)中心云計算的基礎[EB/OL].[2013-03-02].http://www.jifang360.com/news/2010816/n73639209.html.

The Application of Server Virtualization Technology in NSTL

Zhang Jing, Guan Yue / Institute of Scientiflc and Technical Information of China, Beijing, 100038
Hu Tiejun / National Science and Technology Library, Beijing, 100038

With the rapid growth of networking and digital information.,In general, its data center has numerous servers and at least terabytes of storage. Accordingly, it will be the main objective of virtualization planning of IT systems, which is about how to use more effective techniques to support rapid development and efflcient management of data center in the future. That is for establishing a platform that well adapts business information systems, and makes IT systems become real competitive tools for enhancing business level. This article describes the concrete practice of NSTL in using server virtualization technology.

Virtualization, Data center, Cloud computing, Network

10.3772/j.issn.1673—2286.2013.11.011

張婧，高級工程師。研究方向：計算機網(wǎng)絡安全等。E-mail:zhangj@istic.ac.cn

關越，系統(tǒng)管理員。研究方向：網(wǎng)絡安全、虛擬化技術。E-mail:guany@istic.ac.cn

胡鐵軍，研究員。研究方向：計算機網(wǎng)絡建設與管理、文獻信息基礎理論研究與建設。E-mail：hutj@nstl.gov.cn

2013-05-30）