云主機(jī)秒級可用技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)

趙旭彤 賈京峰 李志明

【摘 要】基于云計(jì)算平臺(tái)基礎(chǔ)架構(gòu)，設(shè)計(jì)并實(shí)現(xiàn)了一種新型創(chuàng)建云主機(jī)功能流程。論文從傳統(tǒng)云平臺(tái)創(chuàng)建虛擬機(jī)的功能流程開始，設(shè)計(jì)并研發(fā)創(chuàng)新性功能流程，以達(dá)到云主機(jī)秒級可用的目標(biāo)。通過此技術(shù)的引進(jìn)，將大大減少云主機(jī)創(chuàng)建等待時(shí)間，提升云平臺(tái)的服務(wù)體驗(yàn)。

【Abstract】Based on the infrastructure of the cloud computing platform， a new type of function flow for creating cloud host is designed and implemented. The paper starts with the function flow of creating virtual machines in the traditional cloud platform， and designs and develops innovative function flow， so as to achieve the target of the subsecond available of cloud hosts. Through the introduction of this technology， the waiting time of creating the cloud host will be greatly reduced， and the service experience of the cloud platform will be improved.

【關(guān)鍵詞】云主機(jī)；秒級啟動(dòng)；虛機(jī)機(jī) ；模板

【Keywords】cloud host； subsecond start； virtual machine； template

【中圖分類號】TP393 【文獻(xiàn)標(biāo)志碼】A 【文章編號】1673-1069（2018）05-0123-02

1 引言

云計(jì)算平臺(tái)中，管理員或用戶在配置、創(chuàng)建云主機(jī)后，系統(tǒng)還需要通過配置引導(dǎo)啟動(dòng)創(chuàng)建的云主機(jī)，此階段對用戶來說，云主機(jī)實(shí)際上是處于不可用階段。此節(jié)點(diǎn)一般情況下，Linux系統(tǒng)為20s以上，Windows系統(tǒng)則更久，有時(shí)甚至超過1min。如何有效減少此不可用階段的時(shí)間，提升云主機(jī)的使用友好性，是云計(jì)算平臺(tái)的一大難題。

2 結(jié)構(gòu)設(shè)計(jì)和功能實(shí)現(xiàn)

2.1 云主機(jī)典型創(chuàng)建流程

在基于Openstack的IaaS云平臺(tái)中[1]，創(chuàng)建云主機(jī)的一般過程如下：①用戶從自服務(wù)Web界面進(jìn)行配置，并確定創(chuàng)建云主機(jī)；②服務(wù)器端控制臺(tái)接收用戶創(chuàng)建信令消息，調(diào)用計(jì)算節(jié)點(diǎn) API創(chuàng)建虛機(jī)；③計(jì)算節(jié)點(diǎn)Nove接受API調(diào)用，并進(jìn)行認(rèn)證等相關(guān)輔助流程，確認(rèn)調(diào)用可信后調(diào)用Libvrit API進(jìn)行處理；④Libvrit 調(diào)用QEMU，QEMU跟進(jìn)用戶的資源配置要求，準(zhǔn)備調(diào)用網(wǎng)絡(luò)存儲(chǔ)等相關(guān)資源創(chuàng)建虛機(jī)，同時(shí)QEMU返回云主機(jī)創(chuàng)建中的消息，通過逐層通知，告知用戶云主機(jī)創(chuàng)建中；⑤QEMU開始進(jìn)入虛機(jī)創(chuàng)建階段，準(zhǔn)備網(wǎng)絡(luò)存儲(chǔ)等資源，進(jìn)入虛機(jī)Bootloader，啟動(dòng)虛機(jī)，重啟系統(tǒng)和服務(wù)，直到交付給用戶最終可用的云主機(jī)。

我們定義，從第一步到第四步之間消耗的時(shí)間段，為T1；第五步消耗的時(shí)間段，為T2。在整個(gè)流程中，T1一般耗時(shí)少于1min；但對T2，虛擬機(jī)在創(chuàng)建后，進(jìn)入虛機(jī)啟動(dòng)階段，通常Linux系統(tǒng)需要耗費(fèi)10s以上，Windows則更久，有時(shí)候甚至超過1min。

T1加T2是用戶從創(chuàng)建到可用的總時(shí)間，而控制臺(tái)返回的往往是T1時(shí)間，只是告訴用戶，機(jī)器已經(jīng)激活，但實(shí)際上云主機(jī)還處于不可用狀態(tài)，指導(dǎo)T2結(jié)束，用戶才可以進(jìn)入云主機(jī)的登錄界面。提升用戶服務(wù)體驗(yàn)最有效的方式，就是如何減少T2階段所消耗的時(shí)間。

2.2 秒級可用技術(shù)設(shè)計(jì)

云主機(jī)秒級可用技術(shù)使用以下技術(shù)細(xì)節(jié)，減少T2階段所耗時(shí)間： ①創(chuàng)新性定制化虛擬化軟件，技術(shù)革新支持統(tǒng)一內(nèi)存快照加速，加速虛機(jī)啟動(dòng)；②云主機(jī)內(nèi)存和CPU熱升級技術(shù)，用于將虛機(jī)升級或降級至用戶配置；③QGA技術(shù)用于用客戶化定制服務(wù)以及功能。

基于以上核心技術(shù)點(diǎn)，可以成功將云主機(jī)創(chuàng)建時(shí)的啟動(dòng)時(shí)間從20s以上，縮短至1～3S左右。秒級可用技術(shù)詳細(xì)架構(gòu)功能流程，說明如下：①用戶從自服務(wù)Web界面進(jìn)行配置，并確定創(chuàng)建云主機(jī)；②計(jì)算節(jié)點(diǎn)Nova創(chuàng)建磁盤，此時(shí)使用定制化研發(fā)的統(tǒng)一內(nèi)存快照加速技術(shù)，拉取系統(tǒng)集成鏡像，創(chuàng)建磁盤快照，并拉取此磁盤快照對應(yīng)的虛擬機(jī)的配置、狀態(tài)信息；③Libvrit 基于磁盤快照啟動(dòng)虛機(jī)，進(jìn)入云主機(jī)創(chuàng)建流程；④檢查內(nèi)存中是否有特定的可用虛擬機(jī)模板，有則直接使用，沒有則啟動(dòng)一個(gè)虛擬機(jī)模板；⑤通過第二步的虛擬機(jī)配置、狀態(tài)信息，對比用戶待創(chuàng)建云主機(jī)的配置規(guī)格，逐項(xiàng)熱升級到用戶指定的云主機(jī)配置規(guī)格；⑥更改虛擬機(jī)的狀態(tài)信息，如網(wǎng)絡(luò)地址、用戶名密碼信息等，完成云主機(jī)的創(chuàng)建過程。

秒級可用技術(shù)，規(guī)避了OS的啟動(dòng)過程，通過對比云主機(jī)配置與系統(tǒng)內(nèi)虛機(jī)實(shí)例模板的配置、狀態(tài)信息，逐項(xiàng)更新的方式，大大減少了云主機(jī)的整體創(chuàng)建時(shí)間，快速地為用戶提供一個(gè)可用的云主機(jī)，用戶點(diǎn)擊完創(chuàng)建與開通云主機(jī)后，幾乎無須等待即可使用，提升了用戶云主機(jī)服務(wù)體驗(yàn)。

2.3 關(guān)鍵技術(shù)：CPU與內(nèi)存熱升級

在現(xiàn)有大多數(shù)的IaaS云平臺(tái)上，云主機(jī)的CPU和內(nèi)存熱升級，要經(jīng)歷關(guān)機(jī)再開機(jī)的配置生效過程。時(shí)間一般以分鐘來計(jì)，而且這個(gè)過程中應(yīng)用程序和業(yè)務(wù)會(huì)經(jīng)歷中斷。如果是高可用架構(gòu)，在業(yè)務(wù)集群中一般采用逐臺(tái)升級的方式來避免業(yè)務(wù)影響，但也會(huì)需要大量的運(yùn)維操作。

現(xiàn)有業(yè)務(wù)經(jīng)常出現(xiàn)客戶不希望中斷業(yè)務(wù)，實(shí)現(xiàn)虛擬機(jī)的CPU資源的動(dòng)態(tài)升級。因此需要在虛擬機(jī)運(yùn)行狀態(tài)實(shí)現(xiàn)CPU和內(nèi)存業(yè)務(wù)完美融合。為了更好地應(yīng)對不同的業(yè)務(wù)需求，在設(shè)計(jì)時(shí)我們將CPU和內(nèi)存的熱升級做成兩個(gè)獨(dú)立的選擇，保證云主機(jī)秒級可用技術(shù)，或者用戶在單項(xiàng)資源不足時(shí)，可以靈活地調(diào)整資源配置，而不是非要固定地選擇某一種類型。

第一，CPU熱升級技術(shù)。CPU熱升級使用的是max 和current調(diào)整CPU，我們現(xiàn)有這種方法基本是仿效Ovirt的CPU熱升級的設(shè)計(jì)。

64

通過提升current sockets值完成CPU的熱升級。

第二，內(nèi)存熱升級技術(shù)。業(yè)內(nèi)現(xiàn)有技術(shù)實(shí)現(xiàn)內(nèi)存的熱升級，使用的是memory ballooning。 Memory ballooning這種技術(shù)相比對操作系統(tǒng)和物理機(jī)要求較高，需要虛擬機(jī)和物理機(jī)一起合作完成。

內(nèi)存熱升級技術(shù)：Hotplug 內(nèi)存熱插拔，這是一個(gè)確定的發(fā)展方向，降低了內(nèi)存的占用。內(nèi)存相當(dāng)于一個(gè)獨(dú)立的設(shè)備掛載給虛擬機(jī)，方便升降適應(yīng)性更好。Hotplug可以動(dòng)態(tài)地增加或減少虛擬機(jī)系統(tǒng)中可用的內(nèi)存數(shù)量?？梢灾С指嗟牟僮飨到y(tǒng)和固件，這種垂直縱向的擴(kuò)大和縮小可以很好地滿足業(yè)務(wù)場景的需求。

第三，關(guān)鍵技術(shù)點(diǎn)實(shí)現(xiàn)機(jī)制。在控制層，調(diào)度層和計(jì)算服務(wù)層增加CPU和內(nèi)存熱升級相應(yīng)的邏輯，在成功添加CPU和內(nèi)存后將其信息推送到持久化層，保證業(yè)務(wù)數(shù)據(jù)統(tǒng)一。我們從兩個(gè)方面進(jìn)行了技術(shù)更新，一方面是，業(yè)務(wù)接口調(diào)整內(nèi)容如下：①增加CPU熱添加接口；②自動(dòng)更新VM的Flovar 中的配置；③增加新的接口動(dòng)態(tài)添加內(nèi)存 ；④熱添加的內(nèi)存持久化到數(shù)據(jù)庫；⑤硬重啟虛擬機(jī)后讀取之前的信息并加回；⑥增加動(dòng)態(tài)刪除內(nèi)存接口；⑦增加關(guān)機(jī)狀態(tài)下清理內(nèi)存接口。另一方面是，虛擬機(jī)模板調(diào)整：虛擬機(jī)內(nèi)不同的系統(tǒng)對于添加的CPU和內(nèi)存的策略。我們的定制模板為方便用戶，自動(dòng)激活熱掛載的CPU和內(nèi)存。

2.4 技術(shù)亮點(diǎn)

使用云主機(jī)秒級可用技術(shù)后，IaaS云平臺(tái)有以下優(yōu)勢與亮點(diǎn)：①減少用戶等待時(shí)間：用戶從之前的T1 + T2的時(shí)間大大縮短到秒級，大大提高用戶體驗(yàn)，實(shí)現(xiàn)真正的創(chuàng)建即使用。②對后端鏡像存儲(chǔ)沒有限制：后端鏡像存儲(chǔ)，可選用Ceph或者其他解決方案。特別的，對于Ceph有特別優(yōu)化，性能可用性支持更好。③支持所有鏡像：對于所有系統(tǒng)鏡像均可以使用，免去鏡像困擾。④節(jié)約用戶成本：計(jì)費(fèi)時(shí)用戶創(chuàng)建時(shí)即開始，運(yùn)用此技術(shù)可以降低用戶對于系統(tǒng)啟動(dòng)時(shí)間的花費(fèi)。

3 實(shí)驗(yàn)驗(yàn)證

通過一個(gè)實(shí)驗(yàn)，將能夠明顯地感受到云主機(jī)秒級可用技術(shù)的有效性。本次實(shí)驗(yàn)環(huán)境為：①系統(tǒng)：CentOS7.2；②內(nèi)核版本：3.10.327；③OpenStack版本：Mitaka版；④Libvrit 版本： 定制化發(fā)行版V2.0；⑤QEMU版本：定制化發(fā)行版V2.3；⑥CPU： Intel Xeon 2056 V3；⑦內(nèi)存： 128G；

本次測試云主機(jī)配置為：4核8G，300G磁盤，OS為CentOS7.2。目標(biāo)是測試開啟和不開啟云主機(jī)秒級可用技術(shù)下，T1+T2的總耗時(shí)對比。

測試結(jié)果顯示，未開啟云主機(jī)秒級可用技術(shù)，T1+T2總耗時(shí)為30.8秒；開啟云主機(jī)秒級可用技術(shù)后，T1+T2總耗時(shí)為3.1秒。可以明顯看到開啟云主機(jī)秒級可用技術(shù)后帶來的效果。

4 結(jié)語

使用云主機(jī)秒級可用技術(shù)，相對于傳統(tǒng)方法[2]，可以大大提高了用戶的體驗(yàn)，與此同時(shí)，使用此功能后可以做到：①減少用戶等待時(shí)間，讓用戶更快速地部署系統(tǒng)，甚至如果用戶已經(jīng)在鏡像中部署好服務(wù)，那用戶創(chuàng)建云主機(jī)后數(shù)秒即可提供相關(guān)服務(wù)。②減少用戶成本，云主機(jī)的計(jì)費(fèi)方式主要按照資源使用量以及時(shí)間計(jì)費(fèi)，無用時(shí)間的下架勢必減少用戶成本，在大批量創(chuàng)建的時(shí)候尤為明顯。

云主機(jī)創(chuàng)建開通后即可使用，本技術(shù)能夠滿足在系統(tǒng)部署時(shí)希望快速登入系統(tǒng)的用戶，尤其是自動(dòng)化開通，自動(dòng)化部署服務(wù)的用戶。隨著強(qiáng)勁的業(yè)務(wù)與服務(wù)的快速交付要求，以及CICD應(yīng)用部署的普及，云主機(jī)秒級可用技術(shù)將得到極大的應(yīng)用，產(chǎn)生極高的價(jià)值。

【參考文獻(xiàn)】

【1】李志軍，孔朋朋，雷振伍.基于OpenStack的私有云平臺(tái)設(shè)計(jì)[J]，微型機(jī)與應(yīng)用，2016，35 （9） ：24-26.

【2】吳聯(lián)盟.開源云管理平臺(tái)OpenStack中虛擬機(jī)部署機(jī)制的研究與優(yōu)化[D].北京：北京郵電大學(xué)， 2013.