OpenStack云計(jì)算管理平臺(tái)虛擬機(jī)實(shí)例智能調(diào)度研究

【關(guān)鍵詞】OpenStack；云計(jì)算；時(shí)間序列；智能調(diào)度；負(fù)載均衡

引言

隨著信息技術(shù)的迅猛發(fā)展，云計(jì)算已成為當(dāng)今重要的熱點(diǎn)和趨勢(shì)，近年來(lái)云計(jì)算全球市場(chǎng)穩(wěn)步增長(zhǎng)，預(yù)計(jì)2023年全球公有云市場(chǎng)規(guī)模將達(dá)4001億美元。云計(jì)算是一種基于虛擬化技術(shù)，由大量的物理計(jì)算機(jī)以及網(wǎng)絡(luò)等其他硬件組成的資源池，提供給用戶按需的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)服務(wù)等。

當(dāng)今開源IaaS云計(jì)算管理平臺(tái)有Open Stack 、CloudStack等一系列解決方案，而OpenStack作為一種旨在為公有云和私有云IaaS層提供可靠的、可擴(kuò)展的彈性服務(wù)獲得了業(yè)界廣泛的關(guān)注，并已成為目前最主流的云計(jì)算管理平臺(tái)。OpenStack是美國(guó)國(guó)家宇航局和基礎(chǔ)設(shè)施服務(wù)商Rackspace共同發(fā)起，全球眾多IT公司共同參與開發(fā)的開源項(xiàng)目，OpenStack由多個(gè)組件組成，包括計(jì)算服務(wù)（Nova）、網(wǎng)絡(luò)服務(wù)（Neutron）、塊存儲(chǔ)服務(wù)（Cinder）、管理界面（Horizon）等[1-2]。

前期OpenStack云管理平臺(tái)為客戶端創(chuàng)建虛擬機(jī)實(shí)例時(shí)，選擇目標(biāo)主機(jī)的方式比較單一，如單純比較宿主機(jī)剩余CPU或內(nèi)存空間的大小，選取剩余空間最大的主機(jī)作為創(chuàng)建虛擬機(jī)實(shí)例的目標(biāo)主機(jī)，但是這種僅僅考慮單一要素已經(jīng)無(wú)法滿足現(xiàn)在業(yè)務(wù)越來(lái)越復(fù)雜的需求。而隨著相關(guān)技術(shù)的快速發(fā)展，宿主機(jī)的CPU、內(nèi)存、磁盤空間、IP等都是目標(biāo)主機(jī)選擇的重要參考要素，然而這類算法首先并沒有充分考慮虛擬機(jī)承載的業(yè)務(wù)對(duì)于CPU、內(nèi)存等資源的需求屬性，而是平等對(duì)待，導(dǎo)致耗CPU型虛擬機(jī)實(shí)例可能會(huì)被分配到目前CPU較高、內(nèi)存較低的宿主機(jī)上。其次目前調(diào)度更多關(guān)注的是宿主機(jī)的資源分配率，然而分配率與實(shí)際的宿主機(jī)利用率相差較大，最后其僅僅將宿主機(jī)的CPU、內(nèi)存等的瞬時(shí)值作為選擇目標(biāo)宿主機(jī)的決定值，但在實(shí)際應(yīng)用中宿主機(jī)的CPU、內(nèi)存等的使用率并不穩(wěn)定，會(huì)出現(xiàn)某一瞬間負(fù)載過(guò)高或過(guò)低而誤估資源負(fù)載的情況，導(dǎo)致選擇的目標(biāo)主機(jī)非最優(yōu)，進(jìn)而引起集群某些宿主機(jī)資源利用率過(guò)高，影響其承載的其他業(yè)務(wù)虛擬機(jī)實(shí)例，同時(shí)也會(huì)引起整個(gè)集群的資源利用率不均衡[3]。

一、OpenStack虛擬機(jī)實(shí)例的智能創(chuàng)建系統(tǒng)模型

隨著大數(shù)據(jù)、人工智能技術(shù)的飛速發(fā)展，以及GPU 在高速計(jì)算方面的性能優(yōu)勢(shì)逐步顯現(xiàn)，需要大量實(shí)時(shí)計(jì)算的算法以及技術(shù)的落地成為可能。本文利用時(shí)間序列預(yù)測(cè)技術(shù)中的自回歸模型，提出了一種基于物理主機(jī)CPU、內(nèi)存、磁盤、帶寬多維度的歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)某一時(shí)間段宿主機(jī)負(fù)載情況的方法，可以有效解決OpenStack平臺(tái)為創(chuàng)建虛擬機(jī)實(shí)例選擇目標(biāo)宿主機(jī)方式單一以及對(duì)于主機(jī)負(fù)載情況判斷不準(zhǔn)確，導(dǎo)致選擇的目標(biāo)主機(jī)非最優(yōu)，進(jìn)而引起集群資源利用率不均衡的問(wèn)題。同時(shí)也考慮了業(yè)務(wù)類型的不同，可以針對(duì)虛擬機(jī)實(shí)例的CPU、內(nèi)存、磁盤空間以及帶寬需求設(shè)置不同的權(quán)重，避免相同的業(yè)務(wù)類型（如同屬于耗CPU型的業(yè)務(wù)）放置在同一臺(tái)主機(jī)上的問(wèn)題，達(dá)到了不同業(yè)務(wù)類型的虛擬機(jī)實(shí)例資源需求互補(bǔ)的效果，進(jìn)而實(shí)現(xiàn)了集群內(nèi)資源利用均衡的需求。

本文根據(jù)業(yè)務(wù)類型的不同，可以針對(duì)需要?jiǎng)?chuàng)建的虛擬機(jī)實(shí)例的CPU、內(nèi)存、磁盤空間以及帶寬需求設(shè)置不同的權(quán)重，并利用時(shí)間序列預(yù)測(cè)技術(shù)中的自回歸模型模型AR（p）實(shí)現(xiàn)了OpenStack虛擬機(jī)實(shí)例的智能預(yù)測(cè)，具體算法如下文所述。

（一）接收客戶端請(qǐng)求

OpenStack平臺(tái)接收客戶端發(fā)送的創(chuàng)建虛擬機(jī)實(shí)例的請(qǐng)求信息，包括虛擬機(jī)實(shí)例的CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)帶寬以及該虛擬機(jī)實(shí)例對(duì)于資源的需求權(quán)重，該權(quán)重的值越大表示該虛擬機(jī)實(shí)例對(duì)該項(xiàng)要求越高，權(quán)重值的大小與該虛擬機(jī)實(shí)例承載的業(yè)務(wù)類型息息相關(guān)，如CPU的權(quán)重較大則表示該虛擬機(jī)實(shí)例對(duì)CPU要求比較高，承載的是耗CPU型的業(yè)務(wù)。

（二） 獲取宿主機(jī)集合一

從資源池的數(shù)據(jù)庫(kù)內(nèi)選擇所有滿足虛擬機(jī)實(shí)例需求服務(wù)的宿主機(jī)，并將所述主機(jī)列為主機(jī)集合一，若不存在滿足條件的主機(jī)則返回錯(cuò)誤信息，并結(jié)束操作。

（三）利用AR（p）模型預(yù)測(cè)主機(jī)集合一的負(fù)載

利用時(shí)間序列預(yù)測(cè)技術(shù)中的自回歸模型AR（p），結(jié)合主機(jī)集合一中主機(jī)當(dāng)前時(shí)刻k及之前的m個(gè)時(shí)刻的負(fù)載數(shù)據(jù)，預(yù)測(cè)主機(jī)未來(lái)n個(gè)時(shí)刻的CPU、內(nèi)存、磁盤空間、帶寬使用情況，對(duì)其取平均值，得到未來(lái)n個(gè)時(shí)刻的主機(jī)負(fù)載數(shù)據(jù)，進(jìn)而得到宿主機(jī)資源利用率和剩余資源數(shù)據(jù)。

（四）獲取宿主機(jī)集合二

根據(jù)上一節(jié)利用AR（p）模型預(yù)測(cè)的主機(jī)的可用資源與創(chuàng)建虛擬機(jī)實(shí)例的資源需求，從宿主機(jī)集合一中進(jìn)一步篩選出滿足條件的主機(jī)，列為宿主機(jī)集合二，若不存在滿足條件的主機(jī)則返回錯(cuò)誤信息，并結(jié)束操作。

（五）獲取宿主機(jī)集合三

根據(jù)第一小節(jié)中根據(jù)不同的業(yè)務(wù)需求設(shè)置的虛擬機(jī)實(shí)例的CPU、內(nèi)存、磁盤、帶寬的權(quán)重值，然后通過(guò)主機(jī)權(quán)重公式對(duì)所述宿主機(jī)集合二中的物理主機(jī)進(jìn)行權(quán)重計(jì)算，并根據(jù)計(jì)算得到的權(quán)重對(duì)所述主機(jī)集合二進(jìn)行升序排列，獲取宿主機(jī)集合三。

（六）獲取創(chuàng)建虛擬機(jī)的目標(biāo)宿主機(jī)

從所述宿主機(jī)集合三中選擇權(quán)重最小的主機(jī)，將該主機(jī)確定為創(chuàng)建虛擬機(jī)實(shí)例的目標(biāo)主機(jī)，并在該目標(biāo)主機(jī)上為客戶端創(chuàng)建虛擬機(jī)實(shí)例。

二、OpenStack虛擬機(jī)實(shí)例的智能創(chuàng)建系統(tǒng)算法實(shí)現(xiàn)

上一章主要講述了OpenStack平臺(tái)虛擬機(jī)實(shí)例的智能創(chuàng)建系統(tǒng)模型，本章將針對(duì)上章節(jié)的OpenStack云管理平臺(tái)的虛擬機(jī)實(shí)例智能創(chuàng)建進(jìn)行詳細(xì)的算法實(shí)現(xiàn)。

（一）獲取客戶端虛擬機(jī)實(shí)例需求

OpenStack云計(jì)算管理平臺(tái)首先接收客戶端發(fā)送的創(chuàng)建虛擬機(jī)實(shí)例的資源請(qǐng)求信息，包括虛擬機(jī)實(shí)例的CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)帶寬需求以及該虛擬機(jī)實(shí)例對(duì)于資源的需求權(quán)重，該權(quán)重是根據(jù)虛擬機(jī)承載的業(yè)務(wù)類型而定的；假設(shè)a、b、c、d為根據(jù)不同的業(yè)務(wù)需求，設(shè)置的虛擬機(jī)實(shí)例需求的CPU、內(nèi)存、磁盤和帶寬的權(quán)重，且a+b+c+d=1，a，b，c，d∈[0，1]其中a、b、c、d的值越大表示該虛擬機(jī)實(shí)例對(duì)該項(xiàng)要求越高，如a=0.6，b=0.2，c=0.1，d=0.1，表示該虛擬機(jī)實(shí)例對(duì)CPU要求比較高，承載的是耗CPU型的業(yè)務(wù)。

（二）獲取宿主機(jī)集合一實(shí)現(xiàn)算法

從資源池的數(shù)據(jù)庫(kù)內(nèi)選擇所有滿足虛擬機(jī)實(shí)例服務(wù)的主機(jī)，并將所述主機(jī)列為主機(jī)集合一，若不存在滿足條件的主機(jī)則返回錯(cuò)誤信息，并結(jié)束操作。

（三）基于AR（p）模型獲取宿主機(jī)穩(wěn)態(tài)資源情況實(shí)現(xiàn)算法

利用自回歸模型AR（p）預(yù)測(cè)宿主機(jī)集合一中主機(jī)未來(lái)n個(gè)時(shí)刻的CPU、內(nèi)存、磁盤空間、帶寬使用情況，分別對(duì)其取平均值，得到未來(lái)n個(gè)時(shí)刻的宿主機(jī)平均負(fù)載情況以及剩余資源，具體實(shí)現(xiàn)步驟如下所示：

步驟S103：通過(guò)下式可以進(jìn)一步得到主機(jī)能夠提供的CPU、內(nèi)存、磁盤以及帶寬的大小，計(jì)算公式如下：

（四）獲取宿主機(jī)集合二實(shí)現(xiàn)算法

根據(jù)步驟上一節(jié)預(yù)測(cè)的主機(jī)的可用資源與創(chuàng)建虛擬機(jī)實(shí)例資源需求篩選出滿足條件的主機(jī)，列為宿主機(jī)集合二，若不存在滿足條件的主機(jī)則返回錯(cuò)誤信息，并結(jié)束操作。

（五）獲取宿主機(jī)集合三實(shí)現(xiàn)算法

根據(jù)第一小節(jié)設(shè)置的虛擬機(jī)實(shí)例的CPU、內(nèi)存、磁盤、帶寬的權(quán)重，然后通過(guò)下式對(duì)所述主機(jī)集合二中的主機(jī)進(jìn)行權(quán)重計(jì)算，并根據(jù)計(jì)算得到的權(quán)重對(duì)所述主機(jī)進(jìn)行升序排列，獲取宿主機(jī)集合三，具體實(shí)現(xiàn)步驟如下：

步驟202：根據(jù)計(jì)算得到的權(quán)重對(duì)集合二中的宿主機(jī)進(jìn)行升序排列，獲取宿主機(jī)集合三。

（六）獲取目標(biāo)宿主機(jī)

從上一節(jié)得到的集合三中選擇權(quán)重最小的主機(jī)，將所述權(quán)重最小的主機(jī)確定為創(chuàng)建虛擬機(jī)實(shí)例的目標(biāo)主機(jī)，并在該目標(biāo)主機(jī)上為客戶端創(chuàng)建虛擬機(jī)實(shí)例。

結(jié)語(yǔ)

本文研究了OpenStack云計(jì)算管理平臺(tái)虛擬機(jī)實(shí)例的創(chuàng)建算法，并利用時(shí)間序列預(yù)測(cè)技術(shù)中的自回歸模型提出了一種基于宿主機(jī)的歷史負(fù)載數(shù)據(jù)而預(yù)測(cè)未來(lái)某一時(shí)間段的宿主機(jī)負(fù)載情況的方法，可以準(zhǔn)確評(píng)估主機(jī)可以提供的資源情況，同時(shí)本文全方位地評(píng)估了創(chuàng)建虛擬機(jī)實(shí)例對(duì)于主機(jī)的CPU、內(nèi)存、磁盤空間以及帶寬的要求，并且可以根據(jù)業(yè)務(wù)類型的不同，對(duì)虛擬機(jī)實(shí)例的CPU、內(nèi)存等設(shè)置不同的權(quán)重，避免了相同業(yè)務(wù)類型虛擬機(jī)放置在同一臺(tái)主機(jī)上的問(wèn)題，滿足了不同業(yè)務(wù)類型的虛擬機(jī)實(shí)例資源需求互補(bǔ)的效果，進(jìn)而實(shí)現(xiàn)了整個(gè)集群資源的均衡。