云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究

陳董

摘 要：本文從云計(jì)算資源管理的基本概念入手，分析負(fù)載均衡原理及常用算法，以基于粒子群雙向拍賣(mài)為例的探討動(dòng)態(tài)資源競(jìng)價(jià)調(diào)度策略。

關(guān)鍵詞：云計(jì)算；動(dòng)態(tài)；資源管理；技術(shù)

自云計(jì)算誕生以來(lái)，已悄然改變了網(wǎng)絡(luò)世界的格局，改變了用戶(hù)的網(wǎng)絡(luò)習(xí)慣。迄今為止，如、阿里巴巴等商業(yè)巨頭紛紛將大規(guī)模的數(shù)據(jù)存儲(chǔ)在云上并參與云計(jì)算領(lǐng)域的競(jìng)爭(zhēng)。隨著云計(jì)算的逐漸成熟和廣泛應(yīng)用，價(jià)格和性能將是決定這場(chǎng)角逐的決定性因素，通過(guò)合理的資源管理，最大效率地利用系統(tǒng)資源，在保證服務(wù)質(zhì)量的同時(shí)降低成本是當(dāng)前云計(jì)算領(lǐng)域最熱門(mén)的研究話題。

1云計(jì)算資源管理的基本概念

在計(jì)算機(jī)科學(xué)中，我們所說(shuō)的“資源”通常指內(nèi)存、硬盤(pán)、等硬件資源以及系統(tǒng)文件等軟件資源，由于軟件資源是事先部署在系統(tǒng)上的，更改難度較大，所以我們平時(shí)所講的“資源管理”即是對(duì)硬件資源的管理。在處理特定事件時(shí)對(duì)資源的消耗將是我們衡量系統(tǒng)性能的重要標(biāo)準(zhǔn)，我們將資源泛性的分為“計(jì)算資源”、“存儲(chǔ)資源”和“網(wǎng)絡(luò)資源”。

2負(fù)載均衡原理及常用算法

云計(jì)算是采用虛擬化技術(shù)將眾多分散資源抽象成資源池，將底層的物理設(shè)備進(jìn)行資源整合，并作為一個(gè)整體向用戶(hù)提供服務(wù)。因此云技術(shù)首先面臨的問(wèn)題就是如何將共享資源合理的分配和調(diào)度，其中平均響應(yīng)時(shí)間和資源利用率是衡量均衡調(diào)度算法的重要標(biāo)準(zhǔn)。

負(fù)載均衡就是通過(guò)對(duì)服務(wù)結(jié)點(diǎn)性能以及負(fù)載情況的分析，得出合理的分配策略，將數(shù)據(jù)和請(qǐng)求有效的分配到服務(wù)結(jié)點(diǎn)，達(dá)到服務(wù)器的最理想效果。負(fù)載均衡主要分為靜態(tài)調(diào)度和動(dòng)態(tài)調(diào)度，其主要算法為輪轉(zhuǎn)調(diào)度算法、加權(quán)最少連接算法以及動(dòng)態(tài)反饋控制算法。

1、輪轉(zhuǎn)調(diào)度算法

輪轉(zhuǎn)調(diào)度算法是最簡(jiǎn)單的負(fù)載均衡算法，其原理采用輪轉(zhuǎn)方法按順序依次調(diào)度不同的結(jié)點(diǎn)，對(duì)系統(tǒng)結(jié)點(diǎn)無(wú)區(qū)別對(duì)待，也就不存在硬件配置和當(dāng)前結(jié)點(diǎn)連接數(shù)的差異。輪轉(zhuǎn)調(diào)度算法開(kāi)銷(xiāo)非常小、簡(jiǎn)單易行，在云計(jì)算的初始階段發(fā)揮了重要的作用，但是其有效性差、并行性低，無(wú)法適應(yīng)現(xiàn)在的大規(guī)模異構(gòu)集群系統(tǒng)。

2、加權(quán)最少連接算法

最少連接算法顧名思義，是將請(qǐng)求優(yōu)先分配給連接數(shù)較少的結(jié)點(diǎn)，但是僅僅根據(jù)連接數(shù)量不能很好的反映出結(jié)點(diǎn)的真實(shí)負(fù)載，所以根據(jù)結(jié)點(diǎn)處理能力的不同，對(duì)其分配不同的權(quán)值，將連接數(shù)量和權(quán)值大小相結(jié)合，更加合理的反映負(fù)載大小。但是隨著動(dòng)態(tài)資源的規(guī)模激增，如何合理的設(shè)定權(quán)值并在動(dòng)態(tài)資源調(diào)度中調(diào)整權(quán)值是該算法面臨的主要問(wèn)題。

3、動(dòng)態(tài)反饋控制算法

由于靜態(tài)算法的適應(yīng)能力較差、應(yīng)用范圍較窄，動(dòng)態(tài)負(fù)載均衡算法逐漸成為研究熱門(mén)。近年來(lái)基于反饋的負(fù)載均衡算法取得非常理想的成果，基本原理為當(dāng)節(jié)點(diǎn)負(fù)載變化時(shí)，通過(guò)反饋機(jī)制將其負(fù)載信息進(jìn)行收集并反饋，根據(jù)反饋得到的實(shí)際負(fù)載情況對(duì)請(qǐng)求進(jìn)行遷移或重分配，以期提高負(fù)載均衡度。通過(guò)對(duì)現(xiàn)有負(fù)載均衡算法的分析，動(dòng)態(tài)負(fù)載算法明顯優(yōu)于靜態(tài)算法，但是當(dāng)前許多算法主要采用對(duì)資源指標(biāo)使用率進(jìn)行加權(quán)的方式，如果權(quán)值選取不當(dāng)，效果反而適得其反。

3基于虛擬機(jī)部署的資源提供和雙向競(jìng)拍競(jìng)價(jià)機(jī)制

1、基于虛擬機(jī)部署的資源提供

云計(jì)算中的資源提供主要是虛擬機(jī)在接收到任務(wù)后，根據(jù)任務(wù)對(duì)物理資源的需求，采用具體的資源選擇策略為虛擬機(jī)選擇合適的物理計(jì)算資源。虛擬機(jī)與主機(jī)之間有、內(nèi)存、帶寬等多種限制，隨著虛擬機(jī)和主機(jī)數(shù)量的增多，問(wèn)題的解決難度也成指數(shù)增長(zhǎng)，很難在多項(xiàng)式時(shí)間內(nèi)得到最優(yōu)解。

2、雙向競(jìng)拍競(jìng)價(jià)機(jī)制

經(jīng)濟(jì)效用是資源分配中常用的目標(biāo)函數(shù)，目前已有大量的研究把經(jīng)濟(jì)模型引入云計(jì)算的資源管理和任務(wù)調(diào)度優(yōu)化問(wèn)題中。隨著云計(jì)算商業(yè)步伐的加快，必須引入經(jīng)濟(jì)機(jī)制以更好地吸引資源的提供。在經(jīng)濟(jì)機(jī)制下，用戶(hù)和資源提供者可以根據(jù)市場(chǎng)價(jià)格和自身愛(ài)好進(jìn)行自主決策，而市場(chǎng)價(jià)格也反映了供需關(guān)系，有助于實(shí)現(xiàn)資源的優(yōu)化分配。

現(xiàn)有的定價(jià)模型主要包括：市場(chǎng)模型、標(biāo)價(jià)模型、議價(jià)模型、招投標(biāo)模型以及拍賣(mài)模型。拍賣(mài)作為重要的市場(chǎng)機(jī)制，根據(jù)市場(chǎng)的參與者競(jìng)價(jià)來(lái)決定資源的分配結(jié)果，并且在市場(chǎng)不明朗的前提下，根據(jù)博弈理論得到最優(yōu)解，從而符合云環(huán)境中變化無(wú)常的用戶(hù)需求，這逐漸成為定價(jià)模型的熱點(diǎn)。針對(duì)傳統(tǒng)拍賣(mài)模型中資源提供者處于主導(dǎo)地位，往往會(huì)發(fā)生壟斷現(xiàn)象，許多研究人員提出了雙向拍賣(mài)的概念，即用戶(hù)和資源提供者為多對(duì)多的關(guān)系，在拍賣(mài)過(guò)程中地位均等，有效的避免了壟斷現(xiàn)象的出現(xiàn)。

4以基于粒子群雙向拍賣(mài)為例的探討動(dòng)態(tài)資源競(jìng)價(jià)調(diào)度策略。

基于云存儲(chǔ)的資源調(diào)度存在著兩個(gè)非常大的挑戰(zhàn)，首先，如何將用戶(hù)請(qǐng)求映射到云處理器中，并且很好的滿(mǎn)足參與者的服務(wù)質(zhì)量需求；其次資源調(diào)度是一個(gè)在多項(xiàng)式時(shí)間內(nèi)難以解決的復(fù)雜問(wèn)題。一個(gè)優(yōu)秀的資源調(diào)度算法，不僅僅需要考慮到計(jì)算能力（CPU 處理能力）、存儲(chǔ)和帶寬能力，更要滿(mǎn)足用戶(hù)和資源提供者的服務(wù)要求。目前，傳統(tǒng)的云環(huán)境資源競(jìng)價(jià)策略主要考慮資源提供者的收益，不但導(dǎo)致了服務(wù)響應(yīng)時(shí)間過(guò)長(zhǎng)，而且用戶(hù)與資源提供者沒(méi)有實(shí)現(xiàn)雙向選擇，也導(dǎo)致了云資源市場(chǎng)的不均衡交易，最終用戶(hù)的服務(wù)質(zhì)量無(wú)法得到保障。

1、云環(huán)境下的動(dòng)態(tài)調(diào)度問(wèn)題

云平臺(tái)提供了一種“超市”模式的云資源共享平臺(tái)，根據(jù)用戶(hù)需求，將資源打包成服務(wù)提供給用戶(hù)，如果用戶(hù)不滿(mǎn)足云資源提供者的服務(wù)，完全可以選擇其他資源提供者。

為了讓云資源提供者獲得更大的交易量和收益，并且讓用戶(hù)獲得更滿(mǎn)意的服務(wù)，引入經(jīng)濟(jì)學(xué)中雙向拍賣(mài)理論，其基本過(guò)程如下：

（1） 確定獲勝者，這個(gè)過(guò)程主要通過(guò)求“競(jìng)勝標(biāo)確定問(wèn)題（Winner Determination Problem， WDP）”的最優(yōu)解完成；

（2） 資源分配，針對(duì)獲勝的賣(mài)家找到一個(gè)或多個(gè)購(gòu)買(mǎi)其資源的買(mǎi)家；針對(duì)獲勝的買(mǎi)家找到一個(gè)或多個(gè)提供資源的賣(mài)家；

（3） 資源定價(jià)，針對(duì)每個(gè)競(jìng)拍者確定其實(shí)際的交易價(jià)格。如何滿(mǎn)足資源提供者和用戶(hù)的需求，并使云平臺(tái)的整體交易量達(dá)到最佳是本章的研究方向和目的。

2、粒子群雙向拍賣(mài)機(jī)制的競(jìng)價(jià)機(jī)制

粒子群雙向拍賣(mài)機(jī)制將資源的競(jìng)價(jià)和資源的分配分為兩個(gè)獨(dú)立的步驟完成，也可以針對(duì)特殊需求的用戶(hù)施行一對(duì)一資源匹配同時(shí)完成資源定價(jià)，其整個(gè)競(jìng)價(jià)過(guò)程具有一定的合理性，粒子群優(yōu)化雙向拍賣(mài)機(jī)制力求最大化總的收益，保障市場(chǎng)交易量和參與者的收益，其在雙向拍賣(mài)中的目標(biāo)函數(shù)和約束限制如圖所示：

收益最大化：

約束限制：

其中m為資源提供者的總數(shù)量；n為用戶(hù)的總數(shù)量；資源提供者i和用戶(hù)j間的項(xiàng)目交易價(jià)格；Qi，j，a為資源提供者i和用戶(hù)j間的項(xiàng)目交易量；S為資源提供者的集合，[S]=m個(gè)資源提供者；B為用戶(hù)的集合， [B]=n個(gè)用戶(hù)。

5結(jié)語(yǔ)

隨著云計(jì)算的普及和應(yīng)用，動(dòng)態(tài)的資源調(diào)度成為研究熱點(diǎn)，傳統(tǒng)的雙向拍賣(mài)機(jī)制以最大化市場(chǎng)價(jià)值作為目標(biāo)，強(qiáng)調(diào)資源提供者在云環(huán)境中的利益，忽略了用戶(hù)體驗(yàn)的重要性，從另一個(gè)角度上可以看成集中式的分配系統(tǒng)。本文在此基礎(chǔ)上提出了一種粒子群優(yōu)化雙向拍賣(mài)策略，力求為所有參與者提供滿(mǎn)意的服務(wù)。實(shí)驗(yàn)結(jié)果驗(yàn)證，粒子群優(yōu)化雙向拍賣(mài)策略不但總交易量和收益量?jī)?yōu)于傳統(tǒng)雙向拍賣(mài)策略，并隨著用戶(hù)的增加，其優(yōu)勢(shì)越來(lái)越明顯，從而證明了粒子群雙向拍賣(mài)機(jī)制更加適合于云環(huán)境

參考文獻(xiàn)：

[1]吳吉義.基于 DHT 的開(kāi)放對(duì)等云存儲(chǔ)服務(wù)系統(tǒng)研究：[博士論文][D].杭州：浙江大學(xué)，2011，2-16.

[2]譚業(yè)騰. 云計(jì)算中虛擬數(shù)據(jù)中心管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)：[碩士論文][D].上海：上海交通大學(xué)，2012：22-3.endprint