云計算平臺負(fù)載均衡研究

郭香柏

摘 要 該新型云計算技術(shù)自推出以來，其發(fā)展勢頭是不可阻擋的，它對應(yīng)用服務(wù)模式產(chǎn)生了巨大的影響：從概念到開發(fā)再到實踐，云計算框架技術(shù)人員一個接一個地提出，涵蓋了各個方面，甚至精益求精。計算機(jī)的發(fā)展一直是企業(yè)和學(xué)者研究的熱點(diǎn)。本文首先分析了云計算、云資源規(guī)劃和管理的現(xiàn)狀，然后考察了現(xiàn)有的資源規(guī)劃策略和負(fù)載均衡算法，將資源規(guī)劃策略與負(fù)載均衡算法相結(jié)合，提出了一種基于負(fù)載均衡的云資源規(guī)劃策略，并對該策略在云平臺和云仿真平臺上的實現(xiàn)能力進(jìn)行了分析，最后總結(jié)了本文的研究內(nèi)容和研究過程中存在的不足，希望對相關(guān)行業(yè)發(fā)展有所裨益。

關(guān)鍵詞 云計算技術(shù) 負(fù)載均衡 Hadoop技術(shù)

中圖分類號：TP3 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-0745（2022）03-0016-03

隨著云計算技術(shù)的發(fā)展，用戶需求趨于多樣化，應(yīng)用類型變得更加復(fù)雜。本文對資源分配、負(fù)載平衡、計劃和控制等方面的具體要求作了較為詳細(xì)的介紹，如資源的分組和劃分、任務(wù)提交方式的選擇、資源規(guī)劃策略和算法等。云計算資源規(guī)劃的目標(biāo)是在云平臺系統(tǒng)總吞吐量的前提下，實現(xiàn)系統(tǒng)資源的最優(yōu)規(guī)劃，并根據(jù)用戶需求平衡系統(tǒng)內(nèi)部的負(fù)載。從服務(wù)質(zhì)量（QoS）的角度看優(yōu)化規(guī)劃的實施、最優(yōu)完成時間、經(jīng)濟(jì)原則和負(fù)載均衡四個方面考慮?，F(xiàn)在我們可以在互聯(lián)網(wǎng)上做更多的事情，比如在線學(xué)習(xí)、在線購物、隨時隨地收發(fā)電子郵件、組織或參加在線會議等等。不可否認(rèn)，互聯(lián)網(wǎng)給我們的生活和工作帶來了很多便利，比如在網(wǎng)上購物時自動完成關(guān)鍵詞或者同類產(chǎn)品的推薦。這些服務(wù)讓我們的選擇更加容易，并根據(jù)每個人的不同情況進(jìn)行優(yōu)化，達(dá)到精準(zhǔn)推送的效果。在工作和學(xué)習(xí)時，我們會在互聯(lián)網(wǎng)上快速輕松地生成大量數(shù)據(jù)。這些數(shù)據(jù)需要在網(wǎng)絡(luò)上進(jìn)行存儲和處理，而且數(shù)據(jù)量越來越大。此外，是越來越多的智能設(shè)備（如iPhone、iPad和智能手表的出現(xiàn)和普及，增加了信息發(fā)布者和接收者的舒適度和效率，能隨時隨地進(jìn)行拍照、錄像等活動，還可以在線社交和網(wǎng)上購物）負(fù)載均衡在Hadoop集群系統(tǒng)中非常重要，合理的負(fù)載均衡策略可以提高性能和易用性。Hadoop集群的任務(wù)規(guī)劃策略和規(guī)劃模式對負(fù)載均衡影響很大，但目前Schadoop集群的Hayulink模式在使用數(shù)字圖書館時并不偏愛負(fù)載均衡技術(shù)。問題之一是在云計算環(huán)境中，云計算節(jié)點(diǎn)的任務(wù)比它們的任務(wù)更重要。要實現(xiàn)不同地理位置的云計算平臺的異構(gòu)性，一些計算任務(wù)必須由其他異構(gòu)節(jié)點(diǎn)完成。優(yōu)化配置的計算機(jī)程序和硬件資源，可傳輸至異構(gòu)云節(jié)點(diǎn)[1]。

在云計算環(huán)境中，每一個云計算提供商都處于不同的地理位置，無法創(chuàng)建標(biāo)準(zhǔn)的云計算域。如果云計算平臺的用戶數(shù)量和負(fù)載保持不變，那么對云服務(wù)的需求就會隨著時間和能力的變化而動態(tài)變化。當(dāng)SQLServer云在服務(wù)器上添加大量新節(jié)點(diǎn)時，會直接導(dǎo)致以下問題：

（1）由于大量的新節(jié)點(diǎn)加入到云中，云中的一些節(jié)點(diǎn)消耗了大量的資源，甚至云中的一些服務(wù)也會使其他節(jié)點(diǎn)的云計算資源不活躍或損壞，導(dǎo)致過載。

（2）不同的云服務(wù)提供商提供了不同的云計算平臺，但整個云計算平臺的應(yīng)用和數(shù)據(jù)并不統(tǒng)一，不能互相操作和傳輸[2-3]。

因此，本文不僅改進(jìn)了負(fù)載均衡機(jī)制，而且考慮了云計算環(huán)境的異構(gòu)性。

1 研究問題及現(xiàn)狀

負(fù)載均衡是云計算發(fā)展中的關(guān)鍵問題之一。原因如下：首先，在不同的云服務(wù)提供商構(gòu)建的云計算平臺中，需要提高軟硬件資源、應(yīng)用資源、服務(wù)資源的利用率，以實現(xiàn)資源優(yōu)勢、優(yōu)化配置，提高客戶滿意度。在異構(gòu)云計算環(huán)境中，不同的云計算平臺之間的負(fù)載平衡機(jī)制可以為用戶提供更好、更便宜的云資源。由于云計算的擴(kuò)展，云計算資源分配系統(tǒng)將根據(jù)用戶的資源需求而變化。負(fù)載平衡機(jī)制允許動態(tài)地分配資源，而無需從硬件和軟件中指定額外的資源，以使峰值要求最小化。

Hadoop技術(shù)提供的負(fù)載平衡機(jī)制能夠滿足少數(shù)云服務(wù)的需求。然而，當(dāng)異構(gòu)云計算平臺對云服務(wù)資源有大量的需求時，其可擴(kuò)展性、靈活性等方面存在諸多限制，無法解決異構(gòu)云計算平臺的資源規(guī)劃問題，而如今已經(jīng)出現(xiàn)了一種更好的異構(gòu)交叉負(fù)載平衡機(jī)制。

目前，領(lǐng)先的云計算供應(yīng)商包括谷歌、亞馬遜、桉樹和微軟。在云計算平臺上，Google提供了一種基于Hadoop技術(shù)的負(fù)載平衡機(jī)制。提供應(yīng)用操作接口來確定虛擬機(jī)平臺是否為軟件資源提供服務(wù)，并推動和開發(fā)軟硬件。資源下行方案[4]的特點(diǎn)是用戶無法訪問底層程序和硬件資源，亞馬遜云計算平臺的負(fù)載均衡機(jī)制主要包括三個方面：靈活的負(fù)載均衡機(jī)制、云服務(wù)分配資源和云服務(wù)。資源分配機(jī)制，云服務(wù)資源分配過程的監(jiān)控和統(tǒng)一機(jī)制，云資源動態(tài)擴(kuò)展和用戶需求管理，實時監(jiān)控整個云服務(wù)流程、資源分配和流程管理。 Eucalyptus采用集中式負(fù)載均衡控制器來實現(xiàn)云計算平臺的負(fù)載均衡機(jī)制。有三種類型的控制器：云節(jié)點(diǎn)控制器、計算機(jī)集群控制器和云控制器。Microsoft使用控件結(jié)構(gòu)來實現(xiàn)負(fù)載平衡機(jī)制，負(fù)載均衡方法在很大程度上取決于云服務(wù)的類型。針對不同類型的云服務(wù)，使用Azure Fabri Controller服務(wù)和Azure Fabri Controller來完成負(fù)載平衡機(jī)制。GoGrid云計算平臺采用了一種相對開放的負(fù)載均衡方法，它記錄每個服務(wù)器的負(fù)載平衡機(jī)制，并為客戶端提供負(fù)載平衡用戶界面。這些云服務(wù)提供商提供的負(fù)載均衡機(jī)制存在兩個共同的問題：在異構(gòu)云計算平臺上實現(xiàn)集中式性能、可擴(kuò)展性和不可管理性。

1.1 云計算發(fā)展背景

云計算被認(rèn)為是繼個人電腦和互聯(lián)網(wǎng)之后信息技術(shù)的又一個重大變化。這種變化不再僅僅是技術(shù)上的變化，而是經(jīng)營方式的變化。云計算不再像傳統(tǒng)的新技術(shù)那樣為用戶提供硬件，相反，它變成了一種服務(wù)，它不只是使用傳統(tǒng)的計算機(jī)作為新技術(shù)，而是提供一個像云這樣的集中式網(wǎng)絡(luò)，為用戶提供個性化服務(wù)。

云計算的發(fā)展得益于網(wǎng)絡(luò)應(yīng)用的革命。傳統(tǒng)的計算機(jī)模型存在許多問題，這些問題阻礙了計算機(jī)技術(shù)的發(fā)展，如基礎(chǔ)設(shè)施建設(shè)的啟動，潛在開發(fā)成本的減少。雖然最終只有少數(shù)先進(jìn)的應(yīng)用程序能夠提供服務(wù)，但用戶仍然需要開始進(jìn)行基礎(chǔ)設(shè)施建設(shè)，這大大增加了建設(shè)成本和使用時間。開始使用互聯(lián)網(wǎng)后，服務(wù)提供商仍將負(fù)責(zé)下一階段的維護(hù)工作，因此不會集中精力開發(fā)新項目。為了擴(kuò)展服務(wù)平臺，當(dāng)需要改變云平臺或服務(wù)規(guī)模時，必須對傳統(tǒng)的計算模型進(jìn)行較大的修改。

在此基礎(chǔ)上，提出了云計算技術(shù)的發(fā)展方向。云計算的使用具有靈活性、可靠性和可擴(kuò)展性的特點(diǎn)，企業(yè)甚至用戶都可以在云服務(wù)商提供的云平臺上快速搭建自己的系統(tǒng)?？紤]到基礎(chǔ)設(shè)施的維護(hù)，不需要考慮底層的具體實現(xiàn)，只需要在平臺上專心搭建自己需要的服務(wù)或系統(tǒng)即可。云平臺的可擴(kuò)展性也能得到滿足，用戶不斷變化的需求降低了服務(wù)成本。

1.2 云計算的定義

云計算是一個新名詞，2007年云計算技術(shù)才正式進(jìn)入萌芽階段。然而，在2008年12月，Andy Isherwod 說：很多人開始轉(zhuǎn)向云計算研究，但我從未聽到兩個人說得是一回事。Larry Ellison 在《華爾街日報》中提到：談到云計算，一個有趣的現(xiàn)象是我們經(jīng)常根據(jù)我們所做的事情重新定義云計算。至于云計算的定義，有很多不同的類型，云計算的實現(xiàn)也大不相同。維基定義的云計算是一種在線計算方法。這樣，可以根據(jù)需要向計算機(jī)和其他設(shè)備提供通用程序、硬件資源和信息。云計算描述了新的在線 IT 服務(wù)、使用和交付模型，通常涉及通過Internet提供動態(tài)、易于擴(kuò)展和虛擬化的資源。美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）將云計算定義為按使用付費(fèi)的模型，該模型提供可用、方便和按需的Internet訪問以及對可配置計算資源（資源包括網(wǎng)絡(luò)、服務(wù)器、存儲和應(yīng)用程序）的訪問，這些資源可以快速提供，只需很少的管理工作或與服務(wù)提供商的互動。

云計算技術(shù)的基本原理是將一個龐大的應(yīng)用處理程序跨越網(wǎng)絡(luò)層劃分為若干個子程序，然后在服務(wù)器集群中進(jìn)行應(yīng)用搜索，找到合適的應(yīng)用來處理用戶請求，最后將結(jié)果返回給用戶。

2 云計算平臺負(fù)載均衡機(jī)制的基本原理及過程

同一個云計算平臺按類型分為N個云計算域。資源管理器實現(xiàn)了負(fù)載均衡、安全認(rèn)證、計費(fèi)服務(wù)、容錯計費(fèi)機(jī)制、故障恢復(fù)等功能。同時，資源管理器在虛擬資源池中構(gòu)建異構(gòu)資源，云計算平臺為用戶提供對異構(gòu)云計算平臺的訪問。假設(shè)p=1，在每個云計算區(qū)域的資源管理器和其他云計算區(qū)域的資源管理器之間建立虛擬連接。必須強(qiáng)調(diào)的是，研究人員的數(shù)量不能太多，因為人力資源管理司負(fù)責(zé)執(zhí)行區(qū)域內(nèi)平衡機(jī)制等職能，云計算的管理和實施機(jī)制不同，地區(qū)之間差異很大。如果研究人員過多，研究人員之間的網(wǎng)絡(luò)溝通就會變得非常復(fù)雜，分析帳戶資源管理器消耗了大量的計算資源，這與原來的設(shè)計不符，研究人員可以根據(jù)需要斷開或添加默認(rèn)的Internet連接。如果云節(jié)點(diǎn)遇到錯誤，資源管理器可以基于容錯和錯誤恢復(fù)重置新的資源管理器。在這個過程中，檢測特定的代理來監(jiān)控整個網(wǎng)絡(luò)，不斷檢測網(wǎng)絡(luò)資源管理器的虛擬連接，通過改變網(wǎng)絡(luò)連接的配置來適應(yīng)計算環(huán)境的變化，實現(xiàn)自動加載平衡異構(gòu)云計算環(huán)境。

3 模擬實驗及結(jié)果分析

云計算技術(shù)與移動技術(shù)的結(jié)合充分利用了移動技術(shù)的異構(gòu)性，通過與其他異構(gòu)云計算平臺的合作協(xié)商，將來自云應(yīng)用或服務(wù)的數(shù)據(jù)封裝在云計算中，移動代理完成資源分配研究，可以在異構(gòu)環(huán)境中實現(xiàn)更好的負(fù)載均衡機(jī)制。基于上述理論，云計算環(huán)境模擬了一個基于異構(gòu)云計算平臺的負(fù)載均衡模型，在虛擬資源池中設(shè)置了5個云計算域，為每個云節(jié)點(diǎn)創(chuàng)建了100個虛擬云節(jié)點(diǎn)。每個域具有相同的處理能力，EC值為1，識別因子的初始值設(shè)置為 100。在云計算環(huán)境中，隨機(jī)選取100個云節(jié)點(diǎn)作為異構(gòu)層級值識別因子，執(zhí)行步長設(shè)置為固定值，固定值設(shè)置為10步，同時隨機(jī)分配500個云服務(wù)任務(wù)到分配的云計算區(qū)域中的所有節(jié)點(diǎn)。指定單位時間t作為負(fù)載均衡操作，每個云節(jié)點(diǎn)計算一個元素任務(wù)，所有因素都檢查一次，檢測滿足云節(jié)點(diǎn)、進(jìn)程負(fù)載均衡和云節(jié)點(diǎn)檢測的要求。信息已更新，隨機(jī)下載50個隨機(jī)選擇的云節(jié)點(diǎn)，隨后啟動系統(tǒng)，并在異構(gòu)云計算環(huán)境中隨機(jī)選擇10個過載的云節(jié)點(diǎn)，實現(xiàn)10個過載的云節(jié)點(diǎn)的負(fù)載均衡方法。在本文中，選擇了10個隨機(jī)運(yùn)行、輕負(fù)載的云節(jié)點(diǎn)來實現(xiàn)低負(fù)載均衡方法。設(shè)置10個輪詢步驟和負(fù)載均衡流程后，隨機(jī)重新選擇云節(jié)點(diǎn)，實現(xiàn)新一輪的負(fù)載均衡過程。

發(fā)現(xiàn)代理后，每20個負(fù)載平衡周期從資源管理器中提取實時負(fù)載數(shù)據(jù)。經(jīng)過50次會話，基于異構(gòu)云計算平臺的負(fù)載均衡模型與 Hadoop 提出的虛擬負(fù)載均衡機(jī)制的仿真結(jié)果進(jìn)行比較，計算出負(fù)載均衡導(dǎo)致的各云計算區(qū)域中負(fù)載管理器的標(biāo)準(zhǔn)差機(jī)制。在Hadoop架構(gòu)下，基于異構(gòu)云計算平臺的負(fù)載均衡機(jī)制比一般的負(fù)載均衡機(jī)制降速更快，性能優(yōu)于標(biāo)準(zhǔn)的負(fù)載均衡機(jī)制。

4 結(jié)語

負(fù)載均衡問題是云計算技術(shù)在數(shù)字圖書館中應(yīng)用的關(guān)鍵問題之一。它是指在云計算環(huán)境下，某個云節(jié)點(diǎn)的計算任務(wù)超出了該節(jié)點(diǎn)應(yīng)該承擔(dān)的計算任務(wù)，而需要將超載節(jié)點(diǎn)的部分計算任務(wù)，移植到云環(huán)境中分布在不同地理位置的其他同構(gòu)或異構(gòu)云計算平臺的其它云節(jié)點(diǎn)上，使得云計算環(huán)境中的計算資源、軟硬件資源、應(yīng)用資源等能夠達(dá)到最優(yōu)化的配置。

在云計算環(huán)境中，各個云計算服務(wù)供應(yīng)商位于不同的地理位置，彼此之間沒有形成統(tǒng)一的云計算標(biāo)準(zhǔn)，各云計算平臺所提供的計算資源和云計算能力存在著較大的差異。當(dāng)云用戶數(shù)量及云計算平臺的計算負(fù)荷達(dá)到一定程度時，云服務(wù)請求就會隨時間及計算量的變化產(chǎn)生動態(tài)變化。當(dāng)云服務(wù)提供者在服務(wù)器端加入了一定數(shù)量的新節(jié)點(diǎn)后，就會帶來三個直接的問題：

1.由于大量新節(jié)點(diǎn)的加入，云計算環(huán)境中出現(xiàn)節(jié)點(diǎn)故障的可能性會增加。

2.在處理某些云服務(wù)時會出現(xiàn)某些云節(jié)點(diǎn)的計算資源消耗過大，甚至?xí)霈F(xiàn)超負(fù)荷的情況，而另外一些云節(jié)點(diǎn)的計算資源消耗則處于閑置或低負(fù)荷狀態(tài)。

3.不同的云服務(wù)供應(yīng)商提供了不同云計算平臺，彼此之間是異構(gòu)的，各個云計算平臺的應(yīng)用和數(shù)據(jù)無法實現(xiàn)互相操作和可移植。

正如范佩西所說，“云計算離我們不遠(yuǎn)了”“它可以推動圖書館事業(yè)的發(fā)展，使圖書館學(xué)處于學(xué)科的頂峰”。云計算中的一些技術(shù)問題也限制了云的發(fā)展，在使用庫計算時，其中之一就是研究負(fù)載均衡機(jī)制。 目前，云服務(wù)商提供的云計算平臺可能比想象中的實驗平臺復(fù)雜，理論模型在實驗中可以實現(xiàn)，但與實際情況存在差異。

參考文獻(xiàn)：

[1] 董衍旭，狄慧芳，宋婭.基于GA-ACO的云計算負(fù)載均衡算法研究[J].國外電子測量技術(shù)，2019（04）：116-120.

[2] 陳臣，高軍.云計算環(huán)境下基于服務(wù)質(zhì)量的數(shù)字圖書館負(fù)載均衡機(jī)制研究[J].新世紀(jì)圖書館，2014（02）：48-51.

[3] 耿強(qiáng)，黃雪琴.云計算下的一種自適應(yīng)負(fù)載均衡算法的研究[J].科技通報，2019，252（08）：137-141.

[4] 李菁.改進(jìn)快速稀疏算法的云計算資源負(fù)載均衡[J].微型電腦應(yīng)用，2019，35（10）：36-38.