面向云計(jì)算并發(fā)訪問的計(jì)算機(jī)大數(shù)據(jù)調(diào)度負(fù)載均衡方法

王艷兵

(徽商職業(yè)學(xué)院 電子信息系,安徽 合肥 230000)

隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)飛速發(fā)展,計(jì)算機(jī)儲(chǔ)存的數(shù)據(jù)種類及數(shù)量日益增多。由于網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大,將會(huì)有海量數(shù)據(jù)向計(jì)算機(jī)服務(wù)中心轉(zhuǎn)移,從而導(dǎo)致數(shù)據(jù)中心能耗不斷增大,運(yùn)營商運(yùn)行費(fèi)用不斷上升。計(jì)算機(jī)中心聚集了大量計(jì)算設(shè)備和平臺(tái),但由于無法合理地配置和利用這些資源,引起計(jì)算機(jī)服務(wù)中心能源消耗增大,從而導(dǎo)致了資源浪費(fèi)和服務(wù)費(fèi)用持續(xù)增長。文獻(xiàn)[1]提出了一種基于神經(jīng)網(wǎng)絡(luò)的應(yīng)用分析方法,該方法根據(jù)分塊規(guī)模、分支執(zhí)行步驟,使用針對神經(jīng)網(wǎng)絡(luò)規(guī)?；膽?yīng)用方法,結(jié)合Winograd算法,實(shí)現(xiàn)對計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的進(jìn)一步優(yōu)化;文獻(xiàn)[2]提出了模擬退火法的應(yīng)用分析方法,該方法通過開放排隊(duì)網(wǎng)絡(luò)對移動(dòng)業(yè)務(wù)流時(shí)延進(jìn)行優(yōu)化建模,使用模擬退火求解模型,并在不同服務(wù)請求量和虛擬網(wǎng)絡(luò)結(jié)構(gòu)之間建立邏輯關(guān)聯(lián),實(shí)現(xiàn)對計(jì)算機(jī)虛擬網(wǎng)絡(luò)功能部署。然而,這兩種方法容易受到計(jì)算機(jī)存儲(chǔ)內(nèi)存影響,導(dǎo)致遠(yuǎn)程計(jì)算機(jī)無法根據(jù)目標(biāo)需求發(fā)送計(jì)算機(jī)所需內(nèi)容,也無法實(shí)現(xiàn)計(jì)算機(jī)數(shù)據(jù)有效反饋。針對該問題,本文提出了面向云計(jì)算并發(fā)訪問的計(jì)算機(jī)大數(shù)據(jù)調(diào)度負(fù)載均衡方法。

1 計(jì)算機(jī)大數(shù)據(jù)云計(jì)算并發(fā)訪問控制

1.1 基于正負(fù)理想解的大數(shù)據(jù)全面訪問

在云計(jì)算環(huán)境中,多個(gè)用戶同時(shí)訪問和處理大數(shù)據(jù)是常見的情況,容易出現(xiàn)數(shù)據(jù)丟失導(dǎo)致數(shù)據(jù)訪問不全面的問題。大數(shù)據(jù)全面訪問機(jī)制可以通過正負(fù)理想解的大數(shù)據(jù)全面訪問機(jī)制,將不同用戶或應(yīng)用程序的數(shù)據(jù)隔離開來,防止不同用戶之間的數(shù)據(jù)沖突和干擾,確保數(shù)據(jù)的安全性和完整性。正負(fù)理想解關(guān)系如

圖1所示。考慮到負(fù)理想解的關(guān)鍵參考作用,計(jì)算備選項(xiàng)與正理想解距離公式為

ε取值不同,可以反映決策者對指標(biāo)偏離程度。當(dāng)ε=1時(shí),強(qiáng)調(diào)云計(jì)算部署方案整體效用最大化;當(dāng)ε→∞時(shí),強(qiáng)調(diào)云計(jì)算部署方案整體懲罰最大化。通過云計(jì)算部署方案的正負(fù)理想解大數(shù)據(jù)全面訪問機(jī)制,可保證訪問數(shù)據(jù)的全面性。

1.2 訪問控制身份認(rèn)證機(jī)制設(shè)計(jì)

在保證訪問數(shù)據(jù)全面性的同時(shí),為了保證數(shù)據(jù)的安全性和隱私保護(hù),需要對訪問身份進(jìn)行驗(yàn)證,確保只有經(jīng)過身份認(rèn)證的用戶才能訪問數(shù)據(jù),并且按照其權(quán)限進(jìn)行合法的訪問操作。訪問控制機(jī)制利用預(yù)先定義的存取控制策略,對數(shù)據(jù)需求進(jìn)行約束,使授權(quán)的合法使用者能夠存取數(shù)據(jù),而不能存取未獲許可的數(shù)據(jù)。適當(dāng)?shù)脑L問控制機(jī)制,可以有效地限制使用者的存取權(quán)限,保證信息安全。利用云計(jì)算技術(shù)進(jìn)行數(shù)據(jù)支持,將會(huì)給用戶帶來更好的數(shù)據(jù)處理體驗(yàn)效果。

訪問控制身份認(rèn)證機(jī)制主要包括密碼、一次性令牌、條件屬性驗(yàn)證,驗(yàn)證請求用戶是否合法。當(dāng)客戶機(jī)以ID及口令登錄時(shí),若口令是有效的,則會(huì)產(chǎn)生一次令牌,將該令牌直接傳送到客戶端,結(jié)合一次性令牌提高云計(jì)算中客戶認(rèn)證效率。訪問控制身份認(rèn)證機(jī)制采用一次性令牌對客戶端進(jìn)行身份認(rèn)證,而口令則是為了防止賬戶被非法訪問而用來保護(hù)用戶賬戶安全的密碼。無論何時(shí)客戶機(jī)登錄,訪問控制身份認(rèn)證機(jī)制都會(huì)提供一種新的可使用標(biāo)記。一次性令牌由系統(tǒng)自行根據(jù)下列公式自動(dòng)產(chǎn)生,ID→OT,OT={p}。式中,OT表示一次性令牌,p表示素?cái)?shù)。當(dāng)客戶端登錄時(shí),這個(gè)方法就會(huì)提供一個(gè)新的可用標(biāo)簽。這種一次性標(biāo)記是通過系統(tǒng)按照

自動(dòng)產(chǎn)生的。式中,X1、X2、X3分別表示計(jì)算機(jī)大數(shù)據(jù)密碼、一次性令牌、條件屬性。如果多階段身份被認(rèn)證,那么說明控制請求是有效性,具有一定可信性。反之,則不可信,無法通過訪問控制身份認(rèn)證。

2 計(jì)算機(jī)大數(shù)據(jù)多批處理調(diào)度

對計(jì)算機(jī)大數(shù)據(jù)云計(jì)算并發(fā)訪問進(jìn)行控制,可以提高數(shù)據(jù)訪問的全面性和安全性,但是計(jì)算機(jī)大數(shù)據(jù)中的數(shù)據(jù)量過大和計(jì)算任務(wù)過多會(huì)造成計(jì)算機(jī)負(fù)載失衡,進(jìn)而導(dǎo)致計(jì)算機(jī)系統(tǒng)性能降低,給計(jì)算中心帶來更多能源消耗。因此,通過對計(jì)算機(jī)進(jìn)行多批調(diào)度處理,在保證訪問安全的條件下,可降低調(diào)度能耗,提高計(jì)算機(jī)的系統(tǒng)性能。

2.1 制定計(jì)算機(jī)大數(shù)據(jù)多批處理分級(jí)方案

利用MapReduce迭代法對基于云計(jì)算的多批次數(shù)據(jù)進(jìn)行排序,每一個(gè)映射任務(wù)都會(huì)從HDFS上裝載數(shù)據(jù),而Reduce任務(wù)則會(huì)向HDFS發(fā)送一次迭代中間結(jié)果。在下一個(gè)循環(huán)中,同樣裝載和傳送程序也會(huì)重復(fù)[3-4]。為防止因數(shù)據(jù)量過大和計(jì)算任務(wù)過多造成計(jì)算機(jī)負(fù)載失衡,將數(shù)據(jù)多批處理任務(wù)分配到固定節(jié)點(diǎn)上。因此,構(gòu)建基于云計(jì)算的任務(wù)調(diào)度模型(圖2)。

圖2 基于云計(jì)算的調(diào)度模型

由于云計(jì)算具有大量計(jì)算機(jī)集群[5-7],這些集群的結(jié)構(gòu)復(fù)雜且異構(gòu),所以通過負(fù)載均衡處理,使各個(gè)計(jì)算機(jī)集群均衡地分配數(shù)據(jù)和計(jì)算任務(wù),降低計(jì)算機(jī)集群的能耗,讓網(wǎng)絡(luò)資源得到更加平衡和充分的利用,避免某些計(jì)算機(jī)過載而導(dǎo)致系統(tǒng)性能下降,或某些計(jì)算機(jī)空閑而浪費(fèi)網(wǎng)絡(luò)資源。在服務(wù)端收到批量數(shù)據(jù)后,通過評(píng)估其價(jià)值函數(shù),計(jì)算出任務(wù)收益,從而判定是否接受[8]。服務(wù)方接收任務(wù)時(shí)的增益

式中,r表示任務(wù)接收后所帶來的收益,t0、t1、tmax分別表示延遲時(shí)間、任務(wù)持續(xù)時(shí)間和任務(wù)完成時(shí)間,δ表示收益變化值[9]。由于計(jì)算機(jī)處理大數(shù)據(jù)時(shí),面對的是多批處理任務(wù),所以該情況下的服務(wù)方接收任務(wù)增益可表示為

式中,α、β分別表示收益和未收益成本比例,tB表示任務(wù)B持續(xù)時(shí)間,z表示任務(wù)B執(zhí)行成本。將相同收益計(jì)算機(jī)大數(shù)據(jù)調(diào)度任務(wù)歸一處理,通過數(shù)據(jù)分級(jí)調(diào)度策略達(dá)到多批大數(shù)據(jù)處理最大化收益目的[10]。

2.2 大數(shù)據(jù)多批處理調(diào)度方案的實(shí)現(xiàn)

在云計(jì)算環(huán)境下,用戶提交的任務(wù)調(diào)度為待執(zhí)行B任務(wù),將調(diào)度分配到適當(dāng)計(jì)算資源節(jié)點(diǎn),以滿足用戶要求。調(diào)度分為兩個(gè)階段:第一階段的調(diào)度是根據(jù)用戶運(yùn)行時(shí)間來安排任務(wù)到虛擬機(jī)[11];第二級(jí)段調(diào)度是根據(jù)任務(wù)特性和負(fù)載狀況,對虛擬機(jī)進(jìn)行合理分配,以保證系統(tǒng)資源負(fù)載平衡,同時(shí)降低系統(tǒng)整體功耗[12]。為了快速完成任務(wù),需要大量的運(yùn)算節(jié)點(diǎn),這導(dǎo)致計(jì)算中心的能耗和運(yùn)營商的成本上升。為了使任務(wù)能在最短時(shí)間內(nèi)完成,必須調(diào)動(dòng)更多計(jì)算節(jié)點(diǎn),這就給計(jì)算中心帶來更多能源消耗[13]。為了在低成本、短時(shí)間內(nèi)調(diào)度多批大數(shù)據(jù),構(gòu)建了任務(wù)執(zhí)行時(shí)間和能耗雙重優(yōu)化函數(shù)

式中,Tt(a,b)表示任務(wù)從節(jié)點(diǎn)a到節(jié)點(diǎn)b預(yù)計(jì)完成的時(shí)間,j表示任務(wù)完成輪次。

任務(wù)調(diào)度能耗成本為

式中,C1(j)、C2(j)、C3(j)分別表示單位時(shí)間計(jì)算、傳輸和存儲(chǔ)所消耗的能量。云環(huán)境中,當(dāng)任務(wù)分配時(shí),適應(yīng)性高的個(gè)體會(huì)被更多地遺傳到下一代,而適應(yīng)性低的個(gè)體會(huì)在每次的競爭中被淘汰[14]。

采用雙目標(biāo)優(yōu)化方法,以減少任務(wù)完成時(shí)間,降低計(jì)算服務(wù)中心能量消耗。構(gòu)建基于時(shí)間-能耗雙重任務(wù)調(diào)度的適應(yīng)度函數(shù)

H(I)=ω時(shí)間h時(shí)間(I)+ω能耗h能耗(I)。

式中,ω時(shí)間、h時(shí)間(I)分別表示時(shí)間權(quán)重和適應(yīng)度函數(shù),ω能耗、h能耗(I)分別表示能耗權(quán)重和適應(yīng)度函數(shù)[15]。假設(shè)計(jì)算機(jī)大數(shù)據(jù)從節(jié)點(diǎn)a到節(jié)點(diǎn)b的最短傳輸路徑為d,那么數(shù)據(jù)傳輸路徑迭代函數(shù)可表示為

dm(b)=dm-1(a)+ω′(a,b)。

式中,m表示迭代次數(shù),ω′(a,b)表示節(jié)點(diǎn)a到節(jié)點(diǎn)b的權(quán)值。充分考慮收益要素,通過計(jì)算獲取調(diào)度任務(wù)和計(jì)算機(jī)空閑狀態(tài)下相匹配的動(dòng)態(tài)調(diào)度方案,公式為

T(B,G)=u(B)-t(B,G)+ωBv(B,G)。

式中,u(B)表示任務(wù)執(zhí)行優(yōu)先等級(jí),t(B,G)表示計(jì)算機(jī)空閑狀態(tài)G下任務(wù)執(zhí)行初始時(shí)間,ωB表示任務(wù)權(quán)重,v(B,G)表示任務(wù)處理速度,通過該式實(shí)現(xiàn)對計(jì)算機(jī)大數(shù)據(jù)多批處理調(diào)度,降低調(diào)度能耗,提高計(jì)算機(jī)的系統(tǒng)性能。

3 方法測試

為了檢驗(yàn)面向云計(jì)算并發(fā)訪問的計(jì)算機(jī)大數(shù)據(jù)調(diào)度負(fù)載均衡方法合理性,采用某企業(yè)的云計(jì)算管理系統(tǒng)平臺(tái)進(jìn)行測試。云計(jì)算管理系統(tǒng)平臺(tái)如圖3所示。根據(jù)圖3的云計(jì)算管理系統(tǒng)平臺(tái),基于網(wǎng)絡(luò)流量數(shù)據(jù)集,從任務(wù)調(diào)度和數(shù)據(jù)訪問兩方面對計(jì)算機(jī)的能耗調(diào)度、資源利用率和總隱私權(quán)重展開測試,其結(jié)構(gòu)如圖4所示。

圖3 云計(jì)算管理系統(tǒng)平臺(tái)

圖4 CloudSim分層結(jié)構(gòu)

計(jì)算機(jī)相關(guān)配置及負(fù)載參數(shù)如表1所示。

表1 計(jì)算機(jī)相關(guān)配置及負(fù)載參數(shù)

3.1 訪問測試

圖5 三種方法總隱私權(quán)重對比分析

3.2 調(diào)度測試

CloudSim提供了專門的虛擬機(jī)、內(nèi)存、帶寬等接口,可以模擬虛擬環(huán)境中云計(jì)算技術(shù),并能在這種環(huán)境中進(jìn)行多批次數(shù)據(jù)調(diào)度。計(jì)算機(jī)運(yùn)行時(shí)間和能耗是調(diào)度的關(guān)鍵因素,以調(diào)度能耗為例,使用神經(jīng)網(wǎng)絡(luò)法、模擬退火法和本研究方法對比分析能耗調(diào)度情況,對比結(jié)果如圖6所示。

圖6 三種方法能耗調(diào)度結(jié)果對比分析

由圖6可知,使用神經(jīng)網(wǎng)絡(luò)法、模擬退火法能耗調(diào)度結(jié)果與理想結(jié)果相差較大,無法全部擬合在同一條曲線上,由此說明使用傳統(tǒng)兩種方法擬合效果較差,即能耗調(diào)度結(jié)果不理想;使用本研究方法能耗調(diào)度結(jié)果與理想結(jié)果接近,大部分?jǐn)?shù)據(jù)擬合在同一條曲線上,由此說明使用本研究方法擬合效果較好,即能耗調(diào)度結(jié)果理想。

以調(diào)度時(shí)間為例,使用神經(jīng)網(wǎng)絡(luò)法、模擬退火法和本研究方法對比分析能耗調(diào)度情況,對比結(jié)果如圖7所示。由圖7可知,本研究方法在進(jìn)行負(fù)載均衡調(diào)度時(shí),網(wǎng)絡(luò)資源利用率高于神經(jīng)網(wǎng)絡(luò)法和模擬退火法,說明使用本研究方法可以提高網(wǎng)絡(luò)資源的利用率,負(fù)載均衡性能良好,能夠達(dá)到最佳均衡狀態(tài)。

圖7 三種方法負(fù)載均衡調(diào)度結(jié)果對比分析

4 結(jié)束語

為了解決計(jì)算機(jī)大數(shù)據(jù)調(diào)度能耗高、訪問不安全的問題,提出了一種面向云計(jì)算并發(fā)訪問的計(jì)算機(jī)大數(shù)據(jù)調(diào)度負(fù)載均衡方法:給出了一種基于多級(jí)身份驗(yàn)證的云計(jì)算隱私保護(hù)算法,采用口令、一次性標(biāo)識(shí)、條件屬性等多種方式進(jìn)行身份驗(yàn)證,以防止在計(jì)算復(fù)雜度較低情況下進(jìn)行非法訪問,從而提高了云數(shù)據(jù)隱私權(quán)保護(hù)。通過對多批數(shù)據(jù)的排序處理,保證了在以后數(shù)據(jù)調(diào)度中仍然能夠很好實(shí)現(xiàn)負(fù)載平衡,防止了因負(fù)載不平衡而造成業(yè)務(wù)崩潰。