云環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的容錯(cuò)性資源配置研究

李宏梅，楊天國(guó)，張磊，莫瑞超，許小龍,3，徐占洋,3

（1.云南電網(wǎng)有限責(zé)任公司德宏供電局，云南 德宏 678400； 2.南京信息工程大學(xué)計(jì)算機(jī)軟件學(xué)院，江蘇 南京 210044； 3.南京信息工程大學(xué)江蘇省網(wǎng)絡(luò)監(jiān)控中心，江蘇 南京 210044）

0 前言

隨著近些年來(lái)互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，互聯(lián)網(wǎng)應(yīng)用所產(chǎn)生的數(shù)據(jù)規(guī)模在不斷擴(kuò)大的同時(shí)，數(shù)據(jù)的復(fù)雜性也在逐漸增加[1]。為了給用戶提供豐富且良好的互聯(lián)網(wǎng)服務(wù)，如何及時(shí)有效地處理這些應(yīng)用數(shù)據(jù)是現(xiàn)在互聯(lián)網(wǎng)行業(yè)所面臨的巨大難題[2-3]。

云計(jì)算作為一種分布式計(jì)算模式，通過(guò)將計(jì)算任務(wù)部署在擁有超強(qiáng)計(jì)算能力的資源池中，各計(jì)算任務(wù)能夠根據(jù)自身需求獲取計(jì)算資源，從而使得計(jì)算任務(wù)能夠得到高效的執(zhí)行[4]。隨著近些年來(lái)云計(jì)算技術(shù)的快速發(fā)展，云計(jì)算的相關(guān)技術(shù)日漸成熟，通過(guò)構(gòu)建大型云平臺(tái)以滿足用戶的計(jì)算資源需求，使得互聯(lián)網(wǎng)應(yīng)用所產(chǎn)生的數(shù)據(jù)能夠得到有效的處理，已經(jīng)成為目前的一種趨勢(shì)[5]。

數(shù)據(jù)密集型應(yīng)用作為一種對(duì)數(shù)據(jù)的訪問(wèn)頻率十分密集且數(shù)據(jù)量大的特殊應(yīng)用，其要求產(chǎn)生的數(shù)據(jù)需要在極短的時(shí)間內(nèi)得到有效處理。相比與非數(shù)據(jù)密集型的應(yīng)用，數(shù)據(jù)密集型應(yīng)用對(duì)數(shù)據(jù)處理時(shí)延極其敏感。當(dāng)應(yīng)用所產(chǎn)生的數(shù)據(jù)不能夠得到及時(shí)的處理將會(huì)帶來(lái)較差的用戶體驗(yàn)。云計(jì)算技術(shù)雖然為應(yīng)對(duì)數(shù)據(jù)密集型應(yīng)用的計(jì)算需求提供了充足的計(jì)算資源，但在云平臺(tái)中部署數(shù)據(jù)密集型應(yīng)用時(shí)仍有一些問(wèn)題需要解決[6-7]。在云平臺(tái)中有許多因素可能導(dǎo)致計(jì)算結(jié)點(diǎn)死機(jī)，例如計(jì)算結(jié)點(diǎn)過(guò)載，操作系統(tǒng)的故障等等[8-9]。當(dāng)任意托管應(yīng)用的計(jì)算節(jié)點(diǎn)發(fā)生故障時(shí)，部署在該故障結(jié)點(diǎn)的計(jì)算任務(wù)不能夠及時(shí)的在正常運(yùn)行的計(jì)算結(jié)點(diǎn)得到恢復(fù)將會(huì)引發(fā)各種后果（例如，數(shù)據(jù)丟失，數(shù)據(jù)密集型應(yīng)用完成時(shí)間延長(zhǎng)等），而這些后果將會(huì)給用戶（比如：電力行業(yè)）帶來(lái)巨大損失[10-12]?？偟膩?lái)說(shuō)，在云平臺(tái)出現(xiàn)故障后，如何為故障結(jié)點(diǎn)上部署的任務(wù)選擇合適的資源配置策略依舊面臨著巨大挑戰(zhàn)。一方面，為宕機(jī)結(jié)點(diǎn)上部署的計(jì)算任務(wù)選擇出最優(yōu)的資源配置策略需要使得數(shù)據(jù)密集型應(yīng)用的完成時(shí)間盡可能的短，另一方面，云平臺(tái)計(jì)算結(jié)點(diǎn)的負(fù)載均衡也需要被考慮，通過(guò)優(yōu)化負(fù)載平衡，云平臺(tái)所有計(jì)算節(jié)點(diǎn)都工作在穩(wěn)定狀態(tài)，這有利于提高云平臺(tái)的資源利用率。此外，保證云平臺(tái)的負(fù)載均衡能夠降低了數(shù)據(jù)密集型應(yīng)用執(zhí)行過(guò)程中出現(xiàn)問(wèn)題的可能性，從而進(jìn)一步提高了云平臺(tái)的容錯(cuò)能力。

針對(duì)現(xiàn)存的故障任務(wù)遷移問(wèn)題上，國(guó)內(nèi)外學(xué)術(shù)界和工業(yè)界都開展了廣泛的研究：Zhu等設(shè)計(jì)了一個(gè)隨意的工作流容錯(cuò)框架，并提出了一種動(dòng)態(tài)容錯(cuò)調(diào)度算法，用于對(duì)虛擬化云中的實(shí)時(shí)工作流進(jìn)行資源配置[13]；文獻(xiàn)[14]中，Asvija等結(jié)合實(shí)際的氣象工作流建立了MM5模型作為計(jì)算網(wǎng)格工作流程的支持框架以解決故障任務(wù)的遷移問(wèn)題；Chen等提出了一種普通任務(wù)失效建模模型，該模型采用基于最大似然估計(jì)的參數(shù)估計(jì)過(guò)程來(lái)模擬工作流工作的性能，該模型的提出在一定程度上解決了故障任務(wù)恢復(fù)的問(wèn)題[15]；文獻(xiàn)[16]中，Ding等從云平臺(tái)的角度提出了一種容錯(cuò)彈性調(diào)度算法，可以應(yīng)用于云平臺(tái)來(lái)執(zhí)行工作流；而在文獻(xiàn)[17]中，Yao等設(shè)計(jì)了一種獨(dú)特的容錯(cuò)工作流調(diào)度算法，該算法結(jié)合了基于復(fù)制和基于重新提交的策略，以實(shí)現(xiàn)其容錯(cuò)功能。

但是當(dāng)前的研究工作忽略了在任務(wù)恢復(fù)過(guò)程中任務(wù)的執(zhí)行完成時(shí)間問(wèn)題，而且也忽略了任務(wù)故障恢復(fù)對(duì)數(shù)據(jù)中心負(fù)載均衡所造成的影響。因此，本文針對(duì)性提出了一種云計(jì)算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的容錯(cuò)性資源配置方法，以實(shí)現(xiàn)任務(wù)故障恢復(fù)，并能夠保證故障恢復(fù)后的任務(wù)的完成時(shí)間與云平臺(tái)所有計(jì)算結(jié)點(diǎn)的負(fù)載均衡需求。

1 基于VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的云平臺(tái)

虛擬層2（Virtual layer 2，VL2）[18]是一種實(shí)用的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，分為中繼交換機(jī)層（Intermediate Switches Layer）、匯聚交換機(jī)層（Aggregate Switches Layer）和TOR交換機(jī)層(Top of Rack Switches Layer)[15]。通過(guò)部署大量的網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)鏈接，VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)實(shí)現(xiàn)了網(wǎng)絡(luò)的全二等分帶寬，為建立高性能的云平臺(tái)提供了良好的基礎(chǔ)[18]。

如圖1所示，在根據(jù)VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)搭建的云平臺(tái)中，不同的區(qū)域根據(jù)實(shí)際的計(jì)算需要部署任務(wù)備份節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。在同一區(qū)域的所有計(jì)算節(jié)點(diǎn)和備份節(jié)點(diǎn)都被連接相同的TOR層交換機(jī)。此外，為了保證兩個(gè)區(qū)域之間的數(shù)據(jù)通信，兩個(gè)相鄰區(qū)域的TOR層交換機(jī)被連接到同一個(gè)匯聚層交換機(jī)上。同時(shí)，匯聚層的所有交換機(jī)都被連接到中繼交換機(jī)上以保證網(wǎng)絡(luò)中所有區(qū)域之間的數(shù)據(jù)通信。因此，在VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)所搭建的云平臺(tái)中每一個(gè)終端計(jì)算節(jié)點(diǎn)到中繼交換機(jī)的最長(zhǎng)距離為3跳，這使得在云平臺(tái)部分結(jié)點(diǎn)發(fā)生錯(cuò)誤的時(shí)候，宕機(jī)任務(wù)能夠得到有效的恢復(fù)。

圖1 基于VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的云平臺(tái)

2 系統(tǒng)模型

2.1 數(shù)據(jù)密集型應(yīng)用模型

為了簡(jiǎn)化數(shù)據(jù)密集型應(yīng)用的工作流程，在本文中將數(shù)據(jù)密集型應(yīng)用被定義為有向無(wú)環(huán)圖（Directed Acyclic Graph, DAG），用D={T,R}來(lái)表示，其中T={t1,t2,...,tn}代表著完成該數(shù)據(jù)密集型應(yīng)用做需要執(zhí)行的任務(wù)集合，而R用來(lái)表示任務(wù)之間數(shù)據(jù)依賴集合。兩個(gè)任務(wù)之間的數(shù)據(jù)依賴可以用ri,j=(ti,tj)的形式來(lái)表示，在這種 情 況 下，任 務(wù)ti(1≤i≤n)表 示 為tj(1≤j≤n)的前驅(qū)任務(wù)，相應(yīng)的tj則作為ti的后繼任務(wù)。一般來(lái)說(shuō)，一個(gè)任務(wù)的開始需要傳入來(lái)自前驅(qū)任務(wù)完成得到的數(shù)據(jù)。此外，tstart和tend這兩個(gè)虛擬任務(wù)分別作為應(yīng)用的開始任務(wù)和結(jié)束任務(wù)被引入，使得應(yīng)用中只包含一個(gè)入口和出口。

在數(shù)據(jù)密集型應(yīng)用模型中，從開始結(jié)點(diǎn)到結(jié)束結(jié)點(diǎn)花費(fèi)時(shí)間最長(zhǎng)的路徑被稱為關(guān)鍵路徑，為了找出關(guān)鍵路徑，應(yīng)用中的每一個(gè)任務(wù)的最早開始時(shí)間（Earliest Start Time, EST）、最早完成時(shí)間(Earliest Finish Time, EFT)、最晚開始時(shí)間(Last Start Time, LST)和最晚結(jié)束時(shí)間(Last Finish Time, LFT)需要被計(jì)算出來(lái)以便判斷該任務(wù)是否處于關(guān)鍵路徑。任務(wù)ti的最早開始時(shí)間可以通過(guò)下面的公式計(jì)算出來(lái)：

其中，p(ti)代表的是任務(wù)ti的所有前驅(qū)任務(wù)集合；αjexe是任務(wù)完成所需要的執(zhí)行時(shí)間；ctfi,j代表的是任務(wù)ti獲取其前驅(qū)任務(wù)數(shù)據(jù)所需要花費(fèi)的時(shí)間。

2）迭代：在NSGA-III的迭代過(guò)程中，父代種群Ho經(jīng)過(guò)選擇和突變產(chǎn)生子種群Qo，然后將來(lái)自父代種群Ho和子種群Qo的所有個(gè)體融合到Ro中，然后通過(guò)非優(yōu)勢(shì)排序從Ro中選擇合適的個(gè)體，然后通過(guò)參考點(diǎn)法從N個(gè)個(gè)體形成新的種群N個(gè)個(gè)體選取新的個(gè)體以構(gòu)建新的種群Ht+1。當(dāng)數(shù)據(jù)密集型應(yīng)用的完成時(shí)間和云平臺(tái)的負(fù)載均衡的結(jié)果收斂后，NSGA-III的迭代過(guò)程將會(huì)停止，而此時(shí)種群中的個(gè)體將形成一個(gè)解集，稱為帕雷托（Pareto）最優(yōu)解。

粗選磁場(chǎng)強(qiáng)度110 kA/m，精選磁場(chǎng)強(qiáng)度110 kA/m，掃選磁場(chǎng)強(qiáng)度110 kA/m。磨礦細(xì)度80.00%-0.074 mm，給礦濃度35.00%。試驗(yàn)結(jié)果見表9，試驗(yàn)原則流程圖及數(shù)質(zhì)量流程分別見圖3、圖4。

任務(wù)ti的最晚開始時(shí)間通過(guò)下式可以計(jì)算出來(lái)：

其中，c(ti)代表的是任務(wù)ti的后繼任務(wù)集合。此外，應(yīng)用的最晚開始時(shí)間表示為：

通過(guò)上述分析，可以得到應(yīng)用上每一個(gè)任務(wù)的最早開始時(shí)間和最晚開始時(shí)間，而后根據(jù)關(guān)鍵路徑的定義可知，當(dāng)一個(gè)任務(wù)的最早開始時(shí)間和最晚開始時(shí)間相等，則該任務(wù)是關(guān)鍵路徑上的任務(wù)，稱該任務(wù)為關(guān)鍵任務(wù)。根據(jù)關(guān)鍵任務(wù)可以找出應(yīng)用的關(guān)鍵路徑，從而計(jì)算出該數(shù)據(jù)密集型應(yīng)用的最大完成時(shí)間D。

2.2 宕機(jī)任務(wù)恢復(fù)時(shí)間計(jì)算模型

在數(shù)據(jù)密集型應(yīng)用模型基礎(chǔ)上，假設(shè)由于計(jì)算結(jié)點(diǎn)發(fā)生故障導(dǎo)致工作流產(chǎn)生的宕機(jī)任務(wù)集合為FT={ft1,ft2,...,ftn}，為了恢復(fù)ftz（1≤z≤n），該任務(wù)的備份鏡像數(shù)據(jù)和前驅(qū)任務(wù)完成所產(chǎn)生的數(shù)據(jù)需要被發(fā)送到恢復(fù)該任務(wù)的計(jì)算結(jié)點(diǎn)，從而使得ftz能夠繼續(xù)執(zhí)行。然而，恢復(fù)任務(wù)的計(jì)算結(jié)點(diǎn)接收宕機(jī)任務(wù)的鏡像數(shù)據(jù)和其前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)并且重啟ftz需要花費(fèi)一定的時(shí)間云計(jì)算平臺(tái)是不能夠被忽略的。假設(shè)恢復(fù)任務(wù)ftz所需要的時(shí)間為HFSz，則HFSz表示為：

扶貧資源濫用，扶貧資金被截留和貪污，扶貧政策監(jiān)管和執(zhí)行中出現(xiàn)偏差，一個(gè)重要的原因就是缺乏有效的跟蹤反饋[4]。由于觀念原因，有些脫貧人口仍死死扣留“貧困帽子”，不愿退出。由于上級(jí)下達(dá)的貧困戶指標(biāo)有限，真正需要幫助的貧困戶無(wú)法進(jìn)入。部分地區(qū)返貧率高，沒有返貧人口再入機(jī)制，貧困人口退出機(jī)制和再入機(jī)制不健全，一些人甚至出現(xiàn)“被脫貧”、“假脫貧”現(xiàn)象。由此可以看出，缺乏動(dòng)態(tài)管理和監(jiān)管，對(duì)黑龍江省精準(zhǔn)脫貧產(chǎn)生了巨大的束縛。

本文提出了一種容錯(cuò)性資源配置方法（Fault- tolerant Resource Provisioning Method，F(xiàn)RPM）使得在云平臺(tái)發(fā)生錯(cuò)誤之后，宕機(jī)任務(wù)能夠找到最優(yōu)的恢復(fù)策略，保證部署在云平臺(tái)上的數(shù)據(jù)密集型應(yīng)用的完成時(shí)間最短的同時(shí)，云平臺(tái)的負(fù)載均衡也能夠得到保證。本文所提出的FRPM是基于參考點(diǎn)的非支配排序算法（Non-dominated Sorting Genetic Algorithm III, NSGA-III）[19],該算法是一種能夠針對(duì)目標(biāo)進(jìn)行同時(shí)優(yōu)化的遺傳算法，F(xiàn)RPM在實(shí)現(xiàn)過(guò)程中將數(shù)據(jù)密集型應(yīng)用的完成時(shí)間和云平臺(tái)的負(fù)載均衡作為算法優(yōu)化的目標(biāo)，借助NSGA-III為宕機(jī)任務(wù)找到能夠同時(shí)滿足數(shù)據(jù)密集型應(yīng)用的完成時(shí)間最短和云計(jì)算平臺(tái)的負(fù)載均衡這兩個(gè)目標(biāo)的資源配置策略。

假設(shè)云計(jì)算中心當(dāng)前未發(fā)生故障的計(jì)算結(jié)點(diǎn)的集合為Ps={ps1,ps2,...,psl}，且每一個(gè)計(jì)算結(jié)點(diǎn)所剩余的計(jì)算資源表示為cd(1≤d≤l)。此外,鏡像服務(wù)器集合為Pm={pm1,pm2,...,pmk}。假設(shè)ftz會(huì)在psd(1≤d≤k)上重啟，則psd需要從不同的結(jié)點(diǎn)獲取ftz的鏡像數(shù)據(jù)和其前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)。假設(shè)恢復(fù)ftz所需要的鏡像數(shù)據(jù)和前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)分別存放在pam(1≤a≤k)和psb(1≤b≤l)上面。

根據(jù)VL2的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特點(diǎn)，不同的結(jié)點(diǎn)之間的位置關(guān)系存在3種情況，為了便于表示恢復(fù)任務(wù)計(jì)算結(jié)點(diǎn)與前驅(qū)任務(wù)數(shù)據(jù)所在結(jié)點(diǎn)以及任務(wù)的備份數(shù)據(jù)所在結(jié)點(diǎn)之間的關(guān)系，使用ξ來(lái)表示這三種情況：

1）ξ=0代表著兩個(gè)計(jì)算結(jié)點(diǎn)連接到了同一個(gè)TOR；

2）ξ=1代表著兩個(gè)計(jì)算結(jié)點(diǎn)未連接到同一個(gè)TOR交換機(jī)，但是連接到了同一個(gè)匯聚層交換機(jī)；

3）ξ=2代表著兩個(gè)計(jì)算結(jié)點(diǎn)未連接到同一個(gè)TOR交換機(jī)或匯聚層交換機(jī)，但是兩個(gè)結(jié)點(diǎn)連接到了同一個(gè)中繼層交換機(jī)。同理，計(jì)算結(jié)點(diǎn)和任務(wù)鏡像結(jié)點(diǎn)之間的關(guān)系也可以用ξ來(lái)表示。

與傳統(tǒng)的遺傳算法相比，NSGA-III通過(guò)采用精英策略，能夠很迅速找到多目標(biāo)優(yōu)化問(wèn)題的全局最優(yōu)解，所以在本文中采用NSGA-III來(lái)解決多目標(biāo)的宕機(jī)任務(wù)恢復(fù)問(wèn)題[20]。在遺傳算法中，染色體的基因型表示多目標(biāo)優(yōu)化問(wèn)題的解。在本文中為了找到宕機(jī)任務(wù)恢復(fù)策略，對(duì)云平臺(tái)中未發(fā)生錯(cuò)誤的計(jì)算結(jié)點(diǎn)進(jìn)行編碼，將每個(gè)計(jì)算節(jié)點(diǎn)的編號(hào)作為基因，這些基因被組合在一起形成一條染色體，染色體通過(guò)不斷的變異和進(jìn)化從而為宕機(jī)任務(wù)找到最優(yōu)的資源配置策略。此外，由于宕機(jī)任務(wù)不能夠在出現(xiàn)問(wèn)題的計(jì)算結(jié)點(diǎn)恢復(fù)，也不能在計(jì)算容量不能夠滿足運(yùn)行該任務(wù)的計(jì)算結(jié)點(diǎn)上執(zhí)行，所以對(duì)每一條染色體，式（13）和式（14）給出了適應(yīng)度函數(shù)。

for 關(guān)鍵任務(wù) do

當(dāng)psd在得到了ftz的鏡像數(shù)據(jù)之后，需要獲取來(lái)自該任務(wù)的前驅(qū)任務(wù)的數(shù)據(jù)，假設(shè)前驅(qū)任務(wù)的數(shù)據(jù)大小為dmz，則獲取前驅(qū)任務(wù)所產(chǎn)生數(shù)據(jù)需要的傳輸時(shí)間hssz表示為：

此外，由于ftz的前驅(qū)任務(wù)可能會(huì)是一個(gè)或多個(gè)，所以需要從多個(gè)計(jì)算結(jié)點(diǎn)獲取數(shù)據(jù)，但是psd在獲取這些前驅(qū)任務(wù)的數(shù)據(jù)是同時(shí)進(jìn)行的，所以將在這個(gè)過(guò)程中需要的最長(zhǎng)時(shí)間作為hssz。

2.3 負(fù)載均衡模型

在對(duì)宕機(jī)任務(wù)進(jìn)行恢復(fù)的過(guò)程中，需要考慮到這些任務(wù)都屬于數(shù)據(jù)密集型的任務(wù)，對(duì)計(jì)算結(jié)點(diǎn)所處的狀態(tài)有一定的要求。具體來(lái)說(shuō)，如果宕機(jī)任務(wù)在過(guò)載或者即將過(guò)載狀態(tài)的計(jì)算結(jié)點(diǎn)進(jìn)行恢復(fù)，將會(huì)引發(fā)云平臺(tái)的計(jì)算結(jié)點(diǎn)再次出現(xiàn)宕機(jī)的情況。因此，在對(duì)宕機(jī)任務(wù)進(jìn)行恢復(fù)時(shí)一定要考慮到云平臺(tái)所有計(jì)算結(jié)點(diǎn)的負(fù)載均衡狀態(tài)，降低由于恢復(fù)宕機(jī)任務(wù)而導(dǎo)致計(jì)算結(jié)點(diǎn)負(fù)載不均衡的可能。在本文中，云平臺(tái)所有計(jì)算節(jié)點(diǎn)平均利用率的方差被用來(lái)表示云的總體負(fù)載平衡。云計(jì)算中心所有計(jì)算結(jié)點(diǎn)的負(fù)載均衡方差的值越小，就表明云中各計(jì)算節(jié)點(diǎn)的整體負(fù)載越均衡。假設(shè)完成任務(wù)td(1≤d≤n)所需的虛擬機(jī)容量是vmd，且每個(gè)計(jì)算節(jié)點(diǎn)的平均利用率由ρd來(lái)表示，可以表示為：

①系統(tǒng)覆蓋范圍和用戶較廣。在管理內(nèi)容上覆蓋了水利、供水、排水、水文四大行業(yè)；在管理范圍上覆蓋了國(guó)家、直轄市、區(qū)（縣）三級(jí)管理；在建設(shè)范圍上覆蓋了自動(dòng)化和信息化等方面集成；在用戶使用上覆蓋了水行政主管部門、企業(yè)、科研規(guī)劃部門、社會(huì)公眾等。

其中，ω(ti)表示的是判斷任務(wù)ti是否運(yùn)行在計(jì)算結(jié)點(diǎn)psw(1≤w≤l)上，表示為：

此外，ρ被用來(lái)表示云平臺(tái)中所有計(jì)算結(jié)點(diǎn)的平均資源率，表示為：

最后，通過(guò)以上計(jì)算得出了云平臺(tái)各計(jì)算結(jié)點(diǎn)的平均資源利用率和云平臺(tái)總體的平均資源利用率，由此可以的得到云平臺(tái)的負(fù)載均衡，可以表示為：

2.4 目標(biāo)函數(shù)

在云平臺(tái)的計(jì)算結(jié)點(diǎn)發(fā)生錯(cuò)誤時(shí)，需要盡快對(duì)部署在這些計(jì)算結(jié)點(diǎn)上的計(jì)算任務(wù)在其他正常計(jì)算結(jié)點(diǎn)重新啟動(dòng)，以確保數(shù)據(jù)密集型應(yīng)用的完成時(shí)間D最短的同時(shí)，也要保證云平臺(tái)各計(jì)算結(jié)點(diǎn)的負(fù)載均衡U。本文所需要實(shí)現(xiàn)的目標(biāo)和約束具體表示為：

3 本文方法

其中hsmz代表的是下載ftz鏡像數(shù)據(jù)所需要的時(shí)間，hsfz是獲取該任務(wù)的前驅(qū)任務(wù)執(zhí)行產(chǎn)生數(shù)據(jù)所花費(fèi)的時(shí)間，hssz是在計(jì)算結(jié)點(diǎn)上重啟ftz所需要的時(shí)間。

基于前文分析，從深層原則與基礎(chǔ)理念看，近代以來(lái)西方社會(huì)管理的基本要素或基本原則主要有兩個(gè)：一是個(gè)人主義，二是理性主義。

3.1 數(shù)據(jù)密集型應(yīng)用完成時(shí)間計(jì)算方法

數(shù)據(jù)密集型應(yīng)用的完成時(shí)間是指從開始任務(wù)到結(jié)束任務(wù)所需要的最長(zhǎng)執(zhí)行時(shí)間，也就是關(guān)鍵路徑上所有任務(wù)完成所花費(fèi)的時(shí)間的總和。為了計(jì)算出數(shù)據(jù)密集型應(yīng)用的完成時(shí)間，在算法1中，首先需要找出數(shù)據(jù)密集型應(yīng)用中的關(guān)鍵路徑，然后對(duì)關(guān)鍵路徑上面的關(guān)鍵任務(wù)所需要的時(shí)間進(jìn)行求和，從而得到數(shù)據(jù)密集型應(yīng)用的完成時(shí)間。

算法1 數(shù)據(jù)密集型應(yīng)用的完成時(shí)間

輸入 數(shù)據(jù)密集型應(yīng)用

輸出 數(shù)據(jù)密集型應(yīng)用的完成時(shí)間D

2、外部信息溝通不順暢。電力企業(yè)為更好地實(shí)現(xiàn)往來(lái)賬款信息的及時(shí)清理，建立了有關(guān)往來(lái)款核對(duì)的第三方平臺(tái)，用于信息的及時(shí)核對(duì)。但現(xiàn)實(shí)操作中，往往會(huì)出現(xiàn)一家供應(yīng)商與多個(gè)業(yè)務(wù)部門之間的往來(lái)業(yè)務(wù)，導(dǎo)致最終的詢證函發(fā)放工作還在財(cái)務(wù)部門。這種一對(duì)多的往來(lái)信息核對(duì)無(wú)法依靠第三方平臺(tái)實(shí)現(xiàn)，很容易因財(cái)務(wù)的人工核對(duì)造成錯(cuò)誤。

初始化關(guān)鍵任務(wù)集合V

for 所有的宕機(jī)任務(wù)結(jié)點(diǎn) do

根據(jù)式（1）、（2）計(jì)算任務(wù)的最早開始時(shí)間和最早結(jié)束時(shí)間

根據(jù)式（3）、（4）計(jì)算任務(wù)的最晚開始時(shí)間和最晚結(jié)束時(shí)間

if 該任務(wù)的最早開始時(shí)間和最晚開始時(shí)間相等 do

將該任務(wù)放置到關(guān)鍵任務(wù)集合V中

end if

end for

其中，計(jì)算結(jié)點(diǎn)和TOR層交換機(jī)之間的帶寬表示為rst，TOR層交換機(jī)與匯聚層交換機(jī)之間的帶寬表示為rta，匯聚層交換機(jī)與中繼層交換機(jī)的之間帶寬表示為rau。

if 該任務(wù)是tstart

首先討論超級(jí)人工智能。超人無(wú)比強(qiáng)大。對(duì)于人類與超人的關(guān)系，不是人類面對(duì)超人人類該怎么辦，因?yàn)槿祟惛緵]有應(yīng)對(duì)能力，根本無(wú)法控制超人，而是超人會(huì)如何對(duì)待人類。

fortstart的后繼任務(wù)

選擇tstart需要花費(fèi)時(shí)間最長(zhǎng)的后繼任務(wù)ti

D+ti完成所需要的時(shí)間+數(shù)據(jù)傳輸時(shí)間

end for

要做到“兩個(gè)過(guò)程”的合理性，即從數(shù)學(xué)知識(shí)發(fā)生發(fā)展過(guò)程的合理性、學(xué)生認(rèn)知過(guò)程的合理性上加強(qiáng)思考，這是落實(shí)數(shù)學(xué)核心素養(yǎng)的關(guān)鍵點(diǎn).前一個(gè)是數(shù)學(xué)的學(xué)科思想問(wèn)題，后一個(gè)是學(xué)生的思維規(guī)律、認(rèn)知特點(diǎn)問(wèn)題.

end if

end for

返回?cái)?shù)據(jù)密集型應(yīng)用的完成時(shí)間D

3.2 基于NSGA-III容錯(cuò)性資源配置方法

基于以上的分析，恢復(fù)任務(wù)的計(jì)算結(jié)點(diǎn)需要獲取宕機(jī)任務(wù)的鏡像數(shù)據(jù)和該任務(wù)前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)，首先假設(shè)宕機(jī)任務(wù)ftz的鏡像數(shù)據(jù)大小為dmz，則在psd上獲取該任務(wù)的鏡像數(shù)據(jù)所需要的時(shí)間hsmz可以表示為：

1）基因操作：在遺傳算法中，基因操作分別是交叉和變異。其中交叉（Crossover）是指通過(guò)將兩條父母染色體經(jīng)過(guò)交換部分基因的方式產(chǎn)生兩個(gè)新的后代，這樣產(chǎn)生的子代染色體會(huì)繼承優(yōu)良基因從父母，并且可以形成子代染色體自身獨(dú)特的基因型，方便找到最優(yōu)解。此外，突變(Mutation)作為另一種基因操作，染色體通過(guò)小概率的基因突變會(huì)使得該染色體上的一個(gè)基因型被該染色體上的另一個(gè)等位基因所取代，從而形成一個(gè)新的個(gè)體。通過(guò)多次基因操作有效提高了種群的多樣性，加快了目標(biāo)解的結(jié)果收斂。

根據(jù)公式（1）計(jì)算出來(lái)的最早開始時(shí)間和完成任務(wù)所需要花費(fèi)的時(shí)間ei，任務(wù)的最早結(jié)束時(shí)間可以由下式計(jì)算出來(lái)：

3）選擇優(yōu)化：事實(shí)上，由于NSGA-III可以生成多個(gè)表示故障任務(wù)資源供應(yīng)策略的解決方案。因此，為了得到最優(yōu)解，實(shí)現(xiàn)了簡(jiǎn)單加權(quán)法（Simple Weighting Method, SAW）和多準(zhǔn)則決策（Multiple Criteria Decision Making, MCDM）從多種策略進(jìn)行歸一化處理，從而選出最優(yōu)資源配置策略。使用SAW和MCDM計(jì)算每個(gè)解決方案的效用值，并選擇效用值最大的解決方案作為最終的資源配置策略。假設(shè)EiD和FiD分別表示兩個(gè)目標(biāo)的值，EDmax、EDmin、FDmax和FDmin分別表示兩個(gè)目標(biāo)函數(shù)的最大和最小值。此外，ε1和ε2作為數(shù)據(jù)密集型應(yīng)用完成時(shí)間和負(fù)載平衡的權(quán)重指標(biāo)，兩者之和為1。

FFD：該方法的核心思想是首先將云平臺(tái)中還在正常運(yùn)行的計(jì)算結(jié)點(diǎn)按照剩余容量進(jìn)行升序排序，然后每一個(gè)宕機(jī)任務(wù)將在剩余容量可以滿足該任務(wù)的計(jì)算結(jié)點(diǎn)重啟，該方法最大的特點(diǎn)就是一旦找到能夠滿足該任務(wù)的計(jì)算結(jié)點(diǎn)就不再繼續(xù)找其他更合適的計(jì)算結(jié)點(diǎn)了。

4 實(shí)驗(yàn)評(píng)估

4.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)是在一臺(tái)配有Intel Core i7-5500U 處理器和8GB 內(nèi)存的電腦上完成的。本文使用云平臺(tái)發(fā)生錯(cuò)誤后數(shù)據(jù)密集型應(yīng)用的完成時(shí)間、云平臺(tái)的負(fù)載均衡這兩個(gè)評(píng)估標(biāo)準(zhǔn)來(lái)展示FRPM的在動(dòng)態(tài)資源分配的優(yōu)越性。此外，實(shí)驗(yàn)中使用的VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)搭建的云平臺(tái)的具體參數(shù)如表1所示，網(wǎng)絡(luò)的具體參數(shù)配置是根據(jù)文獻(xiàn)[18]而來(lái)。

在我國(guó)，小麥的面積和總產(chǎn)僅次于水稻和玉米，為第三大糧食作物，在國(guó)民經(jīng)濟(jì)中占有重要地位。面粉顏色是小麥品質(zhì)評(píng)價(jià)的重要指標(biāo)，而籽粒黃色素含量是影響面粉顏色的主要因素。因此，研究小麥籽粒黃色素含量形成機(jī)制及其相關(guān)基因，對(duì)我國(guó)小麥面粉顏色品質(zhì)改良具有重要意義。

表1 參數(shù)設(shè)置

4.2 對(duì)比方法

為了充分展示出FRPM的性能，在本文實(shí)驗(yàn)過(guò)程中選擇了Benchmark、FFD和BFD[5,9]進(jìn)行比較，三種方法的基本原理如下：

非線性偏微分方程有很多的應(yīng)用，尤其是非線性方程的孤子解，在工程、光纖和物理等領(lǐng)域都起著很重要的作用。因此求解非線性偏微分方程的孤子解變得越來(lái)越重要了，但是它的求解是非常困難的，尤其是高階非線性偏微分方程。直到最近幾十年，隨著計(jì)算機(jī)軟件的發(fā)展，如MATLAB、Mathematica等，許多的求解非線性偏微分方程孤子解的方法被提出，非線性方程求解方向獲得很大發(fā)展[1-16]。

Benchmark：該方法的核心思想是為每一個(gè)宕機(jī)任務(wù)隨機(jī)選取一個(gè)正常運(yùn)行的計(jì)算結(jié)點(diǎn)進(jìn)行恢復(fù)。

鄂麥398田間綜合抗病性較好，但抗性鑒定結(jié)果表明該品種高感條銹病和紋枯病、中感赤霉病和白粉病，生產(chǎn)中應(yīng)注意防治條銹病、紋枯病、赤霉病和白粉病，搞好“一噴三防”。

5.統(tǒng)一規(guī)范，把好項(xiàng)目資料關(guān)。規(guī)范基礎(chǔ)工作是審計(jì)項(xiàng)目順利開展的前提和保障，審計(jì)組長(zhǎng)在強(qiáng)化審計(jì)項(xiàng)目質(zhì)量的同時(shí)，要擯棄“重成果、輕基礎(chǔ)”的錯(cuò)誤導(dǎo)向，按照“規(guī)范、全面、標(biāo)準(zhǔn)”的要求，實(shí)行審計(jì)基礎(chǔ)工作標(biāo)準(zhǔn)化管理，保證審計(jì)資料歸檔的及時(shí)性、準(zhǔn)確性、完整性，促進(jìn)審計(jì)質(zhì)量和工作效率的提高。

BFD：該方法的核心思想是首先將云平臺(tái)中還在正常運(yùn)行的計(jì)算結(jié)點(diǎn)按照剩余容量進(jìn)行升序排序，然后每一個(gè)宕機(jī)任務(wù)將在剩余容量剛好滿足該任務(wù)的計(jì)算結(jié)點(diǎn)重啟，該方法最大的特點(diǎn)就是宕機(jī)任務(wù)找到的重啟任務(wù)的計(jì)算結(jié)點(diǎn)的剩余容量是所有正常運(yùn)行計(jì)算結(jié)點(diǎn)中最小的。

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 應(yīng)用完成時(shí)間對(duì)比

數(shù)據(jù)密集型應(yīng)用的完成時(shí)間是評(píng)價(jià)宕機(jī)任務(wù)恢復(fù)方法的關(guān)鍵標(biāo)準(zhǔn)。在云平臺(tái)的計(jì)算節(jié)點(diǎn)發(fā)生故障后，宕機(jī)任務(wù)需要得到有效的恢復(fù)以使得數(shù)據(jù)密集型應(yīng)用的完成時(shí)間盡可能短。在本實(shí)驗(yàn)過(guò)程中，首先隨機(jī)選取五個(gè)宕機(jī)任務(wù)，而后每次向宕機(jī)任務(wù)集合中添加兩個(gè)宕機(jī)任務(wù)。在數(shù)據(jù)密集型應(yīng)用的完成時(shí)間這一指標(biāo)中，Benchmark、BFD、FFD和FRPM的實(shí)驗(yàn)結(jié)果如表2所示。其中，Benchmark、BFD和FFD算法所為宕機(jī)任務(wù)找到資源配置策略雖然能夠使得任務(wù)得到恢復(fù)并繼續(xù)執(zhí)行，但是算法在執(zhí)行過(guò)程中未考慮到數(shù)據(jù)密集型應(yīng)用的整體的完成時(shí)間，而FRPM方法在迭代尋找資源配置的過(guò)程中始終將數(shù)據(jù)密集型應(yīng)用的完成時(shí)間作為考量指標(biāo)，所以也就導(dǎo)致使用Benchmark、BFD和FFD對(duì)宕機(jī)任務(wù)進(jìn)行恢復(fù)后的完成時(shí)間明顯長(zhǎng)于FRPM。此外，在實(shí)驗(yàn)過(guò)程中為了避免FRPM所找出的資源配置策略出現(xiàn)局部最優(yōu)解，所以對(duì)FRPM所得出的解借助SAW和MCDM進(jìn)行了歸一化處理，從而避免出現(xiàn)局部最優(yōu)解的問(wèn)題。

“當(dāng)然有啊，”陸教授說(shuō)，“古代又沒有電腦制圖，也沒有現(xiàn)代化的造幣機(jī)，那么第一批樣錢，也就是我們說(shuō)的雕母，當(dāng)然是純手工造的啊。而且肯定比別的錢造得精細(xì)。要是樣品都造得隨隨便便，成品錢就不象樣了?！?/p>

表2 數(shù)據(jù)密集型應(yīng)用完成時(shí)間對(duì)比 （單位：秒/s）

4.3.2 平均資源使用率對(duì)比

大量的計(jì)算資源被部署在云平臺(tái)以滿足用戶對(duì)計(jì)算能力的需求，一般情況下，云平臺(tái)的計(jì)算資源是希望被充分利用，所以云平臺(tái)的計(jì)算資源是否被充分利用也是衡量資源配置策略有效性的重要因素。在本文中，通過(guò)計(jì)算每個(gè)計(jì)算節(jié)點(diǎn)所占用的虛擬機(jī)數(shù)量來(lái)評(píng)估云平臺(tái)的平均資源利用率。如表3所示，對(duì)比了Benchmark、BFD、FFD和FRPM在 不 同宕機(jī)任務(wù)情況下的云平臺(tái)的平均資源利用率。可以看出：由于FRPM在為宕機(jī)任務(wù)進(jìn)行資源配置時(shí)對(duì)當(dāng)前云平臺(tái)所有計(jì)算結(jié)點(diǎn)的資源使用率進(jìn)行了充分考量，所以隨著宕機(jī)任務(wù)數(shù)量的增加，云平臺(tái)的資源利用率也隨之增大；而Benchmark、BFD和FFD在進(jìn)行資源配置的時(shí)候僅考慮單一計(jì)算結(jié)點(diǎn)的資源使用率，并沒有考慮云平臺(tái)整體的資源使用率，所以不能為宕機(jī)任務(wù)進(jìn)行均衡的資源配置。

表3 平均資源使用率對(duì)比（*102%）

4.3.3 負(fù)載均衡對(duì)比

負(fù)載均衡作為宕機(jī)任務(wù)恢復(fù)方法的一個(gè)重要評(píng)價(jià)指標(biāo)，一方面，當(dāng)云平臺(tái)總體保持負(fù)載均衡時(shí)可以在最大程度上發(fā)揮各計(jì)算結(jié)點(diǎn)的性能。另一方面，當(dāng)云中的所有計(jì)算節(jié)點(diǎn)都保持負(fù)載平衡狀態(tài)時(shí)，所有的計(jì)算結(jié)點(diǎn)都處在較為穩(wěn)定的狀態(tài)，降低了計(jì)算節(jié)點(diǎn)出現(xiàn)問(wèn)題的風(fēng)險(xiǎn)，在一定程度上提升了云計(jì)算中心的容錯(cuò)性。一般情況下，負(fù)載平衡方差的值越小，就表示云計(jì)算中心所有計(jì)算節(jié)點(diǎn)的負(fù)載平衡越好。如表4所示，隨著宕機(jī)任務(wù)數(shù)量的增加，在Benchmark、BFD、FFD和FRPM對(duì)宕機(jī)任務(wù)進(jìn)行資源配置之后，云計(jì)算中心計(jì)算結(jié)點(diǎn)的負(fù)載均衡方差都在隨之增加。其中，F(xiàn)RPM所得到的負(fù)載均衡方差值最小，BFD的負(fù)載均衡方差比FRPM大，而Benchmark和FFD得到的負(fù)載均衡方差值最大。主要原因時(shí)由于Benchmark和FFD在為宕機(jī)任務(wù)進(jìn)行資源配置的過(guò)程中不考慮各計(jì)算節(jié)點(diǎn)的負(fù)載而直接進(jìn)行資源配置，所以導(dǎo)致兩種算法在為宕機(jī)任務(wù)進(jìn)行資源配置的時(shí)候云計(jì)算平臺(tái)的負(fù)載均衡方差值相差無(wú)幾；BFD在為宕機(jī)任務(wù)進(jìn)行資源配置的時(shí)候，首先會(huì)考慮最所剩容量適合宕機(jī)任務(wù)的計(jì)算結(jié)點(diǎn)，所以使得云計(jì)算中心的負(fù)載較好；而FRPM在尋找宕機(jī)任務(wù)資源配置策略時(shí)會(huì)綜合考量云計(jì)算中心所有計(jì)算結(jié)點(diǎn)當(dāng)前所處的負(fù)載狀態(tài)，因此得到的資源配置策略使得云計(jì)算中心處于更好的負(fù)載均衡狀態(tài)。

表4 負(fù)載均衡對(duì)比

5 結(jié)束語(yǔ)

在本文中，為了保證在云平臺(tái)發(fā)生故障時(shí)，部署在云平臺(tái)的數(shù)據(jù)密集型應(yīng)用的完成時(shí)間最短的同時(shí)，云平臺(tái)的負(fù)載均衡也能得到有效的保證，本文提出了一種基于NSGA-III的FRPM方法。該方法為云平臺(tái)中發(fā)生錯(cuò)誤的數(shù)據(jù)密集型應(yīng)用進(jìn)行有效的資源配置以保證數(shù)據(jù)密集型應(yīng)用在云平臺(tái)發(fā)生宕機(jī)時(shí)的完成時(shí)間最短的同時(shí)，也能夠保證云中所有計(jì)算節(jié)點(diǎn)的負(fù)載均衡。最后，通過(guò)大量的實(shí)驗(yàn)對(duì)FRPM的有效性進(jìn)行了驗(yàn)證。在未來(lái)的工作中，在恢復(fù)宕機(jī)任務(wù)過(guò)程中，應(yīng)用數(shù)據(jù)的隱私問(wèn)題需要被考慮。

大數(shù)據(jù)時(shí)代下，企業(yè)的發(fā)展依賴于信息化平臺(tái)的建設(shè)，資源共享平臺(tái)建設(shè)是會(huì)計(jì)信息化的重要發(fā)展趨勢(shì)和前進(jìn)方向。資源共享平臺(tái)的構(gòu)建會(huì)為管理者決策行為提供可靠保障，為了避免會(huì)計(jì)信息化發(fā)展過(guò)程中信息孤島的出現(xiàn)，資源共享平臺(tái)的開拓有著十分重要的意義。