基于用戶行為的超級(jí)計(jì)算機(jī)作業(yè)失敗預(yù)測方法*

唐陽坤，鮮 港，楊文祥，喻 杰，張曉蓉，王耀彬

(1.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽 621010；2.中國空氣動(dòng)力研究與發(fā)展中心計(jì)算空氣動(dòng)力研究所，四川 綿陽 621050;3.國防科技大學(xué)計(jì)算機(jī)學(xué)院，湖南 長沙 410073)

1 引言

隨著數(shù)據(jù)科學(xué)的發(fā)展與進(jìn)步，科學(xué)研究和工程項(xiàng)目越來越依賴超級(jí)計(jì)算機(jī)。同時(shí)，隨著高性能計(jì)算性能從P級(jí)向E級(jí)發(fā)展，計(jì)算結(jié)點(diǎn)不斷增加，多核執(zhí)行應(yīng)用程序的并行規(guī)模不斷擴(kuò)大，作業(yè)發(fā)生故障和錯(cuò)誤的可能性也隨著軟件和硬件上復(fù)雜性的增加而增加[1]，作業(yè)失敗事件會(huì)影響高性能計(jì)算系統(tǒng)的執(zhí)行效率。

每天都會(huì)有大量的作業(yè)提交到超級(jí)計(jì)算機(jī)，然而，其中有相當(dāng)一部分作業(yè)不能夠正常完成。最近的一些研究分析了Google公司的集群作業(yè)負(fù)載日志，其中大約有40%的作業(yè)不能夠正常完成[2,3]。這些作業(yè)還占據(jù)了大部分集群工作時(shí)間(失敗或者被殺死)[4-7]。此外，本文分析了一臺(tái)用于科研的超級(jí)計(jì)算機(jī)的作業(yè)日志，在調(diào)研的正常終止(完成與失敗)的作業(yè)中，大約有31%的失敗作業(yè)。這些不能正常完成的作業(yè)會(huì)導(dǎo)致系統(tǒng)的計(jì)算資源不能夠有效利用，同時(shí)也會(huì)延長正在排隊(duì)的作業(yè)等待時(shí)間。如果提前預(yù)測出失敗作業(yè)，并采取一定的應(yīng)對(duì)措施，能夠提高系統(tǒng)資源利用率，同時(shí)對(duì)提升系統(tǒng)的執(zhí)行效率也至關(guān)重要。

機(jī)器學(xué)習(xí)是目前廣泛用于預(yù)測研究的技術(shù)，尋找有利于預(yù)測目標(biāo)和有價(jià)值的特征對(duì)提升預(yù)測效果至關(guān)重要。超級(jí)計(jì)算機(jī)的作業(yè)調(diào)度系統(tǒng)記錄了每一個(gè)運(yùn)行作業(yè)的歷史日志信息。本文對(duì)大量歷史作業(yè)日志進(jìn)行綜合分析，發(fā)現(xiàn)了一些新的可用于預(yù)測作業(yè)失敗的特征。除了時(shí)間、資源等用于預(yù)測作業(yè)狀態(tài)的傳統(tǒng)特征外，還可以利用作業(yè)名的命名規(guī)律及提交行為作為預(yù)測模型的輸入。

在作業(yè)日志中，存在大量語義組成相似的作業(yè)名，一般是通過改變尾綴及組成間隔方式標(biāo)記作業(yè)的工作內(nèi)容，這些組成相似的作業(yè)名通常具有相似的工作模式及內(nèi)容，反映用戶的一種工作行為模式。本文根據(jù)作業(yè)名語義組成提出了一種作業(yè)名聚類方法。

最后，農(nóng)業(yè)污染問題突出。近年來，廣西很多農(nóng)產(chǎn)品數(shù)量在全國位居前列，但隨之而來的是農(nóng)業(yè)投入品如化肥、農(nóng)藥及農(nóng)膜增加，農(nóng)業(yè)面源污染問題加劇。從表4可知，近年來，廣西農(nóng)業(yè)投入品的使用量都出現(xiàn)不同程度的增加（除柴油下降外），且化肥、農(nóng)藥等利用率低、流失率高，加劇了農(nóng)業(yè)面源的污染程度，導(dǎo)致農(nóng)業(yè)農(nóng)村綠色發(fā)展受制約。

表3報(bào)告了我們最為關(guān)注的三個(gè)變量 ——金融發(fā)展指標(biāo)FD、經(jīng)濟(jì)增長率Growth與金融開放指標(biāo)kaopen指數(shù)間的相關(guān)關(guān)系?？梢娡粯颖鹃g的經(jīng)濟(jì)增長率與金融發(fā)展呈現(xiàn)出顯著的負(fù)相關(guān)關(guān)系，這暗示金融發(fā)展與經(jīng)濟(jì)增長之間可能存在一個(gè)反向影響的關(guān)系；金融發(fā)展與金融開放的相關(guān)關(guān)系顯著為正，這在一定程度上符合先前的文獻(xiàn)研究結(jié)論：金融開放會(huì)極大促進(jìn)金融資源的跨地配置，并通過金融機(jī)構(gòu)間的競爭促進(jìn)金融發(fā)展。kaopen與經(jīng)濟(jì)增長的相關(guān)關(guān)系沒有通過顯著性檢驗(yàn)。這意味著我們需要通過回歸模型來進(jìn)一步確定兩者間的相關(guān)關(guān)系。

基于作業(yè)名，發(fā)現(xiàn)同一用戶下同一作業(yè)名的作業(yè)重復(fù)提交次數(shù)與失敗作業(yè)的分布存在潛在關(guān)系，這種作業(yè)的重復(fù)提交次數(shù)反映了用戶的提交行為模式，該特征和潛在模式將在3.1節(jié)詳細(xì)闡述。聚類后的作業(yè)名及提交次數(shù)被用作預(yù)測作業(yè)失敗的新輸入特征。

本文首先分析了作業(yè)日志中作業(yè)相關(guān)屬性的作業(yè)失敗分布狀況，同時(shí)結(jié)合作業(yè)特征相關(guān)性分析，提出基于樹結(jié)構(gòu)模型的綜合方法預(yù)測作業(yè)失敗，提升了預(yù)測效果。最后，對(duì)預(yù)測為失敗的作業(yè)提出可供選擇的建議。

2 相關(guān)工作

應(yīng)用程序的有效執(zhí)行對(duì)科學(xué)研究和工程項(xiàng)目至關(guān)重要。然而，超級(jí)計(jì)算機(jī)的規(guī)模和復(fù)雜性不斷增加導(dǎo)致故障的可能性增加，已有大量的相關(guān)研究分析了軟件和硬件故障，并提出了故障預(yù)測方法。

在軟件故障預(yù)測方面，Jayanthi等人[8，9]使用神經(jīng)網(wǎng)絡(luò)分類器方法對(duì)軟件可靠性進(jìn)行預(yù)測和對(duì)軟件缺陷預(yù)測進(jìn)行建模；Padhy等人[10]提出了一種基于遺傳算法的具有成本效益和故障彈性的可重用性預(yù)測模型;Manjula等人[11]提出了一種基于混合方法的深度神經(jīng)網(wǎng)絡(luò)，并使用軟件度量標(biāo)準(zhǔn)進(jìn)行軟件缺陷預(yù)測。

在硬件故障預(yù)測方面，Hamerly等人[12]提出使用樸素貝葉斯分類來預(yù)測硬盤故障；Nie等人[13]選用系統(tǒng)特性(如溫度、功耗和應(yīng)用狀態(tài))作為預(yù)測GPU錯(cuò)誤的特征；Das等人[14]通過使用系統(tǒng)日志訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)模型來預(yù)測節(jié)點(diǎn)故障。

大多數(shù)故障預(yù)測方法都是基于事件設(shè)計(jì)的。Schroeder等人[15]對(duì)HPC系統(tǒng)故障進(jìn)行研究，該研究表明HPC集群和云集群的故障率正在增加。Snir等人[16]給出的調(diào)查結(jié)果表明，故障預(yù)測器的召回率低于50%。劉春紅等人[17]基于支持向量機(jī)算法使用動(dòng)態(tài)和靜態(tài)工作特征預(yù)測工作狀態(tài)。Yoo等人[1]基于隨機(jī)森林算法使用資源相關(guān)特征預(yù)測工作狀態(tài)。Nakka等人[18]使用決策樹算法來預(yù)測HPC系統(tǒng)中的節(jié)點(diǎn)故障。

3 數(shù)據(jù)預(yù)處理及分析

3.1 數(shù)據(jù)來源及介紹

中國空氣動(dòng)力研究與發(fā)展中心CARDC(China Aerodynamics Research and Development Center)致力于計(jì)算流體力學(xué)CFD(Computational Fluid Dynamics)研究工作。本文分析了該中心一臺(tái)超級(jí)計(jì)算機(jī)一年的歷史作業(yè)日志。

本文研究的超級(jí)計(jì)算機(jī)中的作業(yè)調(diào)度系統(tǒng)是SLURM[19]。每一條作業(yè)的執(zhí)行記錄都單獨(dú)保存在日志的一行中，其中包含了很多字段，如作業(yè)ID(JobID)、執(zhí)行狀態(tài)(State)、用戶ID(UID)、請(qǐng)求CPU數(shù)量(ReqCPUS)、作業(yè)名(JobName)、分配CPU數(shù)量(AllocCPUS)、使用節(jié)點(diǎn)數(shù)量(NNodes)、使用節(jié)點(diǎn)列表(NodeList)、作業(yè)名(JobName)、提交時(shí)間(Submit)、開始時(shí)間(Start)、結(jié)束時(shí)間(End)和退出碼(ExitCode)等。

為了保護(hù)用戶的隱私，本文中所展示的所有數(shù)據(jù)信息均已脫敏。

3-吲哚基環(huán)氧丙烷和3-咔唑基環(huán)氧丙烷單體的合成不同于前三種聚醚的對(duì)應(yīng)單體的合成,其合成方法要簡單很多,通過四丁基溴化銨(TBAB)作為催化劑,使反應(yīng)在常溫下進(jìn)行[24,31].這類單體通過陰離子聚合得到的聚醚同樣是單手性螺旋結(jié)構(gòu)并能穩(wěn)定存在于溶液中(見圖6).該類聚醚一樣具有光學(xué)活性,通過比旋旋光,圓二色譜和紫外可見光譜數(shù)據(jù)顯示聚醚能在溶液中保持螺旋構(gòu)像.

3.2 定義與說明

作業(yè)失敗通常定義為當(dāng)系統(tǒng)中的錯(cuò)誤行為導(dǎo)致錯(cuò)誤輸出時(shí)發(fā)生的事件。在本文中，作業(yè)失敗由作業(yè)調(diào)度器定義，適用范圍更加廣泛，定義和說明如下：

根據(jù)每個(gè)用戶提交的作業(yè)，統(tǒng)計(jì)出同一作業(yè)名的重復(fù)提交次數(shù)，本文研究的日志數(shù)據(jù)集中同一作業(yè)名提交的最高次數(shù)為12 824。失敗作業(yè)的分布也呈現(xiàn)出一種潛在的模式。如圖1所示,在大約6 000次以內(nèi)，失敗作業(yè)的數(shù)量占比大部分不高于50%;在大約7 500次后，失敗作業(yè)的數(shù)量占比開始出現(xiàn)100%的情況。可以發(fā)現(xiàn)，失敗作業(yè)的占比隨著提交次數(shù)的增加表現(xiàn)出了增加的趨勢(shì)。在本文中，提交次數(shù)將作為一個(gè)新的學(xué)習(xí)特征，并命名為NSubmission。

定義1成功作業(yè)：在SLURM作業(yè)日志中執(zhí)行狀態(tài)為COMPLETED，即正常完成的作業(yè)。

定義2失敗作業(yè)：在SLURM作業(yè)日志中執(zhí)行狀態(tài)為FAILED，即失敗的作業(yè)。

定義3提交次數(shù)：同一用戶下同一作業(yè)名的作業(yè)重復(fù)提交的次數(shù)。

定義4作業(yè)類型：具有相似作業(yè)名的作業(yè)屬于同一作業(yè)類型。

在作業(yè)日志中，作業(yè)名可能由用戶命名，或者由軟件命名，代表著某一應(yīng)用，作業(yè)名相同并不意味著這些作業(yè)內(nèi)部結(jié)構(gòu)完全一致，也許更改了參數(shù)，或者調(diào)整了數(shù)據(jù)規(guī)模等。同一用戶下存在對(duì)相同作業(yè)名重復(fù)提交的情況，這反映了用戶對(duì)作業(yè)的一種行為模式。此外，作業(yè)日志中有大量相似的作業(yè)名，它們之間只存在細(xì)微的差別，這些作業(yè)可能存在相似的特性，為了降低其自身冗余性，將對(duì)作業(yè)名進(jìn)行聚類處理，一類作業(yè)名屬于同一種作業(yè)類型。

從作業(yè)日志中篩選出只包含成功作業(yè)和失敗作業(yè)的記錄。在預(yù)測實(shí)驗(yàn)中，需要將數(shù)據(jù)切分為測試集和訓(xùn)練集，然而這2種狀態(tài)的作業(yè)比例不均衡，失敗作業(yè)大約占比為31%，采用隨機(jī)切割法可能會(huì)導(dǎo)致模型學(xué)習(xí)更傾向于預(yù)測為成功作業(yè)，非常不利于機(jī)器學(xué)習(xí)預(yù)測。因此，本文對(duì)作業(yè)日志采用分層切割的方法，保留訓(xùn)練集和測試集的失敗作業(yè)占比與原始失敗作業(yè)占比一致，同時(shí)需要過濾一些無意義的、樣本數(shù)據(jù)異常的和不利于切分的用戶作業(yè)記錄，以保證實(shí)驗(yàn)結(jié)果的有效性。

3.3 數(shù)據(jù)預(yù)處理

同時(shí)，作業(yè)日志中存在很多狀態(tài)的作業(yè)記錄，除了成功作業(yè)和失敗作業(yè)，還有已取消的、正在排隊(duì)的和正在運(yùn)行的作業(yè)。本文主要針對(duì)作業(yè)的失敗進(jìn)行預(yù)測，因此只關(guān)注作業(yè)日志中的成功作業(yè)和失敗作業(yè)，即State字段為COMPLETED和FAILED的作業(yè)為預(yù)測對(duì)象。

3.4 作業(yè)失敗影響因素分析

SLURM作業(yè)日志中所記錄的所有字段(特征)中，有一部分只有在作業(yè)終止時(shí)才可以獲得，比如結(jié)束時(shí)間、退出碼等。本文研究的目的是提前預(yù)測作業(yè)的失敗，因此這些作業(yè)終止后才能獲得的特征不能作為作業(yè)失敗預(yù)測模型的輸入特征。

在余下的可選特征中，關(guān)注了一些與作業(yè)屬性相關(guān)的傳統(tǒng)特征，如表1所示。

Table 1 Traditional features related to job attributes

ReqCPUS和AllocCPUS均與作業(yè)的資源需求有關(guān)，作業(yè)失敗通常是由于軟硬件因素所導(dǎo)致的，這2個(gè)特征可能會(huì)是作業(yè)失敗的影響因素。

網(wǎng)絡(luò)口碑是在社交網(wǎng)絡(luò)興起的背景下出現(xiàn)的，其滿足了消費(fèi)者之間互動(dòng)的需要。消費(fèi)者之間的互動(dòng)不僅可以提升消費(fèi)者價(jià)值，而且可以滿足其自我表達(dá)的需要。另外，消費(fèi)者之間的互動(dòng)能夠讓消費(fèi)者產(chǎn)生內(nèi)在的愉悅感。根據(jù)Baloglu等[27]研究，與專業(yè)建議、廣告和書籍(電影、新聞)等媒體相比，網(wǎng)絡(luò)口碑對(duì)顧客感知特定品牌形象的影響最大，高達(dá)76%的消費(fèi)者在購買決策時(shí)會(huì)受到網(wǎng)絡(luò)口碑的影響。這意味著，無論消費(fèi)者在哪里交流，他們?cè)谏缃痪W(wǎng)站上傳遞可靠的信息可能會(huì)改變其他消費(fèi)者的行為和態(tài)度。

NNodes代表了作業(yè)所使用的計(jì)算結(jié)點(diǎn)數(shù)量，與作業(yè)的規(guī)模相關(guān)。通常作業(yè)使用的結(jié)點(diǎn)數(shù)量越多，并行規(guī)模越大，程序交互行為就越復(fù)雜，可能受到環(huán)境噪聲的影響程度就越大。

如表2所示，單結(jié)點(diǎn)作業(yè)中成功作業(yè)數(shù)量占82.71%，失敗作業(yè)數(shù)量占17.29%；多結(jié)點(diǎn)作業(yè)中成功作業(yè)數(shù)量占66.69%，失敗作業(yè)數(shù)量占33.31%。

多結(jié)點(diǎn)作業(yè)的失敗率相對(duì)于單結(jié)點(diǎn)作業(yè)的明顯更高，這說明，作業(yè)在多個(gè)結(jié)點(diǎn)上并行執(zhí)行，由于結(jié)點(diǎn)之間需要相互通信，它們的交互性和復(fù)雜性更強(qiáng)，相對(duì)于單結(jié)點(diǎn)作業(yè)也越容易失敗。因此，NNodes這個(gè)特征可以用于預(yù)測作業(yè)失敗。

試驗(yàn)雞來自北京市華都峪口禽業(yè)有限責(zé)任公司，挑選體重相近、體況健康的9周齡“京紅1號(hào)”蛋種雞1 260只，飼養(yǎng)試驗(yàn)在華都峪口禽業(yè)有限責(zé)任公司鮑官莊養(yǎng)殖基地進(jìn)行。

Table 2 Distribution of single-node and multi-node job state

Submit為當(dāng)前作業(yè)的提交時(shí)間，在作業(yè)日志中的記錄樣式為：2020-01-01T10:24:36。日志分析中發(fā)現(xiàn)，同類型作業(yè)在提交時(shí)間上比較接近。如大量相似的作業(yè)同時(shí)提交，說明這些作業(yè)很可能來自于用戶的同一工程項(xiàng)目或研究；在非常接近的時(shí)間里提交的相似作業(yè)，其工作應(yīng)用模式也具有相似性，在一定程度上反映了作業(yè)的工作特點(diǎn)。

作業(yè)日志中JobName是當(dāng)前作業(yè)的一種標(biāo)識(shí)，與作業(yè)內(nèi)容意義相關(guān)。如表3所示，存在大量的相似作業(yè)名，比如，字符串中只有數(shù)字符號(hào)不一樣，其他內(nèi)容都非常接近，這些作業(yè)的工作特性可能比較相似。如果能夠有效地對(duì)作業(yè)名進(jìn)行聚類處理，將會(huì)大大減少冗余信息，提升預(yù)測效率。

Table 3 Two types of similar job names

4 作業(yè)失敗狀態(tài)預(yù)測方法

4.1 特征向量

(1)作業(yè)名聚類。

在作業(yè)日志中，有1 564條不同的作業(yè)名,這些作業(yè)名主要是由字母、數(shù)字及下劃線等特殊字符組成。其中，數(shù)字代表版本或者編號(hào)等，下劃線等特殊字符起間隔作用，對(duì)作業(yè)的應(yīng)用意義不大。因此，為了降低計(jì)算開銷，只保留字母并將其小寫化。通過使用最長公共子序列LCS(Longest Common Subsequence)算法[20]來計(jì)算不同作業(yè)名之間的相似長度，其計(jì)算公式如式(1)所示：

(1)

其中，i和j分別代表x和y字符串的長度，c[i,j]表示x和y這2個(gè)字符串的最長公共子序列的長度。為了防止因不同作業(yè)名之間的相似長度的量綱不一致而對(duì)聚類結(jié)果產(chǎn)生影響，采用將相似度數(shù)據(jù)量綱控制在0～1，其相似度計(jì)算公式如式(2)所示：

(2)

通過式(2)可以計(jì)算得到2個(gè)作業(yè)名之間的相似度。對(duì)兩兩作業(yè)名計(jì)算相似度可以得到相似度矩陣。相似度矩陣的樣例如下所示：

然后，以相似度矩陣作為輸入，采用k-Means聚類算法[21]對(duì)作業(yè)名進(jìn)行聚類，其中k-Means聚類算法的k值表示最終聚類的類別數(shù)，由聚類的目的確定。本文當(dāng)同一類作業(yè)名之間的相似度均大于0.8時(shí)為最佳k值。最終得到了507類作業(yè)名(作業(yè)類型)，在本文中，將聚類后的作業(yè)類型命名為JobType。

(2)構(gòu)建特征。

除了作業(yè)日志中的原始特征外，本文還探索出一種新的特征，即同一用戶下同一作業(yè)名的重復(fù)提交次數(shù)，反映了用戶的一種作業(yè)提交行為模式。

在作業(yè)日志中，并沒有對(duì)用戶的提交行為進(jìn)行定義，本文是基于作業(yè)名和用戶ID來確定用戶的作業(yè)提交行為。用戶多次提交相同作業(yè)存在多種原因，如有的用戶需要逐步改變作業(yè)內(nèi)部參數(shù)，或者是在用同一作業(yè)測試某一項(xiàng)工作等。

從圖2剝落斷口宏觀形貌可以看出，斷面出現(xiàn)呈彎曲并相互平行的溝槽狀花樣，與裂紋擴(kuò)展方向垂直，是裂紋擴(kuò)展時(shí)留下的微觀痕跡，屬于明顯弧形疲勞輝紋，其反向指向裂紋源（A區(qū)域），疲勞裂紋從A區(qū)域向B方向擴(kuò)展，形成一個(gè)疲勞擴(kuò)展帶（AB），與此同時(shí)AB裂紋兩側(cè)向C方向擴(kuò)展，最終導(dǎo)致大面積剝落，疲勞擴(kuò)展帶見圖2中光滑的氧化區(qū)域所示。從剝落斷口宏觀形貌進(jìn)行分析得出，剝落裂紋的起始位置處于支承輥淬硬層厚度位置，然后沿著剪切應(yīng)力方向擴(kuò)展，直至剝落。因此，該支承輥失效形式屬典型的疲勞剝落失效。剝落是從支承輥次表層開始，由疲勞裂紋順著剪切面擴(kuò)展而形成。

Figure 1 Proportion of failed jobs under different submission times

在ET和RF中，NSubmission和JobType的特征重要性排名前三。在2種方法中，UID和JobType的重要性占比非常接近，說明JobType和UID對(duì)模型預(yù)測作用起到了良好的效果，同時(shí)NSubmission和JobType的綜合重要性均超過了40%，即2個(gè)特征在決策子樹產(chǎn)生分支過程中起到了重要作用。

通過前文的分析和探索，得到如表4所示的特征作為本文預(yù)測模型的輸入特征。

Table 4 Attribute and name of each feature

在這些特征中，可能會(huì)存在一些冗余特征，影響預(yù)測效果。由于本文的預(yù)測屬于分類問題，因此需要過濾離散程度相近且呈線性相關(guān)的特征。離散度計(jì)算公式如式(3)所示:

項(xiàng)目來源有多種，如教師的科研項(xiàng)目、某些領(lǐng)域的研究熱點(diǎn)、發(fā)明專利，等等。就目前我們開展的項(xiàng)目來看，基本是軟件和硬件結(jié)合的項(xiàng)目。項(xiàng)目開發(fā)的目標(biāo)是參加各種競賽及形成科研成果，如發(fā)表學(xué)術(shù)論文、申請(qǐng)專利。

(3)

Figure 2 Degree of dispersion of each feature(logarithmic display)

Figure 3 Correlation matrix

使用Pearson系數(shù)[22]計(jì)算特征之間的相關(guān)性，其計(jì)算公式如式(4)所示：

(4)

其中，x，y分別代表n維特征向量。

相關(guān)系數(shù)矩陣如圖3所示。相關(guān)系數(shù)的范圍在0～1，系數(shù)的絕對(duì)值越接近于1，說明2個(gè)特征的相關(guān)性越強(qiáng)。

正確識(shí)別出大多數(shù)成功作業(yè)能夠大幅提升準(zhǔn)確率，但在實(shí)際應(yīng)用中，希望能夠發(fā)現(xiàn)更多可能失敗的作業(yè)，以及時(shí)做出有效應(yīng)對(duì)措施。因此，基于2種評(píng)估指標(biāo)和實(shí)際應(yīng)用情況，本文又提出了加權(quán)平均S分?jǐn)?shù)(S_score)。在S分?jǐn)?shù)中敏感度的權(quán)重大于特異性，其計(jì)算公式如式(9)所示：

(2)設(shè)置檢查點(diǎn)：預(yù)測為失敗的作業(yè)將得到用戶更多的關(guān)注，建議用戶在作業(yè)中設(shè)置檢查點(diǎn)，這樣可以在失敗的作業(yè)重啟時(shí)從最近的檢查點(diǎn)開始執(zhí)行，不用從頭開始執(zhí)行，這樣可以節(jié)約系統(tǒng)資源。

4.2 機(jī)器學(xué)習(xí)算法

集成學(xué)習(xí)是目前應(yīng)用非常廣泛的機(jī)器學(xué)習(xí)算法，通過構(gòu)建多個(gè)學(xué)習(xí)模型，然后集成所有學(xué)習(xí)模型的建模結(jié)果作為輸出結(jié)果。

第二個(gè)驅(qū)動(dòng)是終端用能結(jié)構(gòu)優(yōu)化。電能替代是終端用能結(jié)構(gòu)優(yōu)化的重要途徑。前三季度，全國累計(jì)完成電能替代量1 216億千瓦時(shí)，對(duì)用電增長的貢獻(xiàn)率達(dá)29.1%。工農(nóng)業(yè)生產(chǎn)、居民生活、交通運(yùn)輸領(lǐng)域電能替代量分別占77%、11%、8%。

隨機(jī)森林RF(Random Forest)[23]是一種裝袋式(Bagging)集成學(xué)習(xí)算法，通過構(gòu)建多個(gè)獨(dú)立的決策樹，每棵決策樹有放回地隨機(jī)從訓(xùn)練數(shù)據(jù)集中抽取數(shù)據(jù)訓(xùn)練決策樹。對(duì)于分類決策樹，選擇決策樹結(jié)果為多數(shù)的類別作為隨機(jī)森林的決策結(jié)果。

在隨機(jī)森林算法中，每棵樹通過計(jì)算不純度產(chǎn)生分裂節(jié)點(diǎn)，即子節(jié)點(diǎn)不純度應(yīng)低于父節(jié)點(diǎn)。在本文中，隨機(jī)森林使用基尼系數(shù)(Gini Impurity)作為不純度計(jì)算方法，計(jì)算公式如式(5)所示:

(5)

其中，t表示指定的節(jié)點(diǎn)，c表示樣本類別數(shù)，p(b|t)表示分類標(biāo)簽b在節(jié)點(diǎn)t上的占比。

極端隨機(jī)樹ET(ExtraTrees)[24]也是多個(gè)決策樹集成學(xué)習(xí)算法。與隨機(jī)森林不同的是每棵樹都使用整個(gè)學(xué)習(xí)樣本進(jìn)行訓(xùn)練，且自上而下的節(jié)點(diǎn)劃分是隨機(jī)的，不計(jì)算每個(gè)特征的最優(yōu)劃分點(diǎn)，而是從特征經(jīng)驗(yàn)范圍內(nèi)均勻隨機(jī)選取。在所有隨機(jī)的劃分點(diǎn)中，選擇其中分叉值最高的作為節(jié)點(diǎn)的劃分點(diǎn)。

二是在建設(shè)農(nóng)渠時(shí)優(yōu)先選址在林地內(nèi)以節(jié)約耕地資源。目前累計(jì)節(jié)約耕地2500畝。渠道建好后及時(shí)在兩邊植樹造林，做到渠成林成，形成“渠內(nèi)碧水流，渠邊綠樹幽；樹木站兩邊，樹影映悠悠”的景象，實(shí)現(xiàn)“渠在林中”。

5 實(shí)驗(yàn)與結(jié)果分析

5.1 預(yù)測方法

在預(yù)測實(shí)驗(yàn)中，傾向于發(fā)現(xiàn)更多可能失敗的作業(yè)。本文設(shè)計(jì)了綜合預(yù)測框架E-R(Extra-Random)，如圖4所示，分別使用ET和RF訓(xùn)練預(yù)測模型，將2個(gè)模型的子結(jié)果相結(jié)合得出最終的預(yù)測結(jié)果。2個(gè)模型的作業(yè)失敗預(yù)測結(jié)果以邏輯“或”方式組合，如表5所示，如果2個(gè)模型對(duì)作業(yè)預(yù)測都為成功，則該作業(yè)被預(yù)測為成功作業(yè)，在其他情況下都被預(yù)測為失敗作業(yè)。

Figure 4 E-R prediction framework

Table 5 “OR” rule of E-R prediction framework

5.2 實(shí)驗(yàn)設(shè)置與評(píng)估指標(biāo)

將預(yù)處理后的數(shù)據(jù)集按照7∶3的比例劃分為訓(xùn)練集和測試集。由于分類樣本的不均衡性，為了保證數(shù)據(jù)樣本類別的平衡性及數(shù)據(jù)信息的完整性，對(duì)失敗作業(yè)采用上采樣的方式對(duì)訓(xùn)練集進(jìn)行處理，其中所有輸入特征均在維持原始時(shí)間序列下進(jìn)行計(jì)算。

在預(yù)測實(shí)驗(yàn)中，失敗作業(yè)為正樣本(Positive)，成功作業(yè)為負(fù)樣本(Negative)。同時(shí)采用3折交叉驗(yàn)證的方式來增強(qiáng)預(yù)測模型的魯棒性。將實(shí)驗(yàn)數(shù)據(jù)中的作業(yè)狀態(tài)及預(yù)測的結(jié)果進(jìn)行比較，預(yù)測結(jié)果共分為4類，如表6所示。其中,TP、FP、TN和FN分別表示真正例、假正例、真負(fù)例和假負(fù)例。假正例為將負(fù)樣本錯(cuò)誤地預(yù)測為正樣本，假負(fù)例為將正樣本錯(cuò)誤地預(yù)測為負(fù)樣本。

根據(jù)NETMAKETSHARE的統(tǒng)計(jì)數(shù)據(jù)[3]，Android和iOS已占據(jù)手機(jī)操作系統(tǒng)98%以上的市場。由于Android和iOS的開發(fā)技術(shù)完全不同，早期很多企業(yè)必須針對(duì)這2個(gè)平臺(tái)開發(fā)具有相同功能的APP，會(huì)耗費(fèi)大量的人力和財(cái)力資源，增加開發(fā)和維護(hù)成本。

Table 6 Four kinds of prediction results

通常在作業(yè)失敗預(yù)測研究中，除了關(guān)注準(zhǔn)確率(accuracy)外，還會(huì)關(guān)注成功作業(yè)和失敗作業(yè)的預(yù)測效果，因此在實(shí)驗(yàn)中還通過特異性(specificity)和敏感度(sensitivity)2個(gè)指標(biāo)對(duì)成功作業(yè)和失敗作業(yè)的預(yù)測效果分別進(jìn)行評(píng)估。特異性反映了模型能夠正確識(shí)別成功作業(yè)的效果，敏感度反映了模型能夠正確識(shí)別失敗作業(yè)的效果，評(píng)估指標(biāo)的計(jì)算分別如式(6)～式(8)所示：

(6)

(7)

(8)

通過圖2和圖3可以發(fā)現(xiàn)，UID和User的離散程度一致且極度相關(guān)，因此只保留了UID。此外,AllocCPUS和ReqCPUS的離散程度相近。分析發(fā)現(xiàn)，AllocCPUS始終大于或等于ReqCPUS，不存在CPU數(shù)量分配不足的情況。ReqCPUS和NNodes的相關(guān)性弱于AllocCPUS與NNodes的相關(guān)性，且ReqCPUS與NNodes的離散程度不一致，因此保留了ReqCPUS和NNodes。

(9)

5.3 實(shí)驗(yàn)結(jié)果與分析

使用本文探索出的特征向量分別在RF、ET和E-R綜合框架中進(jìn)行預(yù)測實(shí)驗(yàn)，其結(jié)果如表7所示。

Table 7 Effect of each prediction method

ET在每種指標(biāo)上都表現(xiàn)平穩(wěn)。RF在準(zhǔn)確率、特異性和敏感度上均優(yōu)于ET。在E-R綜合框架中，敏感度相較于其他2種方法預(yù)測效果有一定提升，準(zhǔn)確率和特異性在可接受范圍內(nèi)有所下降。

所有輸入特征在ET、RF的決策子樹產(chǎn)生分支的過程中起到了一定的作用，并且每一次產(chǎn)生分支都會(huì)選擇更為重要的特征。輸入特征在ET和RF中的重要性分別如圖5和圖6所示。

Figure 5 Proportion of importance of each feature in ET

Figure 6 Proportion of importance of each feature in RF

(3)去除冗余特征。

環(huán)境要素中的基準(zhǔn)指代與傳統(tǒng)意義上的指代有所不同,存在指代關(guān)系的兩個(gè)要素并不是指向同一實(shí)體,而是一種關(guān)聯(lián)關(guān)系,即通過先行環(huán)境要素來確定照應(yīng)環(huán)境要素的具體位置.從表2中可看出,這種類型的指代占整個(gè)環(huán)境要素指代的16%,所以其識(shí)別與否對(duì)于指代消解系統(tǒng)的性能有顯著的影響.在已標(biāo)注的語料中,對(duì)這種指代關(guān)系進(jìn)行統(tǒng)計(jì)得出,照應(yīng)環(huán)境要素基本上都是以“周圍”“附近”“外面”這種抽象的地理位置詞開頭,可以通過構(gòu)建一個(gè)抽象環(huán)境要素的詞典進(jìn)行識(shí)別,然后再找出其對(duì)應(yīng)的先行要素.這僅僅是初步的構(gòu)想,具體實(shí)現(xiàn)還要綜合各種因素進(jìn)行考慮.

本文使用S分?jǐn)?shù)對(duì)3種方法的最終預(yù)測結(jié)果進(jìn)行比較，如圖7所示，E-R的S分?jǐn)?shù)達(dá)到了87.78%，相較于RF和ET的，分別提高了0.67%和1.98%。

Figure 7 Prediction results under S_score

E-R能夠發(fā)現(xiàn)更多的作業(yè)失敗情況,預(yù)測出了88.9%的失敗作業(yè)，準(zhǔn)確率達(dá)到了85.22%，在最終的評(píng)估指標(biāo)S分?jǐn)?shù)中表現(xiàn)最好。

5.4 對(duì)比實(shí)驗(yàn)

在高性能計(jì)算系統(tǒng)的故障預(yù)測研究方面，一些研究使用邏輯回歸LR(Logistic Regression)[25]和樸素貝葉斯NB(Naive Bayes)算法[26]預(yù)測軟硬件故障，使用支持向量機(jī)SVM(Support Vector Machine)算法[17]預(yù)測作業(yè)失敗，然而，這些預(yù)測方法并未對(duì)作業(yè)名進(jìn)行聚類操作，也沒有通過作業(yè)名確定用戶的作業(yè)重復(fù)提交行為。

由“讀若”線索可得出“介”通過音同借了“丯”草的意義，并由此引申出“微小”的意義。但是解釋假借單憑聲音關(guān)系是不夠的，還要結(jié)合字形來分析。

在去掉輸入特征NSubmission和JobType的情況下，使用上述預(yù)測方法與前文E-R結(jié)果進(jìn)行比較,實(shí)驗(yàn)結(jié)果如表8所示，RF的預(yù)測效果優(yōu)于LR、NB和SVM的。其中，LR和NB預(yù)測效果非常差，顯然不適合該實(shí)驗(yàn)數(shù)據(jù)。SVM通過提高特征維度的方式，在高維空間擬合核函數(shù)(徑向基)尋找決策平面，計(jì)算開銷大，雖然準(zhǔn)確度可以達(dá)到73.48%，但對(duì)作業(yè)失敗的預(yù)測效果較差。

該項(xiàng)目規(guī)劃占地面積69畝，總投資8850萬元。救災(zāi)物資儲(chǔ)備庫、救助管理站、未成年人救助保護(hù)中心、社會(huì)福利院、大平山農(nóng)村養(yǎng)老服務(wù)中心、兒童福利院、社會(huì)福利院老年養(yǎng)護(hù)樓、老年人活動(dòng)中心等已建成投入使用；二期項(xiàng)目將建設(shè)老年公寓。

Table 8 Prediction effect of different methods

5.5 建議

通常對(duì)于預(yù)測失敗的作業(yè)會(huì)采取提前終止的方式，讓更多的成功作業(yè)能夠被執(zhí)行，然而這對(duì)用于科研生產(chǎn)的超級(jí)計(jì)算機(jī)是不友好的，因?yàn)檫@樣會(huì)損失大量失敗作業(yè)產(chǎn)生的錯(cuò)誤和中間輸出信息。這些信息對(duì)于用戶而言非常重要，用戶可以根據(jù)這些信息更好地調(diào)試，直到作業(yè)成功完成。因此，本文提供一些可選的建議和措施，在保證生產(chǎn)的同時(shí)，也能夠提高系統(tǒng)的資源利用率：

(1)調(diào)整調(diào)度優(yōu)先級(jí)：在超級(jí)計(jì)算機(jī)中，采用先來先服務(wù)和回填調(diào)度的策略調(diào)度作業(yè)執(zhí)行順序。超級(jí)計(jì)算機(jī)上可能存在空閑資源。如果這些空閑資源不能滿足等待隊(duì)列中的頭作業(yè)，那么系統(tǒng)將始終保留空閑資源。然而，所保留的空閑資源可能滿足后續(xù)隊(duì)列中其他短而小的作業(yè)需求。一般情況下，失敗作業(yè)的運(yùn)行時(shí)間會(huì)比正常完成的運(yùn)行時(shí)間短，因此可以有選擇地將一些適合回填插空的失敗作業(yè)優(yōu)先執(zhí)行，這樣可以讓用戶更快地知道結(jié)果，方便用戶調(diào)試作業(yè)。

最終，本文保留了UID、ReqCPUS、NNodes、JobType、NSubmission和Submit這6個(gè)特征。

6 結(jié)束語

確保作業(yè)的有效執(zhí)行能夠盡可能地提高超級(jí)計(jì)算機(jī)的資源利用率，因此，對(duì)作業(yè)失敗做出有效的預(yù)測并采取有效的措施是至關(guān)重要的。本文通過對(duì)作業(yè)日志的探索和分析，挖掘出了與用戶行為相關(guān)的特性，即作業(yè)名聚類及作業(yè)提交次數(shù)，這2種特性分別反映了用戶的工作行為模式和提交行為模式?；谕诰虺龅男袨槟Ｊ?，提出了E-R綜合預(yù)測方法。該方法的預(yù)測準(zhǔn)確率達(dá)到了85.22%，敏感度達(dá)到了88.9%，優(yōu)于其他相關(guān)研究方法。