機(jī)器學(xué)習(xí)預(yù)測(cè)校級(jí)計(jì)算教學(xué)平臺(tái)作業(yè)運(yùn)行時(shí)間研究

于瀟雪，韋建文，張戰(zhàn)炳，高亦沁，林新華，周 云，周衍曉

（1.上海交通大學(xué) 網(wǎng)絡(luò)信息中心，上海 200240；2.上海擎云物聯(lián)網(wǎng)股份有限公司，上海 200070）

0 引言

當(dāng)今數(shù)字時(shí)代，計(jì)算對(duì)各領(lǐng)域發(fā)揮著顛覆性作用。尤其是ChatGPT 火爆全球之后，更是帶動(dòng)了新一輪算力需求增長(zhǎng)，因而亟須培養(yǎng)大批量計(jì)算人才以應(yīng)對(duì)不斷增長(zhǎng)的需求。上海交通大學(xué)積極探索計(jì)算人才培養(yǎng)新模式，提出“將計(jì)算深度融入專業(yè)課教學(xué)”的理念，并基于校內(nèi)強(qiáng)大的算力基座研發(fā)校級(jí)計(jì)算教學(xué)平臺(tái)，支撐計(jì)算課程的線上線下混合式教學(xué)和大規(guī)模虛擬仿真實(shí)驗(yàn)教學(xué)，讓學(xué)生有機(jī)會(huì)在專業(yè)實(shí)踐中按需學(xué)習(xí)計(jì)算并且用計(jì)算解決科研和應(yīng)用領(lǐng)域的復(fù)雜專業(yè)問題。

作業(yè)調(diào)度系統(tǒng)是上海交通大學(xué)校級(jí)計(jì)算教學(xué)平臺(tái)的核心系統(tǒng)之一，它根據(jù)算法預(yù)測(cè)的作業(yè)運(yùn)行時(shí)間安排隊(duì)列執(zhí)行順序，預(yù)測(cè)準(zhǔn)確性影響調(diào)度合理性，進(jìn)而影響平臺(tái)整體利用率。機(jī)器學(xué)習(xí)方法能在海量數(shù)據(jù)中挖掘輸入與輸出的復(fù)雜映射關(guān)系，在預(yù)測(cè)作業(yè)運(yùn)行時(shí)間任務(wù)中被廣泛采用。但是，在實(shí)際應(yīng)用時(shí)，如何收集算例數(shù)據(jù)、選用什么樣的預(yù)測(cè)方法、選用哪些作業(yè)特征、有哪些機(jī)器學(xué)習(xí)技巧可以使用、針對(duì)僅有小樣本的訓(xùn)練集如何提高預(yù)測(cè)準(zhǔn)確度，仍是亟待解決的問題。

基于以上挑戰(zhàn)，本文設(shè)計(jì)和實(shí)現(xiàn)了一套基于深度學(xué)習(xí)方法的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)方法，在預(yù)測(cè)高斯（Gaussian09）程序運(yùn)行時(shí)間上取得了比現(xiàn)有工作更好的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)結(jié)果。這套方法在特征提取上結(jié)合應(yīng)用無關(guān)特征和應(yīng)用相關(guān)特征，并借助深度學(xué)習(xí)的模型遷移特性，在小樣本數(shù)據(jù)集上也獲得了較好的預(yù)測(cè)精度。本文主要貢獻(xiàn)如下：①使用卷積神經(jīng)網(wǎng)絡(luò)提取通用作業(yè)特征，使用庫倫矩陣提取高斯作業(yè)相關(guān)特征，兩種特征融合后，在深度人工神經(jīng)網(wǎng)絡(luò)上獲得了超過現(xiàn)有工作的預(yù)測(cè)精度；②針對(duì)小數(shù)據(jù)集，采用領(lǐng)域自適應(yīng)的方法，將預(yù)測(cè)模型以較小代價(jià)遷移到小數(shù)據(jù)集上，顯著降低了數(shù)據(jù)收集負(fù)擔(dān)，提高了模型適用范圍；③模型部署在校級(jí)計(jì)算教學(xué)平臺(tái)作業(yè)調(diào)度系統(tǒng)上，在實(shí)際環(huán)境中驗(yàn)證了這套作業(yè)運(yùn)行預(yù)測(cè)方法的可行性。

1 相關(guān)工作

1.1 基于機(jī)器學(xué)習(xí)方法的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)

作業(yè)運(yùn)行時(shí)間預(yù)測(cè)是一個(gè)復(fù)雜的非線性問題，機(jī)器學(xué)習(xí)方法在解決此類問題上具有優(yōu)勢(shì)。文獻(xiàn)［1］提出一種具有時(shí)間嵌入的Transformer 模型，基于用戶歷史作業(yè)日志數(shù)據(jù)提取作業(yè)時(shí)序特征、資源特征和用戶聚類特征，以此預(yù)測(cè)作業(yè)運(yùn)行時(shí)間。文獻(xiàn)［2］采用KNN 算法，通過歷史數(shù)據(jù)訓(xùn)練K-D 樹，獲取新提交作業(yè)與歷史作業(yè)之間的相似距離，實(shí)現(xiàn)作業(yè)運(yùn)行時(shí)間的預(yù)測(cè)。文獻(xiàn)［3］以用戶作業(yè)腳本為輸入，對(duì)比了多種機(jī)器學(xué)習(xí)算法的預(yù)測(cè)效果，結(jié)果表明決策樹優(yōu)于其他算法，其準(zhǔn)確率達(dá)到73%。文獻(xiàn)［4］以VASP 作業(yè)為例，提出一種基于RBF 網(wǎng)絡(luò)和樸素貝葉斯分類的混合預(yù)測(cè)方法，取得了良好的預(yù)測(cè)效果。文獻(xiàn)［5］針對(duì)高斯應(yīng)用程序，提取算例特征，使用線性回歸、深度神經(jīng)網(wǎng)絡(luò)等方法預(yù)測(cè)作業(yè)運(yùn)行時(shí)間。此外，文獻(xiàn)［6］通過仿真實(shí)驗(yàn)說明，調(diào)度系統(tǒng)受作業(yè)運(yùn)行時(shí)間的準(zhǔn)確性影響較大，相比使用粗略運(yùn)行時(shí)間估計(jì)，基于較準(zhǔn)確的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)作出的作業(yè)排布，吞吐量提高了25%。

1.2 用于作業(yè)運(yùn)行時(shí)間預(yù)測(cè)的特征提取

以上預(yù)測(cè)算法都使用CPU、內(nèi)存、用戶名等特征，需要人工設(shè)計(jì)和調(diào)整。為了降低特征工程在機(jī)器學(xué)習(xí)任務(wù)中的工作量，一些以深度人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的自動(dòng)特征提取方法被提出。文獻(xiàn)［7］系統(tǒng)梳理了預(yù)測(cè)作業(yè)運(yùn)行時(shí)間所需的作業(yè)特征、資源特征、聚類特征以及相應(yīng)的機(jī)器學(xué)習(xí)方法。文獻(xiàn)［8］以作業(yè)腳本作為輸入，使用卷積神經(jīng)網(wǎng)絡(luò)提取字符一級(jí)的特征后作為人工神經(jīng)網(wǎng)絡(luò)輸入，進(jìn)行作業(yè)運(yùn)行時(shí)間預(yù)測(cè)。文獻(xiàn)［9］指出卷積神經(jīng)網(wǎng)絡(luò)因其優(yōu)異的局部空間特征提取能力，在日志分析、文本情感分析等任務(wù)中常常作為特征提取工具。文獻(xiàn)［10］回顧了機(jī)器學(xué)習(xí)技術(shù)在預(yù)測(cè)材料特性、設(shè)計(jì)新材料上的應(yīng)用，提出了多種表征材料結(jié)構(gòu)的方法。文獻(xiàn)［11］指出作業(yè)路徑是預(yù)測(cè)作業(yè)運(yùn)行時(shí)間的重要特征，對(duì)其進(jìn)行特征聚類處理后，輸入支持向量回歸、決策樹和隨機(jī)森林模型，可提升預(yù)測(cè)準(zhǔn)確率。

1.3 模型在小樣本數(shù)據(jù)集上的準(zhǔn)確度提升

增大數(shù)據(jù)集是提高模型準(zhǔn)確度的有效方法之一。文獻(xiàn)［12］指出當(dāng)數(shù)據(jù)獲取條件受限時(shí)，可采用數(shù)據(jù)增強(qiáng)（Data Augmentation）方法。數(shù)據(jù)增強(qiáng)變化已有樣本，生成新的與現(xiàn)實(shí)基本一致的訓(xùn)練樣本。在圖片分類任務(wù)中，數(shù)據(jù)增強(qiáng)方法有剪切、旋轉(zhuǎn)、縮放、增加亮度等。文獻(xiàn)［13］在樣本數(shù)較少的類別上插值采樣，將各類別樣本數(shù)擴(kuò)充到近似程度，避免了樣本數(shù)不均造成的預(yù)測(cè)誤差。文獻(xiàn)［14］保留了在ImageNet 數(shù)據(jù)集上訓(xùn)練出的特征提取網(wǎng)絡(luò)，替換最后的輸出層后使用少量皮膚病相關(guān)照片進(jìn)行微調(diào)，在樣本量較少的皮膚病數(shù)據(jù)集上也獲得了較好的識(shí)別效果。文獻(xiàn)［15］在輸入層將不同數(shù)據(jù)集歸一到同一概率分布，從而使用同一個(gè)模型預(yù)測(cè)不同集群的作業(yè)運(yùn)行時(shí)間。

2 校級(jí)計(jì)算教學(xué)平臺(tái)

計(jì)算的快速發(fā)展對(duì)人才培養(yǎng)提出了更高要求，讓學(xué)生在實(shí)戰(zhàn)中運(yùn)用所學(xué)知識(shí)技能解決真實(shí)問題是培養(yǎng)計(jì)算人才的重要途徑。為此，上海交通大學(xué)秉持“應(yīng)用為王、服務(wù)至上、簡(jiǎn)潔高效、安全運(yùn)行”的宗旨，依托校內(nèi)強(qiáng)大的算力基座打造了校級(jí)計(jì)算教學(xué)平臺(tái)。

如圖1 所示，算力基座自2013 年開始建設(shè)，采用異構(gòu)設(shè)計(jì)理念，建設(shè)了云計(jì)算、人工智能計(jì)算和超級(jí)計(jì)算三類基座，為教學(xué)提供先進(jìn)的CPU 和GPU 計(jì)算資源。在此之上，搭建了校級(jí)計(jì)算教學(xué)平臺(tái)，一站式提供課程所需計(jì)算軟件、實(shí)驗(yàn)環(huán)境和教學(xué)資源，支撐課堂直播、實(shí)驗(yàn)實(shí)訓(xùn)、作業(yè)考試、在線測(cè)評(píng)等全過程計(jì)算教學(xué)。平臺(tái)目前已服務(wù)全校25 個(gè)院系，每學(xué)期使用師生數(shù)超3 000 人，涵蓋人工智能、計(jì)算物理、計(jì)算化學(xué)、計(jì)算材料、生物信息、工程實(shí)踐等眾多領(lǐng)域。

Fig.1 Architecture of university-level computing learning plarform圖1 校級(jí)計(jì)算教學(xué)平臺(tái)架構(gòu)

3 用于高斯作業(yè)運(yùn)行時(shí)間預(yù)測(cè)的深度學(xué)習(xí)模型

3.1 任務(wù)定義與方法

本文以高斯（Gaussian09）程序?yàn)槔?，?shí)現(xiàn)調(diào)度系統(tǒng)中針對(duì)高斯作業(yè)的運(yùn)行時(shí)間預(yù)測(cè)模塊。原因在于高斯作為計(jì)算化學(xué)領(lǐng)域廣泛應(yīng)用的軟件之一，在平臺(tái)上首批運(yùn)行至今，具有一定代表性；高斯程序在平臺(tái)上使用負(fù)載占比較大，預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間，能夠優(yōu)化資源調(diào)度，提升平臺(tái)利用率。

用戶在使用高斯軟件時(shí)，需要提交兩個(gè)文件：一個(gè)是與計(jì)算資源（CPU、內(nèi)存等）相關(guān)的SLURM 作業(yè)腳本，另一個(gè)是與高斯計(jì)算程序相關(guān)的算例輸入文件。作業(yè)調(diào)度系統(tǒng)收到請(qǐng)求后，根據(jù)計(jì)算資源需求和算例文件，預(yù)測(cè)同一個(gè)作業(yè)在不同集群上的運(yùn)行時(shí)間，再根據(jù)預(yù)設(shè)的調(diào)度策略，如最短時(shí)間、最低價(jià)格等，將作業(yè)調(diào)度到合適的集群上排隊(duì)。最后待作業(yè)結(jié)束后，收集信息錄入作業(yè)樣本庫。

高斯程序運(yùn)行時(shí)，從算例文件讀取模型參數(shù)和算法需求，然后構(gòu)建仿真體系模型，通過迭代方法求解體系的薛定諤方程，得到體系穩(wěn)態(tài)能量。高斯作業(yè)的運(yùn)行時(shí)間由計(jì)算設(shè)備的運(yùn)行速度，以及所要計(jì)算的問題決定。使用機(jī)器學(xué)習(xí)算法預(yù)測(cè)高斯作業(yè)的運(yùn)行時(shí)間，需要將“高斯計(jì)算任務(wù)”轉(zhuǎn)換成數(shù)值特征、選擇合適的預(yù)測(cè)方法、處理小樣本和數(shù)據(jù)分布不均的問題。

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)方法

本文借鑒文獻(xiàn)［5］和文獻(xiàn)［16］提取特征的思路，使用卷積神經(jīng)網(wǎng)絡(luò)提取作業(yè)的一般特征，并加入表征分子體系的庫倫范數(shù)F。作業(yè)運(yùn)行時(shí)間預(yù)測(cè)方法選用與CNN 天然集成的深度人工網(wǎng)絡(luò)，并通過超參數(shù)搜索、數(shù)據(jù)增廣等技巧提高準(zhǔn)確率。

3.2.1 基于CNN的作業(yè)文本特征提取

本文使用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取作業(yè)的通用特征，經(jīng)過拼接、分詞、詞嵌入、截?cái)嘧儞Q得到詞向量矩陣，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)處理后得到特征向量用于運(yùn)行時(shí)間預(yù)測(cè)。

如圖2 所示，在通用作業(yè)特征提取中，作業(yè)腳本文件與高斯輸入文件首先會(huì)被拼接成單行文本，然后對(duì)得到的單行文本進(jìn)行一定的清洗：不同于普通文本存在大量的停用詞、時(shí)態(tài)等冗余信息，作業(yè)腳本與輸入文件的文本多是有用信息。因此，清洗主要是去除一些無實(shí)際意義的分隔符號(hào)，如括號(hào)等，保留具有有效信息的單詞。之后，再將詞語序列的每個(gè)元素通過Word2vec［17］轉(zhuǎn)換為長(zhǎng)度為8 的向量。

Fig.2 Schematic diagram of feature extraction based on convolutional neural network圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取示意圖

由于不同作業(yè)腳本與輸入文件提取得到的輸入向量長(zhǎng)度不盡相同，故本文在統(tǒng)計(jì)所有文本長(zhǎng)度后選取了合適的位置將向量進(jìn)行了截?cái)?。由于作業(yè)腳本長(zhǎng)度大多相近，因此截?cái)辔恢弥饕剂康氖亲鳂I(yè)輸入文件。而作業(yè)輸入由兩部分組成：第一段為作業(yè)運(yùn)行時(shí)所需內(nèi)容；第二段為分子結(jié)構(gòu)，也即每個(gè)原子對(duì)應(yīng)的笛卡爾坐標(biāo)。而前一段對(duì)作業(yè)如何執(zhí)行起指導(dǎo)作用，因此需要盡可能保留。因此，本文計(jì)算了所有算例輸入文件第一段文本的最大長(zhǎng)度，在該位置對(duì)向量進(jìn)行截?cái)唷?/p>

3.2.2 使用庫倫矩陣F范數(shù)的分子體系嵌入

高斯軟件求解的是輸入原子體系的最小能量狀態(tài)，如何數(shù)值化地表征原子體系是提高預(yù)測(cè)準(zhǔn)確度的關(guān)鍵?，F(xiàn)有預(yù)測(cè)方法只采用了體系的局部特征，如“原子數(shù)”“質(zhì)子總數(shù)”等，難以刻畫體系的整體特性。

針對(duì)高斯的特征提取方法描述原子體系，本文借鑒其中的“庫倫矩陣”，用以表征高斯作業(yè)算例中的體系結(jié)構(gòu)。文獻(xiàn)［18］實(shí)現(xiàn)了一個(gè)提取和轉(zhuǎn)換庫倫矩陣的Python 擴(kuò)展庫，本文使用這個(gè)庫提取算例的庫倫矩陣范數(shù)F。文獻(xiàn)［5］使用庫倫矩陣作為輸入，它表征了原子核之間的經(jīng)典相互作用，準(zhǔn)確預(yù)測(cè)了原子材料的材料特性，驗(yàn)證了庫倫矩陣的有效性。為更好地表征原子體系，本文使用庫倫矩陣的F 范數(shù)整體表征原子體系。庫倫矩陣是一個(gè)對(duì)稱矩陣，表示了體系中原子的兩兩距離和質(zhì)子數(shù)關(guān)系。但由于庫倫矩陣的大小隨體系大小而變，二維矩陣不易嵌入一維特征向量中，因此本文改用庫倫矩陣的F 范數(shù)表征原子體系。盡管只用一個(gè)浮點(diǎn)數(shù)表征分子體系會(huì)損失大量信息，但在一定程度上體現(xiàn)了分子結(jié)構(gòu)體系的空間特征。

式（1）中，對(duì)角線元素可以視作一個(gè)原子與其自身的相互作用，它也是對(duì)帶有Z 個(gè)原子核電荷的原子能的多項(xiàng)式近似。而非對(duì)角線上的元素表示原子核i與原子核j之間的庫倫排斥力。庫倫矩陣M 的F 范數(shù)定義見式（2），其中p、q表示庫倫矩陣的橫向和縱向維度。

3.2.3 基于深度人工神經(jīng)網(wǎng)絡(luò)的作業(yè)運(yùn)行時(shí)間預(yù)測(cè)

本文使用深度人工神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）作為預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間的算法。具體地，在神經(jīng)網(wǎng)絡(luò)輸出方面，本文令輸出層具有2 880 個(gè)神經(jīng)元，每個(gè)神經(jīng)元分別代表0～2 880 min。本文對(duì)作業(yè)運(yùn)行時(shí)間的預(yù)測(cè)不是傳統(tǒng)的回歸問題，而是轉(zhuǎn)換為粗粒度的分類問題進(jìn)行處理。

對(duì)于從輸入文件文本映射得到的一維向量而言，本文進(jìn)一步采用100 個(gè)大小為3×8 的卷積核對(duì)其進(jìn)行遍歷，其中8 表示W(wǎng)ord2vec 轉(zhuǎn)換得到的詞向量維數(shù)。這樣做確保了卷積核與詞向量的寬度一致，從而使卷積得到不同的完整單詞之間的局部關(guān)系，這是因?yàn)閷?duì)單個(gè)單詞的詞向量做切分沒有實(shí)際意義，而使用該卷積神經(jīng)網(wǎng)絡(luò)可以利用網(wǎng)絡(luò)中諸多隱含層中的神經(jīng)元自動(dòng)提取更高維度、更重要的特征。相比之下，樸素的機(jī)器學(xué)習(xí)方法如KNN、隨機(jī)森林等方法則無法從文本中構(gòu)建特征并用于分析。使用這種方法的優(yōu)點(diǎn)在于無需針對(duì)應(yīng)用進(jìn)行人工的特征提取。后者需要使用基于正則的分割、數(shù)據(jù)清洗等方法才能得到模型所需要的特征數(shù)據(jù)，且在不同應(yīng)用間不具有普適性。而基于文本映射以及1D-CNN 的方法能夠自動(dòng)提取特征，且適用于不同應(yīng)用。在經(jīng)過卷積后，本文得到了一系列新的列向量，為了壓縮過多信息，使用最大池化層提取卷積得到最關(guān)鍵信息，然后將更新的列向量連接至全連接層以及最后2 880個(gè)神經(jīng)元的Softmax 層進(jìn)行分類。

3.3 深度人工神經(jīng)網(wǎng)絡(luò)下的模型遷移

計(jì)算環(huán)境的差異會(huì)導(dǎo)致同一個(gè)高斯算例運(yùn)行時(shí)間的差異，這種在數(shù)據(jù)分布上的差異，最終會(huì)導(dǎo)致基于某個(gè)集群數(shù)據(jù)集訓(xùn)練好的模型，在另一個(gè)集群上預(yù)測(cè)準(zhǔn)確率驟降。然而，在新數(shù)據(jù)集上從零開始訓(xùn)練一個(gè)模型，會(huì)遇到數(shù)據(jù)收集和參數(shù)調(diào)優(yōu)等難題，模型遷移（Model Transfer）方法［19］提供了一種復(fù)用預(yù)訓(xùn)練模型的方法以解決這些問題。所謂模型遷移，指源域與目標(biāo)域的特征、輸出值相同，但其特征的分布不同。其中，源域指現(xiàn)有數(shù)據(jù)集，而目標(biāo)域指待遷移的數(shù)據(jù)集。在實(shí)現(xiàn)方法上，大致可分為“輸入自適應(yīng)”和“輸出自適應(yīng)”，前者保持模型輸出層不變，對(duì)輸入數(shù)據(jù)做變換，使其概率分布統(tǒng)一到模型訓(xùn)練所用的數(shù)據(jù)上；后者保持輸入層不變，調(diào)整模型輸出層參數(shù)，讓輸出層適配新數(shù)據(jù)集概率分布。

本文在深度神經(jīng)網(wǎng)絡(luò)模型上采用“輸出自適應(yīng)”方法，原理如圖3 所示。由于模型前3 層為一般特征，而之后的層為針對(duì)數(shù)據(jù)集的表示層，因此可以固定前3 層，并在新數(shù)據(jù)集上重新訓(xùn)練并微調(diào)后面數(shù)層，從而僅需收集少量數(shù)據(jù)就能達(dá)到較好的預(yù)測(cè)準(zhǔn)確度。

Fig.3 Theory of output adaption圖3 輸出自適應(yīng)原理

3.4 其他提升性能的數(shù)據(jù)處理技巧

（1）數(shù)據(jù)增強(qiáng)。在預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間的任務(wù)中，受限于作業(yè)質(zhì)量和系統(tǒng)權(quán)限，能用于模型訓(xùn)練的作業(yè)樣本數(shù)遠(yuǎn)小于當(dāng)前主流模型的規(guī)模，只有幾千個(gè)樣本點(diǎn)。高斯作為一個(gè)OpenMP 并行作業(yè)，在一個(gè)計(jì)算節(jié)點(diǎn)多核運(yùn)行時(shí)具有超過90%的并行效率，提高一個(gè)算例所用的核心數(shù)，大致能等比例地縮短該算例的運(yùn)行時(shí)間?；谶@樣的觀察，本文對(duì)一個(gè)使用N 核心、運(yùn)行時(shí)間為T 的算例做變換，生成4 個(gè)訓(xùn)練算例，其核心數(shù)和運(yùn)行時(shí)間分別是：（N/4，4T）、（N/2，2T）、（2N、T/2）和（4N，T/4）。

（2）超參數(shù)搜索。求解機(jī)器學(xué)習(xí)模型的過程通常是搜索經(jīng)驗(yàn)損失函數(shù)極小點(diǎn)的過程，模型超參數(shù)的設(shè)置對(duì)能否搜索到極小點(diǎn)具有重要影響，需嘗試多組不同的超參數(shù)。

對(duì)于深度神經(jīng)網(wǎng)絡(luò)，可調(diào)整的超參數(shù)主要有：網(wǎng)絡(luò)深度、每層的神經(jīng)元數(shù)量、學(xué)習(xí)率等。這些因素影響模型的泛化能力和收斂速度。由于訓(xùn)練時(shí)間長(zhǎng)、搜索空間大，本文采用貝葉斯方法搜索最佳模型設(shè)置。在搜索過程中，優(yōu)化目標(biāo)變成以超參數(shù)為變量的損失函數(shù)，貝葉斯函數(shù)以高斯過程對(duì)其建模，引導(dǎo)搜索過程向最優(yōu)超參數(shù)收斂。

對(duì)于梯度提升決策樹，可調(diào)整的超參數(shù)主要有：最大子樹深度、子樹數(shù)量、孩子節(jié)點(diǎn)中最小的樣本權(quán)重和、子樣本的比例、學(xué)習(xí)率等。這些參數(shù)會(huì)影響模型泛化能力、貪心算法保守程度、權(quán)重調(diào)整幅度等重要因素。本文采取的策略是固定其他超參數(shù)，遍歷某組超參數(shù)，重復(fù)以上步驟直至模型達(dá)到最優(yōu)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)均在Intel Xeon Gold 6248平臺(tái)上完成。支持向量機(jī)（SVM）、決策樹（DT）和深度人工神經(jīng)網(wǎng)絡(luò)模型分別使用scikit-learn、XGBoost和TensorFlow 實(shí)現(xiàn)。

4.2 高斯作業(yè)樣本數(shù)據(jù)集

本文使用的高斯作業(yè)樣本來自集群A（數(shù)據(jù)集A）、集群B（數(shù)據(jù)集B）和集群C（數(shù)據(jù)集C）。這3個(gè)集群分別建設(shè)于2019 年、2017 年、2018 年采購，因而單節(jié)點(diǎn)性能有較為顯著的差異。作業(yè)樣本去掉了因故障終止、超過2 天計(jì)算不收斂的算例。此外，本文使用數(shù)據(jù)增強(qiáng)方法，擴(kuò)充3 個(gè)原始數(shù)據(jù)集，得到用于訓(xùn)練的增強(qiáng)數(shù)據(jù)集。各數(shù)據(jù)集大小如表1所示。

Table 1 Three datasets of Gaussian09 jobs表1 3個(gè)高斯作業(yè)樣本數(shù)據(jù)集

4.3 算法準(zhǔn)確度度量標(biāo)準(zhǔn)

本文參考文獻(xiàn)［20］，使用“平均相對(duì)百分比誤差”（Mean Relative Percentage Error，MRPE）度量模型準(zhǔn)確度。MRPE 是“單次預(yù)測(cè)相對(duì)準(zhǔn)確度”的算術(shù)平均值，數(shù)值越高，模型在數(shù)據(jù)集上的整體預(yù)測(cè)結(jié)果越接近真實(shí)值。相比另一個(gè)常用的度量指標(biāo)“平均絕對(duì)百分比誤差”（Mean Absolute Percentage Error，MAPE），MRPE 具有如下優(yōu)點(diǎn)：數(shù)值保持在0-1 區(qū)間、易于解釋和對(duì)比性能、能處理預(yù)測(cè)結(jié)果為0或無窮大的極端情況。其公式如下：

式（3）中，下標(biāo)i表示第i個(gè)數(shù)據(jù)點(diǎn)，pred 表示模型預(yù)測(cè)的作業(yè)運(yùn)行時(shí)間，true 表示作業(yè)實(shí)際運(yùn)行時(shí)間，∈為平滑項(xiàng)。

4.4 實(shí)驗(yàn)流程

在評(píng)估算法準(zhǔn)確度的實(shí)驗(yàn)中，本文通過組合機(jī)器學(xué)習(xí)算法和可用特征集評(píng)估機(jī)器學(xué)習(xí)方法對(duì)準(zhǔn)確度的影響，使用的是樣本數(shù)較多的數(shù)據(jù)集A。其中，3 種機(jī)器學(xué)習(xí)算法使用傳統(tǒng)特征作為對(duì)比基線。DNN 方法額外使用CNN 特征和庫倫矩陣范數(shù)特征的組合，以評(píng)估新特征的有效性。從頭開始訓(xùn)練，與使用遷移學(xué)習(xí)算法的精度進(jìn)行比較。

在評(píng)估模型遷移實(shí)驗(yàn)中，評(píng)估遷移學(xué)習(xí)算法對(duì)于小樣本數(shù)據(jù)集的有效性。模型基線設(shè)定為SVM、DT 和DNN 在小樣本數(shù)據(jù)集上直接訓(xùn)練出來的模型，接著基于數(shù)據(jù)集A模型，保留特征提取層訓(xùn)練出來的參數(shù)，在數(shù)據(jù)集B 和數(shù)據(jù)集C 上微調(diào)并遷移輸出層，并對(duì)比這兩組模型的效果。

在評(píng)估算法耗時(shí)實(shí)驗(yàn)中，比較所用算法的訓(xùn)練和推理耗時(shí)，以評(píng)估模型是否適合部署在生產(chǎn)環(huán)境中。

在所有實(shí)驗(yàn)中，都使用了進(jìn)行數(shù)據(jù)增強(qiáng)的數(shù)據(jù)集，并將數(shù)據(jù)增強(qiáng)后的樣本集，按照0.95∶0.05 劃分為訓(xùn)練集和測(cè)試集，分別輸入指定模型中進(jìn)行訓(xùn)練。測(cè)試集用于評(píng)模型準(zhǔn)確度，不用于模型訓(xùn)練。采用SVM、DT、DNN 3 種機(jī)器學(xué)習(xí)方法訓(xùn)練，比較訓(xùn)練時(shí)間、推理時(shí)間和模型精準(zhǔn)度。

4.5 評(píng)估算法準(zhǔn)確度

3 種機(jī)器學(xué)習(xí)算法及其變種在數(shù)據(jù)集A 上的性能如圖4 所示。在使用相同特征進(jìn)行訓(xùn)練時(shí)，SVM、DT 和DNN 的效果相仿，分別為66.32%、71.87%、69.59%，DT 在三者中具有微弱優(yōu)勢(shì)。加入CNN 提取特征和庫倫矩陣F 范數(shù)特征后，模型效果得到了有效提高。CNN 提取的特征將DNN方法的MRPE 提升了13.36%，而加入了庫倫矩陣的F 范數(shù)特征后，模型的MRPE 進(jìn)一步提升了7.656%。最終，DNN-3模型的MRPE 達(dá)到84.93%，證明了兩種方法的有效性。

對(duì)于CNN 特征提取的有效性，分析原因如下：原始文本特征大量出現(xiàn)次數(shù)很少的文本，例如迭代方法中存在許多僅使用過數(shù)次的方法。傳統(tǒng)編碼方法使用one-hot 對(duì)這類特征編碼時(shí)會(huì)導(dǎo)致特征矩陣非常稀疏，使得訓(xùn)練時(shí)很難收斂到一個(gè)最優(yōu)值。而CNN 提取該類型文本特征時(shí)得到的特征尺寸是可控的，同時(shí)兼顧了傳統(tǒng)方法得到的文本特征，因此效果更好。

4.6 評(píng)估模型遷移

各SVM、DT 和DNN 算法變種在樣本總數(shù)較少的數(shù)據(jù)集B 和C 上的精準(zhǔn)度如圖5、圖6所示。

Fig.5 Different models’ MRPE performance on dataset B（higher is better）圖5 不同模型在數(shù)據(jù)集B上的MPRE值（越高越好）

Fig.6 Different models’MRPE performance on dataset C（higher is better）圖6 不同方法在數(shù)據(jù)集C上的MPRE值（越高越好）

首先，對(duì)于“從零開始”訓(xùn)練模型的算法，SVM、DT、DNN-1 在小樣本數(shù)據(jù)集上的精準(zhǔn)度不佳，未超過38%。CNN 提取特征和加入庫倫矩陣對(duì)精準(zhǔn)度的影響與上文觀察到的一致，前者作用更顯著。其次，對(duì)于“直接使用”預(yù)訓(xùn)練模型的5 個(gè)機(jī)器學(xué)習(xí)模型（SVM、DT、DNN-1、DNN-2、DNN-3），準(zhǔn)確度相比“從零開始”訓(xùn)練的模型不升反降，說明由于數(shù)據(jù)分布差異，在一個(gè)數(shù)據(jù)集上訓(xùn)練出來的模型通常不能直接用于另一個(gè)數(shù)據(jù)集推理。最后，采用“模型遷移”方法微調(diào)的算法DNN-4 在兩個(gè)小數(shù)據(jù)集上都獲得了比其他算法更高的準(zhǔn)確度，分別達(dá)65.2%、63.3%，證明了模型遷移方法的有效性。

4.7 評(píng)估算法訓(xùn)練與推理耗時(shí)

在實(shí)際部署模型時(shí)，算法訓(xùn)練時(shí)間會(huì)影響模型重訓(xùn)練頻度，推理時(shí)間會(huì)影響模型響應(yīng)速度。算法訓(xùn)練和推理時(shí)間大致與算法復(fù)雜度保持一致，在生產(chǎn)環(huán)境部署算法時(shí)，需要考慮處理時(shí)間的硬性限制。幾種機(jī)器學(xué)習(xí)算法在數(shù)據(jù)集A 上的訓(xùn)練時(shí)間和推理時(shí)間如表2 所示，算法的變種不影響整體訓(xùn)練和推理時(shí)間，因此采用最基本的算法。

Table 2 Horizontal comparison of 5 models表2 5種模型橫向比較

對(duì)于模型訓(xùn)練，SVM 最快，DT 次之，DNN 最慢。上述算法的訓(xùn)練時(shí)間都不超過10 min，能夠滿足每隔半小時(shí)重新訓(xùn)練一次模型的需求。對(duì)于模型推理，耗時(shí)從小到大依次是：SVM、GBDT 和DNN。其中，DNN 算法推理時(shí)間高于0.5 s，結(jié)合生產(chǎn)環(huán)境集群作業(yè)接收經(jīng)驗(yàn)（約每秒收到一個(gè)新作業(yè)），DNN 足以處理高斯作業(yè)預(yù)測(cè)，但擴(kuò)展到預(yù)測(cè)每一個(gè)作業(yè)的運(yùn)行時(shí)間，會(huì)成為整個(gè)作業(yè)調(diào)度系統(tǒng)的瓶頸。

5 結(jié)語

本文在上海交通大學(xué)校級(jí)計(jì)算教學(xué)平臺(tái)作業(yè)調(diào)度系統(tǒng)的基礎(chǔ)上，實(shí)現(xiàn)了一套用于收集特定應(yīng)用算例的系統(tǒng)，基于該系統(tǒng)收集的高斯作業(yè)算例，以及相同算例在其他集群上的運(yùn)行結(jié)果，評(píng)估了不同機(jī)器學(xué)習(xí)方法結(jié)合不同的特征提取方式對(duì)于預(yù)測(cè)高斯作業(yè)運(yùn)行時(shí)間的適用性，并探討了提高小樣本數(shù)據(jù)集預(yù)測(cè)準(zhǔn)確度的方法。

最終發(fā)現(xiàn)，梯度提升決策樹方法和深度神經(jīng)網(wǎng)絡(luò)方法優(yōu)于傳統(tǒng)的支持向量機(jī)方法；使用Text-CNN 對(duì)文本提取特征優(yōu)于提取單詞并做one-hot 編碼；在模型中加入表示原子體系的表征后準(zhǔn)確度明顯提高，相比使用原始特征作為輸入的DNN，使用Text-CNN 提取文本特征加上庫倫矩陣F 范數(shù)作為輸入特征的MRPE 提升了22.04%；對(duì)于小樣本數(shù)據(jù)集，采用模型遷移的方法復(fù)用預(yù)訓(xùn)練模型，能有效提高模型準(zhǔn)確度。下一步，嘗試將這套方法用于高斯之外的科學(xué)應(yīng)用，為高效率智能化的集群作業(yè)調(diào)度提供依據(jù)。