基于異構(gòu)Flink 集群的節(jié)點(diǎn)優(yōu)先級(jí)調(diào)度策略

汪文豪，史雪榮

（1.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京 211816；2.鹽城師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，江蘇 鹽城 224002）

0 概述

近年來(lái)，云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等新一代信息技術(shù)快速發(fā)展，信息產(chǎn)業(yè)的數(shù)據(jù)量急劇增長(zhǎng)。截止到2020 年底，我國(guó)的數(shù)據(jù)總量預(yù)計(jì)到達(dá)8 060 EB［1］。隨著信息數(shù)據(jù)量劇增，數(shù)據(jù)處理技術(shù)也在發(fā)生著巨大變化，涌現(xiàn)出Apache Hadoop、Apache Spark、Apache Storm、Heron、Flink 等［2］一大批數(shù)據(jù)計(jì)算系統(tǒng)。在數(shù)據(jù)處理的硬件方面，各種機(jī)構(gòu)和設(shè)備的更新?lián)Q代和新興技術(shù)的引入，使得各個(gè)數(shù)據(jù)計(jì)算系統(tǒng)在實(shí)際生產(chǎn)環(huán)境中變得越來(lái)越異構(gòu)［3-4］。這種異構(gòu)集群特征直觀表現(xiàn)在其節(jié)點(diǎn)的CPU、內(nèi)存等各方面存在差異致使集群運(yùn)行時(shí)的處理能力不盡相同，從而使得集群在調(diào)度節(jié)點(diǎn)執(zhí)行任務(wù)時(shí)，集群效率明顯下降［5］。

目前，國(guó)內(nèi)外眾多學(xué)者對(duì)資源彈性管理問(wèn)題和分布式框架下的任務(wù)及節(jié)點(diǎn)調(diào)度問(wèn)題展開(kāi)研究。在資源彈性管理方面：文獻(xiàn)［6］提出使用排隊(duì)理論進(jìn)行建模，通過(guò)部署主動(dòng)彈性控制器和反應(yīng)彈性控制器相結(jié)合的模型來(lái)估計(jì)集群節(jié)點(diǎn)的未來(lái)負(fù)載；文獻(xiàn)［7］認(rèn)為云計(jì)算存在資源傾斜的問(wèn)題，提出動(dòng)態(tài)實(shí)時(shí)云框架，使集群可以自動(dòng)適應(yīng)不同的工作負(fù)載，并根據(jù)需求重新分配資源；文獻(xiàn)［8］基于云計(jì)算通用工作負(fù)載預(yù)測(cè)器，設(shè)計(jì)一種可以為不同工作負(fù)載提供高精度預(yù)測(cè)的長(zhǎng)期記憶模型，解決了通用預(yù)測(cè)器精度不夠的問(wèn)題，進(jìn)一步優(yōu)化了集群資源彈性管理。在批處理框架方面：文獻(xiàn)［9］認(rèn)為Hadoop 框架在默認(rèn)調(diào)度時(shí)未考慮Map 與Reduce 之間存在差異性，據(jù)此提出一種基于Hadoop 框架的截止時(shí)間約束的擴(kuò)展MapReduce 任務(wù)調(diào)度算法；文獻(xiàn)［10］認(rèn)為在Hadoop默認(rèn)調(diào)度方式下缺乏對(duì)整體集群異構(gòu)性的考慮，提出基于資源感知與資源異構(gòu)的云計(jì)算環(huán)境任務(wù)調(diào)度算法；文獻(xiàn)［11］基于Hadoop 框架的節(jié)點(diǎn)計(jì)算能力，設(shè)計(jì)能夠按計(jì)算能力分配數(shù)據(jù)塊的數(shù)據(jù)局部性調(diào)度器；文獻(xiàn)［12］認(rèn)為在異構(gòu)Hadoop 集群中會(huì)出現(xiàn)節(jié)點(diǎn)隨任務(wù)動(dòng)態(tài)分配而產(chǎn)生性能差異的問(wèn)題，提出基于動(dòng)態(tài)工作負(fù)載調(diào)整的任務(wù)調(diào)度策略；文獻(xiàn)［13］在YARN 資源調(diào)度器的基礎(chǔ)上，結(jié)合閉環(huán)反饋控制方法，使Hadoop 集群在運(yùn)行時(shí)可以動(dòng)態(tài)對(duì)MapReduce作業(yè)數(shù)進(jìn)行控制，避免出現(xiàn)主觀性的問(wèn)題；文獻(xiàn)［14］基于異構(gòu)Spark 集群，提出通過(guò)監(jiān)測(cè)節(jié)點(diǎn)資源的自適應(yīng)動(dòng)態(tài)節(jié)點(diǎn)任務(wù)調(diào)度策略，但是該策略依賴于人工設(shè)定的閾值，無(wú)法體現(xiàn)客觀性；文獻(xiàn)［15］在文獻(xiàn)［14］的基礎(chǔ)上，提出基于異構(gòu)節(jié)點(diǎn)優(yōu)先級(jí)的Spark 動(dòng)態(tài)自適應(yīng)調(diào)度算法，該算法能夠根據(jù)實(shí)時(shí)節(jié)點(diǎn)優(yōu)先級(jí)完成調(diào)度，但是忽略了任務(wù)種類和集群整體工作環(huán)境，沒(méi)有徹底解決主觀性問(wèn)題。在流處理框架方面：文獻(xiàn)［16］提出在流處理框架Storm on YARN 上構(gòu)建一種雙層調(diào)度模型，通過(guò)對(duì)流數(shù)據(jù)處理的實(shí)時(shí)監(jiān)測(cè)，做出合理的資源分配預(yù)測(cè)，解決框架需要人工干預(yù)調(diào)整的問(wèn)題；文獻(xiàn)［17］針對(duì)流處理框架的數(shù)據(jù)拓?fù)渲腥蝿?wù)間通信開(kāi)銷較大的問(wèn)題，提出Flink 框架下的拓?fù)潢P(guān)鍵路徑模型，該模型能夠確保關(guān)鍵路徑上節(jié)點(diǎn)負(fù)載差異較小的同時(shí)最小化任務(wù)的節(jié)點(diǎn)間通信開(kāi)銷。

但是現(xiàn)階段國(guó)內(nèi)外的相關(guān)研究主要存在兩方面的問(wèn)題。一方面，大部分的分布式調(diào)度研究主要關(guān)注于批處理，將Hadoop 框架與Spark 框架作為主要的實(shí)驗(yàn)環(huán)境，而對(duì)于流處理，尤其是以Flink 框架作為實(shí)驗(yàn)環(huán)境的研究相對(duì)較少。另一方面，在實(shí)際作業(yè)環(huán)境中，很難避免整體集群出現(xiàn)異構(gòu)的情況，針對(duì)結(jié)合實(shí)際作業(yè)環(huán)境的異構(gòu)Flink 環(huán)境的研究也相對(duì)較少。本文通過(guò)研究分布式節(jié)點(diǎn)的實(shí)時(shí)性能和集群的工作環(huán)境預(yù)測(cè)機(jī)制，充分考慮現(xiàn)實(shí)生產(chǎn)環(huán)境的異構(gòu)分布問(wèn)題，從而對(duì)Flink 底層默認(rèn)調(diào)度策略進(jìn)行優(yōu)化，以提高Flink 系統(tǒng)的工作效率。

1 相關(guān)技術(shù)

Apache Flink 是一個(gè)面向數(shù)據(jù)流的有狀態(tài)計(jì)算框架，核心是一個(gè)流數(shù)據(jù)的處理引擎。在計(jì)算過(guò)程中，F(xiàn)link 將所有任務(wù)當(dāng)作流來(lái)處理，批處理任務(wù)被看作具備有限邊界的特殊數(shù)據(jù)流。相對(duì)于目前的大部分流處理框架，F(xiàn)link 框架在數(shù)據(jù)處理方面有低延遲、高吞吐的優(yōu)勢(shì)，在集群功能方面則提供了消息傳遞、狀態(tài)管理、容錯(cuò)恢復(fù)等一系列服務(wù)［18-19］。

Flink 集群主要由兩個(gè)重要進(jìn)程JobManager 和TaskManager 組成，如圖1 所示，其中虛線表示任務(wù)的流轉(zhuǎn)。JobManager 又稱為Master，主要協(xié)調(diào)整體架構(gòu)的數(shù)據(jù)流圖的運(yùn)算和執(zhí)行，其中的調(diào)度器模塊和Checkpoint 協(xié)調(diào)器模塊還負(fù)責(zé)調(diào)度任務(wù)、協(xié)調(diào)檢查和故障恢復(fù)。TaskManager又稱為Worker，主要執(zhí)行由JobManager分配的任務(wù)。同時(shí)，每一個(gè)TaskManager都具有緩存數(shù)據(jù)和節(jié)點(diǎn)間通信的功能。在Flink 中，一個(gè)TaskManager 即為一個(gè)JVM 進(jìn)程，JVM 進(jìn)程允許并行地執(zhí)行子任務(wù)，并能夠指定若干slot。每一個(gè)slot 可以執(zhí)行若干子任務(wù)，即運(yùn)行若干線程［18］。

圖1 Flink 集群架構(gòu)Fig.1 Flink cluster architecture

Flink 在調(diào)度任務(wù)分配slot 時(shí)，遵循2 個(gè)原則：1）同一Job 中的同一分組的不同task 可以共享同一slot；2）任務(wù)調(diào)度按照拓?fù)漤樞驈腟ource 調(diào)度到Sink。以圖2（a）的Flink 拓?fù)淠Ｐ蜑槔黜旤c(diǎn)ν表示Flink 中的Operator 算子，νa表示Source 算子組件，νb、νc和νd表示并行度為3 的Transformation 算子組件，νe和νf表示并行度為2 的Sink 算子組件。首先由Source 組件將讀取的數(shù)據(jù)發(fā)送至Transformation 組件；然后Transformation 組件負(fù)責(zé)處理上游發(fā)送的數(shù)據(jù)；最后由Sink 組件接收上游處理結(jié)果并持久化至數(shù)據(jù)庫(kù)［20］。以有2 個(gè)TaskManager 的Flink 分布式集群為例，每一個(gè)TaskManager 配置有2 個(gè)slot。Flink在默認(rèn)調(diào)度下對(duì)于該任務(wù)拓?fù)涞膕lot 分配模型如圖2（b）所示。首先調(diào)度默認(rèn)從拓?fù)涞腟ource 任務(wù)開(kāi)始，將νa隨機(jī)調(diào)度給任一slot，如圖2（b）中νa調(diào)度至slot11 所示；然后將νb、νc和νd調(diào)度至任意的slot，但νb、νc和νd同屬于一種Operator 算子，不能共享同一slot，因此將νb、νc和νd分別調(diào)度至slot11、slot12 和slot21；最后將νe和νf也分別調(diào)度至slot11 和slot12。

圖2 任務(wù)拓?fù)浞峙淠Ｐ虵ig.2 Task topology assignment model

2 基于節(jié)點(diǎn)優(yōu)先級(jí)的Flink 動(dòng)態(tài)調(diào)度策略

2.1 節(jié)點(diǎn)優(yōu)先級(jí)定義及調(diào)整方法描述

2.1.1 相關(guān)定義

定義1（節(jié)點(diǎn)優(yōu)先級(jí)）Flink 集群的節(jié)點(diǎn)優(yōu)先級(jí)集合為P=｛P1，P2，…｝。Pix表示第i個(gè)節(jié)點(diǎn)的偏x相關(guān)性能優(yōu)先級(jí)指數(shù)，當(dāng)x=c時(shí)表示節(jié)點(diǎn)偏CPU 相關(guān)性能優(yōu)先級(jí)指數(shù)，當(dāng)x=m時(shí)表示節(jié)點(diǎn)偏內(nèi)存相關(guān)性能優(yōu)先級(jí)指數(shù)。

定義2（節(jié)點(diǎn)性能指數(shù)計(jì)算權(quán)值）在節(jié)點(diǎn)性能指數(shù)計(jì)算時(shí)，引入的各動(dòng)靜態(tài)性能因素權(quán)值表示為向量與向量，當(dāng)x=c時(shí)當(dāng)前權(quán)值側(cè)重計(jì)算CPU相關(guān)優(yōu)先性能指數(shù)，當(dāng)x=m時(shí)當(dāng)前權(quán)值側(cè)重計(jì)算內(nèi)存相關(guān)優(yōu)先性能指數(shù)。對(duì)于任意的，有；對(duì)于任意的。

定義3（節(jié)點(diǎn)資源因素指數(shù)［15］）動(dòng)態(tài)性能指數(shù)D=｛D1，D2，…｝表示節(jié)點(diǎn)在執(zhí)行任務(wù)時(shí)的實(shí)時(shí)性能變化。對(duì)于動(dòng)態(tài)性能指數(shù)有3 個(gè)資源約束，分別是CPU 剩余率（CSR）、內(nèi)存剩余率（MSR）和磁盤剩余率（DSR）。靜態(tài)性能指數(shù)S=｛S1，S2，…｝表示節(jié)點(diǎn)的不對(duì)稱性能因素。對(duì)于靜態(tài)性能指數(shù)有4 個(gè)資源約束，分別為CPU 速度（CS）、CPU 核數(shù)（CQ）、內(nèi)存容量（MC）和磁盤容量（DC）。

對(duì)于每個(gè)動(dòng)態(tài)指數(shù)Di∈D，對(duì)應(yīng)資源約束向量di=(CCSRi，MMSRi，DDSRi)；對(duì)于每個(gè)靜態(tài)指數(shù)Si∈S，對(duì)應(yīng)資源約束向量si=(CCSi，CCQi，MMCi，DDCi)。引入定義2中權(quán)值的計(jì)算后，得到Dix表示第i個(gè)節(jié)點(diǎn)的動(dòng)態(tài)偏x性能指數(shù)，Six表示第i個(gè)節(jié)點(diǎn)的靜態(tài)偏x性能指數(shù)。

2.1.2 調(diào)整方法描述

本文所設(shè)計(jì)的節(jié)點(diǎn)優(yōu)先級(jí)調(diào)整方法是即時(shí)反饋方法，節(jié)點(diǎn)優(yōu)先級(jí)計(jì)算公式如下：

其中：α、β為節(jié)點(diǎn)整體動(dòng)靜態(tài)因素指數(shù)權(quán)值，α+β=1；和表示節(jié)點(diǎn)動(dòng)靜態(tài)偏x性能指數(shù)。和計(jì)算公式如下：

以4 個(gè)節(jié)點(diǎn)組成的Flink 異構(gòu)集群為例，給出節(jié)點(diǎn)優(yōu)先級(jí)調(diào)整架構(gòu)如圖3 所示。

圖3 節(jié)點(diǎn)優(yōu)先級(jí)調(diào)整架構(gòu)Fig.3 Node priority adjustment architecture

監(jiān)控器運(yùn)行在集群Master 節(jié)點(diǎn)中，負(fù)責(zé)周期性收集節(jié)點(diǎn)的資源使用情況和任務(wù)隊(duì)列長(zhǎng)度。獲取的資源信息將傳入到控制器中，由控制器完成具體節(jié)點(diǎn)優(yōu)先級(jí)計(jì)算。監(jiān)控器采用Ganglia［21］進(jìn)行實(shí)現(xiàn)，Ganglia 是一個(gè)可擴(kuò)展分布式集群資源監(jiān)控系統(tǒng)，能夠?qū)崿F(xiàn)對(duì)集群信息的監(jiān)控。

控制器負(fù)責(zé)根據(jù)監(jiān)控器監(jiān)測(cè)到的信息計(jì)算出各節(jié)點(diǎn)的優(yōu)先級(jí)。本文節(jié)點(diǎn)優(yōu)先級(jí)調(diào)整方法引入作業(yè)環(huán)境預(yù)測(cè)機(jī)制，在一個(gè)周期內(nèi)判定當(dāng)前集群作業(yè)環(huán)境的參數(shù)x由式（4）確定。如果集群節(jié)點(diǎn)的I/O 操作平均時(shí)間T（I/O）超過(guò)了整體操作時(shí)間T（all）的65%，則判定當(dāng)前集群作業(yè)環(huán)境為I/O 密集型，否則判定為CPU 密集型。

當(dāng)監(jiān)控器判定為I/O 密集型環(huán)境時(shí)，控制器將節(jié)點(diǎn)動(dòng)靜態(tài)因素指數(shù)計(jì)算的權(quán)值重置為和，節(jié)點(diǎn)的偏內(nèi)存性能優(yōu)先級(jí)指數(shù)的計(jì)算公式如下：

當(dāng)監(jiān)控器判定為CPU 密集型環(huán)境時(shí)，控制器將節(jié)點(diǎn)動(dòng)靜態(tài)因素指數(shù)計(jì)算的權(quán)值重置為和，節(jié)點(diǎn)的偏CPU 性能優(yōu)先級(jí)指數(shù)的計(jì)算公式如下：

2.2 節(jié)點(diǎn)優(yōu)先級(jí)調(diào)整算法

算法1節(jié)點(diǎn)優(yōu)先級(jí)調(diào)整算法EP-NPAA

2.3 基于節(jié)點(diǎn)優(yōu)先級(jí)的Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度策略

在實(shí)際運(yùn)行環(huán)境中，異構(gòu)分布式集群的節(jié)點(diǎn)往往會(huì)出現(xiàn)資源不平衡和負(fù)載不均衡的情況。為保證任務(wù)的高效完成，需要準(zhǔn)確衡量各節(jié)點(diǎn)的性能以及整體集群的負(fù)載程度，選擇合適的節(jié)點(diǎn)分配任務(wù)［22］。本文提出一種基于節(jié)點(diǎn)優(yōu)先級(jí)的Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度算法。

2.3.1 基于節(jié)點(diǎn)優(yōu)先級(jí)的調(diào)度方法描述

基于節(jié)點(diǎn)優(yōu)先級(jí)的Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度方法建立在集群異構(gòu)的情況下，該方法的主要構(gòu)成如下：1）Master 節(jié)點(diǎn)監(jiān)控器定期監(jiān)控每個(gè)Worker 節(jié)點(diǎn)自身資源情況及負(fù)載變化情況，并反饋控制器定期動(dòng)態(tài)計(jì)算各Worker 節(jié)點(diǎn)的優(yōu)先級(jí)指數(shù)；2）在Master 節(jié)點(diǎn)進(jìn)行任務(wù)調(diào)度時(shí)，讀取各節(jié)點(diǎn)優(yōu)先級(jí)指數(shù)，選擇指數(shù)較大的節(jié)點(diǎn)分配任務(wù)。Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度架構(gòu)如圖4 所示。

圖4 Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度架構(gòu)Fig.4 Dynamic adaptive Flink node scheduling architecture

2.3.2 Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度算法

Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度算法運(yùn)行在Master節(jié)點(diǎn)上，具體步驟為：1）啟動(dòng)集群，Master 節(jié)點(diǎn)檢測(cè)節(jié)點(diǎn)是否出現(xiàn)變化，根據(jù)變化狀態(tài)調(diào)用EP-NPAA 算法重新計(jì)算節(jié)點(diǎn)的靜態(tài)因素指數(shù)Si；2）Master 節(jié)點(diǎn)內(nèi)控制器調(diào)用EP-NPAA 算法，依次計(jì)算每個(gè)Worker 節(jié)點(diǎn)的優(yōu)先級(jí)得到P=｛P1，P2，…｝，并對(duì)節(jié)點(diǎn)集合NodeSets 進(jìn)行排序；3）控制器從節(jié)點(diǎn)集合NodeSets中按優(yōu)先級(jí)指數(shù)高低依次調(diào)用每個(gè)節(jié)點(diǎn)，檢測(cè)當(dāng)前調(diào)用節(jié)點(diǎn)是否有當(dāng)前task 可用的slot，若有可用的slot，則分配任務(wù)給該節(jié)點(diǎn)；若無(wú)可用slot，則繼續(xù)調(diào)用下一節(jié)點(diǎn)。

算法2Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度算法F-DASA

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境配置

為驗(yàn)證本文自適應(yīng)調(diào)度策略對(duì)Flink 異構(gòu)集群的節(jié)點(diǎn)調(diào)度性能更佳，構(gòu)建Flink 異構(gòu)集群數(shù)據(jù)實(shí)驗(yàn)平臺(tái)。該平臺(tái)由5 臺(tái)服務(wù)器組成，其中，1 臺(tái)為主服務(wù)器Master，4 臺(tái)為從服務(wù)器Worker。集群節(jié)點(diǎn)硬件與軟件配置如表1、表2 所示。

表1 集群節(jié)點(diǎn)硬件配置Table 1 Hardware configuration of cluster nodes

表2 集群節(jié)點(diǎn)軟件配置Table 2 Software configuration of cluster nodes

在實(shí)驗(yàn)中進(jìn)行節(jié)點(diǎn)優(yōu)先級(jí)計(jì)算時(shí)，規(guī)定動(dòng)靜態(tài)因素權(quán)值α和β分別取值為0.65 和0.35；在內(nèi)存密集型作業(yè)環(huán)境下，各動(dòng)態(tài)因素權(quán)值取值為（0.3，0.6，0.1），各靜態(tài)因素權(quán)值取值為（0.05，0.30，0.55，0.10）。在CPU 密集型作業(yè)環(huán)境下，各動(dòng)態(tài)因素權(quán)值取值為（0.5，0.4，0.1），各靜態(tài)因素權(quán)值取值為（0.10，0.50，0.35，0.05）。

3.2 實(shí)驗(yàn)數(shù)據(jù)設(shè)置

為有效驗(yàn)證F-DASA 算法對(duì)Flink 異構(gòu)集群的影響，實(shí)驗(yàn)將本文策略與Flink 默認(rèn)調(diào)度策略以及TSS-Flink 策略［17］進(jìn)行大數(shù)據(jù)基準(zhǔn)測(cè)試WorldCount和TeraSort 對(duì)比。WorldCount 是詞頻統(tǒng)計(jì)基準(zhǔn)測(cè)試，特點(diǎn)是CPU 資源占用率較高、內(nèi)存占用率較低，數(shù)據(jù)集采用9 個(gè)表生成模擬5 種事務(wù)處理的TPC-C 數(shù)據(jù)集［23］。TeraSort 是分布式排序基準(zhǔn)測(cè)試，在執(zhí)行過(guò)程中會(huì)大量占用內(nèi)存資源，數(shù)據(jù)集為待排序的數(shù)值型數(shù)據(jù)集。

3.3 結(jié)果分析

3.3.1 運(yùn)行時(shí)間對(duì)比

實(shí)驗(yàn)通過(guò)對(duì)比使用Flink 默認(rèn)調(diào)度策略、TSSFlink 策略和本文策略后的作業(yè)運(yùn)行時(shí)間，驗(yàn)證F-DASA 算法對(duì)Flink 異構(gòu)集群的影響。在實(shí)驗(yàn)過(guò)程中，基準(zhǔn)測(cè)試WorldCount 的數(shù)據(jù)集規(guī)模分別為2 GB、4 GB 和6 GB，且設(shè)置不同的作業(yè)并行度，運(yùn)行時(shí)間如圖5 所示。

圖5 作業(yè)運(yùn)行時(shí)間對(duì)比Fig.5 Comparison of job runtime

從圖5 的實(shí)驗(yàn)結(jié)果可以看出，在并行度為8 和16 的情況下，使用TSS-Flink 策略和本文策略后，基準(zhǔn)測(cè)試WorldCount 的運(yùn)行時(shí)間都有所減少。在使用本文策略之后，比使用Flink 默認(rèn)調(diào)度策略約平均減少了6%。這是因?yàn)樵谀J(rèn)調(diào)度策略下，調(diào)度器使異構(gòu)集群中資源較少的節(jié)點(diǎn)完成和其他節(jié)點(diǎn)同等的任務(wù)，拖慢了整體作業(yè)運(yùn)行時(shí)間。在本文策略下，調(diào)度器使任務(wù)得到均勻分配，資源多的節(jié)點(diǎn)可以完成盡可能多的任務(wù)，縮短了整體運(yùn)行時(shí)間。相較于TSS-Flink 策略，本文策略的運(yùn)行時(shí)間更少，這是因?yàn)門SS-Flink 策略缺少對(duì)于異構(gòu)環(huán)境下節(jié)點(diǎn)資源不均衡問(wèn)題的考慮，從而導(dǎo)致性能有所差異。

3.3.2 系統(tǒng)延遲對(duì)比

實(shí)驗(yàn)通過(guò)對(duì)比Flink 默認(rèn)調(diào)度策略與本文策略之間的延遲關(guān)系，驗(yàn)證F-DASA 算法對(duì)Flink 異構(gòu)集群的影響。在實(shí)驗(yàn)過(guò)程中，在設(shè)置作業(yè)并行度為8的情況下，對(duì)比基準(zhǔn)測(cè)試WorldCount 和TeraSort 下不同數(shù)據(jù)吞吐量的系統(tǒng)延遲，實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 2 種策略的系統(tǒng)延遲對(duì)比Fig.6 Comparison of system delay of two strategies

由圖6（a）可以看出，基準(zhǔn)測(cè)試WorldCount 在使用默認(rèn)調(diào)度策略時(shí)，隨著吞吐量的增加，系統(tǒng)延遲在100 ms 至150 ms 內(nèi)緩慢上升。使用本文策略后，在吞吐量為1～6 萬(wàn)組/s 時(shí)，系統(tǒng)延遲在100 ms 至150 ms 內(nèi)緩慢上升，與Flink 默認(rèn)調(diào)度策略的系統(tǒng)延遲相近；在吞吐量達(dá)到6 萬(wàn)組/s 以上時(shí)，系統(tǒng)延遲上升幅度略微增大，屬于可接受范圍。由圖6（b）可以看出，基準(zhǔn)測(cè)試TeraSort 在使用默認(rèn)調(diào)度策略時(shí)，隨著吞吐量的增加，系統(tǒng)延遲始終在150 ms 上下浮動(dòng)。在使用本文策略后，系統(tǒng)延遲在吞吐量為1～6 萬(wàn)組/s時(shí)，在145 ms 上下浮動(dòng)，略微優(yōu)于Flink 默認(rèn)調(diào)度策略；在吞吐量達(dá)到6 萬(wàn)組/s 以上時(shí)，系統(tǒng)延遲上升幅度略微增大，屬于可接受范圍。綜上所述，在異構(gòu)Flink 集群中使用本文策略后，依然能夠保持較為穩(wěn)定的延遲率，達(dá)到集群原有的響應(yīng)速度。

4 結(jié)束語(yǔ)

針對(duì)異構(gòu)Flink 集群默認(rèn)策略在節(jié)點(diǎn)調(diào)度過(guò)程中存在部分節(jié)點(diǎn)負(fù)載不均衡的問(wèn)題，本文提出一種基于節(jié)點(diǎn)優(yōu)先級(jí)的Flink 節(jié)點(diǎn)動(dòng)態(tài)自適應(yīng)調(diào)度策略。該策略能夠監(jiān)控集群中任務(wù)與節(jié)點(diǎn)的各項(xiàng)數(shù)據(jù)，并在任務(wù)執(zhí)行過(guò)程中根據(jù)實(shí)時(shí)的作業(yè)環(huán)境更新各個(gè)節(jié)點(diǎn)的優(yōu)先級(jí)指數(shù)，為系統(tǒng)任務(wù)找到最佳的執(zhí)行節(jié)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該策略可在保持集群低延遲的基礎(chǔ)上，提高異構(gòu)Flink 集群對(duì)于節(jié)點(diǎn)資源的利用率。下一步將針對(duì)節(jié)點(diǎn)的CPU、內(nèi)存和帶寬性能設(shè)置合理的閾值，確保集群不會(huì)出現(xiàn)滿負(fù)載狀態(tài)，同時(shí)設(shè)計(jì)集群任務(wù)選擇算法，并將其與F-DASA 算法相結(jié)合進(jìn)一步提升異構(gòu)Flink 集群整體性能。