喻之斌研究團(tuán)隊(duì)提出基于縱向標(biāo)簽的時(shí)空共享調(diào)度協(xié)調(diào)機(jī)制

中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院異構(gòu)智能計(jì)算體系與系統(tǒng)研究中心喻之斌研究團(tuán)隊(duì)在時(shí)空共享調(diào)度抽象方面取得進(jìn)展。相應(yīng)成果為“Wang YZ, Li LL, Wu Y, et al.TPShare: a timespace sharing scheduling abstraction for shared cloud via vertical labels [C] // ISCA2019, 2019:499-512(TPShare: 云環(huán)境下基于縱向標(biāo)簽的時(shí)空共享調(diào)度抽象)”。

隨著共享云計(jì)算資源異構(gòu)性與任務(wù)異構(gòu)性不斷擴(kuò)大，松耦合的調(diào)度架構(gòu)設(shè)計(jì)模式得到普遍應(yīng)用。但在該架構(gòu)下，不同層次的調(diào)度器之間缺乏信息的溝通和調(diào)度策略的協(xié)調(diào)，導(dǎo)致調(diào)度效率低下。該研究提出基于縱向標(biāo)簽的云操作系統(tǒng)與應(yīng)用框架間的調(diào)度協(xié)調(diào)機(jī)制 TPShare，重點(diǎn)解決如何調(diào)高云操作系統(tǒng)吞吐量和資源信息感知度，進(jìn)而提高調(diào)度質(zhì)量，確保應(yīng)用性能等問(wèn)題。

針對(duì) Mesos 云操作系統(tǒng)，以及 Spark、Flink應(yīng)用框架設(shè)計(jì)實(shí)現(xiàn)了 TPShare 協(xié)調(diào)調(diào)度原型。其中，通信協(xié)議主要采用基于縱向標(biāo)簽的時(shí)間/空間消息傳遞機(jī)制。而主要優(yōu)化方法包括細(xì)粒度資源供給方案、負(fù)載感知的資源過(guò)濾機(jī)制和應(yīng)用端全局資源感知的資源擴(kuò)展技術(shù)。

通過(guò)在 8 節(jié)點(diǎn)集群上部署以及與原始 Mesos的對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)，TPShare 可以有效提高云操作系統(tǒng)調(diào)度的吞吐量，提高調(diào)度質(zhì)量。如在干擾環(huán)境下，平均降低尾部延遲約 2 倍。

研究縱向的調(diào)度協(xié)同理論和方法，不僅能為體系結(jié)構(gòu)設(shè)計(jì)和優(yōu)化提供新的指導(dǎo)，而且提高了資源效率，保證了用戶體驗(yàn)和云服務(wù)提供商的經(jīng)濟(jì)效益，因而具有重要的理論價(jià)值和實(shí)際意義。

圖1 基于標(biāo)簽的跨層次協(xié)調(diào)機(jī)制 TPShare

圖2 不同負(fù)載下 Streaming repartition 尾部延遲的對(duì)比