基于作業(yè)運(yùn)行特征的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化研究

肖堅(jiān)

【摘要】隨著信息技術(shù)的發(fā)展，大數(shù)據(jù)處理系統(tǒng)得到了較快的發(fā)展，其逐漸拓展為交互式查詢、流計(jì)算及復(fù)雜迭代計(jì)算等實(shí)時(shí)性的計(jì)算場景，提升了數(shù)據(jù)的處理效率和質(zhì)量。本文從分布式硬件計(jì)算平臺(tái)資源動(dòng)態(tài)性、分布式圖數(shù)據(jù)劃分與通信開銷、負(fù)載均衡程度的關(guān)系特征等方面對基于作業(yè)運(yùn)行特征的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化作出全面系統(tǒng)的分析闡述。

【關(guān)鍵詞】作業(yè)運(yùn)行特征? 大數(shù)據(jù)處理系統(tǒng)? 性能優(yōu)化

當(dāng)前的分布式計(jì)算硬件計(jì)算資源分散、高度動(dòng)態(tài)化，針對計(jì)算平臺(tái)的任務(wù)調(diào)度機(jī)制往往無法實(shí)現(xiàn)作業(yè)執(zhí)行時(shí)的資源利用率;軟件處理引擎方面，當(dāng)前的大數(shù)據(jù)處理系統(tǒng)所引進(jìn)的抽象隔離、自動(dòng)內(nèi)存管理一定程度上增加了開銷，不利于系統(tǒng)長期穩(wěn)定發(fā)展;應(yīng)用支撐方面，當(dāng)前大數(shù)據(jù)應(yīng)用因?yàn)橄∈杼匦詫?dǎo)致數(shù)據(jù)處理效率不高，已經(jīng)無法滿足現(xiàn)代化數(shù)據(jù)處理需求。因此，開展基于作業(yè)運(yùn)行特征的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化十分必要和急迫。

一、分布式硬件計(jì)算平臺(tái)資源動(dòng)態(tài)性

分布式硬件計(jì)算平臺(tái)資源動(dòng)態(tài)性的研究主要目的在于構(gòu)建大數(shù)據(jù)處理任務(wù)調(diào)度機(jī)制。目前來看，可以提供海量與可擴(kuò)展的計(jì)算資源主要有兩種，一種是通過網(wǎng)絡(luò)連接至個(gè)人電腦所組成的桌面網(wǎng)格計(jì)算系統(tǒng)，另一種由云計(jì)算運(yùn)行商所提供的廉價(jià)瞬時(shí)計(jì)算資源。桌面網(wǎng)格計(jì)算系統(tǒng)能夠通過互聯(lián)網(wǎng)，構(gòu)建一種集成化和無縫隙的計(jì)算環(huán)境，在這種環(huán)境下計(jì)算資源和信息資源均可以全面共享。廉價(jià)瞬時(shí)計(jì)算資源屬于瞬時(shí)虛擬服務(wù)器，多分布于云平臺(tái)的地理分布數(shù)據(jù)中心，其弊端在于如果市場價(jià)格高出用戶能承受、能接受的范圍，則該計(jì)算資源會(huì)被平臺(tái)所收回。

在大數(shù)據(jù)處理任務(wù)調(diào)度機(jī)制設(shè)計(jì)中，本文基于BitDew中間件實(shí)現(xiàn)計(jì)算框架，所應(yīng)用的BitDew-MapReduce計(jì)算框架與傳統(tǒng)桌面設(shè)計(jì)不同，所遵循的方法是數(shù)據(jù)為中心，經(jīng)典的主從式分布計(jì)算架構(gòu)可以確保計(jì)算節(jié)點(diǎn)有效從主控節(jié)點(diǎn)上獲取計(jì)算任務(wù)，另外，還可以實(shí)現(xiàn)數(shù)據(jù)的調(diào)度與分發(fā)。BitDew系統(tǒng)包括包含主/從管理進(jìn)程的運(yùn)行時(shí)系統(tǒng)、MapReduce編程模型實(shí)現(xiàn)機(jī)WordCount應(yīng)用程序（用于基準(zhǔn)測試）。為了避免計(jì)算應(yīng)用程序處理相同的數(shù)據(jù)導(dǎo)致重復(fù)數(shù)據(jù)傳輸這種情況的出現(xiàn)，本文所設(shè)計(jì)的BitDew-MapReduce特別定義了新的數(shù)據(jù)屬性類型，即MUTAFF、DISTRIB。其中的MUTAFF作用在于定義數(shù)據(jù)的相互依賴關(guān)系，可以將其看作為AFFINITY的雙向版本;DISTRIB是數(shù)據(jù)集屬性，借助調(diào)度器可以保證同一個(gè)數(shù)據(jù)集在每一個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)不超過用戶設(shè)置量。設(shè)計(jì)工作完成后，要想實(shí)現(xiàn)良好的運(yùn)行時(shí)系統(tǒng)，特別對主控節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)作了調(diào)整優(yōu)化，BitDew-MapReduce不依賴計(jì)算節(jié)點(diǎn)上緩存多副本來保證數(shù)據(jù)的可用性，只需要輸入DataCollection中的所有數(shù)據(jù)屬性便可以實(shí)現(xiàn)作業(yè)啟動(dòng)操作，作業(yè)執(zhí)行到末端后，調(diào)度服務(wù)器可以根據(jù)map任務(wù)令牌上的屬性值顯示剩余工作量，并將其調(diào)度到Worker上。計(jì)算節(jié)點(diǎn)使用ActiveData API周期性從數(shù)據(jù)調(diào)度服務(wù)獲取數(shù)據(jù)，而后依據(jù)數(shù)據(jù)類型決定將要執(zhí)行的任務(wù)。

二、分布式圖數(shù)據(jù)劃分與通信開銷、負(fù)載均衡程度的關(guān)系特征

分布式圖數(shù)據(jù)劃分與通信開銷、負(fù)載均衡程度的關(guān)系特征重點(diǎn)解決的問題是兩級(jí)分布式圖劃分機(jī)制。大數(shù)據(jù)處理系統(tǒng)的性能指標(biāo)之一是可擴(kuò)展性，這一性能尤其是在大規(guī)模數(shù)據(jù)中心環(huán)境的數(shù)據(jù)處理應(yīng)用中尤為常見。一般來說，大數(shù)據(jù)可擴(kuò)展性的分布式框架您必須具備兩大特性，第一是必須可以根據(jù)節(jié)點(diǎn)硬件性能，對各個(gè)節(jié)點(diǎn)的計(jì)算負(fù)載加以動(dòng)態(tài)平衡;第二是可以在合理時(shí)間對已經(jīng)失效的作業(yè)執(zhí)行進(jìn)度加以恢復(fù)。本文所提出的動(dòng)態(tài)負(fù)載均衡和容錯(cuò)機(jī)制基于兩級(jí)圖劃分方法，更為重要的是借助開源系統(tǒng)PowerGraph可以實(shí)現(xiàn)高擴(kuò)展的分布式圖并行處理系統(tǒng)X-Graph。動(dòng)態(tài)負(fù)載均衡機(jī)制的作用在于可以通過決定任務(wù)的重調(diào)度目標(biāo)，而最終實(shí)現(xiàn)降低遷移后的消息傳送開銷。差異性復(fù)制容錯(cuò)機(jī)制最大的優(yōu)勢在于可以對已經(jīng)丟失的數(shù)據(jù)分片進(jìn)行重新計(jì)算，能夠最大限度縮短因節(jié)點(diǎn)失效后的作業(yè)進(jìn)度恢復(fù)時(shí)間，這大大提升了整個(gè)計(jì)算工作的效率與質(zhì)量。

分多用戶共享計(jì)算平臺(tái)特征集中體現(xiàn)于硬件異構(gòu)性、多用戶資源調(diào)度機(jī)制、節(jié)點(diǎn)失效和資料搶占這三方面，對于多用戶資源調(diào)度機(jī)制來說，當(dāng)前最常用的數(shù)據(jù)中心資源調(diào)度器有Mesos、Borg、YARN，相同的一點(diǎn)是這幾類數(shù)據(jù)中心資源調(diào)度器均可以對批處理計(jì)算任務(wù)和在線服務(wù)進(jìn)程等進(jìn)行統(tǒng)一的管理。對于節(jié)點(diǎn)失效和資料搶占來說，所借助的數(shù)據(jù)管理機(jī)制可以有效提升數(shù)據(jù)管理質(zhì)量，即便數(shù)據(jù)丟失一個(gè)碎片，所有的計(jì)算節(jié)點(diǎn)仍然可以返回至上一次的檢查點(diǎn)狀態(tài)進(jìn)行重新計(jì)算，這對于失效數(shù)據(jù)恢復(fù)十分有利，不過所開展的檢查點(diǎn)創(chuàng)建一定程度上會(huì)拖慢數(shù)據(jù)處理效率，這一點(diǎn)仍需要后期分析研究，最終克服。

兩級(jí)圖劃分機(jī)制設(shè)計(jì)上，本文創(chuàng)新性的提出一種元算法框架，可以直接采用PowerCraph已有的啟發(fā)式頂點(diǎn)分割圖劃分算法，其整體流程為：計(jì)算節(jié)點(diǎn)讀取原始數(shù)據(jù)分片→預(yù)定義單級(jí)圖劃分算法劃分所讀取數(shù)據(jù)的頂點(diǎn)和邊→n個(gè)計(jì)算節(jié)點(diǎn)開始執(zhí)行二級(jí)劃分階段→每個(gè)計(jì)算節(jié)點(diǎn)將本地分區(qū)的內(nèi)部頂點(diǎn)分配至子分片。

三、結(jié)語

就現(xiàn)階段研究成果來看，大數(shù)據(jù)處理系統(tǒng)主要包括三個(gè)層面的核心組件，即數(shù)據(jù)處理軟件引擎、分布式硬件計(jì)算資源及應(yīng)用支撐環(huán)境，我國現(xiàn)階段對大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化也很大程度上圍繞這三個(gè)層面展開。但均有不同程度的絕局限性，實(shí)際操作性不強(qiáng)。因此，在后期的相關(guān)研究與實(shí)踐中，一方面要基于這三方面，另一方面要加大創(chuàng)新力度，對基于作業(yè)運(yùn)行特征的大數(shù)據(jù)處理系統(tǒng)性能作更好的優(yōu)化。

參考文獻(xiàn)：

[1]田萍.大數(shù)據(jù)視域下計(jì)算機(jī)信息處理系統(tǒng)的優(yōu)化設(shè)計(jì)[J].電子測試，2019（20）.

[2]杜珺.計(jì)算機(jī)信息處理對大數(shù)據(jù)的實(shí)際應(yīng)用[J].通訊世界，2015（12）.

[3] 陳玉霞.提高計(jì)算機(jī)信息處理能力和信息安全能力的措施[J].電子制作，2017（18）.

基金項(xiàng)目：本文系湖南省教育廳資助科研項(xiàng)目（19C1234）的階段性研究成果。