云平臺(tái)安全監(jiān)控大數(shù)據(jù)集群調(diào)度容錯(cuò)控制仿真

趙 杉

(四川大學(xué)錦城學(xué)院，四川 成都 611731)

1 引言

集群調(diào)度是集群計(jì)算的研究熱點(diǎn)，其在固定的集群資源條件中，可對(duì)數(shù)據(jù)快速準(zhǔn)確地分析處理，得到所需資源，完成預(yù)先設(shè)定的執(zhí)行目標(biāo)。隨著集群技術(shù)的發(fā)展，在大數(shù)據(jù)背景下其調(diào)度場景及目標(biāo)逐漸復(fù)雜，傳統(tǒng)集中調(diào)度構(gòu)造的瓶頸被逐漸放大。所以相關(guān)學(xué)者開始探索新的集群調(diào)度構(gòu)造[1]。

文獻(xiàn)[2]提出負(fù)載的自適應(yīng)調(diào)度策略，在進(jìn)行集群執(zhí)行節(jié)點(diǎn)與提交作業(yè)性能監(jiān)控時(shí)，根據(jù)得到的監(jiān)控?cái)?shù)據(jù)進(jìn)行建模，量化節(jié)點(diǎn)的綜合計(jì)算能力，將節(jié)點(diǎn)以及作業(yè)的性能信息在調(diào)節(jié)器上進(jìn)行融合。在調(diào)節(jié)中啟動(dòng)評(píng)估動(dòng)態(tài)調(diào)度方案，識(shí)別集群節(jié)點(diǎn)的執(zhí)行能力差異，同時(shí)依據(jù)作業(yè)的任務(wù)實(shí)時(shí)進(jìn)行細(xì)粒度的動(dòng)態(tài)資源調(diào)節(jié)。因此在對(duì)Hadoop YARN資源進(jìn)行完善調(diào)度語義時(shí)，可作為子級(jí)資源調(diào)度的方案構(gòu)造在上層的調(diào)度器中，實(shí)現(xiàn)并檢測此策略性能。但該方法存在調(diào)度數(shù)據(jù)切換不流暢的問題。

文獻(xiàn)[3]提出基于云存儲(chǔ)的框架分布式大數(shù)據(jù)安全容錯(cuò)存儲(chǔ)算法。設(shè)置數(shù)據(jù)約束條件時(shí)，忽略數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)對(duì)中繼數(shù)據(jù)傳輸鏈路的影響。將中間鏈路作為云特性，構(gòu)建分布式數(shù)據(jù)的存儲(chǔ)容錯(cuò)模型。將數(shù)據(jù)粒度、數(shù)據(jù)利用概率以及分布式數(shù)據(jù)彈性設(shè)為已知數(shù)據(jù)值，同時(shí)對(duì)數(shù)據(jù)存儲(chǔ)及存儲(chǔ)強(qiáng)度計(jì)算，把分布式數(shù)據(jù)存儲(chǔ)模型引進(jìn)數(shù)據(jù)存儲(chǔ)內(nèi)，實(shí)現(xiàn)分布式大數(shù)據(jù)的云存儲(chǔ)。但該方法調(diào)度過程干擾因素較多、耗時(shí)較長。

為此本文提出一種云平臺(tái)安全監(jiān)控大數(shù)據(jù)集群調(diào)度容錯(cuò)控制方法，該方法利用階梯式構(gòu)建云平臺(tái)安全監(jiān)控框架，加強(qiáng)容錯(cuò)控制方法的擴(kuò)展性和降低容錯(cuò)率。利用3+1集成法對(duì)大數(shù)據(jù)集群進(jìn)行計(jì)算，確定集群中的不確定非線性切換系統(tǒng)，保證在閉環(huán)系統(tǒng)下實(shí)現(xiàn)數(shù)據(jù)切換及容錯(cuò)控制系統(tǒng)的運(yùn)行流暢，完成集群調(diào)度容錯(cuò)控制。實(shí)驗(yàn)證明，研究方法能穩(wěn)定運(yùn)行，且調(diào)度耗時(shí)短，數(shù)據(jù)切換更流暢，具有一定的科學(xué)研究意義。

2 云平臺(tái)安全監(jiān)控框架結(jié)構(gòu)

在現(xiàn)階段云平臺(tái)安全監(jiān)控系統(tǒng)中，C/S框架結(jié)構(gòu)使用較多。常見的分布式監(jiān)控框架有兩種[4]：一是集中式，將監(jiān)控代理(Agent)安裝至所有監(jiān)控節(jié)點(diǎn)中，以此對(duì)各個(gè)節(jié)點(diǎn)的監(jiān)控信息進(jìn)行收集。通過監(jiān)控服務(wù)器將監(jiān)控代理收集的信息進(jìn)行匯集處理[5]；二為階梯式，在階梯式框架結(jié)構(gòu)中，需監(jiān)控節(jié)點(diǎn)安裝至所有節(jié)點(diǎn)外，同時(shí)還需選定集中節(jié)點(diǎn)，安裝資源集中代理，而該節(jié)點(diǎn)即相當(dāng)于局部監(jiān)控服務(wù)器[6]。

通過對(duì)比兩種安全監(jiān)控框架發(fā)現(xiàn)，集中式方法可以統(tǒng)一安裝監(jiān)控代理過程較簡單，但可擴(kuò)展性及容錯(cuò)性較差；而階梯式監(jiān)控代理過程較難，但可以將收集的信息和計(jì)算任務(wù)平均分配至各匯集節(jié)點(diǎn)上，對(duì)監(jiān)控服務(wù)器負(fù)擔(dān)較小。即使某個(gè)集中節(jié)點(diǎn)出現(xiàn)錯(cuò)誤，也僅限所屬區(qū)域，其容錯(cuò)性能更好。具體框架示意圖如圖1所示[7]。

圖1 云平臺(tái)安全監(jiān)控框架結(jié)構(gòu)

3 大數(shù)據(jù)集群調(diào)度容錯(cuò)控制

3.1 大數(shù)據(jù)集群調(diào)度分析

利用3+1集成算法中的CPU信號(hào)強(qiáng)度波動(dòng)計(jì)算方法，對(duì)數(shù)據(jù)要素引進(jìn)面延伸優(yōu)化，再拓寬要素的載入通道。同時(shí)需要在底層CPU內(nèi)對(duì)數(shù)據(jù)進(jìn)行調(diào)度分析，檢測信號(hào)強(qiáng)度。通過數(shù)據(jù)處理消耗處理器的資源量，其動(dòng)態(tài)調(diào)整計(jì)算邏輯需采用要素，完成通道量載入，以此削弱CPU處理壓力，保證其邏輯運(yùn)算的平穩(wěn)性。而在進(jìn)行設(shè)計(jì)時(shí)，要采用CPU-NT對(duì)CPU的信號(hào)強(qiáng)度波動(dòng)計(jì)算方法進(jìn)行輔助運(yùn)算，可有效增加大數(shù)據(jù)的處理浮點(diǎn)能力以及滿載狀態(tài)中峰值抑制CPU信號(hào)強(qiáng)度波動(dòng)能力，具體計(jì)算公式為

(1)

式中：DB代表CPU-NT專用計(jì)算方法；其G代表初始數(shù)據(jù)流；H代表數(shù)據(jù)流的增量；D代表數(shù)據(jù)流所增加的峰值系數(shù)；而max則代表計(jì)算方法動(dòng)態(tài)優(yōu)化的峰值系數(shù)。具體的CPU-NT專用計(jì)算方法如下所示

(2)

式中：CPU-NT專用關(guān)系的計(jì)算方法；K代表輔助點(diǎn)G代表運(yùn)算增幅量；S代表數(shù)據(jù)處理增加量的系數(shù)；而I則代表動(dòng)態(tài)優(yōu)化的系數(shù)[8]。

經(jīng)過以上兩級(jí)計(jì)算方法的優(yōu)化處理，解決了傳統(tǒng)數(shù)據(jù)調(diào)度方法內(nèi)存在數(shù)據(jù)計(jì)算邏輯引進(jìn)面不夠的問題。設(shè)計(jì)的3+1集成算法，其CPU的信號(hào)強(qiáng)度波動(dòng)計(jì)算方法及輔助CPU-NT的專用計(jì)算示意圖如下所示：

圖2 算法工作原理

為確保3+1集成法CPU信號(hào)強(qiáng)度的波動(dòng)計(jì)算方法在運(yùn)行流程中的平穩(wěn)性，需對(duì)大數(shù)據(jù)的數(shù)據(jù)節(jié)點(diǎn)動(dòng)態(tài)進(jìn)行優(yōu)化處理。利用數(shù)據(jù)處理器的動(dòng)態(tài)數(shù)據(jù)檢測技術(shù)，對(duì)大數(shù)據(jù)內(nèi)部節(jié)點(diǎn)進(jìn)行特征綁定，依據(jù)各數(shù)據(jù)之間的互相交換指數(shù)進(jìn)行判定處理?？蓪?duì)調(diào)度數(shù)據(jù)中噪聲點(diǎn)數(shù)據(jù)進(jìn)行抗波噪點(diǎn)分析，以達(dá)到數(shù)據(jù)優(yōu)化的目地。采用大數(shù)據(jù)動(dòng)態(tài)Flangt計(jì)算方法，作為處理器數(shù)據(jù)節(jié)點(diǎn)的動(dòng)態(tài)監(jiān)測技術(shù)，對(duì)調(diào)度數(shù)據(jù)整流度進(jìn)行優(yōu)化，提升調(diào)度信號(hào)的響應(yīng)速度。其大數(shù)據(jù)動(dòng)態(tài)Flangt計(jì)算方法可以與互聯(lián)網(wǎng)大數(shù)據(jù)信息資源進(jìn)行互交，可以確保調(diào)度方案的最新度[9]。

3.2 集群調(diào)度容錯(cuò)控制實(shí)現(xiàn)

確定大數(shù)據(jù)調(diào)度集群的不確定非線性切換系統(tǒng)的穩(wěn)定性其公式為

i=1，2，…，m

(3)

式中：x∈Rn；u∈Rm；Ai，Bi，Di代表適當(dāng)維數(shù)的已知常規(guī)矩陣；ΔAi(t)代表結(jié)構(gòu)擾動(dòng)的實(shí)際值函數(shù)；fi(·)：Rn→Rnf代表一個(gè)未知的非線性函數(shù)；i代表切換信號(hào)[10]。

需對(duì)非線性系統(tǒng)的穩(wěn)定性進(jìn)行證明，具體給出下列引理

引理證明：假如ΔA(t)=MF(t)N，式中的M，N代表適當(dāng)?shù)木S數(shù)常規(guī)矩陣，并且FT(t)F(t)≤I，即指相對(duì)于任意正數(shù)ε>0以及正定矩陣的P，其不等式為

ΔATP+PΔA≤ε-1NTN+εPMMTP

(4)

成立。

以下則說明了系統(tǒng)的全局接近穩(wěn)定性，并且同樣也說明了控制器的設(shè)計(jì)[11]。

定理1：相對(duì)于不確認(rèn)的非線性切換系統(tǒng)，假如相對(duì)于說明了一組正數(shù)ai，ε1i，ε2i(i=1，2，…，m)以及正定矩陣Q，可以得到矩陣的不等式為

(5)

其正定解矩陣P，即狀態(tài)反饋控制器公式為

(6)

促使切換系統(tǒng)的閉環(huán)系統(tǒng)相對(duì)于全部允許的ΔAi，進(jìn)行任意切換的條件中，其全局接近穩(wěn)定。

首先需要證明不等式

(7)

(8)

接著建立Lyapunov函數(shù)V(x)=xTPx，具體公式為

(9)

通過式(6)以及(7)可以得知

(10)

再采用引理以及式(5)可以得到

(11)

以此證明結(jié)論成立。

現(xiàn)階段無需對(duì)不確認(rèn)非線性切換系統(tǒng)(3)在執(zhí)行器失效的情況進(jìn)行考慮，假設(shè)失效的執(zhí)行器輸出數(shù)據(jù)為0。

定理2：相對(duì)于不確認(rèn)的非線性切換系統(tǒng)(3)，假設(shè)一組給定的正數(shù)ai，ε1i，ε2i(i=1，2，…，m)以及正定矩陣Q，其矩陣的不等式為：

(12)

其正定解矩陣P，即狀態(tài)反饋控制器(6)能夠使系統(tǒng)(3)的閉環(huán)信息，對(duì)應(yīng)全部允許的ΔAi以及執(zhí)行器失效ωi?Ωi，因此可以隨意切換之后進(jìn)行全局的接近穩(wěn)定性。

具體的證明有：因?yàn)槭?zhí)行器的輸出結(jié)果為0，因此只有在工作正常的執(zhí)行器才能使數(shù)據(jù)起作用，公式為

(13)

即可得到

(14)

在經(jīng)過式(12)以及引理，以此實(shí)現(xiàn)集群調(diào)度容錯(cuò)控制[12]。

4 仿真與分析

為驗(yàn)證研究方法的有效性，下面設(shè)計(jì)一次仿真。實(shí)驗(yàn)分為三部分，第一部分為數(shù)據(jù)切換性能的檢驗(yàn)。根據(jù)不同狀態(tài)下切換系統(tǒng)對(duì)應(yīng)的響應(yīng)曲線判斷數(shù)據(jù)切換效果；第二部分為大數(shù)據(jù)集群調(diào)度平穩(wěn)性能檢測。給定相同測驗(yàn)數(shù)據(jù)，對(duì)比研究方法、文獻(xiàn)[2]方法及文獻(xiàn)[3]方法的實(shí)驗(yàn)結(jié)果，以此判斷研究集群調(diào)度效果；第三部分為大數(shù)據(jù)集群調(diào)度耗時(shí)檢測。對(duì)比三種方法運(yùn)行給定調(diào)度時(shí)間內(nèi)，對(duì)相同數(shù)據(jù)的時(shí)長，以此驗(yàn)證所提方法的性能。

測試一：基于閉環(huán)系統(tǒng)的數(shù)據(jù)切換效果驗(yàn)證對(duì)切換系統(tǒng)進(jìn)行如下考慮

(15)

有兩個(gè)子系統(tǒng)，其系數(shù)矩陣分別為

(16)

(17)

為簡化實(shí)驗(yàn)系統(tǒng)，所以在傳感器失效時(shí)進(jìn)行實(shí)驗(yàn)，此系統(tǒng)在原始狀態(tài)中x0=[2;-1]非常不穩(wěn)定，因此需采用研究方法得到的接近穩(wěn)定結(jié)果。其結(jié)果如圖3所示。

圖3 閉環(huán)切換系統(tǒng)狀態(tài)下的響應(yīng)曲線

其子系統(tǒng)x1、x2在進(jìn)行切換t=0.5s的作用時(shí)，逐漸接近穩(wěn)定。依據(jù)定理2對(duì)容錯(cuò)控制的閉環(huán)切換系統(tǒng)采用級(jí)點(diǎn)配置時(shí)，子系統(tǒng)x′1與x′1的極點(diǎn)配置在圓域C(0，9，5)中接近穩(wěn)定。

而此閉環(huán)切換系統(tǒng)的極點(diǎn)配置為圓域C(0，9，5)、C(0，9，15)時(shí)，將控制引進(jìn)u(t)=Kix(t)系統(tǒng)，得到閉環(huán)系統(tǒng)的數(shù)據(jù)相應(yīng)曲線，結(jié)果如圖4所示：

圖4 閉環(huán)切換系統(tǒng)在C(0，9，5)與C(0，9，15)的兩種狀態(tài)中的響應(yīng)曲線

其極點(diǎn)的配置在圓域C(0，9，15)中，子系統(tǒng)x″1與x″2的收斂速度明顯比極點(diǎn)的配置在圓域C(0，9，5)中子系統(tǒng)x′1與x′2的收斂速度快。

通過圖4可以看出，其閉環(huán)切換系統(tǒng)的影響狀態(tài)曲線，是在原點(diǎn)處收斂的。可以證明系統(tǒng)存在構(gòu)造不確定以及帶有非線性項(xiàng)是較為穩(wěn)定的。同時(shí)對(duì)比圖3與圖4可以看出，采用研究方法可以使系統(tǒng)的極點(diǎn)配置在響應(yīng)狀態(tài)下接近穩(wěn)定，以此利用選取適當(dāng)?shù)臉O點(diǎn)所在區(qū)域能夠改善系統(tǒng)的動(dòng)態(tài)性能。而利用該系統(tǒng)可以大數(shù)據(jù)集群調(diào)度進(jìn)行容錯(cuò)控制，其閉環(huán)系統(tǒng)運(yùn)行流暢。證明研究方法的效果較好。

測試二：大數(shù)據(jù)集群調(diào)度平穩(wěn)性測試

在大數(shù)據(jù)進(jìn)行集群調(diào)度時(shí)，存在較多不安全因素，這些干擾會(huì)導(dǎo)致大數(shù)據(jù)調(diào)度不穩(wěn)定。測試結(jié)果如圖5所示。

圖5 平穩(wěn)性實(shí)驗(yàn)結(jié)果

分析實(shí)驗(yàn)對(duì)比圖可知，文獻(xiàn)[2]方法在測試期間波動(dòng)幅值最大，在-10dB～10dB之間；文獻(xiàn)[3]方法在測試期間波動(dòng)幅值較大，在-8dB～8dB之間；研究方法在測試期間波動(dòng)幅值最小，在-3dB～3dB之間。說明研究方法在大數(shù)據(jù)集群調(diào)度時(shí)平穩(wěn)性極佳。

測試三：大數(shù)據(jù)集群調(diào)度運(yùn)行時(shí)長測試

為驗(yàn)證研究方法的大數(shù)據(jù)集群調(diào)度耗時(shí)性能，對(duì)比三種方法運(yùn)行相同數(shù)據(jù)量的耗時(shí)時(shí)長。具體實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 大數(shù)據(jù)調(diào)度耗時(shí)實(shí)驗(yàn)結(jié)果

對(duì)比實(shí)驗(yàn)結(jié)果可知，三種方法的調(diào)度耗時(shí)均隨大數(shù)據(jù)量遞增而減少。文獻(xiàn)[2]方法的調(diào)度耗時(shí)最長，調(diào)度不同數(shù)據(jù)量的時(shí)間介于6～8min；文獻(xiàn)[3]方法的調(diào)度耗時(shí)次之，調(diào)度不同數(shù)據(jù)量的時(shí)間介于3～6min；研究方法調(diào)度耗時(shí)最短，調(diào)度不同數(shù)據(jù)量的時(shí)間均在1min以下。從而驗(yàn)證了研究方法能高效完成大數(shù)據(jù)調(diào)度，具有實(shí)用意義。

5 結(jié)束語

1)大數(shù)據(jù)技術(shù)在進(jìn)行數(shù)據(jù)調(diào)度時(shí)，需采用容錯(cuò)控制系統(tǒng)進(jìn)行問題數(shù)據(jù)處理。傳統(tǒng)方法在進(jìn)行大數(shù)據(jù)集群調(diào)度容錯(cuò)控制時(shí)，流暢性較差，易受干擾因素影響，導(dǎo)致調(diào)度耗時(shí)長。

2)此次研究提出云平臺(tái)安全監(jiān)控大數(shù)據(jù)集群調(diào)度容錯(cuò)控制方法，將監(jiān)控節(jié)點(diǎn)安裝至所有節(jié)點(diǎn)，選定集中節(jié)點(diǎn)安裝資源集中代理，構(gòu)建云平臺(tái)安全框架。利用3+1集成法中CPU信號(hào)強(qiáng)度波動(dòng)計(jì)算方法，對(duì)大數(shù)據(jù)集群進(jìn)行調(diào)度。然后確定大數(shù)據(jù)調(diào)度集群中的不確定非線性切換系統(tǒng)的穩(wěn)定性，以此完成容錯(cuò)控制的穩(wěn)定性，實(shí)現(xiàn)大數(shù)據(jù)集群調(diào)度容錯(cuò)控制。

3)實(shí)驗(yàn)證明，在數(shù)據(jù)調(diào)查出現(xiàn)錯(cuò)誤時(shí)，研究方法能較好地完成數(shù)據(jù)間的調(diào)度。同時(shí)保證其流暢性，且大數(shù)據(jù)調(diào)度過程中波動(dòng)幅值介于-3dB～3dB之間，說明運(yùn)行平穩(wěn)，不容易受其它因素干擾?？s短了調(diào)度耗時(shí)，調(diào)度不同數(shù)據(jù)量的時(shí)間均在1min以下，為大數(shù)據(jù)集群調(diào)度容錯(cuò)控制提供了有利依據(jù)。

4)今后將從大數(shù)據(jù)調(diào)度過程的安全性角度出發(fā)，進(jìn)行深入研究，完善大數(shù)據(jù)集群調(diào)度容錯(cuò)控制方法。