分布式系統(tǒng)健康度實(shí)時(shí)自動(dòng)化評(píng)價(jià)方法

程永新

（上海新炬網(wǎng)絡(luò)信息技術(shù)股份有限公司，廣東 廣州 510623）

1 引言

隨著互聯(lián)網(wǎng)行業(yè)的飛速發(fā)展，傳統(tǒng)的單機(jī)架構(gòu)已經(jīng)無(wú)法滿足海量的計(jì)算處理需求，因此分布式解決方案（集群技術(shù)）應(yīng)運(yùn)而生。集群技術(shù)可以使用較為廉價(jià)的硬件獲得性能上的水平擴(kuò)展，且可靠性和靈活性也有較強(qiáng)的保證，因此這種技術(shù)在應(yīng)用服務(wù)、負(fù)載均衡、數(shù)據(jù)庫(kù)、大數(shù)據(jù)等領(lǐng)域獲得了廣泛應(yīng)用。然而，使用廉價(jià)硬件導(dǎo)致硬件故障成為常態(tài)，復(fù)雜的互聯(lián)方式使得系統(tǒng)架構(gòu)復(fù)雜，分布式的處理邏輯使得軟件問(wèn)題追蹤困難，這些問(wèn)題都導(dǎo)致對(duì)集群的運(yùn)維遠(yuǎn)比傳統(tǒng)的單機(jī)運(yùn)維困難。基于此，本文提出一種集群健康度評(píng)價(jià)方法，運(yùn)用機(jī)器學(xué)習(xí)和大數(shù)據(jù)技術(shù)，量化評(píng)價(jià)集群整體和各個(gè)節(jié)點(diǎn)的運(yùn)行情況，從而為集群故障處理提供指引。

2 健康度實(shí)時(shí)自動(dòng)化評(píng)價(jià)方法設(shè)計(jì)與實(shí)現(xiàn)

2.1 設(shè)計(jì)思路

首先，本方法通過(guò)使用異常檢測(cè)算法，可以判斷集群每個(gè)節(jié)點(diǎn)和集群整體當(dāng)前是否存在故障。這種故障判定具有準(zhǔn)實(shí)時(shí)性、精準(zhǔn)性的特征。如果整個(gè)集群都很繁忙，則節(jié)點(diǎn)繁忙才是正常的，節(jié)點(diǎn)空閑則不正常；同理，如果整個(gè)集群都很空閑，則節(jié)點(diǎn)空閑才是正常的，節(jié)點(diǎn)繁忙則不正常。

其次，通過(guò)使用故障預(yù)測(cè)算法，集群的運(yùn)行情況往往呈現(xiàn)出某種規(guī)律性、延續(xù)性，可使用最近一段時(shí)間的指標(biāo)走勢(shì)大致推斷今后較短時(shí)間內(nèi)的指標(biāo)情況。本方法利用了這種規(guī)律性，以某指標(biāo)近N個(gè)周期的集群維度匯聚值來(lái)推測(cè)今后某個(gè)周期的值，再綜合各指標(biāo)的預(yù)測(cè)值來(lái)計(jì)算集群健康度的預(yù)測(cè)值。

最后，通過(guò)綜合兩者得到集群健康度的評(píng)價(jià)值。

圖1為本方法的實(shí)現(xiàn)流程圖。

2.2 具體實(shí)現(xiàn)

結(jié)合圖1，本方法的具體實(shí)現(xiàn)過(guò)程描述如下：

（1）步驟1：以一定頻率采集上游集群的各種硬件性能指標(biāo)，包括并不限于CPU使用率、內(nèi)存使用量/率、操作系統(tǒng)進(jìn)程數(shù)、磁盤IO次數(shù)、磁盤空間使用量/率、網(wǎng)絡(luò)出入流量等可以反映硬件層面工作狀況的指標(biāo)。

（2）步驟2：以一定頻率采集上游集群的各種軟件性能指標(biāo)，包括并不限于特定進(jìn)程每秒響應(yīng)請(qǐng)求數(shù)、內(nèi)存使用量、端口連接數(shù)等可以反映該節(jié)點(diǎn)軟件層面工作狀況的指標(biāo)。

（3）步驟3：將步驟1和步驟2中采集到的硬件、軟件性能指標(biāo)儲(chǔ)存到某種介質(zhì)中，可使用的介質(zhì)需要支持再次讀取指標(biāo)進(jìn)行計(jì)算，包括并不限于本地硬盤、數(shù)據(jù)庫(kù)、內(nèi)存、網(wǎng)絡(luò)存儲(chǔ)、消息隊(duì)列等。

（4）步驟4：為保證采集到的指標(biāo)的數(shù)據(jù)質(zhì)量，需要對(duì)已儲(chǔ)存的指標(biāo)數(shù)據(jù)進(jìn)行清洗，方法包括并不限于：

◆殘缺數(shù)據(jù)清洗。由于硬件故障、軟件故障、網(wǎng)絡(luò)超時(shí)等非正常因素，可能會(huì)出現(xiàn)某些采集批次中的某些指標(biāo)未采到值的情況。為便于后續(xù)步驟識(shí)別和處理，可使用某種默認(rèn)值填充邏輯來(lái)進(jìn)行補(bǔ)全（按需選擇填充0、填充負(fù)值、填充NaN等任意一種方式），如果后續(xù)步驟兼容性好，也可不做補(bǔ)全處理。

圖1 健康度評(píng)價(jià)方法流程圖

◆錯(cuò)誤數(shù)據(jù)清洗。由于硬件故障、軟件故障、統(tǒng)計(jì)誤差等非正常因素，可能會(huì)出現(xiàn)某些采集批次中的某些指標(biāo)出現(xiàn)錯(cuò)誤數(shù)據(jù)的情況。例如CPU使用率超過(guò)100%、物理內(nèi)存使用量超過(guò)物理內(nèi)存安裝量等情況。為保證后續(xù)步驟工作正常，可使用某種替換邏輯來(lái)進(jìn)行糾正（按需選擇替換為0、替換為最大值、替換為上周期值等任意一種方式）。

◆重復(fù)數(shù)據(jù)清洗。由于硬件故障、軟件故障、網(wǎng)絡(luò)超時(shí)等非正常因素，可能會(huì)出現(xiàn)某些采集批次中的某些指標(biāo)出現(xiàn)多于一個(gè)值的情況。為保證后續(xù)步驟工作正常，可使用某種保留邏輯來(lái)進(jìn)行糾正（按需選擇保留第一個(gè)、保留最后一個(gè)、保留最大值、保留最小值等任意一種方式）。

（5）步驟5：為了將各種不同計(jì)量單位的指標(biāo)縮放到近似相同的區(qū)域內(nèi)（一種較好的選擇是[0,1]），需要對(duì)清洗后的數(shù)據(jù)進(jìn)行預(yù)處理。方法包括并不限于：

◆占比法。使用實(shí)際值除以物理門限值，如物理內(nèi)存使用量指標(biāo)，使用實(shí)際物理內(nèi)存使用量除以物理內(nèi)存安裝量。

◆最大最小值法。這種方法需要大致了解該指標(biāo)歷史上出現(xiàn)過(guò)的最大值和最小值。如操作系統(tǒng)進(jìn)程數(shù)指標(biāo)，實(shí)施者清楚其歷史最大值Max和歷史最小值Min，且有本周期實(shí)際值A(chǔ)ct，則可使用(Act-Min)/(Max-Min)。

◆對(duì)數(shù)法。這種方法適合實(shí)際值的標(biāo)量較大，且無(wú)法確定物理門限值或歷史最大最小值的情況。如磁盤IO次數(shù)，有本周期實(shí)際值A(chǔ)ct，可使用lognAct，對(duì)數(shù)的底n可根據(jù)實(shí)際情況選擇2、e或10等值。這種方法缺點(diǎn)是不一定能縮放到[0,1]的區(qū)間內(nèi)。

對(duì)于預(yù)處理后的數(shù)據(jù)，可寫回步驟3所述的存儲(chǔ)介質(zhì)，也可保留在內(nèi)存中供后續(xù)使用。

（6）步驟6：根據(jù)執(zhí)行異常檢測(cè)算法需要的指標(biāo)，取出集群每個(gè)節(jié)點(diǎn)上這些指標(biāo)最近一個(gè)周期的值。需注意，該步驟和步驟4、步驟5之間不一定有先后關(guān)系，即可以先執(zhí)行步驟4和步驟5再執(zhí)行步驟6，也可以先執(zhí)行步驟6再執(zhí)行步驟4和步驟5。

（7）步驟7：對(duì)于步驟6取出的每個(gè)指標(biāo)，將該集群每個(gè)節(jié)點(diǎn)的該指標(biāo)匯聚到一起，使用異常檢測(cè)算法進(jìn)行計(jì)算，得到該指標(biāo)的節(jié)點(diǎn)正常概率值。通常步驟6的數(shù)據(jù)有多少種指標(biāo)，就要執(zhí)行多少次異常檢測(cè)算法。

如使用者設(shè)定異常檢測(cè)算法將檢測(cè)n種指標(biāo)，集群共有m個(gè)節(jié)點(diǎn)。對(duì)第j種指標(biāo)，假設(shè)最近一個(gè)周期采集到的值為{Act(1), Act(2), …, Act(m)}計(jì)算這組值的均值μ、方差σ2和該指標(biāo)的節(jié)點(diǎn)正常概率值，其中i是節(jié)點(diǎn)編號(hào)。

（8）步驟8：在步驟7得到每個(gè)指標(biāo)的節(jié)點(diǎn)正常概率值后，使用以下公式計(jì)算第i個(gè)節(jié)點(diǎn)的正常概率值p(i)：

對(duì)該值歸一化得到該節(jié)點(diǎn)的健康度瞬時(shí)值，歸一化方法可根據(jù)實(shí)際需求選擇最大值法、梯度法等的一種。為不失一般性，本方法以最大值法為例，設(shè)所有m個(gè)節(jié)點(diǎn)的p(i)的最大值為pmax，則該節(jié)點(diǎn)的健康度瞬時(shí)值H(i)可使用如下公式計(jì)算：

（9）步驟9：在步驟8得到節(jié)點(diǎn)的健康度瞬時(shí)值后，對(duì)每個(gè)節(jié)點(diǎn)判斷節(jié)點(diǎn)的健康度瞬時(shí)值是否低于閾值，該閾值可根據(jù)經(jīng)驗(yàn)和集群的實(shí)際工作狀況指定。如設(shè)置為60，如果集群各節(jié)點(diǎn)存在安裝的軟件不一致或數(shù)據(jù)量不均勻等偏差情況，也可對(duì)每個(gè)節(jié)點(diǎn)單獨(dú)設(shè)置閾值。如果有節(jié)點(diǎn)健康度瞬時(shí)值低于閾值，則跳轉(zhuǎn)到步驟10；否則若全部節(jié)點(diǎn)均無(wú)低于閾值的情況，跳轉(zhuǎn)到步驟11。

（10）步驟10：如果步驟9判斷的結(jié)果為是，則執(zhí)行本步驟，將這些節(jié)點(diǎn)的健康度瞬時(shí)值儲(chǔ)存到某種介質(zhì)中，可選的介質(zhì)類型參考步驟3。

（11）步驟11：計(jì)算集群當(dāng)前時(shí)刻的健康度瞬時(shí)值Hcur，可使用的評(píng)價(jià)算法包括并不限于：

◆健康節(jié)點(diǎn)計(jì)數(shù)法。步驟9中，對(duì)每個(gè)節(jié)點(diǎn)判斷節(jié)點(diǎn)的健康度瞬時(shí)值是否低于閾值，不低于閾值的節(jié)點(diǎn)稱之為健康，則Hcur=（健康節(jié)點(diǎn)數(shù)/總節(jié)點(diǎn)數(shù)）×100。

◆最低值法。即使用最小的節(jié)點(diǎn)健康度瞬時(shí)值作為整個(gè)集群的健康度瞬時(shí)值，Hcur=miniH(i)。

◆平均數(shù)法。即使用所有節(jié)點(diǎn)健康度瞬時(shí)值的平均數(shù)作為整個(gè)集群的健康度瞬時(shí)值。

◆中位數(shù)法。即使用所有節(jié)點(diǎn)健康度瞬時(shí)值的中位數(shù)作為整個(gè)集群的健康度瞬時(shí)值。

（12）步驟12：在步驟11得到集群的健康度瞬時(shí)值后，判斷集群的健康度瞬時(shí)值是否低于閾值，該閾值可根據(jù)經(jīng)驗(yàn)和集群的實(shí)際工作狀況指定，如設(shè)置為60。如果低于閾值，則跳轉(zhuǎn)到步驟13；否則，跳轉(zhuǎn)到步驟14。

（13）步驟13：如果步驟12判斷的結(jié)果為是，則執(zhí)行本步驟，將該集群的健康度瞬時(shí)值儲(chǔ)存到某種介質(zhì)中，可選的介質(zhì)類型參考步驟3。

（14）步驟14：根據(jù)執(zhí)行故障預(yù)測(cè)算法需要的指標(biāo)，取出集群每個(gè)節(jié)點(diǎn)上這些指標(biāo)最近N個(gè)周期的值。N的值可以根據(jù)指標(biāo)采集頻率、所需的故障預(yù)測(cè)精度等考量，在實(shí)施時(shí)確定。如采集頻率為1 min，可將N設(shè)置為15、30或60等。需注意，該步驟和步驟4、步驟5之間不一定有先后關(guān)系，即可以先執(zhí)行步驟4和步驟5再執(zhí)行步驟14，也可以先執(zhí)行步驟14再執(zhí)行步驟4和步驟5。

（15）步驟15：故障預(yù)測(cè)算法首先對(duì)步驟11取出的每個(gè)節(jié)點(diǎn)的最近N個(gè)周期的指標(biāo)，按指標(biāo)名和所屬時(shí)間周期聚合出集群維度的最近N個(gè)周期的值，聚合方法包括并不限于：

◆最低值法。即對(duì)某指標(biāo)和某周期，使用所有節(jié)點(diǎn)中最小的指標(biāo)值作為整個(gè)集群的指標(biāo)值。

◆平均數(shù)法。即對(duì)某指標(biāo)和某周期，使用所有節(jié)點(diǎn)的平均指標(biāo)值作為整個(gè)集群的指標(biāo)值。

◆中位數(shù)法。即對(duì)某指標(biāo)和某周期，使用所有節(jié)點(diǎn)的中位數(shù)指標(biāo)值作為整個(gè)集群的指標(biāo)值。

設(shè)上述計(jì)算得到指標(biāo)Y的集群維度的最近N個(gè)周期的值分別為yi，其中i=1, 2, …, N。令xi為第i個(gè)指標(biāo)采集時(shí)刻的系統(tǒng)時(shí)間毫秒數(shù)，則這N個(gè)值可用(xi, yi)表示。設(shè)有曲線y=Φ(x)，需要使該曲線能近似穿過(guò)這N個(gè)點(diǎn)，即求解曲線擬合問(wèn)題。擬合的方法包括并不限于：

◆最小二乘法；

◆指數(shù)平滑法；

◆Bezier曲線法；

◆B樣條曲線法。

實(shí)際使用時(shí)，因不同指標(biāo)數(shù)據(jù)點(diǎn)的波動(dòng)情況千差萬(wàn)別，可使用多種方法對(duì)歷史數(shù)據(jù)測(cè)試后選取預(yù)測(cè)效果最好的。為不失一般性，本方法使用最小二乘法來(lái)求解。設(shè)曲線在樣本(xi, yi)處的偏差σi=Φ(xi)-yi，最小二乘法需要求解以下最小值問(wèn)題：

若擬合曲線為k階多項(xiàng)式，即y=Φ(x)=a0+a1x+…+akxk。最小值問(wèn)題等同于求解a0, a1, …, ak的值，使得最小。

推導(dǎo)可得解為A=(X′*X)-1*X′*Y，其中：

預(yù)測(cè)指標(biāo)Y未來(lái)的可能值，將未來(lái)某時(shí)刻的毫秒數(shù)值代入y=Φ(x)即可。如預(yù)測(cè)下一個(gè)時(shí)間周期的值(xN+1, yN+1)，使用yN+1=Φ(xN+1)計(jì)算。在本方法中使用yN+1作為該指標(biāo)的未來(lái)預(yù)測(cè)值，實(shí)際實(shí)施中也可使用其它周期的y值。

（16）步驟16：計(jì)算集群的健康度預(yù)測(cè)值使用如下方法。設(shè)指標(biāo)Yj的閾值為Tj，該閾值可根據(jù)經(jīng)驗(yàn)和集群的實(shí)際工作狀況指定，未來(lái)預(yù)測(cè)值為Pj。指標(biāo)Yj的健康度預(yù)測(cè)值Hj可用如下公式估計(jì)：

集群的健康度預(yù)測(cè)值Hpre可用如下公式估計(jì)，其中n為指標(biāo)種類總數(shù)：

（17）步驟17：在步驟16得到集群的健康度預(yù)測(cè)值后，判斷集群的健康度預(yù)測(cè)值是否低于閾值。該閾值可根據(jù)經(jīng)驗(yàn)和集群的實(shí)際工作狀況指定，如設(shè)置為60，如果低于閾值，則跳轉(zhuǎn)到步驟18；否則，跳轉(zhuǎn)到步驟19。

（18）步驟18：如果步驟17判斷的結(jié)果為是，則執(zhí)行本步驟，將該集群的健康度預(yù)測(cè)值儲(chǔ)存到某種介質(zhì)中，可選的介質(zhì)類型參考步驟3。

（19）步驟19：加權(quán)計(jì)算集群健康度的評(píng)價(jià)值，集群健康度的評(píng)價(jià)值可用如下公式計(jì)算：

其中α、β為系數(shù)且有α≥0，β≥0，α+β=1。具體實(shí)施時(shí)，根據(jù)實(shí)際監(jiān)控場(chǎng)景更關(guān)注處理當(dāng)前故障還是更關(guān)注預(yù)防未發(fā)生的故障，來(lái)設(shè)定α、β的具體值。

（20）步驟20：將步驟19計(jì)算得到的集群健康度的評(píng)價(jià)值儲(chǔ)存到某種介質(zhì)中，可選的介質(zhì)類型參考步驟3。

該數(shù)據(jù)可以通過(guò)多種方式提供給配套的評(píng)價(jià)數(shù)據(jù)消費(fèi)系統(tǒng)使用，如推方式（集群健康度評(píng)價(jià)系統(tǒng)將集群健康度的評(píng)價(jià)值發(fā)送給消費(fèi)系統(tǒng)）、拉方式（消費(fèi)系統(tǒng)在需要的時(shí)候從本步驟所述存儲(chǔ)介質(zhì)中讀取數(shù)據(jù)），如圖2所示：

圖2 健康度評(píng)價(jià)數(shù)據(jù)應(yīng)用示意圖

3 實(shí)踐及應(yīng)用效果

3.1 生產(chǎn)實(shí)踐

以某省級(jí)電信運(yùn)營(yíng)商分布式業(yè)務(wù)系統(tǒng)為例，在原有環(huán)境下，當(dāng)業(yè)務(wù)部門發(fā)現(xiàn)業(yè)務(wù)異常時(shí)聯(lián)系運(yùn)維部門進(jìn)行分析。運(yùn)維部門需要對(duì)平臺(tái)內(nèi)的分布式集群進(jìn)行故障排查，由于分布式集群涉及軟件較多，且內(nèi)部交互非常復(fù)雜，通常需要進(jìn)行逐步排查，確定故障點(diǎn)并進(jìn)行解決，基本流程如圖3所示。

引入健康度實(shí)時(shí)自動(dòng)化評(píng)價(jià)系統(tǒng)后，問(wèn)題的處理方式轉(zhuǎn)變?yōu)閳D4所示，由于增加了主動(dòng)排查與自動(dòng)定位，并減少了復(fù)雜的分步排查環(huán)節(jié)，加之可以實(shí)時(shí)查看集群健康度，更快定位故障點(diǎn)，使得問(wèn)題定位準(zhǔn)確率與預(yù)警及時(shí)率上升，故障處理平均時(shí)長(zhǎng)明顯下降。

3.2 應(yīng)用效果分析

（1）故障處理耗時(shí)減少。2017年5月—8月故障處理平均時(shí)長(zhǎng)為30.25 min，2017年9月初引入本文評(píng)價(jià)方法后，2017年9月—12月故障處理平均時(shí)長(zhǎng)下降至10.75 min，具體如圖5所示。

圖3 原有故障排查流程

圖4 改進(jìn)后的故障排查流程

圖5 故障處理平均時(shí)長(zhǎng)比較

（2）預(yù)警及時(shí)率提升。在原有環(huán)境下，多由業(yè)務(wù)部門首先發(fā)現(xiàn)異常，本文評(píng)價(jià)方法實(shí)施后，運(yùn)維部門可以先于業(yè)務(wù)部門發(fā)現(xiàn)異常及故障點(diǎn)，做到提前預(yù)警。對(duì)比實(shí)施前后四個(gè)月的預(yù)警及時(shí)率，預(yù)警及時(shí)率由平均85.5%提升至97%，提升了13.5%，如圖6所示：

圖6 預(yù)警及時(shí)率對(duì)比

（3）故障初步定位準(zhǔn)確率上升。在故障發(fā)生時(shí)需要快速對(duì)故障進(jìn)行初步診斷，而初步診斷的結(jié)果往往影響后續(xù)處理的方向。本文評(píng)價(jià)方法可以通過(guò)檢查具體指標(biāo)對(duì)應(yīng)的模塊，快速定位故障點(diǎn)，有很強(qiáng)的指導(dǎo)作用。對(duì)比實(shí)施前后四個(gè)月的定位準(zhǔn)確率，由平均73%上升至91.5%，提高了25%，如圖7所示：

圖7 問(wèn)題初步定位準(zhǔn)確率對(duì)比

4 結(jié)束語(yǔ)

本文通過(guò)使用異常檢測(cè)算法，利用了集群中個(gè)別和整體的關(guān)系，以節(jié)點(diǎn)各種指標(biāo)在整個(gè)集群內(nèi)的概率分布來(lái)評(píng)價(jià)節(jié)點(diǎn)的瞬時(shí)健康情況，進(jìn)一步可使用多種算法計(jì)算集群整體的瞬時(shí)健康情況，使得技術(shù)人員可以及時(shí)發(fā)現(xiàn)、精確定位故障。通過(guò)使用故障預(yù)測(cè)算法，可以預(yù)測(cè)集群在未來(lái)某個(gè)時(shí)刻的運(yùn)行情況，能夠較準(zhǔn)確地預(yù)測(cè)指標(biāo)的變化情況，使得技術(shù)人員可以提前預(yù)知集群性能的異常波動(dòng)，采取干預(yù)手段。綜合異常檢測(cè)與預(yù)測(cè)算法得到的集群健康度評(píng)價(jià)值，可以對(duì)集群整體健康狀況有量化、直觀的感受，便于從更高層面統(tǒng)領(lǐng)全局、隨時(shí)監(jiān)控。

通過(guò)在大型分布式系統(tǒng)中的實(shí)際應(yīng)用及效果分析表明，本方法可以在運(yùn)維工作中更好地掌握集群的健康狀態(tài)，顯著地減少了故障處理的時(shí)間，使得故障預(yù)警更加及時(shí)，故障初步定位更加準(zhǔn)確，有助于提高業(yè)務(wù)系統(tǒng)的整體穩(wěn)定性和可用性。