一種改進的Kubernetes 彈性伸縮策略*

沐 磊 李洪赭 李賽飛

（西南交通大學信息科學與技術(shù)學院 成都 611756）

1 引言

隨著虛擬化技術(shù)和云計算技術(shù)的快速發(fā)展，基于Hypervisor 傳統(tǒng)虛擬化的云計算技術(shù)因為其較低的資源利用率等一系列問題，已經(jīng)逐漸被以Docker［1］為代表的基于容器虛擬化的容器技術(shù)所代替［2］。相比于傳統(tǒng)虛擬化技術(shù)，Docker 容器技術(shù)通過復(fù)用本地操作系統(tǒng)來提高啟動速度，減少開銷。同時因為Docker容器技術(shù)簡化了應(yīng)用的部署工作，受到廣大開發(fā)者的歡迎［3］。然而在面對大規(guī)模集群的容器組時，對這些容器進行管理會顯得非常困難。Kubernetes［4］是Google 的Borg［5］開源版本，Docker 容器集群編排調(diào)度系統(tǒng)，使用Master-Slave模型［6］為容器化應(yīng)用提供資源調(diào)度、自動化部署、服務(wù)發(fā)現(xiàn)、彈性伸縮、資源監(jiān)控等服務(wù)［7］。其中彈性伸縮是通過監(jiān)測用戶指定的評價指標，使用閾值的方式對應(yīng)用進行水平擴容和縮容，以保障應(yīng)用的服務(wù)質(zhì)量和最大化地節(jié)省資源。

針對Kubernetes 的彈性伸縮技術(shù)的研究大致可以分為兩類，第一類采用方法或者預(yù)測模型對未來資源的利用率進行估計或預(yù)測。文獻［8］針對擴容和縮容時的不同特點，分別提出了快速擴容算法和逐步收縮算法，通過在工作負載增加時快速創(chuàng)建多個pod 和在工作負載降低時逐步縮容的方式保障應(yīng)用的服務(wù)質(zhì)量。文獻［9］使用了基于動態(tài)參數(shù)的指數(shù)平滑法對資源利用率進行預(yù)測，通過預(yù)測式擴容和響應(yīng)式擴容相結(jié)合的辦法解決Kubernetes擴容時的響應(yīng)延遲問題。這些處理方法雖然簡單，但是在提高資源利用率和預(yù)測精度上仍有不足。第二類是針對Kubernetes 內(nèi)置的彈性伸縮策略進行改進和優(yōu)化。文獻［10］提出了一種基于負載特征的彈性伸縮策略，該策略根據(jù)負載特征對應(yīng)用進行分類，求出應(yīng)用的整體負載并使用ARIMA 模型對負載進行預(yù)測，使用預(yù)測值和負載值共同作為判斷伸縮的條件，以減少擴縮容時的伸縮抖動現(xiàn)象。該策略提出的根據(jù)負載特征衡量復(fù)合型應(yīng)用負載的方法未考慮各種資源的重要性差異和資源極度不均衡情況下的服務(wù)質(zhì)量問題。

綜上所述，雖然目前針對Kubernetes 彈性伸縮策略中存在的問題的研究已經(jīng)比較全面，但是仍有改善的空間。本文通過對Kubernetes 內(nèi)置的伸縮策略進行分析，針對單一衡量指標和預(yù)測問題提出了一種改進的彈性伸縮策略。該策略給出綜合負載率CLR（Comprehensive Load Rate）的計算方法，使用CLR 作為彈性伸縮的指標。同時使用ARIMA-Kalman 預(yù)測模型對資源進行預(yù)測，提高預(yù)測精度。

2 Kubernetes默認伸縮算法及分析

Pod 是Kubernetes 資源控制的基本單位。Kubernetes 通過HPA（Horizontal Pod Autoscaler）實現(xiàn)Pod的自動伸縮［11］。HPA 控制Kubernetes伸縮原理圖如圖1所示。

圖1 Kubernetes擴縮容原理圖

在部署應(yīng)用時會設(shè)置某項資源監(jiān)測指標和該資源的目標平均使用率閾值TAU。則該指標的伸縮閾值計算公式為

其中tolarence系統(tǒng)默認值為0.1，設(shè)置該參數(shù)是為了防止應(yīng)用出現(xiàn)頻繁地擴容和縮容。up和down分別是伸縮的上下限閾值。假設(shè)當前共有k個該應(yīng)用的pod，HPA 通過輪詢的方式獲取當前該pod集合中所有的該資源使用量Ui，求得當前資源利用率和CAU為

其中request代表該pod 中資源的分配量。如果k*down≤CAU≤k*up，則不需要擴縮容，否則需要進行擴縮容操作，計算公式為

以上是Kubernetes 實現(xiàn)伸縮功能的流程概述。從上面的分析可以看出。雖然Kubernetes 內(nèi)置的水平伸縮的算法比較簡單，但是存在兩個比較明顯的問題：單一衡量指標和響應(yīng)延時。在面對復(fù)雜應(yīng)用系統(tǒng)時，應(yīng)用涉及多種資源類型的消耗可能會隨著時間和業(yè)務(wù)的變化而發(fā)生變化，單一衡量指標無法準確地衡量應(yīng)用整體負載的情況。當應(yīng)用面對突發(fā)的負載變化時，在pod 擴展之前的應(yīng)用服務(wù)質(zhì)量無法保障，甚至可能會發(fā)生應(yīng)用因為負載太高而崩潰的現(xiàn)象。

3 本文伸縮策略優(yōu)化

針對上文所說的單一衡量指標和響應(yīng)延時問題，本文提出了一種改進的彈性伸縮策略。該策略通過監(jiān)測記錄pod 各個指標，計算出當前pod 的綜合負載率CLR（Comprehensive load rate），將CLR 作為pod伸縮的衡量指標。同時使用ARIMA-Kalman模型對CLR進行預(yù)測，提前進行伸縮以保障服務(wù)質(zhì)量。

3.1 衡量指標確定

影響應(yīng)用服務(wù)質(zhì)量的因素有許多，包括CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤I/O 等多個基礎(chǔ)指標。假設(shè)當前pod 節(jié)點涉及的資源種類為n，Ci表示節(jié)點上第i種資源的使用率Ci為

其中Ri表示節(jié)點上資源i的分配量，Ui表示pod 對資源i 使用量。記Cmax為各種資源利用率的最大值，為了減少計算的復(fù)雜度，當某項資源利用率低于下限閾值時，認為該資源的利用率對應(yīng)用負載幾乎沒有影響，則該資源的利用率將不作為計算綜合負載CLR 的參數(shù)。如果Cmax低于下限閾值，則令CLR=Cmax。如果Cmax高于上限閾值，則資源可以被認為是應(yīng)用的性能瓶頸，為了保證服務(wù)質(zhì)量，防止出現(xiàn)只有一種資源消耗非常高，其他資源利用率相對較低導致綜合負載率沒有達到擴容閾值的情況，同樣令CLR=Cmax。由經(jīng)驗，設(shè)定下限閾值dl=0.4，上限閾值ul=0.95。

假設(shè)當前應(yīng)用涉及的n種資源利用率中有k(k＞0)個資源利用率滿足dl＜Ci＜ul且Cmax＜ul，則CLR為

根據(jù)以上公式，最終計算出當前pod 的CLR，該CLR 指標在簡化計算復(fù)雜度和保證應(yīng)用服務(wù)質(zhì)量的前提下，全面反映出當前pod 節(jié)點整體負載水平。

3.2 ARIMA-Kalman負載預(yù)測模型

3.2.1 ARIMA預(yù)測模型

差分自回歸平穩(wěn)滑動平均模型（ARIMA）是時間序列預(yù)測方法，是博克斯和詹金斯提出的一種基于時間序列預(yù)測方法。該模型將非平穩(wěn)時間序列轉(zhuǎn)化為平穩(wěn)時間序列，讓因變量對其滯后值及隨機誤差項的現(xiàn)值和滯后值進行回歸［12］。ARIMA(p,d,q)模型的數(shù)學表達式如下：

其中p為自回歸階數(shù)，d為差分次數(shù)，q為移動平均階數(shù)。B為后移差分算子，xt為原序列，αt為均值為0，方差為δ2的正態(tài)白噪聲序列。?(B)和θ(B)計算方法如下：

?(B)為p階AR 多項式，?i(i=1,2,…,p)為該多項式的待估系數(shù)；θ(B)為q階MA 多項式。θj(j=1,2,…,q)為該多項式的待估系數(shù)。

ARIMA 模型的優(yōu)點在于只需要有限的樣本序列，就可以建立精度較高的預(yù)測模型。但是該模型存在低階模型預(yù)測精度低，高階模型參數(shù)估計難度大的缺點［13］。

3.2.2 Kalman濾波算法

Kalman 濾波是一種獲取變量的最佳估計，將過去的測量估計誤差合并到新的測量誤差中來估計將來的誤差，來對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法［14］。其線性離散的Kalman濾波方程如下：

其中x?k|k-1為從tk-1時刻對tk時刻的預(yù)測值；Kk為tk時刻的卡爾曼增益矩陣；Pk是tk時刻xk的狀態(tài)估計協(xié)方差矩陣。

卡爾曼濾波算法采用遞歸的形式，不需要全部的數(shù)據(jù)，只需要根據(jù)tk時刻的測量值修正tk-1時刻的估計值，具有動態(tài)加權(quán)修正的特性［16］，具有較好的預(yù)測精確度。但是Kalman 濾波算法需要狀態(tài)方程和測量方程才能保證有很好的預(yù)測精度。

3.3 ARIMA-Kalman預(yù)測模型

針對以上對ARIMA 預(yù)測模型和Kalman 濾波模型的描述，可以看出這兩種預(yù)測模型都存在不足。本文通過使用ARIMA-Kalman算法，將兩種預(yù)測模型結(jié)合。利用ARIMA 模型建立低階預(yù)測模型，將該低階模型處理后計算Kalman 濾波模型的狀態(tài)方程和測量方程，使用Kalman 迭代方程進行預(yù)測。

對于CLR 序列集合X(t) ，令x1(t)=x(t) ，x2(t)=x(t-1) ，… ，xp(t)=x(t-p+1)；α1(t)=α(t) ，α2(t)=α1(t-1) ，…，αq(t)=αq-1(t-1) 。則ARIMA預(yù)測模型如下：

該組合算法的具體步驟如下所示。

1）數(shù)據(jù)采集

利用工具對各個指標進行采集并處理，按照上文中綜合指標CLR計算方法對數(shù)據(jù)進行計算，得出時間序列X(t)。

2）平穩(wěn)化處理

為了保證數(shù)據(jù)的平穩(wěn)化，對采集到的數(shù)據(jù)信息利用平穩(wěn)性檢驗方法ADF 檢驗進行判斷。如果是非平穩(wěn)數(shù)據(jù)，通過差分進行平穩(wěn)化處理至ADF 檢驗滿足要求。

3）ARIMA模型參數(shù)確定

ARIMA(p,d,q)預(yù)測模型中，d代表在數(shù)據(jù)平穩(wěn)化的處理過程中差分的次數(shù)。p和q確定的方法有多種，本文中使用固定步長，遍歷求出最小AIC 信息準則時p和q的值，從而確定ARIMA 模型的參數(shù)。

4）Kalman濾波模型預(yù)測

根據(jù)ARIMA 建模求得AR 模型和MA 模型的待估系數(shù)，確定Kalman 系統(tǒng)的狀態(tài)方程和測量方程。利用式（12）～（16）遞推求出系統(tǒng)最新估計值。

4 實驗

4.1 實驗環(huán)境

為了驗證本文提出的改進的彈性伸縮策略，搭建了兩個相同的Kubernetes 集群環(huán)境，Kubernetes的版本都是1.16.2，每個集群包含一個Master 節(jié)點和兩個Slave節(jié)點。其中一個集群使用內(nèi)置的彈性伸縮方法，另一個集群使用本文提出的彈性伸縮策略。集群的詳細配置如表1所示。

表1 實驗環(huán)境配置

4.2 實驗數(shù)據(jù)

本文的實驗數(shù)據(jù)使用2018 年阿里巴巴公開的生產(chǎn)環(huán)境采集的部分容器資源使用率信息。該數(shù)據(jù)包括CPU 利用率、內(nèi)存使用率，網(wǎng)絡(luò)以及磁盤IO等多個維度的資源使用情況。由于該數(shù)據(jù)集數(shù)據(jù)量龐大，本文選取出同時使用兩種及兩種以上維度的資源維度的容器數(shù)據(jù)作為算法計算的基礎(chǔ)數(shù)據(jù)。由于該公開的數(shù)據(jù)采樣的時間間隔不相等，去除時間間隔較近的點并對個別時間間隔較長的數(shù)據(jù)中間使用均值補差進行補充，使時間間隔大致相等。

4.3 實驗步驟及結(jié)果分析

本文提出的改進的Kubernetes 的伸縮策略需要從功能性和準確性兩個方面進行實驗驗證。所以實驗應(yīng)該包含兩個部分：1）使用JMeter 工具對Kubernetes 的pod 進行壓力測試，分別記錄兩個集群的pod 的數(shù)量變化情況并進行對比。驗證本文的伸縮策略在應(yīng)對負載變化時的預(yù)測伸縮效果。2）使用公開容器負載信息，計算出CLR序列。分別使用指數(shù)平滑法，ARIMA 預(yù)測模型和ARIMA-Kalman 預(yù)測模型進行預(yù)測并對這三種預(yù)測模型的預(yù)測精度進行評估。

首先在兩個實驗環(huán)境中分別部署一個相同的Web 應(yīng)用，伸縮閾值設(shè)置為60%，容忍度設(shè)置為默認的0.1。利用JMeter 工具進行模擬并發(fā)訪問請求，每隔1min增加并發(fā)請求數(shù)量并檢查當前pod的數(shù)量。其中使用本文伸縮策略的實驗環(huán)境使用Prometheus獲取pod的資源信息并計算CLR進行預(yù)測。具體數(shù)量變化情況如圖2所示。

從圖2 中可以看出，相比內(nèi)置的伸縮策略方法，本文使用的方法可以提前針對負載的變化趨勢進行預(yù)測式的彈性伸縮，從而解決Kubernetes 內(nèi)置的伸縮策略的響應(yīng)延遲問題，保障了服務(wù)的質(zhì)量。

圖2 pod數(shù)量變化圖

為了比較本文使用的ARIMA-Kalman 預(yù)測模型和其他模型的精度，使用阿里巴巴的生產(chǎn)環(huán)境容器公開數(shù)據(jù)集的負載信息數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)。簡單處理后計算出CLR，將CLR 作為模型預(yù)測的輸入。分別使用絕對誤差（MAE）、平均絕對誤差（MSE）、平均絕對均方誤差（MSRE）這三種最常見的衡量指標對文獻［5］中使用的指數(shù)平滑法以及文獻［6］使用的ARIMA 預(yù)測模型和本文使用的ARIMA-Kalman預(yù)測模型進行評估。

每個容器的處理后的采樣數(shù)據(jù)約為650～800個，統(tǒng)一選取前550 個信息節(jié)點作為訓練數(shù)據(jù)，后100 個數(shù)據(jù)作為預(yù)測。指數(shù)平滑法，ARIMA 預(yù)測模型和ARIMA-Kalman 的預(yù)測誤差圖已經(jīng)分別如圖3所示。

圖3 模型預(yù)測誤差比較圖

由圖3 可以直觀看出，ARIMA-Kalman 的誤差相對其他兩種方法更小。由于ARIMA 模型的參數(shù)確定過程計算量較大，不適合對數(shù)據(jù)模型進行動態(tài)更新，只適合做短期預(yù)測，本文一次性預(yù)測100 個數(shù)據(jù)點，所以整體誤差較大。指數(shù)平滑法由于使用了所有歷史節(jié)點的信息，在使用中會消耗更多的內(nèi)存資源，而且沒有考慮到數(shù)據(jù)變化的規(guī)律性。ARIMA-Kalman模型通過建立低階的ARIMA模型確定狀態(tài)轉(zhuǎn)移方程，使用Kalman 模型進行更新迭代預(yù)估，其精確度相比ARIMA 和指數(shù)平滑法較大的提升。表2是對這三種模型的評估。

表2 各模型評價指標對比

可以看出，相比于指數(shù)平滑法、ARIMA 模型，本文所使用的ARIMA-Kalman 預(yù)測模型的預(yù)測精度更優(yōu)。在面對負載變化的情況，能夠準確地進行預(yù)測。

5 結(jié)語

本文針對Kubernetes 內(nèi)置的彈性伸縮機制的單一衡量指標和響應(yīng)延遲的問題，提出了一種改進的彈性伸縮策略。該策略通過定義統(tǒng)一負載評價指標CLR，有效衡量出復(fù)雜應(yīng)用的整體負載水平。同時通過上下限閾值的設(shè)置，簡化了計算的復(fù)雜度并且保證了服務(wù)的質(zhì)量。使用ARIMA-Kalman 預(yù)測模型對應(yīng)用當前CLR進行預(yù)測，提前伸縮以保證服務(wù)質(zhì)量。實驗證明，該預(yù)測模型相比于指數(shù)平滑法和ARIMA預(yù)測模型具有更高的精度。