基于聚類的PaaS平臺流量監(jiān)控的遷移研究＊

董琪，徐軍

（中移（蘇州）軟件技術(shù)有限公司/中國移動蘇州研發(fā)中心，蘇州 215163）

基于聚類的PaaS平臺流量監(jiān)控的遷移研究＊

董琪，徐軍

（中移（蘇州）軟件技術(shù)有限公司/中國移動蘇州研發(fā)中心，蘇州 215163）

為了滿足Web應(yīng)用的快速部署，自動維護(hù)和自動擴(kuò)容的需求，從而產(chǎn)生了PaaS平臺。但隨之而來的問題是如何實(shí)時(shí)監(jiān)控PaaS的流量。為了能夠?qū)崿F(xiàn)流量的實(shí)現(xiàn)監(jiān)控， 研究人員提出了利用聚類算法來實(shí)現(xiàn)自動分類，但數(shù)據(jù)在傳送很容易受到外界因素的影響，從而導(dǎo)致采集的流量是失真的，因此根據(jù)這樣的數(shù)據(jù)來聚類分析后的結(jié)果是不準(zhǔn)確的。針對此問題，以模糊C均值算法為基礎(chǔ)，借鑒知識利用的思想，提出了一種具有遷移學(xué)習(xí)能力的聚類算法。并將其應(yīng)用到PaaS平臺的流量實(shí)現(xiàn)監(jiān)控中，從而能夠快速識別流量，從而能夠從極大的保證系統(tǒng)的穩(wěn)定安全的運(yùn)行。

PaaS平臺；流量的實(shí)現(xiàn)監(jiān)控；極大熵聚類；遷移學(xué)習(xí)

1 引言

近幾年來，隨著移動互聯(lián)網(wǎng)的迅猛發(fā)展，涌現(xiàn)出各式各樣的 PaaS (Platform as a Service，平臺即服務(wù))平臺，隨著PaaS系統(tǒng)的出現(xiàn)以及發(fā)展，在為Web應(yīng)用開發(fā)提供巨大便利的同時(shí)，其系統(tǒng)本身、以及其中部署的應(yīng)用和服務(wù)的監(jiān)控任務(wù)也開始面臨巨大的挑戰(zhàn)，如何實(shí)時(shí)監(jiān)控PaaS平臺的流量成為一項(xiàng)很重要的課題。

為了解決流量實(shí)時(shí)監(jiān)控的問題，相關(guān)研究人員提出利用無監(jiān)督的聚類算法來實(shí)現(xiàn)流量的實(shí)時(shí)監(jiān)控，聚類大致可以分為硬劃分聚類和軟劃分聚類。硬劃分的代表性算法是C均值算法[1]。軟劃分聚類是依據(jù)模糊集理論[2，3]，可以將一個(gè)對象按照模糊集理論的不確定性，將同一個(gè)對象劃分到不同的類簇。傳統(tǒng)的聚類算法要想取得較好的識別效果，用于分析的數(shù)據(jù)必須是大量且未失真?zhèn)鹘y(tǒng)的。但流量在傳送過程中很容易受到外界環(huán)境的干擾從而導(dǎo)致數(shù)據(jù)的丟失或者失真，因此利用傳統(tǒng)的聚類算法對此類數(shù)據(jù)進(jìn)行分析，不會得到令人滿意的效果的，從而也就起不到流量實(shí)時(shí)識別監(jiān)控的效果。

針對流量信息容易丟失與失真，傳統(tǒng)模糊劃分聚類算法無法獲取準(zhǔn)確的聚類結(jié)果，借鑒知識利用的思想，通過有效利用對歷史采集的流量信息來解決上述問題，并進(jìn)一步將這思想融入到極大熵聚類算法中，提出一種SMEC (Self Learning Algorithm Based on MEC Clustering，具有遷移學(xué)習(xí)能力的聚類算法)[4，5]。本文算法工作在兩個(gè)相近但又有區(qū)別的數(shù)據(jù)集上，如歷史域類中心與當(dāng)前域數(shù)據(jù)集，前一個(gè)數(shù)據(jù)集是通過對PaaS平臺上已有的大量的數(shù)據(jù)流量信息進(jìn)行傳統(tǒng)的聚類分析獲取得到。當(dāng)前數(shù)據(jù)集就是先階段通過PaaS平臺的流量信息。然后利用總結(jié)得到的歷史類中心來指導(dǎo)當(dāng)前域聚類任務(wù)，這樣不僅可以較大的提高聚類效果，而且歷史域類中心利用并不暴露歷史流量數(shù)據(jù)，因此本文所提的SMEC算法能在不暴露歷史數(shù)據(jù)的情況下有效解決上述問題，更好地應(yīng)對流量數(shù)據(jù)的復(fù)雜性與多變性。特別地，在當(dāng)前信息化高速發(fā)展的背景下，該算法具備廣泛的實(shí)際應(yīng)用價(jià)值。

2 具有遷移學(xué)習(xí)能力的聚類算法

2.1 SMEC算法的基本思想

雖然傳統(tǒng)的MEC算法在面對各具特色的單一數(shù)據(jù)集時(shí)均有良好的聚類效果，但該模糊劃分聚類算法良好的魯棒性是建立在大量待分析數(shù)據(jù)和豐富信息的基礎(chǔ)上。在少量數(shù)據(jù)或有噪聲干擾等場景下，傳統(tǒng)的MEC算法往往無法獲取較好的聚類效果。為了解決上述問題。本文將歷史域類中心知識融入到傳統(tǒng)的MEC算法中，最終得到了跨領(lǐng)域模糊劃分聚類算法。SMEC總體思想如圖1所示。

圖1 SFC算法總體思想

2.2 改進(jìn)的目標(biāo)函數(shù)

2.2.1 傳統(tǒng)極大熵聚類算法的目標(biāo)函數(shù)

近年來針對MEC算法的改進(jìn)有很多，雖然描述各不相同， 但具體思想是一致的。本文參照文獻(xiàn)[6]中提到的極大熵聚類算法的目標(biāo)函數(shù)，具體如下：

其中， C表示所需聚類樣本的類別總數(shù)， N表示樣本的總數(shù)， γ是平衡參數(shù)且γ∈(0， +∞)， ‖xi-vi‖2表示第j個(gè)樣本與第i個(gè)類中心之間的距離，這里‖·‖表示歐幾里德距離，μij表示第j個(gè)樣本是第i個(gè)類的隸屬度，U是由μij構(gòu)成的隸屬度矩陣U∈RN×C，vi為第i類的類中心， v是由vi組成的類中心矩陣。

2.2.2 具有遷移學(xué)習(xí)能力的聚類算法目標(biāo)函數(shù)

根據(jù)2.1節(jié)所分析的算法思想，最終構(gòu)造了具有遷移學(xué)習(xí)能力的聚類算法算法即SMEC算法，它的目標(biāo)函數(shù)為：

從目標(biāo)函數(shù)中可以看出，當(dāng)β→0本文算法將退化為經(jīng)典的MEC算法，從而確保算法的性能永不差于經(jīng)典的MEC算法。

2.3 SMEC算法的推導(dǎo)及證明

SMEC算法的目標(biāo)函數(shù)J取極小值的必要條件是J對U和V的偏導(dǎo)數(shù)全取0。具體的推導(dǎo)過程如下：

2.3.1 類中心vi的迭代公式

即類中心迭代公式為：

2.3.2 隸屬度uij的迭代公式

表1 基于歷史類中心利用的MEC算法的步驟

將(8)式帶入到(6)式，得到隸屬度迭代公式為：

根據(jù)迭代公式(7)式和(13)式，最終可求得當(dāng)前數(shù)據(jù)集的最優(yōu)類中心V和隸屬度U。

基于歷史類中心利用的MEC算法可以總結(jié)為如表1所示的以下6步驟。

3 PaaS平臺流量數(shù)據(jù)的采集

PaaS系統(tǒng)中的一些關(guān)鍵數(shù)據(jù)都是持久化到數(shù)據(jù)庫中，這部分?jǐn)?shù)據(jù)主要包括應(yīng)用開發(fā)者信息，應(yīng)用和服務(wù)的部分配置信息，如應(yīng)用和服務(wù)的綁定信息、應(yīng)用和域名的綁定信息等。通過只讀的方式訪問這些數(shù)據(jù)表，可以快速直觀的得到這些原始數(shù)據(jù)。通過這些原始數(shù)據(jù)集我們從中抽取出端口、訪問量、CPU使用率、用戶IP、訪問時(shí)間。在對這些數(shù)據(jù)集進(jìn)行分類時(shí)，需要確定流量識別的類別數(shù)，因?yàn)槿魏尉垲愃惴ǘ夹枰却_定數(shù)據(jù)集的具體類別數(shù)，因此如何確定流量識別的類別數(shù)是比較關(guān)鍵的，根據(jù)安文娟提出的方法，網(wǎng)絡(luò)流量類別大致可以分為六類，分別為自然的流量、黑鏈流量、外鏈流量、網(wǎng)站關(guān)鍵詞流量、友情鏈接的流量，站群流量。然后對這些數(shù)通過傳統(tǒng)的MEC算法進(jìn)行分析得到每個(gè)類別的類中心，然后利用此歷史知識類輔導(dǎo)當(dāng)前PaaS平臺流量的實(shí)時(shí)監(jiān)控。

根據(jù)PaaS平臺采集的流量，我們在將聚類個(gè)數(shù)設(shè)置為6的情況下，這6個(gè)網(wǎng)絡(luò)流量的識別率如表2（a）、（b）所示。

通過表2可以看出，SMEC從整體上來說，是優(yōu)于其他兩個(gè)算法的。其中，SMEC算法在外鏈流量的識別率是最高的，其識別率明顯高于其他兩個(gè)對比算法。但是，SMEC算法在站群流量的是被上，效果略差于MEC算法。

表2 (a) 算法對各類流量的識別情況對比

表2 (b) 算法對各類流量的識別情況對比

針對網(wǎng)站關(guān)鍵詞流量，我們將3種聚類的聚類個(gè)數(shù)分別取6、12、18、24、30、36，分別查看其3種算法對網(wǎng)站關(guān)鍵詞流量的識別率。其結(jié)果如圖2所示。

圖2 算法在不同聚類個(gè)數(shù)下的網(wǎng)站關(guān)鍵詞流量識別率

通過圖2可以發(fā)現(xiàn)，隨著聚類個(gè)數(shù)的升高，SMEC算法的關(guān)鍵詞流量識別率提升明顯。說明，在添加了前期的遷移學(xué)習(xí)的先驗(yàn)知識后，對SMEC算法的提升有著明顯的優(yōu)勢。

4 總結(jié)

本文通過分析已有的聚類算法在PaaS平臺上的流量實(shí)時(shí)監(jiān)控的問題后，發(fā)現(xiàn)傳統(tǒng)聚類算法在流量失真或丟失的情況下獲取不到很好的監(jiān)控作用，即傳統(tǒng)MEC算法無法達(dá)到理想的聚類效果的問題，通過利用歷史域知識來指導(dǎo)當(dāng)前聚類任務(wù)的完成，從而得到具備遷移學(xué)習(xí)能力的聚類算法。

然而，對于本文算法而言今后還有很多工作值得進(jìn)一步研究和探討，例如參數(shù)尋優(yōu)范圍的選取。此外，由于過多的人工預(yù)設(shè)參數(shù)的存在，在一定程度上增加了算法的學(xué)習(xí)負(fù)擔(dān)影響了時(shí)間效率。因此，今后我們將考慮更為有效地的參數(shù)選擇策略。

[1] Pal N R, Pal K, Bezdek J C. A mixed c-means clustering model 1997[C].Fuzzy Systems, 1997., Proceedings of the Sixth IEEE International Conference on. IEEE, 1997,1:11-21.

[2] Miyamoto S. Fuzzy c-means as a regularization and maximum entropy approach[J]. Proc. of IFSA'97, June 25-30, 1997, Prague, Chech, 1997:86-92.

[3] Li R P, Mukaidono M. Gaussian clustering method based on maximum-fuzzy-entropy interpretation[J]. Fuzzy Sets and Systems, 1999,102(2): 253-258.

[4] 張敏, 于劍. 基于劃分的模糊聚類算法[J]. 軟件學(xué)報(bào), 2004,15(06):858-868.

[5] 蔣亦樟, 鄧趙紅, 王駿, 等. 基于知識利用的遷移學(xué)習(xí)一般化增強(qiáng)模糊劃分聚類算法[J]. 模式識別與人工智能, 2013,26(10):975-984.

[6] Karayiannis N B. MECA: Maximum entropy clustering algorithm[C]// Fuzzy Systems, 1994. IEEE World Congress on Computational Intelligence., Proceedings of the Third IEEE Conference on. IEEE, 1994: 630-635.

News

中國移動、上汽集團(tuán)、華為簽署合作協(xié)議發(fā)力下一代車聯(lián)網(wǎng)

6月28日，世界移動大會·上海期間（MWC上海），中國移動通信集團(tuán)公司、上海汽車集團(tuán)股份有限公司、華為技術(shù)有限公司簽署了《共同推進(jìn)智能出行服務(wù)暨下一代車聯(lián)網(wǎng)合作框架協(xié)議》。中國移動總裁李躍、上汽集團(tuán)董事長陳虹、華為輪值CEO郭平出席簽字儀式，中國移動副總裁李正茂、上汽集團(tuán)總裁陳志鑫、華為副總裁兼中國區(qū)總裁彭中陽代表三方簽約，中國移動副總裁沙躍家主持簽約儀式。

作為世界500強(qiáng)中信息通信行業(yè)、汽車行業(yè)的領(lǐng)軍企業(yè)，中國移動、上汽集團(tuán)、華為積極推進(jìn)創(chuàng)新轉(zhuǎn)型，充分發(fā)揮技術(shù)、產(chǎn)業(yè)、市場優(yōu)勢，共同構(gòu)建以C-V2X技術(shù)（Cellular based Vehicle to Everything，基于移動蜂窩網(wǎng)絡(luò)的車與車、車與人以及車與萬物互聯(lián)的技術(shù)總稱））為核心的下一代車聯(lián)網(wǎng)智能出行服務(wù)系統(tǒng)，深挖大數(shù)據(jù)服務(wù)潛力，豐富人工智能出行服務(wù)應(yīng)用，加速技術(shù)成熟，推進(jìn)應(yīng)用創(chuàng)新，構(gòu)建產(chǎn)業(yè)生態(tài)。C-V2X包含現(xiàn)階段的LTE-V2X和未來的5G-V2X技術(shù)，有望為自動駕駛、出行安全、智能交通帶來根本變革，形成萬億級的智能出行服務(wù)市場。

作為全球5G汽車聯(lián)盟（5GAA, 5G Automotive Association）成員，中國移動、上汽集團(tuán)和華為公司長期以來致力于推動下一代車聯(lián)網(wǎng)發(fā)展。2016年G20期間，三方在杭州云溪小鎮(zhèn)合作建成了當(dāng)時(shí)全球最大規(guī)模的LTE-V2X技術(shù)試驗(yàn)場，進(jìn)行了智能網(wǎng)聯(lián)汽車的示范展示。此次簽署合作框架協(xié)議，將三方在下一代車聯(lián)網(wǎng)領(lǐng)域的合作大幅向前推進(jìn)。

本次MWC上海大會期間，三方舉辦了公眾開放日活動，邀請公眾體驗(yàn)了近距/超車告警、前車透視、十字路口預(yù)警、紅綠燈車速引導(dǎo)、行人告警，以及遠(yuǎn)程遙控自動駕駛等下一代車聯(lián)網(wǎng)典型應(yīng)用,讓公眾更好地感受新技術(shù)帶來的安全性能提升和駕駛體驗(yàn)變化。

（來源：中國移動通信集團(tuán)公司)

Transfer learning of PaaS platform traffic monitoring via clustering

DONG Qi, XU Jun
(China Mobile (Suzhou) Software Technology Co., Ltd./China Mobile Suzhou R & D Center, Suzhou 215163, China)

The PaaS platform isstructured to realize the Web’srapid deploymentand to satisfythe need of Web’s maintain and dilatationautomatically. But, there is a urgent problem that how to monitor the flow of PaaS platformat any time.In order to be able to implement traffic monitoring related researchers using the clustering algorithm is presented to realize automatic classification, but the data in transmission is easily affected by external factors, which leads to acquisition of flow is distorted, so according to the data to the results of cluster analysis is not accurate.To solve this problems, a new clusteralgorithm, based on FCM algorithmand transfer learning thought, is introduced. This new cluster algorithm is used to PaaS platform and tomonitor the flow of PaaS platform at any time, so that can recognition flow quickly and can make platform run softly and stably.

PaaS platform; traffic monitoring; maximum entropy clustering; transfer learning

TN929.5

A

1008-5599（2017）07-0005-05

2017-06-21

* 中國移動集團(tuán)級一類科技創(chuàng)新成果，原成果名稱為《大云數(shù)據(jù)中心操作系統(tǒng)（BC-DCOS）》。