信息系統(tǒng)遷移上云與異常檢測(cè)方法

康睿，唐海榮，王振潁，管建超，程航

（1.南京南瑞信息通信科技有限公司，南京210037；2.國(guó)網(wǎng)安徽省電力有限公司信息通信分公司，合肥230061）

0 引言

隨著大數(shù)據(jù)時(shí)代的到來［1-2］，信息量飛速增長(zhǎng)，傳統(tǒng)的電網(wǎng)信息通信運(yùn)維系統(tǒng)已經(jīng)無法支撐及時(shí)響應(yīng)任務(wù)。目前，電網(wǎng)內(nèi)部系統(tǒng)出現(xiàn)了系統(tǒng)超期服役、系統(tǒng)無法及時(shí)響應(yīng)緊急任務(wù)等問題［3］，因此有必要結(jié)合當(dāng)前新興技術(shù)對(duì)現(xiàn)有電網(wǎng)內(nèi)部系統(tǒng)進(jìn)行改進(jìn)。

數(shù)據(jù)時(shí)代的到來催生了很多新興技術(shù)，例如云計(jì)算［4-5］，大數(shù)據(jù)［6-7］等。目前這些技術(shù)已經(jīng)相當(dāng)成熟，通過這些技術(shù)建立的云平臺(tái)由于其可靠、響應(yīng)快速、高自動(dòng)化、功能和業(yè)務(wù)豐富、建設(shè)成本低廉等優(yōu)勢(shì)被廣泛應(yīng)用于很多行業(yè)的系統(tǒng)改進(jìn)［8-9］。

為了全面驗(yàn)證云平臺(tái)和數(shù)據(jù)中臺(tái)對(duì)核心業(yè)務(wù)應(yīng)用的支撐能力，研究關(guān)鍵問題，探索運(yùn)營(yíng)模式，形成典型經(jīng)驗(yàn)，為指導(dǎo)后期國(guó)網(wǎng)云和數(shù)據(jù)中臺(tái)建設(shè)工作提供依據(jù)，有必要進(jìn)行系統(tǒng)遷移上云設(shè)計(jì)與應(yīng)用［10］。本文選取調(diào)運(yùn)檢系統(tǒng)微服務(wù)版本作為試點(diǎn)系統(tǒng)，對(duì)其進(jìn)行上云設(shè)計(jì)與應(yīng)用，并針對(duì)系統(tǒng)數(shù)據(jù)進(jìn)行異常檢測(cè)。調(diào)運(yùn)檢系統(tǒng)作為信息運(yùn)行業(yè)務(wù)的重要支撐系統(tǒng)，歷經(jīng)多年發(fā)展演進(jìn)，系統(tǒng)既包含傳統(tǒng)Web應(yīng)用，也包含數(shù)據(jù)采集與處理分析模塊，采用的架構(gòu)覆蓋面全，能夠?qū)罄m(xù)其他業(yè)務(wù)應(yīng)用上云起到指導(dǎo)作用，具備典型意義。調(diào)運(yùn)檢系統(tǒng)微服務(wù)版本是在系統(tǒng)傳統(tǒng)架構(gòu)版本基礎(chǔ)上對(duì)平臺(tái)模塊進(jìn)行微服務(wù)化改造形成的版本，該版本采用了主流SpringCloud框架，在開源K8S環(huán)境開展過運(yùn)行驗(yàn)證，具備試點(diǎn)遷移上云基礎(chǔ)。

1 現(xiàn)狀分析

電力云平臺(tái)架構(gòu)包括云IaaS層、PaaS層、SaaS層以及云安全防護(hù)，基礎(chǔ)設(shè)施服務(wù)（IaaS）是整個(gè)云平臺(tái)的底座，提供通用的資源管理、資源調(diào)度和資源交付功能。主要服務(wù)內(nèi)容包括計(jì)算服務(wù)、存儲(chǔ)服務(wù)和網(wǎng)絡(luò)服務(wù)。平臺(tái)層服務(wù)（PaaS）為各類業(yè)務(wù)應(yīng)用提供通用軟件類支撐。中間件服務(wù)，提供應(yīng)用通用運(yùn)行環(huán)境或運(yùn)行框架；數(shù)據(jù)庫服務(wù)，提供各類數(shù)據(jù)存儲(chǔ)服務(wù)；大數(shù)據(jù)與人工智能，提供人工智能算法訓(xùn)練平臺(tái)和通用算法庫及技術(shù)方案。云平臺(tái)架構(gòu)如圖1所示。

圖1 云架構(gòu)

2 上云技術(shù)方案

2.1 遷移上云策略

傳統(tǒng)架構(gòu)的電力信息系統(tǒng)在與云融合過程中，存量業(yè)務(wù)系統(tǒng)建議針對(duì)業(yè)務(wù)系統(tǒng)屬性分別采用基礎(chǔ)改造上云或微應(yīng)用改造上云兩種模式，新增業(yè)務(wù)系統(tǒng)建議采用微應(yīng)用設(shè)計(jì)上云?；A(chǔ)改造上云，應(yīng)用按需調(diào)整，傳統(tǒng)架構(gòu)的存儲(chǔ)、數(shù)據(jù)庫、中間件通過對(duì)應(yīng)的組件承載上云；微應(yīng)用改造上云，需對(duì)業(yè)務(wù)應(yīng)用進(jìn)行分布式、微服務(wù)和微應(yīng)用改造，涉及應(yīng)用、數(shù)據(jù)、技術(shù)架構(gòu)的調(diào)整；新增業(yè)務(wù)系統(tǒng)按照微應(yīng)用模式開展應(yīng)用設(shè)計(jì)工作、數(shù)據(jù)層采用分布式架構(gòu)，部署實(shí)施直接上云，業(yè)務(wù)遷移上云對(duì)應(yīng)的策略如圖2所示。

針對(duì)典型架構(gòu)信息系統(tǒng)架構(gòu)分析，與云平臺(tái)組件梳理對(duì)應(yīng)，組件遷移映射選型方案如表1所示。

表1 組件遷移改造選型方案

根據(jù)架構(gòu)現(xiàn)狀和組件分析，遷移改造工作主要包括三部分：

（1）容器平臺(tái)及微服務(wù)架構(gòu)模塊遷移，對(duì)開發(fā)框架和運(yùn)行環(huán)境進(jìn)行適配性改造，納入云架構(gòu)體系。

（2）基礎(chǔ)組件改造上云，將數(shù)據(jù)庫、中間件等通過對(duì)應(yīng)的云組件承載上云，對(duì)應(yīng)使用的模塊改造。

（3）傳統(tǒng)架構(gòu)模塊上云，將傳統(tǒng)架構(gòu)模塊遷移至云虛擬機(jī)，并進(jìn)行驗(yàn)證。

（4）系統(tǒng)數(shù)據(jù)異常檢測(cè)。

其中，傳統(tǒng)架構(gòu)等模塊為后端服務(wù)程序，不適合進(jìn)行微服務(wù)化或容器化改造，保留現(xiàn)有架構(gòu)，采用云ECS虛擬機(jī)的方式進(jìn)行部署。

2.2 容器與微服務(wù)遷移

微服務(wù)架構(gòu)模塊目前基于SpringCloud框架開發(fā)，全部遷移入EDAS體系，充分利用EDAS的應(yīng)用部署管控能力和微服務(wù)治理能力；同時(shí)，開展基于微服務(wù)架構(gòu)的微應(yīng)用試點(diǎn)設(shè)計(jì)開發(fā)工作。云EDAS體系兼容SpringCloud框架，在實(shí)際應(yīng)用上略有不同，通過對(duì)微服務(wù)架構(gòu)模塊的適配性改造使其對(duì)接云服務(wù)注冊(cè)發(fā)現(xiàn)組件ANS和統(tǒng)一配置服務(wù)組件ACM，并能納入EDAS應(yīng)用全生命周期管理和監(jiān)控機(jī)制。微應(yīng)用架構(gòu)模塊如圖3所示。

圖3 微服務(wù)架構(gòu)模塊

將傳統(tǒng)架構(gòu)下信息系統(tǒng)架構(gòu)中Oracle、MySQL、Redis、MongoDB和ActiveMQ進(jìn) 行 全 部遷移改造。云平臺(tái)提供的云數(shù)據(jù)庫組件RDS、KVStore for Redis、MongoDB、Apache RocketMQ

覆蓋了原架構(gòu)中相應(yīng)基礎(chǔ)組件提供的服務(wù)能力，Oracle采用逐步改造遷移的方式，其他組件直接一次性改造適配。

圖4 基礎(chǔ)組件模塊

2.3 異常檢測(cè)算法

本文提出系統(tǒng)遷移上云設(shè)計(jì)框架，通過大數(shù)據(jù)云計(jì)算使得系統(tǒng)服務(wù)范圍更加廣泛，有利也有弊，這也對(duì)系統(tǒng)數(shù)據(jù)的安全性造成了威脅，本文設(shè)計(jì)一種數(shù)據(jù)異常檢測(cè)算法，實(shí)現(xiàn)較高檢測(cè)率和較低的誤檢率，從而保證信息系統(tǒng)遷移上云時(shí)數(shù)據(jù)信息的安全。

異常檢測(cè)一般分為三模塊，分別為數(shù)據(jù)預(yù)處理模塊、特征提取模塊以及數(shù)據(jù)異常檢測(cè)模塊。

在數(shù)據(jù)預(yù)處理模塊，需要將系統(tǒng)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，得到異常檢測(cè)所需要的數(shù)據(jù)形式。假設(shè)原始數(shù)據(jù)X={{(xi,yi)}n i=1}，其中yi表示xi對(duì)應(yīng)標(biāo)簽類型，即是否為異常數(shù)據(jù)，n為數(shù)據(jù)個(gè)數(shù)。對(duì)其進(jìn)行標(biāo)準(zhǔn)化操作。

對(duì)數(shù)據(jù)集X求均值如公式（1）：

接著進(jìn)行標(biāo)準(zhǔn)化處理如公式（2）：

接著進(jìn)行歸一化處理如公式（3）：

其中σ為數(shù)據(jù)集X的標(biāo)準(zhǔn)差。

數(shù)據(jù)經(jīng)過數(shù)據(jù)預(yù)處理模塊可以提高其在異常檢測(cè)模塊的聚類收斂速度，從而使得異常檢測(cè)更加高效。

求解矩陣C的特征值和特征向量,計(jì)算貢獻(xiàn)率，根據(jù)貢獻(xiàn)率排名第一的特征向量，即為數(shù)據(jù)集對(duì)應(yīng)的數(shù)據(jù)特征D。

在數(shù)據(jù)異常檢測(cè)模塊進(jìn)行異常檢測(cè)，計(jì)算相似度：

其中γ為控制閾值。獲得的相似度值約接近0，則其越有可能是異常值。

3 實(shí)驗(yàn)驗(yàn)證

本文以國(guó)網(wǎng)安徽電力調(diào)運(yùn)檢微服務(wù)系統(tǒng)為例,通過系統(tǒng)數(shù)據(jù)上報(bào)并進(jìn)行響應(yīng)驗(yàn)證和一致性評(píng)估，將國(guó)網(wǎng)安徽電力調(diào)運(yùn)檢微服務(wù)系統(tǒng)遷移上云，從而實(shí)現(xiàn)系統(tǒng)的部署，彈性伸縮、灰度發(fā)布以及故障自愈。通過實(shí)驗(yàn)驗(yàn)證，訪問系統(tǒng)驗(yàn)證已遷移部署功能模塊，系統(tǒng)功能使用正常，實(shí)驗(yàn)效果如圖5所示。

圖5 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文中異常檢測(cè)算法的可行性和性能，本文以電力調(diào)運(yùn)檢微服務(wù)系統(tǒng)采集上傳的數(shù)據(jù)為訓(xùn)練測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，按檢測(cè)數(shù)據(jù)數(shù)量分為五個(gè)測(cè)試集測(cè)試三種不同的方法。其中測(cè)試集1包含500個(gè)數(shù)據(jù)，測(cè)試集2包含1000個(gè)數(shù)據(jù)，測(cè)試集3包含1500個(gè)數(shù)據(jù)，測(cè)試集4包含3000個(gè)數(shù)據(jù)，測(cè)試集5包含5000個(gè)數(shù)據(jù)。如下表所示為本文的異常檢測(cè)算法分別與SVM，ANN網(wǎng)絡(luò)算法的準(zhǔn)確率比較?？梢钥闯鲭m然隨著測(cè)試數(shù)據(jù)的增多，檢測(cè)準(zhǔn)確率不斷降低，但是本文提出的異常檢測(cè)算法其降低速度明顯慢于后兩者，且其準(zhǔn)確率也高于后兩者。

表2 準(zhǔn)確率對(duì)比

4 結(jié)語

針對(duì)當(dāng)前數(shù)據(jù)信息化運(yùn)維系統(tǒng)無法快速響應(yīng)緊急任務(wù)、存在硬件平臺(tái)超期服役等問題，本文提出一種系統(tǒng)遷移上云的可行性分析和上云改造方案，將系統(tǒng)服務(wù)全部遷入企業(yè)級(jí)分布式應(yīng)用服務(wù)體系，通過EDAS的優(yōu)勢(shì)，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用快速部署和快速響應(yīng)，從而實(shí)現(xiàn)彈性伸縮、灰度發(fā)布以及故障自愈等功能。最后通過實(shí)驗(yàn)驗(yàn)證了方案的可行性。