淺析分布式數(shù)據(jù)中心運營支撐平臺建設(shè)及應(yīng)用

陸宏波 魏海波 袁以友

摘要：隨著國家電網(wǎng)公司分布式數(shù)據(jù)中心建設(shè)數(shù)量的不斷增加，受困于分布式機房的規(guī)模、距離等客觀因素，運維人員疲于奔波應(yīng)付巡檢和故障檢修，導(dǎo)致分布式數(shù)據(jù)機房運維效率低下，運維人員工作量日益加大。為了提升分布式數(shù)據(jù)中心監(jiān)控管理和故障處置能力，該文將研究一套分布式數(shù)據(jù)中心統(tǒng)一運營支撐平臺，通過對數(shù)據(jù)中心機房設(shè)施進行統(tǒng)一管理，對故障告警進行分級派單處置，對數(shù)據(jù)中心的可用資源以及運維專責(zé)靈活調(diào)度，提高運維效率，保持分布式數(shù)據(jù)中心的安全穩(wěn)定運行。

關(guān)鍵詞：分布式數(shù)據(jù)中心;運維管理;運營管理

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）04-0029-03

1 研究背景

隨著國家新基建戰(zhàn)略部署，國家電網(wǎng)公司加快推進新型數(shù)字基礎(chǔ)設(shè)施建設(shè)，融合建設(shè)數(shù)據(jù)中心、充換電站、儲能站、5G基站、北斗基站、光伏站等“多站融合”式變電站。2020年國家電網(wǎng)公司已完成1100余座分布式數(shù)據(jù)中心站建設(shè)，并且數(shù)量正在呈現(xiàn)規(guī)?；瘧B(tài)勢增長。這些數(shù)據(jù)中心利用現(xiàn)有的電力變電站閑置土地資源價值，但因具有“偏遠、分散、規(guī)模小、交通不便利”等客觀因素，給數(shù)據(jù)中心的運維管理工作帶來了新的挑戰(zhàn)。

目前這些“分散式、小型化”的數(shù)據(jù)中心機房運維工作僅依靠變電站點的運維團隊，存在無專業(yè)運維人員值守等問題?，F(xiàn)有的機房管理系統(tǒng)僅能實現(xiàn)分布式多機房設(shè)施綜合監(jiān)控，很難做到機房運維的集中調(diào)度和設(shè)施遠程控制的調(diào)節(jié)?；谶@些分散數(shù)據(jù)機房的運維管理的現(xiàn)狀，需要一套統(tǒng)一的綜合運維運營管理系統(tǒng)，能夠納管分散的數(shù)據(jù)中心站的設(shè)備以及系統(tǒng)，不僅能夠滿足監(jiān)控需求，還具備遠程控制和管理調(diào)度的能力。以實現(xiàn)分布式數(shù)據(jù)中心的自動化運維、智能化運維和自主化運營。

在人員成本日益提升的今天，如何提高分布式數(shù)據(jù)中心運維管理效率，提升機房故障處理時效性，保障數(shù)據(jù)中心安全運行，是當下研究分布式數(shù)據(jù)中心綜合運維業(yè)務(wù)的重點和難點。

2 平臺設(shè)計原理概述

分布式數(shù)據(jù)中心統(tǒng)一運營支撐平臺從總體架構(gòu)設(shè)計、機房基礎(chǔ)設(shè)施運行數(shù)據(jù)采集、機房基礎(chǔ)設(shè)施運維管理、機房能效提升、機房調(diào)度控制管理五個方面進行設(shè)計。以總體架構(gòu)設(shè)計方法論、數(shù)據(jù)采集、大數(shù)據(jù)分析、運行監(jiān)控、遠程控制、數(shù)據(jù)中心運維體系等原理技術(shù)為理論研究基礎(chǔ)。各原理相應(yīng)的理論支撐與研究內(nèi)容的層次架構(gòu)如圖1所示。

從系統(tǒng)的邊界關(guān)系的角度，分布式數(shù)據(jù)中心機房及基礎(chǔ)設(shè)施運行管理可作為運維門戶的子模塊與統(tǒng)一權(quán)限平臺進行集成，亦可作為系統(tǒng)平臺獨立部署，對數(shù)據(jù)中心機房及基礎(chǔ)設(shè)施運行管理進行用戶、角色、權(quán)限的統(tǒng)一管理。與電力監(jiān)控子系統(tǒng)、暖通監(jiān)控子系統(tǒng)、機房環(huán)境監(jiān)控子系統(tǒng)、視頻門禁監(jiān)控子系統(tǒng)以及消防報警子系統(tǒng)進行集成，通過采集接口采集各類基礎(chǔ)設(shè)施運行數(shù)據(jù)和告警數(shù)據(jù)。

在總體架構(gòu)關(guān)系中，業(yè)務(wù)架構(gòu)從業(yè)務(wù)角度對分布式數(shù)據(jù)中心機房及基礎(chǔ)設(shè)施的運行和管理等業(yè)務(wù)進行精細化、總結(jié)化，形成完整的業(yè)務(wù)能力即視圖，為應(yīng)用和數(shù)據(jù)的架構(gòu)提供業(yè)務(wù)邏輯輸入。應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)都基于業(yè)務(wù)架構(gòu)，從系統(tǒng)的應(yīng)用功能角度來定義功能的種類、應(yīng)用功能模塊的劃分和應(yīng)用的分布，組成了分布式數(shù)據(jù)中心機房及基礎(chǔ)設(shè)施運行管理的應(yīng)用架構(gòu)輪廓圖。從支撐業(yè)務(wù)數(shù)據(jù)的角度對應(yīng)用數(shù)據(jù)模型、分類、存儲以及流轉(zhuǎn)等方面進行規(guī)劃設(shè)計。從技術(shù)原理實現(xiàn)的角度定義系統(tǒng)的各個組件的集成方式、部署方式以及關(guān)聯(lián)關(guān)系。

3 架構(gòu)及功能設(shè)計思路

3.1 總體結(jié)構(gòu)設(shè)計

“分布式”數(shù)據(jù)中心采用“中心站+分支站”的運維模式，通過構(gòu)建綜合運維平臺實現(xiàn)“中心站”的統(tǒng)一監(jiān)控和“分支站”的分層運維管理，并可實現(xiàn)的數(shù)據(jù)共享，在應(yīng)急情況處理時，其他“站點”的管理人員也可以實時掌握信息。針對“中心站”數(shù)據(jù)中心，可將所有數(shù)據(jù)都匯總到中心站的支撐平臺上進行統(tǒng)一管理、集中展示;而各個“分支站”的數(shù)據(jù)中心可進行獨立的運維管控。

本方案采用Vertx 全異步式框架構(gòu)建分布式數(shù)據(jù)中心統(tǒng)一運營支撐管理系統(tǒng)，適合物聯(lián)網(wǎng)、分布式應(yīng)用的海量設(shè)備接入。其次Vertx 也是微服務(wù)架構(gòu)，可匹配國網(wǎng)微服務(wù)開發(fā)架構(gòu)，方便和其他系統(tǒng)實現(xiàn)對接與集成。數(shù)據(jù)庫采用開源的PostgreSQL，PostgreSQL是功能最全面的數(shù)據(jù)庫，在集群方面有開箱即用的解決方案，數(shù)據(jù)庫的擴展能力強，通過Extension 可以實現(xiàn)未來的各種高階應(yīng)用（如OLAP 數(shù)據(jù)分析，GIS 地理位置等）。為實現(xiàn)海量設(shè)備和海量數(shù)據(jù)的接入，硬件資源采用物理服務(wù)器方式，并配置SSD 固態(tài)硬盤做數(shù)據(jù)加速，便于數(shù)據(jù)的邊緣計算、數(shù)據(jù)分析的應(yīng)用。面向復(fù)雜SQL 處理的OLTP 在線事務(wù)處理場景，支持NoSQL 數(shù)據(jù)類型（JSON/XML/hstore），支持GIS 地理信息處理，適用于互聯(lián)網(wǎng)、位置應(yīng)用系統(tǒng)、復(fù)雜數(shù)據(jù)對象處理等應(yīng)用場景。同時可以配合分布式集群軟件，做讀寫分離、負載均衡、數(shù)據(jù)拆分等方案，實現(xiàn)數(shù)據(jù)的快速讀取，支撐各類系統(tǒng)的大數(shù)據(jù)應(yīng)用及分析計算的要求。

3.2 功能模塊設(shè)計

3.3 基礎(chǔ)設(shè)施數(shù)據(jù)采集、監(jiān)控運維

基礎(chǔ)設(shè)施運行數(shù)據(jù)采集主要包含電力設(shè)備的運行數(shù)據(jù)采集、暖通設(shè)備狀態(tài)采集、弱電設(shè)運行數(shù)據(jù)采集、消防設(shè)備運行數(shù)據(jù)采集、機房環(huán)境設(shè)備運行數(shù)據(jù)采集、傳感器設(shè)備運行數(shù)據(jù)采集。利用各“站點”數(shù)據(jù)中心內(nèi)的采集傳感器設(shè)備對機房內(nèi)基礎(chǔ)設(shè)施運行數(shù)據(jù)進行采集。通過數(shù)據(jù)采集實現(xiàn)提供機房基礎(chǔ)設(shè)施管理和能效策略的數(shù)據(jù)基礎(chǔ)。

基礎(chǔ)設(shè)施運維管理是進行基礎(chǔ)設(shè)施狀態(tài)和運行的監(jiān)控，以及機房日常的巡檢、檢修工作，包括電力設(shè)備監(jiān)控、暖通設(shè)備監(jiān)控、給排水設(shè)備監(jiān)控、弱電設(shè)備監(jiān)控、環(huán)境設(shè)備監(jiān)控、消防設(shè)備監(jiān)控?；跀?shù)據(jù)采集基礎(chǔ)上，對異常設(shè)備發(fā)出告警，并進行檢修工作。基于采集的基礎(chǔ)設(shè)施監(jiān)控以及運行數(shù)據(jù)，利用統(tǒng)一支撐平臺實現(xiàn)分布式數(shù)據(jù)中心的綜合運維管控，包括基礎(chǔ)設(shè)施運行狀態(tài)監(jiān)控、基礎(chǔ)設(shè)施運行告警、臺賬管理、可視化展示、設(shè)備巡視同質(zhì)化管理、設(shè)備檢修同質(zhì)化管理、應(yīng)急演練同質(zhì)化管理等。

3.4 機房能效策略及可視化

機房能效策略研究是基于機房基礎(chǔ)設(shè)施運行數(shù)據(jù)采集和運維管理的基礎(chǔ)之上。通過對設(shè)施監(jiān)控數(shù)據(jù)的采集及日常運行管理工作，構(gòu)建能耗模型（總體能耗模型、單設(shè)備能耗模型、PUE模型、pPUE模型、影響分析模型、IT聯(lián)動模型、節(jié)能控制模型等），利用統(tǒng)一的支撐平臺結(jié)合大數(shù)據(jù)分析技術(shù)，結(jié)合模型計算各機房能耗及PUE值并進行智能分析，給出機房能效優(yōu)化和改進策略，并根據(jù)策略實現(xiàn)對機房能耗的控制。

總體能耗監(jiān)測：系統(tǒng)自動進行采集相關(guān)數(shù)據(jù)，并進行總體能耗計算。

分項能耗計算：自動收集并計算IT用電量、空調(diào)設(shè)備用電量、配電設(shè)備用電量等分項能耗數(shù)據(jù)，以量化的方式展示分項能耗的數(shù)據(jù)，掌握能耗的實時信息、發(fā)掘節(jié)能降耗的切入點以比對分析降低能耗的差異性。

PUE計算：按一年時間采集及統(tǒng)計數(shù)據(jù)中心總耗電、IT設(shè)備耗電。計算公式：PUE=數(shù)據(jù)中心總耗電/IT設(shè)備耗電。

實時PUE計算：能效指標的數(shù)值受機房環(huán)境、設(shè)備性能等各種因素的影響。故采用固定儀表進行實時測量，根據(jù)電量數(shù)值計算實時PUE，并采用自動化測量和記錄。計算公式：實時PUE=數(shù)據(jù)中心總功率/IT設(shè)備功率。

pPUE計算：局部范圍的PUE適合用于基于冷通道、微模塊等單元型構(gòu)建的模塊化數(shù)據(jù)中心。計算公式：pPUE=局部機房總用電/局部機房IT設(shè)備用電。

CLF計算：系統(tǒng)將收集的數(shù)據(jù)，通過公式計算得出CLF值。計算公式：CLF=制冷設(shè)備耗電/IT設(shè)備耗電。

PLF計算：系統(tǒng)將收集的數(shù)據(jù)，通過公式計算得出PLF值。計算公式：PLF=供配電系統(tǒng)耗電/IT設(shè)備耗電。

數(shù)據(jù)機房設(shè)施可視化利用了數(shù)字孿生技術(shù)，將分布式數(shù)據(jù)中心的實體基礎(chǔ)設(shè)施在數(shù)字空間中構(gòu)建出來，并根據(jù)模型辨識和算法設(shè)計來對基礎(chǔ)設(shè)施的特性、關(guān)系、參數(shù)、指令等進行描述和管理，包括數(shù)據(jù)中心的3D建模、設(shè)備空間分配模型、機房溫度場模型等。通過數(shù)字孿生技術(shù)，運用模型構(gòu)建和算法設(shè)計，將分布式數(shù)據(jù)中心的基礎(chǔ)設(shè)施運維管理數(shù)字化。

3.5 分布式數(shù)據(jù)中心資源調(diào)度和控制

通過云端分布式數(shù)據(jù)中心運營支撐管理系統(tǒng)對各分布機房的設(shè)施運行狀態(tài)以及監(jiān)控告警進行分析，對城市各區(qū)域的機房運維負責(zé)人、運維專員等進行綜合調(diào)度，遵循告警及時發(fā)現(xiàn)、故障及時處理、工單及時關(guān)閉的機房運維策略，通過對運維工單、人員的綜合調(diào)度實現(xiàn)分布式數(shù)據(jù)中心的安全運行。

利用平臺對各站點數(shù)據(jù)中心的基礎(chǔ)設(shè)施進行遠程操控，實現(xiàn)日常的設(shè)備簡單操作，例如門禁遠程授權(quán)、設(shè)備遠程調(diào)節(jié)、重啟等。通過遠程控制的手段解決一些日常的運維管理問題，為機房運維工作提供便捷，提高效率。

4 總結(jié)

通過基Vertx 全異步式框架的分布式數(shù)據(jù)中心統(tǒng)一運營支撐管理平臺建設(shè)，實現(xiàn)分布式數(shù)據(jù)機房的集中運維與管理?；跀?shù)據(jù)機房基礎(chǔ)設(shè)施與資源的數(shù)據(jù)采集和運行監(jiān)控，實時掌握各機房設(shè)施運行狀態(tài)以及資源使用情況。對數(shù)據(jù)機房能耗和PUE進行分析，給出機房能效優(yōu)化和改進策略。對各分布站點的資源使用情況以及故障工單處置情況進行計算分析，實現(xiàn)數(shù)據(jù)中心資源的靈活調(diào)度和遠程控制。

通過建設(shè)分布式數(shù)據(jù)中心運營支撐管理平臺，實現(xiàn)數(shù)據(jù)中心機房基礎(chǔ)設(shè)施（供配電、制冷、弱電、防雷、安防、消防、機房等）運行指數(shù)據(jù)的實時采集、分析和展示，對數(shù)據(jù)中心運營情況、能耗利用等優(yōu)化提供指導(dǎo)參考，進一步提升數(shù)據(jù)中心運營自動化、智能化水平。

參考文獻：

[1] 姚宗國，李金屏.兩級分布式數(shù)據(jù)中心的設(shè)計和實現(xiàn)[J].濟南大學(xué)學(xué)報（自然科學(xué)版），2008，22（4）：384-387.

[2] 冷迪.一種分布式數(shù)據(jù)中心管理系統(tǒng)[發(fā)明專利]：CN111355788A[P].2020-06-30.

[3] 田兆楠.一種分布式數(shù)據(jù)中心鏈路監(jiān)控方法及系統(tǒng)[發(fā)明專利]：CN109981377A[P].20190705.

[4] 劉正偉，呂廣杰，朱波.一種分布式數(shù)據(jù)中心云管理平臺架構(gòu)系統(tǒng)及方法[發(fā)明專利]：CN104158879B[P].2018-02-23.

[5] 張艷麗.分布式數(shù)據(jù)中心可生存性及性能優(yōu)化算法研究[D].成都：電子科技大學(xué)，2015.

[6] 張鵬.分布式數(shù)據(jù)中心 讓IT資源利用“最大化”[J].通信世界，2013（23）：48.

[7] 季瑩.ZStack——云行業(yè)的“Windows”[J].網(wǎng)絡(luò)安全和信息化，2019（3）：8-9.

[8] 趙建邦.HID：VertX門禁系統(tǒng)完美應(yīng)用于高校[J].中國公共安全，2014（S2）：138-139.

[9] 艾勇.IDC機房能耗分析及優(yōu)化策略[J].中國電子商務(wù)，2013（18）：22-23.

[10] 陳朝學(xué).數(shù)據(jù)中心機房節(jié)能策略[J].科技信息，2008（29）：83-84.

收稿日期：2021-08-11

作者簡介：陸宏波（1984—），男，安徽舒城人，中級，主要研究方向為IT運營和運維業(yè)務(wù)。