中國移動IT云數(shù)據中心數(shù)智化運維的探索與實踐

阮前 劉虹 滕濱 張晨

【摘要】? ? 中國移動IT云是中國移動內部私有云，承載著中國移動集團內各單位業(yè)務系統(tǒng)，是中國移動智慧中臺的底座，目前已形成“一云多中心”格局，已建設十幾萬臺服務器規(guī)模。中國移動IT云數(shù)據中心數(shù)智化運維是通過集成三維可視化、3D建模和視頻監(jiān)控等技術，將數(shù)據中心機房的三維高精度模型、設備屬性、設備實時數(shù)據和生產運維數(shù)據融合，結合AI圖像識別、機器人巡檢和AR智能運維能力，實現(xiàn)數(shù)據中心機房的遠程控制管理，提高數(shù)據中心運維管理效率，實現(xiàn)企業(yè)的智能化與精細化管理。本文從實際出發(fā)，探討了數(shù)據中心數(shù)智化運維管理模式，通過“3D可視、監(jiān)控大屏、AI能力、AR協(xié)助”等方面的實踐與模式創(chuàng)新，有效提高數(shù)據中心精益運維管理水平，具有較高的推廣價值。

【關鍵詞】? ? 數(shù)據中心? ? 數(shù)字孿生? ? 可視化? ? 智能運維

引言：

隨著中國移動IT云規(guī)模不斷擴大，各區(qū)域中心資源池陸續(xù)建成投產，總部與各省公司兩級協(xié)同運維管理機制建立并落地實施，各地數(shù)據中心機房與設備量持續(xù)增加，協(xié)同工作要求越來越高，對安全性、可用性和運維管理的要求也是越來越高，使得各地數(shù)據中心運維管理工作變得越來越重要。同時，隨著數(shù)據中心機房智能化建設，各地數(shù)據中心缺乏統(tǒng)一規(guī)劃，機房管理成本高、難度大、流程不統(tǒng)一等諸多問題與挑戰(zhàn)，具體表現(xiàn)在以下方面：

（一）數(shù)據中心機房局址分散、遠程協(xié)作困難等問題日益凸顯，運維人員難以宏觀、快速掌控機房機柜容量情況，借助設計圖紙無法保證與實際數(shù)據相一致，現(xiàn)場勘察則需要耗費大量時間成本、效率低下，設備上架前期如何實現(xiàn)快速及準確的定位各種問題將是亟需解決的難題。

（二）IT云資源池設備數(shù)量龐大，且種類繁多，沿用傳統(tǒng)人工方式進行如此大規(guī)模資產盤點，不僅人力成本高，且存在人為差錯、難以保證數(shù)據準確性，日常巡檢過程也難以及時掌握設備變化，進而影響運維工作的開展。

（三）傳統(tǒng)數(shù)據中心安防手段只能做到“可見但不可管”，臨時訪客進入機房需要自有人員隨行監(jiān)管，在數(shù)據中心規(guī)模以幾何基數(shù)增長的當下，人工維護方式已經無法適應快速迭代的業(yè)務需求。

現(xiàn)階段數(shù)據中心運維能力大部分集中于傳統(tǒng)動力環(huán)境管理或操作系統(tǒng)層以上管理，對于機房物理環(huán)境和機房人員的管理手段仍然是空白。為打造中國移動精品IT云，夯實智慧中臺底座，助力中國移動智慧中臺能力建設發(fā)展，賦能公司數(shù)智化轉型，中國移動信息技術中心依托5G、AR、數(shù)字孿生、人工智能等關鍵技術構建數(shù)據中心數(shù)智化運維能力，提升大規(guī)模、多局址數(shù)據中心的統(tǒng)一管理，提高IT云資源池維護質量和效率，為各級運營運維人員提供集資產、告警、性能、監(jiān)控等數(shù)據為一體的自動化、可視化、智能化數(shù)據中心精細管理能力支撐。

一、可視化運維平臺建設

數(shù)據中心可視化能力，通過3D可視化能力，實現(xiàn)數(shù)據中心機房設備的可視化納管。利用物聯(lián)網技術、數(shù)字孿生技術、三維可視化技術，對機房靜態(tài)信息、動態(tài)信息在數(shù)據中心可視化平臺上進行物聯(lián)感知操控和全要素數(shù)字化表達，有效解決了機房局址分散、遠程協(xié)作困難和海量數(shù)據管理凌亂等問題，實現(xiàn)全景態(tài)勢感知、業(yè)務分級告警、問題及時定位。

可視化運維平臺統(tǒng)一集成現(xiàn)有的數(shù)據中心動環(huán)、視頻監(jiān)控、資源配置、告警、性能數(shù)據，通過3D技術實現(xiàn)基于三維空間對數(shù)據中心、機柜和各類設備的管理功能，實現(xiàn)所有資產對象的管理及相關監(jiān)控信息整合展示，讓相關管理人員清晰直觀的掌握IT運營中的有效信息，實現(xiàn)透明化與可視化的管理，構建數(shù)據中心環(huán)境、設備和管理信息的一體化與可視化管理能力。

可視化平臺平臺還專門打造從一級IT云-數(shù)據中心-機房三級主題精益管理大屏，以Cloud Native 12 factor作為頂層設計準則，使用標準化流程自動配置開發(fā)，和操作系統(tǒng)之間盡可能的劃清界限，具備強大的可移植性。精益管理大屏非常適合部署在現(xiàn)代云計算平臺或可使用虛擬機實現(xiàn)系統(tǒng)功能，從而在服務器和系統(tǒng)管理方面節(jié)省資源，將開發(fā)環(huán)境和生產環(huán)境的差異降至最低，可以在工具、架構和開發(fā)流程不發(fā)生明顯變化的前提下快速實現(xiàn)擴展。

二、機房智能化管理場景應用

依托數(shù)據中心可視化運維平臺，實時對接全量性能、告警等生產數(shù)據，隨時監(jiān)控設備運行情況，通過軟件模型實時更新，保證模擬數(shù)據和真實設備狀態(tài)數(shù)據一致，實現(xiàn)機房設備真實運行情況的實時監(jiān)控，實現(xiàn)生產監(jiān)控的一體化、精細化管理，然后通過監(jiān)控模塊，設定監(jiān)控屬性預警閾值和告警等級，實現(xiàn)不同等級的告警展示，顯示詳細的預警信息;通過位置，實現(xiàn)視角定位，實現(xiàn)告警可視化管理與定位。

（一）智能監(jiān)控：以業(yè)務數(shù)據的可讀、可識、可展示為基礎，配以專業(yè)可視化美學效果設計，提升大屏整體美感;業(yè)務數(shù)據可視化展示方面，通過多種可視化展現(xiàn)形式，支持視頻、音頻流接入等進行數(shù)據有效完善展示。

（二）自動巡檢：通過智能機器人規(guī)劃路線自動行走，按設計場景進行自動巡檢，完成溫度、濕度和告警等數(shù)據的收集，將采集圖像與上次采集圖像進行比對，判斷相同U位是否增加、缺少或者更換設備，實現(xiàn)設備異常檢測。通過紅外攝像頭采集機柜設備溫度狀態(tài)，對于溫度異常位置發(fā)出告警，填補機房動環(huán)監(jiān)控死角。

（三）資產盤點：通過智能機器人前端采集機柜設備圖像，通過AI圖像識別算法自動獲取設備U位、設備類型、品牌型號等信息，并與自動掃描設備二維碼標簽獲取的資產信息進行對比，判斷機架設備是否與系統(tǒng)庫存設備一致，以完成資產自動盤點檢查。

（四）智能安防：采用深度學習的人臉特征分析算法提取出人臉特征向量，進行人臉識別;采用端到端的目標檢測算法YOLO-v3結合機房實際數(shù)據進行優(yōu)化訓練，實現(xiàn)對機房內目標物品進行檢測;使用Yolo算法檢測人員位置，并使用DeepSort算法勾畫人員運動軌跡，從而判斷人員是否進入敏感區(qū)域，當進入到敏感區(qū)域后則進行告警，實現(xiàn)電子圍欄功能;使用openpose肢體識別庫對人體18個特征點進行提取，將提取出的特征點送入ST-GCN算法中進行動作識別，判斷人員行為是否為危險動作，當發(fā)生危險動作則及時告警。

三、AR云智能運維能力研究

傳統(tǒng)的設備巡檢模式下企業(yè)面臨高昂的人力資源成本和員工培訓成本，原廠專家維護費用以及相應差旅成本高?；贏R增強現(xiàn)實能力，輔助專家遠程連接運維現(xiàn)場，指導一線運維人員解決問題。

遠程專家可基于該AR智能遠程巡檢平臺獲得故障現(xiàn)場視覺，通過比對現(xiàn)場和后端數(shù)據，在虛擬“故障機體”中精確標注出需要更換的配件位置，發(fā)至AR現(xiàn)場與真實故障機體重合從而指導完成處理故障。降低了對現(xiàn)場人員的技能要求，提升廠區(qū)巡檢效率，節(jié)約了成本。

AR智能遠程巡檢提供完整的巡檢方案，巡檢工作人員帶上專用AR眼鏡+語音錄入，AR掃到機器后會浮現(xiàn)操作欄，遠程獲取巡檢任務、機柜信息、硬件信息等。現(xiàn)場巡檢工作人員可以運用手勢，進行現(xiàn)實與虛擬交互操作。采用語音設備，和后端技術專家進行交流和獲得專家指導?；谝粢曨l的前后方溝通，后方遠程專家還可以基于AR眼鏡與后臺系統(tǒng)的信息交互獲得故障現(xiàn)場視覺，還可以實現(xiàn)基于白板的圖像共享操作。運維人員遇到技術問題時與后臺遠程專家實時協(xié)助交互，同時低時延可以大幅提升工人佩戴眼鏡的舒適度，降低工人使用時的眩暈感。

中國移動IT云數(shù)據中心數(shù)智化運維能力，經過這幾年的探索與實踐，運維能力不斷迭代完善，機房、設備、故障、性能、資源綜合管理能力逐漸體系化，實現(xiàn)了設備運維管理流程化、動環(huán)監(jiān)測數(shù)據標準化、維護作業(yè)工作自動化，借助AI實現(xiàn)機房的可管、可視和可控，達到精細化運維，借助其運用與推廣，強化運維管理能力，支撐企業(yè)發(fā)展，是行業(yè)市場競爭的需要，更是企業(yè)自身發(fā)展的需要。

作者單位：阮前? ? 劉虹? ? 滕濱? ? 張晨? ? 中國移動通信集團信息技術中心

參? 考? 文? 獻

[1]劉高升.知識自動化助力產品全生命周期管理[J].清華管理評論，2020，（11）.

[2]陳冬生.基于產品全壽命周期的航空制造企業(yè)質量知識管理初探[J].經濟師，2021，（2）：34.

[3]陶飛，張賀，戚慶，林張萌，劉蔚然，程江峰，馬昕，張連超，薛瑞娟.數(shù)字孿生十問：分析與思考[J].計算機集成制造系統(tǒng)，2020（1）：1-17

[4]吳險峰.開拓創(chuàng)新，砥礪前行，建設銀行數(shù)據中心與時代共進[J].中國金融電腦，2020，（11）.