中國移動IT云資源池自動化部署技術應用及問題分析

孫翠鋒，胡建村，張 琳

（中國移動通信集團信息技術中心，北京 100037）

0 引言

云計算（Cloud Computing）也可以稱作為網絡計算，是屬于互聯網計算方式的一種計算方式，基于此方法，能夠使共享的軟硬件資源和信息按相關的需求傳輸給計算機終端以及其他設備，運用服務商所提供的電腦設備作為計算資源[1]。其最大的特征主要體現為高性能、低成本、可平滑擴展等。云計算為IT技術發(fā)展提供了新的技術手段和業(yè)務模式，這不僅可以更好地降低企業(yè)的維護建設與成本，也為企業(yè)技術、業(yè)務和管理創(chuàng)新帶來了新的契機[2]。本文研究大規(guī)模云資源池建設部署的自動化部署技術，并對問題進行分析探討。

1 中國移動IT云概述

隨著中國移動集團公司信息技術中心（以下簡稱IT中心）的成立，中國移動一級IT云相關建設、運營及維護進度不斷加快。IT云資源池依照“扁平化架構、多點多活”，逐步形成“一云多中心”布局，推動全網IT能力整合，面向公司內部IT系統(tǒng)提供基礎設施云服務，承載內部各單位IT系統(tǒng)。

1.1 中國移動IT云資源池架構

中國移動IT云平臺遵循OpenStack標準建設，IT云計算平臺由云資源管理平臺和一個或多個資源池系統(tǒng)組成，云資源管理平臺包含多個遠端資源管理模塊。

1.1.1 云資源池管理平臺

云資源池管理平臺負責IT云計算各種資源及服務管理，云資源管理平臺支持OpenStack標準接口，同時通過與資源池系統(tǒng)之間的資源服務接口下發(fā)資源管理指令[3-4]。

1.1.2 資源池系統(tǒng)

資源池系統(tǒng)由遠端資源管理模塊和提供IT基礎資源的各類系統(tǒng)軟件或設備組成，資源池系統(tǒng)遵循OpenStack標準架構建設，資源池系統(tǒng)通過虛擬化和分布式集群等技術構建各種類型的IT資源，這些資源具有彈性供給和高可擴展的特點，通過遠端資源管理模塊實現基本的屬地運維[5]。為實現對多資源池大規(guī)模資源的管理，增強資源池的可靠性和規(guī)模，每個資源池系統(tǒng)由一個或一個以上資源池節(jié)點組成，每個資源池節(jié)點內包含多個POD。

（1）資源池節(jié)點：考慮機房局址等實際情況，分為多個物理/邏輯區(qū)域；擁有獨立的數據中心基礎設施及網絡出口，任意一個資源池節(jié)點失效不會影響其他資源池節(jié)點的正常工作。資源池節(jié)點之間采用高速低延遲方式連接，保證分區(qū)之間的通信通暢。

（2）POD：資源池節(jié)點由多個最小交付單元（POD）組成。每個POD是以一組核心交換機為單位的建設單元，包含約1000～3000臺萬兆/25G服務器；POD之間通過二層或三層組網技術實現水平擴展，可達到數萬臺服務器規(guī)模。

按照部署服務器的類型不同，分為業(yè)務POD和存儲POD。業(yè)務POD內部署計算節(jié)點服務器，采用SDN組網，每個POD單獨部署OpenStack模塊、SDN控制器和SDN轉發(fā)設備[6-7]。

1.2 資源池中網絡部署SDN技術

SDN（Software Defined Network，軟件定義網絡）是一種新型網絡創(chuàng)新架構，其核心思想是將網絡設備的控制層面與轉發(fā)層面分離，這樣可以有效地控制網絡流量，從而為其創(chuàng)新提供相應的平臺。SDN主要好處如下。

（1）面向業(yè)務：能夠輕松地集成計算功能，實現對資源的合理管理和維護。因此，網絡和業(yè)務目標保持一致[8]。

（2）可定制：每位開發(fā)者都可以編寫靈活使用網絡和操作的軟件。

（3）更加敏捷：不需等待廠商進一步提供服務，用戶就可以快速地獲取所需的功能。根據業(yè)務需求進行部署，快速上線服務。

（4）更簡單：整個IT工作狀態(tài)可以由一個控制點來管理。由于可以實現網絡的自動配置，從而降低了人工配置數量；對于Openflow的SDN解決方案是一個公開的標準方法，這樣就可以為不同的供應商提供一個開放的市場。

2 IT云建設部署過程中面臨的問題

2.1 建設規(guī)模大造成交付壓力大

一級IT云在建設過程中采用模塊化建設思路，每個POD作為一個獨立建設模塊。每個POD內計算節(jié)點規(guī)模上千臺，采用資源混編的構建方式，在一個POD內采用計算+存儲、虛擬化+裸金屬、應用+數據庫混合部署形態(tài)，以就近訪問降低時延，提升整體性能。每期工程單POD建設規(guī)模大，涉及廠商多，設備類型多，設備初始化要求參數不同，連線多，工期短，對建設要求質量高，整體交付壓力大。在進行硬件集成初始化時，單個POD需要持續(xù)一周多，多個POD更加耗時。隨著IT云的不斷建設，每年幾十個資源池擴容或新建，上萬臺服務器的硬件集成要求2周完成，交付要求時間緊張，交付壓力大。采用自動化部署技術可提升設備的初始化工作效率，能夠有效提高IT云資源池建設的交付速度。

2.2 設備眾多造成集成難度大

隨著IT系統(tǒng)云化轉型步伐加快，云資源池架構也向多層解耦方向演進。造成每期IT云資源池建設硬件集成涉及十多類網絡安全設備，服務器廠商四五家。云資源池架構帶來大量跨廠商互操作和集成工作[9]。

另外，隨著IT云多年的建設，硬件配置差異大，單純依靠廠商無法實現云集成自動化。廠商自動化工具通常只能兼容自身產品，無法跨廠商互操作，從而無法依靠一個設備廠商實現多廠商的自動化部署。

在資源池建設中設定的技術標準/規(guī)范無法實現徹底的多廠商解耦。以相關規(guī)范為例，在某些情況下只規(guī)定產品具備的功能和接口方式，而諸如虛擬層和分布式存儲產品之間大量對接等多廠商對接過程中的具體配置、私有接口對接等仍然需要集成解決。

2.3 傳統(tǒng)部署工作效率低、交互體驗差

設備建設規(guī)模大、廠商多，設備類型多，設備初始化要求參數不同，集成工作難度大，硬集設備初始化工作依靠廠商各自的自動化部署工具，帶來巨大部署工作量，需要工程師使用各個廠商提供的自動化部署工具，根據不同廠家、設備型號、不同版本使用不同的工具。版本更新導致頻繁的版本適配，工作量巨大，效率低，傳統(tǒng)部署手段使現場工程師部署工作煩瑣、工作量巨大，效率低，交互體驗差[10]。為了提升硬集集成效率，需要一種可對眾多的設備進行指令批量下發(fā)的自動化部署工具。

3 自動化部署平臺應用實踐

3.1 技術體系

本文所研究的自動化部署工具的主要技術體系如下：①構建一套一體化數據采集體系，實現對多廠家不同設備不同為維度的數據進行采集；②設計一套圖形化的編排引擎，支撐可視化可靈活拖曳的預案流程配置；③通過圖形化的編排完成各節(jié)點的腳本設置，實現預案配置；④設計執(zhí)行預案的任務調度機制，實現預案的自動化執(zhí)行；⑤建立應用場景模型，實現預案的自動化執(zhí)行。

3.2 應用場景

自動化部署平臺主要應用于IT云資源池設備自動化部署。①IT云資源池設備配置參數的初始化，通過該平臺實現不同廠家不同設備配置參數的初始化，有效提升硬件集成效率。②IT云資源池網絡、安全設備基礎配置參數設置：通過該平臺實現不同廠家IT云資源池網絡、安全設備基礎配置參數設置，有效地提升硬件集成效率。

3.3 應用效果

以單個POD節(jié)點為例，傳統(tǒng)部署方式，完成設備初始化配置，需要2周左右，通過自動化部署工具，能夠在3天左右完成配置工作，大大提高建設效率。應用實踐證明，在大規(guī)模云計算基礎設施建設中，通過自動化部署技術，以可視化方式部署向導，能夠自動化實現服務器、網絡設備初始化配置，從而減少人為操作造成的錯誤，提升云計算基礎設施建設效率。

4 應用前景

4.1 市場預測

中國移動已經對云計算技術進行了長時間的跟蹤及研究，通過云計算技術可以降低系統(tǒng)建設和運營成本，提高資源利用效率和信息處理能力，同時，采用云計算技術實現業(yè)務和服務創(chuàng)新，有助于提高市場占有率，增強企業(yè)核心競爭力。

中國移動通過“建設成本最低、維護成本最低、運營成本最低、企業(yè)價值最高”來打造低成本高效運營的電信運營管理體系，通過建設集中化、標準化、信息化的系統(tǒng)，不斷提升工作效率和能力，從而實現在全球范圍內成為最優(yōu)秀的、最卓越的公司。通過云計算技術建設內部IT系統(tǒng)資源池是推動集中化、降低建設成本、提高運維效率的一個重要手段。

目前在建的各IT云資源池工程在滿足集團、IT中心、專業(yè)公司及省公司相關IT資源需求的基礎上仍有較大資源缺口。為進一步滿足各單位對IT云區(qū)域中心資源池的資源使用需求，后續(xù)會不斷進行IT資源池建設?？蓪⒈疚难芯砍晒M行落地，在區(qū)域IT資源池建設中提升交付效率[11]。

4.2 應用前景分析

自動化部署工具，通過統(tǒng)一的Web入口進行工具選擇、參數配置，便于管理；配置參數通過模板實現，避免單臺修改，降低錯誤率；通過圖形化編排引擎完成可視化預案流程配置，完成各節(jié)點的腳本配置，操作簡易，根據使用說明快速上手。根據中移IT云硬件集成規(guī)范，針對網絡設備，服務器等的配置形成標準配置，適用于所有IT云資源池建設要求，后續(xù)可以支撐各地IT云資源池建設，進行推廣應用，提升硬件集成的工作效率。針對當前市場主流自動化部署工具，本文所研究的自動化部署工具優(yōu)勢如下。

（1）充分結合中國移動IT云建設過程中對設備初始化的業(yè)務特性，貼合實際用戶場景需求。

（2）針對云資源池硬件集成的要求，進行硬件集成標準化，形成標準化硬件集成規(guī)范。

（3）構建一體化數據采集體系，實現多設備多維度數據采集。

（4）設計圖形化編排引擎，支持可視化預案流程配置。

（5）通過圖形化預案的任務調度機制，實現預案的自動化執(zhí)行。

（6）針對各配置或硬件設備的特點，基于開源組件開發(fā)部署工具，支持標準化、批量自動化部署，具有可移植，可擴展的特點。

（7）硬件集成工具具有統(tǒng)一的Web管理入口，操作簡單，提供圖形化的流程引擎、實施人員可以通過拖曳的方式，完成預案流程的配置，具有良好的交互體驗。

（8）配置參數通過模板實現，避免單臺修改，降低錯誤率。

（9）針對各配置或硬件設備的特點，開發(fā)集成工具，支持標準化批量安裝和部署。

本文研究的自動化部署平臺具備很強的競爭優(yōu)勢，有望成為該領域的標志性產品。

5 結束語

在中國移動IT云規(guī)劃期內，IT云將優(yōu)化資源布局，結合地域情況、數據中心布局及建設進度，進一步推動全網IT云資源池集中共享，最終實現IT云規(guī)劃“區(qū)域節(jié)點+省節(jié)點”布局，承載全網各單位IT系統(tǒng)，支撐IT系統(tǒng)集中化。為解決當前IT云建設部署過程中存在的問題，并結合當前業(yè)務，本文研究開發(fā)了一套完善的云資源池設備配置初始化自動化部署系統(tǒng)，具備根據標準配置方案進行批量自動推送安裝的功能，具備巡檢比對功能，可形成檢查日志；通過硬件集成規(guī)范和硬件集成工具，減少部署和運維人力投入。

基于自動化部署技術的研究，隨著IT云的繼續(xù)建設擴容，在建設中進行落地推廣使用，并繼續(xù)對工具進行優(yōu)化，簡化操作配置流程，優(yōu)化圖形界面。該工具將有助于進一步擴大中國移動云計算的應用范圍、推動中國移動自有IT系統(tǒng)向IT云資源池遷移，對于加快云計算技術在中國移動的應用落地，加快集中化建設步伐，從根本上增強企業(yè)的核心競爭力，有著重要的意義。■