電信DevOps探索與實(shí)踐

1 引言

伴隨著電信運(yùn)營商IT系統(tǒng)演進(jìn)，電信IT運(yùn)營經(jīng)歷了三個階段:在90年代，企業(yè)缺乏統(tǒng)一IT部門，IT系統(tǒng)建設(shè)分散在不同部門，造成IT系統(tǒng)重復(fù)建設(shè)和信息孤島。IT運(yùn)營管理采用“誰建設(shè)誰運(yùn)維”模式，日常運(yùn)維工作幾乎都是忙于處理故障、被動救火；進(jìn)入20世紀(jì)之后，集團(tuán)與各省公司相繼成立企業(yè)信息化部，負(fù)責(zé)IT系統(tǒng)規(guī)劃和規(guī)范編制，企業(yè)進(jìn)入IT系統(tǒng)大規(guī)模建設(shè)時期，逐步引入ITIL運(yùn)維流程思想，開始編制電信運(yùn)維規(guī)范，建設(shè)IT運(yùn)營體系；2009年后，企業(yè)進(jìn)行IT運(yùn)營工具平臺建設(shè)，包括服務(wù)臺、IT流程平臺、IT監(jiān)控系統(tǒng)等，實(shí)現(xiàn)IT運(yùn)營支撐的電子化和自動化，監(jiān)控內(nèi)容由點(diǎn)及面。

隨著互聯(lián)網(wǎng)化和信息技術(shù)革命，當(dāng)前企業(yè)內(nèi)外部環(huán)境發(fā)生劇烈變化。企業(yè)提出了從“三者”到“三化”戰(zhàn)略轉(zhuǎn)型，業(yè)務(wù)從互聯(lián)網(wǎng)到移動互聯(lián)網(wǎng)，作為企業(yè)核心能力的IT系統(tǒng)也逐步向“平臺+應(yīng)用”的智慧運(yùn)營方面轉(zhuǎn)型，強(qiáng)調(diào)掌握核心能力和自主研發(fā)。表現(xiàn)在IT運(yùn)營上的主要特征為IT應(yīng)用智能化和應(yīng)用軟件云化、微服務(wù)化、生態(tài)開源等特征。因此電信IT系統(tǒng)運(yùn)營面臨的主要問題是追求IT運(yùn)營效率與傳統(tǒng)運(yùn)營流程僵化的矛盾、互聯(lián)網(wǎng)高頻應(yīng)用發(fā)布與系統(tǒng)穩(wěn)定性要求的矛盾，開源生態(tài)下自主研發(fā)與傳統(tǒng)深度依賴供應(yīng)商的矛盾、傳統(tǒng)單體應(yīng)用與微服務(wù)化改造之間的矛盾等。

為了適應(yīng)企業(yè)IT運(yùn)維營管理模式變革，實(shí)現(xiàn)從傳統(tǒng)IT運(yùn)營走向智慧運(yùn)營，適時引入開發(fā)運(yùn)營一體化（DevOps）思想，以標(biāo)準(zhǔn)化、自動化、數(shù)據(jù)化、智慧化為特征，構(gòu)建平臺化運(yùn)營體系，實(shí)現(xiàn)互聯(lián)網(wǎng)化模式下的運(yùn)營轉(zhuǎn)型。

2 電信IT運(yùn)營的DevOps實(shí)施思路

2.1 DevOps理解與認(rèn)識（如圖1所示）

DevOps（Development和Operations的組合詞）是一組過程、方法與系統(tǒng)的統(tǒng)稱，用于促進(jìn)開發(fā)（應(yīng)用程序/軟件工程）、技術(shù)運(yùn)營和質(zhì)量保障（QA）部門之間的溝通、協(xié)作與整合[1]。DevOps最早起源于亞馬遜和Google等大型互聯(lián)網(wǎng)公司內(nèi)部實(shí)踐，這些公司需要員工緊密協(xié)作，同時又不希望出現(xiàn)部門割據(jù)。DevOps初衷就是為解決Dev與Ops之間的鴻溝而生，DevOps提倡開發(fā)和IT運(yùn)維之間高度協(xié)同，從而在完成高頻部署的同時，提高生產(chǎn)環(huán)境的可靠性、穩(wěn)定性、彈性和安全性[2]。

圖1 DevOps 框架

DevOps框架是一個集各家之長的體系，包括敏捷管理、持續(xù)交付、IT服務(wù)管理和精益管理等四大部分內(nèi)容。在2017年底高效運(yùn)維社區(qū)發(fā)布了DevOps成熟度模型標(biāo)準(zhǔn)，提出了更加完整的DevOps框架體系。

（1）敏捷管理：以用戶需求為核心，采用迭代、循序漸進(jìn)的方法進(jìn)行軟件開發(fā)[3]。

（2）持續(xù)交付：一種開發(fā)實(shí)踐方法，通過流水線方式將研發(fā)測試過程自動化執(zhí)行，確?？焖傧蚩蛻艚桓秲r值。

（3）IT服務(wù)管理：采用ITIL相關(guān)的方法、手段、技術(shù)和流程等，對IT運(yùn)營環(huán)境(如硬軟件環(huán)境、網(wǎng)絡(luò)環(huán)境等)、IT業(yè)務(wù)系統(tǒng)和IT運(yùn)營人員進(jìn)行綜合管理。

（4）精益管理：核心思想是以最小資源投入，創(chuàng)造出盡可能多的價值，為顧客提供高質(zhì)量產(chǎn)品和及時的服務(wù)，提高顧客滿意度[4]。

DevOps涉及IT應(yīng)用的全生命周期管理，它在實(shí)踐中產(chǎn)生和不斷完善，其核心思想是強(qiáng)調(diào)運(yùn)營過程中的精益管理，追求效率和價值最大化。在軟件開發(fā)階段，采用敏捷開發(fā)模式進(jìn)行軟件迭代開發(fā)，快速交付價值。在工程實(shí)踐上，通過流水線技術(shù)，體現(xiàn)價值流動思維，通過將過程任務(wù)代碼化，實(shí)現(xiàn)過程自動化。

DevOps得以快速發(fā)展和應(yīng)用，同是也離不開微服務(wù)和容器技術(shù)的應(yīng)用。微服務(wù)（Microservice）傳承了傳統(tǒng)SOA（service-oriented architecture）技術(shù)思路，同時也弱化了SOA中ESB（Enterprise Service Bus）功能，真正實(shí)現(xiàn)分布式、去中心的服務(wù)架構(gòu)，是解決傳統(tǒng)臃腫單體應(yīng)用部署和升級困難之關(guān)鍵。當(dāng)前不僅是互聯(lián)網(wǎng)公司采用，傳統(tǒng)企業(yè)也將擁抱微服務(wù)架構(gòu)。容器則是屬于一種操作系統(tǒng)級、輕量的虛擬化技術(shù)。容器是一個自包含結(jié)構(gòu)，具有隔離性好和快速啟動等特點(diǎn)，一般每個容器只運(yùn)行一個任務(wù)。容器是微服務(wù)的天然載體，是DevOps的催化劑。反過來，DevOps和微服務(wù)也推動了容器技術(shù)的應(yīng)用。因此，在DevOps實(shí)踐中同時考慮了這三種技術(shù)的應(yīng)用。

2.2 DevOps的切入思路（如圖2所示）

中國電信是一個大型傳統(tǒng)服務(wù)行業(yè)，IT運(yùn)營的目標(biāo)是保障企業(yè)業(yè)務(wù)運(yùn)營的正常和穩(wěn)定、降本增效。企業(yè)自2009年實(shí)施ITIL標(biāo)準(zhǔn)以來，形成了傳統(tǒng)ITIL文化，建立了一個以ITIL為基礎(chǔ)構(gòu)建的IT運(yùn)營體系。企業(yè)IT運(yùn)營主要有兩種場景：

（1）面向穩(wěn)態(tài)的IT運(yùn)營場景，強(qiáng)調(diào)IT系統(tǒng)可靠和安全，以ITIL規(guī)范化管理為核心，注重風(fēng)險管控，力求穩(wěn)健、可靠；

（2）面向敏態(tài)的IT運(yùn)營場景，強(qiáng)調(diào)應(yīng)用的交付速度、靈活、迭代、互聯(lián)網(wǎng)化，以DevOps為核心，注重用戶價值與體驗(yàn)，應(yīng)用快速交付。

通過分析可知，DevOps是對ITIL一個很有效的補(bǔ)充。ITIL面向管理過程的“離線任務(wù)”為主，以目標(biāo)規(guī)范優(yōu)先；DevOps面向“在線服務(wù)”的執(zhí)行過程，管理與執(zhí)行兼顧，強(qiáng)調(diào)操作的自動化執(zhí)行。因此，在企業(yè)IT運(yùn)營管理體系變革中，有必要引入DevOps理念，通過流程輕量化和流程執(zhí)行自動化，提升應(yīng)用快速交付效率，實(shí)現(xiàn)IT高效運(yùn)維。

圖 2 DevOps的切入思路

根據(jù)企業(yè)IT運(yùn)營現(xiàn)狀、面臨的矛盾和IT領(lǐng)域技術(shù)發(fā)展情況，建議圍繞IT應(yīng)用發(fā)布，從應(yīng)用的微服務(wù)化、應(yīng)用持續(xù)交付、應(yīng)用灰度發(fā)布和應(yīng)用版本管控等方面切入和探索，尋找IT運(yùn)營模式突破。在試驗(yàn)范圍上，建議先從面向運(yùn)維的IT服務(wù)管理系統(tǒng)（簡稱ITSM系統(tǒng)）著手，逐步推廣到其他核心系統(tǒng)，如客戶關(guān)系管理（CRM）等系統(tǒng)。DevOps探索的主要內(nèi)容：

①應(yīng)用微服務(wù)化，將應(yīng)用進(jìn)行解耦，并進(jìn)行微服務(wù)架構(gòu)設(shè)計(jì)，按服務(wù)組件方式進(jìn)行研發(fā)；

②應(yīng)用持續(xù)交付，采用敏捷迭代開發(fā)模式，采用自動化流水線實(shí)現(xiàn)應(yīng)用持續(xù)集成和交付；

③應(yīng)用灰度發(fā)布，采用應(yīng)用在線發(fā)布技術(shù)，支持應(yīng)用分批上線和應(yīng)用版本回退；

④應(yīng)用版本管控，加強(qiáng)全網(wǎng)應(yīng)用組件的版本統(tǒng)一管控，統(tǒng)一全網(wǎng)版本。

在DevOps平臺建設(shè)方面，重點(diǎn)面向IT運(yùn)營管理，聚焦持續(xù)交付和安全發(fā)布。持續(xù)交付從代碼提交開始，分為兩種情況。第一種，自主研發(fā)項(xiàng)目，從編碼開始，實(shí)現(xiàn)源碼構(gòu)建、打包、部署和測試等研發(fā)過程支持。第二種情況，對于外包或第三方供應(yīng)商開發(fā)項(xiàng)目，可以實(shí)現(xiàn)項(xiàng)目源碼統(tǒng)一管理，通過平臺進(jìn)行構(gòu)建、打包、部署和測試。探索的重點(diǎn)是研發(fā)灰度發(fā)布技術(shù)，支持按用戶進(jìn)行訪問分流，保證應(yīng)用系統(tǒng)安全上線。

在平臺底層工具選擇方面，選擇了基于目前流行的軟件，如k8、Jenkins、Maven和 Robot Framework、Harbor等開源軟件，進(jìn)行二次開發(fā)和集成。DevOps平臺采用微服務(wù)架構(gòu)和容器化部署技術(shù)。

3 電信IT運(yùn)營的云道平臺構(gòu)建與實(shí)施成效

3.1 云道平臺功能架構(gòu)

中國電信廣東研究院自2017年開始自主研發(fā)了DevOps平臺，取名“云道”。云道平臺初期目標(biāo)是：

（1）建設(shè)一套基于DevOps理念自主研發(fā)的應(yīng)用持續(xù)交付和安全發(fā)布平臺

（2）自動流水線方式實(shí)現(xiàn)應(yīng)用的持續(xù)交付，快速向用戶交付價值

（3）支持應(yīng)用灰度發(fā)布和一鍵回滾，實(shí)現(xiàn)用戶無感知在線升級

（4）源碼/部署包/實(shí)例等統(tǒng)一管理，支持企業(yè)對應(yīng)用版本全程和統(tǒng)一管控

云道平臺的功能架構(gòu)如3圖所示，主要包括項(xiàng)目管理、過程管理、發(fā)布管理、資源管理和運(yùn)維管理等五大功能模塊：

（1）項(xiàng)目：以項(xiàng)目為單位組織軟件過程管理。一個項(xiàng)目可以分為多個版本（相當(dāng)于多個迭代）。軟件過程管理和發(fā)布管理均基于版本上下文進(jìn)行管理。

滿足上述4個配齒條件的齒輪組合才能構(gòu)成雙星行星機(jī)構(gòu),表2列舉了4組可以裝配成雙星內(nèi)外嚙合單排行星機(jī)構(gòu)的齒數(shù)組合.

①項(xiàng)目管理：提供對項(xiàng)目維護(hù)功能。支持使用項(xiàng)目模板和常規(guī)創(chuàng)建兩種方式創(chuàng)建項(xiàng)目。前者通過引用項(xiàng)目模板，可以快速創(chuàng)建項(xiàng)目及相關(guān)任務(wù)和流水線，后者僅創(chuàng)建項(xiàng)目基本信息。

②版本管理：項(xiàng)目細(xì)分為版本，由版本直接綁定過程活動。提供項(xiàng)目的版本維護(hù)功能，一個項(xiàng)目可以包含多個版本。

③看板：顯示項(xiàng)目版本統(tǒng)計(jì)信息，比如代碼提交數(shù)、任務(wù)執(zhí)行記錄、流水線執(zhí)行記錄等。

圖 3基于 DevOps的云道平臺功能架構(gòu)

④模板：使用任務(wù)模板可以幫助用戶較快地完成任務(wù)配置。

（2）過程管理：對項(xiàng)目管理過程活動管理，包括代碼、構(gòu)建、打包、部署和測試等任務(wù)，多個任務(wù)可以自定義組裝為流水線。支持單任務(wù)執(zhí)行和流水線方式執(zhí)行，包括自動執(zhí)行和人工干預(yù)兩種執(zhí)行方式。在項(xiàng)目過程中還需要提供一些公共能力，如制品庫、數(shù)據(jù)管理、配置管理和度量反饋等。

①代碼：項(xiàng)目創(chuàng)建后，將在開源代碼托管平臺創(chuàng)建一個代碼倉庫，后續(xù)的代碼活動將在該代碼倉庫中進(jìn)行。該功能展示倉庫關(guān)鍵信息，比如分支、最近提交記錄和標(biāo)簽等。

②構(gòu)建：是軟件項(xiàng)目開發(fā)階段的必要活動，包括編譯、單元測試、生成部署包。通過對多種類型項(xiàng)目的自動化構(gòu)建，幫助研發(fā)人員從繁瑣重復(fù)的事務(wù)性工作中解脫出來。平臺支持javapythonCC++android等多種項(xiàng)目類型的構(gòu)建自動化。

③打包：將部署包制作成為容器鏡像的過程，是軟件交付和部署的必要活動。以部署包作為打包任務(wù)的輸入條件，平臺自動化執(zhí)行打包任務(wù)，輸出容器鏡像。

④部署：是使用容器鏡像生成運(yùn)行時環(huán)境的過程。部署方式包括新增部署和升級部署兩種方式。前者表示從資源池獲取資源生成新的運(yùn)行時環(huán)境，后者表示使用已有環(huán)境來更新部署配置，比如更新鏡像版本。

⑤測試：用戶編寫測試套件（即測試腳本）來執(zhí)行自動化測試，支持接口測試和UI測試。

⑥流水線：由多個任務(wù)按順序組裝成為流水線，并設(shè)置任務(wù)的執(zhí)行方式，使流水線自動運(yùn)行。任務(wù)類型包括構(gòu)建、打包、部署和測試任務(wù)。

⑦制品庫：管理并存儲任務(wù)執(zhí)行過程中涉及到的輸出工件。

⑧數(shù)據(jù)管理：指平臺通過項(xiàng)目組提供的數(shù)據(jù)庫腳本自動執(zhí)行數(shù)據(jù)庫部署，并輸出執(zhí)行日志。

⑨配置管理：平臺識別部分類型的配置項(xiàng)，并提供配置項(xiàng)的版本修訂和版本追溯功能。任務(wù)需要使用配置項(xiàng)時，只需對其引用即可。配置項(xiàng)類型可擴(kuò)展。

（3）度量反饋：提供交付過程的結(jié)果指標(biāo)和過程指標(biāo)的采集、存儲和呈現(xiàn)，直觀表現(xiàn)軟件交付過程的效率和質(zhì)量。

（4）發(fā)布管理：發(fā)布管理指從提交發(fā)布到發(fā)布完成的過程管理。測試負(fù)責(zé)人聲明某個版本滿足發(fā)布要求時（版本功能、性能等符合質(zhì)量要求），表示該版本具備生產(chǎn)環(huán)境的準(zhǔn)入條件，隨時可以為實(shí)際客戶提供在線服務(wù)。

①發(fā)布策略：發(fā)布管理適用于生產(chǎn)態(tài)的部署發(fā)布，包括灰度發(fā)布和常規(guī)發(fā)布兩種模式。

●灰度發(fā)布：指對于特定環(huán)境升級部署；相同服務(wù)的2個版本可以同時在線，根據(jù)灰度策略規(guī)則將用戶分流到特定版本的服務(wù)。

●常規(guī)發(fā)布：新增部署或者升級部署。此種發(fā)布模式下，一個服務(wù)只生成1個版本。

②灰度發(fā)布：是保障應(yīng)用新版本穩(wěn)定上線的重要措施之一。實(shí)施灰度發(fā)布包括兩個部分：

●配置計(jì)劃，指實(shí)施發(fā)布計(jì)劃的前提條件，包括：配置部署任務(wù)、灰度策略和負(fù)載均衡策略。其中，灰度策略是很重要規(guī)則，指訪問應(yīng)用灰度版本（即新版本）的用戶規(guī)則，支持用戶UID段、UID尾數(shù)以及UID白名單等策略。策略范圍內(nèi)的用戶在后續(xù)訪問應(yīng)用時，會被分流到灰度版本。

●實(shí)施計(jì)劃，指實(shí)際執(zhí)行發(fā)布計(jì)劃，包括部署執(zhí)行、人工驗(yàn)證、以及完成發(fā)布（或回滾）。

③負(fù)載均衡：指實(shí)施發(fā)布計(jì)劃生成的應(yīng)用服務(wù)的網(wǎng)絡(luò)訪問規(guī)則，使得用戶可以通過外部網(wǎng)絡(luò)訪問應(yīng)用，解決了應(yīng)用只能被內(nèi)網(wǎng)用戶訪問的問題。

④一鍵回滾：在灰度發(fā)布過程中，如果新版本應(yīng)用不符合用戶的預(yù)期目標(biāo)，可以一鍵提交回滾，將應(yīng)用版本回退到舊版本，并釋放灰度版本資源，所有用戶被分流到舊版本應(yīng)用。

（5）資源管理：指應(yīng)用交付過程中使用到的基礎(chǔ)設(shè)施，包括應(yīng)用部署時的計(jì)算、存儲和網(wǎng)絡(luò)資源。平臺以資源池和集群作為資源的組織單位。通過資源注冊使其被平臺托管，才能在任務(wù)執(zhí)行時使用資源。

①集群管理：通過集群對資源進(jìn)行邏輯分組。以集群為單位，注冊應(yīng)用部署時使用的部署節(jié)點(diǎn)、負(fù)載均衡服務(wù)和數(shù)據(jù)卷服務(wù)。

②集群總攬：查詢成功注冊并被托管到平臺的資源池和集群。顯示集群主機(jī)關(guān)鍵信息，比如IP、資源規(guī)格（比如CPU和內(nèi)存等）、部署安裝實(shí)例數(shù)等。

③數(shù)據(jù)卷管理：管理當(dāng)前用戶所屬租戶的持久數(shù)據(jù)卷，適用于為容器提供持久化數(shù)據(jù)存儲。

④環(huán)境管控：管控權(quán)限范圍內(nèi)的項(xiàng)目環(huán)境，適用于管理角色?？梢灾庇^查看項(xiàng)目的環(huán)境相關(guān)信息，比如鏡像、訪問地址、執(zhí)行記錄和集群實(shí)例等。對于集群實(shí)例，提供日志查看和重新創(chuàng)建實(shí)例的功能。

（6）運(yùn)維管理：應(yīng)用部署和運(yùn)維過程的相關(guān)活動。包括監(jiān)控、日志和通知等功能。

3.2 云道平臺的部署架構(gòu)

在DevOps實(shí)踐中，云道平臺采用集團(tuán)一級部署模式，平臺整體部署在的內(nèi)蒙資源池，IT運(yùn)營中心上海分部、安徽等省分公司分別搭建本地容器集群，承載本地業(yè)務(wù)應(yīng)用，本地各容器集群均通過集團(tuán)云道平臺進(jìn)行統(tǒng)一的管理。部署架構(gòu)如4圖所示：

圖 4 云道平臺部署架構(gòu)

3.3 云道的應(yīng)用成效

云道平臺已在集團(tuán)資源池部署，上海運(yùn)營中心和安徽公司使用此平臺分別對掌上ITSM應(yīng)用、集中告警監(jiān)控模塊進(jìn)行容器化改造，實(shí)現(xiàn)云道平臺從代碼提交到部署的全過程自動化流水線構(gòu)建，流水線執(zhí)行效率是人工執(zhí)行效率的32倍。平臺實(shí)現(xiàn)了對代碼進(jìn)行集中管理，并能實(shí)現(xiàn)應(yīng)用的灰度發(fā)布，應(yīng)用升級不影響客戶感知。

云道平臺已在ITSM系統(tǒng)研發(fā)過程中應(yīng)用，支撐IT服務(wù)管理系統(tǒng)的重構(gòu)，支撐ITSM團(tuán)隊(duì)進(jìn)行微服務(wù)化重構(gòu)的研發(fā)、發(fā)布與部署。

以云道平臺為基礎(chǔ)，進(jìn)一步研發(fā)了翼翮系統(tǒng)開發(fā)態(tài)平臺，支撐了網(wǎng)絡(luò)運(yùn)維應(yīng)用的自主研發(fā)，承接NOC的IP資源管理及調(diào)度系統(tǒng)、智能網(wǎng)管微服務(wù)改造、電子運(yùn)維流程平臺等項(xiàng)目，以及廣東、江蘇、浙江等7省個性化自主研發(fā)10余項(xiàng)目支撐。平臺目前有13個項(xiàng)目組，30個項(xiàng)目入駐。

4 結(jié)束語

云道平臺在企業(yè)內(nèi)部已得到初步的應(yīng)用，經(jīng)過POC驗(yàn)證提升了應(yīng)用迭代開發(fā)和發(fā)布效率，但在支持多方合作應(yīng)用研發(fā)和應(yīng)用成果分享方面還顯不足。建議進(jìn)一步探索基于現(xiàn)有平臺打造成新的運(yùn)維自主創(chuàng)新模式，匯聚企業(yè)各方開源研發(fā)力量，聯(lián)合進(jìn)行創(chuàng)新應(yīng)用的研發(fā)，并將各應(yīng)用成果通過應(yīng)用商店方式進(jìn)行展示，在企業(yè)內(nèi)部進(jìn)行交流和分享，推動優(yōu)秀應(yīng)用的落地和推廣。