電信業(yè)務(wù)支撐系統(tǒng)的容器化實踐

蔡志強，陳 浩，江 浪（中國聯(lián)通軟件研究院，北京100176）

0 前言

近年來，隨著3G、4G的迅速發(fā)展，傳統(tǒng)電信運營商的語音業(yè)務(wù)更多地轉(zhuǎn)變?yōu)閿?shù)據(jù)業(yè)務(wù)，逐漸被數(shù)據(jù)業(yè)務(wù)替代。在移動互聯(lián)網(wǎng)時代，行業(yè)內(nèi)外的競爭愈發(fā)激烈，新業(yè)務(wù)應用上線需分秒必爭搶占先機，在業(yè)務(wù)支撐、架構(gòu)能力、平臺擴展性等方面對現(xiàn)有的煙囪式建設(shè)的業(yè)務(wù)支撐系統(tǒng)提出了巨大的挑戰(zhàn)。傳統(tǒng)的運營體系已趨于乏力，需重構(gòu)、重建運營體系。

目前，以Docker為代表的容器技術(shù)發(fā)展迅速，作為極其輕量級的虛擬化技術(shù)，大大提高IT資源的利用率，其標準化的打包、封裝、搬運機制，有效地簡化了開發(fā)版本管理，提高了開發(fā)運維效率，降低了成本。此外，Docker容器秒級啟動的特點，也能有效保障業(yè)務(wù)的穩(wěn)定性與高可用性。因此，對現(xiàn)有業(yè)務(wù)支撐系統(tǒng)進行容器化改造，將成為電信運營商一個最優(yōu)的選擇。

1 現(xiàn)狀

電信行業(yè)業(yè)務(wù)支撐系統(tǒng)目前大部分都采用傳統(tǒng)架構(gòu)，使用小型機、Oracle數(shù)據(jù)庫及一系列中間件產(chǎn)品。系統(tǒng)龐大、耦合度高、投資多、擴展難是傳統(tǒng)架構(gòu)很顯著的問題。

cBSS1.0系統(tǒng)一直以來采用單體架構(gòu)作為業(yè)務(wù)系統(tǒng)實現(xiàn)的架構(gòu)風格，作為成熟的架構(gòu)風格，單體應用有著易于開發(fā)、易于測試、易于部署等諸多優(yōu)勢。

以中國聯(lián)通集中業(yè)務(wù)支撐系統(tǒng)（cBSS系統(tǒng)）為例，其CRM系統(tǒng)在2014年初上線，采用傳統(tǒng)的IOE架構(gòu)，數(shù)據(jù)庫及后臺應用均使用小型機，后臺應用使用Tuxedo中間件，Web前臺應用和接口前臺應用使用Weblogic中間件（見圖1）。

圖1 CRM子系統(tǒng)傳統(tǒng)架構(gòu)

2 容器化改造原則及思路

考慮到原業(yè)務(wù)支撐系統(tǒng)以中間件為主，其中80%的CRM應用基于Weblogic和Tuxedo 2類中間件，改造范圍大、周期長、投資多，如不采用容器化技術(shù)，除非重建系統(tǒng)，否則很難一步實現(xiàn)目標云化架構(gòu)。

此外，現(xiàn)有系統(tǒng)中使用了Weblogic和Tuxedo部分產(chǎn)品特性能力，如WTC服務(wù)調(diào)用、Weblogic集群復制、Weblogic的T3協(xié)議調(diào)用、Tuxedo服務(wù)路由等，更換中間產(chǎn)品會帶來大量應用改造。

對于傳統(tǒng)業(yè)務(wù)支撐系統(tǒng)的容器化改造，應遵循以下幾點原則。

a）減少核心應用的改造、減少周邊系統(tǒng)的改造、降低整體實施難度。

b）保障生產(chǎn)穩(wěn)定運營。

c）向云化架構(gòu)演進。

基于以上原則和現(xiàn)狀，對傳統(tǒng)遺留系統(tǒng)進行分析，符合微服務(wù)遷移條件的傳統(tǒng)應用，盡量采用微服務(wù)模式重構(gòu)業(yè)務(wù)；對于不具備微服務(wù)條件的傳統(tǒng)應用，可采用中間件容器化的方式進行架構(gòu)升級，遷移至云化平臺。

3 Weblogic中間件應用改造

Weblogic中間件應用主要從以下幾方面進行設(shè)計和改造。

a）應用去狀態(tài)化：在Web服務(wù)入口增加filter過濾器，將session信息的操作由Weblogic集群轉(zhuǎn)為redis緩存集群。

b）配置模板倉庫：利用統(tǒng)一配置管理工具confd管理配置文件，將配置文件模板和數(shù)據(jù)分離實現(xiàn)單獨管理，存放預先定義的模板文件，包含Tuxedo模板、Weblogic模板。

c）配置信息中心：使用KV存儲服務(wù)ETCD存放配置信息，應用啟動時獲得并配合confd生成運行所需的配置文件。

d）服務(wù)發(fā)現(xiàn)和負載均衡：基于Marathon-LB組件實現(xiàn)容器服務(wù)發(fā)現(xiàn)，并承擔負載均衡能力對外提供統(tǒng)一的服務(wù)地址。

e）健康檢查及自愈：在Web應用中增加健康檢查頁面，用于容器啟動后的健康判斷，結(jié)合Marathon實現(xiàn)故障容器的自愈恢復。

圖2示出的是Weblogic容器化方案。

4 Tuxedo中間件應用改造

Tuxedo中間件應用主要從以下幾方面進行設(shè)計和改造。

a）WTC調(diào)度適配：解決Marathon調(diào)度WTC服務(wù)的問題，負責Tuxedo、Weblogic服務(wù)的注冊和發(fā)現(xiàn)；根據(jù)業(yè)務(wù)定義，進行Tuxedo和Weblogic的配對注冊；WTC服務(wù)的聯(lián)動啟動/停止；調(diào)度服務(wù)異常時的容錯處理和主備切換等。

b）配置模板倉庫：利用統(tǒng)一配置管理工具confd管理配置文件，將配置文件模板和數(shù)據(jù)分離實現(xiàn)單獨管理，存放預先定義的模板文件，包含Tuxedo模板、Weblogic模板。

c）配置信息中心：使用KV存儲服務(wù)ETCD存放配置信息，應用啟動時獲得并配合confd生成運行所需的配置文件。

d）狀態(tài)中心：存放Tuxedo運行狀態(tài)信息，包含服務(wù)狀態(tài)、注冊狀態(tài)等。

e）虛擬網(wǎng)絡(luò)：使用基于Macvlan技術(shù)的虛擬網(wǎng)絡(luò)，使每個容器可配置固定的IP地址，方便原系統(tǒng)割接。

圖3示出的是Tuxedo容器化方案。

圖2 Weblogic容器化方案

5 配套接口UIP應用容器化方案

配套的應用主要從以下幾方面進行設(shè)計和改造。

a）Tomcat移植瘦身：基于原有Weblogic版本，移植至Tomcat上運行。

b）服務(wù)發(fā)現(xiàn)：基于狀態(tài)中心發(fā)現(xiàn)可調(diào)用的Tuxedo應用，采用最小連接數(shù)算法選擇可用的Tuxedo服務(wù)進行連接。

c）WSDL靜態(tài)文件服務(wù)：將UIP接口使用的WSDL文件抽離，建立獨立的靜態(tài)文件服務(wù)器用于調(diào)用。

d）狀態(tài)中心：存放UIP運行狀態(tài)信息，包含服務(wù)狀態(tài)、注冊狀態(tài)等。

圖4示出的是配套接口UIP容器化方案。

6 中間件應用容器化創(chuàng)新點

在業(yè)界都在嘗試容器化技術(shù)時，本課題首次將Weblogic和Tuxedo中間件產(chǎn)品與容器化技術(shù)相結(jié)合，其中Tuxedo部分的容器化實踐在國內(nèi)電信行業(yè)里為首次生產(chǎn)投產(chǎn)，前期無相似案例。

圖3 Tuxedo容器化方案

圖4 配套接口UIP容器化方案

a）全部采用開源組件，自主設(shè)計開發(fā)完成，實現(xiàn)Weblogic、Tuxedo中間件及其上應用的容器化改造。

b）應用狀態(tài)中心化存儲，與應用進程剝離，實現(xiàn)基于Redis的前臺Web應用去狀態(tài)化改造。

c）設(shè)計并實現(xiàn)了Tuxedo中間調(diào)度適配層，基于ETCD的后臺應用狀態(tài)注冊，解決了Marathon調(diào)度WTC服務(wù)的問題。

d）業(yè)務(wù)配置信息中心化管理，應用啟動時獲得配置參數(shù)，基于抽象的業(yè)務(wù)配置模板生成實時的配置文件。

圖5 中間件容器化方案

e）采用Macvlan等虛擬網(wǎng)絡(luò)技術(shù)，無需改變服務(wù)的對外訪問地址和協(xié)議，外部調(diào)用方無需進行改造調(diào)整，實現(xiàn)服務(wù)的平滑割接。

f）移植部分應用到Tomcat，并抽離靜態(tài)WSDL文件，建立靜態(tài)WSDL服務(wù)。

圖5示出的是中間件容器化方案。

7 中間件應用容器化實踐成果

中間件應用容器化平臺在生產(chǎn)上線投產(chǎn)后，服務(wù)運行狀態(tài)良好，無重大生產(chǎn)故障。目前已上線有CRM前臺Web服務(wù)18類容器應用；CRM后臺Tux服務(wù)、竣工BPM服務(wù)、接口后臺Tux服務(wù)6類Tuxedo容器應用，前臺接口及BPS竣工7類Weblogic和3類Tomcat容器應用；外圍UIF接口10類Tomcat容器應用，外圍UIP接口6類Tomcat容器應用，GTM、盤古緩存、預熱等5類C程序容器，共計運行1 000+個容器，已涵蓋9個域全部CRM核心業(yè)務(wù)。

將容器化技術(shù)應用于運營商核心業(yè)務(wù)支撐系統(tǒng)，打破專機專用的限制，物理計算資源池化管理，靈活調(diào)度計算資源；靈活擴縮業(yè)務(wù)能力，實現(xiàn)秒級的業(yè)務(wù)能力增補，及時應對業(yè)務(wù)突發(fā)的峰值壓力；節(jié)點快速部署，實現(xiàn)分鐘級的應用部署；統(tǒng)一的容器調(diào)度界面，簡化維護，降低成本；提高了IT研發(fā)、運維的生產(chǎn)力，產(chǎn)生了一定的經(jīng)濟效益。

8 結(jié)束語

中間件容器化方案著力解決傳統(tǒng)應用系統(tǒng)的架構(gòu)升級問題，使遺留系統(tǒng)可以平滑過渡到互聯(lián)網(wǎng)云化模式，具有推廣應用到各行業(yè)、各系統(tǒng)的潛力，勢必會解決傳統(tǒng)系統(tǒng)的業(yè)務(wù)應用在開發(fā)、運維中遇到的種種問題，從而推動敏捷開發(fā)、持續(xù)交付等理念落地。