智慧城軌云容災(zāi)方案研究及應(yīng)用

收稿日期：2024-02-27

作者簡介：徐新成（1991—），男，研究生，工程師，研究方向：軌道交通智慧化、數(shù)字化。

摘要 為實(shí)現(xiàn)城軌業(yè)務(wù)應(yīng)用的統(tǒng)一部署承載，資源動(dòng)態(tài)分配，安全靈活地為軌道交通各類信息化應(yīng)用系統(tǒng)提供服務(wù)，助力城軌智能化、智慧化發(fā)展，文章結(jié)合云計(jì)算技術(shù)特性、城軌各業(yè)務(wù)系統(tǒng)應(yīng)用現(xiàn)狀，充分考慮建設(shè)成本和各業(yè)務(wù)系統(tǒng)功能需求、容災(zāi)的業(yè)務(wù)強(qiáng)相關(guān)性，統(tǒng)籌考慮應(yīng)用系統(tǒng)多業(yè)務(wù)場景下的應(yīng)用雙活，充分探索基于同城異地下的云平臺(tái)容災(zāi)架構(gòu)與方案，為軌道交通智慧城軌云架構(gòu)下災(zāi)備方案的研究建設(shè)的科學(xué)性、可行性提供一定的借鑒。

關(guān)鍵詞 城市軌道交通；同城容災(zāi)；城軌云

中圖分類號(hào) U231.7文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 2096-8949（2024）11-0001-04

0 引言

為滿足貴陽軌道交通規(guī)劃線路建設(shè)對于信息基礎(chǔ)設(shè)施層面的需求，規(guī)劃建設(shè)貴陽軌道交通線網(wǎng)智慧城軌云中心，智慧城軌云中心包括了智慧企業(yè)管理中心、智慧安全生產(chǎn)中心及智慧外部服務(wù)中心，智慧中心是建立在線網(wǎng)智慧城軌云之上，智慧城軌云包括了云平臺(tái)及大數(shù)據(jù)平臺(tái)[1]，分為中心級(jí)（數(shù)據(jù)中心級(jí)云平臺(tái)）、車站級(jí)（站段云節(jié)點(diǎn)）兩個(gè)層級(jí)，數(shù)據(jù)中心云平臺(tái)軟件按遠(yuǎn)期接入9條線路進(jìn)行設(shè)計(jì)?？紤]在麥架智慧企業(yè)管理中心和中曹司智慧安全生產(chǎn)中心的容災(zāi)實(shí)際情況，智慧安全生產(chǎn)中心作為智慧企業(yè)管理中心的災(zāi)備中心，將建立一個(gè)同城異地的數(shù)據(jù)系統(tǒng)，包括數(shù)據(jù)備份系統(tǒng)、備用數(shù)據(jù)處理系統(tǒng)、容災(zāi)系統(tǒng)等部分。

1 架構(gòu)使用場景建議

雙活中心容災(zāi)解決方案對于集中式管理的控制中心，可更大程度保證業(yè)務(wù)的連續(xù)性，也可有效保障災(zāi)難發(fā)生后業(yè)務(wù)恢復(fù)的時(shí)效性[2]。主備業(yè)務(wù)數(shù)據(jù)中心網(wǎng)絡(luò)往返延時(shí)RTT<100 ms，構(gòu)建應(yīng)用容災(zāi)場景。生產(chǎn)中心故障時(shí)，業(yè)務(wù)系統(tǒng)可快速切換到災(zāi)備中心運(yùn)行。適用于部署架構(gòu)為前端無狀態(tài)應(yīng)用集群+后端數(shù)據(jù)庫的業(yè)務(wù)系統(tǒng)。

1.1 架構(gòu)概述

雙活數(shù)據(jù)中心架構(gòu)如圖1所示。

1.2 架構(gòu)說明

（1）兩個(gè)數(shù)據(jù)中心部署為兩個(gè)Region，分別為生產(chǎn)中心和災(zāi)備中心，網(wǎng)絡(luò)三層互通；在每個(gè)Region各部署一套完整的業(yè)務(wù)系統(tǒng)，通過ELB實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)應(yīng)用集群的負(fù)載均衡，數(shù)據(jù)庫跨Region主備部署，數(shù)據(jù)單向異步復(fù)制；外部DNS配置生產(chǎn)中心的EIP1供外部用戶訪問。

（2）通過對云服務(wù)器/云硬盤備份，防止應(yīng)用集群因感染病毒、數(shù)據(jù)誤刪除造成損害。通過數(shù)據(jù)庫備份，防止數(shù)據(jù)庫出現(xiàn)邏輯錯(cuò)誤。

圖1 雙活數(shù)據(jù)中心災(zāi)備架構(gòu)圖

2 云主機(jī)容災(zāi)架構(gòu)

2.1 架構(gòu)使用場景建議

適用于在兩個(gè)數(shù)據(jù)中心構(gòu)建云平臺(tái)主備容災(zāi)的場景，用于在生產(chǎn)中心故障時(shí)云主機(jī)的故障切換。適用于WEB+APP+DB無法拆分的有狀態(tài)應(yīng)用，全部用云服務(wù)器（ECS）部署，業(yè)務(wù)系統(tǒng)自身無容災(zāi)能力，需要云平臺(tái)提供云服務(wù)器的容災(zāi)保護(hù)。

可應(yīng)對設(shè)備故障、數(shù)據(jù)中心故障、區(qū)域性災(zāi)難，計(jì)劃內(nèi)停機(jī)，例如計(jì)劃性停電、日常運(yùn)維等。同步復(fù)制RPO≈0，異步復(fù)制RPO分鐘級(jí)以上，RTO小時(shí)級(jí)。

2.2 架構(gòu)概述

架構(gòu)說明：

（1）兩個(gè)數(shù)據(jù)中心部署為兩個(gè)Region，分別為生產(chǎn)中心和災(zāi)備中心，網(wǎng)絡(luò)三層互通。

（2）業(yè)務(wù)系統(tǒng)部署在生產(chǎn)中心，通過CSDR或VHA+CSDR容災(zāi)實(shí)例保護(hù)。

（3）通過ELB實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)應(yīng)用集群的負(fù)載均衡，外部DNS配置生產(chǎn)中心的EIP1供用戶訪問。

2.3 故障切換

2.3.1 單套存儲(chǔ)故障切換

在使用VHA+CSDR容災(zāi)實(shí)例保護(hù)生產(chǎn)云主機(jī)時(shí)，當(dāng)生產(chǎn)中心單套業(yè)務(wù)發(fā)生存儲(chǔ)故障，云主機(jī)的IO自動(dòng)下發(fā)到另一套業(yè)務(wù)存儲(chǔ)，數(shù)據(jù)不丟失，業(yè)務(wù)不中斷。

2.3.2 站點(diǎn)級(jí)故障切換

站點(diǎn)級(jí)故障切換如圖2所示，當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時(shí)：

（1）手工修改外部DNS，配置災(zāi)備中心ManageOne運(yùn)營面/運(yùn)維面等portal的域名解析。

（2）手工將云平臺(tái)管理組件一鍵式切換至災(zāi)備中心運(yùn)行，接管整個(gè)云平臺(tái)。

（3）手工將CSDR或VHA+CSDR保護(hù)的云主機(jī)切換到災(zāi)備中心運(yùn)行。

（4）手工修改外部DNS，配置業(yè)務(wù)系統(tǒng)域名解析為EIP2，將外部訪問流量切換至災(zāi)備中心。

3 云主機(jī)容災(zāi)實(shí)現(xiàn)方案

3.1 云主機(jī)容災(zāi)概述

3.1.1 服務(wù)概述

云服務(wù)器容災(zāi)服務(wù)（CSDR，Cloud Server Disaster Recovery），為云服務(wù)器提供跨Region異地容災(zāi)保護(hù)，當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時(shí)，可在異地容備中心恢復(fù)受保護(hù)的云服務(wù)器。此外，生產(chǎn)中心的云服務(wù)器還可疊加配置本地存儲(chǔ)雙活保護(hù)，形成本地存儲(chǔ)雙活+異地遠(yuǎn)程復(fù)制存儲(chǔ)環(huán)形容災(zāi)。當(dāng)生產(chǎn)中心單套存儲(chǔ)設(shè)備發(fā)生故障時(shí)，數(shù)據(jù)零丟失，業(yè)務(wù)不中斷。僅在生產(chǎn)中心發(fā)生整站點(diǎn)災(zāi)難時(shí)，才需要切換到異地容災(zāi)中心。

如圖3所示，相對于非容災(zāi)場景下的兩個(gè)Region部署，部署CSDR容災(zāi)服務(wù)需要增加：

（1）BCManager eReplication組件，采用虛擬機(jī)部署；CSDR Console已合并到ManageOne中，不需單獨(dú)部署虛擬機(jī)。

（2）對于Global管理組件需部署跨Region主備容災(zāi)。

（3）對于生產(chǎn)Region和容災(zāi)Region間的存儲(chǔ)需配置遠(yuǎn)程復(fù)制。支持的存儲(chǔ)類型包括：OceanStor V3/V5、Dorado V3、Dorado V6（異步復(fù)制）、FusionStorage（異步復(fù)制）。

（4）若要部署存儲(chǔ)環(huán)形容災(zāi)，則需要至少三套存儲(chǔ)：即生產(chǎn)AZ部署兩套存儲(chǔ)，異地容災(zāi)AZ部署一套存儲(chǔ)。支持的存儲(chǔ)類型包括OceanStor V3/V5、Dorado V3/V6，不支持FusionStorage。

場景說明：

同步復(fù)制要求：建議距離<100 km，RTT<2 ms（存在數(shù)據(jù)庫容災(zāi)時(shí)建議<1 ms）。

異步復(fù)制要求：建議距離<3 000 km，RTT<100 ms。

3.1.2 應(yīng)用場景

（1）適用于在兩個(gè)數(shù)據(jù)中心，構(gòu)建云平臺(tái)容災(zāi)的場景。

（2）適用于業(yè)務(wù)系統(tǒng)全部用云服務(wù)器部署，業(yè)務(wù)系統(tǒng)自身無容災(zāi)能力，需要云平臺(tái)提供云服務(wù)器的容災(zāi)保護(hù)。

（3）（可選）當(dāng)生產(chǎn)中心單套存儲(chǔ)整體或部分存儲(chǔ)池發(fā)生故障時(shí)，數(shù)據(jù)零丟失，業(yè)務(wù)不中斷；適用于可靠性要求高的場景。

（4）可應(yīng)對設(shè)備故障、數(shù)據(jù)中心故障、區(qū)域性災(zāi)難，計(jì)劃內(nèi)停機(jī)，例如計(jì)劃性停電、日常運(yùn)維等。RPO分鐘級(jí)，RTO數(shù)十分鐘至小時(shí)級(jí)。

3.2 容災(zāi)部署架構(gòu)

云服務(wù)器容災(zāi)服務(wù)是針對兩個(gè)Region間業(yè)務(wù)的容災(zāi)，可以將一個(gè)Region的云服務(wù)器容災(zāi)到另一個(gè)Region；為實(shí)現(xiàn)該容災(zāi)功能，需要對基礎(chǔ)設(shè)施進(jìn)行跨Region部署。

（1）跨Region容災(zāi)：需至少規(guī)劃兩個(gè)Region，每個(gè)Region內(nèi)部署一套ECS/EVS/VPC等云服務(wù)后端及一套OpenStack，站點(diǎn)間三層網(wǎng)絡(luò)互通。

（2）Global管理節(jié)點(diǎn)跨Region容災(zāi)部署：ManageOne、BCManager eReplication及云服務(wù)Console等Global管理節(jié)點(diǎn)跨Region部署。

（3）部署CSDR服務(wù)：在兩個(gè)Region管理節(jié)點(diǎn)上各部署兩個(gè)BCManager eReplication虛擬機(jī)，并配置BCManager eReplication主備復(fù)制。

（4）配置存儲(chǔ)容災(zāi)：對分別位于兩個(gè)Region內(nèi)的生產(chǎn)存儲(chǔ)和容災(zāi)存儲(chǔ)配置數(shù)據(jù)復(fù)制鏈路和容災(zāi)關(guān)系，并注冊到OpenStack。

ManageOne運(yùn)營中心提供框架，集成了各個(gè)服務(wù)的前端界面模塊，是每個(gè)云服務(wù)，以及云服務(wù)器容災(zāi)服務(wù)的發(fā)放平臺(tái)。ManageOne運(yùn)維中心提供運(yùn)維管理。

3.3 關(guān)鍵技術(shù)

3.3.1 容災(zāi)服務(wù)申請

華為云Stack云容災(zāi)服務(wù)采用服務(wù)化設(shè)計(jì)，支持多租戶和租戶自服務(wù)[3]。對于租戶或不同業(yè)務(wù)部門，可根據(jù)業(yè)務(wù)對連續(xù)性的要求，自助配置不同的災(zāi)備服務(wù)，縮短災(zāi)備業(yè)務(wù)開通周期。

租戶登錄ManageOne運(yùn)營面，在云服務(wù)器容災(zāi)服務(wù)界面，選擇生產(chǎn)端VM及其對應(yīng)的容災(zāi)端VM，配置保護(hù)策略，申請?jiān)品?wù)容災(zāi)服務(wù)實(shí)例。系統(tǒng)后端BCManager eReplication會(huì)自動(dòng)檢查各參數(shù)是否滿足申請要求。管理員審批申請。系統(tǒng)完成容災(zāi)保護(hù)的自動(dòng)創(chuàng)建。

BCManager eReplication收到容災(zāi)保護(hù)創(chuàng)建任務(wù)后，調(diào)用存儲(chǔ)容災(zāi)接口在源端云平臺(tái)上和存儲(chǔ)上創(chuàng)建容災(zāi)保護(hù)關(guān)系，在備端的云平臺(tái)上創(chuàng)建容災(zāi)保護(hù)關(guān)系。BCManager eReplication將針對同一個(gè)CSDR服務(wù)實(shí)例內(nèi)的所有VM掛載的所有LUN，創(chuàng)建存儲(chǔ)一致性組，在故障發(fā)生時(shí)，實(shí)現(xiàn)存儲(chǔ)一致性切換。

3.3.2 容災(zāi)測試

容災(zāi)測試有兩個(gè)主要用途，一個(gè)是用于檢查復(fù)制到容災(zāi)站點(diǎn)的數(shù)據(jù)、云服務(wù)器能否順利的啟動(dòng)和大概需要花費(fèi)的時(shí)間，另一個(gè)是將復(fù)制到容災(zāi)站點(diǎn)的數(shù)據(jù)和云服務(wù)器用于查詢分析或應(yīng)用測試。容災(zāi)測試在容災(zāi)站點(diǎn)的容災(zāi)占位虛擬機(jī)上進(jìn)行，無須停止在生產(chǎn)站點(diǎn)中的生產(chǎn)端云服務(wù)器，不會(huì)中斷生產(chǎn)端云服務(wù)器業(yè)務(wù)運(yùn)行。

容災(zāi)測試可由租戶自行觸發(fā)，并檢查測試后的業(yè)務(wù)數(shù)據(jù)完整性。測試前，租戶可以配置容災(zāi)端云服務(wù)器的測試網(wǎng)卡。

3.3.3 計(jì)劃性遷移（含容災(zāi)演練）

計(jì)劃性遷移用于在生產(chǎn)站點(diǎn)計(jì)劃性中斷前，將業(yè)務(wù)提前遷移到容災(zāi)站點(diǎn)，或用于容災(zāi)演練以檢測容災(zāi)端云服務(wù)器、容災(zāi)恢復(fù)網(wǎng)絡(luò)和數(shù)據(jù)是否可用，業(yè)務(wù)數(shù)據(jù)零丟失。

計(jì)劃性遷移與容災(zāi)測試的主要差別：

（1）計(jì)劃性遷移需要停止在生產(chǎn)站點(diǎn)中運(yùn)行的生產(chǎn)云服務(wù)器，將業(yè)務(wù)遷移到容災(zāi)站點(diǎn)運(yùn)行，此過程生產(chǎn)業(yè)務(wù)會(huì)中斷。在演練完成后，可將VM切回到原生產(chǎn)站點(diǎn)。

（2）容災(zāi)測試是在容災(zāi)站點(diǎn)中，針對容災(zāi)卷創(chuàng)建快照，并基于快照創(chuàng)建新卷，在新建的卷中執(zhí)行測試。而計(jì)劃性遷移（或容災(zāi)切換）直接在容災(zāi)卷上執(zhí)行。容災(zāi)測試過程，不會(huì)中斷生產(chǎn)端云服務(wù)器的業(yè)務(wù)運(yùn)行。

計(jì)劃性遷移必須由容災(zāi)管理員觸發(fā)，切換完成后，通知租戶檢查切換后的業(yè)務(wù)數(shù)據(jù)完整性。在觸發(fā)計(jì)劃性遷移流程前，租戶需在云服務(wù)器容災(zāi)服務(wù)實(shí)例申請前，指定容災(zāi)端云服務(wù)器的容災(zāi)恢復(fù)網(wǎng)卡。除發(fā)起計(jì)劃性遷移由管理員完成，切換結(jié)果檢查由租戶完成外，其他都由系統(tǒng)在后臺(tái)自動(dòng)完成，租戶向容災(zāi)管理員申請容災(zāi)演練，并知會(huì)要進(jìn)行容災(zāi)演練的云災(zāi)備產(chǎn)品實(shí)例及對應(yīng)的VM（保護(hù)對象）。

3.3.4 站點(diǎn)級(jí)故障切換

故障切換主要分成三個(gè)部分：切換管理系統(tǒng)、切換業(yè)務(wù)系統(tǒng)（云容災(zāi)服務(wù)實(shí)例）和刷新DNS系統(tǒng)。在管理系統(tǒng)切換成功后，關(guān)于業(yè)務(wù)系統(tǒng)的切換，容災(zāi)管理員可在BCManager eReplication上針對每個(gè)容災(zāi)實(shí)例執(zhí)行一鍵式切換。故障切換流程均由容災(zāi)管理員完成。

（1）切換管理系統(tǒng)。①管理員手工切換ManageOne，使備升為主。②管理員更新內(nèi)部DNS中ManageOne、BCManager eReplication域名為新IP。③管理員手工切換BCManager eReplication，使備升為主。④管理員更新外部客戶端DNS中ManageOne域名為新IP。

（2）切換業(yè)務(wù)系統(tǒng)（云容災(zāi)服務(wù)實(shí)例）。①容災(zāi)管理員登錄BCManager eReplication管理界面，選擇保護(hù)實(shí)例，觸發(fā)故障切換流程。②BCManager eReplication自動(dòng)完成存儲(chǔ)陣列和啟動(dòng)占位VM。③（可選）租戶修改業(yè)務(wù)域名DNS記錄到占位VM的EIP地址。④租戶登錄占位VM，檢驗(yàn)、啟動(dòng)業(yè)務(wù)系統(tǒng)。

4 災(zāi)備中心與主中心非同步投入時(shí)災(zāi)備方案

在容災(zāi)中心未完成建設(shè)前，無法使用跨數(shù)據(jù)中心容災(zāi)的架構(gòu)，此時(shí)，建議通過虛擬機(jī)高可用和數(shù)據(jù)本地備份方式盡可能保障業(yè)務(wù)高可用。在容災(zāi)條件具備后，可以通過擴(kuò)容方式將單中心的云平臺(tái)擴(kuò)容為帶主備容災(zāi)能力的云平臺(tái)[4]。

（1）虛擬機(jī)高可用。虛擬機(jī)高可用方案可以保障在單主機(jī)故障時(shí)，虛擬機(jī)在其余正常的主機(jī)上啟動(dòng)，繼續(xù)提供服務(wù)，保障業(yè)務(wù)連續(xù)性。

（2）數(shù)據(jù)本地備份方案。本地?cái)?shù)據(jù)備份方案可以將虛擬機(jī)數(shù)據(jù)備份到備份存儲(chǔ)上，當(dāng)業(yè)務(wù)系統(tǒng)主存儲(chǔ)上的數(shù)據(jù)出現(xiàn)損壞時(shí)，快速地恢復(fù)數(shù)據(jù)。

5 結(jié)束語

該文通過在兩個(gè)數(shù)據(jù)中心部署為兩個(gè)Region，在網(wǎng)絡(luò)雙活的基礎(chǔ)上，分別通過存儲(chǔ)雙活和虛擬機(jī)容災(zāi)，實(shí)現(xiàn)城軌云平臺(tái)級(jí)容災(zāi)，解決傳統(tǒng)業(yè)務(wù)對城軌云平臺(tái)的高可靠性需求，使業(yè)務(wù)系統(tǒng)更專注于自身業(yè)務(wù)，確保滿足線路關(guān)鍵業(yè)務(wù)系統(tǒng)的運(yùn)營需求，支撐異常情況下軌道交通的不間斷運(yùn)營?；谥腔鄢擒壴破脚_(tái)的容災(zāi)方案應(yīng)用，對智慧城軌建設(shè)具有積極的推動(dòng)作用。

參考文獻(xiàn)

[1]中國城市軌道交通協(xié)會(huì). 城軌交通 智慧先行《中國城市軌道交通智慧城軌發(fā)展綱要》正式發(fā)布實(shí)施[J]. 都市快軌交通， 2020（2）： 6-7.

[2]王彪. 城軌云架構(gòu)下災(zāi)備方案研究[J]. 都市快軌交通， 2019（3）： 25-31.

[3]華為技術(shù)有限公司. 雙活數(shù)據(jù)中心解決方案技術(shù)白皮書（Hyper Metro）[EB/OL]. 2015-06-29/2024-02-27.

[4]陳瑞軍， 孟偉君， 胡曉偉， 等. 城市軌道交通云平臺(tái)容災(zāi)方案研究[J]. 城市軌道交通研究， 2020（9）： 184-188.