煙草遠(yuǎn)程容災(zāi)系統(tǒng)的研究與實(shí)現(xiàn)

文/伍敏

（四川省煙草公司德陽(yáng)市公司 四川省德陽(yáng)市 618000）

1 數(shù)據(jù)容災(zāi)系統(tǒng)建設(shè)現(xiàn)狀

1.1 容災(zāi)中心建設(shè)要求

近年，隨著煙草信息化的發(fā)展與行業(yè)發(fā)展的新形勢(shì)，對(duì)基礎(chǔ)資源環(huán)境和安全保障體系提出了新的需求：一是各主營(yíng)業(yè)務(wù)系統(tǒng)全面實(shí)現(xiàn)省級(jí)集中部署，需要有相應(yīng)的容災(zāi)機(jī)制確保業(yè)務(wù)的連續(xù)性和安全性，降低單一數(shù)據(jù)中心機(jī)房環(huán)境的風(fēng)險(xiǎn)和壓力。二是基于“互聯(lián)網(wǎng)+”的應(yīng)用項(xiàng)目都需要相應(yīng)的基礎(chǔ)資源支撐，以適應(yīng)未來(lái)互聯(lián)網(wǎng)應(yīng)用大規(guī)?？焖僭鲩L(zhǎng)的需求。在同城異地建設(shè)一個(gè)容災(zāi)中心，形成與現(xiàn)有數(shù)據(jù)中心機(jī)房物理上獨(dú)立、邏輯上互為一體的“大數(shù)據(jù)中心”，來(lái)滿(mǎn)足業(yè)務(wù)新需求，提升業(yè)務(wù)的連續(xù)性和安全保障能力。

1.2 主機(jī)存儲(chǔ)備份系統(tǒng)現(xiàn)狀

目前行業(yè)核心系統(tǒng)數(shù)據(jù)庫(kù)一般是運(yùn)行在IBM小型機(jī)上的DB2數(shù)據(jù)庫(kù)環(huán)境。此處以核心系統(tǒng)一的DB2數(shù)據(jù)庫(kù)運(yùn)行在2臺(tái)小型機(jī)4分區(qū)環(huán)境中，核心系統(tǒng)二的DB2數(shù)據(jù)庫(kù)運(yùn)行在另外的小型機(jī)環(huán)境中，計(jì)劃遷移到x86環(huán)境，其他關(guān)鍵系統(tǒng)數(shù)據(jù)庫(kù)也運(yùn)行小型機(jī)環(huán)境，其他系統(tǒng)則運(yùn)行在x86環(huán)境為例，探討系統(tǒng)實(shí)現(xiàn)。數(shù)據(jù)中心已經(jīng)建立了統(tǒng)一冗余的光纖存儲(chǔ)網(wǎng)絡(luò)（FC SAN），并有2臺(tái)中高端的存儲(chǔ)設(shè)備和1臺(tái)高性能的全閃存設(shè)備。全閃存存儲(chǔ)供核心系統(tǒng)一使用。此外還通過(guò)EMC NetWorker備份軟件和VTL（虛擬帶庫(kù)）設(shè)備建立了一套統(tǒng)一的備份平臺(tái)，數(shù)據(jù)庫(kù)及重要數(shù)據(jù)備份到該平臺(tái)中。

1.3 目前存在的主要問(wèn)題

目前行業(yè)系統(tǒng)普遍存在以下問(wèn)題：其一是核心應(yīng)用系統(tǒng)雖然在主中心有HA雙機(jī)高可用機(jī)制，但受制現(xiàn)有機(jī)房供電、制冷等因素限制，仍不能保證業(yè)務(wù)連續(xù)性需求；其二是磁盤(pán)陣列易發(fā)生安全問(wèn)題，導(dǎo)致數(shù)據(jù)無(wú)法存儲(chǔ)、讀取，進(jìn)一步影響到業(yè)務(wù)的連續(xù)性需求；其三是信息系統(tǒng)未能實(shí)現(xiàn)遠(yuǎn)程災(zāi)備，一旦數(shù)據(jù)中心發(fā)生災(zāi)難，將影響到省內(nèi)各個(gè)市（州）公司的業(yè)務(wù)運(yùn)轉(zhuǎn)；其四數(shù)據(jù)備份在本地帶庫(kù)中，難以針對(duì)數(shù)據(jù)的真實(shí)性、可用性做出精確判斷，備份數(shù)據(jù)本地存放，數(shù)據(jù)安全難以保證；其五是RTO、RPO指標(biāo)均較低，無(wú)法確保在災(zāi)難發(fā)生后實(shí)現(xiàn)數(shù)據(jù)及業(yè)務(wù)的快速有效恢復(fù)。

2 異地容災(zāi)系統(tǒng)的設(shè)計(jì)方案

2.1 大二層網(wǎng)絡(luò)

在未統(tǒng)一使用DNS的情況下，考慮到核心應(yīng)用數(shù)據(jù)庫(kù)與全省各市州本地物流應(yīng)用前置環(huán)境進(jìn)行了數(shù)據(jù)聯(lián)邦，如果主數(shù)據(jù)庫(kù)環(huán)境遷移后IP發(fā)生了變化，那么會(huì)導(dǎo)致聯(lián)邦失敗，從而影響整個(gè)物流分揀業(yè)務(wù)的正常工作。因此在網(wǎng)絡(luò)設(shè)計(jì)時(shí)考慮了采用大二層網(wǎng)絡(luò)設(shè)計(jì)，保證兩中心之間遷移，不改變服務(wù)IP。大二層網(wǎng)絡(luò)示意圖如圖1所示。

圖1：大二層網(wǎng)絡(luò)示意圖

圖2：應(yīng)用級(jí)容災(zāi)架構(gòu)示意圖

通過(guò)租用波分通道，實(shí)現(xiàn)了兩中心業(yè)務(wù)網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)互聯(lián)。其中兩路波分通道之間與兩中心核心交換機(jī)互聯(lián)，形成大二層網(wǎng)絡(luò)環(huán)境，保證主機(jī)在兩中心切換服務(wù)IP不變。各市州公司還新增一條到容災(zāi)中心10Mb/s MSTP線(xiàn)路，一來(lái)保證市州公司到容災(zāi)中心的訪(fǎng)問(wèn)，二來(lái)降低兩中心間中繼線(xiàn)路壓力。

2.2 新增主機(jī)

核心系統(tǒng)一和核心系統(tǒng)二，在建設(shè)時(shí)采用應(yīng)用級(jí)容災(zāi)方式。核心系統(tǒng)一，采用同級(jí)容災(zāi)模式，在容災(zāi)中心新增一套與現(xiàn)有系統(tǒng)相當(dāng)?shù)挠?jì)算環(huán)境。主數(shù)據(jù)中心內(nèi)主機(jī)為IBM E850小型機(jī)，在容災(zāi)中心則新購(gòu)2臺(tái)浪潮K1 Power小型機(jī)，CPU類(lèi)型、CPU核數(shù)、內(nèi)存、操作系統(tǒng)等均于源環(huán)境一致。核心系統(tǒng)二，先把原來(lái)小型機(jī)環(huán)境遷移到x86環(huán)境，然后在容災(zāi)中心新增兩臺(tái)與主中心處理能力相當(dāng)?shù)膞86服務(wù)器作為容災(zāi)備用環(huán)境。應(yīng)用級(jí)容災(zāi)架構(gòu)示意圖如圖2所示。

2.3 數(shù)據(jù)復(fù)制平臺(tái)

兩個(gè)數(shù)據(jù)中心之間生產(chǎn)數(shù)據(jù)復(fù)制是本項(xiàng)目重難點(diǎn)，選擇不同的實(shí)現(xiàn)方式，則有不同的容災(zāi)設(shè)計(jì)方案，方案論證時(shí)，進(jìn)行了不同方式比較。

2.3.1 數(shù)據(jù)復(fù)制技術(shù)

容災(zāi)數(shù)據(jù)復(fù)制技術(shù)包括基于應(yīng)用層數(shù)據(jù)復(fù)制、基于主機(jī)層數(shù)據(jù)復(fù)制、基于存儲(chǔ)網(wǎng)絡(luò)層復(fù)制以及基于磁盤(pán)設(shè)備復(fù)制這幾種方式。基于應(yīng)用層主要是利用數(shù)據(jù)庫(kù)或者數(shù)據(jù)復(fù)制工具來(lái)實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程復(fù)制，基于主機(jī)層數(shù)據(jù)復(fù)制，主要通過(guò)主機(jī)操作系統(tǒng)自帶或者第三方提供的卷管理器來(lái)實(shí)現(xiàn)數(shù)據(jù)的遠(yuǎn)程復(fù)制。利用邏輯卷管理功能?；诖鎯?chǔ)網(wǎng)絡(luò)層實(shí)現(xiàn)的數(shù)據(jù)復(fù)制是I/O在聯(lián)機(jī)專(zhuān)用設(shè)備或光纖通道(FC)結(jié)構(gòu)中被分離，I/O分流器分析入站的寫(xiě)I/O的目的地址，如果地址是復(fù)制卷的組成部分，則將這次I/O的副本轉(zhuǎn)發(fā)給復(fù)制目標(biāo)，從而實(shí)現(xiàn)卷復(fù)制功能。存儲(chǔ)虛擬化網(wǎng)關(guān)設(shè)備（以下簡(jiǎn)稱(chēng)虛擬化網(wǎng)關(guān)）是在存儲(chǔ)網(wǎng)絡(luò)復(fù)制的基礎(chǔ)上，還可整合多家廠商存儲(chǔ)設(shè)備的存儲(chǔ)資源，重新合理分配，供前端服務(wù)器使用?；诖疟P(pán)設(shè)備層的復(fù)制是存儲(chǔ)控制器實(shí)現(xiàn)的設(shè)備級(jí)數(shù)據(jù)遠(yuǎn)程鏡像或復(fù)制的解決方案，是一個(gè)非常成熟的解決方案，但無(wú)法提供足夠的靈活性，且成本較高，并不能保護(hù)用戶(hù)之前在存儲(chǔ)上的投資。

2.3.2 數(shù)據(jù)復(fù)制平臺(tái)

基于上述幾種技術(shù)的評(píng)估論證，最終認(rèn)為存儲(chǔ)虛擬化網(wǎng)關(guān)的方式可以使生產(chǎn)端存儲(chǔ)設(shè)備和容災(zāi)端存儲(chǔ)設(shè)備異構(gòu)，不占用服務(wù)器和存儲(chǔ)陣列資源，運(yùn)維簡(jiǎn)單統(tǒng)一，還可以整合前端異構(gòu)平臺(tái)的服務(wù)器和后端不同品牌的存儲(chǔ)設(shè)備，本地端和災(zāi)備端的設(shè)備無(wú)需成對(duì)配置，保護(hù)用戶(hù)投資和降低用戶(hù)在存儲(chǔ)設(shè)備方面的投入。代表產(chǎn)品包括IBM SVC或EMC VPLEX等，現(xiàn)一些主流存儲(chǔ)設(shè)備也提供了存儲(chǔ)虛擬化功能。數(shù)據(jù)復(fù)制平臺(tái)結(jié)合在容災(zāi)中心新增的主機(jī)設(shè)備，結(jié)合集群軟件搭建本地?cái)?shù)據(jù)庫(kù)高可用環(huán)境，通過(guò)資源池資源，新部署應(yīng)用集群，從而在容災(zāi)中心實(shí)現(xiàn)應(yīng)用級(jí)容災(zāi)環(huán)境。

2.3.3 復(fù)制鏈路帶寬測(cè)算

數(shù)據(jù)復(fù)制方式可以為同步方式，也可以為異步方式。如果采用同步復(fù)制方式，RPO可以趨近于0，但對(duì)兩中心存儲(chǔ)網(wǎng)絡(luò)帶寬和時(shí)延要求極高，如果時(shí)延RTT（往返時(shí)間）超過(guò)10毫秒，對(duì)生產(chǎn)端性能影響較大。如果采用異步復(fù)制，需對(duì)鏈路帶寬進(jìn)行合理評(píng)估測(cè)算，在經(jīng)濟(jì)性和RPO指標(biāo)方面達(dá)到合理平衡。

經(jīng)過(guò)前期跟蹤，目前核心系統(tǒng)1個(gè)小時(shí)總的數(shù)據(jù)變化量（即寫(xiě)入數(shù)據(jù)量）大概為79416MB，要在1小時(shí)（3600秒）傳送完成79416MB的數(shù)據(jù)，那最基本帶寬要求是（本文中以10Mbps帶寬≈1MB/s來(lái)估算）：

異步數(shù)據(jù)復(fù)制最小帶寬要求：可按照以下方式估算：

根據(jù)前期監(jiān)控，業(yè)務(wù)高峰期IO寫(xiě)入帶寬540MB/s，平均持續(xù)時(shí)間20秒，這20秒時(shí)間內(nèi)總寫(xiě)入數(shù)據(jù)量為：

要把這個(gè)高峰期的累積的數(shù)據(jù)傳完，假定此時(shí)不再有新的寫(xiě)入數(shù)據(jù)，在最低帶寬下將這些累積的數(shù)據(jù)傳送完畢需要多少分鐘。

經(jīng)過(guò)計(jì)算，可看出在假定沒(méi)有新數(shù)據(jù)寫(xiě)入的情況下，數(shù)據(jù)滯后9分鐘。如果此時(shí)數(shù)據(jù)源出現(xiàn)故障，那這9分鐘的數(shù)據(jù)因?yàn)闆](méi)有傳送到目的存儲(chǔ)，將會(huì)丟失。如果按照RPO≤1分鐘要求，那最小帶寬應(yīng)該約等于1Gb/s。目前整個(gè)數(shù)據(jù)約8TB，第一次進(jìn)行數(shù)據(jù)復(fù)制需要83886秒（約24小時(shí)）。綜上分析估算并考慮預(yù)留后，租用1Gbs線(xiàn)路既滿(mǎn)足RPO≤5分鐘需求，也能在初始時(shí)大約用1天的時(shí)間完成數(shù)據(jù)初始同步。在實(shí)際測(cè)試時(shí)，因設(shè)備具備消重、壓縮等功能，第一次實(shí)際耗時(shí)不到20小時(shí)。

2.4 數(shù)據(jù)級(jí)容災(zāi)

為滿(mǎn)足數(shù)據(jù)級(jí)容災(zāi)要求，利用本次新購(gòu)的Veritas Netbackup一體化備份設(shè)備，同時(shí)改造原有備份系統(tǒng)，在原物理服務(wù)器上部署Veritas Netbackup備份軟件，利用其AIR (Auto Image Replication)功能，實(shí)現(xiàn)了將兩中心備份數(shù)據(jù)互相備份功能，滿(mǎn)足了備份數(shù)據(jù)異地存放需求。

備份數(shù)據(jù)從主中心到容災(zāi)中心，或者是容災(zāi)中心到主中心，鏈路是通過(guò)業(yè)務(wù)網(wǎng)絡(luò)完成。因白天該鏈路供用戶(hù)訪(fǎng)問(wèn)使用，在制定復(fù)制策略時(shí)，時(shí)間窗口需要錯(cuò)開(kāi)業(yè)務(wù)使用時(shí)間，一般是利用晚上完成。隨著數(shù)據(jù)量的不斷增加，該帶寬可能會(huì)成為瓶頸，這是下一步跟蹤分析處理的重點(diǎn)。

2.5 容災(zāi)切換管理

當(dāng)業(yè)務(wù)主中心發(fā)生災(zāi)難時(shí)，業(yè)務(wù)系統(tǒng)從主中心整體切換到容災(zāi)中心運(yùn)行，容災(zāi)中心全面接管主中心業(yè)務(wù)。因?yàn)?zāi)難發(fā)生的不可控性以及災(zāi)難恢復(fù)的時(shí)效性要求，因此容災(zāi)中心應(yīng)具備實(shí)時(shí)按流程進(jìn)行快速接管的能力，以降低經(jīng)濟(jì)損失和社會(huì)影響。

結(jié)合Veritas InfoScale軟件套件中的Operations Manager管理軟件中的流程編排功能，并通過(guò)定制開(kāi)發(fā)，實(shí)現(xiàn)了可按照預(yù)先制定的切換步驟，以直觀的界面來(lái)執(zhí)行，每個(gè)步驟可自動(dòng)執(zhí)行也可手動(dòng)執(zhí)行，同時(shí)還可對(duì)切換過(guò)程中出錯(cuò)的部分進(jìn)行人工修復(fù)操作，從而大大提高容災(zāi)切換的時(shí)效性。

3 系統(tǒng)實(shí)現(xiàn)

經(jīng)過(guò)近3個(gè)多月的實(shí)施，在容災(zāi)中心利用新購(gòu)的小型機(jī)設(shè)備、x86服務(wù)器設(shè)備、存儲(chǔ)設(shè)備、備份設(shè)備、以及切換平臺(tái)軟件，在容災(zāi)中心新搭建了存儲(chǔ)平臺(tái)、數(shù)據(jù)復(fù)制平臺(tái)，虛擬化資源池平臺(tái)、小型機(jī)雙機(jī)平臺(tái)等，在2019年國(guó)慶期間進(jìn)行切換后，將核心業(yè)務(wù)一遷移到容災(zāi)中心作為主中心運(yùn)行。穩(wěn)定運(yùn)行2個(gè)月后，11月底在切換管理平臺(tái)的控制下，又回切到本地?cái)?shù)據(jù)中心運(yùn)行，運(yùn)行一周后又再次切換回容災(zāi)中心運(yùn)行（容災(zāi)中心作為業(yè)務(wù)主中心），完全達(dá)到目標(biāo)要求。

4 結(jié)論

本文通過(guò)采用存儲(chǔ)虛擬化網(wǎng)關(guān)技術(shù)來(lái)搭建數(shù)據(jù)復(fù)制平臺(tái)，利用備份軟件的自動(dòng)備份鏡像復(fù)制功能以及新增主機(jī)的設(shè)計(jì)方案，可在災(zāi)難發(fā)生條件下利用容災(zāi)中心主機(jī)接管新增磁盤(pán)陣列、實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的異步復(fù)制，通過(guò)切換管理平臺(tái)快速有效進(jìn)行容災(zāi)切換來(lái)實(shí)現(xiàn)核心應(yīng)用級(jí)容災(zāi)和其他應(yīng)用數(shù)據(jù)級(jí)容災(zāi)，大幅縮短系統(tǒng)宕機(jī)時(shí)間、強(qiáng)化數(shù)據(jù)安全保障，為公司業(yè)務(wù)連續(xù)性運(yùn)營(yíng)提供了重要的技術(shù)支持。