基層央行數(shù)據(jù)中心存儲雙活系統(tǒng)實踐

孔春偉 柳秀秀

摘 ? 要：災備系統(tǒng)是保障業(yè)務連續(xù)性和防御系統(tǒng)風險的關鍵環(huán)節(jié)，確保關鍵業(yè)務數(shù)據(jù)安全并及時恢復故障系統(tǒng)是信息安全領域的研究熱點。文章針對中國人民銀行西寧中心支行（簡稱西寧人行）信息化建設過程中數(shù)據(jù)安全問題日益突出的現(xiàn)狀，分析了西寧人行建設災備系統(tǒng)的必要性，根據(jù)西寧人行數(shù)據(jù)中心特點，設計了詳細可行的災備方案，建成了基于SAN存儲和EMC Vplex Metro存儲虛擬化技術的存儲雙活系統(tǒng)。經(jīng)過實施部署和應用測試，西寧人行存儲雙活系統(tǒng)具有較高的可用性，可以有效地保障重要業(yè)務系統(tǒng)可靠性和數(shù)據(jù)安全性。

關鍵詞：災備;數(shù)據(jù)中心;存儲雙活;可用性;可靠性

中圖分類號：TP309.3 ? ? ? ? ?文獻標識碼：B

Abstract： Disaster preparedness is a key link in guaranteeing business continuity and defending system risks. Ensuring the security of key business data and timely recovering the failure system are the research hotspots in the field of financial information. In view of the increasingly prominent data security problems during the information construction of Xining Sub-branch， the necessity of constructing disaster preparedness system is analyzed， then based on the characteristics of Xining Sub-branch， a detailed and feasible disaster preparedness solution is designed， and a dual-live storage system is implemented with SAN storage and EMC Vplex Metro storage virtualization technology. The test experiment is carried out and the result of test showed that dual-live storage system possesses high available， the reliability and data security of important business systems are effectively guaranteed.

Key words： disaster preparedness; data center; dual-live storage; available; reliability

1 引言

隨著金融科技的快速發(fā)展，數(shù)據(jù)安全問題日益突出，國家對金融信息系統(tǒng)數(shù)據(jù)的可靠性、安全性要求越來越高。2002年8月，中國人民銀行下發(fā)了《關于加強銀行數(shù)據(jù)集中安全工作的指導意見》，要求為了保障銀行業(yè)務連續(xù)性，確保系統(tǒng)穩(wěn)健運行，銀行在實施數(shù)據(jù)集中時必須建立對應的災備中心，銀行的業(yè)務連續(xù)性計劃需在中國人民銀行備案。2005年4月，國信辦制定并發(fā)布了《重要信息系統(tǒng)災難恢復指南》，強調(diào)重要信息系統(tǒng)要具備抗毀和災備能力[1]。2007年7月，信安標委發(fā)布了災備與恢復領域第一個國家標準《信息系統(tǒng)災難恢復規(guī)范》（GB/T 20988-2007），該標準明確了信息系統(tǒng)進行災備建設的目標和內(nèi)容。2016年11月，全國人大常委會發(fā)布了《中華人民共和國網(wǎng)絡安全法》（簡稱《網(wǎng)絡安全法》），《網(wǎng)絡安全法》從法律角度規(guī)定了關鍵信息基礎設施的運營者，必須履行重要信息系統(tǒng)和數(shù)據(jù)的災備義務[2]。2019年5月，《信息安全技術 網(wǎng)絡安全等級保護基本要求》（GB/T 22239-2019）也要求重要信息系統(tǒng)須通過備份方式保證數(shù)據(jù)的完整性和安全性。一系列的國家舉措表明開展災備建設具有重要意義。

實際上，數(shù)據(jù)中心的傳統(tǒng)災備方式是本地備份和異地備份，兩種備份方式優(yōu)缺點各不相同。本地備份方式恢復速度較快，但難以抵御火災、停電、地震等災難。異地備份方式可以抵御上述災難，但存在數(shù)據(jù)恢復速度較慢，災備資源長期閑置問題[3]。以上兩種方式，已不能滿足數(shù)據(jù)中心信息系統(tǒng)對數(shù)據(jù)可靠性、安全性的要求，因此引入新的災備技術已迫在眉睫。

2 ?研究現(xiàn)狀分析

災備技術起源于20世紀70年代美國，在銀行、保險、證券等行業(yè)對災備技術的促進下，《國際災難備份標準Share 78》《業(yè)務持續(xù)性規(guī)劃者實踐指南》[4]成為主要的災備技術規(guī)范。國外數(shù)據(jù)中心災備大多采用兩地三中心模式，在德意志銀行的兩地三中心災備架構中，生產(chǎn)中心和同城災備中心自行建設運維，異地災備中心外包模式運維[5]。

中國在20世紀90年代開始關注災備技術，采用的災備系統(tǒng)主要來于國外廠商，部分已正式運行的災備設備存在著投入成本高、恢復驗證難、數(shù)據(jù)恢復單一等問題[6]。當前，西寧人行已建成生產(chǎn)中心，同城轉(zhuǎn)接中心和異地備份中心。根據(jù)西寧人行生產(chǎn)中心和同城轉(zhuǎn)接中心特點，設計了詳細可行的災備方案，建設了基于SAN存儲和EMC Vplex Metro存儲虛擬化技術的存儲雙活系統(tǒng)。

3 ?相關技術

3.1 ?存儲技術

存儲技術包括磁盤陣列技術、DAS技術、NAS技術、SAN技術等。磁盤陣列由陣列控制器管理的若干硬盤組成，是一種具有容錯功能的存儲系統(tǒng)[7]。DAS技術通過標準接口技術與服務器直接相連。在NAS技術結(jié)構中，數(shù)據(jù)處理和存儲彼此分離，存儲設備獨立為節(jié)點提供服務[8]。SAN技術在服務器和存儲設備之間建立了專用的光纖通道存儲網(wǎng)絡，具有較好的可靠性和可擴展性[9]。

3.2 ?災備技術

災備技術是在兩個相距較遠的數(shù)據(jù)中心，建立兩套及兩套以上功能相同的IT系統(tǒng)，能夠進行健康狀態(tài)監(jiān)視和功能切換。當生產(chǎn)中心應用系統(tǒng)遭受災難（如地震、火災、停電等）無法正常運行時，整個應用系統(tǒng)切換到另一數(shù)據(jù)中心，保障應用系統(tǒng)繼續(xù)正常工作[10]。

常用的災備技術主要有三種。

（1）基于磁介質(zhì)的災備技術：通過定期備份方式，將數(shù)據(jù)拷貝至磁介質(zhì)，并將磁介質(zhì)轉(zhuǎn)移到異地保存。磁介質(zhì)備份方式存在著系統(tǒng)數(shù)據(jù)量較大時介質(zhì)需求量大、容易損壞、恢復操作復雜等缺點[11]。

（2）基于數(shù)據(jù)庫的災備技術：采用數(shù)據(jù)庫系統(tǒng)的拷貝功能完成數(shù)據(jù)備份。常用的實現(xiàn)方案有GoldenGate、Oracle Data Guard等，數(shù)據(jù)庫災備技術實現(xiàn)成本較高[12]。

（3）存儲雙活技術：存儲雙活通過存儲虛擬化技術實現(xiàn)。在存儲層，不同存儲設備中的數(shù)據(jù)完全一致，與上層架構無關，具有通用性強的優(yōu)點[13]。

3.3 ?存儲雙活技術

存儲雙活采用存儲虛擬化技術實現(xiàn)。存儲虛擬化技術將物理存儲抽象成一個虛擬邏輯池，用戶操作邏輯存儲實現(xiàn)真實存儲變更，可以有效地屏蔽不同設備差異[14]。當虛擬主機通過存儲虛擬化設備讀寫數(shù)據(jù)時，數(shù)據(jù)同時寫入兩臺存儲，任意一臺存儲出現(xiàn)故障時，存儲雙活系統(tǒng)將保證業(yè)務系統(tǒng)正常運行[15]。當故障存儲被修復完成后，存儲雙活系統(tǒng)會把增量數(shù)據(jù)更新到修復好的存儲上，在虛擬主機層感知不到故障發(fā)生[16]。

4 ?存儲雙活系統(tǒng)方案選型

4.1 ?西寧人行數(shù)據(jù)中心現(xiàn)狀

當前，西寧人行建有三個數(shù)據(jù)中心，即生產(chǎn)中心、同城轉(zhuǎn)接中心、異地備份中心。在生產(chǎn)中心，存儲資源由存儲1和存儲2提供，計算資源由主機虛擬化平臺提供，主機虛擬化平臺由5臺具有雙HBA卡的X86機架式服務器組成，其上運行了VMware vSphere 5.5主機虛擬化軟件。生產(chǎn)中心存儲網(wǎng)絡設計成集中式SAN架構，5臺X86 服務器通過兩臺光纖交換機連接到兩臺存儲上，形成多鏈路冗余，拓撲如圖1所示。

4.2 ?災備需求分析

當前，西寧人行數(shù)據(jù)中心災備方式是本地備份和異地備份。本地備份恢復速度較快，但無法抵御火災、停電、地震等災難;異地備份可以抵御上述災難，但恢復速度較慢，且存在災備中心資源長期閑置問題。以上兩種方式已不能滿足西寧人行信息系統(tǒng)對數(shù)據(jù)可靠性、安全性的要求。因此，迫切需要引入新的災備技術。

4.3 ?存儲資源需求分析

經(jīng)過分析，近年西寧人行數(shù)據(jù)中心擬上線信息系統(tǒng)需存儲空間10TB，但空閑存儲資源僅為6TB，遠不能滿足需求。為了解決存儲資源不足問題，采用新技術整合現(xiàn)有存儲和新購存儲，擴大存儲資源池勢在必行。

4.4 ?存儲雙活系統(tǒng)方案選型

事實上，西寧人行數(shù)據(jù)中心機房竣工于1998年，但存儲雙活系統(tǒng)建設在2018年才開始實施。因此，存儲雙活系統(tǒng)方案的選定，需根據(jù)西寧人行當前的機房環(huán)境、網(wǎng)絡環(huán)境、服務器、虛擬化軟件、應用系統(tǒng)等因素統(tǒng)籌考慮。通過研究發(fā)現(xiàn)，存儲雙活有兩種主要實現(xiàn)方法。

（1）基于磁盤陣列同步拷貝技術的存儲雙活方案。在該方案中，磁盤陣列的兩個控制器以主備模式分別部署在生產(chǎn)中心和同城轉(zhuǎn)接中心。數(shù)據(jù)中心服務器通過主控制器讀寫數(shù)據(jù)，負載業(yè)務全部加載在主控制器，備控制器在主控制器故障時啟用。

（2）基于存儲虛擬化設備的存儲雙活方案。在該方案中，存儲虛擬化設備跨數(shù)據(jù)中心部署，當數(shù)據(jù)中心的服務器通過虛擬卷讀寫數(shù)據(jù)時，同時將數(shù)據(jù)寫入兩地存儲。服務器的訪問請求由本地存儲虛擬化設備優(yōu)先響應。當一端存儲發(fā)生故障時，存儲雙活系統(tǒng)正常工作。存儲故障被消除后，存儲雙活系統(tǒng)同步增量數(shù)據(jù)至修復完成的存儲。

通過上述對比可得，基于存儲虛擬化設備的存儲雙活系統(tǒng)具有更高的性能、更好的災備效果。因此，在本文中，存儲雙活系統(tǒng)建設采用了基于存儲虛擬化設備的方案。

5 ?存儲雙活系統(tǒng)設計與實現(xiàn)

5.1 ?存儲雙活系統(tǒng)設計原則

（1）Always Online原則。所有業(yè)務系統(tǒng)實施過程中保持連續(xù)運行，不可停機。新加入設備以旁路形式融入到現(xiàn)有SAN 環(huán)境，不改變現(xiàn)有設備連接方式。存儲資源的遷移以底層傳輸方式完成，不借助第三方導入導出手段。

（2）先并行、再統(tǒng)一，迭代推進。存儲虛擬化設備的引入，是對現(xiàn)有SAN 架構的一次重構，重構過程中創(chuàng)造出一個與現(xiàn)有存儲直連，和經(jīng)由存儲虛擬化設備間連兩種形式同時存在的并行階段。在并行階段完成業(yè)務系統(tǒng)的改造與遷移，遷移完成后，取消直連。在實際遷移過程中，由于存儲資源有限，采用多輪次遷移方法，逐輪迭代，層層推進。

（3）及時備份原則。在線遷移理論上是對業(yè)務系統(tǒng)及數(shù)據(jù)的透明、無損傳輸，但是實際操作過程中，存在由于主觀或客觀的原因，造成業(yè)務系統(tǒng)及數(shù)據(jù)損壞的情況。因此，必須做好系統(tǒng)的及時備份與歸檔工作。

5.2 ?Vplex Metro存儲虛擬化架構

通過分析西寧人行數(shù)據(jù)中心現(xiàn)狀，結(jié)合Vplex Metro存儲虛擬化架構特點，西寧人行存儲雙活系統(tǒng)建設采用Vplex Metro存儲虛擬化架構方案，方案邏輯拓撲圖如圖2所示。

在西寧人行Vplex Metro架構中，存儲虛擬化設備通過Extent、Device、Virtual Volume過程實現(xiàn)對存儲資源的組織。具體包括，存儲中劃分的LUN映射到Vplex后形成Extent，Extent 和LUN之間建立一一對應關系，兩個Extent以RAID-1形式構成一個Device，一個Device生成一個映射到主機的Virtual Volume。在Storage Views 中，主機HBA 卡上的每個端口生成一個Initiator，將對應的Initiator和Virtual Volume 編到一個View 中，實現(xiàn)將Virtual Volume對應的存儲資源映射到主機。

在西寧人行Vplex Metro架構中，生產(chǎn)中心和同城轉(zhuǎn)接中心存儲的數(shù)據(jù)經(jīng)過實時同步鏡像后呈現(xiàn)給客戶機。在主機層，Vplex Metro架構保證兩臺存儲上數(shù)據(jù)完全一致。當兩臺存儲中一臺損壞時，正常運行的另一臺存儲獨立支撐業(yè)務應用，不對生產(chǎn)系統(tǒng)的業(yè)務連續(xù)性產(chǎn)生影響。故障存儲恢復后，Vplex Metro架構自動將增量數(shù)據(jù)同步到修復好的存儲上。

5.3 ?存儲雙活系統(tǒng)實施過程

根據(jù)所述存儲雙活系統(tǒng)建設指導原則，西寧人行數(shù)據(jù)中心存儲雙活系統(tǒng)實施過程按照準備階段、旁路階段、并行階段、鏡像階段和收尾階段進行。

（1）準備階段。在接入存儲虛擬化設備之前，完成對業(yè)務系統(tǒng)的清點和分級、確定SAN網(wǎng)絡配置（端口映射與Zone 劃分）、規(guī)劃存儲資源等。

（2）旁路階段。在不影響當前設備和業(yè)務系統(tǒng)運行的前提下，初始化Vplex Metro架構，然后將Vplex設備以旁路形式加入到SAN 網(wǎng)絡。

（3）并行階段。在確保生產(chǎn)中心現(xiàn)有SAN設備與以旁路方式接入的Vplex設備之間互不干擾、同時運行情況下，對擬遷移的業(yè)務系統(tǒng)，先同時掛載在原有SAN設備和Vplex設備上，然后利用在線系統(tǒng)遷移方法，將原業(yè)務系統(tǒng)遷移至新購存儲。

（4）Metro鏡像階段。將所有業(yè)務系統(tǒng)遷移到新存儲后，拆除原存儲1，同時從主機邏輯刪除存儲2，并回收存儲2資源，將其加入到Vplex管理。通過Vplex Metro實現(xiàn)新購存儲3與存儲2之間的數(shù)據(jù)鏡像，西寧人行存儲雙活系統(tǒng)架構如圖3所示。

（5）收尾階段。Metro鏡像階段完成后，拆除多余連線及Zone配置，監(jiān)控系統(tǒng)運行，整理相關手冊和資料。

6 ?存儲雙活系統(tǒng)性能測試及結(jié)果分析

6.1 ?存儲雙活系統(tǒng)環(huán)境

存儲雙活系統(tǒng)中采用的主要設備為Vplex Metro存儲虛擬化設備、磁盤陣列、光纖交換機等，存儲雙活系統(tǒng)生產(chǎn)中心設備外觀如圖4所示。

6.2 ?存儲雙活系統(tǒng)高可用性測試

為了驗證存儲雙活系統(tǒng)的高可用性，進行如下測試。

（1）將生產(chǎn)中心的存儲與后端光纖交換機斷開連接，觀察鏡像卷和業(yè)務系統(tǒng)運行狀態(tài)。通過實際測試，發(fā)現(xiàn)當生產(chǎn)中心的存儲斷開與后端光纖交換機的連接時，Vplex Metro架構的存儲虛擬化設備無法訪問生產(chǎn)中心存儲，但生產(chǎn)中心和同城轉(zhuǎn)接中心存儲在Vplex Metro存儲虛擬化設備中組成的Virtual Volume依然可用。

（2）將同城轉(zhuǎn)接中心對應的Vplex Metro存儲虛擬化設備關閉電源，觀察集群運行狀況。通過測試，發(fā)現(xiàn)當關閉同城轉(zhuǎn)接中心對應的Vplex Metro存儲虛擬化設備的電源時集群出現(xiàn)告警，但仍然能通過生產(chǎn)中心Vplex Metro存儲虛擬化設備提供服務，業(yè)務系統(tǒng)運行正常。

（3）將生產(chǎn)中心前端光纖交換機關閉電源，觀察主機虛擬化平臺運行狀況。通過測試發(fā)現(xiàn)當關閉生產(chǎn)中心前端光纖交換機關閉電源時，主機虛擬化平臺依然能夠訪問存儲。

測試結(jié)論是西寧人行數(shù)據(jù)中心磁盤陣列、Vplex Metro架構存儲虛擬化設備、光交換機中任意單臺設備故障時，存儲雙活系統(tǒng)能夠有效降低數(shù)據(jù)丟失風險，較好地保障了業(yè)務系統(tǒng)的連續(xù)性運行。

6.3 ?存儲雙活系統(tǒng)存儲資源監(jiān)控

事實上，存儲雙活系統(tǒng)建成后，I/O得到有效集中，在存儲雙活系統(tǒng)管理界面，系統(tǒng)運行總體狀況被有效呈現(xiàn)，存儲雙活系統(tǒng)總體運行狀況展示如圖5所示。

在系統(tǒng)健康界面，Vplex Metro存儲雙活系統(tǒng)各物理模塊與邏輯組件的詳細健康狀況被清晰展示，系統(tǒng)健康界面如圖6所示。

在性能監(jiān)測界面，存儲資源I/O情況可被實時監(jiān)控，監(jiān)控內(nèi)容包括前后端帶寬、吞吐量、延遲等，存儲雙活系統(tǒng)性能監(jiān)測界面如圖7（a）（b）所示。

通過Vplex Metro架構的存儲雙活系統(tǒng)監(jiān)控系統(tǒng)整體運行情況、物理模塊與邏輯組件健康狀況、前后端帶寬、吞吐量、延遲、隊列深度等，直觀掌握了系統(tǒng)運行現(xiàn)狀、為快速定位風險點提供了決策支持，重要業(yè)務系統(tǒng)連續(xù)性得到較好保障。

7 ?結(jié)束語

本文針對基層央行信息化建設過程中，數(shù)據(jù)安全問題日益突出的現(xiàn)狀，以西寧人行數(shù)據(jù)中心為例，分析了進行災備系統(tǒng)建設的必要性。根據(jù)西寧人行生產(chǎn)中心和同城轉(zhuǎn)接中心特點，設計了有效可行的災備方案，建成了存儲雙活系統(tǒng)。存儲雙活系統(tǒng)采用SAN存儲和EMC Vplex Metro存儲虛擬化技術，實現(xiàn)了生產(chǎn)中心和同城轉(zhuǎn)接中心存儲雙活，數(shù)據(jù)中心經(jīng)過存儲虛雙活改造后，存儲資源實現(xiàn)實時高可用，RPO近似等于零，省級私有云統(tǒng)一管理存儲資源，重要業(yè)務系統(tǒng)可靠性及數(shù)據(jù)安全性得到較好保障。下一步西寧人行將積極推進存儲雙活系統(tǒng)向應用雙活的改造。

基金項目：

1. 賽爾網(wǎng)絡下一代互聯(lián)網(wǎng)技術創(chuàng)新項目（項目編號：NGll20151101）;

2. 中國人民銀行西寧中心支行重點課題（項目編號：QHJR201808）;

3. 2017年度青海師范大學青年基金項目（項目編號：17ZR16）。

參考文獻

[1] 任平泉.山西省網(wǎng)絡信息系統(tǒng)災備體系研究[J].網(wǎng)絡空間安全， 2017， 8（4）： 63-66.

[2] 王永超，魯鳴鳴.面向金融行業(yè)的大數(shù)據(jù)遷移的研究與實現(xiàn)[J].計算機工程與應用， 2018， 54（13）： 93-99.

[3] 宋文功，蔣新華.高校數(shù)據(jù)中心容災技術的探討[J].華東師范大學學報（自然科學版）， 2015， （S1）： 309-312.

[4] Suguna S， Suhasini A. Overview of Data Backup and Disaster Recovery in Cloud[C]// International Conference on Information Communication and Embedded Systems. 2015. India： IEEE， 2014： 153-158.

[5] 呂仲濤.構建“兩地三中心”運行體系[J].中國金融， 2016， （23）： 57-58.

[6] Sengupta S， Annervaz K M. Multi-site Data Distribution for Disaster Recovery——A Planning Framework[J]. Future Generation Computer Systems， 2014， （41）： 53-64.

[7] 王良清，王玉齋，李愛勤.測繪地理信息成果檔案異地災備系統(tǒng)的研建[J]. 測繪通報， 2017， （6）： 133-136.

[8] Alshammari M M， Alwan A A， Nordin A， et al. Disaster Recovery with Minimum Replica Plan for Reliability Checking in Multi-Cloud[J]. Procedia Computer Science， 2018， （130）： 247-254.

[9] 許冠軍.基于虛擬化的應用容災平臺探索[J].計算機科學， 2014， 41（11）： 426-429.

[10] Praveen S. Challagidad， Ambika S. Dalawai， Mahantesh N. Birje. Efficient and Reliable Data Recovery Technique in Cloud Computing[J]. Internet of Things and Cloud Computing， 2017， 5（1）： 13-18.

[11] Wei Chen， Yu Tingshang. Disaster Recovery of Online System Based on Cloud Computing[J]. Applied Mechanics and Materials. 2017， （865）： 636-641.

[12] Li T， Huang Y， Chen S C， etal. Data-Driven Techniques in Disaster Information Management[J]. ACM Computing Surveys， 2017， 50（1）： 1-45.

[13] Yu Jun， Yang Lihong. The Cloud Technology Double Live Date Center Information System Research and Design based on Disaster Recovery Platform[J]. Procedia Engineering， 2017， （174）： 1356-1370.

[14] Kokkinos P， Kalogeras D， Levin A， et al. Survey： Live Migration and Disaster Recovery over Long-Distance Networks[J]. ACM Computing Surveys， 2016， 49（2）： 1-36.

[15] Andrade E， Nogueira B， Matos R， etal. Availability Modeling and Analysis of a Disaster-Recovery-as-aService Solution[J]. Computing， 2017， 23（6）： 34-40.

[16] Anderson J， Meling H， Rasmussen A， etal. Local Recovery for High Availability in Strongly Consistent Cloud Services[J]. IEEE Transactions on Dependable and Secure Computing， 2015， 99（2）： 1-2.