我院雙活數(shù)據(jù)中心的設(shè)計(jì)與實(shí)現(xiàn)

郭英杰 錢朝陽

摘要：為了應(yīng)對醫(yī)院信息系統(tǒng)停機(jī)、業(yè)務(wù)中斷等風(fēng)險(xiǎn)，我院建設(shè)了雙活數(shù)據(jù)中心。當(dāng)其中任一個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)交換機(jī)、服務(wù)器、存儲、SAN交換機(jī)等出現(xiàn)故障時(shí)，應(yīng)用可以在數(shù)秒內(nèi)自動切換本數(shù)據(jù)中心其它冗余設(shè)備上或者另一個(gè)數(shù)據(jù)中心，保證了醫(yī)院業(yè)務(wù)系統(tǒng)的持續(xù)運(yùn)行；為了解決誤刪除 、數(shù)據(jù)庫、病毒入侵等邏輯錯(cuò)誤，部署了虛擬化環(huán)境下的持續(xù)數(shù)據(jù)保軟件，保證數(shù)據(jù)恢復(fù)RTO達(dá)到分鐘到級別、RPO達(dá)到秒級別，為我院HIS、EMR等應(yīng)用系統(tǒng)不間斷的運(yùn)行提供了堅(jiān)實(shí)的保障；雙活數(shù)據(jù)中心還解決了傳統(tǒng)的容災(zāi)機(jī)房網(wǎng)絡(luò)設(shè)備長期處于Active-Standby狀態(tài)并耗費(fèi)大量能源的問題、提高醫(yī)院的經(jīng)濟(jì)效益。

關(guān)鍵詞：雙活數(shù)據(jù)中心；虛擬化；持續(xù)數(shù)據(jù)保護(hù)；RTO；RPO

中圖分類號：TP308 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2018）06-0182-02

1 活數(shù)據(jù)中心實(shí)現(xiàn)的功能

一個(gè)完善的雙活數(shù)據(jù)中心架構(gòu)必須具有如下的功能：

（1）前端應(yīng)用服務(wù)器可以從兩個(gè)數(shù)據(jù)中心均能對同一份數(shù)據(jù)進(jìn)行正常訪問；（2）同一個(gè)應(yīng)用的服務(wù)器可以根據(jù)實(shí)際需要部署在兩個(gè)中心當(dāng)中的任何一個(gè)或同時(shí)部署在兩個(gè)中心；（3）部署在兩個(gè)中心的應(yīng)用服務(wù)器均可以處于服務(wù)提供狀態(tài)，任何一個(gè)數(shù)據(jù)中心的存儲整體宕機(jī)不會影響該中心應(yīng)用系統(tǒng)的正常數(shù)據(jù)訪問；（4）在兩個(gè)中心均提供足夠的數(shù)據(jù)訪問性能和擴(kuò)展能力。

在實(shí)現(xiàn)雙活數(shù)據(jù)中心架構(gòu)的基礎(chǔ)上，兩個(gè)數(shù)據(jù)中心之間能實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的相互保護(hù)，并且實(shí)現(xiàn)智能化的故障檢測和災(zāi)難切換，從而避免傳統(tǒng)容災(zāi)技術(shù)的復(fù)雜且冗長的災(zāi)難切換的過程。

2 雙活數(shù)據(jù)中心核心技術(shù)體現(xiàn)在以下幾方面：

2.1 以太網(wǎng)絡(luò)層面

在數(shù)據(jù)中心之間建設(shè)一張?zhí)摂M的大二層網(wǎng)絡(luò)是實(shí)現(xiàn)網(wǎng)絡(luò)雙活的基礎(chǔ)。使用大二層網(wǎng)絡(luò)的IRF（Intelligent Resilient Framework）技術(shù)一是將多臺網(wǎng)絡(luò)設(shè)備虛擬化為一臺網(wǎng)絡(luò)設(shè)備（虛擬設(shè)備），并將這些設(shè)備作為單一設(shè)備管理和使用。其優(yōu)點(diǎn)是：

（1）簡化組網(wǎng)拓?fù)浣Y(jié)構(gòu)，簡化管理，減少了設(shè)備數(shù)量少量；（2）多臺設(shè)備合并后不存環(huán)路寬，可有效的提高數(shù)據(jù)包轉(zhuǎn)發(fā)性能；（3）多臺設(shè)備之間可以實(shí)現(xiàn)無縫切換，有效提高網(wǎng)絡(luò)HA性能；（4）通過交換機(jī)的負(fù)載均衡技術(shù)，可以實(shí)現(xiàn)流量在不同數(shù)據(jù)中心間的調(diào)度以及在單數(shù)據(jù)中心內(nèi)多服務(wù)器的負(fù)載分擔(dān)；

服務(wù)器部署在兩個(gè)數(shù)據(jù)中心機(jī)房里，每個(gè)數(shù)據(jù)中心均各配置兩臺網(wǎng)絡(luò)交換機(jī)；可以是兩臺核心交換機(jī)。如果節(jié)省成本，可以是一臺核心加一臺二層匯聚交換機(jī)；通過兩個(gè)數(shù)據(jù)中心預(yù)埋的單模光纖連接，現(xiàn)兩個(gè)數(shù)據(jù)中心交換機(jī)的互聯(lián)互通。

對于醫(yī)院各個(gè)樓層的匯聚交換機(jī)，均通過預(yù)埋的光纖分別連接到兩個(gè)數(shù)據(jù)中心的核心交換機(jī)上，實(shí)現(xiàn)鏈路冗余連接，任何一條光纖或核心交換機(jī)發(fā)生故障，不影響樓層科室業(yè)務(wù)系統(tǒng)對數(shù)據(jù)中心的訪問。

2.2 服務(wù)器虛擬化層面

采用服務(wù)器虛擬化架構(gòu)解決方案在兩個(gè)數(shù)據(jù)中心之間構(gòu)建一個(gè)計(jì)算資源池，每個(gè)數(shù)據(jù)中心分別部署若干臺物理服務(wù)器，安裝Vmware虛擬化軟件，將兩個(gè)數(shù)據(jù)中心的服務(wù)器配置成為一個(gè)Vmware HA集群，有效的利用服務(wù)器資源，節(jié)省采購和運(yùn)維成本，降低管理復(fù)雜度。同時(shí)在構(gòu)建的Vmware HA集群中，任何一臺物理服務(wù)器發(fā)生故障，該服務(wù)器上的虛擬機(jī)會平滑遷移到其他的物理服務(wù)器上，保障了醫(yī)院業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行。對于醫(yī)院最重要的HIS等業(yè)務(wù)系統(tǒng)，還可以在2個(gè)虛擬機(jī)之間采用微軟的MSCS技術(shù)，保證應(yīng)用高可用；利用NATAPP的存儲技術(shù)，實(shí)現(xiàn)跨數(shù)據(jù)中心的服務(wù)器集群，任何一臺數(shù)據(jù)庫服務(wù)器或數(shù)據(jù)中心發(fā)生故障，醫(yī)院的HIS數(shù)據(jù)庫仍然能夠從另外一臺數(shù)據(jù)庫服務(wù)器繼續(xù)訪問醫(yī)院的HIS等數(shù)據(jù)庫，確保醫(yī)院業(yè)務(wù)的穩(wěn)定運(yùn)行，實(shí)現(xiàn)業(yè)務(wù)連續(xù)性。

2.3 SAN網(wǎng)絡(luò)層面

在每個(gè)數(shù)據(jù)中心各部署2臺SAN交換機(jī)，光纖交換機(jī)之間互為冗余，所以的服務(wù)器通過HBA卡與兩臺冗余的交換機(jī)進(jìn)行連接，SAN交換機(jī)再與本地的存儲的控制器連接。

2.4 存儲架構(gòu)層面

為了實(shí)現(xiàn)醫(yī)院的雙活數(shù)據(jù)中心建設(shè)，必須能夠?qū)蓚€(gè)數(shù)據(jù)中心的存儲進(jìn)行整合并虛擬成為一個(gè)存儲系統(tǒng)，將多個(gè)存儲虛擬成為一臺存儲對外服務(wù)有如下優(yōu)點(diǎn)：

（1）存儲系統(tǒng)能夠?qū)崿F(xiàn)對跨數(shù)據(jù)中心兩臺存儲系統(tǒng)的“雙寫”，任何一個(gè)業(yè)務(wù)系統(tǒng)對數(shù)據(jù)的讀寫都是通過兩條鏈路對兩臺存儲進(jìn)行操作，任何一臺存儲發(fā)生故障，數(shù)據(jù)都不會丟失；（2）任何一個(gè)數(shù)據(jù)中心的存儲發(fā)生宕機(jī)，可以通過另一個(gè)院區(qū)數(shù)據(jù)中心的存儲繼續(xù)訪問，應(yīng)用系統(tǒng)不會中斷，仍然能夠保障醫(yī)院正常業(yè)務(wù)的開展。

在由存儲系統(tǒng)構(gòu)建的雙活數(shù)據(jù)中心中，為了判斷數(shù)據(jù)中心的運(yùn)行狀態(tài)，在兩個(gè)數(shù)據(jù)中心外的任何一個(gè)樓層配置一個(gè)第三點(diǎn)仲裁，該第三點(diǎn)仲裁通過網(wǎng)絡(luò)與兩個(gè)數(shù)據(jù)中心的存儲系統(tǒng)互相通信，傳遞心跳信息，能夠?qū)崿F(xiàn)存儲之間的故障自動檢測和故障自動切換。

3 我院雙活數(shù)據(jù)中心具體實(shí)現(xiàn)

使用以上技術(shù)同時(shí)結(jié)合我院的實(shí)際情況，提出如下雙活數(shù)據(jù)中心解決方案：

3.1 網(wǎng)絡(luò)雙活

目前我院雙活數(shù)據(jù)中心為兩臺H3C核心交換機(jī)，設(shè)備位于南區(qū)核心機(jī)房，部署虛擬化服務(wù)，南區(qū)服務(wù)器、存儲通過匯聚光纖交換機(jī)接入南區(qū)一臺核心交換機(jī)，北區(qū)服務(wù)器、存儲通過匯聚光纖交換機(jī)經(jīng)物理萬兆鏈路接入南區(qū)另一臺核心交換機(jī)，保證兩個(gè)院區(qū)之間的網(wǎng)絡(luò)設(shè)備都互相連接，互相冗余，南區(qū)和北區(qū)的為大二層網(wǎng)絡(luò)，保證院區(qū)設(shè)備在同一局域網(wǎng)下。

虛擬化云計(jì)算資源主要通過12臺高性能4路X86服務(wù)器（南區(qū)有8臺、北區(qū)南區(qū)有4臺）及2套NetApp存儲（南區(qū)、北區(qū)各有1套）能夠支持30～50個(gè)醫(yī)院應(yīng)用系統(tǒng)的正常運(yùn)行。

3.2 存儲和應(yīng)用的雙活

目前的我院南、北區(qū)各部署了一套2節(jié)點(diǎn)NetApp存儲，每個(gè)節(jié)點(diǎn)都有一個(gè)控制器、磁盤柜。NetApp的MetroCluster是結(jié)合了NetApp數(shù)據(jù)鏡像、快照、控制器雙活和故障切換并能遠(yuǎn)距離實(shí)現(xiàn)（最遠(yuǎn)100公里）的一項(xiàng)雙活架構(gòu)技術(shù)。每套節(jié)點(diǎn)的數(shù)據(jù)通過Synmirror實(shí)時(shí)復(fù)制到另一個(gè)節(jié)點(diǎn)中，中間的線路會保證兩臺存儲實(shí)時(shí)進(jìn)行數(shù)據(jù)同步，保證數(shù)據(jù)的一致性。所有數(shù)據(jù)會保證存放兩份，各區(qū)的存儲分別上聯(lián)兩個(gè)存儲光纖交換機(jī)，兩個(gè)存儲交換機(jī)之間互聯(lián)，保證冗余性。

無論的南、北區(qū)數(shù)據(jù)中心其中任何一存儲節(jié)點(diǎn)發(fā)生故障，這個(gè)區(qū)的另一個(gè)節(jié)點(diǎn)會自動接管；如果兩個(gè)存儲節(jié)點(diǎn)都發(fā)生故障，那么醫(yī)院的業(yè)務(wù)會找自動切換到另一區(qū)的存儲上。借助于VMware VMotion功能可以實(shí)現(xiàn)虛擬機(jī)在不同物理服務(wù)器之間的無中斷移動。VMware 負(fù)責(zé)業(yè)務(wù)應(yīng)用漂移，Netapp存儲負(fù)責(zé)數(shù)據(jù)的漂移，整個(gè)過程對用戶透明，大大增加業(yè)務(wù)系統(tǒng)的可用性以及系統(tǒng)資源的利用率，對于基于Vmware HA和Netapp MetroCluste 的雙活數(shù)據(jù)中心架構(gòu)來說，如果在其中一個(gè)數(shù)據(jù)中心發(fā)生了導(dǎo)致服務(wù)中斷的計(jì)劃外事件，則中斷的服務(wù)可以在容災(zāi)站點(diǎn)上重啟，最大限度地縮短了RTO。

4 邏輯數(shù)據(jù)保護(hù)

如前所述，核心交換機(jī)、存儲等采用雙活部署，兩臺存儲數(shù)據(jù)鏡像寫入，可以較好的避免存儲的物理故障，但是核心數(shù)據(jù)在邏輯上只有一份，如果虛擬化系統(tǒng)或是核心數(shù)據(jù)發(fā)生人為誤刪除、系統(tǒng)崩潰、病毒入侵，邏輯錯(cuò)誤或是丟失，將會導(dǎo)致不可預(yù)料的后果。因此對于虛擬化平臺的安全和邏輯數(shù)據(jù)保護(hù)是此次項(xiàng)目建設(shè)考慮的另外一個(gè)重點(diǎn)。

傳統(tǒng)的數(shù)據(jù)備份、容災(zāi)手段需要專業(yè)的存儲管理員和應(yīng)用管理員配合才能執(zhí)行操作，對于醫(yī)院信息中心來說是無法完成的，然而由于醫(yī)院業(yè)務(wù)需要，又要求能夠快速恢復(fù)；針對這樣的矛盾，此次方案選型應(yīng)考慮管理簡單，可以由應(yīng)用管理員自行進(jìn)行恢復(fù)。對于醫(yī)院來說一方面系統(tǒng)不能停機(jī)，另一方面不能丟失數(shù)據(jù)，對于RTO和RPO的需求都是極高的。

針對醫(yī)療行業(yè)的特殊需求，結(jié)合目前在業(yè)界最先進(jìn)的數(shù)據(jù)保護(hù)手段，要求重要業(yè)務(wù)系統(tǒng)RTO和RPO如下：RTO≤20分鐘；RPO≤1分鐘；由于業(yè)務(wù)系統(tǒng)目前已經(jīng)全面虛擬化，要求恢復(fù)的單位應(yīng)該以虛擬機(jī)為單位，包括操作系統(tǒng)，應(yīng)用程序和數(shù)據(jù)庫。我院采用EMC業(yè)界領(lǐng)先的虛擬機(jī)連續(xù)數(shù)據(jù)保護(hù)解決方案（RecoverPoint for VMs）。其特點(diǎn)：

（1）提供VCenter Plug-in管理和VCenter無縫對接，和VMware深度整合，可通過vSphere client發(fā)起對任意虛機(jī)的保護(hù)和恢復(fù)管理，無需安裝任何代理和管理軟件，簡單易用自動化程度 和存儲無關(guān)。（2）無需專門的管理界面能夠?qū)Mware的虛擬機(jī)系統(tǒng)和數(shù)據(jù)自動監(jiān)控，連續(xù)捕獲和備份數(shù)據(jù)變化，只要保護(hù)虛機(jī)的數(shù)據(jù)發(fā)生變化，便實(shí)時(shí)、準(zhǔn)確的備份下來。（3）內(nèi)置自動化流程，只需選擇要恢復(fù)的時(shí)間點(diǎn)，先在測試環(huán)境恢復(fù)測試，確認(rèn)數(shù)據(jù)沒有問題后再在原存儲上進(jìn)行數(shù)據(jù)恢復(fù)，即可將數(shù)據(jù)恢復(fù)至故障發(fā)生前的任意時(shí)間點(diǎn)，大大縮了故障恢復(fù)時(shí)間，避免了因發(fā)生邏輯性數(shù)據(jù)錯(cuò)誤時(shí)帶來的數(shù)據(jù)丟失。

5 結(jié)語

我院雙活數(shù)據(jù)中心現(xiàn)在能夠達(dá)到以下效果：

（1）服務(wù)器故障，能夠利用服務(wù)器VMwareHA技術(shù)自動切換，恢復(fù)時(shí)間：數(shù)秒鐘，據(jù)損失：0；（2）SAN交換機(jī)、HBA卡、光纖鏈路故障，醫(yī)院應(yīng)用不會造中短，恢復(fù)時(shí)間：0，數(shù)據(jù)損失：0；（3）南、北區(qū)數(shù)據(jù)中心其中任一存儲節(jié)點(diǎn)發(fā)生故障，本區(qū)另一存儲節(jié)點(diǎn)自動接管應(yīng)用，醫(yī)院應(yīng)用不會造成停頓，恢復(fù)時(shí)間：小于10秒，數(shù)據(jù)損失：0；（4）主中心數(shù)據(jù)中出現(xiàn)災(zāi)難性故障，另一數(shù)據(jù)中心的交換機(jī)、服務(wù)器、存儲會自動接管應(yīng)用，恢復(fù)時(shí)間：小于5秒，數(shù)據(jù)損失：0；（5）邏輯數(shù)據(jù)錯(cuò)誤，利用持續(xù)數(shù)據(jù)保護(hù)回滾（回滾到故障時(shí)間點(diǎn)前，主要針對數(shù)據(jù)庫類應(yīng)用），恢復(fù)時(shí)間：數(shù)分鐘，數(shù)據(jù)損失：小于3秒。

雙活數(shù)據(jù)中心建好了只是第一步，信息中心每過3個(gè)月或者半年就必須進(jìn)行一次數(shù)據(jù)中心的切換實(shí)戰(zhàn)演練，模擬數(shù)據(jù)中心可能發(fā)生的各種軟硬件故障；及時(shí)發(fā)現(xiàn)模擬切換中存在的問題并加以解決。這樣才能為醫(yī)院的應(yīng)用系統(tǒng)不間斷的運(yùn)行提供了堅(jiān)實(shí)保障。

參考文獻(xiàn)

[1]李彬，蘇悅，麥了銘，任忠敏，何彩升.醫(yī)院雙活數(shù)據(jù)中心設(shè)計(jì)和應(yīng)用[J].醫(yī)學(xué)信息學(xué)雜志，2017，38（2）：33-37.

[2]陸偉，費(fèi)家忠.醫(yī)院HIS網(wǎng)絡(luò)安全隱患與防范[J].數(shù)字技術(shù)與應(yīng)用，2011，（3）：128-129.

Abstract：In order to deal with the risk of hospital information system downtime and business interruption， our hospital has built a double live data center. When any of the network switches， servers， storage， and SAN switches in any data center failed， the application can automatically switch to other redundant devices or another data center in a few seconds to ensure the continuous operation of the hospital business system. In order to solve the logical errors such as deleting database and virus intrusion， the continuous data guarantee software under the virtualization environment is deployed to ensure that the data recovery RTO reaches the level of minutes to the second level of RPO， and provides a solid guarantee for the uninterrupted operation of HIS and EMR applications in our hospital.The double live data center also solves the problem that the traditional network equipment in the disaster tolerant machine room is in the Active-Standby state for a long time and consumes a lot of energy， and improves the economic benefit of the hospital.

Key words：dual live data center；virtualization；continuous data protection；RTO；RPO