大型醫(yī)院雙活數(shù)據(jù)中心的建設(shè)與應(yīng)用

李滿堂

（徐州醫(yī)科大學(xué)附屬醫(yī)院信息處，江蘇 徐州 221000）

0 引言

隨著醫(yī)院規(guī)模的逐漸擴(kuò)大，業(yè)務(wù)系統(tǒng)的不斷增多，單一的數(shù)據(jù)中心已無(wú)法滿足大型醫(yī)院信息化發(fā)展的需要。在全社會(huì)大數(shù)據(jù)、云計(jì)算的發(fā)展背景下，醫(yī)療數(shù)據(jù)的重要性不言而喻，雙活數(shù)據(jù)中心的建設(shè)為醫(yī)院信息化的發(fā)展提供了高可靠、高冗余、高效率的支撐[1]。徐州醫(yī)科大學(xué)附屬醫(yī)院作為淮海經(jīng)濟(jì)區(qū)最大的醫(yī)療機(jī)構(gòu)，擁有信息系統(tǒng)一百多個(gè)、電腦終端三千多臺(tái)、網(wǎng)絡(luò)節(jié)點(diǎn)一千余個(gè)。這么龐大的體量，催生了極具特色的“兩地三中心”的雙活數(shù)據(jù)中心建設(shè)體系，極大地提高了醫(yī)院的運(yùn)行效率，提升了醫(yī)院的地區(qū)影響力。

1 數(shù)據(jù)中心“兩地三中心”建設(shè)的整體架構(gòu)

為滿足信息化發(fā)展規(guī)模的需要，徐州醫(yī)科大學(xué)附屬醫(yī)院共建設(shè)了三個(gè)機(jī)房，包括本部?jī)蓚€(gè)和東院區(qū)一個(gè)。三個(gè)不同的地理位置，為做“兩地三中心”的雙活提供了便利的外在條件。兩地主要指本部和東部院區(qū)，三中心包括本部?jī)蓚€(gè)地位相等的12號(hào)樓機(jī)房和4號(hào)樓機(jī)房，第三個(gè)中心則是東院的備份機(jī)房。其中12號(hào)樓和4號(hào)樓機(jī)房做到了完全雙活，無(wú)論哪個(gè)機(jī)房出現(xiàn)類似于交換機(jī)宕機(jī)、服務(wù)器故障、存儲(chǔ)損壞甚至火災(zāi)或者停電，另一個(gè)機(jī)房都可以接替其承擔(dān)的任務(wù)，保障不斷網(wǎng)、服務(wù)不間斷、數(shù)據(jù)不丟失。東院機(jī)房通過(guò)裸纖連接本部機(jī)房，主要功能是備份HIS、EMR、PACS、LIS、平臺(tái)等重要系統(tǒng)的數(shù)據(jù)庫(kù)文件，保證極端環(huán)境下，重要數(shù)據(jù)不丟失。

2 核心網(wǎng)絡(luò)雙活的實(shí)現(xiàn)過(guò)程及性能測(cè)試

2.1 場(chǎng)景介紹

核心網(wǎng)絡(luò)區(qū)域共包含10臺(tái)核心交換機(jī)，其中4臺(tái)Cisco9508作為園區(qū)核心使用，12號(hào)樓和4號(hào)樓機(jī)房各放置兩臺(tái)。因該型號(hào)設(shè)備不支持堆疊，所以做冗余網(wǎng)關(guān)，優(yōu)先級(jí)各不相同；4臺(tái)Cisco9504作為數(shù)據(jù)中心核心使用，同樣12號(hào)樓和4號(hào)樓各放兩臺(tái)，做冗余網(wǎng)關(guān)；2臺(tái)Cisco7010放置在東院區(qū)，作為東院區(qū)核心使用，同時(shí)承擔(dān)東院區(qū)備份機(jī)房網(wǎng)絡(luò)傳輸任務(wù)。因東院區(qū)核心交換機(jī)通過(guò)裸纖和本部互聯(lián)，網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，本節(jié)不做重點(diǎn)討論。

2.2 實(shí)現(xiàn)過(guò)程

如圖1所示，ABCD 4臺(tái)園區(qū)交換機(jī)呈口字型組網(wǎng)，B設(shè)備為Active，D設(shè)備為Standby，各設(shè)備之間雙鏈路聚合鏈接，提升帶寬，滿足高業(yè)務(wù)量的需要。EFGH 4臺(tái)數(shù)據(jù)中心交換機(jī)維持和園區(qū)二層環(huán)網(wǎng)相同拓?fù)?，組成另一張大二層HSRP環(huán)網(wǎng)，角色相同。為了盡可能縮小2套環(huán)網(wǎng)之間的Layer2范圍，在2套環(huán)網(wǎng)之間通過(guò)Layer3（紅色連線）的方式進(jìn)行路由互通，采用靜態(tài)路由的方式。Layer3互聯(lián)鏈路IP地址使用/32位精細(xì)地址劃分，運(yùn)維工程師合理記錄并部署規(guī)劃靜態(tài)路由條目，避免流量繞行，其中9504去往Active設(shè)備的路由優(yōu)先級(jí)最高，去往非Active設(shè)備路由優(yōu)先級(jí)次優(yōu)。

圖1 核心網(wǎng)絡(luò)拓?fù)?/p>

2.3 雙活測(cè)試

本小節(jié)著重分析解決了兩種故障情況。

第一種：如圖2所示，模擬Active 9508設(shè)備故障、9504與Active 9508之間鏈路故障。此時(shí)，9504去往Active 9508的流量會(huì)根據(jù)路由狀態(tài)切換至9508’，由于HSRP的GW地址為虛擬地址，9508二層環(huán)網(wǎng)內(nèi)會(huì)產(chǎn)生GW的ARP查詢，通過(guò)二層網(wǎng)絡(luò)自動(dòng)轉(zhuǎn)發(fā)至Standby設(shè)備，實(shí)現(xiàn)流量的自動(dòng)路徑切換。

圖2 模擬故障場(chǎng)景一

第二種：如圖3所示，Active 9508和9508’設(shè)備同時(shí)發(fā)生故障。由于數(shù)據(jù)中心9504設(shè)備與本地機(jī)房的所有9508網(wǎng)絡(luò)鏈接中斷，因此數(shù)據(jù)中心去往園區(qū)網(wǎng)的流量將會(huì)受到影響，將在9504設(shè)備上啟用事先放置好的跨機(jī)房的容災(zāi)Layer 3link，路由優(yōu)先級(jí)設(shè)置為最低，保障極端場(chǎng)景下的業(yè)務(wù)可靠。

圖3 模擬故障場(chǎng)景二

3 VSAN存儲(chǔ)雙活的實(shí)現(xiàn)過(guò)程及性能測(cè)試

3.1 場(chǎng)景介紹

如圖4所示，VSAN存儲(chǔ)分別部署在3個(gè)機(jī)房，即12號(hào)樓（DC1）、4號(hào)樓（DC2）和2號(hào)樓的仲裁機(jī)房（DC3）。一共有17臺(tái)服務(wù)器組成，包括DC1和DC2中各有8臺(tái)HPE 380 G10服務(wù)器，配置為：CPU Intel 5218R，RAM 512 GB，千兆網(wǎng)口4個(gè)，萬(wàn)兆光口4個(gè)，磁盤包括內(nèi)置2×480 GB BOSS啟動(dòng)盤，2×800 GB （寫入密集型）SSD盤，6×3.84 TB（混合型）SSD盤。DC3中包括1臺(tái)HPE 380 G9服務(wù)器，配置為：CPU E5-2620 v3，RAM 32 GB，千兆網(wǎng)口4個(gè)，磁盤包括內(nèi)置4×600 GB 15 K SAS盤。

圖4 VSAN架構(gòu)

3.2 實(shí)現(xiàn)過(guò)程

DC1和DC2之間通過(guò)40 Gbps以上，RTT<5 ms的二層組播打開(kāi)；DC3和DC1，DC3和DC2之間通過(guò)1 000 Mbps，RTT<200 ms的二層組播打開(kāi)；均配置為不同vlan的私有網(wǎng)段。VSAN中一共16個(gè)vSphere Host使用了16個(gè)IP地址用于VSAN數(shù)據(jù)網(wǎng)絡(luò)通信，VMotion中一共16個(gè)vSphere Host使用了16個(gè)IP地址用于VMotion數(shù)據(jù)網(wǎng)絡(luò)通信，建立vCenter平臺(tái)管理所有的超融合節(jié)點(diǎn)。服務(wù)器虛擬化采用vSphere Hypervisor (ESXi) 7.0U1c VMware-VMvisor-Installer-7.0U1c-17325551、vCenter Server 7.0U1d、VMware-VCSAall-7.0.1-17491101；存儲(chǔ)虛擬化采用Virtual SAN 7 Update 1、VMware-VMvisor-Installer-7.0U1c-17325551(include vsan) 、Virtual SAN Witness Appliance 7.0U1c、VMware-VirtualSAN-Witness-7.0U1c-17325551。最終可以實(shí)現(xiàn)兩個(gè)主機(jī)房的任意硬盤、節(jié)點(diǎn)損壞不會(huì)造成數(shù)據(jù)和服務(wù)丟失，并且切換時(shí)間極短，不影響正常業(yè)務(wù)的使用。

3.3 雙活測(cè)試

本小節(jié)著重從磁盤故障、主機(jī)故障、存儲(chǔ)網(wǎng)絡(luò)腦裂故障、業(yè)務(wù)網(wǎng)絡(luò)腦裂故障4個(gè)方面進(jìn)行雙活測(cè)試，詳見(jiàn)表1—4。

表1 磁盤故障雙活測(cè)試

4 備份與容災(zāi)

4.1 本部數(shù)據(jù)中心的備份存儲(chǔ)

在12號(hào)樓機(jī)房?jī)?nèi)，一臺(tái)Data Domain DD作為備份存儲(chǔ)，存儲(chǔ)所有應(yīng)用的備份數(shù)據(jù)，可以模擬成磁帶，提供非常高效的重復(fù)數(shù)據(jù)消除功能，配合備份軟件Veeam使用（Veeam通過(guò)單個(gè)基于映像的備份，可提供廣泛的功能，實(shí)現(xiàn)小于15分鐘的恢復(fù)點(diǎn)目標(biāo)，提供簡(jiǎn)化的內(nèi)置災(zāi)難恢復(fù)功能，可實(shí)施自動(dòng)恢復(fù)驗(yàn)證任務(wù)，始終確保每個(gè)文件、應(yīng)用程序或虛擬服務(wù)器都可快速恢復(fù)）[2]。后期通過(guò)DD可設(shè)置自動(dòng)復(fù)制功能，一旦備份數(shù)據(jù)寫入本地DD設(shè)備中，系統(tǒng)會(huì)自動(dòng)實(shí)時(shí)將消重后的備份數(shù)據(jù)傳輸?shù)竭h(yuǎn)端的DD設(shè)備中，達(dá)到備份數(shù)據(jù)容災(zāi)的目的。

4.2 東院區(qū)備份機(jī)房的建設(shè)

東院區(qū)擁有一臺(tái)四節(jié)存儲(chǔ)設(shè)備，用來(lái)存儲(chǔ)本部重要信息系統(tǒng)的數(shù)據(jù)庫(kù)文件。因?yàn)獒t(yī)院數(shù)據(jù)庫(kù)大多為oracle數(shù)據(jù)庫(kù)，所以選用DSG備份軟件，可支持ORACLE數(shù)據(jù)庫(kù)在非歸檔日志模式下在線熱備份。它具有智能完全備份技術(shù)，采用獨(dú)創(chuàng)壓縮版本文件系統(tǒng)，使日常備份任務(wù)變得非常簡(jiǎn)單，通過(guò)增量數(shù)據(jù)備份就能獲得完整的備份版本，能夠大幅度減少備份性能受帶寬資源限制，降低磁盤存儲(chǔ)容量75%以上，且可讀取，無(wú)需對(duì)備份數(shù)據(jù)進(jìn)行恢復(fù)即可從備份系統(tǒng)上抽取數(shù)據(jù)，并且這種數(shù)據(jù)抽取無(wú)需數(shù)據(jù)庫(kù)系統(tǒng)支持，也不需要特殊的主機(jī)環(huán)境支持。當(dāng)極端情況下，本部?jī)蓚€(gè)數(shù)據(jù)中心全部崩潰，也能保證醫(yī)院重要數(shù)據(jù)不丟失[3]。

表2 主機(jī)故障雙活測(cè)試

表3 存儲(chǔ)網(wǎng)絡(luò)腦裂故障雙活測(cè)試

表4 業(yè)務(wù)網(wǎng)絡(luò)腦裂故障雙活測(cè)試

5 結(jié)語(yǔ)

雙活數(shù)據(jù)中心的建設(shè)合理地分配了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等虛擬化資源，最大程度地提高服務(wù)器設(shè)備的利用率，使醫(yī)院的IT基礎(chǔ)架構(gòu)成為一個(gè)動(dòng)態(tài)、靈活、具有彈性的IT基礎(chǔ)架構(gòu)。它解決了系統(tǒng)及網(wǎng)絡(luò)單點(diǎn)故障問(wèn)題和性能瓶頸等問(wèn)題，提高了醫(yī)院數(shù)據(jù)中心的健壯性，在滿足業(yè)務(wù)系統(tǒng)可用性的同時(shí)保證醫(yī)院系統(tǒng)運(yùn)行安全和數(shù)據(jù)安全[4]。

雙活數(shù)據(jù)中心的建成帶動(dòng)了醫(yī)院業(yè)務(wù)的發(fā)展，提高診療效率、提升醫(yī)療服務(wù)水平。同時(shí)，以業(yè)務(wù)發(fā)展進(jìn)一步推動(dòng)信息化建設(shè)，實(shí)現(xiàn)醫(yī)院各項(xiàng)業(yè)務(wù)與信息化的良性循環(huán)，搭建了一個(gè)能夠支撐醫(yī)院未來(lái)三到五年業(yè)務(wù)發(fā)展的信息系統(tǒng)平臺(tái)，進(jìn)一步提升了醫(yī)院的區(qū)域影響力，為淮海經(jīng)濟(jì)區(qū)乃至全國(guó)人民提供更好的健康服務(wù)。