醫(yī)院云災(zāi)備建設(shè)探索與實(shí)踐*

謝 君 李俊忠

(四川大學(xué)華西醫(yī)院信息中心/醫(yī)療信息化技術(shù)教育部工程研究中心 成都 610041) (四川省第二中醫(yī)醫(yī)院/四川省中醫(yī)藥科學(xué)院中醫(yī)研究所 成都610015)

師慶科

(四川大學(xué)華西醫(yī)院信息中心/醫(yī)療信息化技術(shù)教育部工程研究中心 成都 610041)

鄭小華 羅以強(qiáng)

(四川省衛(wèi)生信息學(xué)會(huì) 成都 610015) (四川省第二中醫(yī)醫(yī)院/四川省中醫(yī)藥科學(xué)院中醫(yī)研究所 成都610015)

1 引言

基于對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的安全保護(hù)，當(dāng)前大多數(shù)醫(yī)院已經(jīng)建設(shè)災(zāi)備系統(tǒng)，不同程度實(shí)現(xiàn)醫(yī)院重要業(yè)務(wù)數(shù)據(jù)的容災(zāi)備份，以保障業(yè)務(wù)的高可用性。隨著醫(yī)院業(yè)務(wù)規(guī)模擴(kuò)大、網(wǎng)絡(luò)安全形勢(shì)日益嚴(yán)峻，醫(yī)院在設(shè)施設(shè)備、機(jī)房管理、信息安全管理等方面對(duì)數(shù)據(jù)災(zāi)備建設(shè)提出了更加嚴(yán)格的要求[1]。而云計(jì)算、持續(xù)數(shù)據(jù)保護(hù)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)帶寬的提升，云計(jì)算服務(wù)模式的成熟，為醫(yī)院在云上進(jìn)行災(zāi)備建設(shè)(云災(zāi)備)創(chuàng)造了條件。云災(zāi)備基于云計(jì)算環(huán)境，利用云服務(wù)器作為災(zāi)備機(jī)，將數(shù)據(jù)通過網(wǎng)絡(luò)通道從本地備份到云端并提供系統(tǒng)遷移、應(yīng)用切換、應(yīng)急接管等災(zāi)備手段。其所需云計(jì)算能力、數(shù)據(jù)存儲(chǔ)量、網(wǎng)絡(luò)帶寬等指標(biāo)均可以服務(wù)方式提供，按需分配[2]。四川省第二中醫(yī)醫(yī)院為提高災(zāi)難恢復(fù)能力，規(guī)劃、探索云災(zāi)備服務(wù)類項(xiàng)目，在原有以超融合平臺(tái)及相應(yīng)備份系統(tǒng)形成的災(zāi)備架構(gòu)基礎(chǔ)上，增加部署云災(zāi)備相關(guān)系統(tǒng)，實(shí)現(xiàn)對(duì)重要數(shù)據(jù)的異地保護(hù)，進(jìn)一步提升業(yè)務(wù)數(shù)據(jù)高可用性。

2 現(xiàn)狀及需求分析

2.1 概述

四川省第二中醫(yī)醫(yī)院已建設(shè)有醫(yī)院信息系統(tǒng)(Hospital Information System，HIS)，檢驗(yàn)信息系統(tǒng)(Laboratory Information System，LIS)，醫(yī)學(xué)影像存儲(chǔ)與傳輸系統(tǒng)(Picture Archiving and Communication System，PACS)，電子病歷(Electronic Medical Record，EMR)等業(yè)務(wù)系統(tǒng)。HIS數(shù)據(jù)總量大約350GB，每年增量約20GB。當(dāng)前已經(jīng)對(duì)HIS進(jìn)行本地容災(zāi)備份，形成一定程度的高可用架構(gòu)。

2.2 超融合平臺(tái)以多副本方式實(shí)現(xiàn)虛擬機(jī)備份

HIS等系統(tǒng)部署于超融合平臺(tái)，以多副本方式進(jìn)行虛擬機(jī)數(shù)據(jù)冗余，實(shí)現(xiàn)基于硬件及虛擬機(jī)環(huán)境的高可用性[3]。當(dāng)一個(gè)虛擬機(jī)系統(tǒng)崩潰時(shí)，其他虛擬機(jī)副本可將系統(tǒng)快速拉起，迅速恢復(fù)系統(tǒng)應(yīng)用。然而當(dāng)超融合平臺(tái)本身出現(xiàn)故障甚至完全崩潰時(shí)多副本機(jī)制無法發(fā)揮作用，虛擬機(jī)中的數(shù)據(jù)庫文件無法提取，必須借助超融合平臺(tái)外的容災(zāi)機(jī)制進(jìn)行業(yè)務(wù)恢復(fù)。

2.3 Oracle DG實(shí)現(xiàn)數(shù)據(jù)本地實(shí)時(shí)備份

搭建DG服務(wù)器，以O(shè)racle DataGuard方案實(shí)現(xiàn)與HIS服務(wù)器的實(shí)時(shí)同步[4]。該方式所備份數(shù)據(jù)為實(shí)時(shí)數(shù)據(jù)，當(dāng)超融合平臺(tái)發(fā)生故障、無法啟動(dòng)時(shí)可立即將服務(wù)器切換為應(yīng)急HIS服務(wù)器并啟動(dòng)HIS服務(wù)。但應(yīng)用該方式同時(shí)存在一定弊端，一旦本地出現(xiàn)勒索病毒攻擊、備份數(shù)據(jù)庫文件被破壞時(shí)，該備份數(shù)據(jù)將無法使用，無法起到應(yīng)急恢復(fù)作用。

2.4 備份一體機(jī)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)定時(shí)備份

由1臺(tái)備份一體機(jī)與HIS服務(wù)器定時(shí)交互，每2小時(shí)對(duì)數(shù)據(jù)進(jìn)行1次增量備份，每天凌晨對(duì)數(shù)據(jù)進(jìn)行1次全量備份。該方式可以說是前兩種方式的“兜底”防護(hù)手段。因一體機(jī)具有較強(qiáng)反入侵功能，且HIS、DG服務(wù)器文件被破壞后，一體機(jī)中的備份文件因安全性高不會(huì)被連帶破壞，具有院內(nèi)數(shù)據(jù)在本地的堡壘作用。但該方式弊端較明顯，由于是定時(shí)模式，恢復(fù)時(shí)醫(yī)院將最多得到備份時(shí)間窗口為2小時(shí)的數(shù)據(jù)，無法恢復(fù)到當(dāng)機(jī)時(shí)最新數(shù)據(jù)狀態(tài)。HIS涵蓋醫(yī)療、財(cái)務(wù)、藥品等重要信息，系統(tǒng)崩潰、數(shù)據(jù)丟失將導(dǎo)致全院醫(yī)療秩序混亂、業(yè)務(wù)無法運(yùn)轉(zhuǎn)，甚至?xí)斐刹煌潭鹊纳鐣?huì)影響。為保障業(yè)務(wù)系統(tǒng)在因病毒攻擊、自然災(zāi)害等原因受到破壞、業(yè)務(wù)中斷時(shí)，能快速恢復(fù)數(shù)據(jù)和業(yè)務(wù)運(yùn)轉(zhuǎn)、確保醫(yī)療秩序，數(shù)據(jù)在異地實(shí)時(shí)容災(zāi)備份建設(shè)顯得尤為重要[5]。

3 云災(zāi)備方案設(shè)計(jì)

3.1 概述

按照數(shù)據(jù)“異地異質(zhì)”的災(zāi)備要求，基于醫(yī)院現(xiàn)有災(zāi)備建設(shè)現(xiàn)狀，結(jié)合醫(yī)院物理格局受限、無法建設(shè)專業(yè)備用機(jī)房的實(shí)際情況，考慮開展云災(zāi)備建設(shè)。通過開通院內(nèi)異地實(shí)時(shí)備份點(diǎn)、云端備份以加強(qiáng)災(zāi)備能力，解決醫(yī)院本地發(fā)生災(zāi)難時(shí)的數(shù)據(jù)恢復(fù)問題。

3.2 災(zāi)備時(shí)間指標(biāo)設(shè)計(jì)

3.2.1 指標(biāo)定義 恢復(fù)時(shí)間目標(biāo)(Recovery Time Objective，RTO)，即災(zāi)難發(fā)生后從系統(tǒng)停機(jī)導(dǎo)致業(yè)務(wù)停頓開始，到系統(tǒng)恢復(fù)可以支持業(yè)務(wù)運(yùn)營之時(shí)所需要的時(shí)間?；謴?fù)點(diǎn)目標(biāo)(Recovery Point Objective，RPO)，即發(fā)生意外災(zāi)難事件時(shí)可能丟失的數(shù)據(jù)量[6]。

3.2.2 指標(biāo)設(shè)定 HIS、LIS、PACS、EMR等系統(tǒng)作為醫(yī)院核心業(yè)務(wù)系統(tǒng)，一旦災(zāi)難發(fā)生需保證數(shù)據(jù)零丟失，同時(shí)查找原因、迅速恢復(fù)，盡量縮短業(yè)務(wù)中斷時(shí)間。因此無論采用哪種災(zāi)備方式，RPO應(yīng)設(shè)計(jì)為接近于零，即能恢復(fù)至災(zāi)難剛發(fā)生時(shí)的最新數(shù)據(jù)。而對(duì)于RTO，如果從增建的本地災(zāi)備服務(wù)器中進(jìn)行數(shù)據(jù)恢復(fù)，RTO為系統(tǒng)切換、服務(wù)啟動(dòng)時(shí)間之和，要求在30分鐘以內(nèi)。如果從云災(zāi)備服務(wù)器中進(jìn)行恢復(fù)，此時(shí)意味著發(fā)生了嚴(yán)重災(zāi)難，院內(nèi)機(jī)房及本地備份均不可用，RTO為數(shù)據(jù)合成、數(shù)據(jù)傳輸下載、系統(tǒng)啟動(dòng)恢復(fù)等時(shí)間之和，要求在15小時(shí)以內(nèi)。

3.3 技術(shù)選擇

要保證RPO接近于零的結(jié)果，需選擇連續(xù)數(shù)據(jù)保護(hù)(Continuous Data Protection，CDP)技術(shù)對(duì)數(shù)據(jù)予以采集傳輸。CDP是一種對(duì)數(shù)據(jù)在連續(xù)時(shí)間點(diǎn)進(jìn)行保護(hù)的技術(shù)，其價(jià)值在于能在故障瞬間完成任何時(shí)間點(diǎn)的故障恢復(fù)，達(dá)到保證業(yè)務(wù)快速、連續(xù)的作用。這從根本上解決了傳統(tǒng)備份中低恢復(fù)能力和非精細(xì)時(shí)間策略的問題，理論上消除了備份窗口時(shí)間。并且與目前基于存儲(chǔ)復(fù)制的容災(zāi)數(shù)據(jù)復(fù)制技術(shù)不同的是，CDP除了對(duì)災(zāi)難導(dǎo)致的數(shù)據(jù)物理破壞提供保護(hù)外還能對(duì)邏輯錯(cuò)誤導(dǎo)致的數(shù)據(jù)破壞提供保護(hù)。

3.4 容災(zāi)備份流程設(shè)計(jì)

3.4.1 云災(zāi)備架構(gòu) 在醫(yī)院遠(yuǎn)程會(huì)診室專用弱電間設(shè)置本地備份服務(wù)器，云端設(shè)置云災(zāi)備服務(wù)器，各服務(wù)器中安裝部署備份系統(tǒng)服務(wù)端。在源數(shù)據(jù)庫服務(wù)器上安裝CDP備份代理程序，利用CDP技術(shù)實(shí)時(shí)傳輸HIS數(shù)據(jù)，見圖1。

圖1 云災(zāi)備架構(gòu)

3.4.2 容災(zāi)備份流程 備份代理程序從操作系統(tǒng)驅(qū)動(dòng)層對(duì)數(shù)據(jù)庫文件夾進(jìn)行監(jiān)控，捕捉文件所有訪問操作，實(shí)時(shí)監(jiān)控文件發(fā)生的一切變化，實(shí)時(shí)提取數(shù)據(jù)變化部分及變化發(fā)生時(shí)間戳后，通過內(nèi)網(wǎng)傳輸至本地備份服務(wù)器，同時(shí)通過云災(zāi)備專線傳輸至云災(zāi)備服務(wù)器進(jìn)行存儲(chǔ)[7]。

3.5 數(shù)據(jù)應(yīng)急恢復(fù)流程設(shè)計(jì)

以假定本地機(jī)房所有備份文件不可用而必須從云端恢復(fù)，將數(shù)據(jù)及時(shí)恢復(fù)至指定時(shí)間點(diǎn)為前提來設(shè)計(jì)數(shù)據(jù)應(yīng)急恢復(fù)流程。云災(zāi)備數(shù)據(jù)恢復(fù)流程如下：首先，備份系統(tǒng)對(duì)云災(zāi)備服務(wù)器中的備份進(jìn)行數(shù)據(jù)合成，即解析備份數(shù)據(jù)并根據(jù)日志文件將其恢復(fù)至指定時(shí)間點(diǎn)。其次，將得到的恢復(fù)文件通過專線傳輸至本地災(zāi)備服務(wù)器并導(dǎo)入數(shù)據(jù)庫。為減小帶寬壓力、縮短傳輸時(shí)間，對(duì)數(shù)據(jù)在傳輸前進(jìn)行壓縮，傳輸后進(jìn)行解壓。最后，進(jìn)行系統(tǒng)啟動(dòng)恢復(fù)，即將恢復(fù)后的數(shù)據(jù)庫文件在業(yè)務(wù)系統(tǒng)中導(dǎo)入并啟動(dòng)系統(tǒng)，以保障業(yè)務(wù)系統(tǒng)繼續(xù)可用，見圖2。

圖2 恢復(fù)應(yīng)急流程

3.6 災(zāi)備軟件功能設(shè)計(jì)

3.6.1 架構(gòu)及技術(shù) 對(duì)災(zāi)備軟件要求采用瀏覽器/服務(wù)器(Browser/Server，B/S)架構(gòu)，以Web訪問方式進(jìn)行業(yè)務(wù)管理。采用CDP技術(shù)，以字節(jié)級(jí)復(fù)制方式對(duì)生產(chǎn)端數(shù)據(jù)進(jìn)行連續(xù)數(shù)據(jù)保護(hù)，實(shí)時(shí)同步到災(zāi)備服務(wù)器。對(duì)專線占用極低、不影響現(xiàn)有的業(yè)務(wù)系統(tǒng)運(yùn)行。

3.6.2 功能實(shí)現(xiàn) 支持文件數(shù)據(jù)的增量、全量備份，支持自定義存儲(chǔ)周期[8]、備份時(shí)間，可在后臺(tái)自動(dòng)運(yùn)行無需人工干預(yù)，同時(shí)能有效防御勒索病毒的破壞。支持多種常用文件格式并通過壓縮方式傳輸數(shù)據(jù)，以減少帶寬占用量。

3.7 云服務(wù)購置

3.7.1 云計(jì)算服務(wù)模式 當(dāng)前云計(jì)算服務(wù)模式正在快速發(fā)展，可將信息化項(xiàng)目所需基礎(chǔ)設(shè)施、平臺(tái)、軟件等以服務(wù)形式提供給需方，需方可采購整體服務(wù)，此類案例已較為普遍。云計(jì)算服務(wù)模式包括以下3類：一是軟件即服務(wù)(Software as a Service，SaaS)，其將應(yīng)用作為服務(wù)提供給客戶；二是平臺(tái)即服務(wù)(Platform as a Service， PaaS)，其將開發(fā)、運(yùn)行平臺(tái)作為服務(wù)提供給用戶；三是基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service，IaaS)，其將網(wǎng)絡(luò)、虛擬機(jī)或者其他資源作為服務(wù)提供給用戶。

3.7.2 云服務(wù)購置方式 在該院云災(zāi)備服務(wù)項(xiàng)目中，網(wǎng)絡(luò)資源、機(jī)房、服務(wù)器硬件等按照IaaS方式提供；備份軟件及部署運(yùn)行按照SaaS方式提供；虛擬機(jī)、服務(wù)器操作系統(tǒng)等按照PaaS方式提供。云服務(wù)器操作系統(tǒng)采用虛擬化Linux系統(tǒng)以提高安全性、穩(wěn)定性[9]，保障備份任務(wù)7×24小時(shí)不間斷運(yùn)行[10]。專線設(shè)計(jì)為帶寬50Mbps、上下行對(duì)稱的傳輸通道。云服務(wù)器部署及備份軟件安裝配置、運(yùn)行維護(hù)以及相應(yīng)專線、帶寬等由云服務(wù)商作為整體服務(wù)提供，醫(yī)院以租用形式購買。

4 實(shí)施結(jié)果

4.1 災(zāi)備時(shí)間指標(biāo)測(cè)算評(píng)估

4.1.1 災(zāi)備時(shí)間指標(biāo)隨帶寬變化測(cè)試結(jié)果 在當(dāng)前系統(tǒng)數(shù)據(jù)量的條件下，經(jīng)測(cè)試各RPO約等于0。在當(dāng)前帶寬為50Mbps的條件下，經(jīng)測(cè)試數(shù)據(jù)合成時(shí)間為3.5小時(shí)、數(shù)據(jù)傳輸下載時(shí)間為18.3小時(shí)、系統(tǒng)啟動(dòng)恢復(fù)時(shí)間為0.5小時(shí)，此時(shí)RTO約22.3小時(shí)，見表1。

表1 災(zāi)備時(shí)間指標(biāo)隨帶寬變化測(cè)試結(jié)果

4.1.2 其他情況 如果只需以本地?cái)?shù)據(jù)文件在遭受破壞最后一刻的實(shí)時(shí)備份來恢復(fù)數(shù)據(jù)，由于云災(zāi)備服務(wù)器中已實(shí)時(shí)存儲(chǔ)全量最新數(shù)據(jù)，該數(shù)據(jù)與生產(chǎn)庫完全一致，無需數(shù)據(jù)合成過程，即數(shù)據(jù)合成時(shí)間為0，RTO將進(jìn)一步縮短。例如，根據(jù)表1結(jié)果，50Mbps帶寬下，RTO將由原來的22.3小時(shí)變?yōu)?8.8小時(shí)。100Mbps帶寬下，RTO將由原來的13.2小時(shí)變?yōu)?.7小時(shí)。

4.2 災(zāi)備時(shí)間指標(biāo)與云服務(wù)配置關(guān)系分析

4.2.1 縮短RTO可以提升云服務(wù)配置 數(shù)據(jù)合成是備份系統(tǒng)在云服務(wù)器中的數(shù)據(jù)解析處理過程，數(shù)據(jù)合成時(shí)間與計(jì)算能力、內(nèi)存等云服務(wù)器性能有較大關(guān)系。在數(shù)據(jù)量一定的情況下，性能越高合成時(shí)間越短。數(shù)據(jù)傳輸下載時(shí)間取決于帶寬，帶寬越大下載時(shí)間越短。因此縮短RTO可以提升云服務(wù)配置。

4.2.2 配置與成本之間需要做好平衡 配置越高成本越高。云災(zāi)備是醫(yī)院數(shù)據(jù)保護(hù)的最后一道防線，醫(yī)院能容忍在多少時(shí)間內(nèi)恢復(fù)數(shù)據(jù)并長期付出多少成本守住這一道防線，是一個(gè)值得思考的問題。數(shù)據(jù)的完整性、應(yīng)用的連續(xù)性、恢復(fù)的及時(shí)性與成本之間需要做好平衡[11]。經(jīng)對(duì)成本、預(yù)期RTO目標(biāo)等因素綜合考慮，醫(yī)院將原設(shè)計(jì)的50Mbps擴(kuò)容為100Mbps。

5 建設(shè)成效

5.1 加強(qiáng)業(yè)務(wù)高可用性和災(zāi)難恢復(fù)能力

通過該項(xiàng)目實(shí)施， HIS生產(chǎn)庫數(shù)據(jù)實(shí)現(xiàn)異地實(shí)時(shí)備份，RPO約等于0，RTO為13.2小時(shí)，達(dá)到預(yù)期目標(biāo)，業(yè)務(wù)系統(tǒng)容災(zāi)能力得到進(jìn)一步提升，業(yè)務(wù)恢復(fù)時(shí)間進(jìn)一步縮短。

5.2 云災(zāi)備建設(shè)以服務(wù)形式交付，起到降本增效作用

醫(yī)院不必一次性花費(fèi)大量資金投入到基礎(chǔ)設(shè)施、系統(tǒng)及軟件采購上，只需支付每年的服務(wù)費(fèi)用，節(jié)省大量成本。同時(shí)減少信息團(tuán)隊(duì)備份系統(tǒng)相關(guān)硬件巡視、管理等基礎(chǔ)工作的負(fù)擔(dān)[12]，將更多精力聚焦在備份管理工作上，從而減少軟硬件運(yùn)維人力投入。將項(xiàng)目建設(shè)以服務(wù)方式進(jìn)行交付，使得信息化建設(shè)進(jìn)一步回歸服務(wù)本質(zhì)。醫(yī)院只需要購買服務(wù)，按需響應(yīng)、按需擴(kuò)容，確保服務(wù)效果即可[13]。醫(yī)院在享受專業(yè)化服務(wù)的同時(shí)進(jìn)一步提升災(zāi)備效益。

5.3 不足與下一步計(jì)劃

本次建設(shè)由于為探索性建設(shè)，只對(duì)HIS、LIS數(shù)據(jù)進(jìn)行云災(zāi)備。隨著預(yù)期目標(biāo)的達(dá)成、項(xiàng)目應(yīng)用及管理的成熟，將進(jìn)一步加大投入，擴(kuò)大備份范圍，將PACS、EMR、體檢等業(yè)務(wù)系統(tǒng)納入云災(zāi)備對(duì)象，以加強(qiáng)醫(yī)院業(yè)務(wù)系統(tǒng)的高可用性。

6 結(jié)語

云災(zāi)備建設(shè)實(shí)施1年多來系統(tǒng)總體表現(xiàn)平穩(wěn)高效，專線網(wǎng)路穩(wěn)定可靠，服務(wù)滿意度較高，實(shí)現(xiàn)基于云計(jì)算環(huán)境的核心系統(tǒng)數(shù)據(jù)異地災(zāi)備，加強(qiáng)對(duì)醫(yī)院核心數(shù)據(jù)資產(chǎn)保護(hù)，達(dá)到最初的設(shè)計(jì)目標(biāo)[14]。以購買服務(wù)方式進(jìn)行云災(zāi)備建設(shè)，按需分配、彈性擴(kuò)容，在降本增效的同時(shí)有效提升醫(yī)院災(zāi)難恢復(fù)能力，最大程度降低數(shù)據(jù)丟失風(fēng)險(xiǎn)，將數(shù)據(jù)保護(hù)的最后一道防線從機(jī)房筑到云端，是醫(yī)院災(zāi)備建設(shè)的重要方式和新趨勢(shì)。