醫(yī)院雙活數(shù)據(jù)中心的建設(shè)與實(shí)踐

龐子軒，嚴(yán)武俊，韓 俗

（四川大學(xué)華西第四醫(yī)院/華西公共衛(wèi)生學(xué)院信息化建設(shè)部，四川 成都 610041）

隨著醫(yī)院信息化的發(fā)展，現(xiàn)代醫(yī)療體系對(duì)信息化的依賴程度逐漸增大，信息系統(tǒng)的穩(wěn)定運(yùn)行是醫(yī)院的信息化建設(shè)的首要任務(wù)，醫(yī)院常見業(yè)務(wù)系統(tǒng)包括HIS、LIS、PACS、電子病歷、移動(dòng)醫(yī)護(hù)、HERP 等眾多系統(tǒng)[1]。這些醫(yī)院核心業(yè)務(wù)系統(tǒng)有三個(gè)顯著特征：①業(yè)務(wù)連續(xù)性要求高，以HIS 系統(tǒng)為例，嚴(yán)格意義上不允許有停機(jī)風(fēng)險(xiǎn)；②數(shù)據(jù)增長(zhǎng)迅速，相關(guān)數(shù)據(jù)的完整性和可使用性要求越來越高，數(shù)據(jù)不允許丟失，并且可以快速進(jìn)行查詢和“還原”[2]；③隨著醫(yī)院的發(fā)展，對(duì)于后臺(tái)數(shù)據(jù)庫支撐平臺(tái)的訪問量也直線上升，對(duì)整個(gè)業(yè)務(wù)系統(tǒng)性能和擴(kuò)展性要求越來越高，直接影響業(yè)務(wù)系統(tǒng)運(yùn)行效率。《醫(yī)院信息互聯(lián)互通標(biāo)準(zhǔn)化成熟度測(cè)評(píng)指標(biāo)體系》《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》《電子病歷系統(tǒng)應(yīng)用水平分級(jí)評(píng)價(jià)標(biāo)準(zhǔn)》《四川省數(shù)字化醫(yī)院評(píng)審標(biāo)準(zhǔn)》與《衛(wèi)生健康行業(yè)信息安全工作實(shí)施方案》對(duì)數(shù)據(jù)保護(hù)、容災(zāi)備份及虛擬化（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)）都有對(duì)應(yīng)要求[3]。其中，互聯(lián)互通標(biāo)準(zhǔn)化評(píng)測(cè)、電子病歷分級(jí)評(píng)價(jià)與等保測(cè)評(píng)更是對(duì)系統(tǒng)災(zāi)難恢復(fù)體系、醫(yī)院業(yè)務(wù)系統(tǒng)的穩(wěn)定性和連續(xù)性、業(yè)務(wù)數(shù)據(jù)的高安全性和可靠性等維度有明確的評(píng)測(cè)內(nèi)容[4]。因此，建設(shè)雙活數(shù)據(jù)中心，實(shí)現(xiàn)業(yè)務(wù)高可用，避免單點(diǎn)故障導(dǎo)致的業(yè)務(wù)停機(jī)，保證多份數(shù)據(jù)可用副本[5]，最大程度的保證數(shù)據(jù)完整性和可恢復(fù)性，是醫(yī)院信息化發(fā)展過程中的必然需求[6]。另外，“兩地三中心”已成為醫(yī)院信息化IT 架構(gòu)發(fā)展的必然趨勢(shì)[7]，即同城“雙數(shù)據(jù)中心”和異地”災(zāi)備中心”模式，以“雙活”方式建設(shè)同城雙中心，將為“兩地三中心”打下夯實(shí)基礎(chǔ)，為業(yè)務(wù)的保護(hù)及擴(kuò)展提供有力保障[8]。采用雙活數(shù)據(jù)中心模式搭建醫(yī)院信息化基礎(chǔ)架構(gòu)，將極大地增強(qiáng)醫(yī)院信息化的可靠性和安全性，同時(shí)提高IT 資源利用率，為醫(yī)院業(yè)務(wù)應(yīng)用的發(fā)展提供彈性擴(kuò)展資源。為此，本文通過分析建設(shè)雙活數(shù)據(jù)中心的實(shí)踐經(jīng)驗(yàn)，深入闡述實(shí)踐過程中對(duì)當(dāng)前信息化困局的解決思路，旨在為醫(yī)院信息化的發(fā)展提供借鑒。

1 建設(shè)需求

1.1 現(xiàn)有業(yè)務(wù)系統(tǒng)現(xiàn)狀 醫(yī)院數(shù)據(jù)中心主要由HIS、LIS、電子病歷、體檢、PACS、移動(dòng)醫(yī)護(hù)等業(yè)務(wù)子系統(tǒng)構(gòu)成，由于各系統(tǒng)建成時(shí)間不同，往往存在以下問題：①應(yīng)用和數(shù)據(jù)未分離：除了HIS、PACS 有獨(dú)立的存儲(chǔ)設(shè)備外，電子病歷、移動(dòng)醫(yī)護(hù)等業(yè)務(wù)應(yīng)用產(chǎn)生的數(shù)據(jù)均保存在服務(wù)器本地硬盤上，完全依賴于服務(wù)器本身的安全性，一旦設(shè)備故障均會(huì)面臨數(shù)據(jù)丟失的風(fēng)險(xiǎn)，而且服務(wù)器本身對(duì)于容量和磁盤性能擴(kuò)展上存在瓶頸，應(yīng)用和數(shù)據(jù)應(yīng)該分離進(jìn)行保存；②系統(tǒng)性能無法整合優(yōu)化：整個(gè)系統(tǒng)當(dāng)中，HIS、PACS 系統(tǒng)數(shù)據(jù)通過獨(dú)立的磁盤陣列來承擔(dān)對(duì)應(yīng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的讀取和寫入，當(dāng)業(yè)務(wù)系統(tǒng)發(fā)展到一定規(guī)模后，現(xiàn)有存儲(chǔ)處理業(yè)務(wù)承壓能力有限，可能造成處理延時(shí)，影響系統(tǒng)的正常運(yùn)行，需要對(duì)現(xiàn)有存儲(chǔ)資源進(jìn)行整合和優(yōu)化，提升整個(gè)業(yè)務(wù)系統(tǒng)的存儲(chǔ)性能[9]；③缺乏完善高效的數(shù)據(jù)保護(hù)手段：一旦業(yè)務(wù)系統(tǒng)數(shù)據(jù)遭受邏輯錯(cuò)誤或者物理故障風(fēng)險(xiǎn)，數(shù)據(jù)完整性無法保障，缺乏恢復(fù)手段，造成核心數(shù)據(jù)的丟失是醫(yī)院無法承受的，需要完善數(shù)據(jù)保護(hù)手段；④服務(wù)器的利用率低：由于一臺(tái)服務(wù)器只能有一個(gè)操作系統(tǒng)，受系統(tǒng)和軟件開發(fā)平臺(tái)的限制，目前的CPU、內(nèi)存、硬盤空間的資源利用率都很低，大量的系統(tǒng)資源被閑置；⑤抗風(fēng)險(xiǎn)能力低：醫(yī)院核心服務(wù)器所承載的業(yè)務(wù)壓力較大，如果某臺(tái)服務(wù)器出現(xiàn)故障，相對(duì)應(yīng)的業(yè)務(wù)也將中斷，造成重大損失;⑥可管理性不高：現(xiàn)有IT 體系架構(gòu)無法根據(jù)業(yè)務(wù)量的增減及時(shí)調(diào)整資源配置，硬件資源缺乏靈活應(yīng)對(duì)業(yè)務(wù)壓力的能力。雙活數(shù)據(jù)中心的建設(shè)可以有效解決應(yīng)用系統(tǒng)數(shù)量增加和數(shù)據(jù)容量迅速增長(zhǎng)帶來的硬件利用率降低、成本增加、統(tǒng)一管理困難等問題，滿足關(guān)鍵應(yīng)用系統(tǒng)的業(yè)務(wù)連續(xù)性、高可用性要求，使關(guān)鍵服務(wù)不停頓、關(guān)鍵數(shù)據(jù)不丟失[10]。

1.2 建設(shè)需求

1.2.1 基礎(chǔ)架構(gòu)需求 醫(yī)院以前信息化系統(tǒng)主要按照傳統(tǒng)的煙囪式物理機(jī)部署，服務(wù)器種類多，配置不統(tǒng)一，存儲(chǔ)也沒有做冗余，一旦出現(xiàn)故障，輕則業(yè)務(wù)應(yīng)用受到影響不能提供服務(wù)，重則數(shù)據(jù)丟失，發(fā)生重大公共事件。現(xiàn)階段醫(yī)院的信息化系統(tǒng)已經(jīng)開始做了一些虛擬化的嘗試，將部分業(yè)務(wù)系統(tǒng)遷移到虛擬化平臺(tái)上。但是在運(yùn)行過程中依然存在缺乏整體管理能力、資源全局分配能力弱、業(yè)務(wù)整體保護(hù)水平不夠等問題，迫使整個(gè)信息化系統(tǒng)需要向一個(gè)整體的雙活云平臺(tái)架構(gòu)轉(zhuǎn)型。

1.2.2 數(shù)據(jù)整合需求 醫(yī)院涉及數(shù)據(jù)資源的主要業(yè)務(wù)系統(tǒng)有HIS、LIS、PACS 等十余種，涉及Windows、Linux 等操作系統(tǒng)，SQL 和Oracle 等數(shù)據(jù)庫類型，需要有效地匹配各類數(shù)據(jù)特點(diǎn)，提供高效的數(shù)據(jù)服務(wù)。

1.2.3 數(shù)據(jù)存儲(chǔ)需求 數(shù)據(jù)業(yè)務(wù)平臺(tái)的數(shù)據(jù)關(guān)系到整個(gè)醫(yī)院業(yè)務(wù)運(yùn)行，有三個(gè)顯著的特征：①業(yè)務(wù)的連續(xù)性：醫(yī)院業(yè)務(wù)連續(xù)性要求非常高，原則上不允許有停機(jī)風(fēng)險(xiǎn)，我院為三甲醫(yī)院，停機(jī)5 min 就要上報(bào)衛(wèi)生主管單位，超過30 min 就屬于醫(yī)療事故。②數(shù)據(jù)需長(zhǎng)期保存：根據(jù)規(guī)定醫(yī)院所有數(shù)據(jù)均需要保存一定年限，同時(shí)需要利用這些業(yè)務(wù)數(shù)據(jù)進(jìn)行二次挖掘，是提高整個(gè)醫(yī)院服務(wù)水平和未來醫(yī)院建設(shè)方向的決策基礎(chǔ)。相關(guān)數(shù)據(jù)的完整性和可使用性要求越來越高，數(shù)據(jù)必須保證完整，并且可以快速進(jìn)行查詢和恢復(fù)。③性能需求高：我院逐步朝著綜合性醫(yī)院發(fā)展，業(yè)務(wù)逐漸增加，相關(guān)終端數(shù)也在增加，對(duì)于后臺(tái)數(shù)據(jù)庫支撐平臺(tái)的訪問量也在增加，平臺(tái)性能直接影響業(yè)務(wù)系統(tǒng)效率，必須保證整個(gè)業(yè)務(wù)系統(tǒng)性能和擴(kuò)展性能夠滿足現(xiàn)有業(yè)務(wù)壓力以及未來3～5 年的業(yè)務(wù)發(fā)展要求。

1.2.4 傳統(tǒng)架構(gòu)向醫(yī)療私有云平滑過渡 為適應(yīng)新的信息化需求，我院將逐步建立起適應(yīng)我院業(yè)務(wù)特點(diǎn)的醫(yī)療私有云架構(gòu)，需求如下：①架構(gòu)上應(yīng)用與數(shù)據(jù)庫分離：前端業(yè)務(wù)應(yīng)用不涉及業(yè)務(wù)數(shù)據(jù)，通過應(yīng)用集群實(shí)現(xiàn)高可用與負(fù)載均衡，后端的數(shù)據(jù)庫系統(tǒng)通過組建數(shù)據(jù)庫集群來保護(hù)數(shù)據(jù)，提升后端的業(yè)務(wù)支撐能力;②服務(wù)器系統(tǒng)的利舊，并實(shí)現(xiàn)統(tǒng)一管理；③提升業(yè)務(wù)的高可用性和敏捷性，簡(jiǎn)化管理員工作，實(shí)現(xiàn)自動(dòng)化運(yùn)維管理。

2 建設(shè)規(guī)劃

根據(jù)上述需求，通過虛擬化、RAC、雙活等技術(shù)，解決業(yè)務(wù)系統(tǒng)對(duì)計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源的要求。通過虛擬化技術(shù)對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源進(jìn)行池化，使這些資源能夠彈性地為業(yè)務(wù)提供服務(wù)，同時(shí)具備自身高可用能力，滿足業(yè)務(wù)不中斷的需求[11]。

對(duì)于HIS 系統(tǒng)而言，系統(tǒng)壓力主要在于結(jié)構(gòu)化的Oracle 數(shù)據(jù)庫，雖然容量不大，但隨機(jī)讀寫頻繁，屬于性能要求大于容量需求的應(yīng)用，因此對(duì)于這類數(shù)據(jù)的存儲(chǔ)，優(yōu)先考慮存儲(chǔ)的讀寫性能。同時(shí)通過RAC 技術(shù)，提供強(qiáng)大的數(shù)據(jù)庫處理能力和數(shù)據(jù)高可用能力。

對(duì)于PACS 系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)，通常會(huì)保存長(zhǎng)達(dá)15 年甚至更長(zhǎng)時(shí)間，面對(duì)大量的醫(yī)學(xué)影像資料，優(yōu)先考慮存儲(chǔ)吞吐性能，利用原有存儲(chǔ)，通過存儲(chǔ)分層的方式保證性能，并對(duì)這些數(shù)據(jù)進(jìn)行有效的保護(hù)，提供快速的數(shù)據(jù)檢索能力。

總之，雙活中心的建設(shè)規(guī)劃不僅可以解決業(yè)務(wù)和數(shù)據(jù)雙活高可用性，還能實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的無縫遷移和搬遷[12]，同時(shí)也為今后的“兩地三中心”的建設(shè)打下堅(jiān)實(shí)可靠的基礎(chǔ)。

3 整體設(shè)計(jì)

雙活數(shù)據(jù)中心分為生產(chǎn)區(qū)和災(zāi)備區(qū)，以服務(wù)器虛擬化實(shí)現(xiàn)計(jì)算資源池化，以存儲(chǔ)虛擬網(wǎng)關(guān)實(shí)現(xiàn)存儲(chǔ)資源池化，以IP 交換機(jī)和FC 交換機(jī)級(jí)聯(lián)部署實(shí)現(xiàn)網(wǎng)絡(luò)冗余，從而實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源的高可用和業(yè)務(wù)的彈性部署。

3.1 計(jì)算和網(wǎng)絡(luò)資源部署 在生產(chǎn)區(qū)和災(zāi)備區(qū)分別部署兩臺(tái)光纖交換機(jī)互為冗余，生產(chǎn)區(qū)和災(zāi)備區(qū)通過兩條裸纖互連，雙鏈路互為冗余，保障網(wǎng)絡(luò)高可用；同時(shí)在生產(chǎn)區(qū)和災(zāi)備區(qū)部署服務(wù)器虛擬化系統(tǒng)，服務(wù)器虛擬化使所有計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源變得可動(dòng)態(tài)管理，提高資源利用率，同時(shí)對(duì)原有老舊服務(wù)器資源進(jìn)行虛擬化整合，增加業(yè)務(wù)高可用性[13]。

3.2 核心數(shù)據(jù)庫部署 對(duì)于Oracle 核心數(shù)據(jù)庫，可以采用基于RAC 的雙機(jī)部署，將數(shù)據(jù)庫和操作系統(tǒng)直接形成業(yè)務(wù)雙活關(guān)系，任何系統(tǒng)的破壞都可以保障數(shù)據(jù)中心業(yè)務(wù)不停機(jī)[14]。其他業(yè)務(wù)部署于虛擬化系統(tǒng)，結(jié)合RAC 雙機(jī)系統(tǒng)，實(shí)現(xiàn)全業(yè)務(wù)高可用。

3.3 存儲(chǔ)虛擬化網(wǎng)關(guān)部署

3.3.1 數(shù)據(jù)物理保護(hù) 將存儲(chǔ)虛擬化網(wǎng)關(guān)部署在生產(chǎn)區(qū)和災(zāi)備區(qū)的環(huán)境中，把不同廠家不同品牌不同型號(hào)的盤陣虛擬成一個(gè)大的資源池，開啟同步鏡像功能，系統(tǒng)會(huì)將核心數(shù)據(jù)中心磁盤陣列上的數(shù)據(jù)同步到災(zāi)備機(jī)房數(shù)據(jù)中心的磁盤陣列當(dāng)中，存儲(chǔ)虛擬化網(wǎng)關(guān)可采用窄帶寬復(fù)制技術(shù)，有效節(jié)省帶寬、存儲(chǔ)容量和成本。

3.3.2 存儲(chǔ)資源分層 通過存儲(chǔ)虛擬化網(wǎng)關(guān)將生產(chǎn)區(qū)原有存儲(chǔ)設(shè)備資源整合到存儲(chǔ)資源池中，進(jìn)行統(tǒng)一管理，并把高速盤陣和低速盤陣區(qū)分開，生成一個(gè)個(gè)不同性能的邏輯卷，滿足不同的應(yīng)用需要，使盤陣資源做到對(duì)不同應(yīng)用的按需分配。也可以把高速盤陣和低速盤陣混合，形成性能均勻的邏輯卷，以提高低速盤陣的性能，避免浪費(fèi)寶貴的盤陣資源。再配備上存儲(chǔ)虛擬化網(wǎng)關(guān)的SSD 加速功能，更能全面的提升所有盤陣的性能。

3.3.3 數(shù)據(jù)邏輯保護(hù) 通過存儲(chǔ)虛擬化網(wǎng)關(guān)提供多種形式的數(shù)據(jù)保護(hù)功能，讓數(shù)據(jù)中心更輕易的進(jìn)行存儲(chǔ)資源調(diào)配，并提供數(shù)據(jù)高可用、數(shù)據(jù)備份、容災(zāi)能力，使存儲(chǔ)系統(tǒng)能夠更好的為業(yè)務(wù)系統(tǒng)提供服務(wù)。

3.4 生產(chǎn)區(qū)和災(zāi)備區(qū)實(shí)現(xiàn)實(shí)時(shí)雙活 兩中心完成數(shù)據(jù)遷移以后，生產(chǎn)區(qū)和災(zāi)備區(qū)之間采用同步鏡像模式來保證數(shù)據(jù)的一致性，當(dāng)其中一個(gè)數(shù)據(jù)中心由于某種原因不能提供業(yè)務(wù)支撐時(shí)，另一個(gè)數(shù)據(jù)中心可以實(shí)現(xiàn)自動(dòng)接管，實(shí)現(xiàn)數(shù)據(jù)層面的雙活高可用。

4 應(yīng)用效果

我院雙活數(shù)據(jù)中心于2018 年4 月完成建設(shè)并投入運(yùn)行，此后醫(yī)院云上業(yè)務(wù)系統(tǒng)未出現(xiàn)過中斷，已不間斷運(yùn)行12000 小時(shí)，實(shí)施雙活數(shù)據(jù)中心的建設(shè)給數(shù)據(jù)中心帶來以下主要價(jià)值：①充分利舊：通過構(gòu)建雙活數(shù)據(jù)中心，對(duì)不同時(shí)期的存儲(chǔ)設(shè)備和服務(wù)器資源進(jìn)行接入管理，提升整體性能，并且無需進(jìn)行架構(gòu)改動(dòng)。②高可用性：在生產(chǎn)區(qū)和災(zāi)備區(qū)的服務(wù)器進(jìn)行虛擬化整合，建立兩組應(yīng)用層的高可用，避免單設(shè)備故障和單虛擬機(jī)故障導(dǎo)致的業(yè)務(wù)中斷。通過雙活高可用構(gòu)建的在線數(shù)據(jù)存儲(chǔ)池，可以在數(shù)據(jù)業(yè)務(wù)底層有至少兩組在線數(shù)據(jù)副本，實(shí)現(xiàn)數(shù)據(jù)高可用性，避免單點(diǎn)故障導(dǎo)致的業(yè)務(wù)中斷。③計(jì)算存儲(chǔ)資源動(dòng)態(tài)調(diào)配：存儲(chǔ)虛擬化中虛擬化網(wǎng)關(guān)兼容所有主流品牌的磁盤陣列，可以根據(jù)業(yè)務(wù)不同進(jìn)行存儲(chǔ)資源的整合、分配，根據(jù)業(yè)務(wù)資源要求按需供給；服務(wù)器虛擬化中，可以通過因需供給動(dòng)態(tài)調(diào)整業(yè)務(wù)對(duì)于服務(wù)器硬件的資源需要，提高服務(wù)器資源利用率和便于維護(hù)管理[15]。④數(shù)據(jù)保護(hù)：基于獨(dú)特的分組快照技術(shù)和CDP 保護(hù)技術(shù)，可以直接進(jìn)行數(shù)據(jù)的在線保護(hù)，系統(tǒng)資源占用性低，并且效率非常高，CDP 保護(hù)周期無時(shí)間限制。分組快照和CDP 可以隨時(shí)通過其他服務(wù)器終端進(jìn)行數(shù)據(jù)恢復(fù)驗(yàn)證，數(shù)據(jù)可驗(yàn)證性強(qiáng)，充分保證數(shù)據(jù)可用性，同時(shí)對(duì)醫(yī)院未來業(yè)務(wù)數(shù)據(jù)挖掘提供數(shù)據(jù)資源。⑤統(tǒng)一管理：存儲(chǔ)虛擬化網(wǎng)關(guān)和服務(wù)器虛擬化平臺(tái)可以分別在同一個(gè)界面中對(duì)所有存儲(chǔ)資源和服務(wù)器資源進(jìn)行分配和管理，提高管理效率和減低人為操作過多導(dǎo)致的風(fēng)險(xiǎn)。

5 總結(jié)

醫(yī)院信息化系統(tǒng)穩(wěn)定運(yùn)行是保障醫(yī)療機(jī)構(gòu)醫(yī)療服務(wù)質(zhì)量和效率的重要基礎(chǔ)，這決定了兩地三中心遠(yuǎn)程容災(zāi)架構(gòu)是醫(yī)院信息化發(fā)展必然趨勢(shì)。經(jīng)過對(duì)業(yè)務(wù)系統(tǒng)細(xì)致的調(diào)研分析，結(jié)合醫(yī)院IT 環(huán)境，利用目前穩(wěn)定可靠的新技術(shù)，完成雙活數(shù)據(jù)中心建設(shè)方案的設(shè)計(jì)。在低投入的前提下，對(duì)醫(yī)院整體IT 架構(gòu)進(jìn)行了更加科學(xué)合理的規(guī)劃，實(shí)現(xiàn)了對(duì)核心業(yè)務(wù)及數(shù)據(jù)的保護(hù)及高可用，為兩地三中心建設(shè)奠定了堅(jiān)實(shí)的基礎(chǔ)。