醫(yī)院數(shù)據(jù)中心存儲雙活實踐與探討

沈凱華 王彩杰 趙曉嫻 許懷俊

摘要：存儲系統(tǒng)與其自身的高可靠性，在數(shù)據(jù)中心建設中占有重要地位，但在實際運行過程中會出現(xiàn)，因存儲單點故障造成系統(tǒng)停機、數(shù)據(jù)丟失等風險。因此，該文以大型綜合醫(yī)院為例，通過EMC VPLEX構建雙活數(shù)據(jù)中心，最大限度滿足Oracle RAC、VMware等系統(tǒng)運行的連續(xù)性和高可用性，實現(xiàn)數(shù)據(jù)中心容災，避免因存儲單點故障造成系統(tǒng)運行風險。

關鍵詞：VPLEX;Oracle RAC;存儲雙活;存儲虛擬化;數(shù)據(jù)中心雙活

中圖分類號：TP302? ? ?文獻標識碼：A

文章編號：1009-3044（2020）16-0053-02

Abstract：The storage system and its own high reliability， in the data center construction occupies an important position， but in the actual operation process will appear， due to storage single point of failure caused by system downtime， data loss and other risks. Therefore， this paper takes the large general hospital as an example， builds dual-active data center through EMC VPLEX， maximizes the continuity and high availability of Oracle RAC， VMware and other systems， realizes the data center disaster， and avoids the risk of system operation caused by storage point failure.

Key words： VPLEX; Oracle RAC; storage dual-active; Storage virtualization; data center dual-active

與服務器本地磁盤相比，專用存儲設備在可靠性、連續(xù)性、磁盤讀寫性能上均有顯著提高。但面對當下大型綜合醫(yī)院的業(yè)務流轉，高度依賴于信息系統(tǒng)的支撐，手工紙質流程難以適應醫(yī)療業(yè)務流轉要求，醫(yī)院信息系統(tǒng)一旦出現(xiàn)停機，將會造成醫(yī)療信息無法及時傳遞，使醫(yī)療業(yè)務無法正常開展。單套或主備式存儲系統(tǒng)無法滿足核心業(yè)務系統(tǒng)對RPO（Recovery Point Object：是指當災難或緊急事件發(fā)生時，數(shù)據(jù)可以恢復到的一個過去的時間點，是衡量業(yè)務系統(tǒng)所能容忍的數(shù)據(jù)丟失量）和RTO（Recovery Time Objective：是指在故障或災難發(fā)生后，業(yè)務系統(tǒng)重新恢復運行所需要的時間長度）為零的要求。為適應醫(yī)療業(yè)務對醫(yī)院信息系統(tǒng)的連續(xù)性要求，雙活數(shù)據(jù)中心架構解決方案，可實現(xiàn)存儲故障自動切換，當其中一個存儲系統(tǒng)發(fā)生故障時，數(shù)據(jù)會自動讀寫到另一存儲，整個過程自動運行，無須人工干預主備切換，保持數(shù)據(jù)和應用程序持續(xù)在線可用。該文通過大型綜合醫(yī)院中Oracle RAC、VMware虛擬化集群在雙活存儲架構下的應用，探討雙活存儲的實踐和運維經(jīng)驗。

1 存儲雙活應用

1.1 業(yè)務系統(tǒng)部署介紹

以大型綜合醫(yī)院為例，醫(yī)院信息系統(tǒng)（HIS）、電子病歷系統(tǒng)（EMR）通過Oracle RAC集群實現(xiàn)業(yè)務高可用，影像歸檔和通信系統(tǒng) （PACS）、實驗室信息管理系統(tǒng) （LIS）等其他業(yè)務通過VMware虛擬化集群實現(xiàn)業(yè)務高可用。具體配置如下：

1）HIS系統(tǒng)基本情況：醫(yī)院信息系統(tǒng)（HIS）通過兩臺聯(lián)想System X3850 X6服務器，安裝RedHat 6.9操作系統(tǒng)和Oracle 11.2.0.4數(shù)據(jù)庫，搭建Oracle RAC集群。Oracle RAC雙活架構與傳統(tǒng)數(shù)據(jù)庫雙機熱備方式截然不同，傳統(tǒng)的數(shù)據(jù)庫主備模式始終只有一臺服務器在工作，當主服務器出現(xiàn)故障時備服務器才接管主服務器的工作，此時故障主服務器處于空閑狀態(tài)。而Oracle RAC是一種雙活模式，也就是說，集群中的服務器是并行運行狀態(tài)，可同時接受業(yè)務處理請求，因此，Oracle RAC技術既能達到業(yè)務高可用目的，又能充分利用計算資源。當集群中一臺數(shù)據(jù)庫服務器出現(xiàn)故障時，Oracle RAC通過浮動IP技術，將請求自動轉發(fā)到其他服務器節(jié)點運行，保證業(yè)務連續(xù)性。同時，傳統(tǒng)的雙機熱備架構出現(xiàn)故障時，常常需要手動或更長的切換時間，而Oracle RAC集群在出現(xiàn)故障時，可自動快速切換，切換后部分客戶端只要重發(fā)連接請求即可恢復業(yè)務。此外，一臺聯(lián)想System X3850 X6服務器，安裝RedHat 6.9操作系統(tǒng)和Oracle 11.2.0.4數(shù)據(jù)庫，搭建Oracle ADG服務。通過使用Oracle RAC+ADG架構實現(xiàn)物理級備份和災備解決方案。Oracle RAC數(shù)據(jù)庫架構實現(xiàn)了高可用性、高并發(fā)的訪問要求，計算資源得到冗余，但源數(shù)據(jù)庫還是同一個，當源數(shù)據(jù)庫出現(xiàn)損壞或異常時，便不能提供數(shù)據(jù)訪問服務，通過使用Oracle RAC+ADG架構，來保障數(shù)據(jù)層面的冗余性。三臺HIS服務器主要配置如下（CPU：2*E7-4850v4;內(nèi)存：128GB;硬盤：3*600GB 10K 2.5英寸SAS;網(wǎng)卡：1Gb網(wǎng)口*4 、10Gb網(wǎng)口*2;HBA卡：雙口16Gb HBA卡*2;RAID卡：12Gbps帶寬支持0、1、5 緩存≥1GB;電源：80+冗余電源）。

2）EMR系統(tǒng)基本情況：電子病歷系統(tǒng)（EMR）通過兩臺惠普DL580 GEN9服務器， 安裝RedHat 6.9操作系統(tǒng)和Oracle 11.2.0.4數(shù)據(jù)庫，搭建Oracle RAC集群。EMR服務器主要配置如下（CPU：4*E7-4850v4;內(nèi)存：256GB;硬盤：3*600GB 10K 2.5英寸SAS;網(wǎng)卡：1Gb網(wǎng)口*4 、10Gb網(wǎng)口*2;HBA卡：雙口16Gb HBA卡*2;磁盤控制器：內(nèi)置smart array P830i/2GB陣列控制器;電源：配置4個冗余電源）。與HIS系統(tǒng)一樣，通過Oracle RAC+ADG架構實現(xiàn)業(yè)務系統(tǒng)的高可用性、連續(xù)性，保證數(shù)據(jù)實時備份，有效災備。

3）WMware虛擬化集群基本情況：虛擬化集群通過10臺聯(lián)想SR650機架式服務器和8把思科UCS B200 M4刀片服務器，安裝ESXI6.0 U3版本系統(tǒng)，組成VMware虛擬化集群。使用虛擬化集群能有效整合服務器資源，平衡服務器資源利用率，降低信息化設備投入。VMware虛擬化集群的高可用技術更是為醫(yī)療信息業(yè)務發(fā)揮重大作用。用18臺物理服務器組成的虛擬化集群，將集群內(nèi)的虛擬服務器分布到多臺物理服務器上運行，通過vmotion技術可實現(xiàn)虛擬服務器在線遷移，即將虛擬機服務器在不關閉電源的情況下從一臺物理服務器實時遷移到另一臺物理服務器，從而可以更加方便地維護硬件、減少停機時間。集群HA（High Availability）技術，可實現(xiàn)當集群內(nèi)物理服務器出現(xiàn)意外宕機時，故障主機上面的虛擬服務器自動在本集群內(nèi)其他物理服務器上開機運行，保障業(yè)務快速恢復。

1.2 基于EMC VPLEX的雙活存儲建設

存儲集群主要為VM虛擬化集群、數(shù)據(jù)庫等提供統(tǒng)一的存儲環(huán)境。為提升系統(tǒng)可靠性，基于EMC VPLEX的存儲高可用和雙活數(shù)據(jù)中心解決方案，不僅可以幫助醫(yī)院實現(xiàn)數(shù)據(jù)中心間，在線透明遷移數(shù)據(jù)，同時能融合管理不同型號、不同品牌的異構存儲，有效利用現(xiàn)有資源，降低投入成本。

2 存在的問題

2.1 VPLEX系統(tǒng)升級對高可用影響

通過系統(tǒng)高可用，存儲高可用，網(wǎng)絡高可用，從雙活架構規(guī)劃上看，已經(jīng)滿足數(shù)據(jù)中心雙活設計要求。但在實際應用中， VPLEX升級重啟系統(tǒng)會導致部分ORACLE RAC節(jié)點出現(xiàn)重啟現(xiàn)象，對此，進行細致分析，定位故障原因。通過對比發(fā)現(xiàn)，只有HIS系統(tǒng)的ORACLE RAC節(jié)點出現(xiàn)系統(tǒng)重啟現(xiàn)象，同樣是ORACLE RAC架構的EMR系統(tǒng)在VPLEX升級重啟過程中運行正常，未出現(xiàn)重啟，同時VMware虛擬化集群內(nèi)的虛擬服務器也運行正常，說明數(shù)據(jù)中心雙活架構對EMR和VMware虛擬化集群的雙活保護是有效的。從VPLEX和HIS主機的日志分析來看，每個主機上的VPLEX LUN都有8條路徑，在NDU（無中斷升級）中VPLEX director A先發(fā)生重啟，在director A重啟成功后，director B再發(fā)生重啟。而對應的主機上發(fā)生的變化就是每個LUN的8條路徑中的4條，在director重啟時會dead，這是預期中的，不會影響I/O訪問。但是，主機HIS_RAC1和HIS_RAC2在VPLEX director A重啟時發(fā)生了重啟，而HIS_RAC2在director B重啟時又發(fā)生了重啟，分析可能與RAC的配置有關，縮小故障定位范圍，對比HIS、EMR的ORACLE RAC配置情況，發(fā)現(xiàn)EMR主機HBA卡的IO超時dev_loss_tmo值為15，HIS主機HBA卡的IO超時dev_loss_tmo值為30。HIS主機HBA卡的IO超時時間未小于RAC心跳仲裁時間，最終導致仲裁失敗，HIS主機重啟。

3 解決方法

經(jīng)過分析把故障定位于，因主機HBA卡的IO超時時間未小于ORACLE RAC仲裁時間，而引起仲裁失敗，發(fā)生主機重啟事件。通過修改HIS主機HBA卡的IO超時dev_loss_tmo值為15，避免再發(fā)生類似故障。

4 總結

實現(xiàn)數(shù)據(jù)中心雙活，不僅依賴于應用程序、操作系統(tǒng)、網(wǎng)絡系統(tǒng)、存儲系統(tǒng)的全方位雙活架構設計，也要關注各系統(tǒng)模塊之間的整體協(xié)同性，當設備故障需要自動切換時，各系統(tǒng)之間仲裁時間的設定將直接影響，雙活數(shù)據(jù)中心架構遇到故障時能否正常切換。面對復雜的數(shù)據(jù)中心雙活架構，設計時應充分考慮細節(jié)，實踐時需多維度測試，以保證數(shù)據(jù)中心雙活架構的有效性。

參考文獻：

[1] 張俊茸.基于存儲雙活技術的數(shù)據(jù)中心設計和應用[J].信息與電腦（理論版），2019（15）：147-148.

[2] 胡榜洪.醫(yī)院雙活數(shù)據(jù)中心容災模式建設的探索與實踐[J].信息與電腦（理論版），2019（15）：183-185.

[3] 季貝貝.關于服務器虛擬化在醫(yī)院信息化系統(tǒng)中的研究與應用[J].科學與信息化，2019（13）：148-150.

[4] 孫國強，金劍，李寧.基于存儲虛擬化技術的數(shù)據(jù)容災平臺設計與實現(xiàn)[J].信息系統(tǒng)工程，2019（4）：139.

[5] 周錦.基于服務器虛擬化技術和存儲虛擬化技術的醫(yī)院雙活數(shù)據(jù)中心的建立[J].科技風，2018（32）：95，99.

[6] 陳曉亮.虛擬化技術在醫(yī)院信息化建設中的應用探究[J].電腦知識與技術，2018，14（13）：202-203，207.

【通聯(lián)編輯：梁書】