超融合架構在本院醫(yī)院信息系統中的部署和應用

葉俊，劉琴，李立，劉松林

江蘇省泰興市人民醫(yī)院 信息科，江蘇 泰州 225400

引言

隨著互聯網+醫(yī)療技術的日新月異，醫(yī)療業(yè)務系統的數據共享、互聯互通的需求日益增加，對數據中心的運營、維護一體化管理提出更高要求[1]，對底層信息系統架構的安全性、容災性、穩(wěn)定性也提出了更高的要求。在超融合技術的發(fā)展上，國外產品包括Nutanix和VMware的VSAN在內，都以自主產品為主，有成熟穩(wěn)定的優(yōu)勢，但部署了以后，只能按照各自的技術路線進行相應擴展。國內基本都是以深度優(yōu)化和整合開源技術為主，優(yōu)勢是比較開放，用戶選擇空間較大，可以支持多種虛擬化平臺，這方面要根據各醫(yī)院實際情況來進行選擇。

本院以VMware vSphere6.5超融合架構搭建服務器群，對各個子系統進行高度設備集成，在滿足本院各類應用軟件上線要求同時，保證了醫(yī)院信息系統的高可用性、業(yè)務的不間斷性、服務器部署能力和一體化管理能力的提高，利用超融合技術突破了原有刀片虛擬服務器給信息化發(fā)展瓶頸，具有更彈性的橫向擴展能力。從本院實踐來看，本院選擇超融合虛擬化和云計算技術的解決方案，體現了更強的IT資源管理和容災性能，顯著降低運營成本，提高管理靈活性[2]。

本院在2015年實施部署了一套基于EMC存儲的雙活數據中心，一套設備部署在核心機房，另一套設備部署在住院大樓，同時各部署了1套IBM FLEX刀片服務器，由虛擬機和多個節(jié)點分布式存儲資源池相結合組成一個虛擬化系統，由8臺高性能服務器和2臺EMC VPLEX網及EMC VNX存儲組成。隨著醫(yī)院業(yè)務規(guī)模和種類不斷擴大，雖然逐漸感受到服務器虛擬化帶來的便利和高效，但每當新業(yè)務需要存儲空間時，分配各項資源需要進行反復核算，無法隨服務器計算能力的擴展實現存儲容量的存儲水平或垂直擴展 ，存儲資源利用率低 ，安全性差。圖1為我院基于EMC存儲的雙活數據中心示意圖。

圖1 我院基于EMC存儲的雙活數據中心示意圖

1 虛擬化平臺基礎架構建設部署

1.1 需求分析

本次信息集成平臺方案核心就是將應用系統如：HIS、PACS、RIS、LIS、EMR等數據庫進行集成融合，便于醫(yī)院決策分析平臺，后臺運維管理系統，OA辦公自動化、數據上報平臺等順利應用。在醫(yī)療技術和計算機技術日新月異的今天，信息系統需要簡單、高效、安全、易于擴展、易于管理，利用超融合技術對硬件資源統一整合管理是迎合了這種發(fā)展趨勢[3]。

1.2 系統集成的內容

HIS、EMR、集成平臺等應用是醫(yī)院最核心的應用之一，核心HIS的數據每天提供大量用戶訪問的計算資源和存儲資源及網絡資源，其特點為需要大量的CPU和內存及需要大量的存儲IOPS性能，其他門戶和應用前置機等應用則是大并發(fā)，需要提供大量用戶訪問，然后將用戶需要的數據從數據庫中讀取，因此不需要非常大的CPU和內存，但是需要保障應用穩(wěn)定，前置機等應用支持負載均衡技術，可通過負載均衡將用戶訪問分擔到不同的前置機服務器[4]。

基于此，醫(yī)院信息系統數據中心集成平臺的建立，對各個子系統進行設備集成，滿足醫(yī)院各類應用軟件上線要求；超融合具有更彈性的橫向擴展能力，可以為數據中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數據保護，系統整合及數據遷移，實現原有系統設備利用、數據遷移及重新部署。

1.3 系統部署

1.3.1 硬件網絡部署

鑒于醫(yī)院核心應用系統為醫(yī)院信息集成平臺、電子病歷等應用，經多次論證，決定采用軟件定義的超融合模式進行環(huán)境部署，基于軟件定義的平臺以超融合打造的分布式IT架構，進行系統集中監(jiān)管，實現平臺特性的可編程化，建立從底層數據到上層應用的高可靠性、高可用性、負載均衡的網絡硬件平臺[5]。

為保障核心醫(yī)院決策分析平臺對數據存儲的大量讀寫能夠降低延遲，采用3副本，新區(qū)大樓異地部署7臺DELL R740超融合服務器，2顆Intel Xeon X5118 CPU，16顆 32 G DDR4內 存，2塊 800 GB SATA 2.5” MLC G3HS EnterpriseSSD，12塊 1.2 TB 10 K 12 Gbps SAS 2. 5” SAS，1 塊 陣 列 卡 Controller，2 塊 Intel X710‐DA2 ML22xlOGbE SFP+ Adapter，2塊 SD Media， 以 及 數 據中心部署3臺DELL R740超融合服務器，2顆Intel Xeon X5118 CPU，16顆32 G DDR4內 存，2塊800 GB SATA 2.5”MLC Enterprise SSD，8塊 960 GB SATA 2.5”MLC Enterprise SSD，1塊 陣 列 卡 Controller，2塊 Intel X710‐DA2 ML22xlOGbE SFP+ dapter，2塊SD Media，提供數據存儲空間，通過華為CE6850萬兆裸光纖將兩地數據中心連通最終實現雙活數據中心（可提供大量的計算資源），通過VMware VSAN企業(yè)級軟件定義存儲軟件將服務器虛擬化，分別提供給核心應用使用。

新的超融合基礎架構下的應用虛擬化平臺建設好后，它完全兼容現有的虛擬化平臺，并且原有的傳統架構下的虛擬機可以實現在線的數據遷移。同時對老的虛擬機版本統一升級到6.5版本。圖2為超融合服務器架構圖。

圖2 超融合服務器架構圖

1.3.2 網絡負載均衡

在醫(yī)院兩層架構的核心業(yè)務具有數據量大、高并發(fā)等特點，采用負載均衡機制，采用F5 均衡負載F5‐BIG‐LTM‐I2600根據設定的負載策略，每秒L7 請求數350 K,把請求分發(fā)到集群中的每一臺服務器上，每秒L4 連接數125 K，讓整個服務器群來處理業(yè)務請求，從而達到提升性能的作用。

1.3.3 防火墻

服務器部分屬于醫(yī)院整個數據中心最核心的部分，與其他網絡互聯時必須通過防火墻進行隔離，外部用戶只能訪問服務器端固定開放的端口，其他端口禁止掃描及使用，最大限度地保護服務器部分的安全。外網出口部分需要使用防火墻進行保護，主要功能為NAT功能，將內網地址翻譯為外網IP，內部PC可以訪問外部Internet網絡，同時也對外部網絡的攻擊進行防護。通過 VMware NSX 平臺提供的擴展服務插入和服連接口，將安全業(yè)務虛擬機透明的部署在每臺 ESXi主機上。SG‐6000‐CloudHive安全策略能夠跟隨虛擬應用的變更而動態(tài)的變化。在VMware NSX的流量重定向能力的配合下，將可能產生的漏洞端口堵住，減少攻擊，能夠實現微隔離、可視化操作[6]。

2 虛擬化技術的應用

2.1 數據庫備份與恢復

針對關鍵業(yè)務以及虛擬機本身在距離數據中心5 km處建立影子虛擬機保護，核心數據基本存放與虛擬化平臺上，采用DELL R740備份一體機，配置2顆intel Xeon 4110 CPU，32 G內存，6塊8 T NL_SAS磁盤，提供Veer備份軟件功能。

重復數據消除技術不再需要在每臺服務器中安裝備份agent軟件，將文件分解成多個子段以確定哪些子段具有唯一性，從而最大限度地減少備份存儲需求，可對全虛擬化平臺業(yè)務進行自動化備份以及業(yè)務連續(xù)性保護，通過基于中文client端的直觀用戶界面，可以輕松恢復完整虛擬機或單個文件，并采用快速磁盤備份，能夠實現可靠的恢復[7]。

2.2 安全資源池規(guī)劃

資源池劃分為計算、存儲、安全、網絡和管理5個子系統，服務器虛擬化將硬件、操作系統和應用程序一同裝入一個可遷移的虛擬機檔案文件中，能夠實現設備資源池化，每臺機器上有多個負載，對資源進行共享，軟件相對于硬件獨立，采用軟件定義的數據中心，改變了傳統數據中心的運行和管理模式，數據中心已經轉有運行在基于x86服務器的虛擬化軟件所管理。存儲池采用橫向擴展及縱向擴展，本部采用三節(jié)點全閃設備，異地采用7節(jié)點磁盤和閃存設備節(jié)點之間的延時可以在100 ms以內，延時小于5 ms；邏輯交換運行于三層網絡之上的二層網絡，與物理網絡解耦；邏輯路由在虛擬網絡之間以及虛擬網絡和物理網絡之間路由；邏輯防火墻為分布式防火墻，內核集成。

這種轉變提供了極大的靈活性和可控性，同時提高了效率，也大大降低了成本，提高現有醫(yī)院數據資源利用率，系統擴展能力強，可根據業(yè)務量彈性擴容，適應業(yè)務系統突發(fā)需求。資源能夠自動分配，縮短系統部署周期，加快業(yè)務上線速度，當集群資源不足時，可對集群增加計算或存儲資源，方便醫(yī)院數據自動化、合理化分配及應用[8]。

2.3 安全配置

通過VMware NSX 平臺提供的擴展服務插入和服務連接口，第三方公司vSOM組件能夠從VMware NSX平臺同步配置信息，通過SG‐6000‐CloudHive將安全業(yè)務虛擬機透明的部署在每臺ESXi主機上?？砂凑蔗t(yī)院系統應用情況，創(chuàng)建和變更快速的制定安全策略，能夠跟隨虛擬應用場景的變更而動態(tài)的變化[9]。

3 應用效果評價

VMware vSphere6.5虛擬化技術搭建服務器群底層平臺運行近1年，陸續(xù)將之前IBM FLEX刀片服務器上EMR、PACS、移動護理等重要系統，遷移到虛擬化平臺，其應用效果明顯，主要體現在以下幾方面。

3.1 服務器替換整合

醫(yī)院的HIS、LIS、RIS業(yè)務服務器使用時間都超過8年，EMR、PACS業(yè)務服務器超過5年，內存、CPU、網絡、I/O存儲等硬件都不能滿足現有業(yè)務的需求，且由于各性能不能協調運作，造成瓶頸。將實體機原有操作系統、應用程序和數據制作成鏡像，將IBM FLEX刀片服務器添加到VMware vSphere Client控制臺，對其克隆，部分系統遷移到新虛擬化平臺，通過網絡從原有環(huán)境遷移到虛擬化所搭建的光纖通道陣列中，可以在不影響生產業(yè)務的情況下，用較快的時間將這些系統遷移到虛擬服務器上[10]。上線1年來，整合部署虛擬服務器36臺，虛擬化技術將多個系統整合到一臺服務器上，系統的兼容性問題得到解決，部署時間短，統一管理平臺，服務器的資源得到充有效的利用，可以實現零宕機的硬件維護和升級等資源得到合理利用。表1為刀片機與超融合服務器資源整合、資源部署、設備利用率等方面情況比較，差異有統計學意義（P<0.05），表明超融合具有明顯優(yōu)勢。

表1 刀片機與超融合服務器硬件資源整合、部署、利用率等方面情況比較（%）

3.2 應用系統快速部署

利用虛擬化平臺預置的虛擬機模板及虛擬機的導入、導出和復制功能，可以主動地提前規(guī)劃配置資源，快速部署了數據庫、中間件等，同時支持在線擴展內存、存儲等熱添加方式，服務器部署時間從數小時安裝系統、安全設置、打補丁等壓縮至幾分鐘，數據庫配置、應用加載、中間件部署等時間也縮減到幾分鐘，從根本上改變了新應用上線部署周期長的局面[11]。近一年來，利用虛擬化平臺部署虛擬服務器62臺，特別值得一提的是，在疫情防控期間，時間緊任務重，加上春節(jié)期間，無法購買到物理服務器，因為部署虛擬化服務器，大大節(jié)省購買和部署服務器時間，成功部署了疫情上報服務器、云影像服務器、預約診療服務器、分診叫號服務器、自助機服務器等，解決了大量實際困難。圖3是超融合架構在醫(yī)院信息系統中應用VSAN群集。

圖3 超融合架構在醫(yī)院信息系統中應用VSAN群集

3.3 集中統一管理平臺

醫(yī)院數據中心資源呈幾何級增加，且數據重要性不言而喻，機房服務器和存儲設備的運行管理日益重要復雜。信息工作人員登錄vSphere Web Client端在統一管理平臺里，以實現虛擬化高可用性功能，就可以對所有主機和虛擬機以及山石云格進行統一管理，全面監(jiān)管，自動通知和報警，主要包括：虛擬機模板建設及備份；虛擬機快照實現實時系統恢復；虛擬機實時監(jiān)控，在線遷移。統一管理平臺高可靠性保證不停機和數據不丟失，實現服務不中斷[12]。

4 討論

超融合虛擬化和云計算技術在我院的成功部署，滿足醫(yī)院信息集成平臺和各類應用軟件上線要求，保證醫(yī)院信息系統的高可用性，業(yè)務的不間斷，提高服務器部署能力和一體化管理能力。目前，在超融合平臺上安裝運行了近120臺各類虛擬化服務器，除HIS業(yè)務以外，還包括PACS、RIS、LIS、CIS、移動護理等所有的醫(yī)院業(yè)務辦公系統。原有刀片服務器沒有足夠的硬盤插槽，且受冷卻條件和緊湊機箱的限制，刀片服務器CPU性能較低，電源功率和機箱空間也限制了可安裝的DRAM內存容量。利用超融合技術突破了原有刀片虛擬服務器給信息化發(fā)展瓶頸[13]，能擁有更多的驅動器用于實現數據冗余和網絡共享，具有更彈性的橫向擴展能力，多節(jié)點可以通過網絡聚合起來，形成統一的資源池，可以為數據中心帶來最優(yōu)的效率、靈活性、規(guī)模、成本和數據保護[14]，有效地整合了醫(yī)院信息系統的服務器資源，減少服務器數量，降低運維成本，資源共享和容災備份，節(jié)省機房空間，減輕UPS、精密空調壓力，實現節(jié)能減排，消除了因服務器硬件故障造成的系統停機隱患。虛擬化技術在架構設計中將變得更為流行，將為醫(yī)院數字化建設提供了強有力的支撐和保障，為互聯網醫(yī)療奠定基礎。但是由于系統部署簡單，帶來虛擬機數量過多，虛擬服務器散亂現象，導致管理難度大幅提高。通過虛擬化技術，可以成功地實現服務器替換和整合，盡可能將物理服務器數量減到最少，實現軟件與硬件相對分離目標，加速應用業(yè)務和測試環(huán)境的部署，同時，借助虛擬化架構統一管理平臺，自動通知和報警，自動化容錯糾錯，降低了風險管理的難度，顯著提高各模塊可用性和可靠性，為醫(yī)院信息系統的業(yè)務連續(xù)性和節(jié)能減排做出貢獻，取得較好的經濟效益和社會效益[15]。