集群在PACS系統(tǒng)中的應(yīng)用

王晨希，任海萍，李佳戈

中國食品藥品檢定研究院，北京，100050

集群在PACS系統(tǒng)中的應(yīng)用

【作者】王晨希，任海萍，李佳戈

中國食品藥品檢定研究院，北京，100050

重點介紹了如何在PACS系統(tǒng)中使用集群技術(shù)，并提出了兩種配置PACS系統(tǒng)的集群方案。

PACS；集群；解決方案；服務(wù)器

隨著PACS系統(tǒng)的廣泛應(yīng)用，用戶對PACS系統(tǒng)的高可用性和可伸縮性的要求越來越高，集群技術(shù)的出現(xiàn)則很好地解決了這一問題。集群是由一組獨立的計算機組成，這些計算機一起工作來，運行一組共同的應(yīng)用程序，這些相互獨立的服務(wù)器在網(wǎng)絡(luò)中表現(xiàn)為單一的系統(tǒng)，并以單一系統(tǒng)的模式加以管理。此單一系統(tǒng)為客戶工作站提供高可靠性的服務(wù)。集群內(nèi)的計算機在物理上通過電纜連接，程序上則通過集群軟件連接。這些連接允許計算機使用故障恢復(fù)和負載均衡的功能，這在單機上是不可能實現(xiàn)的。正是由于集群技術(shù)的出現(xiàn)，PACS系統(tǒng)服務(wù)器才可能承受巨大的訪問量，并提供7*24小時的可靠服務(wù)。

1 PACS系統(tǒng)集群的原理與設(shè)計方案

PACS系統(tǒng)應(yīng)用網(wǎng)絡(luò)技術(shù)、計算機技術(shù)和數(shù)字圖像通信技術(shù)，依據(jù)國際標(biāo)準(zhǔn)協(xié)議DICOM3.0（Digitalimaging and Communications in Medicine），實現(xiàn)醫(yī)學(xué)影像的獲取、顯示、存儲、傳輸和管理。它采用JAVA 作為編程語言，以J2EE（Java 2 Platform,Enterprise Edition）為開發(fā)平臺，以B/S方式訪問。它采用三層結(jié)構(gòu)，其應(yīng)用服務(wù)器采用JBoss+Tomcat，后臺系統(tǒng)為DICOM存儲服務(wù)器，數(shù)據(jù)庫則采用SQLServer2000，而且也可以采用Oracle數(shù)據(jù)庫。

PACS在我國發(fā)展迅速，但其體系結(jié)構(gòu)多為客戶機/服務(wù)器(Client/Server，c/s)模式。在網(wǎng)絡(luò)環(huán)境中，傳統(tǒng)的C/S模式構(gòu)建的系統(tǒng)是松散耦合結(jié)構(gòu)，通過消息傳遞機制進行對話，客戶端向服務(wù)器發(fā)出服務(wù)請求，服務(wù)器接收并進行處理客戶端的請求后將結(jié)果返回客戶端。在C/S模式中，客戶端軟件既要完成用戶交互和數(shù)據(jù)表示，又要處理應(yīng)用邏輯及與數(shù)據(jù)庫系統(tǒng)的交互，從而造成系統(tǒng)的可伸縮性差，對數(shù)據(jù)的管理不夠靈活，而且系統(tǒng)升級、安裝維護困難，費用高。體系結(jié)構(gòu)為瀏覽器/服務(wù)器（Browser/Server，B/S）模式的PACS，其客戶端僅保留表示邏輯，而將業(yè)務(wù)邏輯和事務(wù)邏輯都放在服務(wù)器端，不僅大大提高了系統(tǒng)的安全性、穩(wěn)定性，而且提高了系統(tǒng)的可維護性，還便于擴充。體系結(jié)構(gòu)如圖1所示。

圖1 PACS的結(jié)構(gòu)Fig.1 Structure of PACS

一般J2EE應(yīng)用服務(wù)器報價動輒數(shù)萬美元，這是普通開發(fā)者無力承受的。我們采用了開放源代碼的J2EE應(yīng)用服務(wù)器-JBoss，它目前還是純Java的遵從J2ee規(guī)范的EJB容器。JBoss必須接受嚴(yán)格的測試，其性能和安全性不比其他商業(yè)應(yīng)用服務(wù)器遜色。

Jakarta Tomcat是Apache軟件基金會開發(fā)的一個開發(fā)源碼的Servlet容器，同時又是Sun公司官方推薦的Servlet和JSP容器。更為可貴的是JBoss和Tomcat可以實現(xiàn)無縫集成，兩者分別實現(xiàn)了J2EE的業(yè)務(wù)邏輯層和Web層組件，把兩者整合配置可以得到一套完整的應(yīng)用服務(wù)器，而且是完全免費的。

在硬件方面，由于服務(wù)器的性能與等級的不斷提升，但硬盤的技術(shù)并未隨著變化作快速調(diào)整，致使硬盤及其內(nèi)含的資料屢受威脅，成為服務(wù)器系統(tǒng)的最大弱點。磁盤陣列柜(RAID)就硬件而言，它可以成為服務(wù)器的得力助手，因為它提供了足夠的擴容空間、安全的資料保護(服務(wù)器當(dāng)機或硬盤損毀，資料不流失)、降低服務(wù)器的維護率和維護作業(yè)簡便等功能。

就硬件結(jié)構(gòu)而言，不論是單服務(wù)器或多服務(wù)器，磁盤陣列被視為一個外設(shè)裝置，并且各自對應(yīng)一個或多個存儲區(qū)間，因此其結(jié)構(gòu)性是相當(dāng)簡單的。如此的設(shè)計方式能夠簡化服務(wù)器系統(tǒng)的結(jié)構(gòu)，以減少對服務(wù)器的功能影響；所有復(fù)雜的存儲、備份、偵錯、檢查等工作完全由RAID的控制器負責(zé)，不占用服務(wù)器的資源，使服務(wù)器達到最高的可利用率；完全獨立的硬件結(jié)構(gòu)相連接，不需要再另外加裝任何驅(qū)動程序；標(biāo)準(zhǔn)接口，安裝容易。磁盤陣列系統(tǒng)除了對硬件及內(nèi)含資料的保護之外，另外一項功能是“雙機容錯”。它可以透過一套具有監(jiān)控服務(wù)器資源管理，資源切換功能的軟件“Cluster”實現(xiàn)雙機備援的作業(yè)。

2 PACS系統(tǒng)集群的實現(xiàn)與應(yīng)用

由于醫(yī)院每天要產(chǎn)生和交換大量的醫(yī)學(xué)影像，而且醫(yī)學(xué)影像是具有高分辨率的大數(shù)據(jù)量文件，這些特點對網(wǎng)絡(luò)服務(wù)器的高可用性、存儲量和存儲速度提出了要求，所以應(yīng)用集群技術(shù)顯得十分必要。我們集群的目標(biāo)就是要實現(xiàn)應(yīng)用服務(wù)器、DICOM存儲服務(wù)器以及PACS數(shù)據(jù)庫的集群。當(dāng)主服務(wù)器出現(xiàn)故障時，熱備份服務(wù)器接管并啟動整套服務(wù)；而當(dāng)主服務(wù)器故障排除以后，熱備份服務(wù)器交出管理，由主服務(wù)器重新開始管理。集群服務(wù)器采用雙機加磁盤陣列柜結(jié)構(gòu)，其硬件連接示意圖如1-2所示。

出于雙機容錯的需要，必需選用兩臺服務(wù)器能共享的公共盤，這里我們選用有容錯功能的磁盤陣列。它有兩個SCSI主機通道，分別連接到兩臺服務(wù)器的SCSI卡上。它標(biāo)配為8個盤位，若做RAID5，它的有效容量為（8-1）*N，這里的N為單塊硬盤容量。這樣可以保證在壞一塊硬盤的情況下數(shù)據(jù)不會丟失，有效地保護了數(shù)據(jù)的安全性。在兩臺服務(wù)器上安裝雙機容錯軟件，設(shè)置成雙機熱備模式，一臺主工作機和一臺備援機。當(dāng)工作機出現(xiàn)異常，不能支持PACS系統(tǒng)運營時，備份機主動接管工作機的工作，繼續(xù)支持PACS系統(tǒng)運營，從而保證系統(tǒng)能夠不間斷地運行。當(dāng)工作機經(jīng)過維修恢復(fù)正常后，它會將其先前的工作自動抓回，恢復(fù)以前正常時的工作狀態(tài)。上述設(shè)計的方案，可實現(xiàn)數(shù)據(jù)永不丟失，系統(tǒng)永不停機的高可靠性。我們嘗試采用以下兩種軟件方案來實現(xiàn)PACS系統(tǒng)的集群服務(wù)。

圖 2 雙機加磁盤陣列硬件連接圖Fig.2 Connection of Servers and Raid

2.1 采用第三方Dataware軟件的集群解決方案

DataWare是豪威公司的一組高可用性的軟件系統(tǒng)，它可以使兩臺集群服務(wù)器達到很高的容錯級別。集群的硬件配置有雙機鏡像和磁盤陣列柜互聯(lián)兩種。前者采用了內(nèi)存鏡像技術(shù)，但是其性能比單獨一臺服務(wù)器還要低，而且容錯能力不強。而雙機與磁盤陣列柜互連結(jié)構(gòu)不采用內(nèi)存鏡像技術(shù)，因此需要有一定的切換時間（通常為60 s～180 s），但它可以有效的避免由于應(yīng)用程序自身的缺陷導(dǎo)致的系統(tǒng)癱瘓。因此這種集群方案服務(wù)器的性能要比鏡像服務(wù)器結(jié)構(gòu)的好。

這里磁盤陣列要做成RAID5，實際可用的磁盤空間減少為總磁盤數(shù)減一，可以在一塊SCSI硬盤損壞的情況下保持?jǐn)?shù)據(jù)完整。每臺服務(wù)器上安裝兩塊網(wǎng)卡，一塊用于內(nèi)部網(wǎng)絡(luò)通信和心跳偵測，另一塊用于外部網(wǎng)絡(luò)通信，且插槽的位置要一致。注意內(nèi)部網(wǎng)絡(luò)網(wǎng)線是采用交叉接法，與普通網(wǎng)線的接法不同。

軟件方面，我們把數(shù)據(jù)庫、PACS系統(tǒng)均安裝在磁盤陣列上，這樣即使一臺服務(wù)器損壞，數(shù)據(jù)仍然不受影響，另外一臺服務(wù)器可以接管應(yīng)用服務(wù)。首先連接好硬件，安裝DataWare；然后設(shè)置好兩臺機器的IP地址。這里公共網(wǎng)絡(luò)選擇的IP地址是192.168.0.5和192.168.0.6，子網(wǎng)掩碼均為255.255.255.0；內(nèi)部網(wǎng)絡(luò)的IP地址選擇10.0.0.1和10.0.0.2，子網(wǎng)掩碼為255.0.0.0。對于內(nèi)部網(wǎng)絡(luò)協(xié)議只選用TCP/IP，其他協(xié)議均勾銷掉。接下來是設(shè)置DataWare。由于我們的PACS是基于J2EE平臺的應(yīng)用服務(wù)，其中包含應(yīng)用服務(wù)器和DICOM存儲服務(wù)器，所以我們的集群要以服務(wù)(Service)的形式添加。其中我們把虛擬IP地址設(shè)置為192.168.0.11，這樣我們在集群外部可以通過這個虛擬的IP來訪問服務(wù)器集群，就像訪問一臺服務(wù)器一樣。在服務(wù)器配置中，把數(shù)據(jù)庫、Jboss應(yīng)用服務(wù)器和DICOM存儲服務(wù)器按次序添加上去，注意他們之間是存在的依存關(guān)系，后者需前者啟動了才能工作。

在完成了軟件和硬件的配置，接著在DataWare上啟動集群服務(wù)，這個過程需要40 s左右。啟動以后系統(tǒng)正常，這時集群是以雙機熱備份的方式運行，即主機機器作為主服務(wù)器，響應(yīng)外部請求提供服務(wù)；備機機器通過心跳線偵測主機，一旦主機發(fā)生運行故障，則備機接管過服務(wù)。接著我們測試集群的可用性，讓主機發(fā)生故障(這里我們采用關(guān)機)約60 s或更長時間后備機通過心跳線檢測到主機出現(xiàn)了故障，自動啟動了各項服務(wù)，這個過程叫做故障轉(zhuǎn)移(takeover)。此后我們再開主機，在備機偵測到主機正常運行后停止服務(wù)，主機自動接管動服務(wù)，這個過程叫做故障恢復(fù)（failover）。切換過程前后，我們均可從外部網(wǎng)絡(luò)通過192.168.0.11來訪問PACS的服務(wù)。

2.2 Window 2000 Advanced Server 的集群服務(wù)解決方案

Window 2000 Advanced Server支持兩個節(jié)點的集群，支持SCSI和光纖通道兩種通信方式，而Window 2000 Datacenter Server支持多達4個節(jié)點的集群，但只支持光纖通道一種通信方式。這里我們采用了Window 2000 Advanced Server。

Windows的注冊表機制使其對于獨立軟件商提供的產(chǎn)品缺乏足夠的支持；另外，盡管J2EE號稱是開放體系且與平臺無關(guān)，但在實際使用時，也還是有這樣那樣的兼容性問題，所以基于J2EE的PACS在Windows中的配置一直較為繁瑣。在Window 2000 Advanced Server中，微軟引進了兩種既能獨立使用又能聯(lián)合使用的集群技術(shù)，為用戶提供了一整套能因應(yīng)指定應(yīng)用程序或服務(wù)需要而進行選用的集群解決方案。Windows集群技術(shù)包括群集服務(wù)（CLUSTER）和網(wǎng)絡(luò)負載均衡（NLB），前者是針對數(shù)據(jù)庫、消息系統(tǒng)和文件打印服務(wù)等應(yīng)用程序支持和雙節(jié)點故障應(yīng)急支持而開發(fā)的；后者可支持多達32個節(jié)點，增強了服務(wù)器的可伸縮性，但是目前動態(tài)負載均衡還不支持?jǐn)?shù)據(jù)庫，所以我們還是采用群集服務(wù)。

此方案設(shè)備的IP地址的設(shè)置與前一方案相同，軟件則采用Window 2000 Advanced Server。集群的軟件設(shè)置步驟如下。

(1) 首先在主機上創(chuàng)建一個域（Domain），取名為pacs.com，然后在備機機器上加入這個域。

(2) 兩臺機器加入域以后，我們在“管理工具”—“活動某某服務(wù)”中添加一個專門用于集群管理的賬戶，名稱為ClusterAdmin，并把它加入到名為域管理員（Domain Admins）的組中。

(3) 先在主機上安裝集群服務(wù)組件，取名為PACSCLUSTER，使A作為其第一個節(jié)點，我們?yōu)榧涸O(shè)置的IP地址為192.168.0.11。這里要求共享介質(zhì)的磁盤為NTFS格式，即磁盤陣列的硬盤應(yīng)為NTFS格式。然后在備機上安裝集群服務(wù)，加入已經(jīng)存在的這個集群，使其成為第二個節(jié)點。這樣，我們就可以在“控制面板-管理工具-群集管理器”中看到兩個節(jié)點(Nodes)主機和備機，并對集群進行管理了。我們可以看到在Cluster資源組中有IP地址、集群名稱和共享磁盤三項資源。這些資源的所有者都是主機，因為主機是主服務(wù)器，目前管理著網(wǎng)絡(luò)，而備機是作為備用服務(wù)器的角色，等到主機出現(xiàn)故障，發(fā)生故障轉(zhuǎn)移時候，集群管理器中將顯示資源的所有者是備用機器。

(4) 安裝數(shù)據(jù)庫SQL Server 2000。數(shù)據(jù)庫在集群中以一個虛擬服務(wù)器的形式出現(xiàn)，其中在選擇安裝位置的時候應(yīng)選擇“Virtual Server”，并分配給虛擬的服務(wù)器一個單獨的IP地址192.168.0.12。安裝完以后，可以在“集群管理器”的集群資源組中看到SQL的相關(guān)資源。

(5) 接著我們把PACS中的JBoss、DICOM兩個服務(wù)（均有可執(zhí)行文件，并作為命令行方式運行）作為通用應(yīng)用程序添加到CLUSTER資源組中去。這樣我們就可以運行JBoss和DICOM兩個服務(wù)，并且是作為命令行方式運行的。

試著切換服務(wù)，我們就可以看到服務(wù)在主機和備機之間只需要幾秒鐘就能切換（故障轉(zhuǎn)移和故障恢復(fù)）十分穩(wěn)定。這樣我們就在Window 2000 Advanced Server中實現(xiàn)了PACS的集群。

3 結(jié)論

至此，我們采用的兩種方案都可以解決PACS的集群問題。比較這兩種集群解決方案，第三方軟件DataWare集群解決方案的安裝和配置都十分簡單方便，并且操作簡單，便于管理，而且軟件本身價格相對較低。但是切換速度慢（標(biāo)識值為60 s-180 s），再加上PACS本身啟動時間也較慢，總共需要(2～4) min。對于PACS這種大型系統(tǒng)，盡管這一段時間內(nèi)數(shù)據(jù)不會丟失，但是系統(tǒng)卻無法在這一段時間內(nèi)提供服務(wù)。Window 2000 Advanced Server集群解決方案軟件價格較高，配置較為繁瑣，但是功能強大，可高度配置，切換速度快（數(shù)秒就可以切換過去），效率高，所以對于PACS這樣的大型網(wǎng)絡(luò)系統(tǒng)更加適用

[1] 郭晉蜀, 邱慶春. PACS系統(tǒng)性能評價實驗臺的開發(fā)[J]. 醫(yī)療衛(wèi)生裝備, 2008.29（5）: 41-43.

[2] 王春燕, 郭圣文 吳效明.基于內(nèi)容的醫(yī)學(xué)圖像檢索[J]. 醫(yī)療衛(wèi)生裝備, 2008, 29(5): 33-35.

[3] 郭浩. PACS存儲與集群系統(tǒng)升級[J]. 中國數(shù)字醫(yī)療, 2007, 08(8): 31-35.

[4] 劉謙, 陳加宜. 如何構(gòu)建大型綜合醫(yī)院的醫(yī)學(xué)影像信息系統(tǒng)[J].中國醫(yī)療設(shè)備, 2006, 19(7): 1117-1119.

[5] 麥遠其. PACS系統(tǒng)的發(fā)展及相關(guān)技術(shù)[J]. 基層醫(yī)學(xué)論壇, 2008, 12(22): 734-735.

Cluster Application in PACS System

【W(wǎng)riters 】Wang Chenxi, Ren Haiping, Li Jiage
National Institutes for Food and Drug Control,

PACS, cluster, solution, server

TP393

B

10.3969/j.issn.1671-7104.2012.05.021

1671-7104(2012)05-0385-03

2012-07-10

本文受中國食品藥品檢定研究院有源醫(yī)療器械質(zhì)量評價與安全課題資助（2012BAI22B04）

王晨希，E-mail: wangchenxi@nicpbp.org.cn

【 Abstract 】How to use clustering techniques in PACS system is introuduced. Two kinds of cluster solution to configure PACS system is proposed.