Eclipse放療系統(tǒng)混合云平臺(tái)應(yīng)用研究

鄒煉，謝朝，劉湘鄉(xiāng)，胡金有，張薇莎，謝耀欽

1.中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院 醫(yī)療機(jī)器人與微創(chuàng)手術(shù)器械研究中心，廣東 深圳 518055；2.四川省人民醫(yī)院 腫瘤中心，四川 成都 610072

引言

在放療中，容積旋轉(zhuǎn)調(diào)強(qiáng)技術(shù)（Vesicular Monoamine Transporter，VMAT）作為放療領(lǐng)域的高端技術(shù)，適用于各種腫瘤的治療[1-2]。它與靜態(tài)調(diào)強(qiáng)技術(shù)（Intensity Modulated Radiation Therapy，IMRT）相比較，治療時(shí)間大大縮短，使得患者治療時(shí)的舒適度大大提高，有效減少治療過(guò)程中患者體位變化幾率，提高了治療準(zhǔn)確度。但是VMAT計(jì)劃設(shè)計(jì)比IMRT更加復(fù)雜，具有更多的可調(diào)變量，包括準(zhǔn)直器角度、劑量率、直線加速器多葉光柵的位置和大機(jī)角，這樣VMAT計(jì)劃優(yōu)化和劑量計(jì)算耗時(shí)都比IMRT長(zhǎng)，為了解決出現(xiàn)的優(yōu)化和計(jì)算瓶頸，已出現(xiàn)并行計(jì)算與分布式計(jì)算技術(shù)的應(yīng)用[3-7]。治療計(jì)劃廠商也提供了強(qiáng)大產(chǎn)品。比如瓦里安的解決方案是基于分布式計(jì)算框架整合多臺(tái)Eclipse工作站來(lái)提高計(jì)算速度[8]。在大的腫瘤中心，瓦里安同樣提供基于Citrix軟件平臺(tái)[9]的解決方案來(lái)提供高性能計(jì)算和靈活訪問(wèn)性。但是瓦里安提供次方案成本非常高，對(duì)大多數(shù)醫(yī)院都不適合，并且臨床Eclipse醫(yī)療軟件安裝在固定的電腦上，不能隨處訪問(wèn)，而且這臺(tái)電腦也不能安裝其他軟件，不能改變臨床環(huán)境進(jìn)行二次軟件開(kāi)發(fā)。

綜上所述，本研究提出了創(chuàng)建單獨(dú)的OpenStack[10]私有云并與臨床放療系統(tǒng)組成一個(gè)放射治療系統(tǒng)混合云解決方案，OpenStack已應(yīng)用于多種醫(yī)療領(lǐng)域，包括遠(yuǎn)程醫(yī)療、醫(yī)學(xué)成像、公共衛(wèi)生和醫(yī)院管理等[11-14]。OpenStack是基礎(chǔ)設(shè)施即服務(wù)組件，讓任何人都可以自行建立和提供云端運(yùn)算服務(wù)。所有資源都可以按需求動(dòng)態(tài)分配。用戶通過(guò)網(wǎng)絡(luò)可以利用云計(jì)算獲得高利用率和可擴(kuò)展服務(wù)。本研究將所有的Eclipse軟件移植到OpenStack私有云創(chuàng)建的虛擬機(jī)上，解決訪問(wèn)Eclipse醫(yī)療軟件的位置局限性，在OpenStack私有云上創(chuàng)建多個(gè)分布式計(jì)算節(jié)點(diǎn)虛擬機(jī)提供強(qiáng)大計(jì)算資源縮短治療計(jì)劃設(shè)計(jì)周期，在私有云上創(chuàng)建研究教學(xué)虛擬機(jī)，不影響臨床環(huán)境的基礎(chǔ)上進(jìn)行科研教學(xué)。

1 材料與方法

1.1 臨床現(xiàn)狀

1.1.1 臨床設(shè)備配置

我中心有3臺(tái)Eclipse物理師工作站，4臺(tái)Eclipse醫(yī)生工作站和3臺(tái)Aria客戶端。瓦里安為我們提供一個(gè)集成的環(huán)境，所有的工作站共享中心數(shù)據(jù)服務(wù)。Eclispe物理師工作站擁有強(qiáng)大的計(jì)算能力，安裝有所有的模塊，包括醫(yī)學(xué)影像處理、圖像分割和治療計(jì)劃設(shè)計(jì)。Eclipse醫(yī)生工作站有基礎(chǔ)模塊，不提供優(yōu)化和劑量計(jì)算模塊。Aria客戶端專門用于管理放療工作流程和醫(yī)療信息。

1.1.2 浮動(dòng)授權(quán)

瓦里安軟件授權(quán)模式是浮動(dòng)授權(quán)，每個(gè)模塊都有各自的授權(quán)，模塊授權(quán)個(gè)數(shù)與所配工作站數(shù)量相同，當(dāng)用戶調(diào)用某個(gè)模塊，相應(yīng)的權(quán)限才會(huì)被調(diào)用，并消耗相應(yīng)授權(quán)。當(dāng)用戶使用一臺(tái)工作站的一個(gè)模塊時(shí)，只消耗掉使用的當(dāng)前模塊的授權(quán)，此工作站所安裝的其他模塊沒(méi)有被使用，存在授權(quán)閑置的情況，此外工作站位于不同樓層不同房間。如果有工作站閑置，用戶不能在其他任意電腦上使用Eclipse軟件。另外瓦里安Eclipse計(jì)劃優(yōu)化和劑量計(jì)算采用了分布式計(jì)算框架（Distributed Calculation Framework，DCF），3臺(tái)Eclipse計(jì)算工作站提供的計(jì)算能力有限。

綜上所述，需要找到一種有效的、成本低的解決方案，能充分利用軟件的浮動(dòng)授權(quán)的特性和增加分布式計(jì)算節(jié)點(diǎn)的數(shù)量，本研究提出用OpenStack創(chuàng)建單獨(dú)的私有云，并與XenServer和英偉達(dá)GPU硬件的配合使用讓多個(gè)用戶實(shí)現(xiàn)硬件加速[15-16]，并與臨床放療系統(tǒng)組成放射治療計(jì)劃混合云解決方案。

1.2 OpenStack私有云平臺(tái)搭建

OpenStack是一個(gè)完全開(kāi)源的云計(jì)算平臺(tái)，可以支持用戶實(shí)現(xiàn)類似于Amazon EC2和S3的云基礎(chǔ)架構(gòu)服務(wù)（Infrastructure as a Service，IaaS）[17]。OpenStack 能夠?qū)⒉挥觅Y源整合起來(lái)，為用戶按需分配資源，實(shí)現(xiàn)了資源的集約化，提高資源使用效率，同時(shí)方便了運(yùn)維人員的管理。本文基于OpenStack搭建了腫瘤放射治療學(xué)科定制的私有云基礎(chǔ)設(shè)施，我們把它命名為數(shù)據(jù)科學(xué)云（Data Science Cloud，DSCloud）。

放療相關(guān)軟件需要處理各種模態(tài)的醫(yī)學(xué)影像，需要通過(guò)三維渲染來(lái)渲染出人體的各種解剖結(jié)構(gòu)，對(duì)計(jì)算機(jī)硬件的GPU有一定的要求。放療軟件中對(duì)三維或四維的影像處理和圖像配準(zhǔn)，以及對(duì)于容積調(diào)強(qiáng)放療計(jì)劃的逆向優(yōu)化過(guò)程和劑量計(jì)算等都是高計(jì)算強(qiáng)度的任務(wù)，對(duì)計(jì)算機(jī)硬件的CPU性能要求較高?；谶@些特征考慮，私有云建設(shè)的主要目標(biāo)是：① 具備虛擬GPU的支持；② CPU主頻和核數(shù)滿足高計(jì)算強(qiáng)度要求；③ 內(nèi)存配置足夠支持多種應(yīng)用場(chǎng)景的虛擬計(jì)算機(jī)集群；④ 具備一定的存儲(chǔ)容量。

DSCloud所采用的硬件包括：① 戴爾PowerEdge R730機(jī)架式服務(wù)器（2臺(tái)）：分別配有支持GPU虛擬化的Nvidia Grid K1顯卡，2顆英特爾至強(qiáng) E5-2660 v4 CPU，192 G內(nèi)存，2 T硬盤；② 戴爾PowerEdge R910（1臺(tái)）：4顆英特爾至強(qiáng)E7-4809 v4 CPU，256 G內(nèi)存，8 T硬盤；③ 戴爾PowerEdge R630（1臺(tái)）：1顆英特爾至強(qiáng)E5-2609v3 CPU，16 G內(nèi)存，1 T硬盤。虛擬化技術(shù)采用Citrix的XenServer企業(yè)版本，OpenStack通過(guò)Xen API驅(qū)動(dòng)管理支持虛擬化GPU的虛擬機(jī)。網(wǎng)絡(luò)配置上劃分為OpenStack組件間通信網(wǎng)絡(luò)和用戶網(wǎng)絡(luò)。OpenStack采用Liberty版本，基于Ubuntu部署，只部署了認(rèn)證組件、鏡像服務(wù)、計(jì)算服務(wù)、用戶界面、對(duì)象存儲(chǔ)、塊存儲(chǔ)和網(wǎng)絡(luò)服務(wù)等主要組件。DSCloud建設(shè)完成之后的框架，見(jiàn)圖1。用戶可以根據(jù)應(yīng)用需求動(dòng)態(tài)創(chuàng)建計(jì)算機(jī)資源，并且能夠滿足對(duì)GPU有要求的應(yīng)用。

圖1 OpenStack私有云基礎(chǔ)架構(gòu)

本文OpenStack基礎(chǔ)架構(gòu)（圖1），在機(jī)架式服務(wù)器上搭建OpenStack云計(jì)算平臺(tái)，管理創(chuàng)建虛擬機(jī)，研究創(chuàng)建了3種類型虛擬機(jī)：科研教學(xué)虛擬機(jī)、Eclipse工作站虛擬機(jī)和Eclipse計(jì)劃系統(tǒng)分布式計(jì)算虛擬機(jī)，科研教學(xué)虛擬機(jī)安裝開(kāi)發(fā)工具，Eclipse工作站虛擬機(jī)安裝有Eclispse醫(yī)療軟件所有模塊，Eclispe計(jì)劃系統(tǒng)分布式計(jì)算虛擬機(jī)安裝了Eclipse計(jì)算模塊提供計(jì)算資源。

1.3 放射治療計(jì)劃混合云平臺(tái)建設(shè)

放療系統(tǒng)混合云平臺(tái)環(huán)境，見(jiàn)圖2，DSCloud與臨床放療系統(tǒng)組成混合云。左邊是臨床放療系統(tǒng)環(huán)境，由Aria中心數(shù)據(jù)服務(wù)器統(tǒng)一管理醫(yī)生工作站、物理師工作站、Aria客戶端、CT模擬機(jī)、模擬機(jī)和加速器。右邊是DSCloud，DSCloud云平臺(tái)下有Eclipse工作站虛擬機(jī)、科研教學(xué)虛擬機(jī)和DCF計(jì)算集群，Eclipse工作站虛擬機(jī)上安裝有Eclipse醫(yī)療軟件，提供所有的模塊，包括醫(yī)學(xué)影像處理、圖像分割和治療計(jì)劃設(shè)計(jì)等。科研教育虛擬機(jī)上可以安裝各種開(kāi)發(fā)工具，比如C++、Phython、Office等軟件，方便科研和教學(xué)用。DCF計(jì)算集群為Eclipse計(jì)劃優(yōu)化和劑量計(jì)算提供計(jì)算資源，縮短優(yōu)化和劑量計(jì)算時(shí)間。其他電腦使用NoMachine遠(yuǎn)程桌面軟件通過(guò)局域網(wǎng)啟動(dòng)DSCloud云平臺(tái)創(chuàng)建的虛擬機(jī)，并獲得Eclipse軟件服務(wù)，在通過(guò)網(wǎng)絡(luò)訪問(wèn)Arica中心服務(wù)器。

圖2 放療系統(tǒng)混合云平臺(tái)環(huán)境

2 結(jié)果和討論

Eclipse放療系統(tǒng)混合云平臺(tái)中DSCloud由OpenStack和XenServer相結(jié)合組成，能按需分配計(jì)算機(jī)，提高醫(yī)療軟件利用率，同樣DSCloud實(shí)現(xiàn)了科研教學(xué)的目的，并且對(duì)于容積旋轉(zhuǎn)調(diào)強(qiáng)技術(shù)，實(shí)現(xiàn)DCF計(jì)算集群，實(shí)現(xiàn)高性能計(jì)算。

2.1 混合云醫(yī)療軟件功能驗(yàn)收

任何工具在應(yīng)用于臨床之前都需要做大量的驗(yàn)證過(guò)程，確保準(zhǔn)確無(wú)誤，方能使用。本文對(duì)混合云平臺(tái)進(jìn)行了詳細(xì)驗(yàn)收測(cè)試，見(jiàn)圖3，包括：病人信息、處方信息、工作流程、基本操作、模體、病人實(shí)例、計(jì)劃優(yōu)化和劑量計(jì)算測(cè)試等，這些都符合臨床使用要求。

2.2 科研教育平臺(tái)的應(yīng)用

混合云為我們提供獨(dú)立的虛擬機(jī)，單獨(dú)的配置環(huán)境，擺脫臨床電腦不能安裝其他軟件的局限，可以安裝開(kāi)發(fā)工具，比如AutoHotKey、C++、Phython等程序，實(shí)現(xiàn)臨床工作的自動(dòng)化處理，具備科研和教學(xué)的條件。

圖3 混合云治療計(jì)劃調(diào)試驗(yàn)收

基于混合云我們已實(shí)現(xiàn)了一些自動(dòng)化工作[18]，見(jiàn)圖4，它就是一個(gè)自動(dòng)完成計(jì)劃輔助結(jié)構(gòu)生成的軟件，運(yùn)行軟件后，自動(dòng)生成了PTV2、PGTVnd、Ring4000、Ring5000和SpinalCordPRV。

圖4 輪廓的自動(dòng)生成

2.3 Eclipse軟件隨處可得

首先安裝有NoMachine和獲得遠(yuǎn)程訪問(wèn)授權(quán)的電腦接入云平臺(tái)局域網(wǎng)都能輕松訪問(wèn)Eclipse軟件，其次基于瓦里安軟件模塊浮動(dòng)授權(quán)的特性，在混合云平臺(tái)上，能讓這種特性利用率最大化，不受地域限制（圖5），只要連入局域網(wǎng)的電腦都能訪問(wèn)Eclipse軟件，由于一臺(tái)工作站不能完成使用完此臺(tái)工作站安裝的模塊權(quán)限，其他電腦就能使用剩下來(lái)的模塊權(quán)限，讓Eclipse閑置模塊權(quán)限得到充分使用。

2.4 強(qiáng)大計(jì)算集群

在DSCloud上的創(chuàng)建多個(gè)DCF計(jì)算節(jié)點(diǎn)，能有效提升VMAT計(jì)算速度，降低計(jì)劃優(yōu)化和劑量計(jì)算時(shí)間，見(jiàn)圖6～7。黑色表示未增加DCF計(jì)算節(jié)點(diǎn)前情況，灰色表示增加DCF計(jì)算節(jié)點(diǎn)后的情況。在增加多個(gè)DCF計(jì)算節(jié)點(diǎn)的基礎(chǔ)上，VMAT優(yōu)化時(shí)間平均減少了一分多鐘，劑量計(jì)算時(shí)間大幅度降低，平均減少了10 min。

圖5 軟件模塊浮動(dòng)授權(quán)

圖6 容積旋轉(zhuǎn)調(diào)強(qiáng)優(yōu)化時(shí)間對(duì)比

圖7 容積旋轉(zhuǎn)調(diào)強(qiáng)計(jì)算時(shí)間對(duì)比

3 結(jié)論

本研究構(gòu)建了Eclipse放療系統(tǒng)混合云平臺(tái)，創(chuàng)建了3種類型虛擬機(jī)：Eclipse工作站虛擬機(jī)、科研教育虛擬機(jī)和DCF計(jì)算集群。此系統(tǒng)具有以下4個(gè)特點(diǎn)：① 保持銷售商原有的分布方式，提高軟件模塊的浮動(dòng)授權(quán)利用率；② 提供獨(dú)立開(kāi)發(fā)軟件和運(yùn)行自動(dòng)化工具的環(huán)境；③ 提供可增減的具有Eclipse分布式框架的計(jì)算資源實(shí)例，來(lái)解決劑量計(jì)算資源不足的情況；④ 支持多平臺(tái)的虛擬桌面通過(guò)網(wǎng)絡(luò)訪問(wèn)Eclipse治療計(jì)劃系統(tǒng)軟件。

[參考文獻(xiàn)]

[1] Teoh M,Clark CH,Wood K,et al.Volumetric modulated arc therapy: a review of current literature and clinical use in practice[J].Br J Radiol,2011,84(1007):967.

[2] Popescu CC,Olivotto IA,Beckham WA,et al.Volumetric modulated arc therapy improves dosimetry and reduces treatment time compared to conventional intensity-modulated radiotherapy for locoregional radiotherapy of left-sided breast cancer and internal mammary nodes[J].Int J Radiat Oncol Biol Phys,2010,76(1):287-295.

[3] Gu X,Jelen U,Li J,et al.MO-F-BRB-03: A GPU-based finitesize pencil beam (FSPB) algorithm with 3D-density correction for radiotherapy dose calculation[J].Phys Med Biol,2011,56(11):3337-3350.

[4] Jia X,Gu X,Graves YJ,et al.GPU-based fast monte carlo simulation for radiotherapy dose calculation[J].Phys Med Biol,2011,56(22):7017-7031.

[5] Jia X,Ziegenhein P,Jiang SB.GPU-based high-performance computing for radiation therapy[J].Phys Med Biol,2014,59(4):151-182.

[6] Men C,Jia X,Jiang SB.GPU-based ultra-fast direct aperture optimization for online adaptive radiation therapy[J].Phys Med Biol,2010,55(15):4309.

[7] Ziegenhein P,Kamerling CP,Bangert M,et al.Performanceoptimized clinical IMRT planning on modern CPUs[J].Phys Med Biol,2013,58(11):3705-3715.

[8] EclipseTMTreatment Planning System[EB/OL].https://www.varian.com/oncology/products/software/treatment-planning/eclipse?cat=overview.

[9] Surksum KV.Release: Citrix Receiver for iPad and iPhone5.0[J].2011.

[10] OpenStack Official Site[EB/OL].http://www.openstack.org/.

[11] Griebel L,Prokosch HU,K?pcke F,et al.A scoping review of cloud computing in healthcare[J].BMC Med Inform Decis Mak,2015,15(1):17.

[12] Miras H,Jiménez R,Miras C,et al.CloudMC: a cloud computing application for Monte Carlo simulation[J].Phys Med Biol,2013,58(8):125-133.

[13] Wang H,Ma Y,Pratx G,et al.Toward real-time monte carlo simulation using a commercial cloud computing infrastructure[J].Phys Med Biol,2011,56(17):175-181.

[14] Na YH,Suh TS,Kapp DS,et al.Toward a web-based real-time radiation treatment planning system in a cloud computing environment[J].Phys Med Biol,2013,58(18):6525-6540.

[15] NVIDIA GRIDTM virtual GPU technology[EB/OL].http://www.nvidia.com/object/grid-technology.html.

[16] HPC Cloud enablement using XenServer, OpenStack and NVIDIA GRID GPUs-XLcloud[EB/OL].https://www.citrix.com/blogs/2014/03/06/hpc-cloud-enablement-using-xenserveropenstack-and-nvidia-grid-gpus-xlcloud/.

[17] OpenStack Compute Administration Manual[EB/OL].[2016-11-29]. http://docs.openstack.org/cactus/openstack-compute/admin/content.

[18] 謝朝,胡金有,鄒煉,等.Eclipse計(jì)劃系統(tǒng)輪廓自動(dòng)生成軟件開(kāi)發(fā)[J].中國(guó)醫(yī)療器械雜志,2015,39(3):225-227.