結(jié)合增強(qiáng)現(xiàn)實(shí)的醫(yī)用加速器碰撞檢測(cè)方法

張功森，郭 翌，李永哲，裴 曦，徐 榭，周解平

1.中國科學(xué)技術(shù)大學(xué) 物理學(xué)院 工程與應(yīng)用物理系，合肥 230022

2.中國科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院西區(qū)，合肥 230001

1 引言

近年來，隨著腫瘤病人數(shù)量的不斷增加和放射醫(yī)學(xué)技術(shù)的不斷發(fā)展，放療技術(shù)在腫瘤治療中應(yīng)用廣泛且日臻于完善，但在實(shí)際治療過程中還存在若干亟需解決的問題，放療室中各設(shè)備運(yùn)轉(zhuǎn)時(shí)出現(xiàn)的機(jī)械碰撞問題是其中一個(gè)。醫(yī)用直線加速器是目前調(diào)強(qiáng)放療中的基礎(chǔ)設(shè)備，其包括：多葉準(zhǔn)直器（MLC，又稱多頁光柵）、加速管、控制系統(tǒng)、定位系統(tǒng)、磁控管、輻射頭、治療床以及調(diào)制器等[1-2]。為了最大程度上提高照射精度以及避免射束對(duì)危機(jī)器官的損傷，要求加速器治療頭的環(huán)繞中心應(yīng)與患者的腫瘤靶區(qū)在空間位置上保持高度重合，為了滿足這一要求，在加速器治療頭旋轉(zhuǎn)之前，需要對(duì)治療床進(jìn)行上下、左右平移以及適度旋轉(zhuǎn)操作，然而這將導(dǎo)致治療頭和治療床以及病人之間產(chǎn)生碰撞。另外，在發(fā)射電子線時(shí)，治療頭會(huì)附加限光筒，類似機(jī)件的附加也會(huì)導(dǎo)致碰撞。這些碰撞不僅會(huì)阻斷治療計(jì)劃的實(shí)施，還會(huì)損壞設(shè)備，并很有可能對(duì)病人造成傷害。在較為復(fù)雜的放療計(jì)劃（例如肺癌寡轉(zhuǎn)移立體定向放療）制定過程中，由于治療床的旋轉(zhuǎn)平移，機(jī)械碰撞問題不可避免，高效、準(zhǔn)確的碰撞檢測(cè)手段亟需發(fā)展。醫(yī)生和物理師在制定放療計(jì)劃時(shí)，每確定一個(gè)射野角度和治療床位置，都需要親自去放療室使設(shè)備運(yùn)轉(zhuǎn)并檢查是否碰撞，這無疑大大降低了他們的工作效率，并給放療計(jì)劃的制定和實(shí)施帶來諸多不便。

之前有人提出過基于C++和OpenGL 動(dòng)畫顯示的碰撞檢測(cè)方法[3]，以及基于可視化工具包（VTK）的方法[4]，這些方法可以得到碰撞檢測(cè)結(jié)果，但兩者都不便于模型更新，且難以實(shí)現(xiàn)與用戶實(shí)時(shí)交互，不能隨時(shí)更改設(shè)備運(yùn)動(dòng)參數(shù)以及調(diào)節(jié)用戶觀察視角，其次也難以實(shí)現(xiàn)和增強(qiáng)現(xiàn)實(shí)設(shè)備的對(duì)接。本文嘗試找出一種三維模擬加速器運(yùn)轉(zhuǎn)的方法，首先根據(jù)放療室的實(shí)際情況進(jìn)行三維建模，開發(fā)一個(gè)應(yīng)用程序提供輸入旋轉(zhuǎn)角度和平移等空間信息，并且利用三維模型的剛體特性進(jìn)行碰撞檢測(cè)，并最終部署到增強(qiáng)現(xiàn)實(shí)設(shè)備上，供相關(guān)工作人員更為直觀的查驗(yàn)。在制定放療計(jì)劃的同時(shí)，可以通過這種方法進(jìn)行照射角度以及治療床位置的更正，大大提高醫(yī)生和物理師的工作效率。同時(shí)，強(qiáng)大的三維可視化開發(fā)引擎Unity 3D以及先進(jìn)的增強(qiáng)現(xiàn)實(shí)設(shè)備HoloLens為這一方法的實(shí)現(xiàn)提供了強(qiáng)有力的支持。

2 模型建立與完善

對(duì)于加速器模型，根據(jù)實(shí)際測(cè)得的放療設(shè)備相關(guān)參數(shù)，分別將機(jī)架、治療頭、治療床及其他相關(guān)設(shè)備拆分為簡單三維模型組件，基于3ds Max進(jìn)行建模。

對(duì)于人體模型，首先獲取病人的CT圖像，然后讀取DICOM（Digital Imaging and Communication in Medicine）文件進(jìn)行處理，利用移動(dòng)立方體算法（Marching Cubes）獲取三角面片信息[5]，利用OpenGL 的初步得到三維重建模型[6]，圖1給出本文工作中基于CT的某病人三維重建結(jié)果。

圖1 移動(dòng)立方體算法所得基于CT的三維重建模型

同時(shí)考慮到，由于人體外形受年齡、性別、身高、體重等方面的影響，單一模型不能符合實(shí)際臨床檢測(cè)情況，另外，考慮到病人掃描CT 所受的照射劑量，臨床上只對(duì)病人的需檢查部位進(jìn)行掃描，無法提供病人全身的CT 圖像，由于移動(dòng)立方體算法需要基于不同二維斷層圖像之間輪廓線的位置得到三角面片，進(jìn)而擬合重建三維圖像，所以CT 斷層圖像的缺少導(dǎo)致相應(yīng)部位三角面片的缺失，進(jìn)而難以得出病人全身的三維重建模型。通常采用單一模型代替病人其余部位的方法，難以滿足病人的個(gè)體化差異。因此，本文工作基于三維可視化結(jié)果，選取重建模型關(guān)鍵部位的外形尺寸在USTC系列中國人計(jì)算機(jī)人體模型中[7]匹配最符合模型，并進(jìn)行精確的變形[8]。USTC系列中國人計(jì)算機(jī)人體模型包含不同性別、不同年齡段人群的數(shù)字化人體模型：USTC-AM、USTC-AF、USTC-15M、USTC-15F、USTC-10M、USTC-10F、USTC-5M、USTC-5F，基于表面Mesh 表示的數(shù)字化人體模型具有靈活可變性，本文工作結(jié)合年齡、體型因素，根據(jù)文獻(xiàn)[8]中的方法，依次進(jìn)行體模匹配、位置匹配、模型縮放、表面網(wǎng)格修復(fù)和模型拼接，使得模型盡量和實(shí)際人體接近，提高碰撞檢測(cè)的精確性。系列模型如圖2、3所示[7]。

圖2 基于表面網(wǎng)格的USTC系列中國人計(jì)算機(jī)人體模型（成人）

在得到上述模型后，將這些模型導(dǎo)入U(xiǎn)nity 3D，對(duì)各組件進(jìn)行重新組裝，并建立起“父子”關(guān)系，以方便進(jìn)行整體操作。為模型添加不同的材質(zhì)，同時(shí)為整體場(chǎng)景添加光照，完善整個(gè)放療環(huán)境的模擬。本文工作采用了增強(qiáng)現(xiàn)實(shí)工具包 MRTK（Mixed Reality Toolkit）[9]提供的增強(qiáng)現(xiàn)實(shí)專用“相機(jī)”HoloLens Camera[10-11]。相機(jī)參數(shù)主要包括X、Y、Z三維空間坐標(biāo)以及可視范圍，考慮到增強(qiáng)現(xiàn)實(shí)環(huán)境效果，將HoloLens Camera的裁剪平面（Clipping plane）設(shè)為最近0.85 m，最遠(yuǎn)1 000 m[12]。

圖3 基于表面網(wǎng)格的USTC系列中國人計(jì)算機(jī)人體模型（不同年齡段未成年人）

3 剛體特性和碰撞檢測(cè)原理

為三維模型添加剛體特性是進(jìn)行碰撞檢測(cè)的基本條件[13]，剛體特性提供的碰撞檢測(cè)模式主要包括三種情況：不連續(xù)模式（Discrete）、連續(xù)模式（Continuous）和動(dòng)態(tài)連續(xù)模式（Continuous Dynamic）且分別適用于不同情況，如表1所示。

表1 碰撞檢測(cè)模式及適用情況

Unity 3D 的碰撞檢測(cè)采用包圍盒（球）方式[14-15]，且在整個(gè)檢測(cè)過程中，對(duì)于二維平面內(nèi)的檢測(cè)，主要依賴于類似四叉樹的檢測(cè)方式[16-17]，如圖4 所示。首先利用x、y軸將整個(gè)二維平面劃分為四個(gè)一級(jí)區(qū)域，依次檢測(cè)二維平面上的所有模型，判斷模型所屬區(qū)域，如果某模型與軸相交（如圖中A、B模型），則A同時(shí)屬于一級(jí)區(qū)域1、4，B 同時(shí)屬于一級(jí)區(qū)域1、2，而模型C 僅屬于一級(jí)區(qū)域4。對(duì)于每個(gè)一級(jí)區(qū)域，再次利用x、y軸劃分為四個(gè)二級(jí)區(qū)域，判斷方式同理。循環(huán)往復(fù)直至單個(gè)區(qū)域內(nèi)模型數(shù)小于某特定值N，對(duì)單區(qū)域內(nèi)的模型進(jìn)行兩兩檢測(cè)。對(duì)于三維空間及模型，則采用類似于八叉樹的檢測(cè)方式[18]，如圖5所示，其區(qū)域劃分方式及檢測(cè)原理與四叉樹檢測(cè)方式相同，故不再贅述。

圖4 二維平面碰撞檢測(cè)空間

圖5 三維空間八叉樹碰撞檢測(cè)空間

本文工作中，碰撞檢測(cè)實(shí)現(xiàn)的基礎(chǔ)是基于Unity3D的碰撞器。首先根據(jù)每個(gè)三維模型的大致形狀分別賦予Sphere Collider（球碰撞器）、Box Collider（方盒碰撞器）或Capsule Collider（膠囊體碰撞器）中的一種或幾種碰撞器。此處主要對(duì)加速器治療頭、治療床和病人三組模型制作并添加了碰撞器，同時(shí)，碰撞器的幾何尺寸盡可能大于模型的最大邊界故采取了幾何如圖6所示。

圖6 病人、治療頭、治療床模型的碰撞器添加情況（紅色代表Capsule Collider，黃色代表Spere Collider，綠色代表Box Collider）

4 腳本控制及GUI規(guī)劃

4.1 腳本控制

三維模型的空間運(yùn)動(dòng)和碰撞檢測(cè)實(shí)現(xiàn)通過基于C#語言的腳本文件進(jìn)行控制。本文工作中，腳本類型主要分為三類：運(yùn)動(dòng)控制腳本、碰撞檢測(cè)腳本和信息反饋腳本。其中，運(yùn)動(dòng)控制腳本根據(jù)實(shí)際設(shè)備的運(yùn)轉(zhuǎn)情況確定其旋轉(zhuǎn)中心、旋轉(zhuǎn)速度、旋轉(zhuǎn)角度、平移方向、平移距離等。碰撞檢測(cè)腳本是建立在為三維模型添加碰撞器及剛體特性之后，工作過程被分為三個(gè)階段：碰撞發(fā)生，碰撞狀態(tài)保持和碰撞完成，信息反饋腳本用于檢測(cè)信息、調(diào)試信息反饋和部分窗口設(shè)計(jì)。腳本控制工作流程如圖7所示。

4.2 GUI界面規(guī)劃設(shè)計(jì)

圖形與用戶界面（Graphical User Interface，GUI）允許使用鍵盤、指點(diǎn)設(shè)備及顯示器與計(jì)算機(jī)進(jìn)行交互。Unity 3D 的GUI 系統(tǒng)具有靈活、快速、可視化效果好的特點(diǎn)[19-20]。在控制模型運(yùn)動(dòng)和碰撞檢測(cè)的同時(shí)，如果碰撞發(fā)生，需要程序反饋碰撞信息，這些信息包括碰撞發(fā)生與否、旋轉(zhuǎn)角度以及平移距離等。本項(xiàng)目中，除了三維模擬運(yùn)行界面，所設(shè)置的整個(gè)GUI界面還包括六個(gè)模塊：用戶功能操作模塊、檢測(cè)結(jié)果反饋模塊、用戶參數(shù)輸入模塊、調(diào)試日志信息輸出模塊、治療床參數(shù)反饋模塊、用戶視角操縱模塊，如表2所示。

圖7 腳本控制流程示意圖

表2 本文工作中GUI界面結(jié)構(gòu)設(shè)計(jì)情況

GUI 界面整體設(shè)計(jì)結(jié)構(gòu)如圖8 所示，GUI 的渲染是通過創(chuàng)建腳本并定義OnGUI 函數(shù)來執(zhí)行的[21]。本工作主要依賴圖形與用戶界面對(duì)信息反饋界面進(jìn)行設(shè)計(jì)，且畫布渲染模式采用Screen Space-Overlay以使GUI界面與屏幕分辨率相適應(yīng)。

圖8 信息反饋界面GUI設(shè)計(jì)

5 增強(qiáng)現(xiàn)實(shí)環(huán)境部署

增強(qiáng)現(xiàn)實(shí)環(huán)境是本碰撞檢測(cè)方法重要的呈現(xiàn)方式，這將給用戶或工作人員帶來更為直觀有效的現(xiàn)場(chǎng)效果。本文方法是基于Unity 3D 開發(fā)的，其發(fā)布平臺(tái)為Universal Windows Platform，渲染工具為Direct3D，發(fā)布后的工程經(jīng)Visual Studio2017 部署到增強(qiáng)現(xiàn)實(shí)設(shè)備HoloLens上并生成應(yīng)用程序以供展示。同時(shí)，通過微軟MR官方提供的Windows Device portal對(duì)增強(qiáng)現(xiàn)實(shí)設(shè)備上的展示內(nèi)容進(jìn)行電腦端查看。通過HoloLens可以在現(xiàn)實(shí)環(huán)境背景下看到整個(gè)碰撞檢測(cè)的模擬過程。并且在整個(gè)增強(qiáng)現(xiàn)實(shí)環(huán)境中，提供三種人機(jī)交互方式，分別為：

（1）凝視（Gaze），用于感知物體和反饋信息。

（2）手勢(shì)（Gesture），本文工作中主要用到的手勢(shì)有點(diǎn)擊（Tap）手勢(shì)和綻放（Blossom）手勢(shì)。前者用于物體的選定和確認(rèn)，后者用于返回。

（3）語音（Voice），用到的語音控制為語音命令，本文工作中自定義的兩種語音命令為MOVE和ROTATE，使增強(qiáng)現(xiàn)實(shí)環(huán)境中的模型在手勢(shì)控制下分別進(jìn)入平移和旋轉(zhuǎn)模式。

本文工作中整個(gè)增強(qiáng)現(xiàn)實(shí)環(huán)境中的人機(jī)交互主要實(shí)現(xiàn)虛擬物體的旋轉(zhuǎn)平移和縮放以及視角變化，其操作過程設(shè)計(jì)如圖9所示。

圖9 增強(qiáng)現(xiàn)實(shí)環(huán)境人機(jī)交互操作流程設(shè)計(jì)

6 結(jié)果

6.1 放療環(huán)境建模結(jié)果

本文工作首先建立了準(zhǔn)確完整的放療環(huán)境三維模型，主要包括醫(yī)用加速器治療頭、病床和病人模型，根據(jù)實(shí)際測(cè)量的放療室內(nèi)各治療設(shè)備的外觀尺寸、機(jī)械旋轉(zhuǎn)中心、平移距離范圍及各設(shè)備的相對(duì)空間位置等參數(shù)，基于3ds Max和Unity 3D對(duì)實(shí)際治療環(huán)境進(jìn)行三維建模和模型整合，各個(gè)待檢測(cè)模型均添加了剛體特性且獨(dú)立運(yùn)轉(zhuǎn)，圖10是建立并完善的放療室環(huán)境模型。

圖10 放療環(huán)境三維模型建模結(jié)果

6.2 碰撞檢測(cè)和信息反饋

本文工作最終設(shè)計(jì)完成方便用戶控制模型運(yùn)動(dòng)及設(shè)置參數(shù)的用戶交互界面，并設(shè)置合適的分辨率，將整體工程發(fā)布為可執(zhí)行文件，運(yùn)行界面如圖11所示。

圖11 可執(zhí)行文件運(yùn)行界面

輸入以下三組參數(shù)進(jìn)行測(cè)試，對(duì)三組情形進(jìn)行碰撞檢測(cè)后，得到各自反饋信息：

（1）病床（及病人）向后平移距離為0.21 m（△X=△Y=0，△Z=0.21 m），旋轉(zhuǎn)角度為順時(shí)針30°（△φ=-30°），檢測(cè)到當(dāng)治療頭旋轉(zhuǎn)至87.51°時(shí)與病床發(fā)生碰撞。碰撞情況和檢測(cè)信息反饋如圖12（a）所示。（2）病床（及病人）向右移距離為0.21 m（△X=0.21 m，△Y=△Z=0），旋轉(zhuǎn)角度為0（△φ=0），檢測(cè)到當(dāng)治療頭旋轉(zhuǎn)至63.22°時(shí)與病床發(fā)生碰撞。碰撞情況和碰撞信息反饋如圖12（b）所示。（3）病床（及病人）向上平移距離為0.1 m（△X=0，△Y=0.1 m，△Z=0），旋轉(zhuǎn)角度為逆時(shí)針30°（△φ=30°）。檢測(cè)到當(dāng)治療頭旋轉(zhuǎn)至44.25°時(shí)與病人發(fā)生碰撞。碰撞情況和碰撞信息反饋如圖12（c）所示。

圖12 碰撞情況和檢測(cè)信息反饋

將治療床無任何運(yùn)動(dòng)的情形以及上述三組情形下的三維模擬結(jié)果與實(shí)際臨床操作結(jié)果對(duì)比，均相符合。此處需要說明的是為了保護(hù)加速器設(shè)備，實(shí)際臨床驗(yàn)證時(shí)在保證會(huì)發(fā)生碰撞的情況下提前停止設(shè)備運(yùn)行。驗(yàn)證結(jié)果如表3所示。

表3 三維模擬結(jié)果與臨床操作結(jié)果對(duì)比

6.3 APP在增強(qiáng)現(xiàn)實(shí)環(huán)境下的發(fā)布和部署

增強(qiáng)現(xiàn)實(shí)是本文工作除了PC端之外最終的呈現(xiàn)方式。在增強(qiáng)現(xiàn)實(shí)環(huán)境下，可以通過凝視、手勢(shì)和語音等方式進(jìn)行人機(jī)交互。整個(gè)三維模擬碰撞檢測(cè)流程可以通過HoloLens 在增強(qiáng)現(xiàn)實(shí)環(huán)境中觀看，并且可以通過相關(guān)設(shè)備接口在PC 端實(shí)時(shí)查看，增強(qiáng)現(xiàn)實(shí)示例直觀效果如圖13所示。

圖13 增強(qiáng)現(xiàn)實(shí)環(huán)境中碰撞檢測(cè)展示效果

7 結(jié)語

本研究工作為解決醫(yī)用直線加速器治療頭、治療床及病人之間的碰撞檢測(cè)問題提供了嶄新的可行思路，且主要實(shí)現(xiàn)了以下三點(diǎn)：

（1）建立了完整詳備而直觀的放療環(huán)境三維模型，且運(yùn)用三維模型的剛體特性為碰撞檢測(cè)提供了必須條件。

（2）對(duì)各組件的運(yùn)動(dòng)情況進(jìn)行準(zhǔn)確的模擬，對(duì)于不同射野角度以及病人位置，能夠準(zhǔn)確地檢測(cè)出各組件之間的碰撞情況并向用戶界面反饋檢測(cè)結(jié)果信息。

（3）通過HoloLens 將碰撞檢測(cè)流程在增強(qiáng)現(xiàn)實(shí)環(huán)境中運(yùn)行，人機(jī)交互方便且效果更為直觀，并能幫助相關(guān)人員了解碰撞過程。

本碰撞檢測(cè)方法運(yùn)用了Unity 3D引擎中碰撞觸發(fā)器，并最終將應(yīng)用程序部署到增強(qiáng)現(xiàn)實(shí)環(huán)境中，結(jié)果更為準(zhǔn)確，效果更為直觀，能夠協(xié)助物理師在制定放療計(jì)劃的同時(shí)驗(yàn)證待實(shí)行計(jì)劃的可行性，大大提高了物理師的工作效率，具有較高的現(xiàn)實(shí)意義及廣闊的應(yīng)用前景：首先，可以針對(duì)更多型號(hào)的醫(yī)用加速器進(jìn)行建模并測(cè)試；其次，本文工作與增強(qiáng)現(xiàn)實(shí)環(huán)境的結(jié)合可以作為融入醫(yī)學(xué)培訓(xùn)內(nèi)容；另外，碰撞檢測(cè)可以作為特定功能模塊集成到TPS（放療計(jì)劃系統(tǒng)）中，為放療計(jì)劃的制定提供便利條件。