基于虛擬VR技術(shù)的心臟醫(yī)療輔助系統(tǒng)的設(shè)計(jì)與應(yīng)用

唐　實(shí)，任淑霞，王佳欣，王澤宇，賈玉哲，武　帥，徐　昊，阮明哲

（天津工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津　300387）

0　引言

當(dāng)前醫(yī)學(xué)實(shí)踐普遍存在高成本、高風(fēng)險(xiǎn)、低復(fù)用率等特點(diǎn)[1]。學(xué)生動(dòng)手能力不強(qiáng)，課堂教學(xué)乏味枯燥。醫(yī)生無(wú)法短時(shí)間確定最優(yōu)方案，患者對(duì)疾病預(yù)防特征或健康恢復(fù)的知識(shí)水平存在誤區(qū)，導(dǎo)致一些不必要的事故發(fā)生。虛擬現(xiàn)實(shí)技術(shù)可以用作醫(yī)學(xué)教學(xué)、新生培訓(xùn)、技能測(cè)試、技術(shù)學(xué)習(xí)、手術(shù)計(jì)劃等多方面[2]?？梢詮浹a(bǔ)心臟醫(yī)學(xué)教育和訓(xùn)練的不足，大量減少有損健康、危險(xiǎn)的、昂貴的診斷性操作。

1　系統(tǒng)簡(jiǎn)介

1.1　主要功能

基于虛擬 VR技術(shù)的心臟醫(yī)療輔助系統(tǒng)（以下簡(jiǎn)稱(chēng)本系統(tǒng)），為一個(gè)為幫助醫(yī)生護(hù)士及醫(yī)學(xué)生的綜合訓(xùn)練系統(tǒng)，提供從進(jìn)入手術(shù)室到手術(shù)完成的一系列操作、指導(dǎo)、教學(xué)、以及突發(fā)情況的模擬處置。進(jìn)入系統(tǒng)后，從手術(shù)前的消毒環(huán)節(jié)開(kāi)始，再到之后的手術(shù)準(zhǔn)備環(huán)節(jié)[3]。準(zhǔn)備結(jié)束后開(kāi)始醫(yī)生與護(hù)士的配合，使用手術(shù)刀，手術(shù)剪與紗布等器具與心臟手術(shù)的演示（為方便操作，胸腔已經(jīng)打開(kāi)），模擬心臟手術(shù)中各種可能發(fā)生的情況，如切口偏大和偏深引發(fā)的出血情況[4]。開(kāi)始手術(shù)準(zhǔn)備階段意圖讓醫(yī)學(xué)生盡快熟悉手術(shù)前的必要操作、加深手術(shù)前各種規(guī)定和操作的印象，其后是手術(shù)中醫(yī)生護(hù)士的具體配合聯(lián)系，在之后的具體心臟手術(shù)操作環(huán)節(jié)，考驗(yàn)醫(yī)學(xué)生及醫(yī)生對(duì)手術(shù)突發(fā)情況的應(yīng)急處理能力。從而指導(dǎo)醫(yī)學(xué)生并加深他們對(duì)于手術(shù)的了解與體會(huì)，讓醫(yī)生更加熟悉手術(shù)，提前為各種意想不到的突發(fā)情況做準(zhǔn)備。

1.2　系統(tǒng)開(kāi)發(fā)方法

本系統(tǒng)建模部分由 3dMax（基于 PC系統(tǒng)的三維動(dòng)畫(huà)渲染和制作軟件）完成，3dMax具有較為成熟的模型構(gòu)建與環(huán)境渲染能力，但在動(dòng)畫(huà)方面稍有欠缺，所以在動(dòng)畫(huà)方面我們使用3dMax與Maya（三維動(dòng)畫(huà)制作軟件）結(jié)合的制作方式，Maya在動(dòng)畫(huà)制作方面具有自己獨(dú)特的優(yōu)勢(shì)，基于以上的努力，我們對(duì)模型及模型動(dòng)畫(huà)爭(zhēng)取做到了模擬擬真效果[5]。

系統(tǒng)開(kāi)發(fā)引擎方面我們選用 unity綜合游戲引擎來(lái)進(jìn)行制作。首先，unity平臺(tái)具有非常好的移植性，可以發(fā)布項(xiàng)目到Windows，Linux，macOS，Android，iOS等多種平臺(tái)上，也可利用unity web player插件使項(xiàng)目得到網(wǎng)頁(yè)支持。其次，unity引擎是一個(gè)主要利用交互的圖形化環(huán)境來(lái)開(kāi)發(fā)各種項(xiàng)目的平臺(tái)，項(xiàng)目開(kāi)發(fā)的速度較快，具體細(xì)節(jié)更為清晰。最后，unity平臺(tái)對(duì)于項(xiàng)目的細(xì)節(jié)光照、像素渲染都有更好的輔助效果，也更容易自定義插件來(lái)輔助產(chǎn)生這些效果[6]。

編程語(yǔ)言部分選擇了 c#來(lái)協(xié)助開(kāi)發(fā)，使用 c#更適合unity平臺(tái)的腳本開(kāi)發(fā)。

VR實(shí)驗(yàn)設(shè)備選擇了 HTC公司出品的 HTC Vive，它由HTC公司與Value公司聯(lián)合開(kāi)發(fā)，也是當(dāng)前市場(chǎng)較為成熟的幾款VR產(chǎn)品之一。

本系統(tǒng)基于天津市大學(xué)生創(chuàng)新創(chuàng)業(yè)計(jì)劃（201710058073）為依托，系統(tǒng)開(kāi)發(fā)以學(xué)生為主老師為輔。開(kāi)發(fā)結(jié)束后將該系統(tǒng)投入到實(shí)驗(yàn)課中進(jìn)行測(cè)試。

1.3　系統(tǒng)概述

根據(jù)本文研究的內(nèi)容，所設(shè)計(jì)的基于虛擬VR技術(shù)的心臟醫(yī)療輔助系統(tǒng)的功能模塊可以用圖1所示：

圖1　心臟醫(yī)療輔助系統(tǒng)的功能模塊Fig. 1　Functional modules of cardiac medical assisted system

1.4　系統(tǒng)各部分的詳細(xì)介紹

本系統(tǒng)屬于基于虛擬 VR技術(shù)的心臟醫(yī)療輔助系統(tǒng)，目前系統(tǒng)具有以下的功能模塊：

（1）醫(yī)生模式

{基礎(chǔ)教學(xué)}

該模塊主要負(fù)責(zé)醫(yī)學(xué)生的手術(shù)室基礎(chǔ)操作教育[7]。眾所周知，當(dāng)前手術(shù)教學(xué)枯燥無(wú)味，學(xué)生動(dòng)手實(shí)踐能力較差，在進(jìn)入手術(shù)之前，醫(yī)生需要進(jìn)行很多細(xì)致的消毒準(zhǔn)備工作，缺少一步很可能就會(huì)出現(xiàn)嚴(yán)重醫(yī)療事故，所以熟練謹(jǐn)慎操作之前的學(xué)校訓(xùn)練顯得尤為重要。所以我們?cè)趫?chǎng)景中設(shè)計(jì)了進(jìn)入手術(shù)室之后的手部消毒、穿戴無(wú)菌衣和手套的操作、以及關(guān)于其他手術(shù)細(xì)節(jié)的提示性UI[8]。

{心臟手術(shù)處理}

該部分同時(shí)針對(duì)醫(yī)生和醫(yī)學(xué)生。心臟手術(shù)環(huán)節(jié)較多，操作復(fù)雜且危險(xiǎn)，且建模難度較大，手術(shù)中的環(huán)節(jié)盡量做到真實(shí)可靠，所以我們選擇了首先制作一個(gè)前期案例：心臟搭橋手術(shù)（非體外循環(huán)下心臟搭橋手術(shù)）的前期處理及手術(shù)操作。首先在醫(yī)生視角下，使用病人本身血管（場(chǎng)景中提供）將狹窄冠狀動(dòng)脈的遠(yuǎn)端和主動(dòng)脈連接起來(lái)[9]。場(chǎng)景中設(shè)置了一個(gè)標(biāo)本病例，同時(shí)給予了對(duì)應(yīng)的標(biāo)準(zhǔn)操作動(dòng)畫(huà)演示。使用者可以進(jìn)行本地自主操作，與標(biāo)準(zhǔn)操作進(jìn)行對(duì)應(yīng)，并觀察相應(yīng)的效果。

{應(yīng)急情況處理}

在進(jìn)行手術(shù)時(shí)，難免會(huì)發(fā)生緊急事故，該部分負(fù)責(zé)模擬一些突發(fā)緊急情況的發(fā)生，使用者需要首先確認(rèn)病人情況并做出對(duì)應(yīng)處置，可以增加醫(yī)學(xué)生進(jìn)入手術(shù)室之前的經(jīng)驗(yàn)[10]。

（2）護(hù)士模式

{基礎(chǔ)教學(xué)}

該模塊與醫(yī)生模式中的基礎(chǔ)教學(xué)模塊相似，都作為手術(shù)室操作教育部分，在一場(chǎng)手術(shù)中，護(hù)士與醫(yī)生分工各有不同，醫(yī)生負(fù)責(zé)手術(shù)，而護(hù)士負(fù)責(zé)具體輔助。但同樣，術(shù)前的消毒、穿戴無(wú)菌衣的操作，手術(shù)細(xì)節(jié)等也是必不可少的，特別的是，我們加入了與醫(yī)生的配合操作訓(xùn)練和對(duì)手術(shù)器械設(shè)備之間的操作訓(xùn)練，可以讓護(hù)理學(xué)生快速熟悉了解手術(shù)室及手術(shù)規(guī)程[11]。

（3）保留模塊

隨著當(dāng)今醫(yī)療水平、圖像處理技術(shù)及制作引擎的發(fā)展，該模塊作為整個(gè)系統(tǒng)的保留模塊，在今后的版本更新中不斷地拓展使用。

2　系統(tǒng)應(yīng)用演示

現(xiàn)通過(guò)以下示例，向讀者進(jìn)行本系統(tǒng)功能的展示。

2.1　系統(tǒng)選擇界面

該界面由選擇UI組成，通過(guò)各種UI進(jìn)入到系統(tǒng)中的各個(gè)場(chǎng)景中，設(shè)置有主要的醫(yī)生選項(xiàng)、護(hù)士選項(xiàng)及退出按鈕，圖2為進(jìn)入場(chǎng)景前的選擇界面。

圖2　系統(tǒng)選擇界面Fig. 2　System selection interface

2.2　醫(yī)生模式

該場(chǎng)景即由對(duì)應(yīng)的基礎(chǔ)教學(xué)、心臟手術(shù)處理部分、應(yīng)急情況處理部分組成。三個(gè)部分組合成從進(jìn)入手術(shù)室到手術(shù)中出現(xiàn)緊急情況處理的完整流程。圖3為手術(shù)中畫(huà)面。

圖3　心臟手術(shù)中醫(yī)生視角進(jìn)行心臟手術(shù)的動(dòng)作Fig. 3　Cardiac Surgery Operation from Doctor’s Perspective during Cardiac Surgery

2.3　護(hù)士模式

護(hù)士模式前期操作與醫(yī)生模式相同，即進(jìn)入手術(shù)室之后的手部消毒操作、穿戴無(wú)菌衣和手套，之后進(jìn)入與醫(yī)生配合的模式中，練習(xí)為醫(yī)生遞送手術(shù)剪、手術(shù)刀和紗布等操作[12]。圖4為護(hù)士視角下的手術(shù)操作。

圖4　為手術(shù)中護(hù)士視角下的配合操作Fig. 4　Coordination Operation from Nurse’s Perspective

3　總結(jié)

本系統(tǒng)開(kāi)發(fā)完成后使得醫(yī)學(xué)生到手術(shù)室的距離更近了一步，醫(yī)生對(duì)于手術(shù)中的各種緊急情況處理更加得當(dāng)，患者也離危險(xiǎn)多遠(yuǎn)離一分。在接下來(lái)的開(kāi)發(fā)計(jì)劃中，除了更精細(xì)的畫(huà)面，更細(xì)致的模型渲染，預(yù)計(jì)還會(huì)加入其它各種其它心臟手術(shù)操作，實(shí)現(xiàn)更多的手術(shù)操作教學(xué)[13]。在未來(lái)隨著VR技術(shù)的更新發(fā)展，勢(shì)必將會(huì)有更多VR醫(yī)療教育產(chǎn)品出現(xiàn)，將極大的提高未來(lái)醫(yī)療診斷的準(zhǔn)確性及科學(xué)性，為更好的醫(yī)療環(huán)境增磚添瓦。