增強(qiáng)現(xiàn)實(shí)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用現(xiàn)狀研究

李春迎，陸正大，謝凱，孫鴻飛，林濤，高留剛，眭建鋒，倪昕曄

1. 南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院 放療科，江蘇 常州 213003；2. 南京醫(yī)科大學(xué) 醫(yī)學(xué)物理研究中心，江蘇 常州 213003；3. 常州市醫(yī)學(xué)物理重點(diǎn)實(shí)驗(yàn)室，江蘇 常州 213003

引言

在傳統(tǒng)的診療過程中，通常是醫(yī)生根據(jù)已有的二維斷層圖像，憑借經(jīng)驗(yàn)估計(jì)病灶形態(tài)結(jié)構(gòu)以及和周圍正常組織的關(guān)系來分析患者病灶部位的特點(diǎn)。但二維圖像無法提供人體組織器官的立體感知效果，缺乏直觀性，因此精確度也較低[1]。隨著電子信息技術(shù)的發(fā)展，可視化技術(shù)越來越多地應(yīng)用于醫(yī)療領(lǐng)域當(dāng)中。三維可視化技術(shù)是從計(jì)算機(jī)斷層技術(shù)（Computer Technology，CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、超聲成像（Ultrasound，US）、正電子發(fā)射掃描（Positron Emission Tomography，PET）等成像系統(tǒng)中獲取數(shù)據(jù)，將圖像生成技術(shù)和圖像理解技術(shù)結(jié)合起來，從獲取的復(fù)雜數(shù)據(jù)中生成人類視覺可以感知的三維圖像，更加直觀地進(jìn)行操作和分析[1-2]。三維可視化技術(shù)包括3D 打印、三維重建、虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）等技術(shù)，其中AR 以其較好的虛實(shí)結(jié)合[3]、實(shí)時(shí)交互能力[4]、三維尺度中添加定位虛擬物體等優(yōu)點(diǎn)成為醫(yī)療領(lǐng)域的新興技術(shù)。AR 可視為VR 的變體，是用計(jì)算機(jī)生成的數(shù)據(jù)來對真實(shí)的世界進(jìn)行補(bǔ)充并實(shí)時(shí)呈現(xiàn)的技術(shù)。AR 同時(shí)關(guān)注真實(shí)世界和虛擬世界，并進(jìn)行實(shí)時(shí)交互，其側(cè)重于將虛擬影像疊加在真實(shí)世界中的方式來觀察現(xiàn)實(shí)世界以此來增強(qiáng)用戶的現(xiàn)實(shí)體驗(yàn)，AR 補(bǔ)充真實(shí)世界而不是取代它。本研究將討論AR 在醫(yī)療領(lǐng)域的應(yīng)用現(xiàn)狀和發(fā)展方向，主要包括AR 技術(shù)特征及關(guān)鍵技術(shù)、AR 在醫(yī)學(xué)教育中的應(yīng)用、AR 手術(shù)導(dǎo)航、AR 在腫瘤放射治療領(lǐng)域的應(yīng)用。

1 AR技術(shù)特征及關(guān)鍵技術(shù)

AR 技術(shù)與其他可視化技術(shù)相比，具有多圖像融合、3D 交互、具備手眼協(xié)調(diào)能力等特征，能增強(qiáng)用戶對周圍真實(shí)世界的感知，而不需要在現(xiàn)實(shí)世界和屏幕之間來回切換。

AR 系統(tǒng)的基本流程主要如下：采集數(shù)據(jù)進(jìn)行建模形成模擬圖像、將模擬圖像與真實(shí)環(huán)境進(jìn)行匹配、最終增強(qiáng)圖像的顯示[5]。AR 系統(tǒng)所需要的三個(gè)必要的組件為：頭戴式顯示器、實(shí)時(shí)注冊跟蹤定位技術(shù)、移動(dòng)計(jì)算能力，其中關(guān)鍵部分是注冊定位跟蹤技術(shù)與虛實(shí)場景融合技術(shù)。注冊定位跟蹤技術(shù)的精確度直接決定虛實(shí)融合的魯棒性和實(shí)時(shí)性，此技術(shù)的關(guān)鍵是實(shí)現(xiàn)對真實(shí)場景中的目標(biāo)物體位置的準(zhǔn)確跟蹤，而AR 跟蹤器又分為基于視覺的無標(biāo)記跟蹤器和基于三維模型的跟蹤器等，其中基于無標(biāo)記三維模型跟蹤器優(yōu)點(diǎn)是能夠預(yù)測目標(biāo)場景的隱藏運(yùn)動(dòng)，減少跟蹤過程中引入的異常數(shù)據(jù)的影響，從而提高魯棒性和各方面的性能[6]，使用三維模型的跟蹤器的前提是需要被跟蹤對象有3D 模型以供使用。虛實(shí)融合技術(shù)將直接影響用戶的真實(shí)感，Battiato 等[7]對虛擬或真實(shí)場景信息做了簡化處理以減小計(jì)算機(jī)生成的虛擬像和真實(shí)場景之間的差異，同時(shí)有研究表明利用基于OpenSceneGraph（OSG）的模型渲染技術(shù)以及GL 著色語言（GL Shading Language，GLSL）實(shí)現(xiàn)的多元化融合效果較傳統(tǒng)的虛實(shí)融合方法而言更加靈活、直觀地展現(xiàn)出融合場景的真實(shí)感和立體感[8]。

2 AR在醫(yī)學(xué)教育中的應(yīng)用

人體解剖學(xué)是醫(yī)學(xué)生最基本的課程之一，其主要是說明性的，需要通過圖形、圖標(biāo)和真實(shí)模型進(jìn)行教學(xué)才能有助于學(xué)生的理解。但傳統(tǒng)的結(jié)合教科書和解剖來教授人體解剖學(xué)受到了很多的限制，而AR 技術(shù)的出現(xiàn)可以很好地呈現(xiàn)骨骼、肌肉、神經(jīng)和其他的人體器官，使醫(yī)學(xué)專業(yè)的學(xué)生在一個(gè)真實(shí)世界的“操作”游戲中練習(xí)解剖人體模型的程序，AR 成為傳統(tǒng)解剖教學(xué)模式很好的補(bǔ)充[9]。Kandikonda 等[10]使用Maya 3D 軟件成功創(chuàng)建了人體脊柱模型，他選取了精確的人體脊柱圖片，并將在Maya 中創(chuàng)建的3D 脊椎模型導(dǎo)入Google Sketchup 軟件當(dāng)中，再使用AR-media 插件配置3D 脊柱模型以生成增強(qiáng)現(xiàn)實(shí)，生成增強(qiáng)的3D 脊柱以供學(xué)生進(jìn)行交互學(xué)習(xí)。Blum 等[11]提出mirracle 系統(tǒng)，該系統(tǒng)利用AR 技術(shù)實(shí)現(xiàn)原位可視化，直觀地在用戶身上顯示解剖結(jié)構(gòu)，有助于在學(xué)生掌握重要器官組織結(jié)構(gòu)的同時(shí)提高學(xué)習(xí)的積極性。

神經(jīng)外科手術(shù)復(fù)雜、危險(xiǎn)系數(shù)高，因此需要神經(jīng)外科醫(yī)生的大量學(xué)習(xí)來提高自己的經(jīng)驗(yàn)水平，但大多數(shù)知識的來源還停留在解剖圖譜、頭部模型和動(dòng)物解剖模型上，限制了神經(jīng)外科醫(yī)生的進(jìn)一步學(xué)習(xí)。有研究報(bào)道稱，Immersive Touch（IR）作為一種AR 系統(tǒng)，可以用來模擬訓(xùn)練腦室造口術(shù)、顱骨鉆孔手術(shù)、經(jīng)皮三叉神經(jīng)根切除術(shù)，還可用于模擬脊柱模塊，如椎弓根螺釘置入、椎體成形術(shù)和腰椎穿刺等其他操作，學(xué)習(xí)者通過三維立體模型可以更好地理解復(fù)雜的神經(jīng)外科解剖模型，明顯提高了學(xué)習(xí)的效率[12-13]。

口腔醫(yī)學(xué)對于醫(yī)生的手眼協(xié)調(diào)能力要求較高，各種模擬訓(xùn)練技術(shù)也已投入使用。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，多種可視化技術(shù)也逐漸與口腔醫(yī)學(xué)相結(jié)合來提高學(xué)生的動(dòng)手操作能力，節(jié)約成本和時(shí)間[14]。目前市場上已經(jīng)出現(xiàn)了與VR 系統(tǒng)結(jié)合的牙科模擬器，Virteasy Dental 公司將觸覺系統(tǒng)和牙科手柄結(jié)合模擬牙科鉆孔以提高學(xué)生的技能，相信AR 技術(shù)與口腔醫(yī)學(xué)的結(jié)合會有更加廣闊的天地。

有研究表明AR 技術(shù)在護(hù)理學(xué)中的可用性，文章提出AR 技術(shù)可以吸引學(xué)生積極投入實(shí)訓(xùn)環(huán)境，具有避免在訓(xùn)練當(dāng)中對真實(shí)患者造成傷害的同時(shí)在不同場景和患者之間進(jìn)行訓(xùn)練等優(yōu)點(diǎn)[15]。

由此可見，AR 技術(shù)已經(jīng)給傳統(tǒng)醫(yī)學(xué)教學(xué)模式帶來一定的改變，將AR 技術(shù)與醫(yī)學(xué)教育相結(jié)合，不僅解決了醫(yī)學(xué)模型（如尸體模型、動(dòng)物模型、人體模型等）的倫理問題和實(shí)時(shí)獲取問題，而且還可以以逼真的三維模型方式來實(shí)現(xiàn)學(xué)習(xí)者與模型之間的實(shí)時(shí)互動(dòng)，提供更加直觀、便捷的學(xué)習(xí)形式。

3 AR進(jìn)行手術(shù)導(dǎo)航

以前，超聲、CT、MRI 等成像設(shè)備產(chǎn)生的醫(yī)學(xué)圖像主要用于疾病的診斷。近年來，隨著成像技術(shù)的不斷發(fā)展，將醫(yī)學(xué)圖像直接應(yīng)用于手術(shù)成為趨勢，這就是圖像引導(dǎo)手術(shù)或手術(shù)導(dǎo)航技術(shù)。手術(shù)導(dǎo)航技術(shù)較傳統(tǒng)的手術(shù)技術(shù)相比，可以確保到達(dá)正確的病變部位進(jìn)行手術(shù)，但當(dāng)手術(shù)過程中查看導(dǎo)航信息時(shí)，需要在手術(shù)部位轉(zhuǎn)動(dòng)來實(shí)現(xiàn)查看導(dǎo)航屏幕，這不可避免地會在手術(shù)過程中產(chǎn)生偏差。將AR 技術(shù)應(yīng)用于手術(shù)過程具有始終觀察手術(shù)部位的優(yōu)點(diǎn)，器官和神經(jīng)等以三維圖形顯示在頭戴顯示鏡中，醫(yī)生可以以相同的方式進(jìn)行手術(shù)而不需要在手術(shù)過程中移開視線來查看位置信息[16]。

2013 年，Suenaga 等[17]用AR 技術(shù)模擬了口腔頜面部手術(shù)。他利用CT 數(shù)據(jù)來建立上頜骨的三維模型并生成視頻圖像，再使用三維增強(qiáng)現(xiàn)實(shí)系統(tǒng)生成覆蓋層，并通過半鍍銀鏡子投射到手術(shù)部位進(jìn)行手術(shù)導(dǎo)航。結(jié)果證明實(shí)體模型和AR 系統(tǒng)中的模型各點(diǎn)之間的差異在1 mm 以內(nèi)，具有很高的精確度，并且手術(shù)者裸眼看到的三維重建圖像不會隨著觀察角度的改變而發(fā)生變化。2015 年，Liu 等[18]利用AR 技術(shù)在錐形束CT（Cone Beam CT，CBCT）的引導(dǎo)下進(jìn)行舌癌切除手術(shù)，除了立體增強(qiáng)視圖外還創(chuàng)建了一個(gè)虛擬場景的正交視圖來增強(qiáng)深度的感知。實(shí)驗(yàn)結(jié)果表明，視頻增強(qiáng)較透視引導(dǎo)和無引導(dǎo)技術(shù)而言，獲得了更高的切除率。他提出的內(nèi)窺鏡視頻增強(qiáng)引導(dǎo)方法增強(qiáng)了關(guān)鍵的血管結(jié)構(gòu)、腫瘤結(jié)構(gòu)和所需的邊緣信息，同時(shí)融合了定位工具，為外科醫(yī)生增強(qiáng)了深度感知信息，進(jìn)行精確手術(shù)。2016 年，Li 等[19]利用AR 技術(shù)進(jìn)行導(dǎo)航完成鼻內(nèi)窺鏡顱底手術(shù)。他以術(shù)前的CT 或MRI 圖像為數(shù)據(jù)進(jìn)行三維建模，對畸變校正后的真實(shí)內(nèi)窺鏡圖像進(jìn)行半透明融合。實(shí)驗(yàn)結(jié)果證明，基于AR 的導(dǎo)航系統(tǒng)能夠重建手術(shù)部位的立體形態(tài)，并將內(nèi)窺鏡圖像融合到三維重建圖像當(dāng)中去，為醫(yī)生提供更直觀、更詳細(xì)的影像信息，減少進(jìn)行鼻竇或顱底手術(shù)的判斷時(shí)間。2018 年，蔣帥等[20]利用AR 技術(shù)對顱骨CT 數(shù)據(jù)進(jìn)行三維重建并指導(dǎo)開顱手術(shù)。在術(shù)前進(jìn)行顱骨CT 的三維重建模擬關(guān)鍵點(diǎn)，術(shù)中使用AR 技術(shù)協(xié)助定位關(guān)鍵點(diǎn)，可準(zhǔn)確定位相應(yīng)的鉆孔位置，避免乙狀竇前入路開顱手術(shù)靜脈竇的損傷。謝國強(qiáng)等[21]探討了基于智能手機(jī)簡易增強(qiáng)現(xiàn)實(shí)技術(shù)定位幕上高血壓性腦內(nèi)血腫的可靠性和準(zhǔn)確性，他將入院時(shí)高血壓性腦出血的頭顱CT 數(shù)據(jù)導(dǎo)入3D Slicer 軟件后進(jìn)行頭面部皮膚和腦內(nèi)血腫的三維重建，調(diào)整皮膚透明度使皮膚和血腫同時(shí)顯影時(shí)截圖導(dǎo)入智能手機(jī)，實(shí)現(xiàn)簡易的增強(qiáng)現(xiàn)實(shí)技術(shù)，實(shí)驗(yàn)結(jié)果表明，定位準(zhǔn)確性能得到保證，誤差在3 mm 左右，是在完全可以接受的范圍內(nèi)。

腹腔鏡手術(shù)與其他手術(shù)相比，具有創(chuàng)傷小、恢復(fù)快、感染率高等特點(diǎn)[22]，手術(shù)效果過于依賴醫(yī)生的經(jīng)驗(yàn)，將AR 技術(shù)與腹腔鏡手術(shù)相結(jié)合能在一定程度上減輕這種依賴性。目前來說，AR 已經(jīng)運(yùn)用于腎、胰十二指腸、肝等切除手術(shù)中[23-24]。腹腔鏡增強(qiáng)現(xiàn)實(shí)導(dǎo)航技術(shù)的數(shù)據(jù)主要來自于術(shù)前CT、MRI、PET、SPECT、US 等，其主要是通過視頻疊加的方式進(jìn)行顯示，完成手術(shù)過程中的導(dǎo)航，而目前來說，這種導(dǎo)航技術(shù)主要分為腹腔鏡視頻增強(qiáng)現(xiàn)實(shí)導(dǎo)航和腹腔鏡超聲增強(qiáng)現(xiàn)實(shí)導(dǎo)航，其中，腹腔鏡視頻應(yīng)用多于腹腔鏡超聲的應(yīng)用[22]。

由此可見，AR 技術(shù)與醫(yī)學(xué)手術(shù)相結(jié)合是目前研究的熱點(diǎn)，同時(shí)較傳統(tǒng)手術(shù)相比，AR 手術(shù)導(dǎo)航具有很好的實(shí)時(shí)交互功能，醫(yī)生能更加直觀地進(jìn)行手術(shù)。但目前來說，盡管將AR 技術(shù)用于手術(shù)導(dǎo)航取得了令人鼓舞的成果，但魯棒性和準(zhǔn)確性的問題仍然存在，這是以后需要進(jìn)一步研究和解決的問題[25]。

4 AR技術(shù)用于康復(fù)治療

康復(fù)治療是康復(fù)醫(yī)學(xué)的重要部分，是幫助病、傷、殘患者恢復(fù)健康的重要手段，康復(fù)治療學(xué)在我國起步較晚，目前來說主要的治療方法有運(yùn)動(dòng)療法和物理治療、作業(yè)療法、心理治療、假肢及矯形器具等，但AR 技術(shù)也逐漸與康復(fù)治療學(xué)相結(jié)合。

腦機(jī)接口（Brain Computer Interface，BCI）即大腦-計(jì)算機(jī)交互接口的簡稱，主要用于重建特殊感覺以及癱瘓病人的運(yùn)動(dòng)神經(jīng)，近年來在康復(fù)領(lǐng)域取得很大的進(jìn)展，同時(shí)也有研究表明其可以增強(qiáng)正常人的功能。但盡管腦機(jī)接口的性能在不斷上升，卻主要還是集中在輔助、增強(qiáng)和修復(fù)人體認(rèn)知和運(yùn)動(dòng)感覺神經(jīng)等方面[26]，很難應(yīng)用于日常生活當(dāng)中。張力新等[27]提出將AR 技術(shù)與BCI 結(jié)合起來以擺脫屏幕限制，隨時(shí)隨地向用戶呈現(xiàn)視覺刺激，實(shí)現(xiàn)便攜式腦機(jī)控制系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，AR-BCI 一定程度上解決了設(shè)備的便攜性問題，同時(shí)能夠?qū)崿F(xiàn)較高的正確率和速率，有望在將來真正投入到實(shí)際應(yīng)用當(dāng)中。

腦卒中是導(dǎo)致人類死亡或殘疾的主要原因之一，因腦卒中而導(dǎo)致偏癱的患者上肢恢復(fù)較下肢恢復(fù)要更加困難[28]，而AR 技術(shù)已經(jīng)越來越多地應(yīng)用于上肢恢復(fù)當(dāng)中。視觸覺增強(qiáng)技術(shù)可以通過刺激多個(gè)感官來幫助大腦高級中樞進(jìn)行整合，建立新的信息接收和處理通道，有助于上肢的康復(fù)[29-30]。

5 AR應(yīng)用于腫瘤放射治療

放射治療是腫瘤臨床治療的三大主要手段之一，大部分惡性腫瘤患者在接受治療的過程中或多或少都需要接受放療[31]。放療的目的是最大限度的殺滅腫瘤細(xì)胞，而使周圍正常組織和器官免受或少受射線照射。隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，放療的精度得到了大幅度的提高，而可視化技術(shù)是精準(zhǔn)放療的重要組成部分。

有研究表明，進(jìn)行放射治療時(shí)病人擺位不準(zhǔn)確會使得病人的復(fù)發(fā)率大大提高。但放療次數(shù)多、周期長、影響因素多，在擺位時(shí)精度無法保證，因此尋找方法來減小擺位誤差是很有必要的。2009 年，Talbot 等[32-33]提出利用AR技術(shù)開發(fā)一種外照射放射治療病人設(shè)置系統(tǒng)。他提出根據(jù)CT 數(shù)據(jù)來獲得患者外輪廓的三維模型，并利用AR 跟蹤軟件將輪廓疊加到正確治療位置的視頻圖像上，用戶觀察監(jiān)視器將實(shí)際患者身體外輪廓與虛擬輪廓對其來進(jìn)一步實(shí)現(xiàn)對患者的精確定位。實(shí)驗(yàn)結(jié)果證明，AR 技術(shù)作為體外放射治療病人位置引導(dǎo)的工具，其概念是完全可行的，并且能夠以該領(lǐng)域所需的準(zhǔn)確度進(jìn)行操作，但目前來說這只是一個(gè)可行性研究，真正應(yīng)用于臨床擺位治療還需要很長的一段路要走。

6 總結(jié)

綜上所述，將AR 技術(shù)與醫(yī)療相結(jié)合在未來具有巨大的發(fā)展?jié)摿?，目前主要用于醫(yī)學(xué)教育和手術(shù)導(dǎo)航方面，在康復(fù)治療和放射治療等領(lǐng)域還處于起步階段。但由于醫(yī)療領(lǐng)域的精確度要求較高，還有很多亟待解決的問題。醫(yī)學(xué)成像數(shù)據(jù)（CT、MRI、PET 等）的誤差將直接影響三維模型的精度，人體組織的形變程度、攝像機(jī)標(biāo)定誤差等將直接影響三維注冊的誤差，AR 系統(tǒng)的延遲、人眼的不適程度、是否能形成正確的深度感知都會影響到AR 的導(dǎo)航效果。但是在科學(xué)技術(shù)不斷進(jìn)步的今天，我們相信這些難題在不久的將來都會得到很好的解決，AR 技術(shù)將與醫(yī)學(xué)更好地結(jié)合來造福人類。