增強(qiáng)現(xiàn)實(shí)技術(shù)的研究進(jìn)展及臨床應(yīng)用概述

張楚茜　綜述　張?jiān)娎住徯?/p>

“增強(qiáng)現(xiàn)實(shí)”（Augmented reality，AR） 最早由Milgram 等[1]于1994年提出，被描述為將數(shù)字內(nèi)容與用戶(hù)周?chē)鎸?shí)環(huán)境合并的交互式可視化系統(tǒng)[2]。增強(qiáng)現(xiàn)實(shí)系統(tǒng)可將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景等實(shí)時(shí)疊加,顯示到真實(shí)場(chǎng)景中，虛實(shí)結(jié)合，以增強(qiáng)使用者對(duì)真實(shí)世界的感觀(guān)[3]。增強(qiáng)現(xiàn)實(shí)真正開(kāi)始于上世紀(jì)60年代Sutherland[4]的研究，他發(fā)明了一種“透視”頭戴式顯示器，用于觀(guān)察三維圖形。1986年，這種虛擬圖像與真實(shí)環(huán)境結(jié)合的技術(shù)首次運(yùn)用于醫(yī)學(xué)神經(jīng)外科領(lǐng)域。Roberts等[5]開(kāi)發(fā)了一種將CT圖像集成到手術(shù)顯微鏡的光學(xué)系統(tǒng)，并用其觀(guān)察了一位患有多形性成膠質(zhì)細(xì)胞瘤患者的腫瘤邊界。此后，增強(qiáng)現(xiàn)實(shí)技術(shù)不斷發(fā)展，逐漸滲透到醫(yī)學(xué)的各個(gè)領(lǐng)域。

增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)（Virtual reality，VR）有著本質(zhì)的區(qū)別。虛擬現(xiàn)實(shí)旨在將用戶(hù)完全沉浸在計(jì)算機(jī)生成的虛擬環(huán)境中；而增強(qiáng)現(xiàn)實(shí)則與其相反，旨在將計(jì)算機(jī)生成的虛擬對(duì)象添加到真實(shí)環(huán)境中，增強(qiáng)用戶(hù)對(duì)真實(shí)世界的感受[6]。Milgram等[1]創(chuàng)造了一個(gè)名為“虛擬連續(xù)體”的概念，認(rèn)為增強(qiáng)現(xiàn)實(shí)更接近于真實(shí)環(huán)境的一方。目前，虛擬現(xiàn)實(shí)技術(shù)多用于術(shù)前設(shè)計(jì)、手術(shù)計(jì)劃，以及手術(shù)的模擬訓(xùn)練等，而增強(qiáng)現(xiàn)實(shí)技術(shù)已廣泛應(yīng)用于手術(shù)的圖像引導(dǎo)[7]。

1　增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)的工作流程包括：所需呈現(xiàn)圖像的虛擬建模、虛擬建模與真實(shí)環(huán)境的匹配，以及最終增強(qiáng)圖像的顯示，其中最重要的就是顯示及虛實(shí)配準(zhǔn)技術(shù)。

1.1　增強(qiáng)現(xiàn)實(shí)的顯示技術(shù)

目前使用的增強(qiáng)現(xiàn)實(shí)顯示設(shè)備，根據(jù)成像原理的不同，可分為視頻式顯示器、光學(xué)透視式顯示器和投影儀顯示器。

1.1.1視頻式顯示技術(shù)

視頻式顯示器實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)顯示的基本原理是虛擬圖像與真實(shí)世界兩幅圖像的數(shù)字化融合，一般由前置攝像頭、場(chǎng)景生成器、視頻合成器和顯示器組成[8]。視頻合成器通過(guò)將計(jì)算機(jī)生成的虛擬圖像與攝像機(jī)獲取的真實(shí)世界圖像融合，通過(guò)顯示器將組合圖像呈現(xiàn)于使用者眼前。由于圖像的融合和處理均需要時(shí)間，所以視頻式顯示器中的圖像通常相對(duì)于真實(shí)世界略有延遲[9]，這也是視頻式顯示器最主要的缺點(diǎn)。盡管其呈現(xiàn)的圖像質(zhì)量更高，但因與真實(shí)世界不完全同步，對(duì)可能發(fā)生緊急情況無(wú)法及時(shí)處理，降低了使用者使用時(shí)的安全性。

視頻式顯示器又可分為頭戴式視頻顯示器和手持或懸掛式視頻顯示器。頭戴式顯示器可解放雙手而成為目前較為常用的顯示設(shè)備，但是使用者所看到的畫(huà)面全部是計(jì)算機(jī)生成的，在快速移動(dòng)頭部時(shí)，因?yàn)槌上癫粔蚓_，可能會(huì)導(dǎo)致使用者感到眩暈不適[9]。手持或懸掛式視頻顯示器無(wú)法提供沉浸感，且不便攜帶[10]。目前，懸掛式視頻顯示設(shè)備在醫(yī)學(xué)領(lǐng)域多用于腹腔鏡手術(shù)，通過(guò)將虛擬圖像與腹腔鏡圖像融合直接顯示在屏幕上，以幫助定位深部的血管或腫瘤等。

1.1.2光學(xué)透視式顯示技術(shù)

由于攝像機(jī)無(wú)法完全還原人類(lèi)的視覺(jué)，故研發(fā)出了可以直接將增強(qiáng)信息疊加到使用者視線(xiàn)光路的透視設(shè)備。光學(xué)透視式顯示器一般由場(chǎng)景生成器、集成顯示器和光學(xué)透視鏡片組成。其基本原理是將集成顯示器中的虛擬建模圖像反射在半透明鏡片上，將真實(shí)環(huán)境光線(xiàn)和數(shù)字圖像在半透明鏡片上達(dá)到融合，最終呈現(xiàn)在使用者的視網(wǎng)膜上[11]。光學(xué)透視式顯示設(shè)備最大的技術(shù)難點(diǎn)在于場(chǎng)景生成器與用戶(hù)眼睛二者坐標(biāo)系的匹配，需要考慮眼睛不同的焦距以及追蹤眼球的移動(dòng)，極大地增加了虛實(shí)配準(zhǔn)的難度[12]。此外，現(xiàn)有的光學(xué)透視式顯示器呈現(xiàn)的顏色也不夠真實(shí)，會(huì)降低使用者的沉浸感，這些都是目前亟須解決的問(wèn)題[13]。

1.1.3投影儀顯示技術(shù)

將虛擬圖像與真實(shí)環(huán)境疊加，更為直接的方法是將虛擬建模圖像利用投影儀直接投影在真實(shí)環(huán)境中。它擁有對(duì)現(xiàn)實(shí)環(huán)境直接的視覺(jué)，可以營(yíng)造物體的“透明感”，便于看到隱藏于深層的結(jié)構(gòu)，且技術(shù)簡(jiǎn)單，價(jià)格低廉[14]。但在實(shí)際應(yīng)用過(guò)程中，投影儀也是局限最大的。目前，基于投影儀的增強(qiáng)現(xiàn)實(shí)有以下缺陷：①使用者的目光與投影儀的光學(xué)中心不同，不同的角度對(duì)投影圖像的深度與位置會(huì)產(chǎn)生不同的判斷，故投影儀只能用于淺表結(jié)構(gòu)的顯示；②投影儀對(duì)環(huán)境的要求較高，光線(xiàn)太亮?xí)绊懲队皟x成像質(zhì)量，而光線(xiàn)太暗又不利于用戶(hù)觀(guān)察環(huán)境，且用戶(hù)和物品都有可能對(duì)投影圖像造成遮擋；③投影環(huán)境無(wú)法進(jìn)行預(yù)先估計(jì)，不能作為良好的投影屏幕，會(huì)使投影圖像變形[15-16]。基于投影儀的增強(qiáng)現(xiàn)實(shí)技術(shù)，其未來(lái)的發(fā)展方向?yàn)樵黾訉?duì)用戶(hù)頭部的跟蹤、識(shí)別遮擋物和全息投影的應(yīng)用等。

1.2　增強(qiáng)現(xiàn)實(shí)的虛實(shí)配準(zhǔn)技術(shù)

實(shí)現(xiàn)虛擬建模與實(shí)際患者的精確匹配，將虛擬圖像疊加在正確的位置上，是增強(qiáng)現(xiàn)實(shí)技術(shù)中的難點(diǎn)。任何一點(diǎn)的疊加誤差都可能造成錯(cuò)誤的認(rèn)知，所以這是保證增強(qiáng)現(xiàn)實(shí)圖像形成的關(guān)鍵。目前，虛實(shí)配準(zhǔn)方法包括基于硬件設(shè)備的配準(zhǔn)和基于計(jì)算機(jī)視覺(jué)的配準(zhǔn)兩類(lèi)[17]。

1.2.1基于硬件設(shè)備的配準(zhǔn)技術(shù)

這種配準(zhǔn)方法主要包括電磁式、光學(xué)式、超聲波式和機(jī)械式跟蹤配準(zhǔn)方法。電磁式方法通過(guò)磁感應(yīng)信號(hào)之間的耦合關(guān)系來(lái)準(zhǔn)確定位；光學(xué)式方法通過(guò)攝像裝置或光敏器件接收反光球發(fā)出的光來(lái)計(jì)算物體的空間位置；超聲波式方法通利用不同聲源到達(dá)某一地點(diǎn)的時(shí)間差等進(jìn)行跟蹤定位；機(jī)械式方法則通過(guò)物理連接來(lái)測(cè)量物體的方位[18]。準(zhǔn)確定位后再通過(guò)虛實(shí)圖像上標(biāo)志點(diǎn)或整體表面的識(shí)別來(lái)進(jìn)行配準(zhǔn)。其定位準(zhǔn)確且廣泛，但需要另外配置跟蹤定位設(shè)備。這種方法在醫(yī)學(xué)領(lǐng)域已有較多的應(yīng)用，通常通過(guò)在皮膚表面粘貼標(biāo)志點(diǎn)，在骨骼、器官內(nèi)植入金屬螺釘，或激光掃描緊貼骨質(zhì)的皮膚來(lái)實(shí)現(xiàn)術(shù)中配準(zhǔn)[19-21]。

1.2.2基于計(jì)算機(jī)視覺(jué)的配準(zhǔn)技術(shù)

該配準(zhǔn)技術(shù)通過(guò)在視頻流圖像中識(shí)別環(huán)境中的人工標(biāo)識(shí)物或自然特征來(lái)實(shí)現(xiàn)配準(zhǔn)，無(wú)需額外的跟蹤定位設(shè)備，成本低，但只有在特定平面上配準(zhǔn)才比較準(zhǔn)確，一旦變換方向，標(biāo)識(shí)物或自然特征變形缺失，則無(wú)法進(jìn)行配準(zhǔn)。此種方法在醫(yī)學(xué)領(lǐng)域也有應(yīng)用，Zhu等[22]設(shè)計(jì)了一種利用口腔咬牙合夾板配準(zhǔn)的方法，通過(guò)將咬牙合夾板佩戴在患者的下頜牙齒上，使其與下頜骨的位置保持恒定，術(shù)中識(shí)別固定在夾板上的圖形標(biāo)志物來(lái)匹配下頜骨的位置；Wang等[23-24]報(bào)道了一種基于牙齒輪廓的無(wú)標(biāo)識(shí)的配準(zhǔn)方法，可以實(shí)現(xiàn)自動(dòng)配準(zhǔn)，且手術(shù)器材對(duì)牙齒短暫的遮擋不會(huì)對(duì)配準(zhǔn)造成影響，配準(zhǔn)誤差＜1 mm。

2　增強(qiáng)現(xiàn)實(shí)技術(shù)的臨床應(yīng)用進(jìn)展

增強(qiáng)現(xiàn)實(shí)技術(shù)在復(fù)雜器械的維修加工、軍事、娛樂(lè)及教育等領(lǐng)域均有應(yīng)用，在醫(yī)學(xué)領(lǐng)域的應(yīng)用體現(xiàn)出了獨(dú)特的優(yōu)越性。由于增強(qiáng)現(xiàn)實(shí)的虛擬建模圖像依賴(lài)于患者的術(shù)前影像數(shù)據(jù)，所以對(duì)于術(shù)中移動(dòng)和形變較小的器官，如肝臟、顱骨等，有較好的效果，而對(duì)于腸等移動(dòng)的器官則難以跟蹤和匹配[25]。目前的增強(qiáng)現(xiàn)實(shí)技術(shù)的臨床應(yīng)用多集中于神經(jīng)外科、顱頜面科和普外科中。

2.1　神經(jīng)外科手術(shù)中的應(yīng)用

神經(jīng)外科手術(shù)必須在狹窄的手術(shù)區(qū)域內(nèi)切除盡可能少的組織，以減少對(duì)大腦的損傷，且大腦被限制在顱骨內(nèi)不易移動(dòng)和變形，所以是最早且最常應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)的領(lǐng)域[25]。增強(qiáng)現(xiàn)實(shí)技術(shù)可用于大腦深層重要神經(jīng)、血管和腫瘤的精確定位，縮短手術(shù)時(shí)間。

謝國(guó)強(qiáng)等[26]應(yīng)用3D-slicer軟件及iPhone5智能手機(jī)的低成本增強(qiáng)現(xiàn)實(shí)技術(shù)，為17例高血壓腦出血患者進(jìn)行了腦內(nèi)深部血腫穿刺，術(shù)后頭顱CT復(fù)查提示血腫清除滿(mǎn)意，未發(fā)現(xiàn)再出血，認(rèn)為此項(xiàng)技術(shù)有利于清晰勾畫(huà)血腫的邊界，提高了血腫清除率，降低了術(shù)后再出血發(fā)生率。Kersten-Oerte等[27-28]應(yīng)用增強(qiáng)現(xiàn)實(shí)導(dǎo)航系統(tǒng)，對(duì)1例動(dòng)脈瘤、2例動(dòng)靜脈畸形和1例動(dòng)靜脈瘺患者實(shí)施了手術(shù)，圖像與患者的整體配準(zhǔn)誤差在1～2 mm，認(rèn)為該導(dǎo)航系統(tǒng)有利于定位血管和規(guī)劃手術(shù)入路。Tabrizi等[29]運(yùn)用基于投影儀的AR技術(shù)，為5例腦腫瘤患者實(shí)施了手術(shù)，所有腦腫瘤均被完全切除，且均無(wú)明顯的并發(fā)癥或新的術(shù)后神經(jīng)功能障礙，認(rèn)為增強(qiáng)現(xiàn)實(shí)技術(shù)可以幫助規(guī)劃皮膚切口，在腦表面進(jìn)行腫瘤的可視化，這在神經(jīng)外科手術(shù)中是非常有益的。Kockro等[30]開(kāi)發(fā)了增強(qiáng)現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)DEX-Ray，由一臺(tái)載有計(jì)算機(jī)硬件和掛式液晶顯示器的手推車(chē)、一個(gè)連接的跟蹤系統(tǒng)和一個(gè)手持探頭組成，探頭包括一個(gè)帶有指針的鋁合金管和一個(gè)可以滑入其中的口紅形相機(jī)。該系統(tǒng)不僅可顯示病變的增強(qiáng)現(xiàn)實(shí)圖像，且可測(cè)定手持探針到目標(biāo)病變的距離，在對(duì)5例腦腫瘤患者的手術(shù)應(yīng)用中顯示了良好的效果，有利于腫瘤的完整切除，患者術(shù)后沒(méi)有出現(xiàn)新的神經(jīng)功能癥狀[31]。增強(qiáng)現(xiàn)實(shí)技術(shù)在神經(jīng)外科領(lǐng)域，尤其是在開(kāi)顱手術(shù)中，根據(jù)患者的解剖結(jié)構(gòu)進(jìn)行手術(shù)規(guī)劃的調(diào)整方面，體現(xiàn)了良好的應(yīng)用效果。

2.2　顱頜面外科手術(shù)中的應(yīng)用

顱頜面部有復(fù)雜的解剖結(jié)構(gòu)、豐富的神經(jīng)血管和極高的美學(xué)要求，任何微小的手術(shù)誤差，都有可能帶來(lái)嚴(yán)重的功能障礙或異常的面部輪廓，所以對(duì)手術(shù)的安全性和精確性有很高的要求。目前，增強(qiáng)現(xiàn)實(shí)在顱頜面外科的臨床應(yīng)用較少，主要有下頜骨畸形修整[32]、正頜外科[33]及上頜骨腫瘤切除[34]等方面的應(yīng)用報(bào)道。

Zhu等[32]運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)為20例包括下頜角肥厚、下頜后縮等下頜骨畸形患者進(jìn)行了整形手術(shù)，增強(qiáng)現(xiàn)實(shí)圖像用于術(shù)中確定下牙槽神經(jīng)管的位置，并顯示術(shù)前設(shè)計(jì)的截骨線(xiàn)，均取得了良好的手術(shù)效果，系統(tǒng)誤差為（0.96±0.51）mm。但該技術(shù)目前只適用于下頜骨手術(shù)，且用于配準(zhǔn)的牙科夾板松動(dòng)或錯(cuò)誤放置可能造成較大的手術(shù)誤差；同時(shí)，該系統(tǒng)目前只實(shí)現(xiàn)了增強(qiáng)圖像的直觀(guān)可視化，對(duì)于下牙槽神經(jīng)管的深度還無(wú)法準(zhǔn)確定位。Zinser等[33]設(shè)計(jì)制作了一種手持式增強(qiáng)現(xiàn)實(shí)導(dǎo)航系統(tǒng)X-Scope，在5例骨性Ⅲ類(lèi)錯(cuò)頜畸形患者的雙頜手術(shù)中，均準(zhǔn)確完成了術(shù)前計(jì)劃，精確范圍在1 mm以?xún)?nèi)。他們認(rèn)為，AR系統(tǒng)在復(fù)雜的上頜骨非線(xiàn)性易位及無(wú)法使用咬牙合夾板的無(wú)牙頜患者的正頜手術(shù)中，可以提供額外的安全性，但是目前還無(wú)法替代傳統(tǒng)的正頜手術(shù)[33]。Wagner等[34]運(yùn)用基于視頻式頭戴顯示器的增強(qiáng)現(xiàn)實(shí)技術(shù)，在1例上頜骨復(fù)發(fā)性骨肉瘤患者的手術(shù)中，直觀(guān)顯示了術(shù)前腫瘤切除計(jì)劃的手術(shù)入路?？傮w而言，增強(qiáng)現(xiàn)實(shí)導(dǎo)航技術(shù)在顱頜面外科領(lǐng)域的臨床應(yīng)用還較為有限，只能作為手術(shù)參考，尚無(wú)法達(dá)成精確的手術(shù)導(dǎo)航。

2.3　普外科中的應(yīng)用進(jìn)展

普外科涉及的手術(shù)目標(biāo)多為軟組織器官，術(shù)中容易因?yàn)榛颊叩捏w位變動(dòng)及手術(shù)器械的拉扯而產(chǎn)生形變，無(wú)疑為增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用增加了許多困難。為了盡可能減少目標(biāo)移位、形變所帶來(lái)的誤差，目前增強(qiáng)現(xiàn)實(shí)技術(shù)多應(yīng)用于肝臟、胰腺、腎臟等形變較小的器官。

2.3.1在開(kāi)放性手術(shù)中的應(yīng)用

增強(qiáng)現(xiàn)實(shí)技術(shù)在普外科開(kāi)放性手術(shù)中的應(yīng)用與其他領(lǐng)域相類(lèi)似。肝門(mén)部膽管癌（HCAC）根治性切除術(shù)的難點(diǎn)在于術(shù)中難以辨別肝內(nèi)血管及膽管復(fù)雜的解剖結(jié)構(gòu)，Tang等[35]設(shè)計(jì)了一種手持式增強(qiáng)現(xiàn)實(shí)導(dǎo)航系統(tǒng)，為1例HCAC患者實(shí)施了手術(shù)，在術(shù)后9個(gè)月的隨訪(fǎng)中未發(fā)現(xiàn)復(fù)發(fā)。Okamoto等[36]運(yùn)用該技術(shù)為24例胰腺病變的患者實(shí)施了手術(shù)，并通過(guò)其中4例導(dǎo)管內(nèi)乳頭狀黏液性腫瘤患者和1例囊腺瘤患者對(duì)系統(tǒng)的實(shí)用性進(jìn)行了評(píng)估。在這5例手術(shù)中，系統(tǒng)的配準(zhǔn)誤差在（3.55～11.79）mm之間，認(rèn)為基準(zhǔn)點(diǎn)在血管上比在軟組織器官的邊緣有更小的配準(zhǔn)誤差。相比于常規(guī)手術(shù)，增強(qiáng)現(xiàn)實(shí)導(dǎo)航技術(shù)有利于腫瘤的良好定位和術(shù)中獲得無(wú)癌邊緣[34]。

2.3.2在腹腔鏡微創(chuàng)手術(shù)中的應(yīng)用

腹腔鏡微創(chuàng)手術(shù)可以減小患者的創(chuàng)傷，縮短康復(fù)時(shí)間；但其視野有限，缺少深度感知和觸覺(jué)反饋，無(wú)法通過(guò)觸診確定血管、腫瘤等的位置[37]。將腹腔鏡圖像與增強(qiáng)現(xiàn)實(shí)圖像相結(jié)合可能是解決這些問(wèn)題的可行方法。

結(jié)直腸癌肝轉(zhuǎn)移灶（CRLM）是否完全R0切除，是關(guān)乎轉(zhuǎn)移性結(jié)直腸癌患者預(yù)后的重要因素，而現(xiàn)在的化療技術(shù)可以使腫瘤縮小到術(shù)中無(wú)法識(shí)別的程度，稱(chēng)為CRLM的缺失[38]。針對(duì)這一問(wèn)題，Ntourakis等[39]應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)，將化療前影像的虛擬建模與術(shù)中肝臟腹腔鏡圖像相融合，為3例轉(zhuǎn)移性結(jié)直腸癌肝轉(zhuǎn)移患者進(jìn)行了轉(zhuǎn)移瘤切除術(shù)，術(shù)后病理報(bào)告顯示所有轉(zhuǎn)移瘤均完全切除，表明AR技術(shù)是解決轉(zhuǎn)移瘤遺漏問(wèn)題的良好方案。在腹腔鏡狹小的圖像中，任何微小的改變都會(huì)被放大，這項(xiàng)研究的最大缺陷就是沒(méi)有考慮到器官變形的問(wèn)題，目前也有許多研究針對(duì)這一問(wèn)題進(jìn)行了探討。Simpfend o rfe等[40]引入了術(shù)中CBCT，通過(guò)同時(shí)觀(guān)察三維 AR圖像與腹腔鏡圖像的疊加，及二維CBCT透視的AR圖像，來(lái)進(jìn)行部分腎切除術(shù)，10例手術(shù)均成功完成。而Kong等[41]在腎臟表面插入涂有近紅外熒光涂料的螺釘，術(shù)中通過(guò)近紅外攝像機(jī)對(duì)熒光的捕捉，來(lái)驅(qū)使增強(qiáng)現(xiàn)實(shí)圖像發(fā)生形變，避免了術(shù)中CT掃描所帶來(lái)的額外輻射。在腹腔鏡微創(chuàng)手術(shù)中，增強(qiáng)現(xiàn)實(shí)技術(shù)在幫助醫(yī)生快速識(shí)別病變及關(guān)鍵解剖結(jié)構(gòu)、避免不必要的穿孔、增加空間感等方面，均體現(xiàn)了良好的應(yīng)用效果。

除上述領(lǐng)域外，增強(qiáng)現(xiàn)實(shí)技術(shù)在骨科[42-43]、婦科[44]、眼科[45]等也有應(yīng)用報(bào)道，包括骨盆和髖臼骨折復(fù)位手術(shù)[42]、胸腰椎椎弓根螺釘植入術(shù)[43]、子宮肌瘤切除術(shù)[44]、眶內(nèi)腫瘤摘除術(shù)[45]等。

3　總結(jié)和展望

隨著科學(xué)技術(shù)的不斷發(fā)展，將計(jì)算機(jī)技術(shù)用于醫(yī)學(xué)領(lǐng)域，以輔助診斷和治療，成為了未來(lái)醫(yī)學(xué)發(fā)展的一大趨勢(shì)。在此基礎(chǔ)上所形成的計(jì)算機(jī)外科導(dǎo)航技術(shù)、醫(yī)用機(jī)器人、增強(qiáng)現(xiàn)實(shí)及虛擬現(xiàn)實(shí)技術(shù)等，都為外科手術(shù)的安全性和精確性提供了進(jìn)一步的支撐。

目前，國(guó)外已將增強(qiáng)現(xiàn)實(shí)技術(shù)與計(jì)算機(jī)導(dǎo)航技術(shù)相結(jié)合，比傳統(tǒng)的導(dǎo)航技術(shù)更具獨(dú)特的優(yōu)越性。傳統(tǒng)導(dǎo)航技術(shù)最大的缺陷就是患者與導(dǎo)航系統(tǒng)所用的圖像之間缺乏直接的空間關(guān)系[46]，需要通過(guò)相應(yīng)的解剖標(biāo)志及空間想像能力來(lái)將兩者聯(lián)系起來(lái)。增強(qiáng)現(xiàn)實(shí)技術(shù)則可通過(guò)將虛擬建模圖像與真實(shí)患者之間直接疊加，減少了主觀(guān)想象，提高了手術(shù)的準(zhǔn)確性。同時(shí)，傳統(tǒng)導(dǎo)航技術(shù)需要在術(shù)中交替觀(guān)察圖像顯示器及術(shù)區(qū)，以此來(lái)實(shí)現(xiàn)導(dǎo)航圖像與患者連續(xù)的比較[47]，需要極強(qiáng)的手眼協(xié)調(diào)能力，連續(xù)切換視線(xiàn)也容易造成視覺(jué)疲勞。增強(qiáng)現(xiàn)實(shí)技術(shù)可以實(shí)現(xiàn)同時(shí)觀(guān)看導(dǎo)航圖像及真實(shí)患者，極大地增加了手術(shù)的安全性。最后，傳統(tǒng)導(dǎo)航技術(shù)是單點(diǎn)導(dǎo)航，只能顯示一個(gè)點(diǎn)的導(dǎo)航信息，而增強(qiáng)現(xiàn)實(shí)技術(shù)可以顯示整個(gè)完整的導(dǎo)航圖像，有利于對(duì)手術(shù)整體的把握。

國(guó)內(nèi)對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用尚處于起步階段，還有很多方面需要進(jìn)一步發(fā)展：①虛擬建模圖像與實(shí)際患者匹配方法的改進(jìn)及精度的提升。這是增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用的核心，要求用于配準(zhǔn)的標(biāo)志不能限制手術(shù)操作，術(shù)中能實(shí)現(xiàn)自動(dòng)配準(zhǔn)，且在移動(dòng)時(shí)還能保持良好的穩(wěn)定性。②虛擬建模圖像能夠隨術(shù)中的實(shí)際情況而改變。目前的增強(qiáng)現(xiàn)實(shí)技術(shù)所用的圖像均是根據(jù)術(shù)前影像資料所重建的，有可能與術(shù)中實(shí)際情況不完全相同，尤其是在軟組織區(qū)域，需要進(jìn)一步研究適用于形變器官的增強(qiáng)現(xiàn)實(shí)技術(shù)。③與導(dǎo)航技術(shù)相結(jié)合，提升精確定位能力。目前的增強(qiáng)現(xiàn)實(shí)技術(shù)大多只有一個(gè)單純的增強(qiáng)現(xiàn)實(shí)圖像，無(wú)法精確測(cè)量目標(biāo)結(jié)構(gòu)的深度，只能用于參考，將其與計(jì)算機(jī)導(dǎo)航技術(shù)相結(jié)合，可能是未來(lái)的發(fā)展的一個(gè)方向。

[1]Milgram P,Kishino F.A taxonomy of mixed reality visual display[J].Ieice Trans Inf Sys,1994,77(12)：1321-1329.

[2]Riva G,Banos RM,Botella C,et al.Transforming experience：the potential of augmented reality and?virtual reality for enhancing personal and clinical change[J].Front Psychiatry,2016,7：164.

[3]侯亦康,朱明,柴崗,等.增強(qiáng)現(xiàn)實(shí)導(dǎo)航下頜骨截骨術(shù)的實(shí)驗(yàn)研究[J].組織工程與重建外科,2013,9(2)：98-101.

[4]Sutherland IE.A head-mounted three dimensional display[J].FJCC,1968,110(3)：757-764.

[5]Roberts DW,Strohbehn JW,Hatch JF,et al.A frameless stereotaxic integration of computerized tomographic imaging and the operating microscope[J].JNeurosurg,1986,65(4)：545-549.

[6]Sielhorst T,Feuerstein M,Navab N.Advanced medical displays：a literature review of augmented reality[J].JDisp Technol,2008,4(4)：451-467.

[7]Kim Y,Kim H,Kim YO.Virtual reality and augmented reality in plastic surgery：a review[J].Arch Plast Surg,2017,44(3)：179-187.

[8]Mitrasinovic S,Camacho E,Trivedi N,et al.Clinical and surgical applications of smart glasses[J].Technol Health Care,2015,23(4)：381-401.

[9]Rolland JP,Fuchs H.Optical versus video see-through headmounted displays in medical visualization[J].MIT Press,2000,9(3)：287-309.

[10]陳小艷.面向增強(qiáng)現(xiàn)實(shí)應(yīng)用的頭戴顯示器[D].成都：電子科技大學(xué),2014：1-80.

[11]Langlotz T,Cook M,Regenbrecht H.Real-Time radiometric compensation for optical see-through head-mounted displays[J].IEEE Trans Vis Comput Graph,2016,22(11)：2385-2394.

[12]Grubert J,Itoh Y,Moser K,et al.A survey of calibration methods for optical see-through head-mounted displays[J].IEEE Trans Vis Comput Graph,2017,[Epub ahead of print].

[13]Itoh Y,Dzitsiuk M,Amano T,et al.Semi-parametric color reproduction method for optical see-through head-mounted displays[J].IEEE Trans Vis Comput Graph,2015,21(11)：1269-1278.

[14]Besharati Tabrizi L,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[15]Nicolau S,Soler L,Mutter D,et al.Augmented reality in laparoscopic surgical oncology[J].Surg Oncol,2011,20(3)：189-201.

[16]Gavaghan KA,Peterhans M,Oliveira-Santos T,et al.A portable image overlay projection device for computer-aided open liver surgery[J].IEEE Trans Vis Comput Graph,2011,58(6)：1855-1864.

[17]李燁.基于自然特征的增強(qiáng)現(xiàn)實(shí)虛實(shí)注冊(cè)技術(shù)研究[D].武漢：華中科技大學(xué),2016：1-45.

[18]管濤.增強(qiáng)現(xiàn)實(shí)中的虛實(shí)配準(zhǔn)方法研究[D].武漢：華中科技大學(xué),2008：1-116.

[19]Mahvash M,Besharati Tabrizi L.A novel augmented reality system of image projection for image-guided neurosurgery[J].Acta Neurochir(Wien),2013,155(5)：943-947.

[20]Krishnan R,Raabe A,Seifert V.Accuracy and applicability of laser surface scanning as new registration technique in imageguided neurosurgery[J].Int Cong Ser,2004,1268(2)：678-683.

[21]Marmulla R,Hoppe H,Mühling J,et al.New augmented reality concepts for craniofacial surgical procedures[J].Plast Reconstr Surg,2004,115(4)：1124-1128.

[22]Zhu M,Chai G,Zhang Y,et al.Registration strategy using occlusal splint based on augmented reality for mandibular angle oblique split osteotomy[J].J Craniofac Surg,2011,22(5)：1806-1809.

[23]Wang J,Suenaga H,Yang L,et al.Video see-through augmented reality for oral and maxillofacial surgery[J].Int J Med Robot,2017,13(2)：1754.

[24]Suenaga H,Tran HH,Liao H,et al.Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system：a pilot study[J].BMC Med Imaging,2015,15：51.

[25]Vávra P,Roman J,Zonca P,et al.Recent development of augmented reality in surgery：A review[J].J Healthc Eng,2017,2017：4574172.

[26]謝國(guó)強(qiáng),郭振宇,師蔚,等.低成本增強(qiáng)現(xiàn)實(shí)技術(shù)在高血壓腦出血神經(jīng)內(nèi)鏡治療中的應(yīng)用[J].中華神經(jīng)外科疾病研究雜志,2017,16(3)：221-224.

[27]Kersten-Oertel M,Jannin P,Collins DL.The state of the art of visualization in mixed reality image guided surgery[J].Comput Med Imaging Graph,2013,37(2)：98-112.

[28]Kersten-Oertel M,Gerard I,Drouin S,et al.Augmented reality in neurovascular surgery：feasibility and first uses in the operating room[J].Int J Computer Assist Radiol Surg,2015,10(11)：1823-1836.

[29]Tabrizi IB,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[30]Kockro RA,Tsai YT,Ng I,et al.Dex-ray：augmented reality neurosurgical navigationwithahandheldvideoprobe[J].Neurosurgery,2009,65(4)：795-807.

[31]Low D,Lee CK,Dip L,et al.Augmented reality neurosurgical planning and navigation for surgical excision of parasagittal,falcine and convexity meningiomas[J].Br J Neurosurg,2010,24(1)：69-74.

[32]Zhu M,Liu F,Chai G,et al.A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery[J].Sci Rep,2017,7：42365.

[33]Zinser MJ,Mischkowski RA,Dreiseidler T,et al.Computerassisted orthognathic surgery：waferless maxillary positioning,versatility,and accuracy of an image-guided visualisation display[J].Br JOral Maxillofac Surg,2013,51(8)：827-833.

[34]Wagner A,Ploder O,Enislidis G,et al.Virtual image guided navigationintumor surgery-technical innovation[J].J Craniomaxillofac Surg,1995,23(5)：271-273.

[35]Tang R,Ma L,Xiang C,et al.Augmented reality navigation in opensurgeryforhilar cholangiocarcinomaresectionwith hemihepatectomy using video-based in situ three-dimensional anatomical modeling：A case report[J].Medicine(Baltimore),2017,96(37)：e8083.

[36]Okamoto T,Onda S,Yasuda J,et al.Navigation surgery using an augmented reality for pancreatectomy[J].Dig Surg,2015,32(2)：117-123.

[37]Marvik R,Lango T,Tangen GA,et al.Laparoscopic navigation pointer for three-dimensional image-guided surgery[J].Surg Endosc,2004,18(8)：1242-1248.

[38]Carpenter S,Fong Y.Management of disappearing colorectal hepatic metastases[J].Adv Surgery,2010,44：269-279.

[39]Ntourakis D,Memeo R,Soler L,et al.Augmented reality guidance for the resection of missing colorectal liver metastases：an initial experience[J].World JSurg,2016,40(2)：419-426.

[40]Simpfendorfer T,Gasch C,Hatiboglu G,et al.Intraoperative Computed tomography imaging for navigated laparoscopic renal surgery：first clinical experience[J].J Endourol,2016,30(10)：1105-1111.

[41]Kong SH,Haouchine N,Soares R,et al.Robust augmented reality registration method for localization of solid organs'tumors using CT-derived virtual biomechanical model and fluorescent fiducials[J].Surg Endosc,2017,31(7)：2863-2871.

[42]Shen F,Chen B,Guo Q,et al.Augmented reality patient-specific reconstruct ion plate design for pelvic and acetabular fracture surgery[J].Int J Comput Assisted Radiol Surg,2013,8(2)：169-179.

[43]Elmi-Terander A,Nachabe R,Skulason H,et al.Feasibility and accuracy of thoracolumbar minimally invasive pedicle screw placement with augmented reality navigation technology[J].Spine(Phila Pa 1976),2017,[ahead of print].

[44]Bourdel N,Collins T,Pizarro D,et al.Use of augmented reality in laparoscopic gynecology to visualize myomas[J].Fertil Steril,2017,107(3)：737-739.

[45]Scolozzi P,Bijlenga P.Removal of recurrent intraorbital tumour using a system of augmented reality[J].Br JOral and Maxillofac Surg,2017,55(9)：962-964.

[46]Blackwell M,Morgan F,DiGioia III AM.Augmented reality and its future in orthopaedics[J].Clin Orthop Relat Res,1998(354)：111-122.

[47]Ma LF,Zhao Z,Chen F,et al.Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement：a pilot study[J].Int J Comput Assisted Radiol Surg,2017,12(12)：2205-2215.