增強(qiáng)現(xiàn)實技術(shù)及在外科中的應(yīng)用

王帥，張燁，王彤

南京醫(yī)科大學(xué)附屬無錫人民醫(yī)院 腔鏡外科，江蘇 無錫 214000

引言

增強(qiáng)現(xiàn)實（Augmented Reality，AR）是一種將虛擬模型實時結(jié)合到現(xiàn)實場景的新技術(shù)。其基本目標(biāo)是加強(qiáng)用戶對現(xiàn)實場景的感知和互動，通過在現(xiàn)實世界中添加與現(xiàn)實世界共存的三維虛擬物體來補(bǔ)充現(xiàn)實世界。在醫(yī)學(xué)領(lǐng)域中，AR 設(shè)備的發(fā)展允許醫(yī)生將數(shù)據(jù)可視化納入診斷和治療程序，以提高工作效率和安全性，并加強(qiáng)外科培訓(xùn)。

昝瑛瑛等[1]在研究提到“sensorama”于20世紀(jì)50 年代被開發(fā)出來，這是一種可以提供所有感官的電影體驗機(jī)器?！霸鰪?qiáng)現(xiàn)實”一詞則是于1994年由Milgram等[2]正式提出。而將這種虛擬與現(xiàn)實結(jié)合的新技術(shù)正式應(yīng)用于外科領(lǐng)域中，則是Roberts等[3]于1986年發(fā)明的一種將CT圖像集成到手術(shù)顯微鏡的光學(xué)系統(tǒng)。此后，AR技術(shù)開始被廣泛應(yīng)用于各類外科手術(shù)之中。

1 AR系統(tǒng)的核心技術(shù)

1.1 跟蹤注冊技術(shù)（三維注冊）

AR系統(tǒng)的一個關(guān)鍵衡量標(biāo)準(zhǔn)是它們將增強(qiáng)功能與現(xiàn)實世界相結(jié)合的程度，而跟蹤注冊技術(shù)則是實現(xiàn)這種精準(zhǔn)匹配的關(guān)鍵性技術(shù)之一。其原理就是實時的將虛擬場景渲染到真實環(huán)境中準(zhǔn)確位置，從而確保映射的準(zhǔn)確性[4]。目前現(xiàn)有的跟蹤注冊技術(shù)主要有基于計算機(jī)視覺、基于硬件設(shè)備以及混合跟蹤注冊技術(shù)三種。

1.1.1 基于計算機(jī)視覺的跟蹤注冊技術(shù)

基于計算機(jī)視覺的跟蹤注冊技術(shù)主要有兩種方法，一為帶標(biāo)記追蹤的方法，二為不帶標(biāo)記（自然特征）追蹤的方法[4]?；趲?biāo)記的方法，需要在真實空間中放置標(biāo)識物，使用標(biāo)識物的目的就是能夠快速地在真實空間中找到標(biāo)識物，而后根據(jù)標(biāo)識物的信息快速建立虛擬空間與真實空間的坐標(biāo)映射關(guān)系?；谧匀惶卣鞯姆椒?，主要通過分析實時圖像，提取相匹配的自然特征點，再利用這些特征點計算出一個變化矩陣，從而得出一個與真實空間相對應(yīng)的三維虛擬空間。該項技術(shù)不需要額外的外部設(shè)備，計算精度高，且具有對多目標(biāo)識別追蹤能力。但特征點的提取需要大量繁雜的計算過程，因此基于自然特征的追蹤方法對設(shè)備具有較高要求且對環(huán)境變化的反應(yīng)較為遲緩。

1.1.2 基于硬件設(shè)備的跟蹤注冊技術(shù)

基于硬件設(shè)備的跟蹤注冊技術(shù)通過各類傳感器與感知器的相互作用實時捕捉觀察者的位置、視場等信息，從而達(dá)到虛擬空間坐標(biāo)系與真實空間坐標(biāo)系的準(zhǔn)確轉(zhuǎn)換，如GPS、陀螺儀、磁力傳感器等。其優(yōu)點在于定位速度快、攜帶方便、實時性好，但也有需要額外的外部設(shè)備及精度受外部環(huán)境影響較大等不足。

1.1.3 混合跟蹤注冊技術(shù)

不論是基于計算機(jī)視覺的跟蹤注冊技術(shù)還是基于硬件設(shè)備的跟蹤注冊技術(shù)都各自存在優(yōu)點和缺點。因此，二者相結(jié)合的混合跟蹤注冊技術(shù)既包含計算精度高、可同時識別多目標(biāo)的優(yōu)點，同時又兼有速度快、實時性好、方便攜帶。

1.2 顯示技術(shù)

顯示技術(shù)是AR系統(tǒng)中另一較為重要的技術(shù)。目前應(yīng)用于AR 系統(tǒng)的顯示設(shè)備主要有頭戴式顯示器、手持式顯示器（懸掛式顯示器）、投影顯示等。

1.2.1 頭戴式顯示器

頭戴式顯示器是一種可以加強(qiáng)用戶視覺沉浸感的顯示設(shè)備。因其出色的逼真感，可以增強(qiáng)用戶的感官體驗。但是數(shù)字化圖像允許跟蹤頭部運動以更好的配準(zhǔn)，這也使得匹配真實和虛擬的感知延遲成為可能。所以在快速移動頭部時，因為配準(zhǔn)誤差，可能會造成成像不夠精確[5]。

1.2.2 手持式顯示器（懸掛式顯示器）

手持式顯示器一般多指手機(jī)、PDA、平板電腦等移動終端設(shè)備的顯示器，他們具有較高的便攜性，但手持式顯示器缺乏沉浸感，用戶體驗稍有欠缺。目前，懸掛式視頻顯示設(shè)備在腹腔鏡手術(shù)中應(yīng)用的最為廣泛，通過將CT、MRI定位的深部血管或腫瘤圖像與腹腔鏡圖像融合直接顯示在屏幕上，以幫助醫(yī)生更有效地進(jìn)行手術(shù)操作[6]。

1.2.3 投影式顯示器

與上述兩種顯示技術(shù)不同，投影式顯示器是將生成的虛擬圖像信息直接投影到一個大現(xiàn)實場景之中。其能夠避免圖像因觀察者角度或焦點變化而變化，更適合室內(nèi)場景使用。但其缺點在于設(shè)備體積龐大、易受光照等環(huán)境因素影響等。

1.3 人機(jī)交互技術(shù)

交互就是幫助虛擬事物在現(xiàn)實中更好的呈現(xiàn)，因此想要得到更好的AR體驗，交互就是其中的重中之重。從傳統(tǒng)的鼠標(biāo)鍵盤交互方式到語音、手勢交互方式等新型交互方式，人機(jī)交互技術(shù)的發(fā)展也將會極大的促進(jìn)AR系統(tǒng)在各個領(lǐng)域中的發(fā)展。

2 AR在外科中的應(yīng)用

2.1 普外科

2.1.1 開放性手術(shù)

肝內(nèi)血管和膽道結(jié)構(gòu)的解剖變異對外科醫(yī)生提出了挑戰(zhàn)。不必要的肝切除影響隨后的肝功能、術(shù)后并發(fā)癥和患者康復(fù)。AR產(chǎn)生術(shù)中視覺輔助手術(shù)導(dǎo)航，提高肝切除術(shù)的精度。運用AR術(shù)前評估手術(shù)目標(biāo)相關(guān)解剖和生理功能也可以預(yù)測肝臟手術(shù)的結(jié)果。Tang等[7]描述了一例阻塞性肝細(xì)胞癌患者在開放根治性肝門膽管癌（Hilar Cholangiocarcinoma，HCAC）手術(shù)中應(yīng)用AR技術(shù)輔助手術(shù)切除HCAC并同時行左側(cè)半肝切除術(shù)。Onda等[8]為一位60歲男性轉(zhuǎn)移性肝癌患者的部分肝切除術(shù)和一位53歲男性膽管細(xì)胞癌患者的右肝葉切除術(shù)。使用兩個電荷耦合設(shè)備攝像機(jī)，一個立體顯示器和圓偏振3D眼鏡創(chuàng)建了一個類似于立體腹腔鏡的3D觀看環(huán)境。使用分析成像軟件進(jìn)行3D圖像重建，繪制肝臟及其血管結(jié)構(gòu)，并用彩色顯示。配對點匹配配準(zhǔn)通過評估3個或更多的內(nèi)臟地標(biāo)進(jìn)行，每個配準(zhǔn)周期需要12 min。Okamoto等[9]采用相似的表面渲染和基于視頻的AR顯示方法對3例患者進(jìn)行了治療，其中包括肝管空腸吻合術(shù)、右肝切除術(shù)和肝外膽管切除術(shù)，以及涉及Couinaud節(jié)段1和8的HCC切除術(shù)。使用沿下腔靜脈、肝臟邊界和肝門內(nèi)的點進(jìn)行配準(zhǔn)，沒有儀器跟蹤。在需要右肝切除的病例中，AR通過消除術(shù)中膽管造影的需要，提高了切除線的準(zhǔn)確性，縮短了手術(shù)時間。實際切除線與術(shù)前線之間的殘差約為5 mm。在肝細(xì)胞癌切除術(shù)中，AR的使用使鄰近血管得以保留。

2.1.2 腹腔鏡微創(chuàng)手術(shù)

腹腔鏡手術(shù)是應(yīng)用最多的微創(chuàng)外科手術(shù)，由于其具有創(chuàng)傷小、感染率小、住院時間短、患者恢復(fù)快等優(yōu)點。然而，由于視野的局限性，醫(yī)生在腹腔鏡手術(shù)中的環(huán)境感知能力十分有限。

而基于AR的導(dǎo)航技術(shù)的應(yīng)用能有效解決微創(chuàng)術(shù)中視野有限的問題。Volonté等[10]將基于AR技術(shù)的3D批量渲染圖像系統(tǒng)與達(dá)芬奇機(jī)器人結(jié)合并將之應(yīng)用于1例右半結(jié)腸腺癌的患者。術(shù)前計算機(jī)斷層掃描，后將掃描數(shù)據(jù)集中在開源OsiriX DICOM工作站上可視化。OsiriX允許非放射科專家（即外科醫(yī)生本人）輕松操作和分析圖像，包括生成體積渲染。這些圖像會在術(shù)中呈現(xiàn)在操作者的顯示器上，從而可以使術(shù)者在實時圖像與立體重建的渲染圖像之間任意切換。這種技術(shù)使外科醫(yī)生完全沉浸在手術(shù)領(lǐng)域，而補(bǔ)充信息直接顯示在醫(yī)生的面前。將重建的圖像顯示在內(nèi)窺鏡視圖旁邊，有助于外科醫(yī)生了解病人的解剖結(jié)構(gòu)和確定手術(shù)目標(biāo)也有助于識別重要的血管解剖和制定術(shù)中手術(shù)策略。AR在腹部手術(shù)中應(yīng)用難度較大，器官活動量較大；然而，它目前被用于肝臟和胰腺手術(shù)，因為它可以更好地投影大血管[11]或腫瘤位置，由于這些器官的相對靜態(tài)性質(zhì)。通過將重建數(shù)據(jù)與術(shù)中超聲進(jìn)行比較，AR可用于肝切除術(shù)中指導(dǎo)。Yasuda等[12]開發(fā)了一種使用AR技術(shù)用于肝膽胰手術(shù)的圖像導(dǎo)航系統(tǒng)（Image Navigation System，IG‐NS）。區(qū)別于傳統(tǒng)的立體鏡，此系統(tǒng)使用了更為便宜且較易操控的平板電腦。經(jīng)過對比，IG‐NS具有更好的手術(shù)視野和更加便利的操作。在多發(fā)性轉(zhuǎn)移性肝癌的手術(shù)中其優(yōu)勢更加明顯，因為它可以很容易定位癌組織和血管的位置。

2.2 神經(jīng)外科

神經(jīng)外科中的手術(shù)要求盡可能地切除病灶并對周圍功能區(qū)域產(chǎn)生最小侵害。而AR技術(shù)可以立體地呈現(xiàn)出患者的影像信息，使得術(shù)者對于手術(shù)切口的定位及手術(shù)入路有更為明確的判斷，從而最大程度地減少手術(shù)對于患者的損傷。在神經(jīng)腫瘤手術(shù)中，AR已被應(yīng)用于開放治療，主要是膠質(zhì)瘤和腦膜瘤。Sun等[13]利用基于AR技術(shù)的iMRI聯(lián)合光輻射神經(jīng)導(dǎo)航為44例鄰近視神經(jīng)輻射的腦腫瘤患者進(jìn)行了手術(shù)。此技術(shù)將腫瘤的切除率由88.3%提高到95.7%，同時顯著降低了視覺神經(jīng)損傷的幾率。在血管神經(jīng)外科中，AR主要應(yīng)用于動脈瘤的開放治療[14‐15]和AVMs[16]，以及動脈瘤的治療[17]。

2.3 顱頜面外科

對于顱頜面外科而言，AR導(dǎo)航技術(shù)目前最深入的應(yīng)用主要集中在整形外科領(lǐng)域相關(guān)手術(shù)。Wang等[18]運用三維重建圖像為50例小耳畸形伴半側(cè)顏面短小患兒模擬設(shè)計患側(cè)耳，利用模擬生成的校正參數(shù)可以提高雙側(cè)耳對稱度，從而提高了小耳畸形和輕度顱骨畸形患者的手術(shù)效果。Yu等[19]對104例患者進(jìn)行頜面部CT掃描。所有手術(shù)均在基于術(shù)前模擬的導(dǎo)航系統(tǒng)引導(dǎo)下進(jìn)行，并實時疊加。通過測量虛擬方案與實際實現(xiàn)方案之間的誤差來評估導(dǎo)航系統(tǒng)的精度。平均誤差為1.4 mm。所有患者均痊愈，功能及外形均有明顯改善。此方法提高了操作的準(zhǔn)確性和降低了手術(shù)風(fēng)險。Jiang等[20]提出了一種基于點云的術(shù)前圖像對患者注冊方法，以替代傳統(tǒng)的點對點注冊方法，進(jìn)而AR導(dǎo)航和傳統(tǒng)二維圖像導(dǎo)航兩種種植牙手術(shù)方式。與二維圖像導(dǎo)航法相比，在AR導(dǎo)航引導(dǎo)下，中切牙根尖區(qū)及犬齒區(qū)之水平、垂直及角度偏差均較小。與骨組織相比，AR在軟組織整形領(lǐng)域尚處于探索階段[21]。Schreiber等[22]應(yīng)用三維表面掃描技術(shù)對4例面部不對稱的患者行自體脂肪移植術(shù)，通過對其面部對稱性進(jìn)行客觀分析，創(chuàng)建一個數(shù)字化的三維外科地形圖并將虛擬圖像投射到患者面部指導(dǎo)術(shù)者進(jìn)行脂肪注射。Olsson等[23]描述了一種觸覺輔助手術(shù)計劃系統(tǒng)，通過確定和完善腓骨截骨術(shù)、吻合部位和皮瓣的配置，為4例頭頸部重建病例找到最佳腓骨皮瓣方案。

2.4 胸心外科

對于胸外科手術(shù)來講，特別是肺部手術(shù)，AR技術(shù)可以提供肺的支氣管、動脈及靜脈影像，經(jīng)過數(shù)字處理形成三維圖像 ，再通過增強(qiáng)顯示技術(shù)，在術(shù)中與患者真實的術(shù)野進(jìn)行疊加，為外科醫(yī)師的精細(xì)操作提供強(qiáng)有力的支持。湯軼等[24]通過計算機(jī)對2例胸壁腫瘤患者的CT和MRI的圖像數(shù)據(jù)建立3D模型，而后實體打印。術(shù)中在VR＋AR＋MR共同幫助下確定手術(shù)切除范圍。與常規(guī)肉眼觀察相比，此方法可幫助術(shù)者更好的觀察腫瘤的大小、邊界、與周圍臟器及神經(jīng)血管的關(guān)系，提高手術(shù)的精度的同時降低了手術(shù)的風(fēng)險。2例患者均手術(shù)順利，術(shù)后恢復(fù)良好出院。Faiella等[25]對496例患者進(jìn)行了低劑量CT引導(dǎo)下的經(jīng)皮肺活檢，記錄下病灶直徑、手術(shù)時間、病灶距胸膜表面的距離、手術(shù)針距、并發(fā)癥等數(shù)據(jù)，發(fā)現(xiàn)此系統(tǒng)在診斷微小病灶方面具有明顯優(yōu)勢。在心臟外科方面，Devernay等[26]將AR應(yīng)用于機(jī)器人輔助的微創(chuàng)心血管手術(shù)。他們結(jié)合了機(jī)器人的實用性，如彌補(bǔ)手術(shù)過程中外科醫(yī)生靈活性下降，和AR技術(shù)，如使無法正?？吹降慕Y(jié)構(gòu)可視化。在AR的幫助下，將冠狀動脈的位置疊加到立體視頻圖像上。他們的結(jié)論是AR幫助定位心臟本身的冠狀動脈，盡管冠狀動脈的圖像在手術(shù)前幾天已經(jīng)獲得。De Buck等[27]將AR應(yīng)用于心導(dǎo)管消融過程的患者特異性指導(dǎo)，他們使用患者的術(shù)前磁共振成像來構(gòu)建心臟的三維重建圖像，根據(jù)磁共振圖像對雙翼透視圖像進(jìn)行校正。通過這種方法，電生理學(xué)家能夠在消融前和消融過程中獲得良好的心房形狀的三維感知。這增加了對心房解剖的認(rèn)識，導(dǎo)致一些病人治療策略的改變。該程序進(jìn)一步簡化了彩色編碼，導(dǎo)致更少的精神負(fù)荷。他們認(rèn)為AR輔助系統(tǒng)的主要優(yōu)點是使電生理學(xué)家能夠在消融過程之前就做好準(zhǔn)備。

2.5 骨科

基于臨床數(shù)據(jù)，AR已被證實可以廣泛應(yīng)用于骨科手術(shù)，如腫瘤切除、骨折固定和全關(guān)節(jié)置換術(shù)中的假體對齊[28]。利用基于AR技術(shù)的三維建模及術(shù)中導(dǎo)航技術(shù)，為患者制定個體化的診療方案，有效提高手術(shù)的安全性和精確性，也能極大限度的縮短手術(shù)時間。

Van Duren等[29]描述了AR用于模擬動態(tài)髖螺釘（Dynamic Hip Screw，DHS）植入治療髖關(guān)節(jié)囊外骨折的應(yīng)用。通過提供給一種容易獲得、經(jīng)濟(jì)和真實的模擬導(dǎo)絲插入，他們指出AR在訓(xùn)練骨科醫(yī)生進(jìn)行DHS固定方面具有很高的價值。此外，Hiranaka等[30]研究了AR是否可以提高從外側(cè)皮質(zhì)到股骨頭中心的塑料股骨k線放置的準(zhǔn)確性。他們注意到，與傳統(tǒng)方法相比，AR系統(tǒng)顯著縮短了放置時間、輻射暴露時間和尖頂距離。Elmi‐Terander等[31]的另一項研究表明，在胸椎椎弓根螺釘固定的準(zhǔn)確性方面，無需透視的AR輔助導(dǎo)航明顯優(yōu)于傳統(tǒng)技術(shù)。Kosterhon等[32]將AR應(yīng)用于先天性半椎體胸腰椎患者的手術(shù)中，發(fā)現(xiàn)該系統(tǒng)在復(fù)雜形狀的楔形骨切除術(shù)中可以提供更高的準(zhǔn)確性和患者安全性。

3 總結(jié)和展望

AR技術(shù)應(yīng)用于輔助臨床診斷和治療具有獨特的優(yōu)勢，其精度和安全性也足以滿足常規(guī)臨床實踐。將AR技術(shù)與計算機(jī)導(dǎo)航技術(shù)相結(jié)合已成為未來醫(yī)學(xué)發(fā)展的一個趨勢。盡管AR技術(shù)在外科手術(shù)中的應(yīng)用不斷深入，但仍有一些困難需要解決：① 測量及模型的重建會增加術(shù)前準(zhǔn)備所需要的時間，具體時間取決于手術(shù)的類型和AR系統(tǒng)的復(fù)雜性；② 所有的重建圖像都需要使用復(fù)雜的算法提前準(zhǔn)備，需要強(qiáng)大的計算機(jī)。這也就意味著需要額外增加對計算機(jī)等硬件設(shè)施的前期投入；③ 目前的AR技術(shù)所用的圖像皆是術(shù)前根據(jù)影像資料建立的，對于胃腸等活動度較大的器官，可能術(shù)中實際情況與術(shù)前模型不完全相符。這就要求系統(tǒng)具有在術(shù)中自動匹配校準(zhǔn)并重建三維圖像模型的功能[6]。