虛擬和增強現(xiàn)實技術(shù)在肝臟外科中的應(yīng)用

王壯雄 李林容 王芳元 楊濤 鄭嘉玲 楊劍

南方醫(yī)科大學珠江醫(yī)院肝膽一科（廣州 510282）

原發(fā)性肝癌（hepatocellular carcinoma，HCC）是危及我國人民健康的重大疾病，目前以肝癌切除術(shù)為代表的外科治療仍是原發(fā)性肝癌的首選治療方法［1?2］。以往，術(shù)者需要通過想象將患者術(shù)前的二維CT或MR等斷層影像信息轉(zhuǎn)化為三維立體圖像，而醫(yī)學圖像處理技術(shù)的進步使得二維影像資料可以直接準確地重建成肝臟三維立體模型；同時術(shù)中顯示技術(shù)的應(yīng)用，可以實現(xiàn)三維重建模型術(shù)中指導。但是，將術(shù)前3D醫(yī)學圖像無縫銜接到實際手術(shù)過程當中是十分困難的，現(xiàn)階段依然存在著空間和時間上的分離，這就導致了同步性不足，從而引起術(shù)者的手眼不協(xié)調(diào)［3］。近年來，虛擬和增強現(xiàn)實技術(shù)的應(yīng)用為減少三維重建模型和實際操作空間之間的不確定性提供了新的方法，在肝臟外科術(shù)前規(guī)劃、術(shù)中引導、外科教育、醫(yī)患溝通等多個方面都有明顯優(yōu)勢和廣闊前景。本文將探討虛擬和增強現(xiàn)實技術(shù)在肝臟外科應(yīng)用的可行性、臨床影響及發(fā)展趨勢。

1 虛擬和增強現(xiàn)實技術(shù)概述

虛擬現(xiàn)實（virtual reality，VR），是指利用計算機對現(xiàn)實場景進行三維模擬仿真的虛擬環(huán)境，集成了計算機圖形、三維建模仿真技術(shù)、傳感技術(shù)、人工智能、顯示技術(shù)等，可提供使用者關(guān)于各種感官的模擬，進行可視化操作與交互［4］。理想的VR技術(shù)將實現(xiàn)人、虛擬環(huán)境及現(xiàn)實環(huán)境三者之間的正常交互，使用戶產(chǎn)生身臨其境之感。其主要技術(shù)框架包括：（1）計算設(shè)備，實現(xiàn)虛擬現(xiàn)實場景的邏輯計算和圖像渲染；（2）展示設(shè)備，依托高清屏顯技術(shù)實現(xiàn)虛擬場景的清晰化輸出，由立體光學成像實現(xiàn)三維立體化；（3）輔助設(shè)備，包括各種光學傳感器智能化定位和手眼追蹤等。增強現(xiàn)實（augmented reality，AR），發(fā)展于VR技術(shù)，是將虛擬的場景疊加到真實場景中，實現(xiàn)對現(xiàn)實的增強，是一種結(jié)合圖像識別、虛實融合、人機交互、三維顯示等關(guān)鍵技術(shù)實現(xiàn)對自然世界感知、交互、反映的混合技術(shù)。

VR、AR技術(shù)都屬于數(shù)字感知技術(shù)，利用數(shù)字化手段捕獲、再生或合成各種來自外部世界的感官輸入，從而達到一種身臨其境的沉浸感。它們的不同在于：VR技術(shù)是采用計算機圖像技術(shù)對物理世界的實體信息進行模擬、仿真，即把現(xiàn)實世界變成虛擬世界；AR技術(shù)則是借助計算機圖形技術(shù)和可視化技術(shù)產(chǎn)生物理世界中不存在的虛擬對象，并將虛擬對象準確“放置”在物理世界中，即把虛擬世界變成現(xiàn)實世界的組成部分［5］。由于單個技術(shù)無法應(yīng)付各種復(fù)雜的應(yīng)用場景，AR技術(shù)與VR技術(shù)作為數(shù)字感知技術(shù)的兩個分支常常合用（合稱VR/AR），在經(jīng)過多年的技術(shù)儲備和市場醞釀后，虛擬現(xiàn)實、增強現(xiàn)實產(chǎn)業(yè)逐漸形成。

VR技術(shù)最早出現(xiàn)于1962年［4］，然而在常規(guī)臨床實踐中的應(yīng)用還處于起步階段。許多VR模擬器已經(jīng)被開發(fā)，大都利用三維重建、創(chuàng)建身臨其境虛擬現(xiàn)實環(huán)境及3D打印技術(shù)等實現(xiàn)。（1）三維重建：首先需要獲取虛擬模型數(shù)據(jù)源——高質(zhì)量的圖像，如薄層CT或磁共振（MR）掃描圖像；然后進行圖像分割、配準；最后使用圖像處理軟件進行映射［6］，得到個體化的3D可視化模型。（2）創(chuàng)建VR環(huán)境：將重建后的三維模型導入一個高質(zhì)量的開發(fā)平臺，平臺支持頭盔顯示器的自由集成，以及安裝了捕捉手和手指運動的傳感器裝置。所有三維重建操作以一種可視化虛擬現(xiàn)實環(huán)境的三維模型顯示，用戶通過頭戴式顯示器和VR眼鏡融入一個3D VR環(huán)境［7］。（3）3D打?。涸摷夹g(shù)實現(xiàn)了虛擬物體向現(xiàn)實的轉(zhuǎn)換，通過3D打印設(shè)備來真實還原3D場景細節(jié)。

2 VR/AR技術(shù)在肝臟外科中的應(yīng)用

隨著VR/AR技術(shù)的逐漸發(fā)展，VR/AR技術(shù)在醫(yī)學領(lǐng)域中的應(yīng)用越來越廣泛。在教育方面，VR/AR技術(shù)已應(yīng)用于虛擬實驗室、臨床技能培訓、手術(shù)觀摩學習等領(lǐng)域；在臨床實踐方面，VR/AR技術(shù)已應(yīng)用于虛擬手術(shù)訓練、手術(shù)規(guī)劃及導航、康復(fù)治療等臨床工作；在基礎(chǔ)研究方面，數(shù)字化虛擬人項目與虛擬現(xiàn)實技術(shù)結(jié)合可實現(xiàn)人體解剖信息的數(shù)字化。近年來虛擬和增強現(xiàn)實技術(shù)已逐漸應(yīng)用于肝臟外科，主要包括以下三個方面：肝臟手術(shù)規(guī)劃及術(shù)中引導、肝臟外科培訓及教育、醫(yī)患溝通。

2.1 肝臟手術(shù)規(guī)劃及術(shù)中引導由于肝臟解剖結(jié)構(gòu)復(fù)雜，肝內(nèi)血管系統(tǒng)變異情況多，肝切除目前仍是一高風險手術(shù)，存在較高的并發(fā)癥發(fā)生率與手術(shù)病死率［8］?；诨颊弑覥T或MR數(shù)據(jù)的個性化肝臟、腫瘤及肝內(nèi)管道三維重建模型，不但能夠免去肝臟外科醫(yī)生對CT或MR多幀二維圖像復(fù)雜的圖像綜合、空間想象過程，而且能直觀、清晰、多維度地顯示肝臟病灶位置及其與肝內(nèi)脈管的空間毗鄰關(guān)系。在此基礎(chǔ)上指導術(shù)前規(guī)劃、手術(shù)模擬以及術(shù)中引導，可以縮短手術(shù)時間、提高手術(shù)的精確性和安全性。虛擬肝切除術(shù)已成為安全、精確肝切除不可缺少的工具［9］。

2.1.1 術(shù)前規(guī)劃通過三維可視化軟件，可對高質(zhì)量肝臟腫瘤CT或MR圖像數(shù)據(jù)進行三維重建。在三維可視化軟件中，可充分了解肝臟脈管走行和變異情況，以及其與肝臟腫瘤的空間關(guān)系。通過三維可視化技術(shù)獲取的3D圖像模型，可根據(jù)需要進行肝臟、腫瘤與脈管的自由組合和適當透明化，進行放大、縮小、旋轉(zhuǎn)，可多角度、全方位觀察并分析肝臟脈管分型，了解其與肝臟腫瘤的空間關(guān)系，進行測量肝腫瘤與相關(guān)脈管的距離。同時，還可以進行自動化肝臟分段，觀察肝臟腫瘤所屬肝段、肝葉部位，進行虛擬肝切除，并計算虛擬切除肝體積和殘肝體積［10］。張新俊等［11］對85例復(fù)雜性肝臟腫瘤患者進行三維可視化術(shù)前規(guī)劃，通過研究證實了三維可視化模擬切除肝臟體積與實際切除肝臟體積統(tǒng)計學上具有相關(guān)性（P＜0.01）。華中科技大學同濟醫(yī)學院附屬同濟醫(yī)院對28例大肝癌切除手術(shù)進行了回顧性分析，證實三維重建技術(shù)可以為復(fù)雜性肝臟腫瘤手術(shù)切除提供有力的支持［12］。在三維重建的基礎(chǔ)上，還可以運用AR技術(shù)進行圖像的呈現(xiàn)，如NTOURAKIS等［13］在AR技術(shù)的引導下進行結(jié)直腸肝轉(zhuǎn)移癌病灶的定位，以方便精確手術(shù)方案的制定。

2.1.2 術(shù)中引導VR/AR技術(shù)應(yīng)用于肝臟切除手術(shù)導航主要包括三維可視化、增強現(xiàn)實環(huán)境構(gòu)建和3D打印三個方面。（1）三維可視化：肝臟外科醫(yī)生可以將肝臟虛擬3D模型帶入手術(shù)室，放置于主刀對面，在術(shù)中進行肝臟切除手術(shù)的間接實時引導。三維可視化技術(shù)輔助的肝切除術(shù)治療原發(fā)性肝癌可減少手術(shù)損傷、降低術(shù)后并發(fā)癥發(fā)生率、提高手術(shù)的有效性和安全性，使患者獲得較好的預(yù)后［14］。（2）增強現(xiàn)實環(huán)境構(gòu)建：相對于可透明化的虛擬肝臟3D模型，外科醫(yī)生無法在真實肝臟術(shù)中實時了解即將遇到的脈管，將會增加意外出血的風險，AR技術(shù)的發(fā)展可以為肝臟外科醫(yī)生提供一雙穿透臟器的“透視眼”［15］。AR技術(shù)能夠?qū)⑿g(shù)前肝臟3D模型和術(shù)中患者真實肝臟配準融合，無需醫(yī)生在圖像顯示器和實際手術(shù)操作區(qū)域之間進行視野切換，改善了醫(yī)生的手眼不協(xié)調(diào)的問題，真正實現(xiàn)肝臟切除手術(shù)實時三維導航，使醫(yī)生提前預(yù)判即將遇到的重要血管或解剖結(jié)構(gòu)，最大限度地保證手術(shù)安全。但是對于肝臟手術(shù)而言，由于術(shù)者的操作、患者呼吸運動等都會引起肝臟形變，這就需要精確的圖像分割算法、合適的肝臟生物力學模型構(gòu)建算法和導航注冊配準算法等共同來解決。目前國內(nèi)許多學者都在從事這些方面的研究，如筆者研究團隊針對多模態(tài)圖像肝臟腫瘤分割、肝臟生物力學建模等方面進行了初步研究和應(yīng)用［16］。（3）3D打?。篛SHIRO等［17］采用3D打印肝臟模型指導肝切除術(shù)，能夠?qū)﹃P(guān)鍵部位快速識別和定位，通過精確定位病灶并確定手術(shù)切除平面，實時引導重要脈管的分離和腫瘤病灶的切除，實現(xiàn)了準確切除病灶和避免重要解剖結(jié)構(gòu)的副損傷。

近年來，加速康復(fù)外科的發(fā)展使得腹腔鏡肝切除術(shù)的應(yīng)用越來越廣泛。然而，外科醫(yī)生對直接視覺和觸覺反饋的喪失是目前腹腔鏡手術(shù)的一大缺陷，將增強現(xiàn)實技術(shù)引入到腹腔鏡手術(shù)可能是解決這一科學問題的可行方案［18］。在機器人肝臟手術(shù)中，機器人手術(shù)系統(tǒng)在術(shù)者及患者間增加了計算機界面，為虛擬增強技術(shù)創(chuàng)造了很好的平臺［19］。我們可以通過在機器人身上安裝光學影像追蹤系統(tǒng)如內(nèi)視鏡照相機等儀器，在手術(shù)操作時可實時的獲得虛擬模型和三維圖像，以更加精確地指導手術(shù)的實施。PESSAUX等［20］發(fā)現(xiàn)VR技術(shù)可以疊映至達芬奇機器人的主操縱系統(tǒng)，從而實現(xiàn)最優(yōu)的工具配位方案。在3臺使用機器人的切除手術(shù)中，虛擬現(xiàn)實技術(shù)幫助實現(xiàn)了機器人對所有血管結(jié)構(gòu)的精確快速識別，提高了使用機器人進行肝臟切除手術(shù)的成功率。將虛擬現(xiàn)實技術(shù)和機器人結(jié)合來實施手術(shù)將是未來醫(yī)療發(fā)展的一個趨勢。隨著顯示傳感技術(shù)、生物力學建模和目標識別算法的進步，虛擬和增強現(xiàn)實技術(shù)有望更加理想地應(yīng)用于肝臟手術(shù)導航中。

2.2 肝臟外科培訓及教學

2.2.1 解剖與教學解剖學的學習是外科教育的一個重要組成部分，了解肝臟分段、肝內(nèi)門靜脈和肝靜脈之間的空間關(guān)系是安全實施肝臟手術(shù)的前提。傳統(tǒng)尸體解剖是醫(yī)學生解剖學習的金標準，但是其無法完全展示肝內(nèi)血管的多發(fā)變異情況［21］。教學中應(yīng)用虛擬現(xiàn)實技術(shù)能為學習者提供逼真的3D學習環(huán)境，使學習者更容易理解正常肝臟解剖及變異情況，打破了教學的時空限制，提升醫(yī)學教學的水平［22］。第三軍醫(yī)大學第二附屬醫(yī)院肝膽外科在培訓中使用三維重建軟件進行肝臟解剖教學，試驗組學員對培訓的興趣、知識的掌握以及解剖認知均優(yōu)于對照組［23］。因此，采用虛擬現(xiàn)實技術(shù)進行肝臟外科學臨床帶教有助于提高學生學習效率，激發(fā)學習興趣，加深對肝臟外科學的理解，值得在肝臟外科學臨床實習帶教中推廣應(yīng)用。

2.2.2 手術(shù)模擬良好的肝癌切除手術(shù)結(jié)果除了和精準的術(shù)前規(guī)劃密不可分，還取決于肝臟外科醫(yī)生精湛的手術(shù)操作技巧。然而傳統(tǒng)的肝臟切除術(shù)的訓練方法，如在塑料模型、實驗動物上進行訓練的方式都無法提供較為豐富、精細和個性化的案例供肝臟外科醫(yī)生訓練使用。因此，基于VR/AR技術(shù)的肝臟手術(shù)訓練平臺，一方面可以用來進行術(shù)前的診斷分析、方案設(shè)計、手術(shù)過程模擬和術(shù)后殘肝體積預(yù)測分析，改變僅憑主觀經(jīng)驗診斷、分析和設(shè)計手術(shù)方案的傳統(tǒng)模式，提高手術(shù)的安全性；另一方面，可以在已確定的術(shù)前規(guī)劃基礎(chǔ)上，使醫(yī)生能夠在患者個性化的虛擬3D肝臟模型上進行安全、有效、反復(fù)的訓練，提高技巧，確保術(shù)中操作的精度，同時避免在模型、動物或真實患者身上訓練時手感的不真實和易引起醫(yī)療道德爭議等問題。

另外，將觸覺模擬技術(shù)引入到手術(shù)模擬過程中，一方面可以盡可能真實地模擬實際手術(shù)操作環(huán)境，讓醫(yī)生通過力反饋設(shè)備觸摸并感知虛擬患者模型，在交互過程中鍛煉手眼配合協(xié)調(diào)能力；另一方面還可以將有經(jīng)驗的醫(yī)生操作手術(shù)工具時的視覺畫面、手的運動和用力過程記錄下來，作為訓練教程，將真實的手術(shù)情景再現(xiàn)給年輕醫(yī)生進行學習。在高仿真的虛擬肝臟手術(shù)訓練環(huán)境中，學員可以與導師、同學進行實時交互，整個外科團隊都可以參考相同的視覺信息進行學習和訓練，最大限度地達到真實手術(shù)訓練效果，縮短肝臟外科醫(yī)生的培訓周期［3］。

2.3 醫(yī)患溝通醫(yī)患溝通中的最大問題是醫(yī)生和患者之間醫(yī)學知識的不對等，在肝臟手術(shù)進行前，即使有醫(yī)生的專業(yè)解答，患者及家屬也很難從CT或MR圖像中充分了解病情。使用忠實于患者的個體化肝臟3D模型和3D打印技術(shù)，可以讓肝臟和相應(yīng)的病變部位以1∶1比例的“實物”呈現(xiàn)在醫(yī)生和患者及家屬面前；同時醫(yī)生還可以通過三維可視化仿真手術(shù)演示，在術(shù)前談話中更直觀、具體地向患者及家屬說明臨床病情、手術(shù)方案及可能的風險，讓患者和家屬對手術(shù)過程和手術(shù)風險有了充分“知情權(quán)”，進一步有助于患者積極配合后續(xù)治療，和諧醫(yī)患關(guān)系［24?26］。

3 展望

虛擬和增強現(xiàn)實技術(shù)作為一種高科技模擬技術(shù)已經(jīng)被逐步開展并應(yīng)用于肝臟外科中，它能夠讓我們獲得更加精準全面的影像信息、更加直觀具體的3D模型、更加通俗易懂的教學方式，進而更加精確地指導肝臟手術(shù)實施和教學訓練。隨著肝臟外科學、計算機科學、醫(yī)學影像學等學科的進一步交叉發(fā)展，VR/AR技術(shù)將更好地融合應(yīng)用于肝臟外科手術(shù)導航及虛擬手術(shù)系統(tǒng)構(gòu)建中，必將給醫(yī)療界帶來翻天覆地的革新與進步［3］。

［1］CHEN W，ZHENG R，BAADE P D，et al.Cancer statistics in China，2015［J］.CA Cancer J Clin，2016，66（2）：115?132.

［2］吳孟超，吳在德.黃家駟外科學［M］.7版.北京：人民衛(wèi)生出版社，2010：1704.

［3］SAUER I M，QUEISNER M，TANG P，et al.Mixed reality in visceral surgery：development of a suitable workflow and evalua?tion of intraoperative use?cases［J］.Ann Surg，2017，266（5）：706?712.

［4］程凱，陳敏.虛擬現(xiàn)實技術(shù)在健康醫(yī)療領(lǐng)域的應(yīng)用［J］.中國醫(yī)院管理，2017，37（8）：45?47.

［5］郝英好.人機交互新模式，VR/AR/MR產(chǎn)業(yè)開始形成［J］.新型工業(yè)化，2016，6（8）：65?70.

［6］TANG J，XU L，HE L，et al.Virtual laparoscopic training sys?tem based on VCH model［J］.J Med Syst，2017，41（4）：58.

［7］SAMPOGNA G，PUGLIESE R，ELLI M，et al.Routine clinical application of virtual reality in abdominal surgery［J］.Minim In?vasive Ther Allied Technol，2017，26（3）：135?143.

［8］文天夫.規(guī)范原發(fā)性肝癌患者診治，改善患者長期預(yù)后［J］.腫瘤預(yù)防與治療，2017，30（1）：5?8.

［9］MISE Y，HASEGAWA K，SATOU S，et al.How has virtual hep?atectomy changed the practice of liver surgery？Experience of 1194 virtual hepatectomy before liver resection and living donor liver transplantation［J］.Ann Surg，2017.

［10］FANG C H，TAO H S，YANG J，et al.Impact of three?dimen?sional reconstruction technique in the operation planning of cen?trally located hepatocellular carcinoma［J］.J Am Coll Surg，2015，220（1）：28?37.

［11］張新俊，莫一我，王彥坤，等.三維手術(shù)模擬系統(tǒng)在復(fù)雜性肝臟腫瘤精準肝切除中的應(yīng)用［J］.中國現(xiàn)代醫(yī)學雜志，2016，26（4）：48?53.

［12］陳琳，羅鴻萍，董水林，等.三維重建技術(shù)在評估大肝癌手術(shù)安全性中的作用［J］. 中華外科雜志，2016，54（9）：669?674.

［13］NTOURAKIS D，MEMEO R，SOLER L，et al.Augmented reali?ty guidance for the resection of missing colorectal liver metasta?ses：an initial experience［J］.World J Surg，2016，40（2）：419?426.

［14］方馳華，陳青山，方程，等.三維可視化技術(shù)輔助的肝切除術(shù)治療原發(fā)性肝癌的療效分析［J］.中華外科雜志，2015，53（8）：574?579.

［15］PHUTANE P，BUC E，POIROT K，et al.Preliminary trial of augmented reality performed on a laparoscopic left hepatectomy［J］.Surg Endosc，2018，32（1）：514?515.

［16］SI W，LIAO X，WANG Q，et al.Personalized heterogeneous de?formable model for fast volumetric registration［J］.Biomed Eng Online，2017，16（1）：30.

［17］OSHIRO Y，MITANI J，OKADA T，et al.A novel three?dimen?sional print of liver vessels and tumors in hepatectomy［J］.Surg Today，2017，47（4）：521?524.

［18］BERNHARDT S，NICOLAU S A，SOLER L，et al.The status of augmented reality in laparoscopic surgery as of 2016［J］.Med Image Anal，2017，37：66?90.

［19］王曉穎，朱小東.術(shù)中影像引導在腹腔鏡和機器人肝切除術(shù)中的應(yīng)用［J］. 中華肝膽外科雜志，2017，23（11）：741?744.

［20］PESSAUX P，DIANA M，SOLER L，et al.Towards cybernetic surgery：robotic and augmented reality?assisted liver segmentec?tomy［J］.Langenbecks Arch Surg，2015，400（3）：381?385.

［21］MORO C，STROMBERGA Z，RAIKOS A，et al.The effective?ness of virtual and augmented reality in health sciences and med?ical anatomy［J］.Anat Sci Educ，2017，10（6）：549?559.

［22］王威巍，李靖，鄭璐，等.三維重建技術(shù)在肝臟解剖及手術(shù)規(guī)范化培訓教學中的作用［J］.中國醫(yī)學教育技術(shù)，2017，31（5）：589?592.

［23］郝惠惠，陳闖，丁志龍，等.三維可視化教學在肝臟外科學臨床實習帶教中的應(yīng)用研究［J］.中華醫(yī)學教育雜志，2017，37（2）：243?246，316.

［24］李立恒，肖承江，黎超，等.Embosphere微粒球經(jīng)導管栓塞治療腹盆部腫瘤的療效及安全性［J］.現(xiàn)代醫(yī)院，2016，16（8）：1129?1132.

［25］盧丹，龔大范.青少年非酒精性脂肪肝危險因素分析［J］.現(xiàn)代醫(yī)院，2016，16（3）：462?463，466.

［26］李嘉榮，李年豐.3D打印技術(shù)在肝臟腫瘤手術(shù)治療中的應(yīng)用［J］. 醫(yī)學綜述，2016，22（19）：3788?3791.