HoloLens在醫(yī)療領(lǐng)域的應(yīng)用綜述

李昕迪,王云龍

(黑龍江省科學(xué)院智能制造研究所，黑龍江 哈爾濱 150090)

1 引言

隨著虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)的成熟發(fā)展，在醫(yī)療教學(xué)和診斷治療中，發(fā)揮著重要作用。而混合現(xiàn)實(shí)作為兩者的結(jié)合體，具有兩者不可比擬的優(yōu)越性和先進(jìn)性，具有虛實(shí)結(jié)合的特點(diǎn)，完美的連接起現(xiàn)實(shí)世界和虛擬環(huán)境[1-2]。

傳統(tǒng)的醫(yī)學(xué)影像數(shù)據(jù)呈現(xiàn)，是在CT、核磁共振等影像檢查結(jié)束后，生成二維膠片。醫(yī)生通過(guò)閱片，辨識(shí)病灶，診斷疾病?；旌犀F(xiàn)實(shí)技術(shù)(MR)則能夠讓醫(yī)生在亦真亦虛的環(huán)境中開(kāi)展診斷治療，極大地?cái)U(kuò)展了該技術(shù)的應(yīng)用場(chǎng)景和應(yīng)用范圍。通過(guò)應(yīng)用三維的可視化技術(shù)、導(dǎo)航技術(shù)、機(jī)器人技術(shù)等，與真實(shí)空間進(jìn)行融合，通過(guò)讀取病人的CT、核磁共振等數(shù)據(jù)，生成3D全息影像模型。輔助MR眼鏡，醫(yī)生可全面觀察病灶細(xì)節(jié)、深度挖掘影像信息，進(jìn)而規(guī)劃出更加安全、合理的手術(shù)方案[2]。

2 混合現(xiàn)實(shí)與HoloLens

混合現(xiàn)實(shí)技術(shù)為用戶(hù)創(chuàng)造一個(gè)特定場(chǎng)景的虛擬空間，使用戶(hù)能沉浸在一個(gè)虛擬的合成環(huán)境中，同時(shí)又能疊加真實(shí)物體的獨(dú)特體驗(yàn)，具有以下3個(gè)特點(diǎn)：

(1)現(xiàn)實(shí)與虛擬世界結(jié)合；

(2)實(shí)時(shí)交互性，用戶(hù)可與真實(shí)世界及虛擬物體實(shí)時(shí)自然交互；

(3)高度匹配性，虛擬物體與真實(shí)世界精確對(duì)接。

混合現(xiàn)實(shí)是在虛擬現(xiàn)實(shí)(VR)與增強(qiáng)現(xiàn)實(shí)(AR)的基礎(chǔ)上發(fā)展而來(lái)，故在硬件結(jié)構(gòu)上MR系統(tǒng)同VR系統(tǒng)、AR系統(tǒng)的硬件具有一定繼承性和一致性。典型MR系統(tǒng)(如圖1所示)，由虛擬場(chǎng)景生成器、頭戴顯示設(shè)備、用戶(hù)姿態(tài)跟蹤設(shè)備和頭部姿態(tài)跟蹤設(shè)備、虛擬場(chǎng)景與真實(shí)場(chǎng)景對(duì)準(zhǔn)的定位設(shè)備和交互設(shè)備構(gòu)成[3]。

圖1 混合現(xiàn)實(shí)系統(tǒng)構(gòu)成

早在1995年就有科學(xué)家提出，用基于增強(qiáng)現(xiàn)實(shí)的混合構(gòu)建模型構(gòu)建一個(gè)虛擬模型，對(duì)于醫(yī)生實(shí)施手術(shù)是十分必要的，并提出將CT/MRI/X 光等醫(yī)學(xué)影像數(shù)據(jù)、AR/VR頭顯設(shè)備、患者、手術(shù)機(jī)器人等構(gòu)建起來(lái)，用于為手術(shù)系統(tǒng)收集不同類(lèi)別的信息，這是早期的將混合現(xiàn)實(shí)用于手術(shù)的設(shè)想[3]。

混合現(xiàn)實(shí)技術(shù)的基礎(chǔ)是AR 和VR，是利用計(jì)算機(jī)技術(shù)與現(xiàn)實(shí)環(huán)境交互的科技，成為能夠提供醫(yī)學(xué)環(huán)境的兩種主要手段。通過(guò)AR和VR技術(shù)，醫(yī)生可以看到真實(shí)手術(shù)部位、可視化虛擬三維解剖全息圖，并可以在全息圖上對(duì)感興趣的部位進(jìn)行標(biāo)記，打造了一種虛實(shí)結(jié)合的半沉浸式手術(shù)環(huán)境。VR 和AR 在醫(yī)療領(lǐng)域的應(yīng)用覆蓋了術(shù)前、術(shù)中和術(shù)后全過(guò)程，為醫(yī)生提供診療便利，為患者提供更加先進(jìn)，更加高效的治療體驗(yàn)[4]?；旌犀F(xiàn)實(shí)技術(shù)在多方推動(dòng)下，取得了長(zhǎng)足的進(jìn)步，技術(shù)已經(jīng)愈發(fā)成熟穩(wěn)定。目前混合現(xiàn)實(shí)技術(shù)已經(jīng)平穩(wěn)度過(guò)實(shí)驗(yàn)室測(cè)試階段，全面邁入實(shí)用領(lǐng)域。

微軟公司(Microsoft)作為混合現(xiàn)實(shí)技術(shù)的支持者與推廣者，早在2015 就推出了HoloLens 混合現(xiàn)實(shí)眼鏡設(shè)備，如圖2所示。HoloLens 是一款不受線纜束縛的混合現(xiàn)實(shí)頭戴顯示設(shè)備，旨在幫助用戶(hù)使用智能應(yīng)用程序和解決方案解決實(shí)際業(yè)務(wù)問(wèn)題[5-6]。

圖2 HoloLens混合現(xiàn)實(shí)眼鏡

3 HoloLens在外科手術(shù)中的應(yīng)用

2016年，日本外科醫(yī)生基于微軟HoloLens設(shè)備進(jìn)行了前列腺腫瘤切除手術(shù)，并在術(shù)后將整個(gè)手術(shù)過(guò)程的視頻資料發(fā)布到網(wǎng)上。通過(guò)視頻可以了解到，醫(yī)生使用HoloLens設(shè)備，基于虛擬可視化技術(shù)，能夠?qū)⒒颊呋继幍娜S模型顯示在眼前，如圖3所示。通過(guò)該技術(shù)可以讓醫(yī)生實(shí)時(shí)查看患者腫瘤的相對(duì)位置，確保能夠安全的移除腫瘤。在外科手術(shù)中，HoloLens 可以幫助醫(yī)生實(shí)時(shí)觀看參考影像并將手術(shù)過(guò)程進(jìn)行直播[7-8]。

圖3 HoloLens虛擬展示

2017年，西班牙的骨科醫(yī)生在HoloLens的輔助下成功完成了微創(chuàng)腰椎間盤(pán)修復(fù)手術(shù)。與傳統(tǒng)手術(shù)方法相比，該手術(shù)耗時(shí)減少一半。通過(guò)使用HoloLens，醫(yī)生在手術(shù)過(guò)程中能夠?qū)崟r(shí)查看CT 影像、B 超和其他關(guān)鍵數(shù)據(jù)，并可以將CT影像疊加顯示在患者身上，使醫(yī)生能夠清晰的“看到”患者內(nèi)臟和骨骼的位置，以便更精準(zhǔn)的完成手術(shù)[9-10]，如圖4所示。

圖4 使用Hololens實(shí)時(shí)查看數(shù)據(jù)

2017年，作為微軟的金牌合作伙伴，Novarad公司提出了一項(xiàng)名為OpenSight 的技術(shù)，該技術(shù)可以利用病人的MRI 和CT 影像生成3D 模型，并通過(guò)HoloLens 跟蹤定位功能將三維模型與病人身體相應(yīng)部位準(zhǔn)確重合，從而使醫(yī)生能夠在手術(shù)過(guò)程中實(shí)時(shí)觀察病人體內(nèi)結(jié)構(gòu)，如圖5所示[11]。

圖5 OpenSight示意圖

2019年，哈爾濱醫(yī)科大學(xué)附屬第二醫(yī)院，使用基于HoloLens 設(shè)備開(kāi)發(fā)的的全息醫(yī)療影像系統(tǒng)，成功進(jìn)行了腹膜后腫物切除手術(shù)。通過(guò)術(shù)前影像顯示，腫物的位置非常特殊，四面被髂外動(dòng)脈、髂外靜脈、輸尿管、股神經(jīng)緊緊包圍，對(duì)手術(shù)精度要求非常高，很容易造成手術(shù)失敗[12]。醫(yī)生通過(guò)影像重建技術(shù)，基于腹腔影像重建了三維模型，使醫(yī)生能夠?qū)⑿g(shù)前制作完成的3D 影像投射到手術(shù)室真實(shí)場(chǎng)景中，并通過(guò)特定手勢(shì)對(duì)虛擬圖像進(jìn)行大小方向的調(diào)整，最終將虛擬圖像與病灶1：1完美匹配投射到手術(shù)視野中(如圖6所示)，從而在手術(shù)中可以對(duì)病灶及周?chē)芮闆r了如指掌，提高手術(shù)成功率[12-13]。

圖6 虛擬圖像與病灶匹配

4 HoloLens在教學(xué)中的應(yīng)用

在骨科教學(xué)和治療中，HoloLens 同樣發(fā)揮著重要作用。醫(yī)學(xué)專(zhuān)業(yè)的在讀學(xué)生一般缺乏對(duì)病變骨骼結(jié)構(gòu)的感性認(rèn)識(shí)。通過(guò)使用HoloLens，可以對(duì)虛擬病變骨骼模型直觀地觀察，充分了解患者骨折、脊柱畸形的全貌，熟悉病變的形態(tài)和位置[14]。通過(guò)測(cè)量，選擇合適的手術(shù)入路，特別是選擇合適的內(nèi)固定植入位置、角度和深度，以及內(nèi)固定尺寸。最后制定詳盡及個(gè)體化手術(shù)方案，模擬手術(shù)操作過(guò)程，熟練掌握手術(shù)關(guān)鍵步驟[15-17](如圖7所示)。

圖7 骨科手術(shù)規(guī)劃

在骨科教學(xué)和醫(yī)療實(shí)踐中，面臨著許多問(wèn)題亟待解決，包括(1)骨科專(zhuān)業(yè)本身解剖結(jié)構(gòu)空間復(fù)雜，需要具有良好的空間想象力；(2)人體實(shí)體標(biāo)本短缺，成本高昂，尸體解剖并不能滿(mǎn)足教學(xué)要求；(3)理論教學(xué)與實(shí)踐操作脫節(jié)，缺乏以臨床診療為中心的理論融合手段[18]。通過(guò)使用HoloLens 可以完美解決以上問(wèn)題，通過(guò)營(yíng)造逼真的虛擬空間，讓使用者身臨其境的體會(huì)解剖結(jié)構(gòu)，全方位展示各類(lèi)骨骼模型[19-20](如圖8所示)，將理論與實(shí)踐相結(jié)合，同時(shí)增加學(xué)習(xí)的趣味性和互動(dòng)性，提高教學(xué)效率和教學(xué)質(zhì)量[21-22]。

圖8 骨骼模型虛擬展示

5 結(jié)束語(yǔ)

基于HoloLens的全息三維可視化輔助診療技術(shù)，開(kāi)創(chuàng)了數(shù)字醫(yī)療和精準(zhǔn)醫(yī)療的新模式，改變了醫(yī)療行業(yè)觀察事物的傳統(tǒng)方法。術(shù)前幫助醫(yī)生精準(zhǔn)評(píng)估手術(shù)風(fēng)險(xiǎn)，制定科學(xué)、詳細(xì)的手術(shù)方案，模擬術(shù)中導(dǎo)航和術(shù)中超聲，降低手術(shù)風(fēng)險(xiǎn)；術(shù)中可以精準(zhǔn)定位病灶位置，掌握病灶周?chē)闆r，實(shí)時(shí)顯示數(shù)據(jù)指標(biāo)，疊加MRI和CT影像和解剖圖像，提高手術(shù)成功率；術(shù)后生成病灶部位三維模型，對(duì)比手術(shù)前后的變化情況，及時(shí)、全面、準(zhǔn)確的追蹤病情，對(duì)患者術(shù)后狀況和健康進(jìn)行監(jiān)測(cè)和評(píng)估。

未來(lái)基于HoloLens 的應(yīng)用會(huì)在更多醫(yī)療領(lǐng)域大放異彩，其核心可以歸納為3 類(lèi)：(1)提高治療成功率；(2)縮短教育周期；(3)擴(kuò)展醫(yī)療場(chǎng)景，相信混合現(xiàn)實(shí)技術(shù)會(huì)為醫(yī)療行業(yè)帶來(lái)跨越式進(jìn)步，HoloLens 將會(huì)成為醫(yī)生的得力助手，給患者帶來(lái)福音。