增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)技術(shù)在骨科教學(xué)的研究進(jìn)展

羅文浩 陽天睿 李曄

（中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院北京協(xié)和醫(yī)院1.基本外科，2.臨床醫(yī)學(xué)，3.骨科，北京 100730）

由于學(xué)生在骨科學(xué)習(xí)過程中，實(shí)踐操作的機(jī)會較少，很多一線臨床教學(xué)工作者將研究方向延伸到模擬教學(xué)方面，欲研制出可供學(xué)生進(jìn)行多次可重復(fù)臨床模擬的技術(shù)，將主觀的書本知識進(jìn)行客觀轉(zhuǎn)化，給予學(xué)生臨床實(shí)踐的可行操作平臺。

增強(qiáng)現(xiàn)實(shí)（augmented reality,AR）技術(shù)是虛擬現(xiàn)實(shí)（virtual reality,VR）技術(shù)的一種新興分支，AR 技術(shù)可以將計(jì)算機(jī)產(chǎn)生的虛擬場景疊加在真實(shí)的場景之中，構(gòu)建一個(gè)真實(shí)與虛擬世界之間的交互場景，因其對現(xiàn)實(shí)環(huán)境進(jìn)行增強(qiáng)，故稱為增強(qiáng)現(xiàn)實(shí)[1]。AR具有真實(shí)性、實(shí)時(shí)交互性和實(shí)用性的典型特征[2]，增強(qiáng)和擴(kuò)展了人類的視覺系統(tǒng)，比VR擁有更廣闊的應(yīng)用空間和研發(fā)潛力。

為了提升應(yīng)用性能，混合現(xiàn)實(shí)（mixed reality,MR）技術(shù)日趨成熟。MR 技術(shù)是對VR 和AR 技術(shù)的進(jìn)一步發(fā)展，它通過特殊眼鏡將真實(shí)視野與虛擬視野疊加，是一種建立在人類自然感知基礎(chǔ)上的新型數(shù)字技術(shù)。MR首先在計(jì)算機(jī)中建立圖形影像，生成虛擬模型，再通過特殊眼鏡將其疊加至現(xiàn)實(shí)環(huán)境中，形成現(xiàn)實(shí)與虛擬圖像混合的場景。這種混合場景本質(zhì)上是在現(xiàn)實(shí)、虛擬和用戶間構(gòu)建信息交互反饋的回路[3]。與VR和AR技術(shù)相比，MR技術(shù)更加直觀，并提供了前兩者并不具備的代入感。使用者僅需佩戴眼鏡，不影響正常視野，也無需占用雙手，便捷靈活，提高了學(xué)生在虛擬的環(huán)境中的互動(dòng)性和沉浸感。

近年來，骨科手術(shù)技術(shù)飛速發(fā)展，但由于骨與軟組織結(jié)構(gòu)和功能的復(fù)雜性，以及骨科病種的多樣性，手術(shù)相關(guān)風(fēng)險(xiǎn)和并發(fā)癥發(fā)生率仍然較高。特別是在疑難復(fù)雜的脊柱、關(guān)節(jié)、骨腫瘤和創(chuàng)傷復(fù)位等手術(shù)中，由于解剖結(jié)構(gòu)難以準(zhǔn)確清晰地識別，較易引起相關(guān)副損傷發(fā)生，加之教學(xué)環(huán)境不容樂觀、教學(xué)資源短缺、教學(xué)成本居高不下等，成效頗受影響[4]。面對我國醫(yī)療資源緊缺、青年骨干醫(yī)師成長周期長的問題，AR、MR 技術(shù)的發(fā)展有望提供解決途徑。本文將對AR技術(shù)、MR技術(shù)在骨科手術(shù)規(guī)劃、教學(xué)與培訓(xùn)中的應(yīng)用現(xiàn)狀進(jìn)行綜述。

1 AR和MR技術(shù)在骨科領(lǐng)域的應(yīng)用概述

AR 技術(shù)可以更好地顯示重要解剖部位，有助于提高手術(shù)安全性，縮短完成手術(shù)所需的時(shí)間，在多種骨科手術(shù)中具有豐富潛力[5]。骨科手術(shù)中，AR已試用于微創(chuàng)的經(jīng)皮脊柱內(nèi)鏡手術(shù)、創(chuàng)傷重建、截骨術(shù)、關(guān)節(jié)鏡手術(shù)、關(guān)節(jié)置換術(shù)及腫瘤切除等手術(shù)中，研究內(nèi)容涉及脊柱外科、關(guān)節(jié)外科、創(chuàng)傷骨科、骨腫瘤外科和骨科康復(fù)等骨科亞專業(yè)[6]。

骨科手術(shù)中，醫(yī)師主要依靠視覺與觸覺反饋信息進(jìn)行手術(shù)操作。MR 技術(shù)將CT 掃描的平面圖像轉(zhuǎn)化為立體模型，降低空間構(gòu)思的難度，同時(shí)將患者實(shí)體結(jié)構(gòu)與本人的影像解剖模型對應(yīng)，提供個(gè)體化的、逼真的三維視覺、聽覺、觸覺感知。由此，骨科醫(yī)師與計(jì)算機(jī)交互，可以以更自然的方式進(jìn)行實(shí)踐操作。青年醫(yī)師利用MR技術(shù)，可以對同一操作進(jìn)行反復(fù)練習(xí)，積攢經(jīng)驗(yàn)，可以有效縮短學(xué)習(xí)年限。對一些高風(fēng)險(xiǎn)骨科手術(shù)，如高位脊柱節(jié)段手術(shù)，術(shù)前可以采用MR技術(shù)進(jìn)行多次個(gè)體化模擬操作，發(fā)現(xiàn)術(shù)中操作難點(diǎn)，提高手術(shù)的精度，避免術(shù)中發(fā)生不可挽救的傷害。因此，越來越多的醫(yī)療機(jī)構(gòu)、醫(yī)務(wù)人員選擇將MR 技術(shù)應(yīng)用于骨科手術(shù)、技能培訓(xùn)等領(lǐng)域，以提高手術(shù)精度、擴(kuò)展醫(yī)學(xué)教學(xué)的時(shí)間和空間[7]。

2 AR和MR在骨科教學(xué)應(yīng)用中的優(yōu)勢

2.1 節(jié)省資源，方便可行

優(yōu)勢醫(yī)療資源的稀缺與分布不均是我國醫(yī)療衛(wèi)生領(lǐng)域目前的現(xiàn)狀，也是亟待解決的問題[8]。開展遠(yuǎn)程醫(yī)療是解決問題的途徑。解剖學(xué)作為骨科基礎(chǔ)教育中重要環(huán)節(jié)，由于標(biāo)本短缺、成本較高等限制，教學(xué)資源無法滿足教學(xué)需求。AR和MR技術(shù)主要面對低年資醫(yī)師和醫(yī)學(xué)生，這類人群的特點(diǎn)是具備理論知識，但缺乏實(shí)踐經(jīng)驗(yàn)。AR 及MR 技術(shù)的應(yīng)用彌補(bǔ)了傳統(tǒng)教學(xué)的不足，使授課老師和學(xué)生穿梭在虛擬和現(xiàn)實(shí)環(huán)境，提供了一種高效、立體的全新教學(xué)模式。青年醫(yī)師借助于AR和MR技術(shù)可以在任何適當(dāng)?shù)膱鏊M(jìn)行理論學(xué)習(xí)、手術(shù)方案設(shè)計(jì)、手術(shù)預(yù)演，以及實(shí)踐操作模擬；還可多人參與同一模型的協(xié)作學(xué)習(xí)與集中討論。這種學(xué)習(xí)方式形象生動(dòng)，便于記憶，亦更好地解決了培養(yǎng)單位醫(yī)療資源和培訓(xùn)資源有限的難題。

2.2 真實(shí)仿真，安全可行

AR 與MR 技術(shù)讓現(xiàn)實(shí)世界與虛擬世界結(jié)合，營造出一種身臨其境的感覺，具有仿真性[9]。AR、MR技術(shù)可以快速、準(zhǔn)確、實(shí)時(shí)地建立包括解剖部位、解剖層次和解剖功能在內(nèi)的四維模型，協(xié)助臨床醫(yī)師或培訓(xùn)者分析病變特征、病變性質(zhì)和解剖結(jié)構(gòu)位置關(guān)系，施行交互式手術(shù)模擬，獲得更好的體驗(yàn)。此外，在術(shù)中講解展示時(shí)還可以實(shí)時(shí)匹配患者的實(shí)際體位，更加真實(shí)。操作者在操作過程中無需接觸計(jì)算機(jī)或投影眼鏡等設(shè)備，不會造成術(shù)中污染，無疑增強(qiáng)了術(shù)中應(yīng)用的便利性和安全性。此外，在骨科手術(shù)或操作中涉及的重要解剖結(jié)構(gòu)在手術(shù)前可由計(jì)算機(jī)系統(tǒng)進(jìn)行不同顏色或不同符號的標(biāo)記，以便更直觀地制定手術(shù)方案，模擬手術(shù)路徑，提高手術(shù)操作的準(zhǔn)確性和安全性。在教學(xué)方面，AR、MR 技術(shù)使學(xué)生對復(fù)雜人體標(biāo)本的學(xué)習(xí)變得更加直觀、立體并且簡單有效；骨科帶教老師也可對虛擬的人體標(biāo)本進(jìn)行反復(fù)多次的解剖和演示，使培訓(xùn)更加高效。AR、MR 技術(shù)在解剖教學(xué)中的應(yīng)用，有利于學(xué)生理解復(fù)雜的骨科結(jié)構(gòu)，從而更加有效地培養(yǎng)醫(yī)學(xué)生的各項(xiàng)臨床技能[10]。對于有創(chuàng)和費(fèi)用昂貴的操作，醫(yī)學(xué)生可先在虛擬空間接受培訓(xùn)，直觀地模擬各項(xiàng)臨床操作，重復(fù)訓(xùn)練，待操作或培訓(xùn)技術(shù)成熟后，再在人體上進(jìn)行實(shí)際操作。例如，在經(jīng)皮椎間孔入路腰椎間盤切除術(shù)的教學(xué)中，MR技術(shù)提高了學(xué)生及醫(yī)師學(xué)習(xí)的主動(dòng)性、學(xué)習(xí)興趣和三維想象能力[11]。在AR、MR 技術(shù)的幫助下，骨科醫(yī)師利用圖形處理技術(shù)、可視化技術(shù)和傳感技術(shù)，在現(xiàn)實(shí)世界中呈現(xiàn)骨折創(chuàng)傷的虛擬模型。在不改變對客觀事物感知的情況下，醫(yī)師還可以通過手勢對模型進(jìn)行配準(zhǔn)觀察，實(shí)現(xiàn)對骨折部位解剖結(jié)構(gòu)的清晰了解，增加手術(shù)的可控程度。

2.3 深度學(xué)習(xí)，實(shí)時(shí)可行

目前，臨床解剖基礎(chǔ)知識對許多年輕骨科醫(yī)師、甚至中年醫(yī)師來說都是難點(diǎn)，一位成熟骨科醫(yī)師的成長周期至少為10 年，而具有豐富解剖知識和手術(shù)經(jīng)驗(yàn)的專家成長周期往往更長。當(dāng)前廣泛使用的解剖圖譜都是平面圖像，視覺效果不佳，影響到教學(xué)效果。在骨科手術(shù)的教學(xué)過程中，運(yùn)用AR及MR技術(shù)，可以真實(shí)模擬人體解剖，還原手術(shù)過程，將抽象枯燥的醫(yī)學(xué)知識生動(dòng)地呈現(xiàn)出來。因此，骨科AR 及MR教學(xué)具有巨大的潛力及廣闊的前景，具有現(xiàn)實(shí)意義。

有關(guān)研究發(fā)現(xiàn)，住院醫(yī)師利用AR技術(shù)模擬動(dòng)力髖螺釘植入治療髖關(guān)節(jié)囊外骨折，從中可以獲得導(dǎo)絲插入和螺釘植入的近似真實(shí)體驗(yàn)，經(jīng)濟(jì)且效果佳[12]。國外學(xué)者將AR技術(shù)應(yīng)用于髖臼杯置換手術(shù)的訓(xùn)練，發(fā)現(xiàn)無論由專業(yè)骨科醫(yī)師進(jìn)行傳統(tǒng)帶教，還是使用AR 技術(shù)，兩組受訓(xùn)者的實(shí)踐準(zhǔn)確率是相似的[13]。這提示AR技術(shù)今后可以應(yīng)用于更多骨科手術(shù)項(xiàng)目的訓(xùn)練。MR技術(shù)可以在術(shù)前對骨折、軟組織缺損等形態(tài)學(xué)損傷進(jìn)行建模，模擬復(fù)位、轉(zhuǎn)移組織等操作，有助于學(xué)習(xí)者更好地理解手術(shù)的設(shè)計(jì)理念和手術(shù)原則，加深學(xué)科認(rèn)識；也更利于學(xué)習(xí)者理解手術(shù)入路，降低在實(shí)際操作過程中給患者帶來副損傷的概率。MR 技術(shù)具備實(shí)時(shí)互動(dòng)性，學(xué)生使用MR 技術(shù)可以自由的在展示空間中活動(dòng)，從任意角度觀看研究模型，并可對模型進(jìn)行實(shí)時(shí)模擬操作[14]。

2.4 精準(zhǔn)高效，切實(shí)可行

在傳統(tǒng)骨科手術(shù)中，病損部位與鄰近血管神經(jīng)的結(jié)構(gòu)關(guān)系往往難以完整精確呈現(xiàn)。手術(shù)中如果完全依賴主刀醫(yī)師對解剖結(jié)構(gòu)和各種變異的熟知，以及術(shù)中臨場應(yīng)變和應(yīng)急處理的能力，那么手術(shù)精確性則較不可控，存在一定的安全風(fēng)險(xiǎn)。AR、MR 技術(shù)將真實(shí)物理空間與虛擬空間精準(zhǔn)匹配，對病變精準(zhǔn)定位，協(xié)助引導(dǎo)手術(shù)操作。已有不少研究將MR技術(shù)運(yùn)用于骨科手術(shù)導(dǎo)航，均收獲了良好的效果[15]。MR技術(shù)可將患者的3D 影像放大、旋轉(zhuǎn)、移動(dòng)，完整精確地疊加在患者真實(shí)體位上。此外，在患者康復(fù)治療中，AR、MR將虛擬與現(xiàn)實(shí)融合，將傳統(tǒng)的運(yùn)動(dòng)康復(fù)理論與運(yùn)動(dòng)捕捉感知技術(shù)結(jié)合，將治療練習(xí)中的動(dòng)作轉(zhuǎn)化為更豐富的虛擬反饋，增加使用者的代入感，及時(shí)糾正錯(cuò)誤動(dòng)作，達(dá)到最佳康復(fù)效果[16]。

3 AR與MR發(fā)展的困境與挑戰(zhàn)

近年來AR、MR 技術(shù)飛速發(fā)展，但在醫(yī)學(xué)教學(xué)領(lǐng)域仍處在起步階段，需要進(jìn)一步加以完善，尤其是在骨科專業(yè)方面的技術(shù)支持。

首先，臨床中不僅要關(guān)注解剖結(jié)構(gòu)，還注重其功能。而AR 目前更多是集中在對人體各結(jié)構(gòu)的識別和引導(dǎo)，而往往忽略了對其功能性的認(rèn)知。其次，既往基于AR 技術(shù)的研究中所包含的樣本或案例數(shù)量較少，有必要進(jìn)行更大規(guī)模的試驗(yàn)，以明確新技術(shù)較傳統(tǒng)技術(shù)的優(yōu)越性和可靠性?，F(xiàn)階段AR 技術(shù)在遠(yuǎn)程會診等應(yīng)用中仍存在傳輸速率問題，常出現(xiàn)滯后和延遲。相信隨著5G技術(shù)的不斷研發(fā)、應(yīng)用，這一問題將會得以解決。

MR 技術(shù)的局限性：①價(jià)格較昂貴，并沒有完全普及，因此不太可能讓每個(gè)學(xué)生都去具體操作演練，學(xué)生本質(zhì)上獲得的動(dòng)手機(jī)會并沒有增加；②缺乏觸覺感知，目前MR 尚只限于視覺模擬，對于觸覺等其他感覺的強(qiáng)化還沒有相關(guān)報(bào)道；③MR對軟組織的模擬較為欠缺。此外，MR技術(shù)的展示操作需要一定的學(xué)習(xí)周期，使用者需要時(shí)間熟悉這項(xiàng)技術(shù)。對于骨科而言，大體標(biāo)本經(jīng)過福爾馬林浸泡和三維重建后，畫面有一定程度的失真和扭曲，精確性亟待提高。目前，MR 虛擬手術(shù)與物理解剖的體驗(yàn)有著較大差別，還不能取代物理解剖操作。如何合理安排虛擬實(shí)驗(yàn)和實(shí)體操作的比重，是教學(xué)中需要解決的問題。

4 總結(jié)與展望

AR、MR 技術(shù)結(jié)合新型骨科診療技術(shù)，將在骨科疾病的診斷、治療、教學(xué)、培訓(xùn)中發(fā)揮越來越重要的作用。有必要盡快建立完善的AR、MR 培訓(xùn)模式和培訓(xùn)效果評估體系，通過新技術(shù)增強(qiáng)骨科醫(yī)師、醫(yī)學(xué)生對骨科專業(yè)的興趣，提高其對基本理論知識的學(xué)習(xí)，對基本操作技術(shù)的掌握，并不斷提高實(shí)踐能力和手術(shù)技術(shù)，進(jìn)行更加細(xì)致完善的術(shù)前規(guī)劃，制定更加合理優(yōu)化的手術(shù)方案，提高手術(shù)操作成功率，從而最大限度地惠及患者。研究者需要加強(qiáng)對新技術(shù)人才的培養(yǎng)，豐富該領(lǐng)域的研究團(tuán)隊(duì)；醫(yī)師應(yīng)該推動(dòng)新技術(shù)在醫(yī)學(xué)教學(xué)中的應(yīng)用，不斷提高臨床醫(yī)師的知識儲備和診療能力，優(yōu)化臨床治療方案，提高患者獲益[17,18]。

總之，AR 與MR 技術(shù)不僅可以有效彌補(bǔ)傳統(tǒng)教學(xué)模式的弊端，使醫(yī)學(xué)教育更加高效、精準(zhǔn)、直觀，還能逐步推動(dòng)醫(yī)學(xué)教育模式的革新，同時(shí)，AR、MR技術(shù)可促進(jìn)醫(yī)療教學(xué)資源的合理配置，加快青年骨科醫(yī)師的培養(yǎng)，改變骨科醫(yī)師培養(yǎng)曲線過長的現(xiàn)狀，為骨科的規(guī)范化教學(xué)培訓(xùn)提供強(qiáng)有力的技術(shù)支持。AR與MR技術(shù)作為一種創(chuàng)新型教學(xué)方法，在骨科教學(xué)培訓(xùn)中的應(yīng)用值得進(jìn)一步探索和推廣。