增強(qiáng)/混合現(xiàn)實(shí)技術(shù)在頭頸外科的應(yīng)用及展望

陳剛　綜述　湯煒　審校

近年來(lái)，數(shù)字醫(yī)學(xué)的飛速發(fā)展使得頭頸外科的診療呈現(xiàn)精確、微創(chuàng)和個(gè)性化的特點(diǎn)，也在醫(yī)學(xué)教育等方面展現(xiàn)了巨大的優(yōu)勢(shì)。隨著計(jì)算機(jī)技術(shù)的進(jìn)步，數(shù)字醫(yī)學(xué)的內(nèi)容也在不斷充實(shí)，一些新的技術(shù)正逐步在頭頸外科獲得應(yīng)用轉(zhuǎn)化，其中的增強(qiáng)/混合現(xiàn)實(shí)技術(shù)因具有強(qiáng)化辨識(shí)內(nèi)在結(jié)構(gòu)、實(shí)時(shí)動(dòng)態(tài)可視化等優(yōu)點(diǎn)而備受關(guān)注。

1　增強(qiáng)/混合現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）是涉及了計(jì)算機(jī)圖形技術(shù)、多媒體技術(shù)等的一項(xiàng)新技術(shù)，以此實(shí)現(xiàn)虛擬與真實(shí)信息的疊加，達(dá)到虛擬和真實(shí)的同步結(jié)合?；旌犀F(xiàn)實(shí)（Mixed Reality，MR）則是在此基礎(chǔ)上發(fā)展，將虛擬信息和真實(shí)信息融合，利用全息影像、實(shí)時(shí)交互等技術(shù)對(duì)現(xiàn)實(shí)世界進(jìn)行重塑，實(shí)現(xiàn)虛擬信息在物理現(xiàn)實(shí)中的真實(shí)投影。雖然增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)的概念存在差異，但二者所要實(shí)現(xiàn)的都是虛實(shí)相合，是對(duì)現(xiàn)實(shí)世界有限信息的增加和強(qiáng)化，兩者的技術(shù)路線也有很大的相似性，在現(xiàn)階段大部分的開(kāi)發(fā)和應(yīng)用介于兩者之間，尚無(wú)法對(duì)其進(jìn)行明確區(qū)分，出現(xiàn)了兩者概念和應(yīng)用上的混淆。本文僅闡述和討論這一類虛實(shí)融合技術(shù)在頭頸外科的應(yīng)用情況，故以“增強(qiáng)/混合現(xiàn)實(shí)”（AR/MR）對(duì)其進(jìn)行綜述。與之相應(yīng)的虛擬現(xiàn)實(shí)（Virtual reality，VR）技術(shù)則是將虛擬構(gòu)建的世界與真實(shí)的物理環(huán)境分離開(kāi)，使我們完全沉浸在虛擬空間內(nèi)去體驗(yàn)數(shù)字世界。與VR不同的是，AR/MR不僅是在虛擬的空間內(nèi)進(jìn)行模擬仿真，而是依靠超強(qiáng)算法提高環(huán)境識(shí)別和空間感知能力，全息實(shí)時(shí)再現(xiàn)虛擬與現(xiàn)實(shí)圖像和數(shù)據(jù)，將我們所能感受到的真實(shí)物理環(huán)境變得更加立體、生動(dòng)。

2　AR/MR研究的歷史及現(xiàn)狀

1990年，Tom Caudell的團(tuán)隊(duì)在為波音公司設(shè)計(jì)的布線系統(tǒng)中開(kāi)始使用 “增強(qiáng)現(xiàn)實(shí)”這個(gè)概念。哈佛大學(xué)的Ivan Sutherland研發(fā)的頭戴式顯示設(shè)備“達(dá)摩克利斯之劍”是該技術(shù)的起源，1994年之后出現(xiàn)與之相關(guān)的技術(shù)研究報(bào)道。1995年，Ploder的研究團(tuán)隊(duì)首次將AR嘗試用于牙種植[1]，是目前能夠追溯到的最早將該技術(shù)用于頭頸外科的研究。2000年始出現(xiàn)了第一波研究高潮，相應(yīng)的文獻(xiàn)呈現(xiàn)平穩(wěn)增長(zhǎng)的態(tài)勢(shì)，2012年后AR/MR的智能可穿戴設(shè)備相繼出現(xiàn)，帶來(lái)了近五年來(lái)第二階段的研究高潮。諸多的研究將其應(yīng)用在機(jī)器維修、古跡復(fù)原、娛樂(lè)、教育等各個(gè)行業(yè)。

3　AR/MR在頭頸外科的應(yīng)用

AR/MR靠信息采集設(shè)備（環(huán)境攝像頭、深度傳感球、多陣列麥克風(fēng)等）實(shí)時(shí)捕捉真實(shí)環(huán)境圖像繼而同計(jì)算機(jī)產(chǎn)生的虛擬景象匹配，并輸出顯示給用戶來(lái)實(shí)現(xiàn)。主要的實(shí)現(xiàn)方式有基于顯示器、基于光學(xué)原理透視式、基于視頻融合透視式三種類型。隨著AR/MR的基礎(chǔ)研究不斷開(kāi)展，在醫(yī)療領(lǐng)域，神經(jīng)外科、醫(yī)學(xué)美容、消化外科等學(xué)科率先對(duì)其開(kāi)展了研究和應(yīng)用[2-4]。在頭頸外科中，AR/MR的應(yīng)用目前主要集中在醫(yī)學(xué)教育、術(shù)中導(dǎo)航兩個(gè)方面。

3.1　AR/MR在醫(yī)學(xué)教育中的應(yīng)用

醫(yī)學(xué)教育是一個(gè)高成本、長(zhǎng)時(shí)間的積累過(guò)程，對(duì)于醫(yī)學(xué)解剖的教育更是如此，需要足夠的解剖標(biāo)本和不斷的模擬鍛煉，才能夠訓(xùn)練出一個(gè)基本合格的醫(yī)生，特別是對(duì)于頭頸外科來(lái)說(shuō)，解剖結(jié)構(gòu)復(fù)雜，孔隙多，重要的解剖結(jié)構(gòu)之間關(guān)系密切，要熟練掌握實(shí)非易事。

AR/MR在現(xiàn)階段的技術(shù)基礎(chǔ)之上為我們提供一個(gè)從視覺(jué)上強(qiáng)化的三維立體解剖模型，與虛擬現(xiàn)實(shí)不同的是，它能夠在多人之間實(shí)現(xiàn)交互。AR/MR更多的是提供給多個(gè)學(xué)習(xí)者對(duì)同一模型的共同學(xué)習(xí)、指導(dǎo)的空間。其根據(jù)大量實(shí)驗(yàn)數(shù)據(jù)而仿真構(gòu)建的數(shù)字模型，重建出空間層次、色澤、大小相仿的數(shù)字人體，利用注冊(cè)技術(shù)將模型放置在相對(duì)固定的位置上，多個(gè)AR/MR設(shè)備互相鏈接，以此實(shí)現(xiàn)學(xué)習(xí)虛擬人體的同時(shí)可接受同伴、老師的指導(dǎo)?，F(xiàn)階段，數(shù)字模型僅充當(dāng)學(xué)習(xí)的輔助工具，還不具有對(duì)解剖變異的預(yù)測(cè)和解剖多樣性的展示，所以依然需要有經(jīng)驗(yàn)的老師予以指導(dǎo)。AR/MR用于教學(xué)，彌補(bǔ)了解剖標(biāo)本不足，場(chǎng)地限制等傳統(tǒng)的教學(xué)短板。張家墅等[5]將AR/MR用于指導(dǎo)培訓(xùn)顱內(nèi)病變定位穿刺，在仿真的實(shí)體模型上應(yīng)用該技術(shù)將經(jīng)過(guò)數(shù)據(jù)處理的病變和真實(shí)的模型融合來(lái)引導(dǎo)穿刺，指導(dǎo)學(xué)生的學(xué)習(xí)。將虛擬的信息和現(xiàn)實(shí)場(chǎng)景融為一體，可緩解學(xué)習(xí)的枯燥，有利于提高學(xué)生的學(xué)習(xí)效率。

3.2　AR/MR在手術(shù)導(dǎo)航中的應(yīng)用

對(duì)頭頸外科來(lái)說(shuō)，病變精確的定位及對(duì)暴露過(guò)程的引導(dǎo)是至關(guān)重要的。不少研究將AR/MR用于頭頸部的手術(shù)導(dǎo)航，均收獲了良好的效果。Lin等[6]將正頜外科的數(shù)字手術(shù)規(guī)劃和AR/MR聯(lián)系起來(lái)，將虛擬的截骨線和真實(shí)的頜骨疊加融合，利用AR/MR設(shè)備可以在暴露完成的上下頜骨表面看到虛擬設(shè)計(jì)的截骨線、骨斷端移動(dòng)的目標(biāo)位置，術(shù)中只需將真實(shí)的骨塊移動(dòng)到和虛擬對(duì)象吻合，即可完成同虛擬手術(shù)規(guī)劃一致的效果。AR/MR增加了手術(shù)的精確度和可預(yù)知性。Besharati等[7]將顱內(nèi)病變的數(shù)據(jù)虛擬仿真，以此完成對(duì)開(kāi)顱的定位和病變區(qū)域的引導(dǎo)，以最小的創(chuàng)傷取得最佳的手術(shù)入路。AR/MR還可應(yīng)用于腫瘤切除，通過(guò)整合患者數(shù)據(jù)標(biāo)定病變的邊界，術(shù)中指導(dǎo)切除范圍。在整形外科，為防止下牙槽神經(jīng)的損傷，可根據(jù)影像數(shù)據(jù)三維重建雙側(cè)下頜神經(jīng)管，將此與面部真實(shí)的情況融合，術(shù)中在直視下頜神經(jīng)管走形和毗鄰關(guān)系的情況下安全手術(shù)[8]。Shen等[9]在三維重建并且復(fù)位后的骨折模型上虛擬預(yù)彎鈦板，將虛擬預(yù)彎的鈦板和真實(shí)的鈦板所在的環(huán)境融合，在直視下根據(jù)虛擬的鈦板形態(tài)來(lái)彎制真實(shí)鈦板，達(dá)到兩者形態(tài)上的擬合。

4　展望

在醫(yī)學(xué)教育方面，AR/MR能夠讓學(xué)生直觀了解頭頸部解剖結(jié)構(gòu)，讓醫(yī)學(xué)教育能擺脫場(chǎng)地的限制、提高學(xué)習(xí)效率。但目前輔助裝備價(jià)格不菲，且不適宜長(zhǎng)時(shí)間佩戴，展示的模型缺乏人體標(biāo)本測(cè)量數(shù)據(jù)支持，特別是軟組織的模擬還很欠缺。可精確模擬人體標(biāo)本且可預(yù)測(cè)解剖變異的AR/MR數(shù)字可交互“課本”值得深入挖掘。

在術(shù)中導(dǎo)航方面，其圖像導(dǎo)航更加直觀，但目前的導(dǎo)航依然是被動(dòng)的，繁雜的裝備容易遮擋術(shù)野，數(shù)據(jù)傳輸延遲，光照對(duì)導(dǎo)航影響大是當(dāng)前存在的問(wèn)題。目前的研究主要關(guān)注其精確性的問(wèn)題，原始數(shù)據(jù)的獲取、數(shù)據(jù)的預(yù)處理、AR/MR的算法、注冊(cè)跟蹤技術(shù)、不同的顯示技術(shù)都可影響其精確性。目前，算法在不斷優(yōu)化，大部分的研究集中在處理注冊(cè)跟蹤技術(shù)上，主要的注冊(cè)跟蹤技術(shù)有電磁跟蹤、超聲波跟蹤、視覺(jué)跟蹤注冊(cè)等等。人工標(biāo)志點(diǎn)（M arker）的視覺(jué)注冊(cè)跟蹤和非人工標(biāo)志點(diǎn)（M arkerless）的視覺(jué)注冊(cè)追蹤[10]是目前研究的重點(diǎn)。人工標(biāo)志點(diǎn)的注冊(cè)跟蹤相對(duì)簡(jiǎn)單易行，就目前的技術(shù)水平而言精確度也相較其他更高，這種注冊(cè)方法在臨床應(yīng)用中取得了良好的效果。人工標(biāo)志的形態(tài)、大小、數(shù)量、反光度、放置的位置、與感興趣區(qū)域的空間位置關(guān)系等，都會(huì)影響系統(tǒng)對(duì)它的識(shí)別[8]。由于人工標(biāo)志位置的固定一致性可直接影響精確度，因此有研究在顱骨處利用螺釘固定[11]，但對(duì)于頜面外科來(lái)說(shuō)其感興趣區(qū)域和標(biāo)志之間的空間位置跨度大，影響引導(dǎo)的效果；也有研究將人工標(biāo)志放置在截骨導(dǎo)板上用于提示臨近重要結(jié)構(gòu)，但這無(wú)疑加入了導(dǎo)板固位等另外的影響因素；近來(lái)有頜面外科的研究將人工標(biāo)志放在基于單頜咬合板上進(jìn)行固定，但缺乏成形的設(shè)計(jì)和相應(yīng)參數(shù)的制定，人工標(biāo)志所在的位置對(duì)手術(shù)操作產(chǎn)生阻擋，具體細(xì)節(jié)還需進(jìn)一步優(yōu)化。Wang等[12]利用體層掃描相機(jī)來(lái)捕捉牙列外形進(jìn)行注冊(cè)跟蹤，是非人工標(biāo)志注冊(cè)的研究典型，相對(duì)于人工標(biāo)志的注冊(cè)方式，該方法更加方便，更有利于手術(shù)的操作，但精確性成了一個(gè)值得關(guān)注的問(wèn)題。結(jié)合力學(xué)反饋、語(yǔ)音提示的主動(dòng)圖像導(dǎo)航可能是今后很好的研究方向。

在圖像顯示方面，早期的研究大多采用了PC顯示器，隨著近年來(lái)智能手機(jī)和平板電腦的普及，也有研究用集成了攝像頭和顯示器于一體的智能手機(jī)和平板電腦作為顯示的終端，亦有研究利用支架式的半透半反膜進(jìn)行圖像的處理。隨著近年來(lái)谷歌的googleglass和微軟Hololens的推出，不少研究開(kāi)始使用頭戴式設(shè)備，且不乏有團(tuán)隊(duì)自主研發(fā)適用于頭頸部手術(shù)的專用頭戴設(shè)備。無(wú)論是傳統(tǒng)的PC顯示器還是平板電腦、支架式的顯示屏和頭戴式一體設(shè)備都各有所長(zhǎng)，目前的主要趨勢(shì)是向頭戴一體設(shè)備發(fā)展，輕量化、長(zhǎng)續(xù)航、深度感知、全息顯示、臨場(chǎng)感外科（T elepresence surgery）將是今后發(fā)展的方向[13]。

另外，基于AR/MR的多人交互，由于現(xiàn)今數(shù)據(jù)傳輸能力的限制和相應(yīng)設(shè)備技術(shù)的不完善，尚無(wú)將其用于遠(yuǎn)程醫(yī)療的報(bào)道。倘如將遠(yuǎn)程的患者數(shù)據(jù)信息予以增強(qiáng)顯示，在一個(gè)地方就可以完成異地多專家的直觀會(huì)診，對(duì)疑難重癥的攻克可提供很大的便利?，F(xiàn)階段AR/MR仍處于不成熟的階段，單一的應(yīng)用場(chǎng)景可能是其在頭頸部應(yīng)用的最佳方式，隨著技術(shù)的發(fā)展，比如微軟的Hololens等設(shè)備的不斷優(yōu)化或許會(huì)為該技術(shù)在頭頸外科的應(yīng)用帶來(lái)新的突破。

盡管這些研究為后續(xù)的工作提供了一定的參考依據(jù)，但仍然存在諸多問(wèn)題。比如，技術(shù)本身還有很大的優(yōu)化空間，對(duì)于頭頸外科的應(yīng)用場(chǎng)景目前仍較單一，注冊(cè)跟蹤技術(shù)、顯示技術(shù)還需不斷完善。目前的增強(qiáng)還只限于視覺(jué)增強(qiáng)，對(duì)于觸覺(jué)等其他感覺(jué)的強(qiáng)化還沒(méi)有相關(guān)報(bào)道，主動(dòng)的圖像導(dǎo)航依然是空白，增強(qiáng)現(xiàn)實(shí)中的人機(jī)交互也缺乏相應(yīng)的研究支持。在實(shí)驗(yàn)方法上，大部分研究采用了論證強(qiáng)度略差的方法，缺乏前瞻性的對(duì)照試驗(yàn)。從結(jié)果評(píng)價(jià)來(lái)看，缺乏合適的三維誤差評(píng)價(jià)方法[14]。

綜上所述，AR/MR有利于頭頸外科的教學(xué)和外科手術(shù)的實(shí)施，具有動(dòng)態(tài)可視化、真實(shí)、可交互的優(yōu)點(diǎn)，同時(shí)還有諸多待解決的問(wèn)題，是一項(xiàng)極具潛力、值得深入研究并不斷完善的數(shù)字醫(yī)學(xué)技術(shù)。

[1]Ploder O,Wagner A,Enislidis G,et al.Computer-assisted intraoperative visualization of dental implants.Augmented reality in medicine[J].Radiologe,1995,35(9)：569-572.

[2]Guha D,Alotaibi NM,Nguyen N,et al.Augmented reality in neurosurgery：a review of current concepts and emerging applications[J].Can JNeurol Sci,2017,44(3)：235-245.

[3]Okamoto T,Onda S,Yanaga K,et al.Clinical application of navigation surgery using augmented reality in the abdominal field[J].Surg Today,2015,45(4)：397-406.

[4]Kim Y,Kim H,Kim YO.Virtual reality and augmented reality in plastic surgery：a review[J].Arch Plast Surg,2017,44(3)：179-187.

[5]張家墅,陳曉雷,王群,等.虛擬和增強(qiáng)現(xiàn)實(shí)技術(shù)在顱內(nèi)病變穿刺手術(shù)教學(xué)中的應(yīng)用[J].中國(guó)醫(yī)學(xué)教育技術(shù),2017,31(5)：578-582.

[6]Lin L,Shi Y,Tan A,et al.Mandibular angle split osteotomy based on a novel augmented reality navigation using specialized robot-assisted arms-A feasibility study[J].J Craniomaxillofac Surg,2015,44(2)：215-223.

[7]Besharati Tabrizi L,Mahvash M.Augmented reality-guided neurosurgery：accuracy and intraoperative application of an image projection technique[J].JNeurosurg,2015,123(1)：206-211.

[8]Zhu M,Liu F,Chai G,et al.A novel augmented reality system for displaying inferior alveolar nerve bundles in maxillofacial surgery[J].Sci Rep,2017,7：42365.

[9]Shen F,Chen B,Guo Q,et al.Augmented reality patient-specific reconstruction plate design for pelvic and acetabular fracture surgery[J].Int JComput Assist Radiol Surg,2013,8(2)：169-179.

[10]Suenaga H,Tran HH,Liao H,et al.Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system：apilot study[J].BMCMed Imaging,2015,15：51.

[11]Zinser MJ,Mischkowski RA,Dreiseidler T,et al.Computerassisted orthognathic surgery：waferless maxillary positioning,versatility,and accuracy of an image-guided visualisation display[J].Br JOral Maxillofac Surg,2013,51(8)：827-833.

[12]Wang J,Suenaga H,Yang L,et al.Video see-through augmented reality for oral and maxillofacial surgery[J].Int J Med Robot,2017,13(2).

[13]Anvari M.Remote telepresence surgery：the Canadian experience[J].Surg Endosc,2007,21(4)：537-541.

[14]Widmann G,Stoffner R,Bale R.Errors and error management in image-guided craniomaxillofacial surgery[J].Oral Surg Oral Med Oral Pathol Oral Radiol Endod,2009,107(5)：701-715.