拓展現(xiàn)實(shí)技術(shù)在臨床手術(shù)中的應(yīng)用

李 然，婁 巖

1大連海洋大學(xué)信息工程學(xué)院，遼寧 大連 116023；2西南醫(yī)科大學(xué)醫(yī)學(xué)信息與工程學(xué)院，四川 瀘州646000

拓展現(xiàn)實(shí)技術(shù)（XR）是虛擬現(xiàn)實(shí)VR、增強(qiáng)現(xiàn)實(shí)AR、融合現(xiàn)實(shí)MR等多種技術(shù)的統(tǒng)稱。通過計(jì)算機(jī)技術(shù)和可穿戴設(shè)備使虛擬和現(xiàn)實(shí)融合，實(shí)現(xiàn)人機(jī)交互。XR包含了VR、AR、MR它們所有的特點(diǎn)，隨著這三種技術(shù)的發(fā)展，各種技術(shù)之間不斷產(chǎn)生交集，單一一種技術(shù)不能準(zhǔn)確描述具體應(yīng)用的分類，為了更準(zhǔn)確的表達(dá)，XR逐漸成為被使用的概念。

術(shù)中導(dǎo)航能夠?qū)崿F(xiàn)精確定位，是實(shí)時(shí)、可視化的手術(shù)輔助工具。術(shù)中導(dǎo)航的核心為三維空間定位技術(shù)，電磁定位是術(shù)中導(dǎo)航系統(tǒng)廣泛使用的定位技術(shù)之一。目前在臨床上廣泛應(yīng)用的電磁導(dǎo)航系統(tǒng)有美國(guó)Veran 公司生產(chǎn)的IG4 電磁導(dǎo)航系統(tǒng)、加拿大NDI公司生產(chǎn)的Aurora 電磁跟蹤定位系統(tǒng)等。另外，國(guó)內(nèi)的一些公司也自主研發(fā)了電磁導(dǎo)航系統(tǒng)［1-3］。上述應(yīng)用于臨床的電磁導(dǎo)航系統(tǒng)均基于二維圖像引導(dǎo)微創(chuàng)手術(shù)，當(dāng)需要準(zhǔn)確判斷病灶的位置、大小和幾何形狀等時(shí)，醫(yī)生通過觀察二維透視圖像很難做出準(zhǔn)確判斷，準(zhǔn)確率依賴醫(yī)生的經(jīng)驗(yàn)，手術(shù)效率低，增加了穿刺并發(fā)癥風(fēng)險(xiǎn)。此外，長(zhǎng)時(shí)間的CT輻射對(duì)醫(yī)生和患者都具有潛在的輻射危險(xiǎn)，且這些導(dǎo)航產(chǎn)品價(jià)格昂貴。國(guó)內(nèi)已有研究利用三維圖像實(shí)現(xiàn)術(shù)中導(dǎo)航［4,5］，但對(duì)電磁定位技術(shù)在三維術(shù)中導(dǎo)航中的應(yīng)用研究目前少見報(bào)道。本研究依托XR技術(shù)，使用電磁定位技術(shù)實(shí)現(xiàn)術(shù)中導(dǎo)航，基于患者的CT數(shù)據(jù)依托XR技術(shù)進(jìn)行三維重建，使醫(yī)生在深度沉浸式體驗(yàn)中確定病灶的位置，提升判斷準(zhǔn)確率和效率。使用時(shí)僅利用術(shù)前三維重建的虛擬病例，醫(yī)生無需術(shù)中使用CT圖像進(jìn)行確認(rèn)，可實(shí)現(xiàn)無輻射的術(shù)中導(dǎo)航。

XR技術(shù)與5G技術(shù)融合是虛擬手術(shù)領(lǐng)域未來研究與發(fā)展的方向，5G以其高速率、低延遲等特點(diǎn)極大地促進(jìn)了遠(yuǎn)程手術(shù)與遠(yuǎn)程會(huì)診的發(fā)展。2022年英國(guó)和巴西的醫(yī)療團(tuán)隊(duì)成功完成超難連體嬰分離手術(shù)。醫(yī)生使用基于CT和MR影像的虛擬現(xiàn)實(shí)技術(shù)進(jìn)行一系列模擬手術(shù)訓(xùn)練。不同國(guó)家的外科醫(yī)生通過VR設(shè)備，在同一個(gè)“虛擬現(xiàn)實(shí)手術(shù)室”中一起完成遠(yuǎn)程手術(shù)。2019年中國(guó)人民解放軍總醫(yī)院成功完成了5G遠(yuǎn)程人體手術(shù)——帕金森病“腦起搏器”植入手術(shù)。經(jīng)公共5G網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)程手術(shù)業(yè)務(wù)數(shù)據(jù)的傳輸和信號(hào)交互，操控信號(hào)和生理體征監(jiān)測(cè)數(shù)據(jù)、各類音視頻信號(hào)均傳輸穩(wěn)定［6］。田偉等［7］完成了5G遠(yuǎn)程控制脊柱手術(shù)，平均網(wǎng)絡(luò)延遲達(dá)到臨床要求。周翔等［8］實(shí)施5G遠(yuǎn)程超聲引導(dǎo)下的泌尿系結(jié)石取石術(shù)，術(shù)中單向數(shù)據(jù)傳輸延遲70 ms。上述研究對(duì)基于5G的遠(yuǎn)程手術(shù)進(jìn)行了積極的探索，驗(yàn)證了5G遠(yuǎn)程醫(yī)療的可行性，但研究多為個(gè)案報(bào)道，大規(guī)模推廣使用仍存在諸多困難，亟需進(jìn)一步研究。其中，為高質(zhì)量輔助臨床手術(shù)，采用基于XR技術(shù)的虛擬手術(shù)環(huán)境和實(shí)時(shí)交互將產(chǎn)生大量數(shù)據(jù)，疊加手術(shù)過程中多維度手術(shù)操作、多模態(tài)監(jiān)測(cè)產(chǎn)生的檢測(cè)信息及各類音視頻信號(hào)，將使網(wǎng)絡(luò)出現(xiàn)數(shù)據(jù)傳輸卡頓、延遲等現(xiàn)象，影響遠(yuǎn)程醫(yī)生決策的準(zhǔn)確性。本研究將5G云技術(shù)與XR技術(shù)融合，基于XR構(gòu)建深度沉浸式虛擬孿生病例，實(shí)現(xiàn)術(shù)前規(guī)劃、虛擬手術(shù)。渲染在云端完成，通過5G網(wǎng)絡(luò)傳給用戶，研發(fā)優(yōu)化的網(wǎng)絡(luò)傳輸策略，突破遠(yuǎn)程虛擬手術(shù)室人數(shù)和時(shí)空上的限制，實(shí)現(xiàn)了多用戶流暢交互使用，降低了終端成本，為開展多終端遠(yuǎn)程協(xié)同手術(shù)提供技術(shù)支撐。

1 資源采集與建模

本研究資源采集與建模的對(duì)象為中國(guó)醫(yī)科大學(xué)附屬盛京醫(yī)院骨科2021年收治的患者8例。首先獲取患者的CT數(shù)據(jù)，采用128排螺旋CT掃描儀，影像格式為DICOM，將收集到的DICOM格式數(shù)據(jù)資料導(dǎo)入到醫(yī)學(xué)影像處理軟件Mimics中，分別提取組織、病灶組織、動(dòng)脈及靜脈的閾值，利用閾值分別對(duì)不同的組織和器官進(jìn)行三維重建，重建后得到初步的3D模型，將轉(zhuǎn)化后的3D模型文件導(dǎo)入三維軟件Maya中。利用三維角色建模軟件ZBrush4r6調(diào)整細(xì)化、處理肌體模型，進(jìn)行模型細(xì)化以及可視化形狀。在Mudbox2017數(shù)字雕刻紋理繪畫軟件中制作、美化肌肉組織等貼圖。采用HDR高動(dòng)態(tài)仿真貼圖數(shù)據(jù)集模擬肌體內(nèi)部的光照信息和反射信息，更好地反映出真實(shí)環(huán)境中的視覺效果。再進(jìn)行PBR（Physicallly-Based Rendering）著色處理，實(shí)現(xiàn)真實(shí)物理環(huán)境渲染，使畫面效果更加逼真。柔體模擬是基于粒子仿真技術(shù)實(shí)現(xiàn)的實(shí)時(shí)視覺效果。使用統(tǒng)一的粒子表示形式，使不同物質(zhì)的模擬達(dá)到無縫連接［9-12］。將建好的模型最后導(dǎo)入U(xiǎn)E4引擎中。實(shí)現(xiàn)模型的控制變化與動(dòng)態(tài)處理，可對(duì)模型放大、360度旋轉(zhuǎn)以觀察各部分結(jié)構(gòu)，根據(jù)不同病癥完成模擬手術(shù)［13-16］。組織和器官三維建模見圖1。

圖1 組織和器官三維建模Fig.1 3D modeling of the tissues and organs.A:The 3D model constructed based on CT data.B:3D model refinement.C:HDR and PBR model rendering.D:Rendering of flexible body model.

2 方法

2.1 基于XR技術(shù)的術(shù)中導(dǎo)航

本研究采用開源的單片機(jī)進(jìn)行編程控制，將三維圖像保存成STL格式，進(jìn)行3D打印，依托XR技術(shù)、AI技術(shù)制作患者的三維模型，在導(dǎo)航窗口中提供三維模型的縮放、旋轉(zhuǎn)等操作，在導(dǎo)航過程中給出手術(shù)器械和器官位置的對(duì)應(yīng)關(guān)系，引導(dǎo)醫(yī)生完成手術(shù)（圖2）。系統(tǒng)將高精度傳感器放置到定位器械中，將磁發(fā)射體置于手術(shù)模型中，自主開發(fā)電磁定位算法，實(shí)時(shí)獲取定位傳感器在磁場(chǎng)空間內(nèi)的電磁定位坐標(biāo)系，從而獲取手術(shù)器械在定位系統(tǒng)坐標(biāo)系的精確位置，將實(shí)時(shí)的操作信息映射到虛擬仿真系統(tǒng)中。系統(tǒng)電磁定位算法采用同時(shí)求解四元數(shù)法，較好地避免了奇異點(diǎn)［17-20］。

圖2 系統(tǒng)實(shí)時(shí)導(dǎo)航界面Fig.2 Interface of the real-time navigation system.

2.2 基于5G+XR的臨床手術(shù)實(shí)時(shí)交互平臺(tái)

平臺(tái)將手術(shù)中的實(shí)時(shí)數(shù)據(jù)、仿真程序上傳到5G網(wǎng)絡(luò)環(huán)境下的云服務(wù)器上，仿真程序在云端完成渲染，將終端功能簡(jiǎn)化為僅提供連接網(wǎng)絡(luò)、視頻解碼和人機(jī)交互的應(yīng)用。平臺(tái)通過優(yōu)化GPU編程算法、視頻流實(shí)時(shí)編碼策略和網(wǎng)絡(luò)設(shè)計(jì)3個(gè)方面提高傳輸效率。利用底層編程實(shí)現(xiàn)GPU虛擬化，降低云端渲染和實(shí)時(shí)交互時(shí)出現(xiàn)的卡頓和失真程度。其中針對(duì)GPU的I/O限制，采取數(shù)據(jù)壓縮不對(duì)稱算法，提升GPU計(jì)算速度。通過在應(yīng)用層重新分配時(shí)間片的算法，使單一顯卡擴(kuò)展成為可滿足多用戶需求的對(duì)等數(shù)量的虛擬顯卡，實(shí)現(xiàn)了GPU技術(shù)優(yōu)化；通過研發(fā)的視頻流實(shí)時(shí)編碼程序，將GPU渲染的畫面實(shí)時(shí)硬編碼為H.265格式，去除冗余信息，終端對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)解碼，實(shí)現(xiàn)視頻流實(shí)時(shí)編碼技術(shù)優(yōu)化；針對(duì)流處理計(jì)算模式中的任務(wù)分配不平衡問題，研發(fā)資源動(dòng)態(tài)分配的硬件調(diào)度算法，獨(dú)立響應(yīng)多個(gè)用戶的并發(fā)交互請(qǐng)求，動(dòng)態(tài)調(diào)配GPU3D渲染程序和實(shí)時(shí)視頻流編碼程序，合理安排CPU和GPU運(yùn)算資源，實(shí)現(xiàn)Web交互通信服務(wù)器技術(shù)優(yōu)化［21］。

在視頻流實(shí)時(shí)編碼技術(shù)優(yōu)化中速率控制采用了基于調(diào)速器的視頻編碼控制方法。目標(biāo)發(fā)送直接輸入到調(diào)速控制器?；镜牧鞒倘缦拢海?）調(diào)速控制器根據(jù)當(dāng)前的目標(biāo)發(fā)送速率、調(diào)速控制算法以及網(wǎng)絡(luò)數(shù)據(jù)包緩存中的數(shù)據(jù)量，預(yù)測(cè)緩存發(fā)送清空的時(shí)間；（2）基于清空時(shí)間，預(yù)測(cè)下一幀編碼應(yīng)該輸出的時(shí)間，并根據(jù)圖像采集、運(yùn)動(dòng)估計(jì)和視頻編碼的時(shí)間周期，計(jì)算出下一幀圖像的采集時(shí)間；（3）根據(jù)對(duì)圖像的運(yùn)動(dòng)估計(jì)，計(jì)算出該幀的SATD（Sum of Absolute Transformed Difference），也即是頻域的各個(gè)宏塊的絕對(duì)誤差和；（4）根據(jù)SATD，基于高斯回歸算法，預(yù)測(cè)出該幀在不同量化參數(shù)（QP）下的編碼幀大??；如果預(yù)測(cè)的幀大小遠(yuǎn)遠(yuǎn)大于統(tǒng)計(jì)的P幀（predictive-frame）編碼大小，則設(shè)置編碼器參數(shù)，對(duì)該幀進(jìn)行關(guān)鍵幀編碼；否則，仍然使用P幀編碼，從而實(shí)現(xiàn)自適應(yīng)的圖像組（GOP）長(zhǎng)度控制；（5）確定量化參數(shù)QP，使得預(yù)測(cè)輸出編碼幀大小最為接近目標(biāo)發(fā)送速率，且滿足質(zhì)量控制條件；（6）按照確定的量化參數(shù)對(duì)該圖像進(jìn)行編碼，編碼結(jié)果輸出到網(wǎng)絡(luò)數(shù)據(jù)包緩存中。

2.3 融入力反饋的模擬手術(shù)

針對(duì)以柔性體形式存在的組織，系統(tǒng)通過安裝在模擬手術(shù)器械上的傳感器捕捉手術(shù)器械與組織模型間的碰撞，當(dāng)遇到阻力時(shí)，通過不同的電流大小來控制手術(shù)器械的不同力度。在虛擬環(huán)境中為逼真的呈現(xiàn)柔性體組織的實(shí)時(shí)碰撞反饋，采用基于幾何意義的高斯分布變形模型模擬腔內(nèi)組織的力反饋形變。在建模過程中，遍歷模型表面的所有頂點(diǎn)，根據(jù)頂點(diǎn)位置到受力點(diǎn)的距離，計(jì)算出法向的變形量，據(jù)此繪制圖形，模擬真實(shí)操作，系統(tǒng)檢測(cè)虛擬手術(shù)器械與模型間的碰撞，在符合切割的條件下進(jìn)行模擬手術(shù)，感受手術(shù)過程中組織牽拉、血供等現(xiàn)象，實(shí)現(xiàn)深度沉浸的體驗(yàn)［22-26］。柔性體碰撞AR界面見圖3。

圖3 柔性體碰撞AR界面Fig.3 Flexible body collisionAR interface.

本研究結(jié)合XR技術(shù)、云計(jì)算技術(shù)、電磁定位技術(shù)及力反饋技術(shù)，構(gòu)建了基于5G的智能臨床手術(shù)實(shí)時(shí)交互平臺(tái)，系統(tǒng)總體結(jié)構(gòu)見圖4。根據(jù)患者的信息利用3D建模技術(shù)和人工智能技術(shù)生成虛擬孿生病例，虛擬病例創(chuàng)建使用患者的醫(yī)學(xué)診斷、檢查結(jié)果以及膳食、心理、運(yùn)動(dòng)等多維度數(shù)據(jù)，醫(yī)生可以反復(fù)修改參數(shù)，找出導(dǎo)致疾病各種因素的聯(lián)系及相互的矛盾，設(shè)計(jì)出多種解決方案，并驗(yàn)證其性能優(yōu)劣，進(jìn)行手術(shù)方案的探索和創(chuàng)新。使用XR、力反饋技術(shù)，針對(duì)虛擬病人進(jìn)行連續(xù)、動(dòng)態(tài)的高精度監(jiān)測(cè)及術(shù)中導(dǎo)航，如果醫(yī)生發(fā)生錯(cuò)誤，孿生系統(tǒng)可隨時(shí)返回，恢復(fù)手術(shù)前原樣，進(jìn)行訓(xùn)練和模擬［27-30］。

圖4 系統(tǒng)總體結(jié)構(gòu)Fig.4 Overall structure of the system.

3 結(jié)果

依托XR技術(shù)的三維術(shù)中導(dǎo)航，能夠更準(zhǔn)確地引導(dǎo)醫(yī)生完成手術(shù)，且避免了術(shù)中輻射，電磁定位算法采用四元數(shù)法，有效避免出現(xiàn)奇異點(diǎn)，提升了系統(tǒng)的響應(yīng)時(shí)間和定位精度。系統(tǒng)的定位精度誤差小于2 mm。系統(tǒng)實(shí)現(xiàn)了三維量化術(shù)中導(dǎo)航，如進(jìn)針點(diǎn)、進(jìn)針路徑及消融范圍等，支持各類微創(chuàng)介入手術(shù)；也可針對(duì)數(shù)字孿生的患者病例進(jìn)行模擬手術(shù)，將優(yōu)化的手術(shù)方案實(shí)施給患者。

通過優(yōu)化5G網(wǎng)絡(luò)，數(shù)據(jù)傳輸速度有1.42倍的提升，畫面可支持720P/1080P高清晰標(biāo)準(zhǔn)，同時(shí)支持50路的并發(fā)訪問數(shù)量，平均延遲小于60 ms。最終實(shí)現(xiàn)多終端遠(yuǎn)程實(shí)時(shí)交互操作低延遲、無卡頓。仿真程序在云端完成渲染，簡(jiǎn)化終端功能，擺脫終端配置對(duì)高端PC的依賴，降低成本。為多終端遠(yuǎn)程協(xié)作手術(shù)提供了技術(shù)支撐。

依托XR技術(shù)與力反饋技術(shù)，能夠使用人機(jī)交互設(shè)備的觸覺強(qiáng)力反饋來感知人體組織的不同質(zhì)感，實(shí)現(xiàn)了手術(shù)過程中碰撞檢測(cè)和組織的應(yīng)力形變仿真，縮小了虛擬操作和實(shí)際手術(shù)的差別，提供了深度沉浸式的虛擬手術(shù)場(chǎng)景，提升了手術(shù)的準(zhǔn)確率。

4 討論

（1）醫(yī)學(xué)導(dǎo)航定位常用的技術(shù)有光學(xué)定位、電磁導(dǎo)航、機(jī)械定位、圖像引導(dǎo)定位等。無論何種導(dǎo)航技術(shù)，術(shù)區(qū)定位的精度是評(píng)估導(dǎo)航系統(tǒng)最重要的指標(biāo)之一。光學(xué)定位要求在導(dǎo)航過程中光路不可有遮擋，否則，無法準(zhǔn)確獲取光學(xué)標(biāo)志點(diǎn)位置，可能存在無法定位的死角，對(duì)醫(yī)生的行動(dòng)和操作有一定約束，定位硬件設(shè)備體積較大，使用受限；機(jī)械定位一般是在手術(shù)器械當(dāng)前位置上迭加運(yùn)動(dòng)增量來計(jì)算下一位置，因此使用時(shí)間越長(zhǎng)誤差越大，對(duì)于軟組織區(qū)域的操作，因組織自身變形漂移，也會(huì)出現(xiàn)較大誤差，且定位設(shè)備體積較大，安裝拆除不便，便攜性也較低；圖像引導(dǎo)定位通常是將術(shù)前獲得的能夠清晰顯示病灶區(qū)域的CT、MRI或PET等圖像與術(shù)中能夠獲知手術(shù)器械位置的實(shí)時(shí)超聲圖像進(jìn)行配準(zhǔn)融合，但超聲成像分辨率較低，會(huì)受到氣體的影響，使用也受限［31,32］。本研究采用電磁導(dǎo)航實(shí)時(shí)跟蹤定位技術(shù)，由于電磁波傳感器尺寸小，因此方便醫(yī)生操作，不存在光路遮擋的問題，醫(yī)生行動(dòng)不受限制。在電磁定位算法選擇上，選擇同時(shí)求解四元數(shù)法，避免了出現(xiàn)奇異點(diǎn)問題，能捕獲末端傳感器的所有信息，與分別求解四元數(shù)法相比不需要矩陣變換，提高精度和效率。未來導(dǎo)航定位技術(shù)在算法的準(zhǔn)確性和實(shí)時(shí)性上有更大的發(fā)展空間，導(dǎo)航系統(tǒng)中的配準(zhǔn)模塊與導(dǎo)航精確性直接相關(guān)，軟組織變形、器官漂移所造成的配準(zhǔn)誤差，是導(dǎo)航配準(zhǔn)中需要考慮的問題。導(dǎo)航系統(tǒng)中XR技術(shù)的不斷拓展，可為操作者提供更直觀、方便的視覺信息；（2）5G網(wǎng)絡(luò)的優(yōu)化，很重要一部分是視頻流實(shí)時(shí)編碼技術(shù)的優(yōu)化。對(duì)于視頻傳輸來說，需要根據(jù)網(wǎng)絡(luò)的狀態(tài)來控制視頻編碼器的編碼速率，有很多的編碼參數(shù)會(huì)影響輸出的比特率，但對(duì)比特率影響較大的參數(shù)是量化參數(shù)QP。傳統(tǒng)的控制比特率的方法是簡(jiǎn)單的嘗試對(duì)每一個(gè)編碼幀指定一個(gè)常量的位數(shù)，通過測(cè)量輸出的比特率并反饋來控制QP，增加QP會(huì)減少編碼比特率，減少Q(mào)P則會(huì)增加編碼比特率。然而，這種方法沒有考慮到下列因素：（1）編碼的I幀（intra picture）和P幀所產(chǎn)生的比特?cái)?shù)會(huì)存在很大的不同；（2）會(huì)導(dǎo)致圖像質(zhì)量的變化，因?yàn)闉榱司S護(hù)比特率的不變，需要編碼器不斷的增加或者降低QP。本研究采用較為彈性的方法，通過可用的信道比特率用來確定一個(gè)GOP的目標(biāo)比特?cái)?shù)，既能夠基于網(wǎng)絡(luò)數(shù)據(jù)包緩存當(dāng)前狀態(tài)，實(shí)時(shí)地控制圖像的相關(guān)參數(shù)，又能夠根據(jù)預(yù)測(cè)值自適應(yīng)地進(jìn)行GOP控制。該方法的創(chuàng)新之處在于根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包緩存的狀態(tài)實(shí)時(shí)地進(jìn)行編碼速率控制，把視頻編碼和網(wǎng)絡(luò)傳輸互相耦合。

綜上所述，XR技術(shù)與5G技術(shù)融合為高質(zhì)量輔助臨床手術(shù)提供了技術(shù)支撐，使醫(yī)生能夠準(zhǔn)確判斷病灶的位置，開展多終端遠(yuǎn)程協(xié)同手術(shù)，進(jìn)行深度沉浸式的術(shù)前規(guī)劃和模擬。為臨床醫(yī)療提供更加方便、高效的應(yīng)用環(huán)境，提升患者就醫(yī)體驗(yàn)，提高手術(shù)精準(zhǔn)度和安全性，改善醫(yī)學(xué)生的學(xué)習(xí)方式并降低學(xué)習(xí)成本，進(jìn)一步推動(dòng)了手術(shù)模式創(chuàng)新的研究。