基于5G+VR的手術(shù)仿真交互技術(shù)的應(yīng)用

祝憶春 趙 暉 徐培哲 中國聯(lián)合網(wǎng)絡(luò)通信有限公司江西省分公司 南昌市 330000

1 心血管疾病現(xiàn)狀

心血管疾病嚴重威脅人民群眾的身心健康。心腦血管疾病具有“發(fā)病率高、致殘率高、死亡率高、復(fù)發(fā)率高，并發(fā)癥多”的特點，我國心腦血管疾病患者已經(jīng)超過2.7億人，我國每年死于心腦血管疾病近300萬人，占我國每年總死亡病因的51%。而幸存下來的患者75%不同程度喪失勞動能力，40%重殘。

血管介入手術(shù)是其重要治療方法之一，隨著介入治療在臨床上的普及，越來越多的醫(yī)生開始接觸學(xué)習(xí)介入手術(shù)技術(shù)。然而介入手術(shù)復(fù)雜，病人病情不一，手術(shù)并發(fā)癥多，需要術(shù)者技術(shù)高超、經(jīng)驗豐富。從事血管內(nèi)操作的專科（如血管外科、介入心臟病學(xué)和心胸外科、神經(jīng)外科）包含很多微創(chuàng)手術(shù)操作，要求術(shù)者具備影像（如X線透視、超聲）輔助下血管內(nèi)精細操作技能及視覺空間技能，以進行穿刺活檢，導(dǎo)絲、導(dǎo)管插入等血管內(nèi)和組織內(nèi)操作。直到今日，復(fù)雜和核心的介入技能訓(xùn)練仍主要依靠傳統(tǒng)的師徒帶教模式，在指導(dǎo)醫(yī)師監(jiān)督下學(xué)員直接以病人為對象進行侵入性醫(yī)療操作的學(xué)習(xí)和臨床實踐，這必將增加手術(shù)并發(fā)癥的風(fēng)險，不利于患者身體健康和生命安全，這種模式面臨巨大的風(fēng)險和挑戰(zhàn)。江西省人民醫(yī)院在探索血管介入手術(shù)的教學(xué)治療方面走出了一條不同的道路。

2 江西虛擬現(xiàn)實產(chǎn)業(yè)背景

早在2016年2月，全國首個城市級虛擬現(xiàn)實科技產(chǎn)業(yè)集群就在南昌揭牌。在VR浪潮的席卷下，江西省開始了對VR產(chǎn)業(yè)的大力投入和扶持。這之后，江西省發(fā)布了一系列有關(guān)“虛擬現(xiàn)實”的政策，《加快推進虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展的若干措施》《江西省虛擬現(xiàn)實應(yīng)用推廣工作方案》《江西省虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展規(guī)劃（2019-2023年）》等。2022年江西省虛擬現(xiàn)實產(chǎn)業(yè)鏈工作推進會召開，隨著“元宇宙”概念在全球火爆，VR產(chǎn)業(yè)迎來了快速增長期，為我省VR產(chǎn)業(yè)發(fā)展提供千載難逢的重大機遇。VR是數(shù)字經(jīng)濟最具活力的重點產(chǎn)業(yè)，2022年江西省委、省政府把推動數(shù)字經(jīng)濟發(fā)展作為“一號工程”進行部署，提出要分析產(chǎn)業(yè)趨勢、搶抓戰(zhàn)略機遇，把握市場規(guī)律、形成帶動效應(yīng)，找準大眾需求、開拓應(yīng)用場景，注重硬件制造、攻克關(guān)鍵技術(shù)，強化人才儲備、加大研發(fā)投入，構(gòu)建VR生態(tài)、形成集群集聚，創(chuàng)新商業(yè)模式、創(chuàng)造經(jīng)濟動能，切實增強等不起的緊迫感、慢不得的危機感、坐不住的責(zé)任感，以VR產(chǎn)業(yè)大突破帶動全省數(shù)字經(jīng)濟大發(fā)展。

江西省人民政府印發(fā)了《關(guān)于深入推進數(shù)字經(jīng)濟做優(yōu)做強“一號發(fā)展工程”的意見》指出，充分認識到深入推進數(shù)字經(jīng)濟做優(yōu)做強“一號發(fā)展工程”，密切跟蹤“元宇宙”未來趨勢，統(tǒng)籌VR、AR（增強現(xiàn)實）、MR（混合現(xiàn)實）發(fā)展，支持突破近眼顯示、感知交互、渲染處理等核心關(guān)鍵技術(shù)，支撐相關(guān)軟硬件設(shè)備取得新突破。實施重大科研攻關(guān)項目，形成更多具有自主知識產(chǎn)權(quán)的核心技術(shù)。推進社會保障、醫(yī)療健康、教育就業(yè)、交通出行、文化旅游等領(lǐng)域應(yīng)用場景建設(shè)。重點打造“智慧交通”“VR+教育”“VR+培訓(xùn)”“VR+醫(yī)療”等具體應(yīng)用場景。在這樣的政策背景下如何應(yīng)用好VR+醫(yī)療提升醫(yī)療水平，更好的為人民群眾服務(wù)，也成為我們探索的重要課題。

3 技術(shù)方案

3.1 技術(shù)基礎(chǔ)

中國聯(lián)合網(wǎng)絡(luò)通信有限公司江西省分公司采用先進的5G、云計算、虛擬現(xiàn)實技術(shù)相結(jié)合，與江西省人民醫(yī)院聯(lián)合，將基于5G+VR的云端沉浸式冠脈介入手術(shù)仿真交互技術(shù)應(yīng)用與臨床，通過VR/MR技術(shù)建設(shè)快速和自主學(xué)習(xí)的遠程醫(yī)技訓(xùn)練平臺，借VR/MR?？平虒W(xué)和患者教學(xué)平臺建設(shè)的契機，把最先進的VR/MR與醫(yī)療進行產(chǎn)學(xué)研多點融合，利用江西省在虛擬現(xiàn)實產(chǎn)業(yè)方面的優(yōu)勢地位，讓VR/MR為醫(yī)療產(chǎn)業(yè)賦能，驅(qū)動產(chǎn)業(yè)創(chuàng)新，從而推動江西省醫(yī)療產(chǎn)業(yè)發(fā)展，特別是醫(yī)師教育、患者宣講等方面，提升我省?？平虒W(xué)人才培養(yǎng)能力和效率，進一步保障人民的身體健康和生命安全。

項目案例采用基于5G MEC的云VR解決方案，將VR應(yīng)用部署在MEC上，在MEC上實現(xiàn)VR視頻的轉(zhuǎn)碼與分發(fā)，VR云端實現(xiàn)計算與渲染，終端與云平臺之間只需經(jīng)過基站，一跳可達，傳輸節(jié)點少，時延低，能真正實現(xiàn)毫秒級的端到端時延，保證VR用戶良好的業(yè)務(wù)體驗。利用云平臺強大的計算能力將計算與渲染放在云端，經(jīng)過處理的畫面編碼后通過網(wǎng)絡(luò)傳輸至用戶VR終端上。云VR引入編解碼及傳輸時延導(dǎo)致整體時延增加，若按照傳統(tǒng)渲染技術(shù)將難以實現(xiàn)MTP<20ms。因此利用端云異步渲染技術(shù)將畫面渲染與終端刷新顯示這兩個過程從串行處理分離成并行處理。程序根據(jù)用戶最新的姿態(tài)信息進行計算與渲染的同時，VR終端將上一次平臺傳送回來的畫面作為基礎(chǔ)進行二次投影。

3.2邏輯架構(gòu)

基于虛擬現(xiàn)實技術(shù)，通過云數(shù)據(jù)傳輸實現(xiàn)操作者對仿真手術(shù)的流程控制。終端與平臺之間使用5G網(wǎng)絡(luò)進行通信。5G技術(shù)大帶寬特性能夠為大體量的高精細度、大分辨率影像數(shù)據(jù)提供傳輸支撐。5G低延時以及5G網(wǎng)絡(luò)本身多連接的特性，為大批量操作者交互提供了有力支撐。大帶寬使更大體量的交互數(shù)據(jù)可以進行同時傳輸，實現(xiàn)高速加載數(shù)據(jù)影像等資源，實現(xiàn)計算云端化，實現(xiàn)終端設(shè)備輕量化，降低終端設(shè)備性能要求，降低終端成本，提升操作者的仿真手術(shù)體驗。

項目案例采用高仿真環(huán)境建模技術(shù)，通過廣泛的資料收集和數(shù)據(jù)整理，最終通過計算機三維軟件對人體組織相關(guān)數(shù)據(jù)進行建模和還原。采用基于外置體感設(shè)備的人機交互技術(shù)，通過外置體感設(shè)備中陀螺儀傳遞的轉(zhuǎn)動角速度，紅外設(shè)備定位的體感設(shè)備三維空間位置信息，來定位操作者的整體位置以及識別操作者的姿勢和動作。最終與模擬程序產(chǎn)生適當?shù)娜藱C交互，從而模擬整個心血管手術(shù)流程。

3.3虛擬仿真教學(xué)設(shè)計

項目采用計算機圖形學(xué)的三維數(shù)字環(huán)境仿真，獲取真實手術(shù)環(huán)境以及人體心血管系統(tǒng)的三維數(shù)據(jù)，通過高仿真建模環(huán)境建模數(shù)據(jù)實現(xiàn)沉浸式模擬手術(shù)環(huán)境的構(gòu)建，使整個模擬環(huán)境盡可能貼切真實環(huán)境，讓操作者能夠體驗到冠脈介入手術(shù)的感覺和氣氛。

通過VR技術(shù)模擬臨床病理的情況、手術(shù)流程思維訓(xùn)練和整體手術(shù)室環(huán)境和虛擬病人，還原臨床介入手術(shù)的操作流程，結(jié)合臨床病理影像，操作者虛擬的操作與真實DSA影像對應(yīng)匹配，最大限度的還原臨床實際操作場景。采用先進的5G技術(shù)，基于血管介入手術(shù)仿真交互系統(tǒng)基礎(chǔ)，構(gòu)建基于5G+云VR架構(gòu)，以5GMEC解決方案部署仿真手術(shù)程序。利用云平臺強大的計算能力將計算與渲染放在云端，將經(jīng)過處理的畫面編碼后通過5G網(wǎng)絡(luò)傳輸至操作者VR終端，以此帶給操作者更高的畫質(zhì)和更強的交互感。同時開發(fā)了基于微信小程序的虛擬仿真在線學(xué)習(xí)平臺，操作者可利用碎片時間進行心血管相關(guān)操作技能的流程訓(xùn)練，通過各種輕交互形式，輔助操作者深化學(xué)習(xí)記憶，在虛擬現(xiàn)實訓(xùn)練及模擬實訓(xùn)前做好充分的理論基礎(chǔ)。建立了完善的仿真手術(shù)考核測評體系，評價考核系統(tǒng)在操作者虛擬操作過程中即可進行評價考核，自動生成過程報告，將仿真操作與考核測評相結(jié)合，提升整體臨床技能。

4 社會經(jīng)濟效益

4.1 5G技術(shù)的社會化應(yīng)用

基于先進的5G技術(shù)架構(gòu)具有大帶寬、低延時的特性，能更好的打破時空限制，加之平臺標準化軟硬件特性，便于向全國范圍推廣落地。血管介入手術(shù)仿真已獲得全國英特爾杯，5G綻放杯等多項國家及省級大賽榮譽，得到江西省科技重大專項的扶持，取得了良好的社會影響。

4.2 提升醫(yī)技能力降低患者手術(shù)風(fēng)險

仿真了介入手術(shù)中的關(guān)鍵場景，包括橈動脈穿刺、器械準備、冠脈造影、經(jīng)皮冠狀動脈球囊血管成形術(shù)、血管內(nèi)超聲、冠狀動脈支架植入術(shù)等。經(jīng)反復(fù)的模擬測試，小范圍研究認為，住院醫(yī)師的操作技能顯著提高。住院醫(yī)師的技能在三方面提高明顯，包括總操作時間（減少54%）、造影液的用量（下降44%）和X線透視時間（減少了48%）。

4.3 豐富基礎(chǔ)醫(yī)療教學(xué)資源

研發(fā)了豐富的課件內(nèi)容，研究基于外置體感裝置的人機交互技術(shù)，使用程序在虛擬環(huán)境中模擬心血管手術(shù)流程。通過三維空間定位裝置、視覺跟蹤、頭部跟蹤和姿勢識別等技術(shù)，提取并分析操作者的動作數(shù)據(jù)，并通過人機交互技術(shù)將動作數(shù)據(jù)輸入計算機，使操作者可以與虛擬環(huán)境以及虛擬物體產(chǎn)生互動，并獲得相關(guān)反饋。最終可以在虛擬環(huán)境中操作并模擬冠脈介入手術(shù)的相關(guān)流程。對仿真操作過程中造影液的使用量、總操作時間、X線透視時間，以及一些臨床參數(shù)（血管內(nèi)介入器械的使用情況、支架置入精確度）進行記錄收集，自動生成過程報告，建立了完善的虛擬現(xiàn)實在線學(xué)習(xí)平臺，通過在線學(xué)習(xí)平臺進行VR教學(xué)課件的管理及分發(fā)，使用者可通過平臺選擇課件，并下載運行。平臺會跟蹤使用者的操作結(jié)果并進行評分，通過運營管理平臺進行統(tǒng)計管理。

4.4 標準化數(shù)據(jù)庫和考評系統(tǒng)的建立

搭建的VR沉浸式手術(shù)交互應(yīng)用平臺和醫(yī)療數(shù)據(jù)庫，將依據(jù)手術(shù)標準建立高精度仿真虛擬手術(shù)環(huán)境、手術(shù)專業(yè)流程、醫(yī)療器具、病例等。年輕醫(yī)生使用平臺能反復(fù)操作訓(xùn)練，有利于其真正意義上的臨床操刀，進而短時間內(nèi)培養(yǎng)更多合格醫(yī)療人才。經(jīng)驗豐富的醫(yī)生利用平臺探索新技術(shù)、深化操作步驟。建立了嚴格標準的考核測評系統(tǒng)，通過生成的測評報告做出客觀評價。醫(yī)生測評達標后再接觸真實病患，這充分保證了患者安全。

4.5 研究進展和指導(dǎo)意義

VR/MR作為下一個平臺級新型技術(shù)領(lǐng)域，將有望顛覆許多現(xiàn)有的應(yīng)用領(lǐng)域，形成億萬級的市場規(guī)模。據(jù)研究機構(gòu)RnR Market Research《虛擬現(xiàn)實醫(yī)療服務(wù)市場研究報告》，2014-2019年，全球VR/MR醫(yī)療服務(wù)市場的復(fù)合增長率將達19.37%。據(jù)高盛測算，至2020年VR/MR醫(yī)療領(lǐng)域營收將達到12億美元，2025年將達到51億美元。江西VR產(chǎn)業(yè)規(guī)模已由2018年的42億元，躍升至2021年的604億元，通過血管介入手術(shù)仿真臨床研究可以看出在醫(yī)療產(chǎn)業(yè)，醫(yī)療培訓(xùn)、臨床診療、醫(yī)學(xué)干預(yù)、遠程醫(yī)療等方面VR/MR都有巨大的應(yīng)用空間。

高仿真度的血管內(nèi)介入模擬培訓(xùn)裝置能夠為血管造影和介入手術(shù)提供逼真的實踐操作機會。醫(yī)師能夠選擇合適的血管內(nèi)介入器械，在模擬熒光屏上的視覺提示引導(dǎo)下進行介入手術(shù)操作。隨著虛擬現(xiàn)實技術(shù)飛速發(fā)展，通過VR/MR技術(shù)模擬臨床病理的情況、手術(shù)流程思維訓(xùn)練和整體手術(shù)室環(huán)境和虛擬病人，通過建立病例數(shù)據(jù)庫，模擬不同的病例下的手術(shù)操作，達到臨床術(shù)前規(guī)劃和醫(yī)學(xué)?？婆嘤?xùn)的效果可以應(yīng)用VR模擬醫(yī)學(xué)系統(tǒng)進行臨床前培訓(xùn)，以減少上述風(fēng)險，保證患者安全。通過仿真交互應(yīng)用平臺，大幅提升冠心病介入領(lǐng)域培訓(xùn)效率。讓基層醫(yī)院心血管?？漆t(yī)生高效掌握冠脈介入技術(shù)，提高基層醫(yī)療服務(wù)能力與救治水平，達成“大病不出縣”的目標。目前已經(jīng)完成手術(shù)教學(xué)79期，觀看量也突破70萬人次。對VR+醫(yī)療的普及有極大支持作用，有望推動我國VR應(yīng)用發(fā)展走向新高度。