基于“元宇宙”概念開發(fā)的MR虛擬醫(yī)學手術模擬實驗

鄭景南 余淑婷 何曉昀 江錦銳 黃雨濤

摘? 要：本文將元宇宙概念運用到醫(yī)學手術模擬實驗上，設計了一種將MR眼鏡、虛實交互的外骨骼手套和感應手術用具結合起來，供醫(yī)學生以及實習醫(yī)生練習的MR醫(yī)學手術模擬實驗系統(tǒng)。系統(tǒng)可模擬真實手術環(huán)境效果，對操作者在實驗操作過程進行評價和提供改進建議，縮短醫(yī)學生的實習周期，解決醫(yī)學生缺少實操機會的痛點

關鍵詞：元宇宙;虛擬模擬;虛實交互;MR;5G

1、引言：

隨著社會人口的增加，社會醫(yī)療需求量也日益增加，但手術醫(yī)生、醫(yī)學生實習周期長，且大部分缺少實操機會，對醫(yī)學生而言，上課模式單一，缺乏手術接觸機會，極少部分有機會通過“大體老師”進行相對應的模擬解剖實驗，而“大體老師”數(shù)量供應少且缺乏真實病理反饋，與真實手術參數(shù)相差甚遠，是否能有一款產(chǎn)品能為他們解決這一系列問題呢？

元宇宙，即Metaverse，即meta（超越）+universe（宇宙）的結合。在 2021 年之前，元宇宙僅僅只是一個科幻概念。1992 年， 美國著名科幻大師 Neal Stephenson 在其小說《雪崩（Snow Crash）》中描述元宇宙：“戴上耳機 和目鏡，找到連接終端，就能夠以虛擬分身的方式進入由計算機模擬、與真實世界平行的虛擬空間。” [1]近年來，國家提出大力發(fā)展“元宇宙”概念科技，元宇宙可以理解為人類意識中的虛擬世界，而維基百科對元宇宙定義更符合當下社會技術不斷發(fā)展的情境，即通過虛擬增強的物理現(xiàn)實，呈現(xiàn)收斂性和物理持久性特征，基于未來互聯(lián)網(wǎng)，具有鏈接感知和共享特征的3D虛擬空間[2]。MR作為“元宇宙”概念之一的科技，也隨著時代背景突飛猛進。MR將真實場景與虛擬場景進行融合，通過混合疊加的呈現(xiàn)方式讓用戶可以真實地感受到交互和體驗[3]。從市場上看，該技術在未來的市場上有很大的前景，而且該系統(tǒng)不僅適合見習醫(yī)生提前進行手術模擬，適應手術狀態(tài)下心理以及面對手術情況下的應變還可以積攢經(jīng)驗使手術流程更得心應手，還可適用于醫(yī)學生上課模擬實操練習、開拓教學方式、提交教學水平，提高醫(yī)學生水平為醫(yī)學界提供更高質量的醫(yī)生，市場前景廣闊，其商業(yè)價值以及社會價值巨大。

2、系統(tǒng)組成：

為解決醫(yī)學生、實習醫(yī)生缺少真實手術實操機會的問題，改變醫(yī)學課程傳統(tǒng)單一授課模式，增加學生模擬手術實踐的機會。本文提出通過MR混合現(xiàn)實技術配合MR外設，達到模擬手術實驗目的。具體實施方案是在電腦端模擬構建一個手術環(huán)境與模擬病人，利用MR眼鏡與3D可視化相結合，通過MR虛擬手套實現(xiàn)交互。將手術場景融入虛擬操作中，該產(chǎn)品由硬件和軟件結合，通過5G的URLLC技術傳輸數(shù)據(jù)，減小操作延遲，由MR虛擬手套模擬掌握手術器械，通過MR眼鏡鏈接所配套的虛擬軟件進入模擬手術系統(tǒng)，在MR虛擬眼鏡可以全方面的觀察到手術的整個過程，配合外骨骼手套開始模擬病人不同病理的手術情況，

如圖所示，該系統(tǒng)主要由電腦端，MR眼鏡和MR外設設備三部分構成。

操作者在使用過程中，需要佩戴外骨骼手套和MR眼鏡，其中外骨骼手套用于感知操作者的手指動作，MR眼鏡采用HoloLens2作為顯示端，連接電腦端展示出虛擬場景。

該系統(tǒng)將外骨骼手套的操作以及MR眼鏡的數(shù)據(jù)傳送到電腦，通過電腦模擬出病人的反饋，高度的URLLC通信技術減小了信號延遲并增加了操作靈敏度，使整個操作更接近真實情況。操作者每次操作都能及時收到反饋以及在進行切割等操作時會及時感受到不同的壓力感受，超低的延遲以及高靈敏度真實的還原了手術時對應的操作感受，使操作者真實體驗到手術操作。

HoloLens2模擬顯示手術虛擬場景，配合MR外設設備和機械外骨骼手套以及自主研發(fā)的感應手術用具與內(nèi)容端連接，通過3D建模與渲染技術、人體動作捕捉技術、物體三維重建技術等構建一個真實的手術環(huán)境。操作者將在MR眼鏡看到一個模擬真實手術過程。

3、功能模塊：

系統(tǒng)總體可分為四大模塊：手術環(huán)境模擬模塊、虛實交互操作模塊、5G數(shù)據(jù)傳輸模塊、數(shù)據(jù)存儲模塊。工作流程如下：在電腦上構建虛擬的手術環(huán)境，操作者佩戴MR眼鏡觀察模擬手術環(huán)境，通過機械外骨骼手套進行手術操作，實驗結束后將得出實驗操作數(shù)據(jù)并儲存。

3.1 手術環(huán)境模擬模塊

該模塊將其稱為內(nèi)容端，其作用是在混合現(xiàn)實中構建一個手術環(huán)境包括手術臺以及病人，使操作者在HoloLens2 MR眼鏡中可以看到一個模擬真實的手術環(huán)境以及病人。內(nèi)容端課根據(jù)需要選擇不同年齡段或者病理的病人進行模擬實驗，并對操作者通過外設裝備進行操作時做出正確反饋。

3.2 5G數(shù)據(jù)傳輸模塊

如果要使整個操作更接近真實情況，必須要減少通信延遲。本文采用URLLC通信技術解決通信延時的問題，URLLC通信技術是5G通信中三大核心技術中是網(wǎng)絡切片技術中的一種，超高可靠性低時延通信（URLLC）是3GPP組織提出的下一代移動通信場景中的三大場景之一[4]，其目的就是解決網(wǎng)絡數(shù)據(jù)在傳輸時的延遲問題，對比起4G技術實現(xiàn)飛躍性提升。該技術已經(jīng)運用了很多場景如：無人駕駛、遠程操控、工業(yè)自動化等一系列領域。

3.3 虛實交互操作模塊

虛實交互模塊是連接現(xiàn)實與虛擬的橋梁，通過外設裝備進行操作實現(xiàn)在虛擬中的一系列操作，增強現(xiàn)實的發(fā)展方向大部分都集中在視覺領域，常見的顯示終端有 PC 端屏幕顯示器、移動端屏幕顯示器以及投影顯示設備等。在穿戴式設備中，主要有頭盔顯示器以及眼鏡顯示設備，而頭盔顯示器又可以細分為投影式頭盔顯示器、自由曲面頭盔顯示器等按照對硬件的依賴程度，增強現(xiàn)實交互技術大致可劃分為兩種，第一種是僅利用圖像輸入設備獲取視頻流或圖像，根據(jù)系統(tǒng)設計對目標進行識別和注冊，從而獲取自然場景中的目標，實現(xiàn)交互;第二種是借助如數(shù)據(jù)手套、穿戴式傳感設備等來輔助目標的檢測和識別，同時可以對用戶的指令以硬件傳感的方式進行檢測。[5]為此我們選擇第二種虛實交互模塊通過Dexta Robotics機械外骨骼手套以及我們自主研發(fā)的感應手術用具，通過這些外設裝備進行虛實交互，通過5G數(shù)據(jù)傳輸模塊進行與手術環(huán)境模擬模塊的連接，達到可在虛實環(huán)境中進行手術不同操作的目的。

3.4 數(shù)據(jù)存儲模塊

該模塊將儲存海量的病理數(shù)據(jù)，不同的模擬手術供操作者模擬實驗數(shù)據(jù)。這個模塊將采用虛擬存儲技術，虛擬存儲技術是將物理上的存儲設備和操作系統(tǒng)中的文件獨立開來，在它們之間建立起一個虛擬層。虛擬層將文件系統(tǒng)映射到相應的存儲設備上，并對存儲設備進行管理與使用。其可以應用于遠程醫(yī)學系統(tǒng)中，并且可以解決醫(yī)學信息的共享問題。[6]操作者實驗結束后可通過回看或操作點判斷對自己的操作有所了解，之后系統(tǒng)也會對操作過程進行分析、提出評分及改進建議。

4、關鍵技術問題：

4.1 環(huán)境模擬的建模

系統(tǒng)需要模擬多種手術實驗以及不同的病理表現(xiàn)，需要龐大的醫(yī)學數(shù)據(jù)來模擬不同病理的病人，構建多樣性的手術，不同年齡段以及不同身材比例的病人。然后運用3D建模與渲染技術、人體動作捕捉技術、物體三維重建技術等技術構建手術環(huán)境，從而實現(xiàn)虛擬中的病人提供虛擬手術實驗。

4.2 虛實交互精度問題

在手術中，對醫(yī)生操作精度以及力度的把控有嚴格的要求，細微的操作都會改變病人的病理反饋情況，所以對再選擇外骨骼操作手套需要對其精度有一定的要求，不僅需要靈敏度高并且需要有壓力反饋，使操作者觸感與真實手術相似。本文采用Dexta Robotics機械外骨骼手套單個裝有5個力反饋裝置，11個動作捕捉傳感器，可捕捉11個自由度手部動作，并且還引入旋轉檢測，能最大程度靈活捕捉手部動作，高度定制的伺服電機，先進的控制算法，與其他產(chǎn)品對比其精度更高，其電機可產(chǎn)生5kg.cm的扭矩，延遲更低，延遲僅為25ms。

4.3操作延遲問題

操作者每一步操作以及所帶來的反饋應該做到低延遲，從而使整個手術流程流暢，形成良好的操作體驗。本文引入5G模塊與MR進行結合傳統(tǒng)移動通信工作的頻段都保持在 2 GHz 之內(nèi)，頻譜相對較為擁擠，寬帶很容易會受到限制。而 5G 技術會使工作頻段上升，其寬帶寬度會隨之拓展，頻譜資源寬度會更加理想，可以有效消除工作頻譜過于緊張的問題，能夠為信息的遠距離高速運輸提供可靠支持。[7]5G中的URLLC場景是5G的三大典型應用場景之一，其子載波間隔優(yōu)點在于：5G網(wǎng)絡在FR1頻段支持15 kHz、30 kHz、60 kHz三種業(yè)務信道子載波間隔，在FR2頻段支持60 kHz、120 kHz兩種業(yè)務信道子載波間隔，子載波間隔越大，網(wǎng)絡低時延優(yōu)勢越明顯。

5、結語：

本文將通過MR眼鏡、MR外設設備、內(nèi)容端等相結合模擬真實手術環(huán)境，使操作者從視覺、觸覺、心理等方面體驗真正的手術環(huán)境，通過虛擬的病人進行實操，熟悉手術步驟以及面對突發(fā)情況時的應對措施，不僅開拓多元的醫(yī)學教學模式也為實習醫(yī)生提供操作訓練機會，縮短實習周期，解決醫(yī)學生缺少實操機會的痛點。

參考文獻

[1]方凌智，沈煌南.技術和文明的變遷——元宇宙的概念研究[J].產(chǎn)業(yè)經(jīng)濟評論，2022（01）：

[2]李曦子. 臉書入局的元宇宙是什么？[N]. 國際金融報，2021-08-02（004）.

[3]俞科峰.基于5G網(wǎng)絡與云計算構建MR云的研究與探討[J].廣東通信技術，2021，41（08）：36-40.

[4]馬曉瑩，王志欣，盧忠青.超高可靠性低時延通信的資源優(yōu)化分配研究[J].數(shù)字通信世界，2021（09）：3-5.

[5]李騰飛. 增強現(xiàn)實虛實交互技術的研究與實現(xiàn)[D].沈陽工業(yè)大學，2019.

[6]李敏，王保華，鄭豪杰.醫(yī)學信息的虛擬存儲及其系統(tǒng)模型的構建[J].上海生物醫(yī)學工程，2003（01）：5-9.

項目基金：2020年國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目（202013720001），2019年廣東理工學院大學生創(chuàng)新創(chuàng)業(yè)扶持基金項目（01），廣東理工學院在線開放課程應用（ZXKCYY2019012），2021年廣東省科技創(chuàng)新戰(zhàn)略專項基金項目（pdjh2021b0594）2020年國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目（202013720001），2019年廣東理工學院大學生創(chuàng)新創(chuàng)業(yè)扶持基金項目（01），廣東理工學院在線開放課程應用（ZXKCYY2019012），2021年廣東省科技創(chuàng)新戰(zhàn)略專項基金項目（pdjh2021b0594）