基于MR與云端的醫(yī)療信息可視化交互系統(tǒng)

陳丹鳳

基于MR與云端的醫(yī)療信息可視化交互系統(tǒng)

陳丹鳳

（武漢理工大學(xué) 信息工程學(xué)院，湖北 武漢 430070）

在這個(gè)信息技術(shù)飛速發(fā)展的時(shí)代，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)相繼出現(xiàn)，可以使用戶端延展至任何物與物之間，從而進(jìn)行信息交換與通信，這帶動(dòng)了遙控式機(jī)器人的快速發(fā)展。為了解決傳統(tǒng)就診中醫(yī)生工作時(shí)無法即時(shí)顯示病人信息、異地或被隔離時(shí)無法完成遠(yuǎn)程就診的弊端，提出了基于MR與云端的醫(yī)療信息可視化人機(jī)交互系統(tǒng)，可以使醫(yī)療信息的交互變得更加準(zhǔn)確、迅速，可以幫助原有的異地醫(yī)療設(shè)備更加準(zhǔn)確地傳遞信息，使醫(yī)生與患者不會(huì)再因?yàn)榫嚯x遠(yuǎn)、數(shù)據(jù)不準(zhǔn)、難以接觸等問題而影響了最佳救治時(shí)間。

人機(jī)交互；Microsoft HoloLens；云共享；混合現(xiàn)實(shí)技術(shù)

1 概述

1.1 設(shè)計(jì)背景

人機(jī)交互越來越受到社會(huì)各界關(guān)注，又隨著混合現(xiàn)實(shí)技術(shù)（Mixed Reality，MR）的出現(xiàn)與不斷成熟，適應(yīng)這種新型技術(shù)的新的交互方式日漸發(fā)展起來。從學(xué)習(xí)、研究，到娛樂、生產(chǎn)、營銷等各個(gè)領(lǐng)域都可以找到這種新型交互方式的發(fā)展方向與利益需求。本系統(tǒng)主要從醫(yī)療輔助設(shè)備的角度出發(fā)，利用Microsoft HoloLens將應(yīng)用程序、信息以及多維視頻等數(shù)字內(nèi)容融入周圍的物理空間，直接將醫(yī)療工作者、患者的各項(xiàng)數(shù)據(jù)具象化，拓展醫(yī)療工作者的工作環(huán)境，方便工作者操作，同時(shí)還能避免大型機(jī)械發(fā)生意外事故。

1.2 概要設(shè)計(jì)

如今是一個(gè)機(jī)械化生產(chǎn)的信息時(shí)代，各種功能的機(jī)器人已經(jīng)成了各個(gè)領(lǐng)域上必不可少的重要工具，醫(yī)療領(lǐng)域也是如此。傳統(tǒng)醫(yī)療器械與儀表盤與人分離造成的數(shù)據(jù)顯示延遲、知名醫(yī)院一號難求、偏遠(yuǎn)山區(qū)就醫(yī)不便等問題卻仍層出不窮，面對這種醫(yī)療資源普遍緊缺的局面，想做到顯示實(shí)時(shí)數(shù)據(jù)并實(shí)現(xiàn)精確性是困難的，但隨著時(shí)代的發(fā)展，人們對信息交互的即時(shí)性、準(zhǔn)確性卻有著越來越嚴(yán)格的要求，這種要求在此次疫情期間尤為突出。在疫情期間，患者信息傳遞不及時(shí)、無法實(shí)現(xiàn)即時(shí)接觸診病、醫(yī)生被隔離無法增援等問題都突顯了出來，嚴(yán)重影響了醫(yī)護(hù)人員的工作進(jìn)程，減緩了抗疫的速度。

本交互系統(tǒng)的主要功能是在佩戴HoloLens的情況下，通過控制HoloLens界面中的機(jī)器人來使實(shí)際中的機(jī)器人做出對應(yīng)的動(dòng)作，同時(shí)在用戶的視野中實(shí)時(shí)呈現(xiàn)相關(guān)數(shù)據(jù)（機(jī)器人狀態(tài)、病人體溫、病人心跳等），從而實(shí)現(xiàn)脫離操控臺(tái)的人機(jī)分離的操作或?qū)崟r(shí)數(shù)據(jù)變化顯示，最大程度上保證了醫(yī)生與患者的安全，拓展了醫(yī)生的行醫(yī)環(huán)境，并使機(jī)械臂有了更大的移動(dòng)空間，可以更好地完成其相關(guān)工作，而每次工作積累下的數(shù)據(jù)可形成歷史記錄，存入云端進(jìn)行簡單的處理與分析。信息可視化交互系統(tǒng)工作流程如圖1所示。

圖1 信息可視化交互系統(tǒng)工作流程圖

2 詳細(xì)設(shè)計(jì)

2.1 控制面板

為了更好地實(shí)現(xiàn)與遠(yuǎn)程醫(yī)療設(shè)備的對接，借助已有機(jī)械臂進(jìn)行了產(chǎn)品設(shè)計(jì)，在本系統(tǒng)中設(shè)置了虛擬控制面板，使用戶可以通過視野中的虛擬按鍵對儀器圖像進(jìn)行操控，從而控制實(shí)際中的醫(yī)療器械，實(shí)現(xiàn)遠(yuǎn)程操控。模式中控制機(jī)械臂的方式，達(dá)到減少醫(yī)生來回走動(dòng)以觀察病人與醫(yī)療器械情況次數(shù)的效果，并實(shí)現(xiàn)了在近距離觀測工作情況的同時(shí)，遠(yuǎn)離機(jī)械臂的工作范圍，最大程度上保證了醫(yī)生與患者的安全，并使機(jī)械臂有了更大的移動(dòng)空間。系統(tǒng)控制面板如圖2所示。

圖2 系統(tǒng)控制面板

在將本系統(tǒng)部署至HoloLens完成后，直接啟動(dòng)HoloLens。在Hololens的菜單頁找到名為AR_HRI的應(yīng)用，點(diǎn)擊即啟動(dòng)。通過移動(dòng)視線使光標(biāo)移動(dòng)至各個(gè)按鍵，光標(biāo)到達(dá)按鍵位置時(shí)，將使用者的手置于視線當(dāng)中，做捏合動(dòng)作。

2.2 實(shí)時(shí)數(shù)據(jù)界面

數(shù)據(jù)顯示界面如圖3所示。

圖3 數(shù)據(jù)顯示界面

在作品設(shè)計(jì)過程中，針對已有設(shè)備，搭建了一套基礎(chǔ)的實(shí)時(shí)數(shù)據(jù)顯示界面，其包括控制面板、機(jī)器人實(shí)時(shí)數(shù)據(jù)顯示面板，在技術(shù)上已可以實(shí)現(xiàn)對常規(guī)機(jī)器人的各項(xiàng)數(shù)據(jù)進(jìn)行實(shí)時(shí)顯示，并已有如下功能：該界面顯示的為工作中機(jī)器人的實(shí)時(shí)數(shù)據(jù)以及機(jī)器人的全息圖。該面板有鎖定鍵，綠色表示已解鎖，白色表示未解鎖。將光標(biāo)移至鎖定鍵，捏合手指鎖定鍵變綠后移動(dòng)光標(biāo)至機(jī)器人圖像，捏住不放即可拖動(dòng)?？刂泼姘蹇芍苯油ㄟ^捏合手指不松開進(jìn)行移動(dòng)。

2.3 部分關(guān)鍵算法

本系統(tǒng)在設(shè)計(jì)過程里，在Visual Studio 2017中使用C#進(jìn)行編譯，在其環(huán)境中下載并安裝了Unity 5.6版本的Vuforia，然后進(jìn)行系統(tǒng)的開發(fā)與測試，所寫部分源碼如圖4所示。

圖4 醫(yī)療信息可視化交互系統(tǒng)部分源碼

系統(tǒng)設(shè)計(jì)中的gaze、gesture、voice三種交互方式的添加與懸浮數(shù)據(jù)顯示窗口的設(shè)計(jì)，實(shí)現(xiàn)了以HoloLens為主體在Wi-Fi環(huán)境下人機(jī)通信，實(shí)現(xiàn)人與設(shè)備、人與實(shí)時(shí)數(shù)據(jù)的交互，從而有了較強(qiáng)的實(shí)時(shí)性與便捷性，所以對其在醫(yī)療領(lǐng)域的應(yīng)用進(jìn)行了拓展與探索。

3 系統(tǒng)優(yōu)勢

本設(shè)計(jì)從此次疫情角度出發(fā)，系統(tǒng)利用現(xiàn)今受到廣泛關(guān)注的混合現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)醫(yī)生與醫(yī)療信息、醫(yī)療器械的共融交互，較傳統(tǒng)醫(yī)療設(shè)備有許多優(yōu)勢，應(yīng)用前景光明。本系統(tǒng)可使用戶在同一位置以全息圖的方式完成對被檢查者的大致了解，有效提高了工作效率。改變了近距離控制搖桿或按鍵以移動(dòng)機(jī)器人來工作的控制模式，實(shí)現(xiàn)了便捷的遠(yuǎn)程操作，在保護(hù)醫(yī)生與患者安全的同時(shí)提高了信息交互的效率。

3.1 醫(yī)療設(shè)備與信息的MR顯示

在設(shè)計(jì)系統(tǒng)功能的過程中，本系統(tǒng)的交互模式借助MR技術(shù)，打破了傳統(tǒng)工作狀態(tài)下必須近距離觀察機(jī)械臂各方位情況的限制，使醫(yī)生可以在同一位置以全息圖的方式完成對醫(yī)療器械的檢查、對病人大致情況的了解，有效提高了工作效率。

3.2 可調(diào)節(jié)的實(shí)時(shí)數(shù)據(jù)懸窗

本系統(tǒng)的控制面板、儀器實(shí)時(shí)數(shù)據(jù)顯示界面、患者狀態(tài)實(shí)時(shí)數(shù)據(jù)顯示界面，均脫離了傳統(tǒng)儀表盤式顯示的束縛，借助HoloLens的界面以懸浮窗口的形式顯示在使用者的視野前方，且由于本系統(tǒng)自主設(shè)計(jì)了非嵌入的窗口模式，所以，各個(gè)數(shù)據(jù)窗口可以隨使用者的視野移動(dòng)固定或移動(dòng)，保證了使用者可以有選擇地看到所需要的控制面板與數(shù)據(jù)。

3.3 虛擬按鍵的使用

本系統(tǒng)設(shè)計(jì)了較為完善的虛擬按鍵與面板，降低了使用者對實(shí)際器材的依賴，改變了原有的近距離控制搖桿或按鍵以移動(dòng)機(jī)械臂、電子針筒的控制模式，實(shí)現(xiàn)了令醫(yī)生遠(yuǎn)程操作，在保護(hù)使用者安全的同時(shí)擴(kuò)大了機(jī)械臂的工作空間，降低了購置大型控制臺(tái)、儀表盤的成本。

3.4 云端信息處理

在完成了整體系統(tǒng)的脫機(jī)設(shè)計(jì)之后，利用阿里云服務(wù)器，自主搭建了醫(yī)療信息處理平臺(tái)，可以對使用者的歷史使用記錄進(jìn)行分類存儲(chǔ)、處理與分析，方便醫(yī)生的后續(xù)工作，也有利于患者對自己歷史就診數(shù)據(jù)的了解。

4 發(fā)展前景

如今，許多醫(yī)療機(jī)器人已投入了使用，人機(jī)共融交互系統(tǒng)可以使醫(yī)生在長時(shí)間手術(shù)過程中遠(yuǎn)離感染病病人，且無需一直操縱實(shí)體遙控設(shè)備，減少醫(yī)生的疲勞感，進(jìn)而提高手術(shù)的安全性。而由于該系統(tǒng)在借助HoloLens與PC連接后可控制各類機(jī)器人，結(jié)合設(shè)計(jì)的組合式數(shù)據(jù)顯示窗口，可以實(shí)現(xiàn)在不同應(yīng)用場景下各種數(shù)據(jù)的實(shí)時(shí)顯示，所以，其功能可擴(kuò)展至工業(yè)、科研等更多領(lǐng)域。

4.1 工業(yè)領(lǐng)域

工業(yè)機(jī)器人已廣泛應(yīng)用于工業(yè)制造的各流水線中，而該系統(tǒng)的出現(xiàn)可以使制造工人全方位了解機(jī)器人的工作情況，及時(shí)并準(zhǔn)確地進(jìn)行操作，可以有效提高工作效率。

4.2 軍事領(lǐng)域

遠(yuǎn)程操控的軍事機(jī)器人、無人機(jī)已經(jīng)出現(xiàn)，但在高科技戰(zhàn)爭、精兵對抗的時(shí)代，原有遙控設(shè)備既不方便攜帶又易被發(fā)現(xiàn)，該系統(tǒng)則只需以HoloLens為載體，即可實(shí)現(xiàn)對不同設(shè)備的控制，可在戰(zhàn)斗中取得奇效。

4.3 科研領(lǐng)域

大型產(chǎn)品的研制往往涉及成千上萬的系統(tǒng)或者零部件，他們之間的關(guān)系單憑想象無法梳理清楚，借助該系統(tǒng)可以真實(shí)地呈現(xiàn)某個(gè)設(shè)計(jì)環(huán)節(jié)，而不用完成整個(gè)設(shè)計(jì)后才發(fā)現(xiàn)問題，有效節(jié)約了科研成本與時(shí)間。

現(xiàn)階段，本系統(tǒng)已借助HoloLens實(shí)現(xiàn)了在無線局域網(wǎng)范圍內(nèi)對工業(yè)機(jī)械手臂的操控與實(shí)施數(shù)據(jù)顯示，實(shí)現(xiàn)了顯示人體體溫這一基本數(shù)據(jù)。隨著后續(xù)的開發(fā)與設(shè)計(jì)，本系統(tǒng)將可以實(shí)現(xiàn)更多醫(yī)療信息的顯示，幫助醫(yī)生與患者營造一個(gè)更安全、更便捷的醫(yī)療工作生態(tài)，盡其所能，從而使此次疫情的醫(yī)療資源短缺問題不再出現(xiàn)。

5 可行性分析

就技術(shù)層面而言，AR技術(shù)出現(xiàn)30余年，已經(jīng)可以通過增強(qiáng)見、聲、聞、觸、聽來實(shí)現(xiàn)模糊真實(shí)世界與計(jì)算機(jī)所生成的虛擬世界之間的界線?？梢詫⒄鎸?shí)世界信息和虛擬世界信息“無縫”集成，這促使近年來虛擬現(xiàn)實(shí)領(lǐng)域出現(xiàn)了一個(gè)新的方向——混合現(xiàn)實(shí)（MR）。

混合現(xiàn)實(shí)的出現(xiàn)，為人機(jī)共融交互系統(tǒng)提供了思路與技術(shù)支持。微軟推出了首款運(yùn)行Windows 10的全息計(jì)算機(jī)HoloLens，它是完全獨(dú)立的，不需要線纜或手機(jī)，也無需連接計(jì)算機(jī)。Microsoft HoloLens可以將全息影像融入物理環(huán)境，使人有觀察周圍世界的全新方式，且有對應(yīng)的SDK支持程序開發(fā)，使得該系統(tǒng)可以將HoloLens作為載體。在設(shè)計(jì)本系統(tǒng)時(shí)，借助unity開發(fā)平臺(tái)導(dǎo)入RAPID語言編得的工業(yè)機(jī)器人ABB IRB1200模型，以TCP/IP通信方式連接HoloLens與PC，最終實(shí)現(xiàn)運(yùn)用MR技術(shù)來實(shí)現(xiàn)人機(jī)共融交互，達(dá)到用HoloLens直接控制機(jī)器人的目的。這一技術(shù)已經(jīng)完善至可以通過改變視線中HoloLens操作界面來直接命令現(xiàn)實(shí)世界中的機(jī)器人做出對應(yīng)動(dòng)作。

就工業(yè)生產(chǎn)層面而言，該系統(tǒng)建立了現(xiàn)實(shí)中ABB IRB1200與HoloLens界面中ABB IRB1200之間的通道，使該系統(tǒng)可以精確地觀測到機(jī)器人實(shí)時(shí)移動(dòng)距離與位置，使操作更加精準(zhǔn)，以減少誤差?？赏ㄟ^hologram技術(shù)實(shí)現(xiàn)全角度觀測并檢查機(jī)器人與患者的實(shí)時(shí)情況。且HoloLens是現(xiàn)有的所有HMD中唯一在開發(fā)、配置和使用時(shí)完全不需要插上傳輸數(shù)據(jù)線/充電線的產(chǎn)品，所以HoloLens可以直接通過WiFi連接，這一遠(yuǎn)程操控的特性可有效保護(hù)醫(yī)患雙方的安全，并使醫(yī)療器械在工作過程中只與患者接觸，從而減少意外事件與不必要的傳染。

因此，筆者認(rèn)為，本系統(tǒng)在未來的醫(yī)學(xué)領(lǐng)域有較高的實(shí)用價(jià)值。

［1］蔣紅衛(wèi)，張樹興.機(jī)器視覺的人機(jī)交互系統(tǒng)的設(shè)計(jì)分析［J］.現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2020，10（3）：52-54.

［2］王素麗.基于人機(jī)交互的界面故障數(shù)據(jù)屬性識(shí)別方法［J/OL］.沈陽工業(yè)大學(xué)學(xué)報(bào)：1-5［2020-05-25］.http: //kns.cnki.net/kcms/detail/21.1189.T.20200515.0957.012.html.

［3］楊麗梅，李致豪.面向人機(jī)交互的手勢識(shí)別系統(tǒng)設(shè)計(jì)［J］.工業(yè)控制計(jì)算機(jī)，2020，33（3）：18-20，22.

［4］易敏哲.基于視覺信息設(shè)計(jì)的人機(jī)交互界面設(shè)計(jì)［J］.科技與創(chuàng)新，2020（5）：126-127.

TP391

A

10.15913/j.cnki.kjycx.2020.13.015

2095－6835（2020）13－0040－03

陳丹鳳（1999—），女，本科在讀，通信工程專業(yè)。

〔編輯：張思楠〕