基于MR技術(shù)下的醫(yī)療混合現(xiàn)實(shí)技術(shù)手術(shù)室設(shè)計(jì)

黃 丹 朱 婷

（湖南環(huán)境生物職業(yè)技術(shù)學(xué)院，湖南 衡陽 421005）

隨著互聯(lián)網(wǎng)、計(jì)算機(jī)圖形處理技術(shù)和人工智能技術(shù)發(fā)展，混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)在各行業(yè)受到重視[1]，成為信息模擬化和形象化呈現(xiàn)的關(guān)鍵技術(shù)，具備技術(shù)跨度大、應(yīng)用頻率高、使用效率高以及未來發(fā)展?jié)撃艽蟮忍攸c(diǎn)[2]。目前，MR 技術(shù)與產(chǎn)業(yè)的發(fā)展路徑需要進(jìn)一步結(jié)合[3]。從MR 技術(shù)方面來看，該技術(shù)在感知交互、渲染處理以及影像處理等方向發(fā)展較快。

1 MR技術(shù)下的醫(yī)療混合現(xiàn)實(shí)技術(shù)

MR 技術(shù)的應(yīng)用實(shí)例如下：1）輔助診療。例如實(shí)現(xiàn)超聲成像與人的視域內(nèi)真實(shí)圖像的融合顯示。2）心理健康疾病的輔助治療[4]，心理健康疾病包括抑郁、焦慮、毒癮以及恐懼（恐高、恐飛等），有大量的游戲?qū)ｉT用來治療各種心理疾病[5]。以恐高癥為例，可以專門設(shè)置一個(gè)虛擬的環(huán)境，不斷刺激大腦，逐漸適應(yīng)這樣一個(gè)高度，當(dāng)佩戴該頭盔時(shí)，沉浸式的感覺是非常強(qiáng)的。3）疼痛管理。通過注意力分散療法來降低嚴(yán)重皮膚燒傷患者的疼痛感知等。

2.MR 技術(shù)的算法以及設(shè)計(jì)

2.1 三維掃描系統(tǒng)

三維掃描技術(shù)在國外研究起步較早，并取得了一定的研究成果。利用激光掃描儀和高分辨率的彩色相機(jī)，IBM 的H.Rushmeier 和F.Bernardini 領(lǐng)導(dǎo)的團(tuán)隊(duì)精確掃描了米切朗基羅佛羅倫薩圣母憐子雕像，結(jié)合模型的幾何數(shù)據(jù)與彩色相機(jī)的色彩信息，重建了較好的三維效果。Debevoc、Taylor 等構(gòu)建了Facade 建筑物重建系統(tǒng)，并利用RGB-D 進(jìn)行三維重建，即Shahram Izadi 等利用微軟公司發(fā)布的Kinect 傳感器研發(fā)出的KinectFusion 算法[5]。與國外相比，國內(nèi)的三維掃描技術(shù)研究起步較晚，在技術(shù)手段等方面涉獵不深，對(duì)模型的重建效果也未能達(dá)到理想地步，因此具有很大的進(jìn)步空間。

2.2 醫(yī)學(xué)斷層圖像三維重建算法

2.2.1 坐標(biāo)系的建立

醫(yī)學(xué)斷層圖像三維重建需要建立坐標(biāo)系，通過攝像機(jī)定位實(shí)現(xiàn)與現(xiàn)實(shí)三維世界映射的關(guān)系，即通過坐標(biāo)系的形成使之與人體層映射關(guān)系，從而建立三維圖形，在整個(gè)理論推導(dǎo)過程中，醫(yī)學(xué)斷層圖像三維重建需要利用各項(xiàng)坐標(biāo)系，包括攝像機(jī)坐標(biāo)系、圖像坐標(biāo)系、世界坐標(biāo)系以及成像平面坐標(biāo)系，4種坐標(biāo)系相互結(jié)合。

2.2.1.1 圖像坐標(biāo)系U-O-V

圖像坐標(biāo)系中灰度圖像可以將圖畫看作為數(shù)字圖像，可以組成的二維數(shù)字矩陣，由多數(shù)矩陣形成成像平面，既每個(gè)矩陣元素值不同，其亮度信息也不相同，可以表達(dá)一副圖像所含的數(shù)據(jù)，如圖1所示，圖像平面坐標(biāo)系建立在數(shù)字矩陣基礎(chǔ)上，以此類推，從而組合成與世界坐標(biāo)系相對(duì)應(yīng)具體圖像。

圖1 圖像平面坐標(biāo)系

2.2.1.2 成像平面坐標(biāo)系XI-OI-YI

如圖2所示，通過矩陣像素的坐標(biāo)形成成像平面坐標(biāo)系，簡(jiǎn)單來說，成像平面上涵蓋成像平面坐標(biāo)系，像機(jī)CCD 感應(yīng)元件平面就是數(shù)字?jǐn)z像機(jī)成像平面，原點(diǎn)為成像平面與光軸的交點(diǎn)，記作OI，其單位設(shè)定為mm。

圖2 成像平面坐標(biāo)系

成像平面是根據(jù)攝像機(jī)感應(yīng)元件形成的光束，按照一定比例與坐標(biāo)系對(duì)應(yīng)，從而形成圖像矩陣。其中，坐標(biāo)系各個(gè)點(diǎn)之間相互關(guān)聯(lián)，因此U-O-V中的點(diǎn)（u，v）與成像平面坐標(biāo)系XI-OI-YI中的點(diǎn)（xI，yI）的關(guān)系如公式（1）所示。

式中：（u0，v0）為XI-OI-YI原點(diǎn)OI在U-O-V中對(duì)應(yīng)的坐標(biāo)；dx和dy為每個(gè)圖像中像素在成像平面上對(duì)應(yīng)的物理尺寸（dx·dy（單位為mm2）為每個(gè)成像平面坐標(biāo)系的面積，為圖像中小單元表現(xiàn)的一個(gè)像素）；u為點(diǎn)（u，v）的橫坐標(biāo)；v為點(diǎn)（u，v）縱坐標(biāo)；xI為成像平面坐標(biāo)系的橫坐標(biāo)；yI為成像平面坐標(biāo)系的縱坐標(biāo)。

結(jié)合成像平面坐標(biāo)計(jì)算，將公式（1）與矩陣進(jìn)行轉(zhuǎn)換，如公式（2）所示。

2.2.1.3 攝像機(jī)坐標(biāo)系OC-XC-YC-ZC

基于成像平面坐標(biāo)系的原理，攝像機(jī)將攝像物品映射在攝像機(jī)坐標(biāo)系OC-XC-YC-ZC上，形成有效攝像機(jī)成像，如圖3所示。坐標(biāo)原點(diǎn)OC與投影中心重合，類似于原點(diǎn)平移，XC和YC軸平行于成像平面坐標(biāo)系XI-OI-YI的XI和YI軸，但是會(huì)等比放大或縮小。其中，ZC軸與光軸重合，可以看到攝像機(jī)與成像平面具有對(duì)應(yīng)的關(guān)系，OC與OI的距離即為攝像機(jī)焦距f，在一定距離的焦距下可以進(jìn)行呈像。

圖3 是基于圖2 進(jìn)行的轉(zhuǎn)化，利用公式（1）可以確定呈像關(guān)系，可以得到攝像機(jī)坐標(biāo)系OC-XC-YC-ZC中的物點(diǎn)P（xC，yC，zC）與成像平面坐標(biāo)系XI-OI-YI中的像點(diǎn)p（xI，yI）之間的關(guān)系，如公式（3）所示。

圖3 攝像機(jī)坐標(biāo)系與成像平面坐標(biāo)系的關(guān)系

可以將公式（3）轉(zhuǎn)化為矩陣，如公式（4）所示。

2.2.2 三維重建原理

該文基于上述呈像原理，采用線性標(biāo)定方法進(jìn)行三維重建，即了解圖像坐標(biāo)與世界坐標(biāo)的關(guān)系，利用攝像機(jī)標(biāo)定其映射關(guān)系，通過事物的圖像坐標(biāo)進(jìn)行立體匹配，從而確定2 幅圖像的對(duì)應(yīng)關(guān)系，進(jìn)而計(jì)算事物在世界坐標(biāo)中的坐標(biāo)。

三維重建可以劃分為點(diǎn)、直線、平面、曲線以及曲面的三維重建，可以通過不同處理基元進(jìn)行區(qū)分，該文主要對(duì)醫(yī)學(xué)影像進(jìn)行三維重建，要確定其匹配基元，就需要對(duì)其線性標(biāo)定方法的三維重建原理進(jìn)行研究，才能建立三維立體形狀。

三維重建原理如下：（xW，yW，zW）作為物點(diǎn)坐標(biāo)系坐標(biāo)，為未知數(shù)，設(shè)定圖像坐標(biāo)，（uL，vL）、（uR，vR）為物點(diǎn)在左、右2 個(gè)攝像機(jī)的圖像坐標(biāo)系中投影點(diǎn)的圖像坐標(biāo)，ML、MR為2 個(gè)攝像機(jī)的投影矩陣，主要描述其圖像呈現(xiàn)情況，由攝像機(jī)投影矩陣式可以得到公式（5）、公式（6）。

在公式（5）中消去zCL，在公式（6）中消去zCR，可以得到公式（7）。

可以采用最小二乘法求出（xW，yW，zW），過程為將公式（7）寫成矩陣形式，如公式（8）所示。

將公式（8）簡(jiǎn)寫為公式（9）。

式中：A為矩陣；X為向量；B為向量。

A、X和B分別如公式（10）～公式（12）所示。

由最小二乘法可以得到公式（13）。

通過最小二乘法可以對(duì)醫(yī)學(xué)成像中的立體圖像匹配物點(diǎn)坐標(biāo)進(jìn)行計(jì)算，從而求出世界坐標(biāo)信息。

2.3 三維重建試驗(yàn)與結(jié)果分析

在醫(yī)學(xué)影像三維重建試驗(yàn)中，可以根據(jù)雙目邊緣測(cè)試抓取工件，這樣機(jī)器會(huì)對(duì)其進(jìn)行工件幾何中心立體信息進(jìn)行獲取，得到相應(yīng)數(shù)據(jù)，從而得到相應(yīng)工件幾何中心點(diǎn)的世界坐標(biāo)，進(jìn)而獲得相匹配的中心點(diǎn)。

試驗(yàn)步驟如下：1）讀入匹配出的特征點(diǎn)。醫(yī)學(xué)影像中，使用M=dlmread（‘…\Row1.txt’）；Row1=M（2：size（M），2）；等命令獲取特殊點(diǎn)的行列值，該系統(tǒng)可以采用相應(yīng)軟件錄入特征點(diǎn)，可以結(jié)合命令讀入MATLAB 文件Calibration.m 中，在醫(yī)學(xué)影像中，可以為三維重建提供對(duì)應(yīng)匹配點(diǎn)。三維重建試驗(yàn)數(shù)據(jù)見表1。2）獲取各匹配點(diǎn)世界坐標(biāo)值。在讀入匹配特征點(diǎn)后，還需要獲取相應(yīng)的世界坐標(biāo)值，因此，當(dāng)運(yùn)用三維重建原理時(shí)，需要對(duì)其實(shí)現(xiàn)函數(shù)進(jìn)行利用，例如公式（2）等，從而獲得匹配點(diǎn)的三維世界坐標(biāo)值并結(jié)合相應(yīng)命令存儲(chǔ)到指定文件，進(jìn)而將其保存到相應(yīng)程序中，世界坐標(biāo)見表1。

表1 三維重建試驗(yàn)數(shù)據(jù)

3 基于MR技術(shù)下醫(yī)療混合現(xiàn)實(shí)技術(shù)手術(shù)室設(shè)計(jì)結(jié)果分析

3.1 平面圖像

如圖4所示，平面圖像經(jīng)由醫(yī)學(xué)影像相關(guān)器件，可以呈現(xiàn)其CT 圖像，顯示位圖功能，其特點(diǎn)如下：

大多數(shù)醫(yī)學(xué)影像器材都支持高分辨率的數(shù)據(jù)，在工具欄中，紅色為描繪邊界，能夠清楚看清人腦的CT 成像，大多數(shù)CT 圖像具備存儲(chǔ)數(shù)據(jù)有12 bit，僅表示1 個(gè)像素，在這里，CT圖像所采用的顯示卡顯示256 級(jí)灰度圖像，在工具欄中可以設(shè)置不同窗框?qū)捄臀恢茫軌驅(qū)σ粋€(gè)灰度范圍進(jìn)行顯示（范圍為0～4 096）。

紅色的邊界為自動(dòng)生成的輪廓線，在醫(yī)學(xué)影像中可以直接對(duì)齊輪廓線進(jìn)行編輯（如圖4（b）所示），可以對(duì)其進(jìn)行刪除點(diǎn)、隱藏輪廓線以及增加點(diǎn)斗進(jìn)行操作，Command 設(shè)計(jì)模式可以對(duì)輪廓線進(jìn)行編輯，對(duì)CT 圖像進(jìn)行查看和分析。

圖4 手術(shù)室CT 圖像以及三維模型圖像呈現(xiàn)的運(yùn)行窗口

3.2 三維模型

圖4（b）為三維模型圖像呈現(xiàn)的運(yùn)行窗口，利用其類圖相關(guān)的命令進(jìn)行功能變換，在呈現(xiàn)的圖像中，為了從不同角度查看三維模型的位置，可以設(shè)置移動(dòng)、旋轉(zhuǎn)以及縮放等功能，采用渲染流程，RenderWindow 可以進(jìn)行繪制，CMy3dView 可以進(jìn)行參數(shù)調(diào)用，這樣就可以在窗口中可查看醫(yī)學(xué)影像三維立體模型，采用鼠標(biāo)就可以進(jìn)行模擬操作，拖動(dòng)其圖示進(jìn)行變換，以便醫(yī)生更好地了解影像。同時(shí)，三維模型還可以進(jìn)行動(dòng)態(tài)演示，從而實(shí)現(xiàn)醫(yī)學(xué)影像的動(dòng)態(tài)形式。

4 結(jié)語

該文基于MR技術(shù)下的醫(yī)療混合現(xiàn)實(shí)技術(shù)手術(shù)室設(shè)計(jì)，結(jié)合醫(yī)學(xué)影像三維重建軟件My3d，My3d 接受符合DICOM3.0 的數(shù)據(jù)作為輸入，可以進(jìn)行三維重建，該文主要采用坐標(biāo)系計(jì)算和三維重建原理形成醫(yī)學(xué)影像示意圖，在程序設(shè)定中，可以進(jìn)行分割，二維圖像自動(dòng)組成重建三維模型。因此，在實(shí)際應(yīng)用中，醫(yī)生可以根據(jù)重建結(jié)果查看醫(yī)學(xué)影像內(nèi)容，包括對(duì)相關(guān)器官進(jìn)行觀察。同時(shí)，醫(yī)生還可以對(duì)各種參數(shù)進(jìn)行調(diào)用，以便幫助醫(yī)生了解病人情況，判斷病灶。