基于雙目視覺的盆腔微創(chuàng)手術(shù)增強(qiáng)現(xiàn)實(shí)導(dǎo)航仿真系統(tǒng)的設(shè)計(jì)

高欽泉，黃偉萍，杜 民，韋孟宇,3，柯棟忠

(1.福州大學(xué) 物理與信息工程學(xué)院，福州 350116； 2.福州大學(xué) 福建省醫(yī)療器械與醫(yī)藥技術(shù)重點(diǎn)實(shí)驗(yàn)室，福州 350116；3.澳門大學(xué) 模擬與混合信號(hào)超大規(guī)模集成電路國家重點(diǎn)實(shí)驗(yàn)室，澳門 999078)

0 引言

微創(chuàng)手術(shù)具有創(chuàng)傷小、疼痛輕、恢復(fù)快的優(yōu)越性，在臨床中受到廣泛的歡迎[1]。通過內(nèi)窺鏡等監(jiān)控系統(tǒng)，醫(yī)生可以通過小孔在人體內(nèi)施行手術(shù)，對(duì)人體傷害小，達(dá)到理想的手術(shù)效果。在傳統(tǒng)的盆腔微創(chuàng)手術(shù)導(dǎo)航中，醫(yī)生通過從術(shù)前影像(如CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等)來確定病灶的位置并規(guī)劃手術(shù)實(shí)施方案，通過內(nèi)窺鏡從微小的孔洞獲取即時(shí)的手術(shù)視覺信息，引導(dǎo)手術(shù)的推進(jìn)。醫(yī)生觀察解剖結(jié)構(gòu)和手術(shù)器械的操作過程都是通過內(nèi)窺鏡攝像頭傳輸至顯示器來進(jìn)行，然而，傳統(tǒng)的內(nèi)窺鏡通常只能為醫(yī)生提供二維的臟器表面的視覺信息，醫(yī)生在手術(shù)過程中很難能夠準(zhǔn)確地掌握器官內(nèi)或空腔臟器內(nèi)部解剖結(jié)構(gòu)的三維深度信息，尤其對(duì)于早期腫瘤的定位就更加困難，這對(duì)于準(zhǔn)確地操作器械提出了更大的挑戰(zhàn)和要求。在手術(shù)過程中，醫(yī)生通常能看到的只是暴露在內(nèi)窺鏡視覺下的器官表面，要開展精確的手術(shù)，醫(yī)生往往需要回顧并參考復(fù)雜的人體解剖學(xué)結(jié)構(gòu)，結(jié)合大腦中記憶的術(shù)前擬定的手術(shù)方案路徑，并借助內(nèi)窺鏡捕獲的實(shí)時(shí)畫面來尋找定位手術(shù)的目標(biāo)，從而引導(dǎo)手術(shù)的開展。在盆腔內(nèi)實(shí)施手術(shù)過程中，內(nèi)窺鏡只提供狹窄的二維視覺信息，由于人體內(nèi)部器官組織錯(cuò)綜復(fù)雜，很難根據(jù)當(dāng)前二維視覺信息獲取當(dāng)前手術(shù)刀在人體當(dāng)中準(zhǔn)確的位置，有可能造成手術(shù)刀“迷路”。如果不能準(zhǔn)確找到病灶部位，容易造成癌變組織切除過少或者正常組織切除過多，造成腫瘤殘留或者對(duì)器官功能的過多破壞，極大降低手術(shù)效果。因此，臨床醫(yī)生對(duì)術(shù)中借助先驗(yàn)知識(shí)的視覺導(dǎo)航有著急切的需求。目前，已經(jīng)不同形式的手術(shù)導(dǎo)航技術(shù)應(yīng)用于手術(shù)當(dāng)中。大體可以分成兩類：1)基于標(biāo)記點(diǎn)的手術(shù)導(dǎo)航，如基于生物標(biāo)記點(diǎn)的光學(xué)跟蹤[2]、基于人工標(biāo)記的手術(shù)導(dǎo)航儀[3]，但這類技術(shù)過度依賴于標(biāo)記點(diǎn)；2)基于無標(biāo)記點(diǎn)的手術(shù)導(dǎo)航，如電磁導(dǎo)航跟蹤[4]，但其設(shè)備較為復(fù)雜及昂貴，術(shù)中X射線透視[5]、CT成像輔助導(dǎo)航[6]等但實(shí)時(shí)影像會(huì)給病人甚至醫(yī)生帶來高強(qiáng)度的輻射。目前還沒有一套較簡便的設(shè)備能應(yīng)用于復(fù)雜的盆腔微創(chuàng)手術(shù),實(shí)現(xiàn)精準(zhǔn)視覺導(dǎo)航的系統(tǒng)。為此，本文提出并設(shè)計(jì)了一種基于立體視覺的盆腔微創(chuàng)手術(shù)增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)導(dǎo)航仿真系統(tǒng)，充分利用術(shù)前CT影像重建病人的三維組織信息，并通過增強(qiáng)現(xiàn)實(shí)(AR)技術(shù)渲染顯示在手術(shù)屏幕上，為醫(yī)生提供“透視”的視覺導(dǎo)航，為臨床的手術(shù)應(yīng)用提供技術(shù)支持。

在仿真手術(shù)開始進(jìn)行時(shí)，首先手動(dòng)調(diào)整術(shù)前重建的模型使之與拍攝的患者仿真手術(shù)視頻中相對(duì)應(yīng)的骨盆目標(biāo)區(qū)域大致對(duì)齊，然后利用基于可視點(diǎn)顏色一致性的2D/3D配準(zhǔn)的配準(zhǔn)技術(shù)進(jìn)行微調(diào)，實(shí)現(xiàn)立體內(nèi)窺鏡下2D手術(shù)視野與3D骨盆模型的初始化配準(zhǔn)；再利用雙目立體視覺跟蹤算法對(duì)立體內(nèi)窺鏡進(jìn)行實(shí)時(shí)跟蹤，獲取內(nèi)窺鏡的運(yùn)動(dòng)信息；最后，根據(jù)內(nèi)窺鏡多自由度的變換矩陣來實(shí)現(xiàn)術(shù)前3D模型與手術(shù)視野的實(shí)時(shí)融合和增強(qiáng)現(xiàn)實(shí)顯示，將術(shù)前3D模型與手術(shù)視野畫面準(zhǔn)確融合并成像于手術(shù)顯示屏，從而給醫(yī)生視覺輔助，以定位當(dāng)前手術(shù)刀的位置以及到手術(shù)目標(biāo)的方向和距離，為手術(shù)的實(shí)施提供良好的視覺導(dǎo)航作用。

1 AR視覺導(dǎo)航仿真系統(tǒng)設(shè)計(jì)

1.1 AR導(dǎo)航仿真系統(tǒng)框架設(shè)計(jì)

整個(gè)盆腔微創(chuàng)手術(shù)AR導(dǎo)航系統(tǒng)的具體實(shí)施方法如下：

1)首先進(jìn)行雙目內(nèi)窺鏡的標(biāo)定[7]，以獲得內(nèi)窺鏡的內(nèi)參數(shù)矩陣K，畸變矩陣Q，左右內(nèi)窺鏡的相對(duì)姿態(tài)。

2)其次，根據(jù)病人術(shù)前CT影像，利用ITK-SNAP系統(tǒng)分割出骨盆模型，依據(jù)第一步標(biāo)定后雙目內(nèi)窺鏡的參數(shù)，使用開放圖形庫(Open Graphics Library, OpenGL)渲染在本導(dǎo)航系統(tǒng)顯示界面當(dāng)中。

3)然后,先手動(dòng)調(diào)整模型，使之與目標(biāo)區(qū)域大致對(duì)齊，再利用本文配準(zhǔn)算法進(jìn)行微調(diào)，達(dá)到更精確的配準(zhǔn)。待配準(zhǔn)對(duì)齊后，將骨盆模型的表面頂點(diǎn)覆蓋在內(nèi)窺鏡2D圖像的目標(biāo)區(qū)域，達(dá)到增強(qiáng)現(xiàn)實(shí)的視覺融合。

4)最后，利用雙目視覺的左右視圖信息來實(shí)現(xiàn)雙目內(nèi)窺鏡的移動(dòng)軌跡的實(shí)時(shí)跟蹤，根據(jù)內(nèi)窺鏡前后幀移動(dòng)的多自由度變換矩陣，對(duì)術(shù)前3D模型進(jìn)行位置更新，與內(nèi)窺鏡視野下的仿真手術(shù)畫面進(jìn)行實(shí)時(shí)融合顯示在導(dǎo)航系統(tǒng)界面，達(dá)到增強(qiáng)現(xiàn)實(shí)的視覺導(dǎo)航效果。

1.2 盆腔手術(shù)仿真視頻的制作

由于真實(shí)手術(shù)場景下的環(huán)境錯(cuò)綜復(fù)雜，且內(nèi)窺鏡真實(shí)軌跡很難獲取，無法直接在手術(shù)中進(jìn)行算法驗(yàn)證，本文提出一種盆腔手術(shù)虛擬雙目內(nèi)窺鏡下仿真視頻的制備方法，可以獲取具有真實(shí)紋理的手術(shù)場景的仿真視頻和內(nèi)窺鏡的真實(shí)軌跡。

本文截取骨盆腫瘤的微創(chuàng)手術(shù)中真實(shí)場景畫面作為骨盆3D模型的紋理，使用紋理坐標(biāo)軸UV展開對(duì)3D模型進(jìn)行紋理貼圖，形成具有真實(shí)手術(shù)紋理信息的骨盆3D模型。模型依據(jù)虛擬內(nèi)窺鏡的內(nèi)參數(shù)進(jìn)行投影變換到2D平面，形成視頻幀。先預(yù)設(shè)虛擬內(nèi)窺鏡的軌跡，作為內(nèi)窺鏡的真實(shí)軌跡；再根據(jù)模型的模型矩陣與視圖矩陣的關(guān)系，對(duì)骨盆模型作旋轉(zhuǎn)平移變換，與此同時(shí)，錄制當(dāng)前渲染畫面。通過仿真虛擬內(nèi)窺鏡的移動(dòng)軌跡，利用該模型制作一套具有真實(shí)軌跡的仿真骨盆手術(shù)視頻。

1.3 基于顏色一致性的雙目視覺2D/3D初始化配準(zhǔn)

實(shí)現(xiàn)術(shù)前3D模型與真實(shí)手術(shù)視覺場景中的目標(biāo)物體完全融合在一起，是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)至關(guān)重要的步驟。而真實(shí)手術(shù)視覺通常都是2D圖像，需要將病人術(shù)前重建的3D模型與術(shù)中手術(shù)的2D視野進(jìn)行配準(zhǔn)。本文提出了一種在雙目內(nèi)窺鏡視覺下的3D模型顏色一致性的配準(zhǔn)方法。通過優(yōu)化雙目內(nèi)窺鏡的姿態(tài)，使得雙目視覺左右視圖下3D模型的可視點(diǎn)的顏色距離達(dá)到最小，來實(shí)現(xiàn)3D模型到2D手術(shù)視野配準(zhǔn)的目的。

1.3.1 基于顏色一致性的內(nèi)窺鏡姿態(tài)初始化配準(zhǔn)

在理想狀態(tài)下，同一個(gè)頂點(diǎn)從不同角度或不同時(shí)刻觀測(cè)的色彩空間不變，即具有顏色一致性[8]。因此，如圖1所示，在雙目內(nèi)窺鏡的左右相機(jī)姿態(tài)下各自姿態(tài)觀測(cè)骨盆3D模型，當(dāng)頂點(diǎn)經(jīng)投影映射到二維坐標(biāo)系統(tǒng)中所對(duì)應(yīng)的左右視圖二維手術(shù)畫面具有一致的色彩空間時(shí)，3D模型能夠與目標(biāo)物體配準(zhǔn)對(duì)齊?；谏鲜龅募僭O(shè)，本文提出的3D模型與真實(shí)物體2D視覺初始化融合配準(zhǔn)的目標(biāo)能量方程可定義為:

(1)

圖1 基于立體視覺的顏色一致性

然而，在實(shí)際場景中，光照及物體表面的反射率等是影響顏色一致性的重要因素。因此，本文采用自然環(huán)境光為光源，以降低光照條件對(duì)顏色一致的影響，同時(shí)，以左右視圖顏色RGB的平均值作為參考值。在為使術(shù)前3D模型和真實(shí)2D手術(shù)視覺能夠配準(zhǔn)對(duì)齊，設(shè)3D模型在左相機(jī)坐標(biāo)系下的視圖矩陣為Tcm，式(1)的能量方程可進(jìn)一步表示為：

(2)

當(dāng)初始化配準(zhǔn)對(duì)齊后，3D模型與真實(shí)物體2D視覺完全融合，此時(shí)內(nèi)窺鏡的初始位置可根據(jù)當(dāng)前模型視圖矩陣獲得，3D模型姿態(tài)Tcm與真實(shí)相機(jī)姿態(tài)Tcamera的關(guān)系為：Tcamera=(Tcm)-1。

在真實(shí)場景中，由于光照角度的影響，導(dǎo)致同一個(gè)頂點(diǎn)從不同角度觀察可能會(huì)不一致，但是，由于本文使用的是雙目內(nèi)窺鏡，其左右鏡頭離得較近且內(nèi)參數(shù)較為相近，受光照角度影響較小，同時(shí)觀察一個(gè)頂點(diǎn)的顏色信息相差不大，而且式(2)旨在尋找全部可視點(diǎn)的顏色誤差全局最優(yōu)。

1.3.2 3D模型的可視點(diǎn)快速檢測(cè)法

雙目立體視覺的顏色一致性是基于3D模型的可視點(diǎn)進(jìn)行計(jì)算和優(yōu)化的。常見的可視點(diǎn)尋找法有Z緩沖器算法等[9]，但時(shí)間復(fù)雜度較高。本文提出一種基于雙視圖顏色模型的可視點(diǎn)快速尋找法。術(shù)前重建的3D模型是由多個(gè)三角片組成，對(duì)每個(gè)三角片進(jìn)行編號(hào)，按序號(hào)將三角片渲染成不同顏色，形成一個(gè)帶顏色的3D模型，通過OpenGL的3D圖形渲染引擎投影幾何關(guān)系，生成2D投影圖像Iproject，如圖2所示，Iproject是由W×H個(gè)像素點(diǎn)組成的，并且每個(gè)像素點(diǎn)的顏色RGB是已知的。

圖2 顏色模型

根據(jù)OpenGL的投影變換原理，求出3D模型的頂點(diǎn)Pi在屏幕上面的坐標(biāo)值(u,v)T：

(3)

如圖3(a)所示，三角片的三個(gè)頂點(diǎn)分別按投影變換關(guān)系投影到二維平面，若投影區(qū)域包含一個(gè)或多個(gè)整型像素點(diǎn)，輸出第一個(gè)最先被搜尋到的整型像素點(diǎn)坐標(biāo)值(u,v)T。圖3(b)展示搜尋算法，步驟如下。

輸入：二維平面投影點(diǎn)p1:(u1,v1),p2:(u2,v2),p3:(u3,v3)。

輸出：p:(u,v)。

步驟1 分別計(jì)算L1，L2，L3直線的一般方程aix+biy+ci=0(i=1,2,3)。其中:a1=v2-v1，b1=u1-u2，c1=-(a1u1+b1v1)；a2=v2-v3，b2=u3-u2，c2=-(a2u2+b2v2)；a3=v3-v1，b3=u1-u3，c3=-(a3u3+b3v3)。

步驟2 計(jì)算z1=a2u1+b2v1+c2；z2=a3u2+b3v2+c3；z3=a1u3+b1v3+c1。

步驟3 計(jì)算xmin=min(ui)，xmax=max(ui)，ymin=min(vi)，ymax=max(vi)，i=1,2,3。

步驟4i=ceil(xmin)，j=ceil(ymin)。判斷a2i+b2j+c2與z1,a3i+b3j+c3與z2，a1i+b1j+c1與z3是否同正負(fù)號(hào)。若是，則(i,j)在投影區(qū)域里，輸出(u=i,v=j)T，算法結(jié)束;否則, 繼續(xù)下一步。

步驟5i++，j++，如果i≤xmax,j≤ymax轉(zhuǎn)步驟4；否則(u,v)T由最近鄰插值得到。

搜尋算法得出(u,v)T，判斷在Iproject對(duì)應(yīng)顏色RGB與其顏色模型上的三角片顏色是否一致。若是一致的，則認(rèn)為三角片的三個(gè)頂點(diǎn)在當(dāng)前姿態(tài)為可視的；反之不是。

模型表面的三角片投影區(qū)域受視點(diǎn)遠(yuǎn)近影響，當(dāng)視點(diǎn)較遠(yuǎn)時(shí)，此時(shí)三角片投影區(qū)域沒有包含一個(gè)整型像素點(diǎn)，此時(shí)，用傳統(tǒng)的插值方法(如雙線性插值(Bilinear Interpolation, BI)、最近鄰插值(Nearest Neighbor, NN)、部分體積插值(Partial Volume, PV))得到投影點(diǎn)的RGB(本文使用的是BI)，再作判斷該三角片是否可視。

圖3 三角片可視點(diǎn)判斷

基于顏色一致性的配準(zhǔn)是基于雙目立體內(nèi)窺鏡共同的可視點(diǎn)，所以可視點(diǎn)需在左右內(nèi)窺鏡都能被觀測(cè)到。如圖4所示，圖4(a)可視點(diǎn)能夠同時(shí)被左右內(nèi)窺鏡觀測(cè)，圖4(b)中不可視點(diǎn)是由于只被左內(nèi)窺鏡觀測(cè)。

圖4 模型可視點(diǎn)檢測(cè)

1.4 基于雙目視覺的內(nèi)窺鏡運(yùn)動(dòng)軌跡跟蹤算法

目前有很多基于視覺的跟蹤算法被提出，主要分成兩類: 基于特征點(diǎn)的跟蹤，如PTAM(Parallel Tracking And Mapping)[10]、ORB-SLAM(Oriented FAST and Rotated BRIEF Simultaneous Localization And Mapping)[11-12]等; 基于像素點(diǎn)的跟蹤，如DTAM(Dense Tracking And Mapping)[13]、SVO(Semi-direct monocular Visual Odometry)[14-15]等。無論是基于特征點(diǎn)還是像素點(diǎn)，提出相對(duì)應(yīng)的”點(diǎn)”都是為了相機(jī)定位準(zhǔn)備。相機(jī)定位問題屬于狀態(tài)估計(jì)問題，主流使用的方法有兩種: 基于濾波的方法，如MonoSLAM(Mono Simultaneous Localization And Mapping)[16]，但定位精度不高；基于優(yōu)化的方法，這也是近幾年常用的方法?；趦?yōu)化的方法分成兩個(gè)階段: 構(gòu)圖和跟蹤[13],常用集束調(diào)整(Bundle Adjustment, BA)[17]。由于有向的Fast算子和可旋轉(zhuǎn)的BIREF描述子(Oriented FAST and Rotated BRIEF, ORB)匹配速度快，且具有較穩(wěn)定的旋轉(zhuǎn)不變性，因此本文選用ORB作為特征點(diǎn)提取，使用立體BA來優(yōu)化相機(jī)位姿。

(4)

(5)

其中，e(k,Xj)=ρ(xj-π(RkXj+tk))，Ωk為滑動(dòng)窗口中全部的三維點(diǎn)。

圖5 局部地圖跟蹤

2 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

實(shí)驗(yàn)環(huán)境如下，操作系統(tǒng)為ubuntu 16.04的臺(tái)式機(jī)，中央處理器(Central Processing Unit, CPU)為Intel Core i7-4790 CPU 3.60 GHz×8,隨機(jī)存取存儲(chǔ)器(Random Access Memory, RAM)為8 GB，圖形處理器(Graphics Processing Unit, GPU)為NVIDIA GeForce GTX 960，顯存為2 GB。開發(fā)環(huán)境為Qt 5.9.1，并使用C++以及OpenGL實(shí)現(xiàn)。

2.1 骨盆的3D模型及紋理模型制備

仿真視頻采用的雙目相機(jī)參數(shù)來自倫敦帝國理工學(xué)院Hamlyn Centre的雙目內(nèi)窺鏡參數(shù)：1)http://hamlyn.doc.ic.ac.uk/vision/data/Dataset9/Left_Camera_Calibration_Intrinsic.txt; 2)http://hamlyn.doc.ic.ac.uk/vision/data/Dataset9/Right_Camera_Calibration_Intrinsic.txt; 3)http://hamlyn.doc.ic.ac.uk/vision/data/Dataset9/camera_extrinsic.txt。如圖6所示，采用CT影像在ITK-SNAP重建的3D模型，使用UV展開對(duì)空白的骨盆模型進(jìn)行紋理貼圖。紋理圖選自盆腔手術(shù)視頻(http://pan.baidu.com/s/1eSBy2X0)，圖7的盆腔手術(shù)視頻截圖與圖6(b)的表面紋理具有較高的相似度，說明紋理模型能夠?yàn)榉抡媸中g(shù)提供具有類似真實(shí)紋理的信息。

圖6 骨盆3D模型

圖7 手術(shù)視頻截圖

2.2 基于顏色一致性的雙目視覺2D/3D初始化配準(zhǔn)

在初始配準(zhǔn)前，需對(duì)模型進(jìn)行可視點(diǎn)檢測(cè)，如圖8所示，模型頂點(diǎn)總共有340 074個(gè)，設(shè)置成不同顏色，然后按左右內(nèi)窺鏡的相機(jī)參數(shù)渲染模型，檢測(cè)到左右視圖共同的可視點(diǎn)有21 474個(gè)，耗時(shí)62 ms。

將配準(zhǔn)融合完全的模型分別繞X、Y、Z軸從偏離-30°旋轉(zhuǎn)到偏離30°，每次旋轉(zhuǎn)0.1°；沿X、Y、Z軸從-20 mm平移到20 mm，每次平移0.1 mm。然后按式(2)計(jì)算出可視點(diǎn)在左右視圖投影點(diǎn)顏色的均方差，如圖9(a)和圖9(b)所示。兩幅圖可以說明，存在模型視圖矩陣Tcm使得式(2)達(dá)到全局最優(yōu)的狀態(tài)。

圖8 可視點(diǎn)檢測(cè)效果

圖9 頂點(diǎn)在左右視圖的投影點(diǎn)均方差

式(2)的優(yōu)化是非線性優(yōu)化。梯度下降法如Newton、Gauss-Newton和Levenberg-Marquardt等非線性優(yōu)化算法雖然在非線性優(yōu)化有良好的效果，但是經(jīng)實(shí)驗(yàn)測(cè)試，式(2)在使用梯度下降法優(yōu)化的過程中很容易陷入局部最優(yōu)狀態(tài)，故不適合使用梯度下降法進(jìn)行優(yōu)化。本文使用無導(dǎo)數(shù)優(yōu)化(derivative-free optimization)中的二次逼近約束優(yōu)化(Bound Optimization BY Quadratic Approximation, BOBYQA)[18]進(jìn)行優(yōu)化, 而且這是一種有約束的無導(dǎo)數(shù)優(yōu)化。將優(yōu)化變量變成6維的李代數(shù)形式：Tcm=eξ∧。Tcm為4×4矩陣，但ξ為6維向量，前三維為旋轉(zhuǎn)向量，后三維為平移向量，優(yōu)化的變量轉(zhuǎn)化為6個(gè)維度。BOBYQA優(yōu)化將置信區(qū)間作為步長，然后沿著每一維度變化，更新二次模型，最后根據(jù)二次模型求出最優(yōu)解。由圖9可以得出在0值(ground truth)投影點(diǎn)均方差并不為零，這是由于部分頂點(diǎn)投影顏色是由插值得到，導(dǎo)致左右視圖頂點(diǎn)投影顏色無法精確相等，觀察圖9定義可視點(diǎn)的全部可視點(diǎn)的顏色均方差小于5，則認(rèn)為3D模型與手術(shù)2D畫面配準(zhǔn)融合完全。配準(zhǔn)效果如圖10(b)。

圖10 配準(zhǔn)效果

2.3 基于雙目視覺的內(nèi)窺鏡運(yùn)動(dòng)軌跡跟蹤算法

本文使用g2o框架[19]的Levenberg-Marquardt梯度下降法對(duì)相機(jī)姿態(tài)進(jìn)行優(yōu)化。采用此算法在仿真視頻上進(jìn)行跟蹤，共700幀，跟蹤軌跡與真實(shí)軌跡顯示如圖11所示，實(shí)線表示真實(shí)軌跡，虛線是本文跟蹤算法的軌跡，兩條軌跡非常接近，均方根誤差為2.393 3 mm，說明跟蹤軌跡能夠提供精度較高的位置信息。

圖12、圖13、圖14分別表示軌跡圖的Z-X視圖、Y-X視圖、Z-Y視圖，從中可以看出，Z-X視圖的兩條軌跡基本吻合；Y-X視圖、Z-Y視圖的最大偏差約為5 mm。進(jìn)一步驗(yàn)證了該算法估計(jì)的位置信息精度高。

圖11 軌跡三維顯示

圖12 Z-X 視圖

圖13 Y-X視圖

為了進(jìn)一步驗(yàn)證跟蹤算法的效果，將重建的3D模型利用3D打印機(jī)打印出實(shí)體模型，并涂上血肉顏色，形成仿真的打印模型。模擬手術(shù)的過程，拍攝一段手術(shù)視頻，在該系統(tǒng)上進(jìn)行測(cè)試。跟蹤一段時(shí)間后，效果顯示如圖15所示。從視覺觀測(cè)，重建的模型與打印模型的融合程度較高，說明具有良好的AR顯示效果。

圖14 Z-Y視圖

圖15 AR顯示

3 結(jié)語

本文設(shè)計(jì)開發(fā)了一套基于立體視覺的盆腔微創(chuàng)手術(shù)增強(qiáng)現(xiàn)實(shí)(AR)導(dǎo)航仿真系統(tǒng)，在本系統(tǒng)中提出了一種基于立體視覺的2D/3D初始化配準(zhǔn)融合，并且實(shí)現(xiàn)了基于ORB的立體視覺跟蹤算法來估計(jì)相機(jī)的軌跡。立體內(nèi)窺鏡觀測(cè)骨盆時(shí)，利用左右內(nèi)窺鏡的相對(duì)位姿來實(shí)現(xiàn)顏色一致性，以完成骨盆模型的初始化配準(zhǔn)。通常術(shù)前圖像(CT或MRI)等模態(tài)影像有較高的分辨率和視覺效果，待重建的3D模型與2D畫面完全融合，能夠很好地為醫(yī)生提供AR顯示，能更快、更準(zhǔn)確地確定病灶的位置?；诹Ⅲw視覺的跟蹤算法，在不借助其他硬件設(shè)備時(shí)，能夠?yàn)獒t(yī)生提供較準(zhǔn)確的位置信息。仿真實(shí)驗(yàn)結(jié)果顯示，AR盆腔手術(shù)導(dǎo)航系統(tǒng)具有良好的初始化配準(zhǔn)、融合，能夠較準(zhǔn)確地跟蹤內(nèi)窺鏡，為臨床醫(yī)生實(shí)施手術(shù)提供視覺輔助。

本文的仿真視頻制備能夠?yàn)椴灰撰@取真實(shí)盆腔手術(shù)軌跡的場景提供一種驗(yàn)證算法準(zhǔn)確性的途徑，在其他手術(shù)場景也同樣適用。在未來的工作中，將結(jié)合實(shí)際臨床手術(shù)來開展深入驗(yàn)證工作，并進(jìn)一步改進(jìn)真實(shí)手術(shù)場景中雙目內(nèi)窺鏡的視覺跟蹤算法，根據(jù)實(shí)際臨床數(shù)據(jù)設(shè)計(jì)AR手術(shù)導(dǎo)航的顯示方法，為基于雙目視覺的手術(shù)導(dǎo)航技術(shù)研究奠定基礎(chǔ)。

[19] KüMMERLE R, GRISETTI G, STRASDAT H, et al. g2o: a general framework for graph optimization [EB/OL]. [2017- 12- 10]. http://www.willowgarage.com/sites/default/files/g2o-icra11.pdf.