基于雙目視覺(jué)和混合現(xiàn)實(shí)的光學(xué)手術(shù)導(dǎo)航儀

董 韶，萬(wàn)新軍，方之強(qiáng)，沈李正一

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院 上海 200093）

引 言

顱底及頜面外科因其復(fù)雜的解剖結(jié)構(gòu)以及治療目的的特殊性[1-2]，對(duì)手術(shù)操作要求較高。當(dāng)前的發(fā)展趨勢(shì)為數(shù)字化與術(shù)中導(dǎo)航技術(shù)結(jié)合。數(shù)字化技術(shù)在手術(shù)中的應(yīng)用使得外科醫(yī)生能夠更精準(zhǔn)、高效地幫助患者重建其外形[3]。計(jì)算機(jī)輔助導(dǎo)航技術(shù)基于電子計(jì)算機(jī)斷層掃描（computed tomography，CT）、磁 共 振 成 像（magnetic resonance imaging，MRI）以及超聲成像等醫(yī)學(xué)圖像，利用高精度的定位儀器對(duì)手術(shù)器械定位跟蹤，達(dá)到圖像引導(dǎo)手術(shù)的目的，提高了手術(shù)安全性以及成功率[4]。但此技術(shù)存在一些問(wèn)題：第一，患者與導(dǎo)航系統(tǒng)所用的圖像之間缺乏直接的空間關(guān)系[5]；第二，顯示屏顯示的為二維圖像，缺乏深度信息且不直觀，完全依靠醫(yī)生的經(jīng)驗(yàn)來(lái)進(jìn)行手術(shù)操作；第三，外科醫(yī)生需要交替觀察顯示器和術(shù)區(qū)[6]，來(lái)回切換視線容易造成視覺(jué)疲勞，進(jìn)而影響手術(shù)的精確性。這些問(wèn)題使得手術(shù)導(dǎo)航技術(shù)在顱頜面骨性手術(shù)的應(yīng)用受到限制。

近年來(lái)，計(jì)算機(jī)性能的提升以及圖像處理和顯示技術(shù)的發(fā)展，使得混合現(xiàn)實(shí)技術(shù)得以發(fā)展。自微軟推出Hololens頭戴顯示設(shè)備以來(lái)，基于Hololens的混合現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)應(yīng)用越來(lái)越廣泛[7]。混合現(xiàn)實(shí)系統(tǒng)可以將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景等實(shí)時(shí)疊加顯示到真實(shí)場(chǎng)景中，增強(qiáng)了使用者對(duì)真實(shí)世界的感觀[8]?；旌犀F(xiàn)實(shí)技術(shù)結(jié)合即時(shí)定位與地圖構(gòu)建（simultaneous localization and mapping，SLAM）技術(shù)應(yīng)用于手術(shù)導(dǎo)航中，能實(shí)現(xiàn)精確的定位跟蹤[9]?；旌犀F(xiàn)實(shí)手術(shù)導(dǎo)航技術(shù)可以將規(guī)劃好的虛擬模型精準(zhǔn)疊加顯示到術(shù)區(qū)，這使得外科醫(yī)生的視線不用離開(kāi)手術(shù)視野，既保證了手術(shù)的安全性也減緩了醫(yī)生的視覺(jué)疲勞，提高了手術(shù)效率。目前混合現(xiàn)實(shí)技術(shù)在臨床上已經(jīng)有較多的研究。Zhu等[10]運(yùn)用混合現(xiàn)實(shí)技術(shù)為20例下頜骨畸形患者進(jìn)行整形手術(shù)，基于與下頜骨固定連接的識(shí)別圖進(jìn)行定位，確定下牙槽神經(jīng)管位置以及顯示術(shù)前規(guī)劃的截骨線。但該方案僅適用于下頜骨手術(shù)，制造專用夾板也需要耗費(fèi)時(shí)間，且咬合夾板的松動(dòng)會(huì)導(dǎo)致注冊(cè)的錯(cuò)誤。Teatini等[11]通過(guò)將跟蹤小球固定于混合現(xiàn)實(shí)（mixed reality, MR）眼鏡上，利用手眼標(biāo)定法找到光學(xué)跟蹤儀和MR眼鏡兩個(gè)坐標(biāo)系的轉(zhuǎn)換關(guān)系，使得最終的配準(zhǔn)精度在8 mm左右。但該方案需要在MR眼鏡上增加參考物，這增加了系統(tǒng)的復(fù)雜度。并且手眼標(biāo)定流程復(fù)雜，最終的配準(zhǔn)精度較低。Sun等[12]通過(guò)以探針測(cè)量在MR眼鏡中顯示的正交軸，以獲取世界坐標(biāo)到虛擬場(chǎng)景的映射。該方案有一定的便利性，但因手抖以及虛擬軸點(diǎn)漂移等因素，對(duì)最終的配準(zhǔn)精度有一定影響。

本文提出了一種新穎的虛實(shí)配準(zhǔn)方法，通過(guò)此方法可以獲得混合現(xiàn)實(shí)眼鏡坐標(biāo)系與雙目測(cè)量坐標(biāo)系之間的轉(zhuǎn)換矩陣，完成虛擬模型在兩個(gè)坐標(biāo)系中的轉(zhuǎn)換。這種方法是通過(guò)在混合現(xiàn)實(shí)眼鏡里顯示與參考支架上的反光球大小相同的虛擬小球，并通過(guò)手勢(shì)將其進(jìn)行移動(dòng)直至與參考支架上的反光球重合，由虛擬小球和反光球這兩組對(duì)應(yīng)的坐標(biāo)進(jìn)一步求解轉(zhuǎn)換矩陣。相比于利用識(shí)別圖進(jìn)行定位，利用雙目視覺(jué)定位的精度更高且系統(tǒng)更穩(wěn)定。導(dǎo)航儀的配準(zhǔn)方案相較于在MR眼鏡上增加跟蹤球，以及在MR眼鏡里顯示虛擬軸點(diǎn)等方案，系統(tǒng)復(fù)雜度較低，不受手抖因素的影響，操作簡(jiǎn)單，更易于應(yīng)用到臨床手術(shù)中。

1 光學(xué)手術(shù)導(dǎo)航儀設(shè)計(jì)

1.1 光學(xué)手術(shù)導(dǎo)航儀結(jié)構(gòu)

如圖1所示，導(dǎo)航儀主要包括3個(gè)子系統(tǒng)：區(qū)域1是光學(xué)跟蹤儀子系統(tǒng)；區(qū)域2是MR眼鏡子系統(tǒng)；區(qū)域3是數(shù)據(jù)處理子系統(tǒng)。另外，區(qū)域4、區(qū)域5和區(qū)域6所示分別是頭骨模型、參考支架和探針。光學(xué)跟蹤儀子系統(tǒng)跟蹤帶有反光標(biāo)志球的探針以及被動(dòng)參考支架的姿態(tài)，并將其位置坐標(biāo)通過(guò)串口發(fā)送到數(shù)據(jù)處理單元。數(shù)據(jù)處理單元結(jié)合MR眼鏡發(fā)送的虛擬配準(zhǔn)點(diǎn)的坐標(biāo)進(jìn)行變換矩陣的計(jì)算，并將該矩陣以特定的形式發(fā)送給MR眼鏡子系統(tǒng)，以控制虛擬模型的運(yùn)動(dòng)。

圖 1 光學(xué)手術(shù)導(dǎo)航系統(tǒng)Fig. 1 Optical surgical navigation system

光學(xué)跟蹤儀基于雙目視覺(jué)原理來(lái)確定反光標(biāo)志點(diǎn)的空間坐標(biāo)，是目前手術(shù)導(dǎo)航定位系統(tǒng)主要采用的定位裝置[13]。雙目立體視覺(jué)的測(cè)量是根據(jù)光學(xué)三角法原理進(jìn)行空間標(biāo)志點(diǎn)的三維信息獲取[14]。本文所采用的光學(xué)跟蹤儀為NDI公司的Polaris系列，測(cè)量精度在0.25 mm內(nèi)，最大幀率為20 幀/s。在導(dǎo)航過(guò)程中，光學(xué)跟蹤儀可以實(shí)時(shí)獲取探針和參考支架上的反光標(biāo)志球的坐標(biāo)，從而得到探針和參考支架的空間位置。

MR眼鏡是結(jié)合慣性測(cè)量單元與攝像頭提供的信息實(shí)時(shí)評(píng)估用戶姿態(tài)，并將圖像輸出給全息顯示器，最終將虛擬模型投射在空間環(huán)境中[15]。混合現(xiàn)實(shí)最關(guān)鍵的技術(shù)是SLAM技術(shù)。通過(guò)SLAM技術(shù)，MR眼鏡可以判斷全息影像相對(duì)于自身以及現(xiàn)實(shí)空間的位置。SLAM獲取深度的方法主要有3種：第一是基于視差原理的雙目視覺(jué)方法獲取深度；第二是通過(guò)將光進(jìn)行編碼并射出打在物體上，由于編碼光打在不同物體上的畸變程度不同，從而推斷出物體立體信息，這種方法稱為結(jié)構(gòu)光法；第三是通過(guò)對(duì)光發(fā)射到物體表面并反射回來(lái)的時(shí)間差計(jì)算出物體深度信息，這種方法稱為飛行時(shí)間（time of flight, ToF）方法。本文的導(dǎo)航儀采用的MR眼鏡是微軟推出的HoloLens 2代（HoloLens2）。HoloLens2的深度相機(jī)是基于ToF原理獲取的。HoloLens2使用環(huán)境感知攝像頭捕獲真實(shí)環(huán)境圖像，從中提取特征點(diǎn)，再匹配相鄰幀圖像的特征點(diǎn)，通過(guò)特征點(diǎn)相對(duì)位置的變化來(lái)反向推出HoloLens2轉(zhuǎn)動(dòng)的角度和產(chǎn)生的位移，從而算出HoloLens2的運(yùn)動(dòng)。

通過(guò)數(shù)據(jù)處理子系統(tǒng)可以建立光學(xué)跟蹤子系統(tǒng)與MR眼鏡子系統(tǒng)之間的連接，并對(duì)位置、姿態(tài)等數(shù)據(jù)進(jìn)行處理。數(shù)據(jù)處理子系統(tǒng)還作為服務(wù)器向MR眼鏡實(shí)時(shí)無(wú)線傳輸數(shù)據(jù)，控制虛擬模型的移動(dòng)。

1.2 工作流程設(shè)計(jì)

（1）CT掃描與三維模型重建

術(shù)前患者進(jìn)行薄層螺旋CT掃描。采用LightSpeed Ultra 16螺旋CT機(jī)（美國(guó)GE公司）進(jìn)行多層螺旋 CT 薄層掃描。掃描范圍為顱頂至舌骨水平，預(yù)設(shè)硬組織窗（250～3000 Hu），采用連續(xù)不重疊、軸向體層掃描方式，掃描參數(shù)為：層厚1.25 mm，螺距1.35，球管電流250 mA，電壓120 kV，獲取像素矩陣512×512，像素大小0.449 mm，重建薄層厚度1 mm。

本系統(tǒng)利用Simplant Pro Version 11.04軟件進(jìn)行重建。首先，將CT生成的DICOM格式文件導(dǎo)入Simplant軟件進(jìn)行轉(zhuǎn)化；然后，確定三維重建的閾值范圍，預(yù)設(shè)閾值為250～3071 Hu，獲取顱頜面三維重建骨組織影像并去除頸椎結(jié)構(gòu)；最終，完成顱頜面硬組織模型的三維重建。

（2）規(guī)劃虛擬場(chǎng)景

將規(guī)劃好的虛擬模型導(dǎo)入U(xiǎn)nity虛擬場(chǎng)景設(shè)計(jì)軟件。場(chǎng)景如圖2所示，場(chǎng)景里包含虛擬模型、虛擬標(biāo)志點(diǎn)以及設(shè)計(jì)的UI操作界面。將場(chǎng)景打包成UWP應(yīng)用程序，通過(guò)Visual Studio開(kāi)發(fā)環(huán)境將UWP應(yīng)用程序?qū)氲紿oloLens2中。

圖 2 規(guī)劃虛擬場(chǎng)景圖Fig. 2 Planning a virtual scene

（3）坐標(biāo)轉(zhuǎn)換

利用參考支架上的4個(gè)反光球作為真實(shí)標(biāo)志點(diǎn)，設(shè)計(jì)與反光標(biāo)志球等大的4個(gè)虛擬球作為虛擬標(biāo)志點(diǎn)。獲取4個(gè)虛擬球和4個(gè)真實(shí)反光球的坐標(biāo)，完成虛擬模型坐標(biāo)系到光學(xué)跟蹤儀坐標(biāo)系的轉(zhuǎn)換。采集患者的牙尖和對(duì)應(yīng)的虛擬模型上的牙尖的坐標(biāo)完成光學(xué)跟蹤儀坐標(biāo)系到MR眼鏡坐標(biāo)系的轉(zhuǎn)換。

（4）計(jì)算最終轉(zhuǎn)換矩陣并無(wú)線傳輸?shù)窖坨R端

鑒于TCP通信穩(wěn)定可靠，在MR眼鏡和數(shù)據(jù)處理單元之間選擇建立TCP連接，提供一種可靠的、面向連接的字節(jié)流服務(wù)。其中MR眼鏡作為客戶端，數(shù)據(jù)處理單元作為服務(wù)器，實(shí)現(xiàn)數(shù)據(jù)的雙向無(wú)線傳輸。在服務(wù)器端進(jìn)行數(shù)據(jù)的采集與計(jì)算，利用服務(wù)器和客戶端之間的雙向通信，將轉(zhuǎn)換矩陣以特定的格式無(wú)線傳輸?shù)娇蛻舳耍刂铺摂M模型的旋轉(zhuǎn)與平移。為了避免數(shù)據(jù)擁塞或出現(xiàn)錯(cuò)誤，設(shè)計(jì)了特定的運(yùn)行機(jī)制。只有在客戶端完成數(shù)據(jù)的響應(yīng)并返回特定字符，服務(wù)器才會(huì)繼續(xù)發(fā)送姿態(tài)數(shù)據(jù)，這增強(qiáng)了混合現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)的安全性。服務(wù)器工作流程見(jiàn)圖3。

圖 3 服務(wù)器工作流程Fig. 3 Workflow of the server

（5）數(shù)據(jù)的實(shí)時(shí)更新

光學(xué)跟蹤儀通過(guò)跟蹤固定在頭骨上的參考支架，實(shí)時(shí)獲取其位置坐標(biāo)，并通過(guò)參考支架前后兩幀的坐標(biāo)變化計(jì)算轉(zhuǎn)換矩陣。由于參考支架和頭骨是剛性連接的，跟蹤儀可以得到前后兩幀頭骨位置的變換，實(shí)時(shí)更新虛擬頭骨模型的位置。

導(dǎo)航儀的幀率受3個(gè)因素的影響：一是光學(xué)跟蹤儀的采集；二是數(shù)據(jù)處理單元對(duì)數(shù)據(jù)的處理；三是無(wú)線傳輸。為了確定光學(xué)手術(shù)導(dǎo)航儀的實(shí)時(shí)幀率，將數(shù)據(jù)采集、處理和無(wú)線傳輸三個(gè)過(guò)程視為一個(gè)完整的周期。通過(guò)打印若干周期的時(shí)間來(lái)計(jì)算導(dǎo)航儀的實(shí)時(shí)幀率，最終確定導(dǎo)航儀的更新速率約為15 幀/s。考慮到患者在手術(shù)過(guò)程中不會(huì)快速移動(dòng)，認(rèn)為其幀率符合臨床要求。

2 虛實(shí)配準(zhǔn)模型和方法設(shè)計(jì)

2.1 基于奇異值分解（SVD）的虛實(shí)配準(zhǔn)模型

整個(gè)混合現(xiàn)實(shí)手術(shù)導(dǎo)航系統(tǒng)包括3個(gè)坐標(biāo)系，分別是：{Tr}光學(xué)跟蹤儀坐標(biāo)系，{V}虛擬模型坐標(biāo)系，{H}MR眼鏡坐標(biāo)系。3個(gè)坐標(biāo)系的轉(zhuǎn)換關(guān)系見(jiàn)圖4。

圖 4 混合現(xiàn)實(shí)導(dǎo)航儀不同坐標(biāo)系轉(zhuǎn)換原理圖Fig. 4 Coordinate transformation principle

虛實(shí)融合配準(zhǔn)的最終目的是通過(guò)確定3個(gè)子坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，從而實(shí)現(xiàn)將虛擬模型配準(zhǔn)到真實(shí)世界物體上，具體步驟如下：

根據(jù)剛體變換的知識(shí)，不同坐標(biāo)系之間的轉(zhuǎn)換可以通過(guò)求解一組旋轉(zhuǎn)及平移矩陣求得。若已知P為跟蹤儀坐標(biāo)系中的點(diǎn)集，Q為MR眼鏡坐標(biāo)系下的對(duì)應(yīng)點(diǎn)集，則P和Q的轉(zhuǎn)化關(guān)系為：

若用f表示源點(diǎn)集P在變換矩陣R和T作用下相對(duì)于目標(biāo)點(diǎn)集Q之間的誤差，則求解最優(yōu)的轉(zhuǎn)換矩陣即為求解當(dāng)滿足誤差f最小時(shí)的變換矩陣R和T，即：

得到最優(yōu)的變換矩陣可以分解為以下步驟：

︿P︿Q

（1）尋找兩個(gè)點(diǎn)集的質(zhì)心 和 。

（2）構(gòu)建協(xié)方差矩陣E，使用奇異值分解（SVD）方法，找到最佳矩陣R和T。

最終矩陣R和T可表示為：

若點(diǎn)集中點(diǎn)的個(gè)數(shù)大于3，則求得的為最小二乘解。

2.2 虛實(shí)標(biāo)定方法的設(shè)計(jì)

本文提出的虛實(shí)標(biāo)定方法用于得到光學(xué)跟蹤儀坐標(biāo)系與MR眼鏡坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。基于參考支架上的4個(gè)反光球，在眼鏡虛擬坐標(biāo)系里顯示與之對(duì)應(yīng)的大小完全相同的虛擬球，并依次移動(dòng)這些虛擬球與參考支架上的小球完全重合，此時(shí)得到虛擬球球心在MR眼鏡坐標(biāo)系中的位置坐標(biāo)，以及參考架上反光球球心在光學(xué)跟蹤儀坐標(biāo)系下的坐標(biāo)。通過(guò)這兩組對(duì)應(yīng)點(diǎn)的坐標(biāo)，計(jì)算光學(xué)跟蹤儀坐標(biāo)系到MR眼鏡坐標(biāo)系的轉(zhuǎn)換矩陣。

將4個(gè)虛擬球?qū)氲教摂M場(chǎng)景設(shè)計(jì)軟件Unity中，將可抓取功能的腳本附著在虛擬球上使虛擬球可以用手抓取并移動(dòng)。Unity場(chǎng)景中還設(shè)計(jì)了若干不同功能的虛擬按鍵，如圖5所示，區(qū)域1中Connect和Disconnect按鈕分別用于與服務(wù)器建立和斷開(kāi)無(wú)線連接，Get_position按鈕用于向服務(wù)器發(fā)送虛擬球在MR眼鏡坐標(biāo)系下的坐標(biāo)。Reset按鈕用于重新初始化虛擬場(chǎng)景。Hide按鈕用于配準(zhǔn)完成后隱藏4個(gè)虛擬球。區(qū)域2中的按鈕用于控制虛擬球6個(gè)方向的平移。區(qū)域3中的按鈕用于切換被控制的虛擬小球。

圖 5 虛擬配準(zhǔn)場(chǎng)景Fig. 5 Virtual registration scene

完整的注冊(cè)過(guò)程包括4個(gè)步驟。

（1） 配準(zhǔn)開(kāi)始時(shí)，在MR眼鏡中顯示配準(zhǔn)場(chǎng)景。單擊Connect 按鈕，與服務(wù)器建立連接。

（2） 用手依次抓取4個(gè)虛擬小球并移動(dòng)它們與參考支架上對(duì)應(yīng)的反光球大致重疊，操作場(chǎng)景如圖6所示。其中，顯示屏上顯示的為MR眼鏡里看到的場(chǎng)景。

圖 6 配準(zhǔn)操作場(chǎng)景Fig. 6 Operation scene during registration

（3） 點(diǎn)擊區(qū)域2中的按鈕微調(diào)虛擬小球的位置，直到虛擬球和真實(shí)的反光球完全重疊。

（4）點(diǎn)擊Get_position按鈕，可以得到4個(gè)虛擬球在MR眼鏡坐標(biāo)系中的坐標(biāo)和4個(gè)反光球在光學(xué)跟蹤儀坐標(biāo)系中的坐標(biāo)。通過(guò)這兩組對(duì)應(yīng)點(diǎn)的坐標(biāo)，計(jì)算光學(xué)跟蹤儀坐標(biāo)系與MR眼鏡坐標(biāo)系之間的轉(zhuǎn)換矩陣，完成這兩個(gè)坐標(biāo)系的配準(zhǔn)。

3 導(dǎo)航儀精度驗(yàn)證實(shí)驗(yàn)設(shè)計(jì)

為了進(jìn)行誤差分析，定制了如圖7所示的梯臺(tái)進(jìn)行實(shí)驗(yàn)。該梯臺(tái)上底邊長(zhǎng)為100 mm，下底邊長(zhǎng)為150 mm，高為100 mm。梯臺(tái)角點(diǎn)清晰且易于測(cè)量，故適合進(jìn)行精度驗(yàn)證。

圖 7 實(shí)驗(yàn)?zāi)Ｐ图皹?biāo)志點(diǎn)Fig. 7 Experimental models and markers

取梯臺(tái)上的6個(gè)標(biāo)記點(diǎn)（標(biāo)白的點(diǎn)1至點(diǎn)6）進(jìn)行配準(zhǔn)，4個(gè)頂點(diǎn)（標(biāo)黃的點(diǎn)1至點(diǎn)4）進(jìn)行精度驗(yàn)證。具體驗(yàn)證步驟如下：

（1）用戶戴上MR眼鏡，運(yùn)行設(shè)計(jì)好的 MR導(dǎo)航軟件并與服務(wù)器建立連接。在虛擬場(chǎng)景中，用手依次抓取4個(gè)虛擬球并移動(dòng)它們與參考支架上的反光球大致重疊，然后通過(guò)點(diǎn)擊旁邊的按鈕精確控制虛擬球的旋轉(zhuǎn)和平移，使之與參考支架上的反光球完全重疊。

（2）用探針依次測(cè)量標(biāo)記點(diǎn)1至標(biāo)記點(diǎn)6在跟光學(xué)跟蹤儀坐標(biāo)系中的坐標(biāo)，計(jì)算出虛擬模型坐標(biāo)系與光學(xué)跟蹤儀坐標(biāo)系之間的轉(zhuǎn)換矩陣。

（3）利用虛擬球和真實(shí)反光球的兩組坐標(biāo)計(jì)算光學(xué)跟蹤儀坐標(biāo)系和MR眼鏡坐標(biāo)系之間的轉(zhuǎn)換矩陣。

（4）根據(jù)步驟2和步驟3中得到的轉(zhuǎn)換矩陣計(jì)算最終的轉(zhuǎn)換矩陣。

（5）將最終的轉(zhuǎn)換矩陣以特定的格式無(wú)線發(fā)送到MR眼鏡，將虛擬梯臺(tái)與真實(shí)梯臺(tái)配準(zhǔn)，如圖8所示。其中，藍(lán)色的模型為虛擬梯臺(tái)，黑色的模型為真實(shí)的梯臺(tái)。圖片是通過(guò)MR眼鏡拍攝，虛擬模型與真實(shí)梯臺(tái)的配準(zhǔn)狀態(tài)與使用者佩戴眼鏡觀測(cè)的不完全一樣（實(shí)際佩戴觀看較為準(zhǔn)確），其準(zhǔn)確的精度數(shù)據(jù)以表1記錄的為準(zhǔn)。

圖 8 配準(zhǔn)完成后的效果圖Fig. 8 The effect after the registration is completed

（6）用探針依次測(cè)量梯臺(tái)上的4個(gè)驗(yàn)證點(diǎn)，將其記作Qi(x,y,z)，然后依次測(cè)量與之對(duì)應(yīng)的4個(gè) 虛 擬 標(biāo) 記 點(diǎn) 的 坐 標(biāo)，記 作Pi(x,y,z)。其 中i的值為1，2，3，4。計(jì)算Pi與Qi的距離，記作|PiQi|，可表示為：

|PiQi| 的值即為梯臺(tái)上真實(shí)標(biāo)記點(diǎn)與虛擬模型上的標(biāo)記點(diǎn)的誤差。利用真實(shí)標(biāo)記點(diǎn)與虛擬標(biāo)記點(diǎn)的誤差可以實(shí)際表示出系統(tǒng)真實(shí)的配準(zhǔn)精度，進(jìn)而驗(yàn)證本導(dǎo)航儀配準(zhǔn)方法的效率以及可靠性。

重復(fù)上述驗(yàn)證過(guò)程，共采集8組精度數(shù)據(jù)，以減小測(cè)量誤差，將最終每個(gè)點(diǎn)的精度記錄在表1中。

表 1 梯臺(tái)模型的配準(zhǔn)誤差Tab. 1 Registration error of experimental models

將數(shù)據(jù)導(dǎo)入 MATLAB 軟件，生成誤差箱線圖，見(jiàn)圖9所示。其中，數(shù)據(jù)的上邊緣、下邊緣、中位數(shù)和兩個(gè)四分位數(shù)都已經(jīng)在圖中表示出來(lái)。

圖 9 梯臺(tái)模型配準(zhǔn)誤差Fig. 9 Registration error of experimental models

結(jié)合表1和圖9可以看出，最小的誤差為1.6 mm，最大的誤差為6.6 mm，誤差值多數(shù)集中在3 mm至5 mm之間，總平均誤差為4.5 mm。用梯臺(tái)模型驗(yàn)證完精度后，進(jìn)一步利用3D打印的頭骨模型進(jìn)行驗(yàn)證。實(shí)際配準(zhǔn)效果見(jiàn)圖10。其中，顯示屏上顯示的為MR眼鏡里看到的場(chǎng)景。

頭骨模型上做了若干標(biāo)記點(diǎn)用于配準(zhǔn)及精度驗(yàn)證。如圖11(a)所示，配準(zhǔn)點(diǎn)為牙齒上方的6個(gè)十字標(biāo)記點(diǎn)，驗(yàn)證點(diǎn)為圖中標(biāo)紅的點(diǎn)1至點(diǎn)4。經(jīng)過(guò)配準(zhǔn)操作后，虛擬頭骨和真實(shí)頭骨模型配準(zhǔn)在一起，如圖11(b)所示。藍(lán)色的模型為虛擬頭骨，白色的為3D打印頭骨模型，可以看到，兩者基本重疊在一起（佩戴眼鏡實(shí)際觀測(cè)效果要好于照片效果）。為了驗(yàn)證提出的配準(zhǔn)方法的適用性，針對(duì)該3D打印的頭骨模型，4名實(shí)驗(yàn)者，每人進(jìn)行2次，參與實(shí)驗(yàn)驗(yàn)證，共進(jìn)行了8組實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)記錄在表2中。

圖 10 配準(zhǔn)完成后的場(chǎng)景圖Fig. 10 The scene after registration is complete

圖 11 頭骨模型及虛實(shí)融合場(chǎng)景Fig. 11 Skull model and virtual reality fusion scene

表 2 頭骨模型的配準(zhǔn)誤差Tab. 2 Registration error of skull model

將數(shù)據(jù)導(dǎo)入MATLAB 軟件，生成誤差箱線圖，詳見(jiàn)圖12。其中，數(shù)據(jù)的上邊緣、下邊緣、中位數(shù)和兩個(gè)四分位數(shù)都已經(jīng)在圖中表示出來(lái)。

圖 12 頭骨模型配準(zhǔn)誤差Fig. 12 Registration error of skull model

結(jié)合表2和圖12可以看出，頭骨模型的配準(zhǔn)總平均誤差在4.4 mm左右，最小的誤差為1.9 mm，最大的誤差為6.4 mm，誤差值多數(shù)集中在3 mm至5 mm之間，總體和梯臺(tái)模型驗(yàn)證結(jié)果一致。

另外，虛實(shí)配準(zhǔn)過(guò)程所消耗的時(shí)間也是評(píng)價(jià)導(dǎo)航儀性能的指標(biāo)之一。虛實(shí)配準(zhǔn)操作包含兩個(gè)過(guò)程，首先是建立MR眼鏡坐標(biāo)系與光學(xué)跟蹤儀坐標(biāo)系轉(zhuǎn)化關(guān)系的虛實(shí)標(biāo)定過(guò)程，然后是用探針依次測(cè)量配準(zhǔn)點(diǎn)在光學(xué)跟蹤儀坐標(biāo)系中的坐標(biāo)，完成虛擬模型坐標(biāo)系與光學(xué)跟蹤儀坐標(biāo)系之間轉(zhuǎn)換的過(guò)程（上文梯臺(tái)配準(zhǔn)操作中所介紹的步驟1和步驟2）。針對(duì)這兩個(gè)過(guò)程所消耗的時(shí)間，通過(guò)記錄4名不同的操作者共8次配準(zhǔn)實(shí)驗(yàn)過(guò)程所用時(shí)間進(jìn)行評(píng)估（其中每名操作者進(jìn)行兩次實(shí)驗(yàn)）。表3中分別是8組實(shí)驗(yàn)中配準(zhǔn)操作所消耗的時(shí)間?？梢钥吹?，完成過(guò)程1所消耗的平均時(shí)間在50.0 s左右，完成過(guò)程2所消耗的平均時(shí)間在17.9 s左右，完成配準(zhǔn)操作的總平均時(shí)間在67.9 s左右。

表 3 虛實(shí)配準(zhǔn)消耗時(shí)間Tab. 3 Time spent in virtual-real registration

4 結(jié) 論

本文設(shè)計(jì)了一套用于顱頜面外科手術(shù)的光學(xué)導(dǎo)航儀，并設(shè)計(jì)和驗(yàn)證了全流程的工作步驟。該導(dǎo)航儀基于雙目視覺(jué)和混合現(xiàn)實(shí)技術(shù)，將虛擬模型疊加顯示到真實(shí)世界物體上，并可實(shí)時(shí)跟蹤真實(shí)世界物體的運(yùn)動(dòng)，更新虛擬模型的位置。經(jīng)實(shí)驗(yàn)驗(yàn)證，該導(dǎo)航儀的顯示幀率為15 幀/s左右，虛實(shí)融合的平均誤差在4.5 mm左右，利用該導(dǎo)航儀完成虛實(shí)配準(zhǔn)操作所消耗的總時(shí)間為67.9 s左右。本文提出的虛實(shí)配準(zhǔn)方法，沒(méi)有增加導(dǎo)航系統(tǒng)的復(fù)雜性，易于操作，易于在臨床手術(shù)中應(yīng)用。實(shí)驗(yàn)中發(fā)現(xiàn)當(dāng)MR眼鏡佩戴者變換角度觀看虛擬模型時(shí)，虛擬模型會(huì)相對(duì)偏離真實(shí)世界模型的位置，且頭部的運(yùn)動(dòng)還會(huì)產(chǎn)生累積的誤差。因此，在應(yīng)用光學(xué)手術(shù)導(dǎo)航儀時(shí)，應(yīng)當(dāng)盡量減少大幅度變換視角。隨著混合現(xiàn)實(shí)眼鏡空間定位技術(shù)的進(jìn)步，該手術(shù)導(dǎo)航儀的穩(wěn)定性將會(huì)進(jìn)一步增強(qiáng)。本文研究工作對(duì)于混合現(xiàn)實(shí)手術(shù)導(dǎo)航技術(shù)的發(fā)展具有一定的借鑒意義。