基于雙目結(jié)構(gòu)光的術(shù)中肝臟表面局部亮度飽和分區(qū)投影

陳 龍，王文聰 ，張峰峰，2*，孫立寧 ，2

（1. 蘇州大學(xué) 機(jī)電工程學(xué)院，江蘇 蘇州 215006；2. 蘇州大學(xué)蘇州納米科技協(xié)同創(chuàng)新中心，江蘇蘇州215123）

1 引 言

肝癌患者人數(shù)呈逐年遞增趨勢(shì)，目前全世界每年新增700 000 肝癌患者，其中亞洲國(guó)家患者占78%［1］。開放式肝臟腫瘤切除手術(shù)是治療肝臟腫瘤的最有效方法，在開放式肝臟腫瘤切除手術(shù)中如何對(duì)肝臟進(jìn)行三維重建以為術(shù)中腫瘤提供精確定位已經(jīng)成為手術(shù)導(dǎo)航領(lǐng)域需要重點(diǎn)解決的問題之一［2-4］。目前雙目結(jié)構(gòu)光三維重建作為術(shù)中人體組織三維重建的方法之一，具有無輻射和重建速度快等特點(diǎn)［5-6］。但由于術(shù)中肝臟表面局部亮度飽和等問題，其三維重建的表面容易發(fā)生缺失。

在醫(yī)療行業(yè)，用于三維重建的結(jié)構(gòu)光技術(shù)尚未成熟，只有少部分技術(shù)可以用于內(nèi)窺鏡腸道、肺以及腎等器官的三維重建［7］。2012 年，德國(guó)紐倫堡大學(xué)的研究者［8］提出了一種基于單目結(jié)構(gòu)光的新型內(nèi)窺鏡3D 掃描系統(tǒng)，實(shí)際實(shí)驗(yàn)測(cè)試羔羊氣管的內(nèi)表面進(jìn)行掃描三維重建的效果較為一般。2014 年智能機(jī)器人與系統(tǒng)國(guó)際會(huì)議上，美國(guó)哥倫比亞大學(xué)的研究人員［9］使用基于結(jié)構(gòu)光的腹腔鏡系統(tǒng)，通過該系統(tǒng)可以解決傳統(tǒng)的腹腔鏡技術(shù)在微創(chuàng)手術(shù)過程中只能提供二維圖像，導(dǎo)致醫(yī)生沒有三維深度信息感知的問題。此外，2018 年加拿大多倫多大學(xué)的研究人員［10］利用結(jié)構(gòu)光進(jìn)行高速、高密度術(shù)中三維光學(xué)成像，用于開放式顱脊外科手術(shù)導(dǎo)航中MRI 和CT 圖像的有效配準(zhǔn)。但是目前已有的研究中沒有針對(duì)開放式肝臟腫瘤切除手術(shù)中存在的由于手術(shù)環(huán)境和相機(jī)采集視角等引起的肝臟表面局部亮度飽和而導(dǎo)致肝臟表面三維重建缺失的問題進(jìn)行研究和解決方法。

針對(duì)上述問題，本文提出基于不同反射率區(qū)域分割投影算法制定的自適應(yīng)最佳條紋光柵的方法來解決上述問題。同時(shí)，搭建術(shù)中基于雙目結(jié)構(gòu)光的肝臟表面三維重建系統(tǒng)平臺(tái)，制定基于該系統(tǒng)平臺(tái)的肝臟三維重建的流程并通過豬肝實(shí)驗(yàn)對(duì)本文提出的方法的有效性進(jìn)行驗(yàn)證。

2 針對(duì)肝臟表面局部亮度飽和的分區(qū)投影算法

2.1 肝臟表面光照模型

在肝臟腫瘤切除手術(shù)過程中，可能會(huì)因?yàn)橥渡涔饩€和手術(shù)環(huán)境光等原因而產(chǎn)生肝臟局部亮度飽和的現(xiàn)象。根據(jù)醫(yī)生提供的術(shù)中信息，在采用基于相移的雙目結(jié)構(gòu)光進(jìn)行肝臟表面三維重建時(shí)，也會(huì)出現(xiàn)該問題。從物理光學(xué)的角度分析，肝臟表面對(duì)投影光線的吸收、反射以及反射角度等因素將會(huì)影響肝臟表面的三維重建。如圖1 所示，建立肝臟表面的投影光照模型，假設(shè)投影儀投射至肝臟表面O點(diǎn)的光線為L(zhǎng)p，反射的光線的方向?yàn)長(zhǎng)b，O點(diǎn)處的法線用Nf表示，相機(jī)的視角方向用Cc表示。肝臟表面的反射光線通常包括其漫反射和鏡面反射，其中鏡面反射主要由鏡面反射葉瓣和鏡面尖峰組成。

圖1 肝臟表面物理光照模型Fig.1 Physical illumination model of liver surface

相機(jī)實(shí)際的采集視角所獲得光強(qiáng)（指照度，單位為L(zhǎng)ux，后續(xù)光強(qiáng)均是此意）與其和反射光線的夾角γ相關(guān)，當(dāng)γ=0 時(shí)，相機(jī)采集的光強(qiáng)達(dá)到最大值。假設(shè)投射的光線的強(qiáng)度為Ip（x，y），肝臟表面的鏡面反射系數(shù)和漫反射系數(shù)分別為Gj和Gm，則肝臟表面某點(diǎn)的鏡面反射和漫反射的光強(qiáng)分別通過式（1）和（2）計(jì)算得：

其中：Im（x，y）和Ij（x，y）分別表示漫反射和鏡面反射的光強(qiáng)的分量，n代表肝臟表面的反射指數(shù)。當(dāng)相機(jī)沿著Cc方向采集圖像時(shí)，從式（2）可以看出肝臟表面的亮度飽和區(qū)域主要集中在鏡面反射的葉瓣區(qū)域。

2.2 肝臟表面局部亮度飽和的影響

如圖2 所示，通過投影儀投射條紋光柵至肝臟表面，由相機(jī)采集圖片后再進(jìn)行相位解算和匹配。目前采用的CCD 相機(jī)通常其灰度值的級(jí)別都受限制，正常情況處于0～255 范圍，容易導(dǎo)致過度曝光某個(gè)區(qū)域的像素［11-13］。主要是因?yàn)楫?dāng)灰度值到達(dá)255 時(shí)，該區(qū)域的條紋光柵被截?cái)鄬?dǎo)致在條紋光柵的解相過程中包含于條紋光柵的相位信息發(fā)生丟失，進(jìn)而導(dǎo)致肝臟表面該區(qū)域的三維重建缺失。

圖2 基于雙目結(jié)構(gòu)光系統(tǒng)的肝臟表面光照示意圖Fig.2 Light schematic of liver surface based on binocular structured light system

假設(shè)采用的條紋光柵為N步相移之后產(chǎn)生，且此時(shí)只有圖像飽和因素帶來的強(qiáng)度誤差，投影儀的光強(qiáng)若為Ipi（x，y），則投射至肝臟表面后，相機(jī)能采集到的光強(qiáng)為：

根據(jù)式（3）可以進(jìn)一步得到基于亮度飽和圖像的相機(jī)和投影儀的光強(qiáng)差以及因此而產(chǎn)生的相位的誤差：

由式（5）可以看出隨著N的增大，由于亮度飽和引起的相位的誤差將減小，但無限制的增加相移步數(shù)也會(huì)導(dǎo)致三維重建的效率低、過程繁瑣的問題［14-15］。

2.3 自適應(yīng)最佳投影條紋的求取及投影點(diǎn)的映射

2.3.1 基于肝臟表面不同反射率區(qū)域分割算法的最佳條紋光柵投影強(qiáng)度計(jì)算

在實(shí)際的肝臟表面三維重建過程中，如圖3所示，需考慮多種因素，以左相機(jī)為例，當(dāng)投影儀的光強(qiáng)為Ip，假設(shè)手術(shù)環(huán)境的光強(qiáng)為IES，肝臟表面整體的平均反射率為ρ，左、右相機(jī)的曝光時(shí)間和增益分別為Ct和Cz，則相機(jī)不僅能夠采集到投影儀的光強(qiáng)ρIp，還能接收肝臟表面反射的手術(shù)環(huán)境的光強(qiáng)ρIES，以及直接被相機(jī)采集的手術(shù)環(huán)境光強(qiáng)IEC。

圖3 手術(shù)環(huán)境下的肝臟表面光照分析Fig.3 Light analysis of the surface of the liver based on the surgical environment

通常相機(jī)也會(huì)存在一定遵循高斯分布的相機(jī)噪聲IZ，考慮到以上多種因素后，相機(jī)采集到的強(qiáng)度通過投影儀像素坐標(biāo)系和相機(jī)圖像坐標(biāo)系可表示為：

當(dāng)Ct和Cz為定值時(shí)，則此時(shí)相機(jī)存在的噪聲IZ1=IZ/（CzCt）仍然服從高斯分布：

在實(shí)際的手術(shù)過程中進(jìn)行肝臟表面三維重建時(shí)肝臟表面的反射強(qiáng)度以及手術(shù)環(huán)境的光強(qiáng)基本不會(huì)發(fā)生變化，本文假設(shè)它們?yōu)楣潭ㄖ怠Ａ钔瑫r(shí)對(duì)c、d進(jìn)行偏微分求導(dǎo)整理后得：

一般情況下c、d的值只需要2 幅條紋光柵圖像便可求得。肝臟在手術(shù)過程中其表面材質(zhì)的反射率的變化可忽略不計(jì)，假設(shè)僅投影的光強(qiáng)發(fā)生變化，將n幅具有統(tǒng)一灰度的光柵圖案投射至肝臟表面可得：

由將相機(jī)拍攝的圖像上的每個(gè)像素點(diǎn)的反射率和手術(shù)環(huán)境與肝臟的表面的相互反射的光強(qiáng)分別命名為則對(duì)上式（11）求解可得：

由式（12）可知，在手術(shù)環(huán)境、相機(jī)的曝光時(shí)間和增益以及肝臟表面的反射率不變的情況下，投影儀投射的光強(qiáng)是唯一影響相機(jī)采集圖像灰度值的因素。本文使用的CCD 相機(jī)在采集圖像時(shí)要考慮到整個(gè)系統(tǒng)存在一定的噪聲，因此設(shè)置的最佳條紋投影強(qiáng)度要考慮相機(jī)采集的最佳的條紋強(qiáng)度除了防止圖像局部亮度飽和以外，還要留下一定的圖像的灰度空間。一般情況下采集的圖像較為合適：

式（13）可以看出，投影儀投射的條紋圖像中每個(gè)像素的最佳投影強(qiáng)度與肝臟的手術(shù)環(huán)境、每個(gè)像素對(duì)應(yīng)的反射率以及和肝臟表面形成的互反射相關(guān)。相機(jī)拍攝的肝臟表面條紋光柵的照片的像素較高，因此在此種情況下，為每個(gè)像素制定一個(gè)最佳的投影的灰度顯得計(jì)算量巨大，并且缺乏科學(xué)性。根據(jù)式（12）可以推出實(shí)際過程中主要由c（x，y）和d（x，y）的分布來共同決定投影儀的投射強(qiáng)度。

肝臟表面不同位置的反射率其實(shí)并不相同，因此可以將表面嘗試著劃分成幾個(gè)小區(qū)間，每個(gè)區(qū)間對(duì)應(yīng)不同的投影儀最佳投影灰度。當(dāng)劃分的區(qū)間步長(zhǎng)較小時(shí)，此時(shí)重建的精度將較高，但效率將降低；反之，重建的效率將提高，但精度降低。

目前已有的研究中有采用人工手動(dòng)進(jìn)行區(qū)間的劃分，但是該技術(shù)在實(shí)際肝臟手術(shù)過程中，醫(yī)生缺乏相關(guān)經(jīng)驗(yàn)無法對(duì)其進(jìn)行劃分，同時(shí)該劃分增加了手術(shù)的繁瑣度，增加手術(shù)風(fēng)險(xiǎn)。考慮手術(shù)的需要，本文需要對(duì)其區(qū)間實(shí)現(xiàn)自動(dòng)化分，在劃分過程中需要對(duì)像素的反射率計(jì)算出一個(gè)合適的分割閾值。像素反射率的區(qū)域分布與對(duì)應(yīng)內(nèi)容的關(guān)系如圖4 所示，其中目標(biāo)和背景分別對(duì)應(yīng)著1 號(hào)和3 號(hào)區(qū)域，2 號(hào)和4 號(hào)區(qū)域分別代表邊緣以及噪聲。通常情況下像素主要來自于目標(biāo)和背景，與它們的反射率相近，因此其反射率的值會(huì)分布在對(duì)角線附近。

假設(shè)像素的反射率用g(x，y)來表示，則其相鄰區(qū)域的均值可表示成：

式（14）中dwidth×dwidth表示所選中的相鄰的區(qū)域大小且dwidth的值通常為奇數(shù)，i和j分別表示x和y方向移動(dòng)的像素的大小。

將p(g，n)表示成g(x，y)和r(x，y)進(jìn)行聯(lián)合定義(g，r)的概率密度函數(shù)，(g，r)的頻率函數(shù)用f(g，n)表示，結(jié)合圖4 可以將肝臟手術(shù)背景和目標(biāo)肝臟的概率表示成：

圖4 像素反射率與圖像內(nèi)容對(duì)應(yīng)關(guān)系Fig.4 Corresponding relation between pixel reflectivity and image content

將手術(shù)背景和目標(biāo)肝臟的離散的度量矩陣σD表示成：

可推出其距離度量的函數(shù)為：

假設(shè)二維的術(shù)中相機(jī)拍攝的圖像最佳的分割的閾值為：

令Qi表示設(shè)定的閾值，其中i=4，表示可將表面的反射率劃分成4 個(gè)不同的區(qū)間：

其中：ηa，ηb，ηw是比例因子，閾值Q劃分出的區(qū)間為（0，Q1］，（Q1，Q2］，（Q2，Q3］，（Q3，Q4］，則 這 四個(gè)區(qū)間的最佳投影光強(qiáng)分別可表示為：

針對(duì)本文采用的四步相移法，其投影光柵條紋的平均強(qiáng)度和調(diào)制強(qiáng)度為：

根據(jù)式（21）和（22）則按區(qū)間劃分的投射至肝臟表面的條紋光柵的最佳投影灰度為：

2.3.2 投影儀投影點(diǎn)的映射和投影流程

投影儀的最佳投影強(qiáng)度需要通過相機(jī)圖像坐標(biāo)系與投影圖像坐標(biāo)系之間的轉(zhuǎn)換才能轉(zhuǎn)換到投影儀投射的條紋圖像中。通過肝臟表面三維重建系統(tǒng)的標(biāo)定參數(shù)，可以將右相機(jī)拍攝圖像中的局部亮度飽和點(diǎn)的坐標(biāo)轉(zhuǎn)換到左相機(jī)圖像中。左相機(jī)拍攝圖像中的局部亮度飽和點(diǎn)通過已標(biāo)定好的左相機(jī)與投影儀之間的內(nèi)、外參的關(guān)系轉(zhuǎn)換到投影儀投影圖像中的點(diǎn)。

針對(duì)手術(shù)過程中出現(xiàn)的肝臟表面局部亮度飽和的問題，采用自適應(yīng)投影強(qiáng)度的條紋光柵進(jìn)行有效克服。如圖5 所示，針對(duì)每個(gè)像素的反射率不同以及手術(shù)環(huán)境的光強(qiáng)等因素，利用閾值分割法對(duì)其反射率進(jìn)行區(qū)間劃分，有效的確定了亮度飽和區(qū)域的位置。借助肝臟表面三維重建系統(tǒng)的標(biāo)定，將飽和點(diǎn)映射到投影圖像中，從而進(jìn)一步計(jì)算符合該飽和點(diǎn)處的條紋光柵，實(shí)現(xiàn)最終的三維重建。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 肝臟表面三維重建系統(tǒng)的硬件平臺(tái)搭建

肝臟表面三維重建的硬件平臺(tái)主要由圖6 所示的顯示器、工作站、投影儀、雙目相機(jī)、滑動(dòng)支架、支撐架、手術(shù)器械、豬肝等組成。每個(gè)硬件的參數(shù)/型號(hào)和具體作用如表1 所示。可以通過滑動(dòng)支架來調(diào)節(jié)投影儀和雙目相機(jī)距離待重建的肝臟表面的高度以及投射的角度，上下高度的移動(dòng)距離范圍在0.2~1.2 m 左右、前后移動(dòng)的距離范圍均為0.3~1 m，投影儀在左右兩根移動(dòng)架和橫梁上的投射角度范圍分別為0~180°和0~360°。通過該平臺(tái)可以模擬醫(yī)生在手術(shù)過程中對(duì)肝臟表面的切割，同時(shí)可以根據(jù)醫(yī)生的需要，從不同角度對(duì)暴露在視野范圍內(nèi)的肝臟表面進(jìn)行高精度、快速三維重建。

圖6 基于雙目結(jié)構(gòu)光的肝臟表面三維重建系統(tǒng)硬件平臺(tái)Fig.6 Hardware platform of three-dimensional recon?struction system of liver surface based on binocular structured light

表1 肝臟表面三維重建平臺(tái)硬件作用及參數(shù)Tab.1 Hardware function and parameters of three-dimensional reconstruction platform of liver surface

3.2 局部亮度飽和改善前后的肝臟表面三維重建

由于實(shí)際的手術(shù)環(huán)境光對(duì)雙目相機(jī)的信息采集存在影響，同時(shí)雙目相機(jī)和投影儀之間擺放位置的原因，將可能導(dǎo)致投影儀投射條紋光柵至肝臟表面時(shí)，雙目相機(jī)視角中拍攝的圖片中存在局部亮度飽和的問題。針對(duì)該問題本文提出基于不同反射率區(qū)域分割的自適應(yīng)條紋光柵來克服該問題。由于豬肝與人體肝臟在實(shí)際的顏色、質(zhì)地和生物力學(xué)特性等方面存在很大的相似性，考慮到醫(yī)學(xué)道德倫理以及實(shí)驗(yàn)條件的限制，采用豬肝作為實(shí)驗(yàn)對(duì)象。在基于同樣的環(huán)境、同樣的雙目相機(jī)的信息采集角度等條件下，選取豬肝初始面、豬肝表面切割面以及腫瘤剜除后的表面作為研究代表，通過局部亮度改善前后的肝臟表面三維重建結(jié)果進(jìn)行對(duì)比，進(jìn)一步驗(yàn)證本文提出方法的有效性和科學(xué)性。

3.2.1 局部亮度飽和影響改善前的豬肝重建表面驗(yàn)證實(shí)驗(yàn)

本實(shí)驗(yàn)選擇附有腫瘤的豬肝作為實(shí)驗(yàn)對(duì)象，豬肝的表面未經(jīng)任何切割，保留其原始的狀態(tài)。如圖7 所示，白色圓圈圈出的地方代表肝臟腫瘤存在的地方。由于實(shí)驗(yàn)條件的限制，從豬肝的底部挖開口置入乒乓球來代替肝臟中的腫瘤。將豬肝放在手術(shù)床單上，平穩(wěn)的放到研究提出的肝臟表面三維重建系統(tǒng)的硬件平臺(tái)上。

圖7 附有腫瘤的豬肝Fig. 7 Porcine liver with tumor

調(diào)整雙目相機(jī)和投影儀的位置，使豬肝能夠出現(xiàn)在投影儀投射條紋光柵的投射范圍內(nèi)，同時(shí)確保雙目相機(jī)視角范圍內(nèi)能夠采集到豬肝表面清晰完整的圖像。當(dāng)雙目相機(jī)和投影儀的標(biāo)定完成后，利用投影儀向豬肝表面投射條紋光柵圖像，雙目相機(jī)實(shí)時(shí)采集圖像。但在投射的過程中通過雙目相機(jī)的視角（以左相機(jī)為例）可以發(fā)現(xiàn)，如圖8（a）所示的豬肝表面存在如方框圈出的局部亮度過飽和呈現(xiàn)白色亮斑的區(qū)域。

圖8 基于不同手術(shù)狀態(tài)下豬肝局部亮度飽和改善前的三維重建Fig.8 Three-dimensional reconstruction of porcine liver based on local luminance saturation improvement

本實(shí)驗(yàn)從實(shí)際手術(shù)過程醫(yī)生對(duì)肝臟三維曲面的要求入手，驗(yàn)證局部亮度飽和區(qū)域?qū)ωi肝最終三維曲面的影響。從圖8（a）中曲面重建的放大圖看出，三維點(diǎn)云缺失的區(qū)域經(jīng)過曲面重建后仍然存在對(duì)應(yīng)的缺失，而其他部位無任何缺失，證明在該狀態(tài)下局部亮度飽和對(duì)豬肝表面三維重建的完整性存在影響。

在實(shí)驗(yàn)（a）的基礎(chǔ)上，模擬肝臟手術(shù)過程的切割操作，如圖8（b）所示，在豬肝表面用手術(shù)刀切出圓形切口。圖中方框框選的區(qū)域?yàn)橄鄼C(jī)捕捉到的局部亮度飽和區(qū)域。從圖8（b）中豬肝曲面的放大圖可以看出，與條紋光柵局部亮度飽和區(qū)域相對(duì)應(yīng)的區(qū)域也存在三維重建的缺失，結(jié)合俯視角度和側(cè)視角度依然可以看出僅有局部亮度飽和的區(qū)域存在三維重建缺失，其余區(qū)域均取得良好的三維重建效果。

按照手術(shù)的流程，利用手術(shù)刀在豬肝表面切開圓形切口后，找到腫瘤（乒乓球）的位置將其剜除，再次利用傳統(tǒng)的雙目結(jié)構(gòu)光系統(tǒng)向豬肝表面投射條紋光柵，最終的效果如圖8（c）。從圖中可以看出隨著切割時(shí)豬肝位置的變動(dòng)，導(dǎo)致豬肝切口附近區(qū)域出現(xiàn)局部亮度飽和現(xiàn)象。由此可見局部亮度飽和區(qū)域?qū)ζ涓浇膮^(qū)域也存在一定的影響。

通過上述三個(gè)手術(shù)過程可以看出，在各個(gè)手術(shù)階段均存在不同的亮度飽和區(qū)域，傳統(tǒng)的雙目結(jié)構(gòu)光針對(duì)術(shù)中出現(xiàn)的局部亮度飽和的問題均無法解決。

3.2.2 局部亮度飽和影響改善后的豬肝重建表面缺失驗(yàn)證實(shí)驗(yàn)

從豬肝表面三維重建的實(shí)驗(yàn)效果來看，局部亮度飽和的區(qū)域必然存在三維重建缺失，為了驗(yàn)證本文提出的基于自適應(yīng)條紋光柵的肝臟表面局部亮度飽和區(qū)域三維重建的效果，本實(shí)驗(yàn)選擇同樣的實(shí)驗(yàn)對(duì)象：豬肝初始表面、圓形切口表面以及腫瘤剜除后的表面，以此來對(duì)豬肝表面局部亮度飽和區(qū)域三維重建的效果進(jìn)行驗(yàn)證。

本實(shí)驗(yàn)與局部亮度飽和改善前的實(shí)驗(yàn)同時(shí)進(jìn)行，例如當(dāng)雙目結(jié)構(gòu)光對(duì)肝臟初始表面三維重建后，保持所有的硬件設(shè)備和豬肝實(shí)驗(yàn)對(duì)象固定位置不動(dòng)，此時(shí)采用本文提出的自適應(yīng)條紋光柵重新投射至豬肝表面。利用雙目相機(jī)采集此時(shí)的圖像，并完成最終的豬肝表面整體的三維重建。從圖9 可以看出左相機(jī)拍攝的豬肝的初始表面、圓形切口表面以及腫瘤剜除后表面的條紋光柵圖像均不再存在局部亮度飽和區(qū)域，與實(shí)驗(yàn)3.2.1 中相對(duì)應(yīng)的局部亮度飽和區(qū)域均恢復(fù)正常。相機(jī)拍攝圖像中的條紋光柵被亮斑截?cái)嗟膯栴}得到解決，條紋光柵都均勻有序的分布。

圖9 基于不同手術(shù)狀態(tài)下豬肝局部亮度飽和改善后的三維重建Fig.9 Three-dimensional reconstruction of porcine liver based on local luminance saturation improvement

本文提出的方法以三維重建的豬肝表面為基準(zhǔn)面，將改善前和本文提出的方法重建出的豬肝表面之間的偏差進(jìn)行分析。從圖10 中可以看出，除了局部亮度飽和區(qū)域存在較大的偏差，其余區(qū)域的偏差大部分均在0.01 mm 以內(nèi)，可以忽略不計(jì)。豬肝初始表面、圓形切口表面以及腫瘤剜除后表面的偏差的標(biāo)準(zhǔn)差分別為0.05，0.12 和0.21 mm。在曲面三維圖中因局部亮度飽和而導(dǎo)致三維重建表面的缺失比率分別從1.1%、2.9%和1.4%降至0%。將局部亮度飽和區(qū)域進(jìn)行放大分析，該區(qū)域附近相鄰的區(qū)域也是偏差較為集中的地方，少部分區(qū)域甚至出現(xiàn)較大的偏差，如表2 所示，鄰近區(qū)域最大的偏差達(dá)到7.45 mm，平均偏差到達(dá)3.23 mm，與曲面整體平均偏差為0.18 mm。由此可以看出局部亮度飽和不僅會(huì)對(duì)該區(qū)域造成三維重建影響，對(duì)其相鄰的過渡區(qū)域也會(huì)產(chǎn)生一定的影響。

表2 局部亮度飽和改善前后肝臟表面三維重建的偏差Tab.2 Deviation of 3D reconstruction of liver surface be?fore and after local brightness saturation improve?ment

圖10 局部亮度飽和附近區(qū)域改善前后的三維重建對(duì)比Fig.10 Three-dimensional reconstruction comparison of the area near local brightness saturation before and after improvement

3.3 基于局部亮度飽和改善后的肝臟表面三維重建系統(tǒng)精度實(shí)驗(yàn)

利用豬肝模擬醫(yī)生在真實(shí)的肝臟腫瘤切除手術(shù)環(huán)境下所可能采取的手術(shù)操作，例如肝臟表面的切口、腫瘤的剜除等。采用本文設(shè)計(jì)的系統(tǒng)對(duì)豬肝在不同手術(shù)操作下的表面進(jìn)行三維重建。

通過CT 機(jī)（蘇州大學(xué)附屬第一人民醫(yī)院提供）對(duì)豬肝表面按腹部軟組織條件進(jìn)行掃描，掃描的切片層厚為0.2 mm。將掃描生成的豬肝的CT 切片通過DCM 文件格式進(jìn)行保存。在Mim?ics 軟件中導(dǎo)入保存好的豬肝CT 切片，通過圖像預(yù)處理、閾值分割等操作，具體效果如圖11 所示。將三維重建好的豬肝模型以STL 文件格式導(dǎo)出，作為衡量基于本文提出的雙目結(jié)構(gòu)光系統(tǒng)三維重建出的豬肝表面的參考面。

圖11 基于CT 切片的豬肝三維重建模型Fig.11 Three-dimensional reconstruction model of pig liver based on CT section

本小節(jié)實(shí)驗(yàn)研究主要在解決肝臟表面局部亮度飽和后，對(duì)本文的肝臟表面三維重建系統(tǒng)進(jìn)行精度驗(yàn)證，選取在醫(yī)生手術(shù)過程中常用的“一”字切割和腫瘤剜除前后等手術(shù)操作進(jìn)行模擬，并在此狀態(tài)下進(jìn)行肝臟表面三維重建。為了驗(yàn)證豬肝表面三維重建的精度，將此狀態(tài)下的豬肝進(jìn)行CT 掃描及三維模型的重建。采取與CT 重建的三維模型表面匹配精度的方式來衡量，以CT重建出的豬肝三維表面為參考面，通過Geomagic軟件來測(cè)量本文方法所重建的豬肝表面與CT 重建的豬肝表面之前的誤差，最終以平均誤差的形式來衡量本文方法在上述幾種手術(shù)狀態(tài)下的豬肝表面三維重建的精度。

3.3.1 “一”字切口的豬肝表面三維重建精度驗(yàn)證

利用手術(shù)刀在豬肝表面劃開一條“一”字的切口，模擬醫(yī)生在手術(shù)過程中對(duì)肝臟的“一”字切割操作。利用本文的肝臟三維重建系統(tǒng)和Mimics 重建出來的豬肝表面如圖12 所示。對(duì)基于本文系統(tǒng)三維重建的豬肝表面進(jìn)行精度分析，最終得到的豬肝表面三維重建的誤差大致集中在-1.82~0.49 mm，平均誤差值為0.49 mm。

圖12 “一”字切口的豬肝表面三維重建精度驗(yàn)證Fig.12 Verification of three-dimensional reconstruction accuracy of porcine liver surface with "one" inci?sion

3.3.2 腫瘤剜除前、后的豬肝表面三維重建精度驗(yàn)證

選取白色塑料小球模擬肝臟中的腫瘤，將小球置于豬肝中，使小球半暴露于空氣中。通過此方法來模擬實(shí)際的肝臟腫瘤切除手術(shù)中腫瘤暴露于空氣后的肝臟表面狀態(tài)，具體豬肝表面的三維重建的效果和誤差分析色譜圖如圖13 所示，腫瘤剜除前肝臟表面三維重建的誤差大致集中在-2.62~2.15 mm，平均誤差值為0.88 mm。利用手術(shù)刀緊貼腫瘤表面將其剜除，保持豬肝自由狀態(tài)。利用本文提出的肝臟表面三維重建系統(tǒng)對(duì)剜除后的表面進(jìn)行三維重建，同時(shí)利用CT 掃描此時(shí)的豬肝并對(duì)其進(jìn)行三維重建。將二者重建后的表面進(jìn)行差異性對(duì)比，從表面誤差的色譜圖中可以看出兩個(gè)表面的大致誤差區(qū)域集中在-2.15~1.98 mm，平均誤差值為0.89 mm。

圖13 腫瘤剜除前、后的豬肝表面三維重建精度驗(yàn)證Fig.13 Verification of precision of three-dimensional re?construction of liver surface before and after tu?mor enucleation

本實(shí)驗(yàn)對(duì)醫(yī)生在肝臟腫瘤切除手術(shù)過程中常遇到幾種手術(shù)切割方式，在上述的豬肝表面三維重建實(shí)驗(yàn)中進(jìn)行精度驗(yàn)證。假設(shè)（xsi，ysi，zsi）為結(jié)構(gòu)光三維重建的肝臟表面上的一點(diǎn)，（xci，yci，zci）為 CT 三維重建出的表面上的一點(diǎn)，則二者表面共n 個(gè)對(duì)應(yīng)點(diǎn)之間的平均誤差Ea為：

最終的實(shí)驗(yàn)結(jié)果如表3 所示。從實(shí)驗(yàn)結(jié)果可以看出肝臟表面三維重建的平均誤差大致會(huì)隨著豬肝表面切割狀態(tài)的復(fù)雜度增大。

表3 不同手術(shù)狀態(tài)下的豬肝表面三維重建精度Tab.3 Accuracy of 3D reconstruction of liver surface un?der different operating conditions

4 討論與分析

目前已有的術(shù)中肝臟三維重建方法，例如CT、X-ray 等方式均具有輻射，會(huì)在術(shù)中對(duì)醫(yī)生和病人造成二次傷害。除此以外，采用常見的MRI 成像的方式雖然解決了輻射的問題，但是在術(shù)中不能在同一房間里使用監(jiān)護(hù)和搶救設(shè)備，這將會(huì)極大增加術(shù)中病人的手術(shù)風(fēng)險(xiǎn)。從三維重建的對(duì)象角度進(jìn)行分析，目前國(guó)外已有的基于結(jié)構(gòu)光技術(shù)的脊柱三維重建效果相對(duì)較好。但與脊柱不同的是，肝臟表面紋理較弱、比較光滑，容易造成局部亮度飽和，進(jìn)而影響三維重建的完整性。在基于本研究方法基礎(chǔ)上重建的肝臟表面的誤差主要包括以下幾個(gè)方面：

（1）本文主要模擬肝臟開放式腫瘤切割手術(shù)環(huán)境、手術(shù)區(qū)域和手術(shù)操作要求等，與實(shí)際的真實(shí)手術(shù)環(huán)境存在一定區(qū)別。因此在實(shí)際的手術(shù)環(huán)境中可能肝臟表面缺失面積和三維重建的誤差將發(fā)生略微變化。

（2）本文出于系統(tǒng)硬件的成本考慮，選用的相機(jī)和投影儀等設(shè)備精度相對(duì)一般。硬件的精度將會(huì)對(duì)肝臟表面三維重建的精度造成一定的影響，因此，后續(xù)可以對(duì)系統(tǒng)平臺(tái)的硬件進(jìn)行進(jìn)一步優(yōu)化。

（3）硬件系統(tǒng)中的相機(jī)和投影儀的標(biāo)定算法需要進(jìn)一步優(yōu)化。相機(jī)和投影儀標(biāo)定的參數(shù)作為后續(xù)三維重建的基礎(chǔ)參數(shù)，對(duì)后續(xù)肝臟表面三維重建的精度有著重要影響。

5 結(jié) 論

本文主要解決由于手術(shù)環(huán)境光照、雙目相機(jī)視角和投影儀投射角度等問題造成的肝臟表面局部亮度飽和而導(dǎo)致術(shù)中肝臟表面三維重建缺失的問題。首先，對(duì)手術(shù)環(huán)境下的肝臟表面光照模型進(jìn)行研究，分析了肝臟表面局部亮度飽和對(duì)三維重建的影響。其次，根據(jù)肝臟表面像素點(diǎn)反射率不同，將肝臟表面劃分成小區(qū)間，計(jì)算最佳條紋光柵強(qiáng)度。然后，將投影儀的最佳投影強(qiáng)度轉(zhuǎn)換到投影儀投射的條紋圖像中，建立投影點(diǎn)映射關(guān)系和規(guī)劃投影流程。通過豬肝實(shí)驗(yàn)結(jié)果表明：采用本文提出的方法后，三種不同手術(shù)狀態(tài)下因局部亮度飽和而導(dǎo)致豬肝三維重建表面的缺失比率分別從1.1%、2.9%和1.4%降至0%，并且豬肝表面三維重建精度達(dá)到0.75 mm。本文的方法基本可以滿足醫(yī)生提出的術(shù)中肝臟表面三維重建精度1 mm 以內(nèi)并且重建表面無缺失的要求。