基于體紋理的肝臟可視化仿真方法研究

翟朝亮，陳國棟，王 娜，劉鳳霞

(1.福州大學物理與信息工程學院，福建 福州 350108;2.福建師范大學福清分校數(shù)學與計算機科學系，福建 福清 350300)

隨著計算機圖形技術(shù)及虛擬仿真技術(shù)的不斷發(fā)展，虛擬手術(shù)技術(shù)也取得了很大的進展，并發(fā)揮著重要作用，但是也存在著一些難點問題，主要集中在三維物體重建、對手術(shù)過程中的仿真碰撞以及軟組織的變形仿真等［1］。三維物體重建是虛擬手術(shù)中一個很關鍵的環(huán)節(jié)，它是虛擬手術(shù)切割顯示的基礎。在虛擬手術(shù)中，一個好的模型不僅要能夠真實地反映人體器官的外部形狀和內(nèi)部結(jié)構(gòu)，具有與真實人體器官相似的紋理，而且還要具有較為簡單的結(jié)構(gòu)以便于切割實現(xiàn)。

閻麗霞等［2］在虛擬手術(shù)中的模型實時繪制中從斷層圖像數(shù)據(jù)中提取相應的紋理圖像，再以這些紋理圖像構(gòu)建立體紋理圖，然后按照一定的映射法則將制作的體紋理映射到生成的幾何模型上并實現(xiàn)了實時繪制，但是這種方法的體紋理完全來源于斷層圖像，并且需要對斷層圖像進行圖像處理。采用當今技術(shù)獲取的斷層圖像分辨力并不高，這就決定了生成的紋理質(zhì)量也不高，難以滿足虛擬手術(shù)的要求。方馳華等［3］在肝內(nèi)外膽管結(jié)石64排CT數(shù)據(jù)三維重建及其臨床意義中采用MIMICS交互式的醫(yī)學影像控制系統(tǒng)重構(gòu)肝臟模型，其數(shù)據(jù)來源于肝臟64排CT的原始數(shù)據(jù)，但是在對圖像分割時需要手工勾勒出需要提取的部分并保存，工作量非常大。宋曉等［4］在基于Open Inventor的虛擬肝臟手術(shù)切割方法研究中由CT數(shù)據(jù)集轉(zhuǎn)化為三維圖形數(shù)據(jù)文件格式，再根據(jù)三維圖形數(shù)據(jù)文件中保存的肝臟組織的相對位置來構(gòu)建三維模型，其構(gòu)建的模型比較粗糙且缺乏顏色信息。Daniel Bielser等［5］在三維軟組織交互切割研究中，其對象體是從立方體按一定的規(guī)則剖分后得到的四面體集合。為了加強真實感，對對象體的外部和切割過程中新產(chǎn)生的外表面使用了二維的紋理映射。但是該方法不能真實地表述模型相對于人體某一部分的真實狀態(tài)。本文針對以上方案存在的問題提出了基于體紋理的肝臟可視化仿真方法，提出了將肝臟劃分為肝臟體和肝臟管道分別建模的思想，對肝臟體采用Takayama Kenshi等［6］的重疊體紋理貼圖的方法，實現(xiàn)了對肝臟體的貼圖。同時，本文所采用的方法有利于切割的實現(xiàn)，能夠進行切面的實時繪制。

肝臟手術(shù)涉及肝臟本身復雜的解剖、管道結(jié)構(gòu)的變異等因素導致的各種情況，致使手術(shù)的復雜度較高。本文從復雜的肝臟內(nèi)部結(jié)構(gòu)中抽象出肝臟體和肝臟管道，這樣抽象是合理的，因為在肝臟手術(shù)中，肝臟管道的分布情況是至關重要的［7］。

虛擬肝臟手術(shù)最基本的要求是能夠進行切割仿真并實時繪制。為了能夠?qū)崟r顯示模型的剖面圖且便于切割，本文選用以四面體為基本單位的模型表示方式，即形體的內(nèi)部也用四面體來填充，這種表示模型的方法能夠較為準確的反映模型的內(nèi)部構(gòu)造，同時也有利于切割的實現(xiàn)。通過簡化的模型，參考可視化遠程醫(yī)療監(jiān)控前端系統(tǒng)［8］，可以實現(xiàn)遠程虛擬手術(shù)的切割和繪制。

紋理是表現(xiàn)物體表面細節(jié)的一種有效方式。為了能夠在切割剖面上表現(xiàn)肝臟體的細節(jié)，本文采用體紋理［9］的方式來對肝臟體進行貼圖。盡管，體紋理帶來了存儲空間的加大和計算量的增加，但這相對于渲染所需要的內(nèi)存和時間是微不足道的。

1 模型的構(gòu)建和紋理的生成

1.1 肝臟模型的構(gòu)建

基于體紋理的肝臟模型的構(gòu)建需要以下3個步驟:

1)模型原型建模，用3DS MAX建立肝臟體模型，導出為gw::OBJ－Exporter(*.obj)的文件格式，其網(wǎng)格結(jié)構(gòu)如圖1所示。

圖1 肝臟體和肝臟管道模型

2)模型格式轉(zhuǎn)換，利用3D Object Conveter v4.0將.obj文件另存為PLY ASCII(*.ply)格式文件，為下一步模型的處理做準備。

3)生成四面體網(wǎng)格模型，利用TetGen庫將得到的.ply文件轉(zhuǎn)化為四面體網(wǎng)格文件(*.ele)和(*.node)，這兩個文件分別包含了模型頂點的連接信息和頂點的位置信息。

3DS MAX是一款功能強大的建模工具，利用3DS MAX建?？梢垣@取逼真的肝臟體模型，然而，所建立的模型只是表面的網(wǎng)格模型，不能滿足切割后顯示切面的要求，因此必須進行格式的轉(zhuǎn)換。3D Object Conveter是一個強有力的3D模型轉(zhuǎn)換和交互式查看共享工具，可以從外部數(shù)據(jù)源中導入任意3D模型，也能夠以極高的精確度和質(zhì)量輸出為多種工業(yè)標準格式，把由3DS MAX建模得到的.obj文件通過3D Object Conveter v4.0轉(zhuǎn)換為.ply文件，以便利用TetGen庫。TetGen是德國Weierstrass實驗室的一個項目，目前支持的文件格式有.off，.ply，.stl和.mesh。通過TetGen可以將三角面片模型轉(zhuǎn)化為四面體網(wǎng)格模型。

1.2 體紋理的生成

肝臟模型的貼圖很重要的一個步驟就是體紋理的制作。肝臟有豐富的血液供應，呈現(xiàn)棕紅色，肝細胞單排圍繞中央靜脈呈放射狀排列，由此信息，可以通過photoshop畫出一張二維的紋理圖，再以這張紋理圖為模板，分別在體紋理坐標的x軸方向和z軸方向(即左右方向和前后方向)上擴展，好比是同一張照片先在左右方向上排列，再在前后方向上排列，對于相交的點，取相交像素的平均值。采用在2個方向上擴展的方法對于肝臟體體紋理的構(gòu)建是有幫助的，因為肝臟表面的紋理和內(nèi)部的紋理是有差別的，恰好可以利用體紋理表面是原圖像的像素值而中間是原圖形像素值的疊加平均來達到不同的效果，肝臟體體紋理如圖2所示。

圖2 肝臟體體紋理(左上角為紋理模板)

建立的體紋理文件以.vol文件格式保存，這種格式和Johannes Kops的格式是一致的，其頭文件的結(jié)構(gòu)體如下:

.vol文件的前4096個字節(jié)包含了.vol的頭文件信息以及其后用0填充的字節(jié)。volSize×volSize×volSize×numChannels×bytesPerChannel是體數(shù)據(jù)真實的字節(jié)數(shù)。

本文采用了吳劍煌等［10］提出的基于曲率的局部細分方法生成肝內(nèi)血管，具體方法可參見文獻［10］。

2 貼圖和切割

貼圖和切割是本文的主要研究內(nèi)容。貼圖的過程類似于重疊體紋理［6］的方法。首先，為已經(jīng)制作好的體紋理創(chuàng)建一個蒙版，使貼在物體上的紋理塊交界處看起來不那么明顯，然后沿著主動脈肝內(nèi)血管的方向構(gòu)建一個張力場使體紋理塊沿著這個張力場對齊產(chǎn)生放射狀排列的效果，最后，紋理塊沿著張力場的方向重復的貼圖，直到整個模型貼圖完畢為止。

2.1 體紋理蒙版的創(chuàng)建

在二維的情況下，Praun等［11］使用標準的圖像編輯工具來創(chuàng)建二維紋理的蒙版，對于構(gòu)造簡單的紋理，使用了獨立于紋理內(nèi)容的“斑點”紋理蒙版，而對于構(gòu)造復雜的紋理，創(chuàng)建了一個近似的alpha蒙版來盡可能地保留重要的紋理特征。

在三維的情況下，本文用已存在的3D建模工具來建模一個蒙版的形狀，相當于二維情況下的“斑點”，但是這種蒙版也只能適用于構(gòu)造比較簡單的紋理，不能滿足構(gòu)造較為復雜的紋理，肝臟體可以認為是構(gòu)造較為簡單的紋理，這種紋理蒙版的構(gòu)造方法可以滿足肝臟體貼圖的要求。

2.2 構(gòu)建張力場

首先，定義了一個全局的張力場，它的第1個方向是深度場的漸變方向，第2個方向是根據(jù)肝臟管道在肝臟內(nèi)的分布而設置，第3個方向就是與前2個方向都垂直的一個方向，其紋理的大小是從深度場上自動設置的。

在四面體網(wǎng)格上采用Laplacian平滑來插入指定方向場的大小，采用這種方法可以通過調(diào)整權(quán)重參數(shù)，更多地控制插入的過程。在獲取網(wǎng)格定點的張力后，四面體的張力是該四面體4個頂點張力的平均值。

在指定的限制下，Laplacian平滑就是要使每個頂點的紋理值與它鄰點的紋理值的加權(quán)平均之差要盡可能地小。用 xi表示頂點 vi的紋理值，δi表示差值(i=1，2，…，n)，則Laplacian定義如下

式中:Ni是頂點vi相鄰點索引的集合，是頂點vj紋理值的權(quán)重。比如，設，也就是取頂點vi相鄰點的平均值。目標就是在滿足指定的限定下，使得值δi盡可能地小。假定，三維空間中的一點p，限定值為c，首先搜索重心最靠近點p的四面體T，然后用以下的式子來表示p并計算系數(shù)λ1～λ4:

式中:i1～i4分別是四面體T的4個頂點的索引。其限制條件為

在滿足式(3)的限制下，求解式(1)的最小值，這是一個稀疏線性方程組，可以很快地求解。

2.3 種子四面體的選擇

首先，初始化網(wǎng)格中所有的四面體組成的列表，標記為“未覆蓋”狀態(tài)，對于每一次的貼圖操作，從列表中隨機地選擇一個四面體作為種子四面體。在每次的貼圖操作后，如果四面體在上次的貼圖操作中全部被貼圖，則從列表中將其移除，重復這一過程，直到所有的四面體被完全貼圖。

2.4 紋理的映射過程

首先，將選擇的種子四面體從幾何空間映射到紋理空間，以便使張力坐標軸與標準的紋理空間坐標軸對齊，并且使四面體變換后的中心位置落在紋理的中心。

以(R，S，T)表示與種子四面體T相關的正交張力場。首先，用四面體T的4個頂點表示R并計算系數(shù)r1～r4，公式如下

式中:v1～v4是四面體T的4個頂點，用同樣的方式來表示S和T。通過以下等式計算變換到紋理空間的頂點位置w1～w4

式中:s1～s4，t1～t4，c1～c4分別是表示S，T的系數(shù)和四面體T重心坐標的系數(shù)，設置四面體的重心位置時令c1=c2=c3=c4=0.25。頂點位置變換后，可以得到從幾何空間頂點vi到紋理空間頂點wi的仿射變換矩陣M。接著，把鄰近的四面體添加到四面體群中，添加到該四面體群中需滿足:1)該四面體的張量與種子四面體的張量相同;2)經(jīng)過矩陣M變換后，該四面體的一部分在紋理空間的alpha蒙版內(nèi)。

2.5 切割

當用戶用鼠標在模型上任意劃一條線段“切割”模型時，系統(tǒng)在四面體網(wǎng)格上構(gòu)建一個標量場，使這條線段的左右兩邊分成正、負兩部分。然后用徑向基函數(shù)(RBF)差值作用于這個標量場，再從網(wǎng)格中提取值為0的面作為橫截切面。對于橫截切面上的三角形紋理坐標是通過原始四面體的紋理坐標插值來得到的。在橫截切面上，對四面體網(wǎng)格再進行細分，以滿足再次切割的操作。

3 實驗及結(jié)果分析

利用Visual C++和OpenGL在PC機上實現(xiàn)了上述算法，PC機的配置為Core 2 Duo E47002.6 GHz的CPU，2 Gbyte的RAM，NVIDIA GeForce GT 430顯卡。通過對肝臟體和肝臟管道分別貼圖，再將其合為一體。從不同的角度切割所得到的肝臟效果圖如圖3所示。

圖3 不同角度切割的效果圖(切面上深色的點為肝臟管道切割后的效果)

用本文方法實現(xiàn)的肝臟紋理貼圖在切割重繪時所需的時間和占用的內(nèi)存都很小。統(tǒng)計信息如表1所示。

表1 肝臟貼圖統(tǒng)計信息

從表1中可以看出，在對肝臟體進行重疊體紋理貼圖時需要占用較長的時間，這是因為在對肝臟體進行渲染時，需要把重疊體紋理中四面體4個頂點的紋理坐標轉(zhuǎn)化為模型表面三角形3個頂點的紋理坐標，然后再渲染這些多邊形模型，而且，在重疊體紋理貼圖時，表面的多邊形要被多次渲染。

4 結(jié)論

本文提出將肝臟的建模分為對肝臟體和肝臟管道分別建模的思想，對肝臟體采用重疊體紋理的貼圖方式，對肝臟管道采用合成紋理的貼圖方式，再將這兩部分有機地結(jié)合在一起。實驗結(jié)果表明該方法能夠?qū)崿F(xiàn)肝臟切割的實時可視化，在虛擬手術(shù)的應用中能夠發(fā)揮一定的作用。

［1］邢英杰，張少華，劉曉冰.虛擬手術(shù)系統(tǒng)技術(shù)現(xiàn)狀［J］.計算機工程與應用，2004(7):88－90.

［2］閻麗霞，洪津津，石教英.虛擬手術(shù)中的模型實時繪制［J］.計算機工程與應用，2001(7):8－10.

［3］方馳華，常旭，魯朝敏，等.肝內(nèi)外膽管結(jié)石64排CT數(shù)據(jù)三維重建及其臨床意義［J］.南方醫(yī)科大學學報，2008(3):370－372.

［4］宋曉，王博亮，黃紹輝，等.基于Open Inventor的虛擬肝臟手術(shù)切割方法研究［J］.廈門大學學報:自然科學版，2009(5):672－675.

［5］BIELSER D，MAIWALD V A，GROSS M H.Interactive cuts through 3－dimensional soft tissue［J］.Computer Graphics Forum，1999，18(3):31－38.

［6］TAKAYAMA K.Lapped solid textures:filling a model with anisotropic textures［J］.ACM Transactions on Graphics，2008，27(3):1－9.

［7］蔡秀軍，楊揚.肝臟手術(shù)中的縫合吻合技術(shù)和材料選擇專家共識(2008)［J］. 中國實用外科雜志，2008(10):800－801.

［8］肖嘯，李凌，蘇航，等.嵌入式可視化遠程醫(yī)療監(jiān)控前端系統(tǒng)的設計［J］. 電視技術(shù)，2011，35(11):125－129.

［9］PEACHEY D R.Solid texturing of complex surfaces［J］.Computer Graphics(ACM)，1985，19(3):279－286.

［10］吳劍煌，馬炘，胡慶茂.血管結(jié)構(gòu)三維幾何建模研究進展［J］.先進技術(shù)研究通報，2010，4(12):47－52.

［11］PRAUN E，F(xiàn)INKELSTEIN A，HOPPE H.Lapped textures［C］//Proc.the ACM SIGGRAPH Conference on Computer Graphics.New Orleans，LA:［s.n.］，2000:465－470.