虛擬手術中肝臟體實時切割系統(tǒng)①

王 娜,陳國棟,何漢鑫,徐魯雄

1(福建師范大學福清分校 電子與信息工程學院,福州 350300)

2(無損檢測技術福建省高等學校重點實驗室(福建師范大學福清分校),福州 350300)

3(非遺數(shù)字化與多源信息融合福建省高校工程研究中心,福州 350300)

4(福州大學 物理與信息工程學院,福州 350108)

隨著醫(yī)療衛(wèi)生領域中虛擬現(xiàn)實技術的不斷發(fā)展,虛擬手術系統(tǒng)降低手術成本,制定手術方案,訓練外科醫(yī)生等方面發(fā)揮了重大的作用.

近年來,國內(nèi)外學者對醫(yī)學圖像的三維可視化展開了研究并建立了特定的虛擬手術系統(tǒng).Lee 等[1]通過CT掃描的方法構(gòu)建了下頜和上頜的三維數(shù)字模并開發(fā)了一個骨骼復雜模型引導的虛擬正頜外科系統(tǒng).Maini等[2]利用虛擬現(xiàn)實技術在髖臼骨折手術前為患者特制預輪廓鋼板模板,有助于簡化手術程序,提高手術的精確性.Marinkovi?等[3]將簡化的幾何非線性共旋轉(zhuǎn)有限元公式用于模擬虛擬現(xiàn)實手術中的高度非線性的軟組織形變以提高數(shù)值運算的精度.Rahman等[4]討論了利用三維虛擬手術與自編語言矯治器綜合治療特發(fā)性髁突吸收及繼發(fā)頜骨畸形的方法.汪軍等[5]搭建了一種具有力反饋手感的膽囊切除虛擬手術仿真訓練平臺.肖亮等[6]將計算機三維手術計劃系統(tǒng)用于肝臟外科教學中,取得了良好的效果.莫建清等[7]針對膝關節(jié)鏡手術術前規(guī)劃的需求,設計并完成膝關節(jié)鏡手術規(guī)劃及訓練系統(tǒng)的開發(fā)工作.高洪林等[8]采用三維數(shù)字化方法建立了踝關節(jié)骨折數(shù)字化虛擬手術設計系統(tǒng).黃銘明等[9]使用Unity3D和HTC VIVE開發(fā)了一種下頜骨骨折虛擬手術培訓系統(tǒng).

真實感繪制和實時性研究是虛擬手術領域廣泛討論的熱點問題.Dong等人[10]提出了一種基于二維紋理貼圖的體紋理合成方法.該方法在一些紋理細節(jié)較少且周期性特征較強的體紋理合成中具有良好的合成效果及合成速度,但在一些紋理細節(jié)豐富且無明顯結(jié)構(gòu)性特征的紋理合成中效果不佳.潘翔[11]提出了一種基于復用計算的體紋理合成方法,采用復用計算的肝臟體紋理合成速度要明顯高于非復用計算.但隨著肝臟體模型表面三角面片數(shù)目的增大,將肝臟體紋理從紋理空間映射到肝臟體模型的過程的耗時仍是尚未解決的一大難題.綜合國內(nèi)外學者在紋理合成領域的相關研究成果來看,但多數(shù)體紋理是通過單張二維樣圖紋理來合成的,在物體內(nèi)部無法表現(xiàn)出豐富的紋理細節(jié),因此很難繪制出具有較高真實感的體紋理.另外,體紋理的繪制需要對龐大的紋理數(shù)據(jù)量進行計算和處理,因此很難在保證繪制效果的同時兼顧繪制的速度.尤其在虛擬手術領域,需要在建立精細的手術模型及場景的同時還能夠滿足虛擬手術的實時性和交互性要求,這對現(xiàn)有的硬件性能是一個極大的挑戰(zhàn).

本文的研究基于計算機統(tǒng)一設備架構(gòu)(Compute Unified Device Architecture,CUDA),以具有高度并行計算能力的GPU為硬件基礎,對體紋理合成與映射及肝臟模型切割的方法進行改進,使其與GPU的硬件特性相結(jié)合,以此來提高虛擬肝臟手術系統(tǒng)中肝臟體紋理合成與映射以及模型切割的速度,從而兼顧其對真實感與實時性的要求.

1 需求分析

1.1 功能需求

在虛擬肝臟手術的研究中,采用體紋理的繪制方法,不僅可以提高虛擬肝臟模型的真實感表現(xiàn),還能夠更好的展現(xiàn)切割操作時模型內(nèi)部切面的紋理細節(jié).本系統(tǒng)以美國可視化人體數(shù)據(jù)集(Visible Human Dataset,VHP)為數(shù)據(jù)源,提取連續(xù)的肝臟橫斷面合成樣本體紋理,對肝臟模型進行三維重建,對建立的肝臟體模型進行不同程度的網(wǎng)格消減處理,得到實驗參考模型;同時對連續(xù)的肝臟橫斷面的輪廓數(shù)據(jù)進行最優(yōu)感興趣區(qū)域(Region Of Interest,ROI)的提取,再進行縱向疊加排列,最后生成樣本體紋理.CUDA加速的肝臟體紋理空間合成需要根據(jù)肝臟體模型的大小計算出能夠包含該模型的體紋理空間的大小,從樣本體紋理中的隨機位置取出特定大小的體紋理對紋理空間進行填充.CUDA加速的肝臟體紋理映射需要將肝臟體紋理從紋理空間映射到模型的表面形成精細的紋理以提高真實感.CUDA加速的肝臟體切割需要采用鼠標模擬手術器械來對虛擬肝臟模型進行切割的操作.

1.2 系統(tǒng)運行環(huán)境

系統(tǒng)開發(fā)環(huán)境是系統(tǒng)集成開發(fā)的基礎,主要包括了系統(tǒng)開發(fā)的硬件平臺、軟件平臺,其中軟件平臺包括了操作系統(tǒng)、集成開發(fā)環(huán)境以及一些開放的工具庫.

虛擬手術中肝臟體實時切割系統(tǒng)基于CUDA架構(gòu),以VS2012為平臺,使用OpenGL編寫了虛擬肝臟的3D圖形視覺渲染程序.實驗用的PC機采用Windows操作系統(tǒng)并配置了Intel? CoreTMi7-2670QM 2.2 GHz 的CPU,8 GB內(nèi)存,NVIDIA GeForce GT 540 MB的顯卡及2 GB顯存.

2 系統(tǒng)總體設計

模塊化設計是從應用的需求出發(fā),將系統(tǒng)拆分出不同的功能塊,然后以功能塊為單位進行程序設計.模塊化設計的目的是為了降低程序復雜度,使程序的設計、調(diào)試和維護等操作簡單化,同時增加程序的復用性.

虛擬手術中肝臟體實時切割系統(tǒng)在開發(fā)上遵循模塊化的設計思想.系統(tǒng)從整體上可分為4大模塊,分別是數(shù)據(jù)處理模塊、交互模塊、渲染模塊、切割模塊,各大模塊又分別由不同的子模塊構(gòu)成.不同模塊負責處理不同的任務,具有不同的功能.系統(tǒng)總體設計圖如圖1所示.

圖1 系統(tǒng)總體結(jié)構(gòu)圖

數(shù)據(jù)處理模塊是構(gòu)建虛擬手術中肝臟體實時切割系統(tǒng)的基礎.該模塊負責提取VHP數(shù)據(jù)集中連續(xù)橫斷面圖像,采用區(qū)域的圖像分割算法從連續(xù)的橫斷面圖像中提取出肝臟輪廓的區(qū)域,然后對肝臟輪廓進行層間插值,利用VTK (Visualization ToolKit)工具包結(jié)合面繪制方法構(gòu)建出肝臟的三維模型.交互設計是系統(tǒng)設計中必不可少的環(huán)節(jié),交互模塊主要負責處理人機交互,提高系統(tǒng)的易用性和可控性.渲染模塊是利用虛擬現(xiàn)實和計算機三維成像技術為外科醫(yī)生呈現(xiàn)出的具有真實感的虛擬肝臟模型.切割操作是虛擬肝臟手術中最基本的操作之一,醫(yī)務工作者需要通過對虛擬肝臟模型的切割來模擬虛擬肝臟手術的進行.當切割操作完成后,醫(yī)務工作者需要實時地觀察到切割面的肝臟紋理.

2.1 數(shù)據(jù)處理模塊

數(shù)據(jù)處理模塊包括肝臟輪廓提取子模塊和肝臟模型三維重建子模塊.

肝臟輪廓提取子模塊:肝臟輪廓提取是指從連續(xù)的橫斷面圖像中提取出肝臟輪廓的區(qū)域.三維重建是指利用單視圖或多視圖建立三維物體在計算機中的數(shù)學模型,它是虛擬現(xiàn)實中進行分析、處理和操作的基礎.在虛擬肝臟手術的研究中,肝臟模型的三維重建是后續(xù)研究工作的基礎.

肝臟模型三維重建子模塊:肝臟模型三維重建需要對肝臟輪廓進行層間插值,利用VTK工具包結(jié)合面繪制方法構(gòu)建出肝臟的三維模型.在基于樣圖的二維紋理合成中,首先需要獲取二維的樣圖作為合成的參考.在三維空間中,合成體紋理也需要獲取能夠反映全局特征的紋理信息的三維樣本塊,即樣本體紋理.在本文的研究中,需要以肝臟的輪廓中提取出的ROI區(qū)域為二維紋理樣本,來合成包含豐富紋理信息的三維紋理塊.

2.2 交互模塊

交互設計是系統(tǒng)設計中必不可少的環(huán)節(jié),交互模塊主要負責處理人機交互,提高系統(tǒng)的易用性和可控性.交互模塊包括鼠標交互子模塊、鍵盤交互模塊和GUI參數(shù)設置模塊.

鼠標交互子模塊:負責接收和處理鼠標事件,將事件轉(zhuǎn)換為不同的指令傳遞給不同的模塊以執(zhí)行相應的任務:傳遞給渲染模塊,用于改變攝像頭的位置以控制觀察的角度及距離;傳遞給形變計算模塊,用于選中并拉動模型頂點以設置外力;傳遞給四面體切割算法模塊,用于控制手術刀模型,形成分割面.

鍵盤交互子模塊:負責接收和處理鍵盤事件,將事件轉(zhuǎn)換為指令專遞給相應的模塊.鍵盤事件主要針對渲染模塊,不同的按鍵對應不同的指令,用于控制仿真場景中的物體,如地板、場景盒等,是否進行渲染,或者控制肝臟模型的渲染屬性,如是否顯示包圍盒,網(wǎng)格線等.

GUI參數(shù)設置子模塊:主要針對形變仿真的參數(shù),負責提供設置接口,使用戶能夠?qū)@些參數(shù)進行交互式地調(diào)整.

2.3 渲染模塊

渲染模塊包括樣本體紋理生成子模塊、肝臟體紋理合成與映射子模塊.

樣本體紋理生成子模塊:在基于樣圖的二維紋理合成中,首先需要獲取二維的樣圖作為合成的參考.在三維空間中,合成體紋理也需要獲取能夠反映全局特征的紋理信息的三維樣本塊,即樣本體紋理.在本文的研究中,需要以肝臟的輪廓中提取出的ROI區(qū)域為二維紋理樣本,來合成包含豐富紋理信息的三維紋理塊.

肝臟體紋理合成與映射子模塊:為了將體紋理樣本映射到肝臟體模型上形成紋理細節(jié)豐富且真實感強的肝臟體紋理,需要建立精細的肝臟體紋理空間.本文通過合成一個能夠包含肝臟模型大小的體紋理空間,將體紋理從紋理空間映射到模型空間中,來生成具有真實感的肝臟模型.

2.4 切割模塊

切割模塊的主要功能是完成切割操作.切割操作是虛擬肝臟手術中最基本的交互方式之一,通過切割不僅需要將模型分割成兩個部分,還要將紋理從肝臟體紋理空間映射到切割面上,形成真實的切割面紋理.本系統(tǒng)采用鼠標來模擬虛擬手術器械進行切割操作,切割模塊包括碰撞檢測子模塊和模型網(wǎng)絡重構(gòu)模塊.

碰撞檢測子模塊在切割仿真的不同階段起著不同的作用:在切割未執(zhí)行階段,碰撞檢測主要用于確定切割操作的起始時間和起始位置;而在切割操作完成之后,碰撞檢測則用于檢測仿真物體與其他場景物體的接觸情況,進而做出相應的處理,產(chǎn)生必要的碰撞反應.

模型網(wǎng)絡重構(gòu)子模塊將用戶通過鼠標在屏幕上劃動形成連續(xù)的切割線量化為若干切割線段,然后將每一條線段投影到肝臟模型上與模型的表面產(chǎn)生交點,連接交點形成一個有界平面.接著通過徑向基函數(shù)來擬合線段集所產(chǎn)生的有界平面來生成一個新的平面,即切割面.

3 關鍵技術

3.1 貝塞爾曲線

貝塞爾曲線[12]由起始點、錨點(即終止點)和控制點組成,通過調(diào)整控制點,可以使其形狀發(fā)生變化.貝塞爾曲線有以下幾種形式,用于繪制各類二維平面上的曲線形狀.

(1)一階貝塞爾曲線:

其中,B(t)為t時刻下的點的坐標值,p0為起始點,p1為終止點.

(2)二階貝塞爾曲線:

二階貝塞爾曲線由p0、p1和p2三個定點確定,在二維平面上表現(xiàn)為一條平滑的拋物線.

(3)n階貝塞爾曲線:

通過低階貝塞爾曲線的參數(shù)形式,可以推導出基于給定點p0、p1、p2直至pn的n階貝塞爾曲線通式為:

本文采用人工確定關鍵點結(jié)合貝塞爾曲線擬合的方式來提取肝臟的輪廓,為了獲得較好的實驗效果,需要找到合適的控制點.首先沿著肝臟的輪廓間隔地指定擬合的關鍵點,關鍵點的位置盡量貼合肝臟輪廓的邊緣,依次連接輪廓上各關鍵點組成一個多邊形.連接該多邊形各邊上的中點,得到中點的連線段.在改中點的連線段上找出一關鍵點,使得該點分線段的比與相鄰兩邊的長度比相等,最后平移中點的連線段,使該線段上的關鍵點與對應的頂點重合,從而完成曲線擬合.曲線擬合示意圖如圖2所示.

圖2 曲線擬合示意圖

3.2 區(qū)域生長法

區(qū)域生長法的基本思想是根據(jù)像素的相似性生長的原則來劃分集合構(gòu)成分割的區(qū)域.首先在預分割的區(qū)域內(nèi)確定一個種子點,該點必須是待分割區(qū)域內(nèi)具有代表性的點,種子點可以是單個像素點,也可以是相似的像素點區(qū)域.在種子點的鄰域內(nèi)尋找與該點相似的像素,相似性的判定的原則是計算周邊像素點與種子點彩色、梯度、灰度等量間的距離是否在差值范圍內(nèi),將符合條件的像素點包含到種子點的區(qū)域內(nèi),然后以新區(qū)域內(nèi)的像素點作為新的種子點繼續(xù)生長,直到找不到滿足條件的像素點為止[13].

3.3 層間插值法

假設相鄰的斷層圖像為第k–1層和第k+1層,需要通過插值法計算出第k層的圖像輪廓數(shù)據(jù).但由于肝臟的輪廓包含了大量的點,直接對其進行形狀插值將引入大量的計算,為了簡化計算,通常采用的方法是在原始的輪廓中尋找一個點,使剩下的點構(gòu)成的多邊形的面積與原來最接近.以此類推,分別找到面積差值最小的m個點.本文采用了等分圓周的方法來簡化輪廓點數(shù),從而獲得最逼近原始輪廓的多邊形.首先假設原始輪廓上的點數(shù)為N,經(jīng)過簡化后輪廓上的最終點數(shù)為M(M

過Ck+1的質(zhì)點作一條平行于Z軸的直線,平移Ck?1使該直線經(jīng)過其質(zhì)點,然后將Ck?1投影到Ck+1所 在的平面上,記其投影輪廓為Ck′?1.接下來以質(zhì)點為起點,任意角度為起始角度,間隔角度為 3 60?/M向外作射線,射線與Ck′?1和Ck+1的交點即為新的輪廓點,只要M值足夠大,就能夠使新的輪廓點連接成的多邊形盡可能地逼近原始輪廓線,分別記簡化后的輪廓為Ck′′?1和Ck′+1,假設第k–1,k,k+1層Z方向上的坐標為zk?1,zk和zk+1,則計算Ck的插值公式為:

3.4 基于CUDA的并行計算

基于CUDA的并行計算主要分為以下6個步驟,計算流程如圖3所示.

圖3 基于CUDA的并行計算流程圖

步驟1.在利用CUDA進行并行計算之前,需要在GPU上為需要進行運算的數(shù)據(jù)及運算結(jié)果申請相應的顯存空間.

步驟2.在GPU中分配好相應的顯存空間后,將內(nèi)存地址中需要在GPU上進行運算的數(shù)據(jù)拷貝至顯存空間中.

步驟3.在利用CUDA進行GPU計算時,需要啟動合適的線程數(shù)來覆蓋并行計算的規(guī)模.例如進行網(wǎng)格節(jié)點著色計算時,定義Kernel函數(shù)名為facePointKernel,其線程表達式為facePointKernel<<<(faceNum+1023)/1024,1024>>>(…),其中faceNum為表面網(wǎng)格節(jié)點數(shù),<<<(faceNum+1023)/1024,1024>>>表示啟動的線程塊數(shù)為(faceNum+1023)/1024,每個線程塊啟動1024條線程,(…)中為需要轉(zhuǎn)移到GPU上計算的數(shù)據(jù).

步驟4.設置Kernel函數(shù)即CUDA的核函數(shù).所有的并行計算都在Kernel中進行,為了保證計算的并行性,需要建立線程索引,使索引的每一個線程都運行一次Kernel函數(shù)中的計算.

步驟5.在Kernel中完成計算后,需要將計算的結(jié)果傳送回主機,將數(shù)據(jù)從GPU的顯存拷貝到CPU的內(nèi)存中.

步驟6.在CUDA上完成計算后,也需要釋放動態(tài)分配的顯存空間,以免造成泄漏.

4 實現(xiàn)

在虛擬肝臟手術中,需要利用人體連續(xù)橫斷面中肝臟輪廓的數(shù)據(jù)來生成肝臟模型以及肝臟的樣本體紋理塊.本文采用了美國可視化人體項目的VHP圖片集來作為研究的數(shù)據(jù)來源,因此對VHP數(shù)據(jù)集進行肝臟輪廓的提取就成為了研究工作的基礎.

對VHP數(shù)據(jù)集進行肝臟輪廓提取是對一系列圖像進行處理的過程,因此在進行輪廓提取的操作之前,需要先將數(shù)據(jù)集導入到系統(tǒng)中.為了確保數(shù)據(jù)集能夠順序地在系統(tǒng)中進行處理,在導入前對數(shù)據(jù)集采用依順序編號命名的原則,使系統(tǒng)在導入數(shù)據(jù)集的過程中能夠按照各圖片的文件名進行先后次序的排列.系統(tǒng)利用OpenCV的cvLoadImage()函數(shù)來實現(xiàn)圖像數(shù)據(jù)的讀取,由于VHP數(shù)據(jù)集的圖像數(shù)據(jù)較大,包含了許多無用的信息,為了避免進行過多的處理,需要先對讀取的圖像進行裁剪處理,根據(jù)肝臟所在區(qū)域大小將圖像裁剪成分辨率為600×630的圖像集.在如圖4所示的系統(tǒng)界面中,能夠查看導入到系統(tǒng)后經(jīng)過裁剪的每一張肝臟橫斷面圖像.

圖4 圖片導入與顯示

肝臟輪廓提取的精度直接影響到三維重建后肝臟模型的還原程度,為了提高圖像分割的精度,本系統(tǒng)采用人工參與肝臟輪廓關鍵點的指定,再用貝塞爾曲線擬合曲線的方法來標記出肝臟的輪廓,由于導入到系統(tǒng)中的圖像為連續(xù)的肝臟橫斷面圖像,因此相鄰兩層之間的輪廓差異性較小,可以采用當前圖像指定的關鍵點作為下一張圖像的起始點,再進行細微的調(diào)整即

可.隨著肝臟輪廓的變化,只需根據(jù)需要對關鍵點的數(shù)量進行增加或刪除,便可以方便地標記出VHP數(shù)據(jù)集中各橫斷面上的肝臟輪廓.貝塞爾曲線擬合的結(jié)果如圖5所示.

圖5 擬合結(jié)果

通過人工擬定關鍵點及貝塞爾曲線的擬合,在連續(xù)的橫斷面圖像中標記出肝臟區(qū)域的輪廓,然后對肝臟的區(qū)域進行分割提取.圖像分割結(jié)果如圖6所示.

圖6 圖像分割結(jié)果

利用分割出的肝臟輪廓數(shù)據(jù),采用層間插值及面繪制的方法對肝臟模型進行三維重建.層間插值的目的是為了建立更精細的肝臟模型.根據(jù)VHP數(shù)據(jù)集提供的數(shù)據(jù),其相鄰的橫斷面之間的距離為1 mm,為了改善斷層的過渡情況,提高模型的精度,在相鄰兩層切面之間插入額外的兩層切面,插值面的輪廓形狀由相鄰的兩切面計算得到.本系統(tǒng)采用基于多邊形逼近的形狀插值法來進行層間的插值,首先利用等圓周的方法來簡化原輪廓上點的數(shù)量,以獲得最大程度逼近原始輪廓面積的多邊形,再利用3.3中的插值公式進行插值輪廓的計算.在進行層間插值后,構(gòu)建模型的切面的總層數(shù)為188+187×2=562層.

本系統(tǒng)采用VTK工具包結(jié)合Marching Cubes面繪制的方法,利用562層切面輪廓進行肝臟模型的三維重建.在尚未進行網(wǎng)格數(shù)簡化的情況下,即網(wǎng)格簡化率為1時,未進行網(wǎng)格削減的肝臟表面網(wǎng)格模型如圖7所示.

圖7 尚未進行網(wǎng)格削減的肝臟表面網(wǎng)格模型

未經(jīng)過網(wǎng)格簡化處理的模型包含了過多的頂點,這將給后續(xù)的映射計算及切割帶來大量的數(shù)據(jù)計算,造成系統(tǒng)實時性的降低.為了避免這種情況的發(fā)生,需要對初始模型進行一定程度的網(wǎng)格削減工作.本系統(tǒng)采用了VTK封裝的VTKDecimatePro網(wǎng)格削減類,通過設置不同的簡化率來減少初始模型表面的網(wǎng)格數(shù)目,網(wǎng)格簡化率為0.3時所生成的肝臟體模型如圖8所示.

圖8 簡化率為0.3的肝臟表面網(wǎng)格模型

5 切割效果與分析

本文實現(xiàn)了肝臟體模型的切割和切面體紋理的快速繪制.本文分別在GT 540M和GTX 650的GPU以及Intel? CoreTMi7-2670QM 2.2 GHz的CPU上進行了實驗,并選用了頂點數(shù)14 663,三角面片數(shù)18 676的肝臟模型作為切割模型,針對3組不同形狀的切割進行了實驗數(shù)據(jù)的記錄,并與CPU下的切面紋理的映射速度進行了對比,切割效果如圖9所示.

圖9 切割效果圖

由圖9可以看出,利用鼠標模擬虛擬手術刀具在肝臟模型上畫出的曲線,可以將肝臟模型切割成任意形狀,且能夠看到切割產(chǎn)生的新平面上的紋理.表1所示為圖9中3組不同切割形狀的模型在GPU和CPU下的切割時間對比.

表1 3組不同切割形狀的切割時間對比(單位:s)

6 結(jié)論

本文的主要工作包括肝臟模型的肝臟輪廓提取和三維重建.在肝臟輪廓提取的工作中,首先分析了各圖像分割算法的利弊,提出了一種人工干預的曲線擬合方法來標記肝臟區(qū)域的輪廓,接著通過區(qū)域生長法提取出該輪廓區(qū)域.然后采用面繪制的方法,結(jié)合層間插值技術,利用VTK工具包進行肝臟模型的三維重建工作,建立了肝臟網(wǎng)格表面模型,并引入CUDA技術,提高運算效率,為醫(yī)學診斷和手術規(guī)劃提供了輔助工具.