基于分群和幾何約束的器官外部組織快速剝離方法

蔣先剛，張紅斌

1.華東交通大學(xué)理學(xué)院，江西南昌 330013；2.華東交通大學(xué)信息工程學(xué)院，江西南昌 330013

前言

基于種子填充、主動(dòng)輪廓模型和深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)等算法的體數(shù)據(jù)分割方法能有效分割出所需的器官組織［1］；但臨床和手術(shù)過(guò)程中有許多復(fù)雜病例，分割方法對(duì)包含腫瘤塊和區(qū)域粘連交錯(cuò)的體數(shù)據(jù)的處理缺少魯棒性［2］，許多人工智能和傳統(tǒng)分割方法不能實(shí)現(xiàn)切實(shí)有效的內(nèi)部器官實(shí)時(shí)顯示。

本研究基于圖形處理單元（Graphics Processing Unit, GPU）的器官組織切割方法和渲染技術(shù)，采用OpenGL 著色語(yǔ)言（OpenGL Shading Language,GLSL）技術(shù)實(shí)現(xiàn)器官組織三維掩模的快速構(gòu)建，并提取相關(guān)器官組織。此外，本研究還探討了空間約束下分層次組織剝離的方法和技術(shù)。結(jié)果表明使用本研究設(shè)計(jì)的分割工具能在三維可視環(huán)境下進(jìn)行疾病的輔助診斷。

1 器官分割和剝離方法

1.1 幾何約束的器官組織剝離方法

本研究主要采用切割和剝離的方法實(shí)現(xiàn)器官組織內(nèi)部分布呈現(xiàn)。體數(shù)據(jù)器官組織的分割流程如圖1 所示，首先通過(guò)選擇三維幾何原型和繪制平行投影面的二維圖形來(lái)產(chǎn)生組合的幾何掩模；然后在這些更小的數(shù)據(jù)集中，通過(guò)種子填充和其他分類(lèi)方法，將組合幾何掩模劃分為不同的群組和連通域［3-4］。為實(shí)現(xiàn)對(duì)圖1中腿部骨骼組織的細(xì)節(jié)表達(dá)，首先在投影圖上繪制一個(gè)二維曲線，構(gòu)成任意形狀柱體；然后通過(guò)對(duì)柱體體數(shù)據(jù)進(jìn)行分類(lèi)等處理，將該柱體掩模分成對(duì)應(yīng)于肌肉和骨骼等不同塊群，可將這些塊群定義為“0”或者“1”等標(biāo)簽；最后通過(guò)原體數(shù)據(jù)和這些標(biāo)簽進(jìn)行代數(shù)處理，從而達(dá)到一定區(qū)域的骨骼可見(jiàn)而肌肉和皮膚不可見(jiàn)的視覺(jué)效果［5］。

圖1 幾何約束和分群的分割和剝離過(guò)程Figure 1 Procedure of segmentation and peeling by geometric constraints and clustering

圖2 是頭部通過(guò)分群分割方法剔除部分后頭殼的過(guò)程。在三維渲染圖像的中部繪制將要?jiǎng)澏ǖ娜我庑螤钪w的平行于投影面的淺藍(lán)色二維圖形范圍（圖2a），頭部的后頭皮、頭骨和大腦等在該任意形狀定義的柱體投影方向上，各組織的亮度域、顏色值和透明度是不同的，因而產(chǎn)生了在投射方向上在圈定范圍內(nèi)有著不同連通域?qū)悠瑝K。圖2b表示被考查的任意形狀的三維柱體，通過(guò)調(diào)整透明度、亮度和其他屬性，使柱體內(nèi)部的組織在垂直投影面的方向構(gòu)成3個(gè)群，包括比較多粘連的腦前部組織1、在投影方向上起隔離作用的隔膜組織2 和將被剔除的部分后頭殼組織3。如圖2c所示，通過(guò)選擇分群的序號(hào)而使相應(yīng)的分群組織消失，記錄動(dòng)態(tài)消失組織對(duì)應(yīng)的三維掩模為動(dòng)態(tài)掩模，在確認(rèn)分割效果后，將其轉(zhuǎn)換為合成掩模，而原始的體數(shù)據(jù)并沒(méi)有被修改或丟失。

圖2 頭部在任意形狀柱體方向的分群分割Figure 2 Clustering segmentation of geometric restrained head

1.2 三維掩模數(shù)據(jù)的GPU程序處理

當(dāng)對(duì)大的體數(shù)據(jù)集依屬性不能進(jìn)行有效分割時(shí)，可通過(guò)劃定空間的范圍而使選擇的體素具有可分性，進(jìn)一步將體素根據(jù)更多細(xì)分的屬性而劃分在感興趣區(qū)域、動(dòng)態(tài)掩模、合成掩模和分群圖像這些容器中，通過(guò)相互間的交、差、并，得到可分群的體素連通域［6-8］。 圖3 是在原幾何約束動(dòng)態(tài)掩模dynamicMask 基礎(chǔ)上繼續(xù)按亮度屬性閥值對(duì)其進(jìn)行分群而產(chǎn)生細(xì)分的動(dòng)態(tài)掩模的著色程序。程序中dynamicMask為幾何約束產(chǎn)生的動(dòng)態(tài)掩模，通過(guò)屬性閥值A(chǔ)ttributeHigh 和AttributeLow 進(jìn)一步對(duì)這個(gè)動(dòng)態(tài)掩模進(jìn)行按屬性的任意形狀挖切和分群，而GLSL程序的快捷性也使得這種挖切能達(dá)到實(shí)時(shí)交互效果。

圖3 按幾何約束的動(dòng)態(tài)掩模進(jìn)行分群的程序Figure 3 Code for clustering geometrically constrained dynamic masks

1.3 有符號(hào)距離場(chǎng)的三維容積開(kāi)運(yùn)算

有符號(hào)距離函數(shù)是某度量空間X 中的一個(gè)集合的函數(shù)，決定X 中任一點(diǎn)到Ω 邊界的距離。x在Ω 邊界內(nèi)時(shí)，函數(shù)為正；反之為負(fù)。有符號(hào)距離函數(shù)用式（1）表達(dá)，通過(guò)計(jì)算空間點(diǎn)在已有連通域的里面還是外面而確定對(duì)連通域進(jìn)行腐蝕或膨脹操作，腐蝕和膨脹的組合就是開(kāi)運(yùn)算。

其中，x為體素亮度紋理，Ω表示作用空間。針對(duì)器官組織區(qū)域的空洞填充，采用有符號(hào)的距離場(chǎng)開(kāi)運(yùn)算更適合實(shí)際填充要求，距離場(chǎng)運(yùn)算考慮了整個(gè)體數(shù)據(jù)間的相互關(guān)系，在體數(shù)據(jù)膨脹和腐蝕過(guò)程中始終根據(jù)全局體素的亮度分布的整體性來(lái)消除毛刺和空洞。

圖4 用三維圖像表達(dá)了整個(gè)肺部組織提取的過(guò)程。圖4a是原始的包括肺部的上胸部分CT 圖像，通過(guò)選定合適的窗口窗位和灰度等屬性閥值范圍得到的連通域圖像如圖4b 所示；通過(guò)交互選擇肺實(shí)質(zhì)所在連通域序號(hào)而得到圖4c 所示的肺實(shí)質(zhì)掩模。由于左肺附著一個(gè)較大的腫瘤和其他與肺實(shí)質(zhì)屬性不一樣的肺氣管等組織［9］，將其以空洞形狀存在。圖4d是對(duì)肺部初步提取的掩模進(jìn)行有符號(hào)距離場(chǎng)開(kāi)運(yùn)算而得到的合成掩模，包含血管、支氣管等其他附著的肺部組織，包括較為豐富的血管、淋巴管、支氣管和腫瘤等組織。

圖4 肺部組織的分割Figure 4 Lung segmentation

1.4 分區(qū)域數(shù)據(jù)劃分

人體各個(gè)器官組織和系統(tǒng)是相互纏連而不易分割的；但如果將它們按照屬性分組，并將其放在同樣的幾何空間而在不同描述的容器中，就能使屬性更加個(gè)性化和有序化，便于有目的的分析和解剖?？刹捎貌煌瑤缀渭s束得到不同的動(dòng)態(tài)掩模。其中，幾何約束包括圓柱、球、立方體和任意形狀柱體等，同時(shí)這些幾何約束的切割都帶有屬性（亮度、梯度、對(duì)比度和Hessian特征）選擇和景深控制等。將劃分空間中的數(shù)據(jù)集依濾波數(shù)據(jù)細(xì)分到感興趣區(qū)域、動(dòng)態(tài)掩模、最后合成掩模這些同空間的不同容器中進(jìn)行交互利用和處理，從而達(dá)到依屬性在空間分群的目的。

通過(guò)景深的控制可使幾何約束在投影方向上得到進(jìn)一步約束，也就是組織切割的深度由剖切面到視點(diǎn)的距離來(lái)確定［10-11］。在小腿的右上部通過(guò)控制景深和組織屬性而只在左腳剝離前部的皮膚和肌肉，使骨骼得以呈現(xiàn)（圖5）。圖5的中下部是采用劃定區(qū)域的透明度剝離方法得到的顯示效果，其剝離的深度由透明度累積值而定，如對(duì)于恥骨等高密度內(nèi)部組織為目標(biāo)的剝離，按屬性和劃定柱體范圍的分割方法優(yōu)于透明度剝離。

圖5 依景深的分割和依透明度的剝離Figure 5 Peeling by depth of field and transparency

對(duì)于全心臟分割，包括胸骨綁捆鋼絲偽影和起搏器械影像等干擾時(shí)，傳統(tǒng)分割方法和人工智能方法都不適應(yīng)這種復(fù)雜數(shù)據(jù)的分割。圖6a 為消除肺部的胸部組織的圖像，在易于觀察心臟與胸肌和肋骨間分界的方向產(chǎn)生的投影圖右上方繪制一淺黃色封閉區(qū)域，得到二維掩模如圖6b右上所示，并產(chǎn)生任意柱面體切割結(jié)果（圖6c）；心臟前的右邊大部分遮擋組織被移走，采用多次類(lèi)似切割方法可得到全心臟分割圖，且保留心肌外的脂肪分布丘形（圖6d）。結(jié)合進(jìn)一步的冠狀動(dòng)脈分割，可為搭橋手術(shù)在心外脂肪處找到合適的狹窄冠脈搭接切口提供參考。

2 器官組織分割實(shí)驗(yàn)和效率比較

本研究的器官組織分割輔助診斷工具在Windows 10 操作系統(tǒng)上進(jìn)行開(kāi)發(fā)，采用開(kāi)源編程環(huán)境Lazarus 2.0.8，主機(jī)采用CPU I7 7700-HQ 筆記本電腦，圖像卡為8 G 顯存的GTX1070，實(shí)驗(yàn)數(shù)據(jù)選自于ELCAP、Kaggle 相關(guān)網(wǎng)站和合作醫(yī)院提供的數(shù)據(jù)。一般性任意形狀柱體的屬性切割和剝離如在頭部局部模擬開(kāi)蓋、腿骨細(xì)節(jié)分析和顯示等解剖操作能在1～3 s內(nèi)交互完成。

2.1 器官組織分割和剝離實(shí)驗(yàn)

傳遞函數(shù)控制著CPU 到GPU 紋理的顏色分布，每個(gè)不同屬性的組織類(lèi)型對(duì)應(yīng)不同的區(qū)間，這些傳遞函數(shù)梯形結(jié)構(gòu)在空間上具備一定的交叉性，故在綜合渲染顯示時(shí)需要對(duì)它們進(jìn)行合并和融合［12-14］。需根據(jù)梯形的位置形狀為每一類(lèi)計(jì)算一個(gè)傳遞函數(shù)，強(qiáng)調(diào)k類(lèi)目標(biāo)的傳遞函數(shù)定義為tk（i），i為在亮度直方圖的位置值。hk(i)為第k個(gè)傳遞函數(shù)梯形的紅色元素，不同目標(biāo)要同時(shí)表達(dá)時(shí)，紅色元素的最后渲染結(jié)果是這幾類(lèi)目標(biāo)紅色分布的融合結(jié)果，如式（2）所示；其他綠色和藍(lán)色元素渲染處理公式和該方法類(lèi)似。

圖6 全心臟分割Figure 6 Whole heat segmentation

其中，hk(i)為第k個(gè)梯形在i處的高度；Num 為顯示該類(lèi)組織時(shí)，在綜合傳遞函數(shù)的梯形融合時(shí)所用的總數(shù)；n為綜合表達(dá)需要強(qiáng)調(diào)使用梯形的種類(lèi)。

式（3）表示當(dāng)多個(gè)顯示目標(biāo)需要表達(dá)時(shí)，其總體傳遞函數(shù)的不透明度總是取這幾個(gè)類(lèi)型組織的傳遞函數(shù)梯形k在i處的最大值，即越不透明的目標(biāo)在該i處最后融合效果更加明顯。

圖7a 是在合理傳遞函數(shù)下，同時(shí)顯示手的血管、骨骼、肌腱和肌肉的分布；而圖7b是在保留手臂皮膚的情況下，在手腕和尺骨部位剝離除骨骼以外的組織，而在手臂中部剝離肌肉上表的組織，其肌肉和血管仍然保留。圖7c 是直接剝離腎臟周邊組織的解剖實(shí)驗(yàn)，通過(guò)定義任意形狀柱體范圍而保留除腎臟周邊外的整個(gè)身軀，通過(guò)體素連通域的屬性而排除柱體內(nèi)其他組織而呈現(xiàn)出腎臟與臨近組織的渲染圖像；而圖7d是采用虛切割提取的腎臟。

圖7 分割與剝離實(shí)驗(yàn)Figure 7 Segmentation and peeling experiments

2.2 器官分割效率比較

為了將器官組織在隔膜附近分割開(kāi)來(lái)，需要對(duì)和器官組織存在交錯(cuò)粘連的體數(shù)據(jù)進(jìn)行雙邊濾波處理，雙邊濾波處理可以消除瑞利和高斯噪聲且有效保留邊緣信息。式（4）為雙邊濾波的公式：

其中，I表示像素的亮度值或者顏色分量，該亮度值差距大的地方就是邊緣部分，使其權(quán)重減小，其濾波效應(yīng)也變小。公式的前一項(xiàng)為空間調(diào)整因子，后一項(xiàng)為亮度調(diào)整因子，Wij為計(jì)算得到的各點(diǎn)的濾波權(quán)衡系數(shù)。通過(guò)式（4）后部的修正而仍然保持梯度較大的局部圖像部分，使圖像平滑和邊緣保持得到平衡。

將雙邊濾波和屬性分群分割的算法在CPU 和在GPU 上的運(yùn)行效率進(jìn)行比較，T 和F 分別表示采用或不采用算法的選擇（表1）。當(dāng)體數(shù)據(jù)維數(shù)增加時(shí)，采用GPU 的預(yù)處理和分割效率提高更快；邊界和組織間隔膜明顯的體數(shù)據(jù)可不采用雙邊濾波處理，以提高運(yùn)算速度，同時(shí)無(wú)雙邊濾波處理也會(huì)影響后續(xù)的分割效率。

表1 體數(shù)據(jù)濾波和分割效率比較Table 1 Comparisons of volume data filtering and segmentation efficiency

3 結(jié)語(yǔ)

本研究著重分析了基于分群和幾何切割相結(jié)合的復(fù)雜CT 數(shù)據(jù)中器官組織的分割方法以及采用GPU 對(duì)分割數(shù)據(jù)進(jìn)行快速處理的方法，將糾纏和交叉數(shù)據(jù)通過(guò)屬性劃分和空間劃定等技術(shù)使復(fù)雜器官組織采樣的數(shù)據(jù)能夠以醫(yī)生更易理解的圖像方式呈現(xiàn)出來(lái)，使內(nèi)部病灶狀態(tài)以虛擬現(xiàn)實(shí)的方式表達(dá)出來(lái)。實(shí)驗(yàn)證明基于雙邊濾波、分群掩模體的器官數(shù)據(jù)處理方法加快了各種醫(yī)學(xué)器官三維虛擬現(xiàn)實(shí)的處理速度和實(shí)用性，進(jìn)一步的研究將著重于分割器官的實(shí)時(shí)三維打印輸出。