基于IRTK和VTK的醫(yī)學(xué)圖像配準(zhǔn)與可視化系統(tǒng)*

林紹輝，杜 民，高欽泉，高躍明

(1. 福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116；2. 福州大學(xué) 福建省醫(yī)療器械和醫(yī)藥技術(shù)重點(diǎn)實(shí)驗(yàn)室，福建 福州 350116)

基于IRTK和VTK的醫(yī)學(xué)圖像配準(zhǔn)與可視化系統(tǒng)*

林紹輝1,2，杜 民2，高欽泉1,2，高躍明1,2

(1. 福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116；2. 福州大學(xué) 福建省醫(yī)療器械和醫(yī)藥技術(shù)重點(diǎn)實(shí)驗(yàn)室，福建 福州 350116)

圖像配準(zhǔn)技術(shù)在醫(yī)學(xué)圖像處理與分析中扮演著重要的角色，為了促進(jìn)其在實(shí)際臨床中的應(yīng)用，設(shè)計(jì)并實(shí)現(xiàn)了一款多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)系統(tǒng)。該系統(tǒng)集成了多種先進(jìn)的配準(zhǔn)算法，包括線性和非線性配準(zhǔn)，并提供友好的圖形界面和可視化功能。此外,系統(tǒng)還提供去噪聲預(yù)處理并支持混合配準(zhǔn)策略，用于提高圖像配準(zhǔn)的質(zhì)量和效率，配準(zhǔn)的中間過(guò)程實(shí)時(shí)動(dòng)態(tài)顯示。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠便捷、高效地完成復(fù)雜的醫(yī)學(xué)圖像配準(zhǔn)。

醫(yī)學(xué)圖像；自動(dòng)配準(zhǔn)系統(tǒng)；交互可視化；實(shí)時(shí)顯示

0 引言

隨著電子成像技術(shù)的快速發(fā)展，多模態(tài)的醫(yī)學(xué)圖像正改變著傳統(tǒng)醫(yī)療的診斷和治療方式[1-2]，特別在放射治療領(lǐng)域[3]。對(duì)不同模態(tài)中特定的解剖學(xué)信息進(jìn)行綜合[4]，能夠?yàn)榧膊〉脑缙谠\斷和治療提供更加豐富、準(zhǔn)確的信息[5]。然而，由于各個(gè)模態(tài)圖像的成像原理不同，圖像在分辨率、體素間隔以及圖像的大小等方面存在很大的差異。即使是單模態(tài)成像也會(huì)因病人在成像時(shí)的擺位，以及軟組織的非線性形變的不同，使得臨床醫(yī)生無(wú)法直接對(duì)其進(jìn)行信息提取、綜合和分析。因此，在對(duì)多模態(tài)圖像信息的綜合，需要解決圖像之間的匹配問(wèn)題，即圖像配準(zhǔn)。

所謂圖像配準(zhǔn)[6]就是尋求一種最優(yōu)的變換關(guān)系，使得兩幅或者多幅醫(yī)學(xué)圖像上的對(duì)應(yīng)點(diǎn)達(dá)到解剖位置與空間位置上的一致。多年以來(lái)，國(guó)內(nèi)外已有大量的研究致力于配準(zhǔn)算法的發(fā)展[7-8]，但在配準(zhǔn)軟件和平臺(tái)[9]的研發(fā)上卻少之又少。由于技術(shù)和資金限制，目前大多數(shù)醫(yī)院配備的系統(tǒng)軟件只包含剛性配準(zhǔn)技術(shù)，無(wú)法滿足軟組織非剛性形變的配準(zhǔn)需求。缺乏合適的軟件系統(tǒng)是阻礙先進(jìn)配準(zhǔn)技術(shù)在臨床應(yīng)用中的絆腳石。在數(shù)字醫(yī)療時(shí)代下，無(wú)論哪種模態(tài)的醫(yī)學(xué)影像，要在臨床的診斷、治療中發(fā)揮更好的作用都離不開(kāi)相應(yīng)軟件系統(tǒng)的支持[10]。

為了促進(jìn)圖像配準(zhǔn)技術(shù)在實(shí)際臨床中的應(yīng)用，本文在Qt(Qt creator)提供圖形用戶界面的框架下，采用IRTK(Image Registration Toolkit)實(shí)現(xiàn)線性和非線性自動(dòng)配準(zhǔn)，并結(jié)合VTK(Visualization Toolkit)完成三維重建，最終設(shè)計(jì)并實(shí)現(xiàn)了一款多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)與可視化系統(tǒng)。

1 系統(tǒng)設(shè)計(jì)

1.1 基于IRTK的自動(dòng)配準(zhǔn)

IRTK是一款專門處理醫(yī)學(xué)圖像配準(zhǔn)的算法平臺(tái)，由英國(guó)帝國(guó)理工學(xué)院編程實(shí)現(xiàn)，封裝了許多常用的圖像配準(zhǔn)算法，為配準(zhǔn)軟件的開(kāi)發(fā)提供了有利工具。

圖像配準(zhǔn)按變換模型可分為剛性、仿射變換，其中剛性最為簡(jiǎn)單，只包含旋轉(zhuǎn)和平移，仿射變換則在此基礎(chǔ)上增加了錯(cuò)切和縮放兩個(gè)變換。然而，對(duì)于人體軟組織的非剛性形變形式，上述兩種線性方法卻顯得無(wú)能為力，這也是目前大多數(shù)醫(yī)院面臨的難題。因此，本系統(tǒng)引入目前最為優(yōu)秀和主流的基于B-樣條的自由形變模型非線性配準(zhǔn)算法。該方法由RUECKERT D等人提出[11]，其形變模型由全局和局部變換兩部分組成：

T(x,y,z)=Tglobal(x,y,z)+Tlocal(x,y,z)

(1)

其中，全局變換由剛性變換或仿射變換完成；局部變換為基于B-樣條的自由形變模型，對(duì)該方法的詳細(xì)介紹見(jiàn)參考文獻(xiàn)[11]。

除了形變模型，圖像配準(zhǔn)中還包括相似測(cè)度、插值以及優(yōu)化方法。其中相似性度量描述了配準(zhǔn)后圖像的相似度，插值器主要應(yīng)用于移動(dòng)的圖像中的非網(wǎng)格點(diǎn)數(shù)據(jù)值的計(jì)算，優(yōu)化方法則根據(jù)約束條件找到使得兩幅圖像相似測(cè)度達(dá)到最大的變換矩陣。本系統(tǒng)提供的相似測(cè)度包括互信息、歸一化互信息、相關(guān)比等。優(yōu)化方法包括梯度下降法、牛頓下山法，聯(lián)合下降法等。插值器包括線性插值、B-樣條插值、牛頓插值等，通過(guò)設(shè)置不同的參數(shù)實(shí)現(xiàn)特定任務(wù)的配準(zhǔn)。

系統(tǒng)的非線性配準(zhǔn)算法由IRTK算法平臺(tái)中的irtkImageFreeFormRegistration類實(shí)現(xiàn)。使用該類進(jìn)行配準(zhǔn)的具體步驟如下：

初始化：

(1)導(dǎo)入?yún)⒖紙D像和待配準(zhǔn)圖像。

(2)設(shè)置控制點(diǎn)間隔、優(yōu)化器、相似測(cè)度、插值器、金字塔層數(shù)及其他參數(shù)。

運(yùn)行：irktImageFreeFormRegistration

(3)重復(fù)優(yōu)化, 直到找到使得相似測(cè)度達(dá)到最大的形變矢量場(chǎng)。

輸出：配準(zhǔn)結(jié)果及形變矢量場(chǎng)

結(jié)束。

此外，本文在系統(tǒng)中實(shí)現(xiàn)了多種方法聯(lián)合配準(zhǔn)的策略，通過(guò)將初級(jí)配準(zhǔn)的形變矢量場(chǎng)作為更高級(jí)配準(zhǔn)方法的輸入，以獲得更好的初始化，最終生成配準(zhǔn)結(jié)果。該策略用于應(yīng)對(duì)復(fù)雜的配準(zhǔn)任務(wù)時(shí)，可避免直接采用非線性配準(zhǔn)無(wú)法實(shí)現(xiàn)準(zhǔn)確配準(zhǔn)的難題。

1.2 基于VTK的圖像顯示及三維重建

VTK是一款進(jìn)行數(shù)據(jù)可視化的開(kāi)發(fā)工具包，其面向通用可視化領(lǐng)域，具有良好的可移植性，提供用于三維計(jì)算機(jī)圖形學(xué)和可視化的類庫(kù)，尤其在三維重建具有強(qiáng)大的功能。

本系統(tǒng)的醫(yī)學(xué)圖像三準(zhǔn)視圖使用VTK的vtkSliceImageViewer與QVTKWidget完成顯示，并結(jié)合Qt的信號(hào)與槽機(jī)制實(shí)現(xiàn)人機(jī)交互。同時(shí)，本文采用多線程編程技術(shù)實(shí)現(xiàn)圖像配準(zhǔn)和可視化過(guò)程的并行處理，提供配準(zhǔn)過(guò)程實(shí)時(shí)動(dòng)態(tài)顯示，方便監(jiān)測(cè)配準(zhǔn)過(guò)程以及參數(shù)調(diào)整。

在三維重建方面，使用VTK的Marching Cubes面繪制提供三維醫(yī)學(xué)圖像的空間位置信息。面繪制利用分割技術(shù)對(duì)一系列的三維圖像進(jìn)行特征提取，利用提取的特征還原出被檢測(cè)物體的三維模型，并以表面的方式顯示，其基本步驟如下：讀取器→提取等值面→數(shù)據(jù)處理→映射器→實(shí)例化角色→繪制器→繪制窗口→交互器→交換方式。

1.3 去噪聲預(yù)處理

醫(yī)學(xué)圖像在獲取和傳輸過(guò)程中容易受到噪聲的影響，不僅會(huì)降低圖像質(zhì)量，同時(shí)也會(huì)影響配準(zhǔn)的精度。因此，在配準(zhǔn)之前需要進(jìn)行去噪聲預(yù)處理。本系統(tǒng)提供中值濾波法實(shí)現(xiàn)圖像去噪聲功能。中值濾波是一種非線性平滑技術(shù)，在去除噪聲的同時(shí)能夠較好地保留圖像的邊緣信息。圖1給出T2MRI腦圖像去噪聲的前后對(duì)比。

圖1 T2腦圖像去噪聲前后對(duì)比

1.4 基于Qt的人機(jī)交互界面

Qt是一個(gè)開(kāi)源、跨平臺(tái)的圖形用戶界面應(yīng)用框架，其以QWidget為基礎(chǔ)，包含按鈕、標(biāo)簽以及工具欄等多種類型的圖形用戶界面(Graphic User Interface，GUI)組件，廣泛應(yīng)用于系統(tǒng)的GIU開(kāi)發(fā)。此外，Qt提供了豐富的信號(hào)與槽(signals/slots)機(jī)制實(shí)現(xiàn)各個(gè)對(duì)象之間的通信，為人機(jī)交互奠定良好的基礎(chǔ)。

基于上述系統(tǒng)目標(biāo)，并結(jié)合實(shí)際臨床應(yīng)用的場(chǎng)景，本文利用Qt進(jìn)行系統(tǒng)的界面開(kāi)發(fā)。系統(tǒng)的主界面如圖2所示。

圖2 系統(tǒng)的主界面

2 應(yīng)用與結(jié)果

本文結(jié)合15例實(shí)際臨床數(shù)據(jù)對(duì)本系統(tǒng)進(jìn)行測(cè)試，其中包括4例二維(T1,T2) MRI腦圖像和11例三維宮頸癌內(nèi)外照射放療CT圖像，這些臨床數(shù)據(jù)由福建省腫瘤醫(yī)院提供。限于本文的篇幅，在此分別給出其中的一套數(shù)據(jù)進(jìn)行說(shuō)明。

2.1 二維(T1,T2)MRI腦圖像配準(zhǔn)

二維(T1,T2)MRI腦圖像的分辨率均為256×256，像素均為1 mm×1 mm。將T1、T2腦圖像分別作為參考和浮動(dòng)圖像導(dǎo)入系統(tǒng)，使用系統(tǒng)提供的去噪功能對(duì)待配準(zhǔn)的圖像作預(yù)處理。本文分別使用剛性、仿射和非線性三種變換模型進(jìn)行測(cè)試。參數(shù)設(shè)置：金字塔層數(shù)為3，歸一化互信息為相似測(cè)度，梯度下降法為優(yōu)化法以及線性插值器。在非線性配準(zhǔn)中，設(shè)置控制點(diǎn)網(wǎng)格分辨率為20。當(dāng)然，用戶可以根據(jù)具體任務(wù)進(jìn)行參數(shù)設(shè)置。配準(zhǔn)結(jié)果如圖3所示。

圖3 二維腦圖像的配準(zhǔn)結(jié)果其差值顯示

表1根據(jù)圖像的相關(guān)比(Correlation Coefficient，CC)總結(jié)了噪聲對(duì)二維(T1,T2)MRI腦圖像配準(zhǔn)結(jié)果的影響。

表1 噪聲對(duì)圖像配準(zhǔn)結(jié)果的影響

2.2 宮頸癌內(nèi)外照射三維CT圖像的配準(zhǔn)

外照射CT圖像分辨率為512×512×40，像素為0.976 6 mm×0.976 6 mm×5 mm；內(nèi)照射CT圖像分辨率為512×512×40,像素為0.976 6 mm×0.976 6 mm×2.5 mm。將外照射CT作為參考圖像，內(nèi)照射CT為浮動(dòng)圖像進(jìn)行配準(zhǔn)，參數(shù)設(shè)置同上述二維圖像配準(zhǔn)。由于腿部存在局部大形變，因此采用仿射與非線性聯(lián)合配準(zhǔn)的配準(zhǔn)策略完成配準(zhǔn)。圖4給出了非線性配準(zhǔn)的結(jié)果。

圖4 宮頸內(nèi)外照射三維CT圖像非線性配準(zhǔn)結(jié)果

3 討論

筆者發(fā)現(xiàn)，雖然二維(T1,T2)MRI腦圖像屬于同一病人，但由于成像原理不同導(dǎo)致圖像存在很大差異。經(jīng)過(guò)剛性和仿射配準(zhǔn)后在一定程度上減少了它們之間的差異，但其效果遠(yuǎn)不及非線性配準(zhǔn)，這主要是因?yàn)榫€性變換只包含簡(jiǎn)單的旋轉(zhuǎn)和平移變換，無(wú)法應(yīng)對(duì)軟組織的非剛性形變問(wèn)題。另一方面，從配準(zhǔn)后兩幅圖像的相關(guān)比可知，圖像中的噪聲不僅降低了圖像的質(zhì)量，而且極大地降低了圖像配準(zhǔn)的精度。從圖4可以看出采用多種方法聯(lián)合配準(zhǔn)的策略能夠準(zhǔn)確完成宮頸癌內(nèi)外照射放療三維CT圖像的配準(zhǔn)。

4 結(jié)束語(yǔ)

本文基于IRTK和VTK并結(jié)合Qt實(shí)現(xiàn)了多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)與可視化系統(tǒng)，提供包含線性和非線性配準(zhǔn)方法。結(jié)果證實(shí)了系統(tǒng)的去噪聲預(yù)處理和混合配準(zhǔn)策略提高了圖像配準(zhǔn)的精度和靈活性，通過(guò)友好的圖形界面和可視化功能簡(jiǎn)化了復(fù)雜的配準(zhǔn)過(guò)程。下一步的工作將研究非線性配準(zhǔn)方法在腫瘤放療劑量評(píng)估的應(yīng)用，并在系統(tǒng)中實(shí)現(xiàn)，為個(gè)性化放療提供有力的系統(tǒng)支撐。

[1] 佟正灝, 王榮福. 多模態(tài)影像技術(shù)在臨床中的應(yīng)用進(jìn)展[J]. CT 理論與應(yīng)用研究， 2014，23(4):707-714.

[2] 李偉, 朱學(xué)峰. 醫(yī)學(xué)圖像融合技術(shù)及其應(yīng)用[J]. 中國(guó)醫(yī)學(xué)影像技術(shù), 2005，21(7):1126-1129.

[3] CHEN S, SCHILDKRAUT J S. Image fusion for radiation therapy:US 7848592[P/OL]. (2010-12-7) [2016-8-6].http://patft.uspto.gov/netacgi/nph-Parser?Sect2=PTO1&Sect2=HITOFF&p=1&u=/netahtml/PTO/search-bool.html&r=1&f=G&l=50&d=PALL&RefSrch=yes&Query=PN/7848592.

[4] WANG L, LI B, TIAN L F. Multi-modal medical image fusion using the inter-scale and intra-scale dependencies between image shift-invariant shearlet coefficients[J]. Information Fusion, 2014,19(1):20-28.

[5] SINGH R, KHARE A. Fusion of multimodal medical images using daubechies complex wavelet transform-a multiresolution approach [J]. Information Fusion, 2014,19(3):49-60.

[6] RUECKERT D, SCHNABEL J A. Medical image registration[J]. Physics in Medicine & Biology,2011,46(3): 1-45.

[7] OLIVEIRA F P, TAVARES J M R. Medical image registration: a review[J]. Computer Methods in Biomechanics and Biomedical Engineering, 2014,17(2):73-93.

[8] 申艷平. 醫(yī)學(xué)圖像配準(zhǔn)技術(shù)[J]. 中國(guó)醫(yī)學(xué)物理學(xué)雜志, 2013,30(1):3885-3889.

[9] 黃善清, 龍鵬程. 基于ITK與VTK的配準(zhǔn)融合方法的研究與應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用, 2010,30(s1):140-142.

[10] El-GAMAL E Z A, ELMOGY M, ATWAN A. Current trends in medical image registration and fusion[J]. Egyptian Informatics Journal, 2015,17(1):99-124.

[11] RUECKERT D, SONODA L I, HAYES C, et al. Nonrigid registration using free-form deformations: application to breast MR images[J]. IEEE Transactions on Medical Imaging, 1999,18(8):712-721.

Medical image registration and visualization system based on IRTK and VTK

Lin Shaohui1,2,Du Min2, Gao Qinquan1,2, Gao Yueming1,2

(1. School of Physics and Information Engineering, Fuzhou University, Fuzhou 350116 , China；2. Key Lab of Medical Instrumentation & Pharmaceutical Technology of Fujian Province, Fuzhou University,Fuzhou 350116, China)

Image registration plays an important role in medical image processing and analysis. A multi-modal medical image registration system was designed to facilitate the clinical application of medical image registration. Several state-of-the-art registration algorithms are integrated into the proposed system, including linear and nonlinear registration. The system provides a friendly graphic interface and visualization function. Furthermore, images preprocess and hybrid registration strategy are also supported for improving the quality and efficiency of registration, the intermediate process can real-time display in this system. The experimental results show that the proposed system can achieve accurate medical image registration in terms of both effectiveness and efficiency.

medical image; automatic registration system; interactive visualization; real-time display

福州大學(xué)人才引進(jìn)啟動(dòng)基金(0110510154)；福建省自然科學(xué)基金(2016J05157)

TP317.4

A

10.19358/j.issn.1674- 7720.2017.01.004

林紹輝，杜民，高欽泉，等. 基于IRTK與VTK的醫(yī)學(xué)圖像配準(zhǔn)與可視化系統(tǒng)[J].微型機(jī)與應(yīng)用，2017,36(1)：11-14.

2016-08-06)

林紹輝(1990-)，男，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理。

杜民(1955-)，女，博士，教授，主要研究方向：醫(yī)學(xué)信息系統(tǒng)，生物醫(yī)療儀器。

高欽泉(1986-)，通信作者，男，博士，副教授，主要研究方向：醫(yī)學(xué)圖像處理。E-mail:qinquan@fzu.edu.cn。