基于互信息的多模態(tài)醫(yī)學(xué)圖像融合

李加恒，戴文戰(zhàn)，李俊峰

(1.浙江理工大學(xué)自動(dòng)化研究所，杭州 310012； 2.浙江工商大學(xué)信息與電子工程學(xué)院，杭州 310012)

?

基于互信息的多模態(tài)醫(yī)學(xué)圖像融合

李加恒1，戴文戰(zhàn)2，李俊峰1

(1.浙江理工大學(xué)自動(dòng)化研究所，杭州 310012； 2.浙江工商大學(xué)信息與電子工程學(xué)院，杭州 310012)

摘要:目前已知的醫(yī)學(xué)圖像融合算法未充分考慮源圖像間差異性的大小，針對該不足提出了一種基于互信息特征的多模態(tài)融合算法。算法引入提升小波變換，將目標(biāo)圖像分解為高、低頻子帶，根據(jù)高頻子帶的互信息量不同，對低互信息子帶采用區(qū)域梯度能量與區(qū)域標(biāo)準(zhǔn)差相結(jié)合的融合規(guī)則，對高互信息子帶采用邊緣強(qiáng)度取大的融合規(guī)則。通過多組目標(biāo)圖像融合對比的實(shí)驗(yàn)進(jìn)行驗(yàn)證，算法融合得到的圖像信息豐富，邊緣清晰，具有良好的視覺特性和優(yōu)秀的評價(jià)指標(biāo)。

關(guān)鍵詞：醫(yī)學(xué)圖像融合；提升小波變換；互信息；區(qū)域梯度能量；區(qū)域標(biāo)準(zhǔn)差

0引言

醫(yī)學(xué)圖像融合是一種將多源信道采集的圖像進(jìn)行科學(xué)融合，從而得到高質(zhì)量圖像的方法，對臨床醫(yī)學(xué)診斷具有重要意義。CT、MRI、PETCT等先進(jìn)的醫(yī)學(xué)成像設(shè)備廣泛應(yīng)用于臨床診斷中[1-2]。由于成像原理的差異，不同設(shè)備呈現(xiàn)的醫(yī)學(xué)圖像具有各自的特點(diǎn)。例如，CT圖像主要用來反映密度較大的組織，如骨骼；MRI圖像主要用來反映密度較小的組織，如血管、軟組織等；SPECT圖像主要用來定位病變組織的位置和程度[3]。為了彌補(bǔ)由于單一模式圖像成像機(jī)理不同造成的圖像信息缺失，需要進(jìn)行多模態(tài)醫(yī)學(xué)圖像的融合，以實(shí)現(xiàn)優(yōu)勢互補(bǔ)，幫助醫(yī)生對疾病準(zhǔn)確、快速地診斷和治療。

近年來，小波多尺度分解在醫(yī)學(xué)圖像融合領(lǐng)域得到了大量應(yīng)用。Kavitha等[4]提出的基于傳統(tǒng)小波變換的醫(yī)學(xué)圖像融合，但是小波運(yùn)算較為復(fù)雜、處理速度較慢，需要大量的存儲(chǔ)空間。Liu等[5]采用圖像銳度和互信息相結(jié)合后加權(quán)的融合算法，但是圖像的銳度反映的是圖像的“清晰度”，對于兩張較模糊的醫(yī)學(xué)源圖像進(jìn)行融合，融合效果不令人滿意。Tian等[6]采用基于邊緣信息的小波醫(yī)學(xué)圖像融合算法，采用選取邊緣強(qiáng)度閾值的算法，但是對于源圖像差異較大的圖像組，圖像間互信息較小時(shí)，融合效果并不理想。王昕等[7]采用低頻分量取大、高頻分量梯度能量比加權(quán)的算法，雖然高頻保留了圖像的大部分細(xì)節(jié)信息，但是忽視了低頻子帶中的大部分信息，對于高互信息的源圖像，在一定程度上削弱了梯度能量比加權(quán)的作用效果[8]。林卉等[9]采用方向?qū)Ρ榷确椒?，雖該方案更加符合人的生理視覺，但是犧牲了某些真實(shí)有用信息，無法提高準(zhǔn)確性。

本文在基于提升小波變換的基礎(chǔ)上[10]，引入互信息原理，提出了基于互信息特征的醫(yī)學(xué)圖像融合新算法。通過互信息量將高頻子帶進(jìn)行區(qū)分：互信息量低的高頻子帶，說明同位置的區(qū)域紋理相差較大，采用區(qū)域標(biāo)準(zhǔn)差與能量梯度相結(jié)合的方法，能更好地表現(xiàn)出邊緣化程度和更微小的細(xì)節(jié)變化；互信息量高的高頻子帶[11]，說明同位置的區(qū)域紋理相似度較高，采用邊緣強(qiáng)度取大的融合規(guī)則，以取得更好的融合效果。

1提升小波變換

傳統(tǒng)的多尺度小波變換是指空間和頻率的局部變換，它能夠快速有效的從圖像信號(hào)中獲取信息。提升小波變換是在傳統(tǒng)的小波變換基礎(chǔ)上改進(jìn)而來的，傳統(tǒng)小波變換通常在頻域中構(gòu)造，而提升小波是在空域中構(gòu)造，其優(yōu)點(diǎn)是獲取高頻信息不需要通過復(fù)雜的卷積計(jì)算[12-13]。提升小波主要由4個(gè)步驟組成，分別為：分解、對偶提升、更新和重構(gòu)[14]，其流程如圖1所示。圖1中：ai-1矩陣為初始信號(hào)；ai和bi為初始信號(hào)剖分的兩個(gè)子集；P為預(yù)測值；U為構(gòu)造的算子。

圖1　提升小波示意

2基于互信息特征的醫(yī)學(xué)圖像融合算法

圖2　醫(yī)學(xué)圖像融合算法流程

2.1低頻區(qū)域平均能量加權(quán)融合

由于醫(yī)學(xué)圖像經(jīng)過提升小波變換分解后，源圖像的大量基礎(chǔ)信息都在低頻子帶中。同時(shí)，相鄰的低頻子帶系數(shù)間具有相關(guān)性的特性。因此，本文通過在低頻子帶中采用區(qū)域平均能量加權(quán)的融合規(guī)則，可以更好地保留低頻子帶中的信息。

低頻子帶系數(shù)矩陣中以(i,j)為中心及其相鄰區(qū)域的均值能量表示為[18]:

(1)

式(1)中：S、H為圖像區(qū)域行和列的數(shù)值，cL為低頻子帶的系數(shù)。

定義K(i,j)為A圖像與B圖像的區(qū)域均值能量差別系數(shù)，即：

(2)

(3)

(4)

2.2基于互信息的高頻子帶融合規(guī)則

圖像的細(xì)節(jié)信息主要包含在圖像的高頻子帶中，紋理邊緣代表了圖像的細(xì)節(jié)特性。通常人們對圖像高頻子帶融合采用單一的融合算法，但是對于待融合的源圖像，圖像差異的大小對圖像融合效果影響較大?；バ畔⒘渴莾蓮垐D像相似性的一種測度，可以用信息熵來計(jì)算互信息。已完成配準(zhǔn)待融合的圖像來源于不同的成像設(shè)備，兩幅圖像相互表達(dá)的信息量很多。根據(jù)高頻子帶互信息量的不同，將高頻子帶分為高互信息量子帶和低互信息量子帶[15]。

對于區(qū)域互信息量低的高頻子帶，說明同位置的區(qū)域紋理相差較大；互信息量值高的高頻子帶，說明同位置的區(qū)域紋理相似度較高?；バ畔⒘窟h(yuǎn)大于0時(shí)，說明圖像A與圖像B關(guān)聯(lián)強(qiáng)度強(qiáng)，互信息量趨近于0時(shí)，說明圖像A與圖像B關(guān)聯(lián)強(qiáng)度弱。本文提出通過選定互信息閾值為25，將待融合的高頻子帶分為兩類，分別采取不同的融合規(guī)則保證保存圖像有效信息最大化。

2.2.1低互信息量高頻子帶融合規(guī)則

對于低互信息量高頻子帶，說明同位置區(qū)域都包含重要信息并區(qū)別很大。比如A圖像只有少量的骨骼的紋理特征，B圖像有大量的血管、肌肉等紋理特征。A與B圖像間相似度較小，互信息相對較低。由于圖像的局部特征通常并不是某一個(gè)像素或幾個(gè)像素就能所表現(xiàn)出來的，它是由某一區(qū)域內(nèi)多個(gè)像素共同表現(xiàn)出來的。圖像信號(hào)變化強(qiáng)弱可以通過梯度能量值表示出來。區(qū)域的灰度離散情況可以通過區(qū)域的標(biāo)準(zhǔn)差體現(xiàn)出來[16]。本文采用基于區(qū)域梯度能量和區(qū)域標(biāo)準(zhǔn)差相結(jié)合的融合規(guī)則，不僅能保證圖像的整體細(xì)節(jié)，還能保持圖像的清晰度，提高融合圖像的質(zhì)量[17]。

定義PX為圖像的區(qū)域標(biāo)準(zhǔn)差：

(5)

令?A、?B分別表示圖像A和圖像B區(qū)域標(biāo)準(zhǔn)差所占的權(quán)重，公式如下所示：

(6)

(7)

定義QX為圖像的區(qū)域梯度能量：

(8)

(9)

(10)

低互信息量高頻子帶融合規(guī)則為

(11)

2.2.2高互信息量高頻子帶融合規(guī)則

區(qū)域互信息量大的高頻子帶，說明同位置的區(qū)域紋理相似度較高。對于含有相似的紋理特征的兩高頻子帶，若仍采用加權(quán)的融合規(guī)則，卻削弱了各圖像特有的紋理信息。要使融合的圖像更好的保留源圖像的紋理信息，本文對于高互信息量的高頻子帶采用邊緣強(qiáng)度取大的融合規(guī)則。

邊緣強(qiáng)度的如式(12)所示：

(12)

式(12)中，f(x+m,y+n)為領(lǐng)域像素的灰度，窗口的大小為M×N，大小取3×3；mean(x-m:x+m,y-n:y+n)為區(qū)域均值。

分別計(jì)算出圖像高互信息高頻子帶的邊緣強(qiáng)度值，通過采用邊緣強(qiáng)度取大，計(jì)算得到融合后高互信息量高頻子帶的系數(shù)：

(13)

3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法，在Matlab環(huán)境下實(shí)現(xiàn)本文算法。選取CT、MRI、SPECT 3種類型圖像進(jìn)行融合對比。根據(jù)特征的不同可分為CT/MRI圖像融合、MR-T1/MR-T2圖像融合和MRI/SPECT圖像融合3種類型。

為了檢測本算法的有效性，選用5組經(jīng)配準(zhǔn)后的人腦組織作為源圖像。圖3-圖5的(c)圖為文獻(xiàn)[1]采用脈沖耦合神經(jīng)網(wǎng)絡(luò)模型的融合算法的融合圖像；圖3-圖5的(d)圖為文獻(xiàn)[3]提出的高頻部分采用結(jié)構(gòu)相似度與圖像邊緣算子相結(jié)合的融合圖像；圖3-圖5的(e)圖為文獻(xiàn)[5]提出的基于壓縮感知的算法的融合圖像；圖3-圖5的(f)圖為文獻(xiàn)[10]提出的平均梯度和圖像熵系數(shù)加權(quán)融合圖像；圖3-圖5的(g)圖為文獻(xiàn)[16]提出的根據(jù)高頻子帶中噪聲含量的不同，對噪聲含量較低的低層高頻子帶采用基于計(jì)盒分維法獲取分維數(shù),而對噪聲含量較高的高層高頻子帶提出了基于區(qū)域梯度能量加權(quán)融合規(guī)則的融合圖像；圖3-圖5的(h)圖為本文提出的融合新算法。

3.1灰度圖像融合

正常腦部CT/MRI融合圖像如圖3所示。急性腦卒中CT/MRI融合圖像如圖4所示。多發(fā)性腦梗塞MR-T1/MR-T2融合圖像如圖5所示。

圖3　正常腦部CT/MRI醫(yī)學(xué)圖像融合結(jié)果

圖4　急性腦卒中CT/MRI醫(yī)學(xué)圖像融合結(jié)果

圖5　多發(fā)性腦梗塞MR-T1/MR-T2醫(yī)學(xué)圖像融合結(jié)果

表1列出圖3中正常腦部CT/MRI圖像應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)融合的質(zhì)量評價(jià)指標(biāo)。表2列出圖4中急性腦卒中CT/MRI圖像應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)融合的質(zhì)量評價(jià)指標(biāo)。表3列出圖5中多發(fā)性腦梗塞MR-T1/MR-T2圖像應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)融合的質(zhì)量評價(jià)指標(biāo)。

表1　圖3中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)融合的質(zhì)量評價(jià)

表2　圖4中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)融合的質(zhì)量評價(jià)

表3　圖5中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)融合的質(zhì)量評價(jià)

在圖3中，相對于其它算法，本文算法融合后的圖像文理清晰，不僅保留源圖像較為清晰的腦部組織信息，而且骨骼的組織邊緣依然明顯，不同組織間差異明顯；在圖4(b)中，腦部右側(cè)有較為明顯的組織病變陰影，通過本文算法融合后，正常組織與病變組織在圖像上有著明顯差異；圖5(a)和圖5(b)的圖像為不同時(shí)間的成像的加權(quán)像。圖5(d)圖像采用的融合算法雖然融合后圖像的信息豐富，但是圖像輪廓模糊，融合效果并不好。而采用本文算法融合的圖像，亮度高，圖像細(xì)節(jié)紋理明顯，融合效果較好。從評價(jià)指標(biāo)上看，信息熵值最好，圖像邊緣評價(jià)因子也較好。信息熵值越高，說明圖像提取的信息越豐富，邊緣評價(jià)因子越高，說明融合后的圖像與源圖像差異越小。從主觀上還是客觀數(shù)據(jù)上都可以看出圖像融合質(zhì)量上都較好。

通過圖6(從圖3截取出部分區(qū)域放大圖)可以看出，本文算法得出的圖像紋理信息保留得更好，邊緣更加清晰，圖像信息更為豐富。

圖6　圖3中融合圖像局部區(qū)域比較

3.2彩色圖像融合

彩色圖像信息豐富，人眼對彩色圖像分辨率遠(yuǎn)高于灰度圖像，彩色圖像與灰度圖像進(jìn)行融合同樣非常重要，彩色圖像與灰度圖像融合過程如圖7所示。實(shí)驗(yàn)結(jié)果如圖8、圖9所示。圖8為正常腦部SPECT/MRI融合圖像。圖9為轉(zhuǎn)移性腦癌腦部SPECT/MRI融合圖像。

圖7　MRI/SPECT圖像融合流程

圖8　正常腦部SPECT/MRI醫(yī)學(xué)圖像融合結(jié)果

圖9　轉(zhuǎn)移性肺癌SPECT/MRI醫(yī)學(xué)圖像融合結(jié)果

對于彩色圖像的評價(jià)的最終的性能指標(biāo)如表4和表5所示。

表4　圖8中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)圖像融合的質(zhì)量評價(jià)

表5　圖9中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學(xué)圖像融合的質(zhì)量評價(jià)

在圖8中，相對于其它算法，本文算法融合的圖像在保留了SPECT彩色圖像主要信息的同時(shí)，腦部組織紋理理和頭部輪廓依然表現(xiàn)清晰，病變組織與正常組織間差異明顯；在圖9中，本文算法的融合圖像在視覺感官上相對于其它算法相差不多，但是從評價(jià)指標(biāo)上看，本文算法在各個(gè)指標(biāo)方面表現(xiàn)較好。綜合以上實(shí)驗(yàn)結(jié)果，通過對比，采用本文融合算法得到的圖像在空間頻率和邊緣強(qiáng)度上有所提升，表明融合圖像有效保留了源圖像的重要信息?；诨バ畔⑻卣鞯倪x取能夠使高頻融合規(guī)則更加有效；在質(zhì)量評價(jià)中，信息熵的提高說明融合圖像所含的信息更為豐富，灰度級更為分散，對比度更好，在視覺上相比其他算法也較好。

4結(jié)語

醫(yī)學(xué)圖像融合在醫(yī)學(xué)圖像分析和診斷上具有重要的應(yīng)用價(jià)值。本文重點(diǎn)研究了基于提升小波變換的圖像融合技術(shù)。在低頻子帶選取上，采用基于區(qū)域平均能量加權(quán)融合規(guī)則。在高頻子帶系數(shù)選取上，根據(jù)高頻子帶區(qū)域互信息量的不同，將高頻子帶分為高互信息量高頻子帶和低互信息量高頻子帶，高頻子帶間互信息高，說明子帶間差異性較小，圖像紋理較為接近，通過邊緣的邊緣強(qiáng)度值取大，能夠?qū)⒃磮D像間細(xì)節(jié)邊緣信息最大化得保留。高頻子帶間互信息小，說明子帶間差異性較大，為了更好的融合圖像，區(qū)域梯度能量的值體現(xiàn)的是圖像整體亮度，區(qū)域標(biāo)準(zhǔn)差的值體現(xiàn)的是圖像的紋理強(qiáng)度，采用兩種方法相結(jié)合得出方法保證了圖像的亮度和紋理強(qiáng)度間的平衡。實(shí)驗(yàn)結(jié)果表明：本文算法引入互信息有效提高了圖像融合的質(zhì)量，圖像細(xì)節(jié)和評價(jià)指標(biāo)較好。后續(xù)工作將對互信息類型特征進(jìn)行進(jìn)一步劃分，更好的提升圖像的融合效果。

參考文獻(xiàn)：

[1] SINGH S, GUPTA D, ANAND R S, et al. Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network[J]. Biomedical Signal Processing & Control,2015,18(1):91-101.

[2] ISLAM M S, CHONG U P. Improvement in moving target detection based on hough transform and wavelet[J]. Iete Technical Review, 2015, 32(1):46-51.

[3] 江澤濤,楊陽,郭川.基于提升小波變換的圖像融合改進(jìn)算法的研究[J].圖像與信號(hào)處理,2015,4(2):12-19.

[4] KAVITHA C T, CHELLAMUTHU C. Fusion of SPECT and MRI images using integer wavelet transform in combination with curvelet transform[J].The Imaging Science Journal,2015,63(1):17-23.

[5] LIU Z, YIN H, CHAI Y, et al. A novel approach for multimodal medical image fusion[J]. Expert Systems with Applications,2014,41(16):7425-7435.

[6] TIAN J, CHEN L. Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure[J]. Signal Processing,2012,92(9):2137-2146.

[7] 王昕,李瑋琳,劉富.小波域CT/MRI醫(yī)學(xué)圖像融合新方法[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版)，2013,43(1):25-28.

[8] DAS S, KUNDU M K. NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency[J]. Medical & Biological Engineering & Computing,2012,50(10):1105-1114.

[9] 林卉,RuiliangPu,梁亮,等.方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差相結(jié)合的圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2014,6(1):31-34.

[10] CHO H J, Park T H. Wavelet transform based image template matching for automatic component inspection[J]. International Journal of Advanced Manufacturing Technology,2010,50(9-12):1033-1039.

[11] ZHANG B, ZHANG C, WU J, et al. A medical image fusion method based on energy classification of BEMD components[J]. Optik - International Journal for Light and Electron Optics,2014,125(1):146-153.

[12] NICHOL J, MAN S W. Modeling urban environmental quality in a tropical city[J]. Landscape & Urban Planning,2005,73(1):49-58.

[13] XU Z H, LIAO F X, HE Z Q, et al. PET and CT cross-modality medical image fusion based on out-location frame[J]. Journal of Southern Medical University,2010,30(6):1304-1306.

[14] HIREMATH P S, AKKASALIGAR P T, BADIGER S. Visual enhancement of digital ultrasound images using multiscale wavelet domain[J]. Pattern Recognition & Image Analysis,2010,20(3):303-315.

[15] CHENG B S, CHEN H, BEATTY R E, et al. Multimodality image fusion and planning and dose delivery for radiation therapy[J]. Medical Dosimetry,2008,33(2):149-155.

[16] 李俊峰,姜曉麗,戴文戰(zhàn).基于提升小波變換的醫(yī)學(xué)圖像融合[J].中國圖象圖形學(xué)報(bào),2014,19(11):1639-1648.

[17] 劉貴喜,陳文錦,劉純虎.基于方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差的圖像融合方法[J].儀器儀表學(xué)報(bào),2005,26(6):628-631.

[18] ZHANG B, ZHANG C, LIU Y, et al. Multi-focus image fusion algorithm based on compound PCNN in Surfacel et domain[J]. Optik- International Journal for Light and Electron Optics,2014,125(1):296-300.

(責(zé)任編輯： 陳和榜)

Multi-modality Medical Image Fusion Based on Mutual Information

LIJiaheng1,DAIWenzhan2,LIJunfeng1

(1. Institute of Automation, Zhejiang Sci-Tech University, Hangzhou 310012, China; 2. School of Information and Electronic, Zhejiang Gongshang University, Hangzhou 310012, China)

Abstract：The known algorithms of medical image fusion do not consider the difference among different source images. In view of this problem, a multi-modality fusion algorithm based on mutual information was proposed. The algorithm introduces lifting wavelet transform and decomposes the target image into high frequency sub-bands and low frequency sub-bands. According to different mutual information amount of high frequency sub-bands, the fusion rule of combining local gradient energy and local standard deviation was adopted for low mutual information sub-bands, while fusion rule of bigger edge strength is applied for frequency mutual information sub-bands. Experimental results of multi-group target image fusion show the method proposed in this paper is much better because of its rich image information, clear edge, good visual features and excellent evaluation indexes.

Key words：medical image fusion; lifting wavelet transform; mutual information; local gradient energy; local standard deviation

DOI:10.3969/j.issn.1673-3851.2016.07.022

收稿日期：2015-09-19

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(61374022)

作者簡介：李加恒(1990-)，男，江蘇連云港人，碩士研究生，主要從事圖像處理方面的研究。

通信作者：戴文戰(zhàn)，E-ail:dwz@zjsu.edu.cn

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673- 3851 (2016) 04- 0607- 08 引用頁碼： 070602