基于紋理特征與廣義相關(guān)性結(jié)構(gòu)信息的醫(yī)學(xué)圖像融合

潘樹(shù)偉，戴文戰(zhàn)，李俊峰

(1.浙江理工大學(xué)自動(dòng)化研究所，杭州 310012；2. 浙江工商大學(xué)信息與電子工程學(xué)院，杭州 310012)

?

基于紋理特征與廣義相關(guān)性結(jié)構(gòu)信息的醫(yī)學(xué)圖像融合

潘樹(shù)偉1，戴文戰(zhàn)2，李俊峰1

(1.浙江理工大學(xué)自動(dòng)化研究所，杭州 310012；2. 浙江工商大學(xué)信息與電子工程學(xué)院，杭州 310012)

結(jié)合多尺度變換的圖像特征，提出了一種基于紋理特征與相關(guān)性結(jié)構(gòu)信息的醫(yī)學(xué)圖像融合方法。首先對(duì)已配準(zhǔn)的源圖像進(jìn)行非下采樣Contourlet變換，得到低頻、高頻子帶系數(shù)。其次考慮人眼視覺(jué)對(duì)紋理特征的敏感性，提出局部差分計(jì)盒維數(shù)來(lái)統(tǒng)計(jì)圖像的紋理信息；分析NSCT高頻子帶兄弟系數(shù)間及其父子系數(shù)間的強(qiáng)相關(guān)性，分別計(jì)算出系數(shù)間的結(jié)構(gòu)相似度與鄰域拉普拉斯能量和，作為高頻子帶系數(shù)間的廣義相關(guān)性結(jié)構(gòu)信息。然后對(duì)低頻提出Sigmoid函數(shù)自適應(yīng)融合，對(duì)高頻采用廣義相關(guān)性結(jié)構(gòu)信息取大法。最后進(jìn)行逆NSCT變換得到融合圖像。通過(guò)灰度與彩色圖像融合實(shí)驗(yàn)發(fā)現(xiàn)，該算法不僅可以保留源圖像的邊緣信息，還得到較好的客觀評(píng)價(jià)指標(biāo)和視覺(jué)效果。

醫(yī)學(xué)圖像融合；非下采樣Contourlet變換；局部差分計(jì)盒維數(shù)；廣義相關(guān)性結(jié)構(gòu)信息

0 引 言

隨著電子科學(xué)的發(fā)展，醫(yī)學(xué)成像技術(shù)被廣泛應(yīng)用于臨床診斷。不同形式的醫(yī)學(xué)影像反映不同的人體器官和組織信息[1]。解剖圖像(CT、MRI等)提供相對(duì)高分辨率的解剖信息和生理特征，而功能圖像(SPECT、PET等)提供人體器官的新陳代謝和血液循環(huán)信息，但空間分辨率較低。單一模態(tài)的醫(yī)學(xué)圖像只提供片面、不完整的信息，因此，多模態(tài)醫(yī)學(xué)圖像融合具有很大的研究?jī)r(jià)值，不僅互補(bǔ)了醫(yī)學(xué)圖像信息，還有助于臨床中對(duì)病灶的診斷[2-4]。

近年來(lái)，基于多尺度幾何變換的多模態(tài)醫(yī)學(xué)融合方法由于符合人類的視覺(jué)原理而越來(lái)越受人們的重視[5]。李俊峰等[6]提出了基于提升小波變換的醫(yī)學(xué)圖像融合方法，該方法對(duì)低頻子帶使用區(qū)域能量加權(quán)規(guī)則，在高頻子帶中，針對(duì)噪聲含量的不同，對(duì)低層高頻子帶采用基于計(jì)盒分維法，對(duì)高層高頻子帶采用區(qū)域梯度能量加權(quán)融合規(guī)則。該方法雖然有效抑制了噪聲干擾，但對(duì)于計(jì)盒分維只使用了全局分維數(shù)，沒(méi)有考慮到單個(gè)像素點(diǎn)的分維數(shù)對(duì)圖像紋理特征的作用。Yang等[7]提出基于二型模糊邏輯NSCT域的圖像融合方法，該方法進(jìn)一步給出了集合中隸屬度值的模糊程度，增強(qiáng)了傳統(tǒng)模糊描述和處理不確定性的能力，然而在隸屬度函數(shù)的選擇時(shí)比較復(fù)雜，計(jì)算量大、時(shí)間長(zhǎng)。Srivastava等[8]提出基于本地能量Curvelet域的圖像融合算法，但該算法只考慮了本地能量，沒(méi)考慮人眼視覺(jué)對(duì)于紋理細(xì)節(jié)、輪廓信息的敏感度遠(yuǎn)大于像素強(qiáng)度本身的特點(diǎn)。Bhateja等[9]提出基于SWT與NSCT的融合方法，但其NSCT域使用取大法，容易受到噪聲的干擾，且沒(méi)有考慮到子帶系數(shù)間的相關(guān)性，易造成部分信息的丟失。

基于上述分析，結(jié)合多尺度變換的圖像特征，本文提出了一種基于紋理特征與相關(guān)性結(jié)構(gòu)信息的醫(yī)學(xué)圖像融合方法。本文選取非下采樣Contourlet變換(nonsubsampled contourlet transform, NSCT)作為多尺度變換工具，與小波變換相比，NSCT具有平移不變性和多方向性，能更好地捕捉圖像中的奇異點(diǎn)，以最稀疏的方式表示圖像的輪廓及邊緣信息。局部差分計(jì)盒維數(shù)(local differential box counting, LDBC)能很好地表征圖像的邊緣輪廓信息及紋理信息。經(jīng)NSCT分解后的高頻子帶兄弟間、父子間、鄰域間存在著相關(guān)性，保留著基本輪廓結(jié)構(gòu)信息，因此，本文計(jì)算出系數(shù)間的結(jié)構(gòu)相似度(structural similarity, SSIM)與鄰域拉普拉斯能量和，作為高頻子帶系數(shù)間的廣義相關(guān)性結(jié)構(gòu)信息(information of generalized correlation structure, IGCS)。最后對(duì)獲得的融合系數(shù)進(jìn)行逆NSCT變換得到融合圖像。

1 NSCT子帶系數(shù)間廣義相關(guān)性結(jié)構(gòu)信息

1.1 非下采樣Contourlet變換(NSCT)

Cunha等[10]提出了NSCT方法，該變換方法沒(méi)有對(duì)信號(hào)下采樣，而是對(duì)濾波器進(jìn)行上采樣，從而使得其具有平移不變性，且繼承了多尺度性、方向選擇性。NSCT是由非下采樣金字塔濾波器組(nonsubsampled pyramid filter bank, NSPFB)和非下采樣方向?yàn)V波器組(nonsubsampled directional filter bank, NSDFB)兩個(gè)獨(dú)立步驟完成的。首先對(duì)圖像進(jìn)行多尺度分解，得到一個(gè)低頻子帶和多個(gè)尺度的高頻子帶系數(shù)，然后NSDFB對(duì)各尺度高頻子帶進(jìn)行多方向、多分辨率分解，從而獲得了各尺度方向各異的子帶系數(shù)。在分解、重構(gòu)過(guò)程中采用非下采樣，使得分解得到的圖像不存在頻率混疊的現(xiàn)象。圖1為NSCT變換的結(jié)構(gòu)框圖。圖2為NSCT的理想?yún)^(qū)域劃分圖。

圖1 NSCT變換結(jié)構(gòu)框圖

圖2 NSCT理想頻域劃分

1.2 NSCT子帶系數(shù)間的相關(guān)性

圖3 NSCT系數(shù)間的關(guān)系

傳統(tǒng)的多尺度幾何算法都是假設(shè)尺度間是統(tǒng)計(jì)無(wú)關(guān)的，然而只對(duì)同一尺度、同一方向的系數(shù)進(jìn)行融合規(guī)則的計(jì)算，導(dǎo)致尺度間強(qiáng)相關(guān)性細(xì)節(jié)信息的丟失[12]。本文選取自然圖像cameraman(如圖4(a)所示)進(jìn)行實(shí)驗(yàn)，為計(jì)算方便，對(duì)其進(jìn)行2層NSCT分解，尺度從粗到細(xì)依次為4、8個(gè)方向子帶，圖4(b)為最細(xì)尺度中的一個(gè)高頻子帶。每一個(gè)高頻子帶的NSCT系數(shù)都構(gòu)成一個(gè)隨機(jī)場(chǎng)，且各個(gè)系數(shù)具有獨(dú)立的概率密度，因此對(duì)圖4(b)進(jìn)行概率分布統(tǒng)計(jì)，結(jié)果如圖5所示。

圖4 Cameraman圖像及其NSCT分解圖像

圖5 圖4(b)子帶系數(shù)歸一化直方圖

分析圖5可以看出，高頻子帶系數(shù)的分布基本對(duì)稱，且呈現(xiàn)“高尖峰，長(zhǎng)拖尾”的分布特性，即概率分布的均值為0。這表明，NSCT變換能稀疏地表示分解的輪廓段，其中幅值為0的系數(shù)占據(jù)了絕大部分，幅值較大的系數(shù)只有少數(shù)，且其表示圖像中顯著的細(xì)節(jié)特征。然而這種稀疏特性在多尺度和不同方向的子帶系數(shù)上也普遍存在。由此可見(jiàn)，NSCT的子帶系數(shù)與其鄰域系數(shù)、兄弟系數(shù)及父系數(shù)間存在強(qiáng)相關(guān)性、持續(xù)性和聚集性。

1.3 廣義相關(guān)性結(jié)構(gòu)信息

圖像中的結(jié)構(gòu)特征具有重點(diǎn)突出性，有助于人類視覺(jué)系統(tǒng)在觀察時(shí)分辨圖像中的事物，而且在融合圖像評(píng)價(jià)方法中，SSIM描述圖像的結(jié)構(gòu)相似度也用來(lái)評(píng)估圖像的質(zhì)量[13]。

SSIM包括圖像亮度、圖像對(duì)比度、圖像結(jié)構(gòu)比較，其表達(dá)式如下：

(1)

(2)

(3)

由式(4)得到像素點(diǎn)dk,l(i,j)兄弟子帶間結(jié)構(gòu)相似度為SSIM(dk,l,dk,lq)，其中：k為尺度層數(shù)，l為方向級(jí)數(shù)，q∈{1,2,…,l}。同理可得父子子帶間結(jié)構(gòu)相似度為SSIM(dk,l,dk-1,l)。那么可定義像素點(diǎn)dk,l(i,j)的相關(guān)性結(jié)構(gòu)相似度：

然而，NSCT系數(shù)在一定程度上也依賴于鄰域的特性，拉普拉斯能量和能很好地反應(yīng)圖像的邊緣特征與能量特性。因此，結(jié)合相關(guān)性結(jié)構(gòu)相似度與拉普拉斯能量和，定義廣義相關(guān)性結(jié)構(gòu)信息(IGCS)如下：

IGCSk,l(i,j)=RE[dk,l(i,j)]×NSMLk,l(i,j)

(6)

(8)

其中：dk,l(i,j)為NSCT分解后在k層尺度l級(jí)方向上位置為(i,j)的高頻子帶系數(shù)；MLk,l(i,j)為拉普拉斯能量；step表示系數(shù)間的可變間距，本文取1。

由此可見(jiàn)，IGCS不僅能突出NSCT圖像中兄弟間、父子間系數(shù)的結(jié)構(gòu)特征，反映其結(jié)構(gòu)信息的退化程度，而且還具有鄰域間邊緣及能量的表達(dá)，捕獲了圖像中豐富的細(xì)節(jié)信息。

2 局部差分計(jì)盒維數(shù)

人類視覺(jué)在處理數(shù)量龐大的信息時(shí)，注意機(jī)制具有極其重要的作用，它能夠?qū)⒂邢薜馁Y源優(yōu)先分配給有用的信息，從而優(yōu)先處理最有價(jià)值的數(shù)據(jù)[14]。然而人眼視覺(jué)對(duì)于圖像紋理、輪廓特征比像素本身強(qiáng)度更加敏感，所以統(tǒng)計(jì)圖像的紋理信息是提高圖像融合質(zhì)量的重要內(nèi)容。

分形能提供自然圖像復(fù)雜度信息，是一種最接近自然的算法，分維是分形的維數(shù)，它可以定量地刻畫(huà)分形的特點(diǎn)，用以描述圖像的特征[15-17]。LDBC利用圖像分塊處理的思想，能處理大數(shù)據(jù)圖像信息，分形維數(shù)越小，對(duì)應(yīng)的圖像表面越光滑，分形維數(shù)越大，圖像像素變化越劇烈，圖像紋理表征越好。LDBC計(jì)算過(guò)程如下：

a)以像素點(diǎn)(x，y)為中心，取出T×T的窗口大小的圖像。

c)將圖像視為三維空間中的曲面，x、y表示平面位置，z表示灰度值。每個(gè)子塊上是一列s×s×s的盒子。在每個(gè)尺度r下，使得第(i，j)子塊中的最小和最大灰度級(jí)分別落入第k和第l個(gè)盒子中，則覆蓋該塊的盒子的數(shù)目計(jì)算為：

nr(i,j)=l-k+1

(9)

d) 移動(dòng)窗口，計(jì)算每個(gè)子塊下的nr(i,j)，則覆蓋整個(gè)圖像所需的盒子數(shù)為：

(10)

e)對(duì)于不同的r所獲得的n個(gè)點(diǎn)對(duì){ log(1/r) ，log(Nr) }，用最小二乘法進(jìn)行線性擬合，將這個(gè)直線斜率作為該點(diǎn)的局部計(jì)盒維數(shù)LDBC(i，j)。

3 圖像融合算法

圖6 基于紋理特征與廣義相關(guān)性結(jié)構(gòu)信息的醫(yī)學(xué)圖像融合

3.1 低頻子帶融合

圖像經(jīng)NSCT分解后，低頻子帶是源圖像的近似部分，反映了源圖像的概貌特征和主體輪廓。然而，加權(quán)平均準(zhǔn)則、取系數(shù)極大值等，此類方法會(huì)使圖像對(duì)比度減弱，造成圖像信息的部分丟失，因此本文采用LDBC來(lái)統(tǒng)計(jì)圖像的紋理信息，且符合人眼視覺(jué)特性，并提出Sigmoid函數(shù)自適應(yīng)調(diào)節(jié)融合。步驟如下：

b)本文構(gòu)造一個(gè)Sigmoid函數(shù)，表達(dá)式如下：

(11)

c)最終低頻子帶融合規(guī)則如下：

(12)

從式(12)可以得出，本文提出的融合規(guī)則可以根據(jù)圖像各自的LDBC來(lái)動(dòng)態(tài)的分配權(quán)值，因此達(dá)到自適應(yīng)的融合效果。

圖7 Sigmoid函數(shù)

3.2 高頻子帶融合

高頻子帶中包含著圖像的細(xì)節(jié)信息，模值越大表示圖像變化越強(qiáng)烈。拉普拉斯能量和能捕捉圖像的邊緣特征和輪廓信息，在一定程度上表征圖像的清晰度和聚焦特性。相關(guān)性結(jié)構(gòu)相似度描述了圖像的亮度、對(duì)比度及結(jié)構(gòu)信息。所以廣義相關(guān)性結(jié)構(gòu)信息能很好地表達(dá)圖像細(xì)節(jié)部分，改進(jìn)圖像的視覺(jué)效果。具體融合步驟如下：

b)廣義相關(guān)性結(jié)構(gòu)信息采用取大規(guī)則計(jì)算：

(13)

4 實(shí)驗(yàn)結(jié)果及分析

4.1 灰度圖像融合

為了驗(yàn)證本文所提算法的有效性，以灰度圖像融合實(shí)驗(yàn)為例，與文獻(xiàn)[6]、文獻(xiàn)[8]、文獻(xiàn)[9]、文獻(xiàn)[18]、文獻(xiàn)[19]、文獻(xiàn)[20]、文獻(xiàn)[21]進(jìn)行實(shí)驗(yàn)對(duì)比。文獻(xiàn)[6]提出了基于提升小波的圖像融合算法，該算法根據(jù)噪聲含量的不同，低頻采用區(qū)域能量規(guī)則，高頻采用基于分盒計(jì)數(shù)與區(qū)域梯度能量相結(jié)合的規(guī)則。文獻(xiàn)[8]提出了Curvelet域的本地能量算法。文獻(xiàn)[9]提出了基于SWT與NSCT的融合方法，該方法在SWT域采用主成分分析法，第二階段采用NSCT域取大法。文獻(xiàn)[18]提出了基于補(bǔ)償機(jī)制的NSCT域圖像融合算法。文獻(xiàn)[19]根據(jù)高頻子帶的互信息大小，分別采用不同規(guī)則進(jìn)行融合。文獻(xiàn)[20]提出了基于提升小波和PCNN的融合算法。文獻(xiàn)[21]采用在線字典訓(xùn)練和選擇能量梯度差異程度大的融合規(guī)則。本文采用信息熵(IE)、邊緣信息評(píng)價(jià)因子(QABF)、標(biāo)準(zhǔn)差(SD)和空間頻率(SF)對(duì)融合圖像進(jìn)行定量分析。

圖8(a)、8(b)為正常腦部CT/MRI醫(yī)學(xué)圖像。圖9(a)、9(b)為多發(fā)性腦梗塞MR-T1/MR-T2醫(yī)學(xué)圖像。圖10(a)、10(b)為急性腦卒中CT/MRI醫(yī)學(xué)圖像。圖8(c)、9(c)、10(c)為文獻(xiàn)[6]提出的融合算法結(jié)果圖像。圖8(d)、9(d)、10(d)為文獻(xiàn)[8]提出的融合規(guī)則結(jié)果圖像。圖8(e)、9(e)、10(e)為文獻(xiàn)[9]提出的融合算法結(jié)果圖像。圖8(f)、9(f)、10(f)為文獻(xiàn)[18]提出的融合規(guī)則結(jié)果圖像。圖8(g)、9(g)、10(g) 為文獻(xiàn)[19]提出的融合規(guī)則結(jié)果圖像。圖8(h)、9(h)、10(h) 為文獻(xiàn)[20]提出的融合規(guī)則結(jié)果圖像。圖8(i)、9(i)、10(i) 為文獻(xiàn)[21]提出的融合規(guī)則結(jié)果圖像。圖8(j)、9(j)、10(j)為本文提出的融合規(guī)則結(jié)果圖像。表1—表3為不同源圖像經(jīng)多種融合算法處理后的圖像質(zhì)量評(píng)價(jià)結(jié)果。

圖8 正常腦部CT/MRI醫(yī)學(xué)圖像融合結(jié)果

圖9 多發(fā)性腦梗塞MR-T1/MR-T2醫(yī)學(xué)圖像融合結(jié)果

圖10 急性腦卒中CT/MRI醫(yī)學(xué)圖像融合結(jié)果

評(píng)價(jià)指標(biāo)文獻(xiàn)[6]算法文獻(xiàn)[8]算法文獻(xiàn)[9]算法文獻(xiàn)[18]算法文獻(xiàn)[19]算法文獻(xiàn)[20]算法文獻(xiàn)[21]算法本文算法IE5.86235.86336.06836.09315.82415.72535.93026.0581QABF0.61020.59540.62310.60790.60390.58220.60370.6276SD31.04129.92731.75430.91530.67431.3732.13232.381SF9.36489.48439.21859.52169.07838.86929.37559.4216

表2 不同融合方法處理圖9的融合指標(biāo)

表3 不同融合方法處理圖10的融合指標(biāo)

分析圖8-圖10不同算法的融合結(jié)果圖像，可以看出本文算法有著良好的紋理信息，目標(biāo)邊緣更加清晰，不但清晰地保留了源圖像的腦部組織信息，而且整體對(duì)比度高。分析圖9可以看出，圖9(c)、圖9(e)、圖9(f)、圖9(h)的圖像模糊，對(duì)比度低，骨骼和軟組織細(xì)節(jié)信息丟失，無(wú)法體現(xiàn)源圖像的紋理信息，且出現(xiàn)了頻譜混疊現(xiàn)象，源圖像信息表現(xiàn)不明顯；圖9(d)、圖9(f)、圖9(i)輪廓顯示模糊，紋理信息部分丟失；圖9(j)不僅保留了空間信息，而且紋理信息和輪廓信息相對(duì)豐富。由圖10可見(jiàn)，從主觀評(píng)價(jià)分析，對(duì)比其他7種融合結(jié)果，本文算法對(duì)病變部位提取清晰，而且保留了周圍組織的豐富信息。因此本文算法的融合結(jié)果相比之下偽輪廓最少，且具有相對(duì)高的圖像對(duì)比度和清晰的細(xì)節(jié)信息。分析表1—表3的圖像質(zhì)量評(píng)價(jià)指標(biāo)，可以得出本文算法融合結(jié)果的評(píng)價(jià)指標(biāo)部分?jǐn)?shù)據(jù)最好，綜合評(píng)價(jià)數(shù)據(jù)良好。表1中QABF與SD表現(xiàn)最好，表2中IE、SD、SF表現(xiàn)最好，表3中IE、QABF、SD表現(xiàn)最好，這表明本文提出的算法包含的信息大，具有更分散的灰度分布，邊緣傳遞好，空間活躍度高。

為了更清晰地分析本文的有效性，圖11顯示了圖8中各文獻(xiàn)算法的右下局部放大圖。可以看出，圖11(a)、圖11(e)、圖11(f)出現(xiàn)了偽輪廓，且邊緣模糊；圖11(b)、圖11(c)、圖11(d)骨骼和軟組織重合，無(wú)法很好地分辨邊界；圖11(g)骨骼與軟組織明顯分離，丟失了細(xì)節(jié)信息；圖11(h)能清晰表現(xiàn)出輪廓及邊界，保留了源圖像更多的細(xì)節(jié)信息。

圖11 圖8中融合圖像局部區(qū)域放大圖

4.2 彩色圖像融合

為驗(yàn)證本文算法的實(shí)用性，將彩色圖像與灰度圖像進(jìn)行融合實(shí)驗(yàn)分析。首先通過(guò)IHS(Intensity-Hue-Saturation)變換將彩色圖像從RGB顏色空間變換到IHS空間，再利用NSCT變換分解I分量圖像和灰度圖像并用本文算法融合，然后將得到的灰度融合圖像替換原來(lái)的I分量，最后通過(guò)IHS逆變換得到最終RGB彩色圖像[22]。融合步驟如圖12所示。

圖12 MRI/SPECT圖像融合流程圖

本次融合圖像為24位SPECT彩色圖像和8位MRI灰度圖像。圖13(a)、14(a)為不同組織的SPECT源圖像，它能夠反映人體組織血流、生理代謝等功能，但分辨率低。圖13(b)、14(b)為相對(duì)應(yīng)的MRI源圖像，它對(duì)血管、軟組織成像分辨率高。圖13(c)、14(c)為文獻(xiàn)[6]提出的融合算法結(jié)果圖像。圖13(d)、14(d)為文獻(xiàn)[8]提出的融合規(guī)則結(jié)果圖像。圖13(e)、14(e)為文獻(xiàn)[9]提出的融合算法結(jié)果圖像。圖13(f)、14(f)為文獻(xiàn)[18]提出的融合規(guī)則結(jié)果圖像。圖13(g)、14(g) 為文獻(xiàn)[19]提出的融合規(guī)則結(jié)果圖像。圖13(h)、14(h)為文獻(xiàn)[20]提出的融合規(guī)則結(jié)果圖像。圖13(i)、14(i)為文獻(xiàn)[21]提出的融合規(guī)則結(jié)果圖像。圖13(j)、14(j)為本文提出的融合規(guī)則結(jié)果圖像。表4、表5為不同源圖像經(jīng)多種融合算法處理后的圖像質(zhì)量評(píng)價(jià)結(jié)果。

圖13 正常腦部SPECT/MRI醫(yī)學(xué)圖像融合結(jié)果

圖14 轉(zhuǎn)移性肺癌SPECT/MRI醫(yī)學(xué)圖像融合結(jié)果

評(píng)價(jià)指標(biāo)文獻(xiàn)[6]算法文獻(xiàn)[8]算法文獻(xiàn)[9]算法文獻(xiàn)[18]算法文獻(xiàn)[19]算法文獻(xiàn)[20]算法文獻(xiàn)[21]算法本文算法IE4.04264.13784.21504.23873.91284.01274.26714.3264QABF0.60740.57950.67190.66210.64920.63860.58700.6837SD63.85962.14264.32660.37464.74665.01462.71263.469SF17.304617.386416.931217.387516.187315.321616.732417.2320

表5 不同融合方法處理圖14的融合指標(biāo)

分析表4和表5的圖像質(zhì)量評(píng)價(jià)指標(biāo)，可以發(fā)現(xiàn)本文算法在IE、QABF評(píng)價(jià)指標(biāo)數(shù)據(jù)最好，其他評(píng)價(jià)數(shù)據(jù)表現(xiàn)綜合良好，說(shuō)明本文算法保留了源圖像更多的信息，并且邊緣信息豐富。分析圖13、圖14不同算法的融合結(jié)果圖像，可以發(fā)現(xiàn)本文算法能很好地保留源圖像的紋理邊緣信息，比其他算法的融合結(jié)果圖像更加清晰，解剖結(jié)構(gòu)如血管、軟組織等更加明顯。分析圖14可以看出，本文算法對(duì)白色部分病灶提取有效，并且對(duì)于病灶周圍及邊緣信息更加突出。

綜上所述，本文算法更具有效性，信息保留更完整，紋理更加清晰，細(xì)節(jié)信息豐富，能給臨床醫(yī)學(xué)對(duì)病灶的診斷提供更多的幫助。

5 結(jié) 論

本文提出了一種基于紋理特征與廣義相關(guān)性結(jié)構(gòu)信息的醫(yī)學(xué)圖像融合方法，該方法考慮到人眼視覺(jué)對(duì)紋理特征的敏感性，實(shí)驗(yàn)對(duì)比結(jié)果表明本文的融合新方法保留了更多的輪廓、紋理信息，細(xì)節(jié)特征更加顯著突出，能更好地完整體現(xiàn)病灶部分，視覺(jué)效果更佳。

[1] DAS S, KUNDU M K. A neuro-fuzzy approach for medical image fusion[J]. IEEE Transactions on Biomedical Engineering,2013,60(12):3347-3353.

[2] BHATNAGAR G, WU Q M J, LIU Z. Directive contrast based multimodal medical image fusion in NSCT domain[J]. IEEE Transactions on Multimedia,2013,15(5):1014-1024.

[3] WANG L, LI B, TIAN L. Multimodal medical volumetric data fusion using 3-D discrete shearlet transform and global-to-local rule[J]. IEEE Transactions on Biomedical Engineering,2014,61(1):197-206.

[4] DAS S, KUNDU M K. NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency[J]. Medical & Biological Engineering & Computing,2012,50(10):1105-1114.

[5] HEIJMANS H M, GOUTSIAS J. Nonlinear multi-resolution signal decomposition schemes. II. Morphological wavelets [J]. Image Processing, IEEE Transactions on,2000,9(11):1897-1913.

[6]李俊峰,姜曉麗,戴文戰(zhàn).基于提升小波變換的醫(yī)學(xué)圖像融合[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(11):1639-1648.

[7] YANG Y, QUE Y, HUANG S, et al. Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain[J]. IEEE Sensors Journal,2016,16(10):3735-3745.

[8] SRIVASTAVA R, PRAKASH O, KHARE A. Local energy-based multimodal medical image fusion in curvelet domain[J]. IET Computer Vision,2016,10(6):513-527.

[9] BHATEJA V, PATEL H, KRISHN A, et al. Multimodal medical image sensor fusion framework using cascade of wavelet and contourlet transform domains[J]. IEEE Sensors Journal,2015,15(12):6783-6790.

[10] CUNHA A L, ZHOU J P, DO M N. The nonsubsampled contourlet transform:theory, design and applications[J]. IEEE Transactions on Image Processing.2006,15(10):3089-3101.

[11] 王相海,倪培根,蘇欣,等.非下采樣Contourlet HMT模型[J].中國(guó)科學(xué):信息科學(xué),2013,43(11):1431-1444.

[12] WANG L, LI B, TIAN L F. A novel multi-modal medical image fusion method based on shift-invariant shearlet transform[J]. The Imaging Science Journal,2013,61(7):529-540.

[13] 李俊峰,張飛燕,戴文戰(zhàn),等.基于圖像相關(guān)性和結(jié)構(gòu)信息的無(wú)參考圖像質(zhì)量評(píng)價(jià)[J].光電子(激光),2014,25(12):2407-2416.

[14] 楊賽,趙春霞,徐威.一種基于詞袋模型的新的顯著性目標(biāo)檢測(cè)方法[J].自動(dòng)化學(xué)報(bào),2016,42(8):1259-1273.

[15] 朱燁,李曉斌.改進(jìn)差分盒維數(shù)閾值的自然圖像分割方法[J].計(jì)算機(jī)仿真,2015,32(4):197-201.

[16] TZENG Y C, FAN K T, CHEN K S. A parallel differential box-counting algorithm applied to hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters,2012,9(2):272-276.

[17] 何龍兵,那彥.多光譜可見(jiàn)光圖像與高分辨率圖像的分維融合[J].電子科技,2011,24(1):4-8.

[18] 陳震,楊小平,張聰炫,等.基于補(bǔ)償機(jī)制的NSCT域紅外與可見(jiàn)光圖像融合[J].儀器儀表學(xué)報(bào),2016,37(4):860-870.

[19] 李加恒,戴文戰(zhàn),李俊峰.基于互信息的多模態(tài)醫(yī)學(xué)圖像融合[J].浙江理工大學(xué)學(xué)報(bào),2016,35(4):607-614.

[20] 徐衛(wèi)良,戴文戰(zhàn),李俊峰.基于提升小波變換和PCNN的醫(yī)學(xué)圖像融合算法[J].浙江理工大學(xué)學(xué)報(bào),2016,35(6):891-898.

[21] 殷鑫華,戴文戰(zhàn),李俊峰.基于在線字典學(xué)習(xí)的自適應(yīng)醫(yī)學(xué)圖像融合算法[J].浙江理工大學(xué)學(xué)報(bào),2016,37(3).

[22]李光鑫,王珂.基于Contourlet變換的彩色圖像融合算法[J].電子學(xué)報(bào),2007,35(1):112-117.

(責(zé)任編輯： 康 鋒)

Medical Image Fusion Algorithm Based on Textural Features and Generalized Correlation Structure Information

PANShuwei1,DAIWenzhan2,LIJunfeng1

(1. Institute of Automation, Zhejiang Sci-Tech University, Hangzhou 310018, China; 2. School of Information and Electronic Engineering, Zhejiang Gongshang University, Hangzhou 310018, China)

According to the characteristics of multi-scale transform, a medical image fusion algorithm based on textural features and generalized correlation structure information is proposed. Firstly, nonsubsampled contourlet transform is conducted for registered source images to get low-frequency and high-frequency sub-band coefficients. Secondly, considering the sensitivity of human eye vision to the textural feature, local differential box counting dimension is used to collect textural information of images, We analyze the strong correlation between brother coefficients and father-son coefficients respectively in high frequency sub-bands of NSCT. Moreover, structure similarity in those coefficients and the sum of Laplace energy between of neighborhoods are calculated as generalized correlation structure information of high frequency sub-band coefficients. Thirdly, Sigmoid function self-adaption fusion is proposed on low frequency sub-bands, and absolute value rule of generalized correlation structure information is presented on high frequency coefficients. Finally, the fused image is obtained by performing the inverse NSCT. It is found through gray level and color image fusion experiment that, the proposed approach can preserve marginal information of source images effectively and improve the objective evaluation index and visual quality.

medical image fusion; nonsubsampled contourlet transform; local differential box counting dimension; generalized correlation structure information

10.3969/j.issn.1673-3851.2017.05.019

2016-10-16 網(wǎng)絡(luò)出版日期：2017-01-03

國(guó)家自然科學(xué)基金項(xiàng)目(61374022)

潘樹(shù)偉(1990-)，男，浙江湖州人，碩士研究生，主要從事模式識(shí)別與圖像處理方面的研究。

戴文戰(zhàn)，E-mail: dwz@zisu.edu.cn

TP391.4

A

1673- 3851 (2017) 03- 0423- 09