基于人眼視覺(jué)特性的NSCT醫(yī)學(xué)圖像自適應(yīng)融合

戴文戰(zhàn),姜曉麗,李俊峰

(1.浙江工商大學(xué)信息與電子工程學(xué)院,浙江杭州,310012;2.浙江理工大學(xué)自動(dòng)化研究所,浙江杭州,310012)

?

基于人眼視覺(jué)特性的NSCT醫(yī)學(xué)圖像自適應(yīng)融合

戴文戰(zhàn)1,姜曉麗1,李俊峰2

(1.浙江工商大學(xué)信息與電子工程學(xué)院,浙江杭州,310012;2.浙江理工大學(xué)自動(dòng)化研究所,浙江杭州,310012)

醫(yī)學(xué)圖像融合對(duì)于臨床診斷具有重要的應(yīng)用價(jià)值.針對(duì)多模態(tài)醫(yī)學(xué)圖像特性,本文提出一種基于人類視覺(jué)特性的醫(yī)學(xué)圖像自適應(yīng)融合方法.首先,對(duì)經(jīng)配準(zhǔn)的源圖像進(jìn)行非間隔采樣輪廓變換((Nonsubsampled Coutourlet,NSCT)多尺度分解,得到低頻子帶和若干高頻方向子帶;其次,根據(jù)低頻子帶集中了大部分源圖像能量和決定圖像輪廓的特點(diǎn),采用區(qū)域能量與平均梯度相結(jié)合的方法進(jìn)行融合;根據(jù)人眼對(duì)圖像對(duì)比度及邊緣、紋理的高敏感度,在高頻子帶系數(shù)的選取時(shí)提出區(qū)域拉普拉斯能量、方向?qū)Ρ榷扰c脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network,PCNN)相結(jié)合的融合策略;進(jìn)而,提出了把與人類視覺(jué)高度一致的加權(quán)結(jié)構(gòu)相似度(Weighted Structure Similarity,WSSIM)作為圖像融合目標(biāo)函數(shù),自適應(yīng)地獲取各子帶的最優(yōu)權(quán)值;最后,對(duì)灰度圖像和彩色圖像進(jìn)行了大量融合比較實(shí)驗(yàn),并對(duì)不同融合方法進(jìn)行分析對(duì)比.實(shí)驗(yàn)結(jié)果表明:本文算法不僅可以有效保留源圖像的信息,而且可以使融合圖像灰度級(jí)更分散,更好地保留了圖像邊緣信息,具有更好的視覺(jué)效果.

醫(yī)學(xué)圖像融合;人類視覺(jué)特征;加權(quán)結(jié)構(gòu)相似度;非間隔采樣輪廓變換;拉普拉斯能量和方向?qū)Ρ榷?脈沖耦合神經(jīng)網(wǎng)絡(luò)

電子學(xué)報(bào)URL:http://www.ejournal.org.cn DOI:10.3969/j.issn.0372-2112.2016.08.023

1 引言

由于成像原理及人體器官結(jié)構(gòu)的復(fù)雜性,現(xiàn)有單一模態(tài)的醫(yī)學(xué)圖像僅能提供有限的信息,不同模態(tài)的醫(yī)學(xué)圖像之間既有冗余性又有獨(dú)立性.就人體大腦而言,CT能清晰呈現(xiàn)高密度的骨骼結(jié)構(gòu),MRI對(duì)正常及病變軟組織有較好的成像,SPECT一般能為低空間分辨率的組織血流和代謝功能提供較豐富的信息[1～3].因此,近年來(lái),醫(yī)學(xué)圖像融合技術(shù)的研究得到了廣泛重視,醫(yī)學(xué)圖像融合對(duì)于臨床診斷具有重要的應(yīng)用價(jià)值,它在病癥診斷及治療時(shí)為醫(yī)生提供更多、更準(zhǔn)確的信息.

應(yīng)用小波變換和非間隔采樣輪廓變換變換,國(guó)內(nèi)外學(xué)者對(duì)圖像融合進(jìn)行了很多相關(guān)研究.如陶觀群等人[4]、Lin等人[5]將小波變換應(yīng)用于醫(yī)學(xué)圖像融合中.然而小波變換不能有效地表示圖像的邊緣和紋理信息,對(duì)高頻子帶僅能進(jìn)行水平、垂直和對(duì)角線三個(gè)方向分析.針對(duì)小波變換的缺陷,Barmas[6]將Contourlet變換應(yīng)用到圖像融合中,但是由于其存在向下采樣過(guò)程,出現(xiàn)了頻譜混疊現(xiàn)象,容易引起偽吉布斯現(xiàn)象[7,8].為了彌補(bǔ)這一不足,A L Cunha等人[9]結(jié)合非下采樣思想提出了NSCT,由于其具有良好的方向選擇性及平移不變性,使得融合圖像更符合人眼視覺(jué)特性.此外,目前的融合規(guī)則一般采用開環(huán)形式,閾值及融合系數(shù)的選取主要依賴于研究者本身的經(jīng)驗(yàn)或需要反復(fù)試湊.近年來(lái),楊艷春[7]、郝文超[10]、江平[11]等學(xué)者嘗試對(duì)圖像進(jìn)行自適應(yīng)融合,實(shí)現(xiàn)鏈接強(qiáng)度的自適應(yīng)變換;Chang Xin等人[12]采用自適應(yīng)黃金分割算法對(duì)低頻子帶進(jìn)行融合;Liu Fan等人[13]以信噪比為依據(jù)自適應(yīng)選擇圖像分解層數(shù);楊曉慧等人[14]以信息熵作為目標(biāo)函數(shù)來(lái)指導(dǎo)低頻子帶融合.

本文在以上研究的基礎(chǔ)上,從人類視覺(jué)特性(human visual features,HVS)出發(fā),提出一種基于NSCT的醫(yī)學(xué)圖像自適應(yīng)融合算法.NSCT域中,根據(jù)低頻子帶集中了大部分源圖像能量和決定圖像輪廓的特點(diǎn),采用區(qū)域能量與平均梯度相結(jié)合的方法;根據(jù)人眼對(duì)圖像對(duì)比度及邊緣、紋理的高敏感度,在進(jìn)行高頻子帶系數(shù)的選取時(shí)提出結(jié)合區(qū)域拉普拉斯能量、方向?qū)Ρ榷扰cPCNN的融合策略;進(jìn)而,以提出的與人類視覺(jué)高度一致的加權(quán)結(jié)構(gòu)相似度(WSSIM)為目標(biāo)函數(shù),自適應(yīng)獲取各子帶的最優(yōu)權(quán)值;最后,對(duì)灰度圖像和彩色圖像進(jìn)行大量融合實(shí)驗(yàn)結(jié)果表明:本文算法可以有效保留源圖像的信息,使融合圖像灰度級(jí)更分散,更好地保留圖像邊緣的信息.

2 非間隔采樣輪廓變換(NSCT)

Contourlet變換被認(rèn)為是一種“真正”的圖像二維表示方法,能分別對(duì)多尺度和方向進(jìn)行分析,但由于其變換有向下采樣環(huán)節(jié),不同頻帶存在頻譜混疊,從而使其冗余性降低[8].NSCT是在Contourlet變換基礎(chǔ)上發(fā)展的,其目的在于消除頻譜混疊現(xiàn)象,實(shí)現(xiàn)平移不變性及更好的方向選擇性,使結(jié)果圖像更符合人眼視覺(jué)特性.

NSCT通過(guò)滿足Bozont恒等式條件的移不變?yōu)V波器組來(lái)實(shí)現(xiàn)多分辨率分解[8],以非下采樣塔形分解(Nonsubsampled Pyramid,NSP)來(lái)獲取多尺度特征,而由非下采樣方向?yàn)V波器組(Nonsubsampled Directional Filter Bank,NSDFB)來(lái)進(jìn)行方向?yàn)V波.一般情況下,源圖像經(jīng)NSP分解得到低頻子帶和高頻子帶,然后高頻子帶經(jīng)過(guò)NSDFB分解得到不同的方向子圖,其結(jié)構(gòu)框圖如圖1所示.

3 基于結(jié)構(gòu)相似度的醫(yī)學(xué)圖像自適應(yīng)融合

源圖像經(jīng)NSCT變換后得到的各子圖與源圖像同大小,這樣有利于子圖之間的比較[1,8].本文提出的基于人類視覺(jué)特性的NSCT醫(yī)學(xué)圖像自適應(yīng)融合方法的結(jié)構(gòu)如圖2所示.

3.1 加權(quán)結(jié)構(gòu)相似度(WSSIM)

融合圖像的評(píng)價(jià)方法包括主觀評(píng)價(jià)和客觀評(píng)價(jià).由于融合圖像以人眼為最終信宿,其質(zhì)量的好壞主要取決于人的視覺(jué)感受.所以,圖像的客觀評(píng)價(jià)指標(biāo)應(yīng)盡可能符合人類的視覺(jué)特性,應(yīng)與主觀評(píng)價(jià)更一致[15].圖像具有強(qiáng)結(jié)構(gòu)性、像素之間強(qiáng)相關(guān)性的特點(diǎn),在相關(guān)性中包含有結(jié)構(gòu)信息.2002年Wang等人[16]首次提出了結(jié)構(gòu)相似度理論,2008年Yang[17]在Wang的基礎(chǔ)上提出了區(qū)域結(jié)構(gòu)相似度加權(quán)評(píng)價(jià)方法,同時(shí)證明了此方法在對(duì)融合圖像的評(píng)價(jià)中有較好的結(jié)果,能夠?qū)崿F(xiàn)與人類視覺(jué)感受的高度統(tǒng)一.本文以WSSIM作為各子帶融合的目標(biāo)函數(shù),其中SSIM包括圖像的亮度、對(duì)比度、結(jié)構(gòu)比較,其表達(dá)式詳見(jiàn)文獻(xiàn)[18].

在SSIM基礎(chǔ)上,本文對(duì)源圖像之間、源圖像與結(jié)果圖像之間分別進(jìn)行區(qū)域結(jié)構(gòu)相似度計(jì)算,得到SSIM(M,N|w),SSIM(M,F|w),SSIM(N,F|w),然后根據(jù)源圖像間結(jié)構(gòu)相似度的大小來(lái)進(jìn)行融合指標(biāo)的選取,最后對(duì)各區(qū)域融合指標(biāo)進(jìn)行加權(quán)求和.具體表達(dá)式如下:

(1)

SSIM(M,N,F|w)=

(2)

3.2 低頻子帶融合準(zhǔn)則

圖像經(jīng)NSCT變換后,低頻子帶集中了源圖像的大部分能量,子帶相鄰系數(shù)間存在區(qū)域相關(guān)性.同時(shí),低頻子帶作為源圖像的平滑逼近,決定了圖像的輪廓.平均梯度可以有效地反映圖像信號(hào)的強(qiáng)度,反映其邊緣化程度及其微小細(xì)節(jié)變化強(qiáng)度.由于圖像的清晰度與梯度密切相關(guān),本文采用區(qū)域能量和平均梯度相結(jié)合的方法來(lái)獲取融合圖像的低頻子帶.

低頻子帶系數(shù)矩陣中以(i,j)為中心的窗口能量表達(dá)式如式(3)所示,其中為了突出中心位置,應(yīng)用窗口函數(shù)w.

(3)

平均梯度定義如下式:

(4)

式中,S×T為區(qū)域窗口大小,cL(i,j)為低頻子帶在點(diǎn)(i,j)處的系數(shù).

定義T1為兩低頻子帶對(duì)應(yīng)區(qū)域的能量差異:

(5)

采用優(yōu)化方法選定適當(dāng)?shù)拈撝礣(T∈(0,0.5)).如式(6)所示,根據(jù)區(qū)域能量及區(qū)域平均梯度與閾值的關(guān)系,合理確定結(jié)果圖像的低頻子帶系數(shù).

(6)

3.3 高頻子帶融合規(guī)則

對(duì)比度可以有效反映圖像的顯著特性,相對(duì)于像素強(qiáng)度大小而言,人類視覺(jué)系統(tǒng)對(duì)圖像對(duì)比度的變化更加敏感.因此,融合圖像應(yīng)符合人類視覺(jué)特性的要求,要充分體現(xiàn)圖像的邊緣及紋理等細(xì)節(jié)信息.

脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network,PCNN)具有全局耦合性和脈沖同步性,在圖像融合中得到了廣泛應(yīng)用[19].PCNN主要是通過(guò)比較兩子圖各像素點(diǎn)激活次數(shù)來(lái)指導(dǎo)融合系數(shù)的選擇.由于人類視覺(jué)系統(tǒng)對(duì)方向、邊緣等信息更加敏感,本文提出以區(qū)域拉普拉斯能量和方向?qū)Ρ榷茸鳛镻CNN的外部輸入,同時(shí)結(jié)合對(duì)迭代累加激活幅度的軟限幅方式進(jìn)行NSCT域高頻子帶的系數(shù)融合.

3.3.1 脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)

PCNN是由一定數(shù)量的神經(jīng)元組成的反饋網(wǎng)絡(luò),每個(gè)神經(jīng)元均由三部分組成:接收域、調(diào)制域及脈沖產(chǎn)生部分[20].本文結(jié)合文獻(xiàn)[21]提出的簡(jiǎn)化PCNN模型和文獻(xiàn)[22]提出的軟限幅方法,通過(guò)對(duì)激活輸出幅度的迭代累加來(lái)指導(dǎo)子帶系數(shù)的選取.其PCNN模型如圖3,數(shù)學(xué)表達(dá)式詳見(jiàn)文獻(xiàn)[22].

3.3.2 NSCT域拉普拉斯能量和方向?qū)Ρ榷?/p>

對(duì)視覺(jué)系統(tǒng)的研究結(jié)果表明:對(duì)比度敏感閾值與背景強(qiáng)度之間呈非線性.采用式(7)所示的區(qū)域拉普拉斯能量方向?qū)Ρ榷瓤梢詮母哳l子帶中提取更多的特征,而且改進(jìn)后的拉普拉斯能量和IEOL[23]可以有效表示圖像邊緣、方向等細(xì)節(jié)信息,將方向?qū)Ρ榷扰c拉普拉斯能量相結(jié)合可以獲取到更多更準(zhǔn)確的顯著特征.

(7)

式中,α為視覺(jué)常數(shù),經(jīng)生理視覺(jué)實(shí)驗(yàn)確定,其取值范圍為(0.6,0.7);ck(i,j)為與第k層低頻子帶系數(shù).

改進(jìn)的拉普拉斯能量和定義如式(8),為了突出中心與鄰域的特點(diǎn),應(yīng)用前節(jié)所示的窗口函數(shù).

(8)

MLk,l(i,j)=[|2dk,l(i+m,j+n)-dk,l(i+m-1,j+n)

-dk,l(i+m+1,j+n)|

+|2dk,l(i+m,j+n)-dk,l(i+m,j+n-1)

-dk,l(i+m,j+n+1)|]

(9)

則區(qū)域拉普拉斯能量和方向?qū)Ρ榷葦?shù)學(xué)表達(dá)式為:

(10)

3.3.3 高頻方向子帶融合準(zhǔn)則

定義K1,K2為兩子圖激活幅度輸出的比重:

(11)

高頻子帶系數(shù)融合數(shù)學(xué)表達(dá)式:

(12)

4 融合圖像評(píng)價(jià)指標(biāo)

為了定量比較,本文采用信息熵[24](Information Entropy,IE)、均方根交叉熵[24](Root mean square Cross Entropy,RCE)、標(biāo)準(zhǔn)差[24](Standard Deviation,SD)、邊緣信息評(píng)價(jià)因子[25](Edge information evaluation factor,QABF)和WSSIM對(duì)融合圖像進(jìn)行定量分析,詳細(xì)介紹見(jiàn)文獻(xiàn)[24,25]

5 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本算法的有效性,本文進(jìn)行了大量的比較實(shí)驗(yàn).現(xiàn)選用三種類型的五組經(jīng)配準(zhǔn)后的人腦組織作為源圖像:①CT/MRI圖像融合;②MR-T1/MR-T2圖像融合;③MRI/SPECT圖像融合.其中,圖4(a)、5(a)為兩個(gè)不同人體組織的CT源圖像,;圖4(b)、5(b)相應(yīng)兩個(gè)組織的MRI源圖像;圖6(a)為某一組織MR-T1源圖像,圖6(b)為相應(yīng)組織的MR-T2源圖像,兩者根據(jù)組織的含水量不同呈現(xiàn)不同灰度.

5.1 灰度圖像融合

本文以WSSIM為性能指標(biāo),首先采用粒子群算法優(yōu)化三個(gè)閾值T、α及β.T、α及β作為三維種群,初始種群采用規(guī)模為20,根據(jù)各閾值的區(qū)間隨機(jī)數(shù)進(jìn)行30次進(jìn)化來(lái)獲得全局最優(yōu).有關(guān)粒子群算法詳見(jiàn)文獻(xiàn)[14].

圖4(c)、圖5(c)、圖6(c)分別為應(yīng)用文獻(xiàn)[26]提出的低頻方差比加權(quán)與高頻能量比加權(quán)相結(jié)合的融合圖像;圖4(d)、圖5(d)、圖6(d)分別為應(yīng)用文獻(xiàn)[27]提出的用平均梯度和方差指導(dǎo)低頻融合、高頻基于梯度能量比加權(quán)的融合圖像;圖4(e)、圖5(e)、圖6(e)分別為應(yīng)用文獻(xiàn)[28]提出的低頻基于局部能量和局部方差策略,高頻基于均方差策略的NSCT域融合圖像;圖4(f)、圖5(f)、圖6(f)分別為應(yīng)用本文提出的方法得到的圖像.

采用上述不同的融合方法得到的融合圖像的質(zhì)量如表1～表3所示.

由表1～表3可以看出:較之三組參考文獻(xiàn)結(jié)果,綜合各項(xiàng)評(píng)價(jià)指標(biāo),應(yīng)用本文提出的算法具有良好的特性,圖像質(zhì)量也得到了明顯地提升.觀察圖5和圖6,可以發(fā)現(xiàn)本算法可提取更清晰病灶邊緣,且能更突出表現(xiàn)病灶.從圖4～圖6可以看到,應(yīng)用本算法的得到的f系列融合圖像能更有效地保留CT圖像的骨骼組織信息和MRI圖像的軟組織信息,提高了圖像的清晰度.

表1 圖4中采用不同融合方法的醫(yī)學(xué)圖像融合評(píng)價(jià)

表2 圖5中采用不同融合方法的醫(yī)學(xué)圖像融合評(píng)價(jià)

表3 圖6中采用不同融合方法的醫(yī)學(xué)圖像融合評(píng)價(jià)

為了更清楚地說(shuō)明這一點(diǎn),本文將圖4中融合圖像的右半部分(如圖4(c)所示矩形區(qū)域)取出,如圖7所示.比較圖7中各圖可清晰地看到:應(yīng)用本方法能從源圖像中提取更多的信息,可以更好地保留源圖像的紋理信息,目標(biāo)邊緣更加清晰.

5.2 彩色圖像融合

本文提出的算法不僅適用于灰度圖像融合,還可進(jìn)行彩色與灰色圖像之間的融合.本文以24位彩色圖像與8位灰度圖像的融合為例,其流程圖如圖8所示,其中HIS與RGB的轉(zhuǎn)換算法具體詳見(jiàn)文獻(xiàn)[29].

實(shí)驗(yàn)結(jié)果如圖9、圖10所示.圖9(a)、圖10(a)分別為兩個(gè)不同組織的SPECT源圖像;圖9(b)、圖10(b)分別為相應(yīng)組織的MRI源圖像.圖9(a)、圖10(c)分別)由文獻(xiàn)[26]提出的算法得到;圖9(d)、圖10(d)分別由文獻(xiàn)[27]提出的算法得到;圖9(e)、圖10(e)分別由文獻(xiàn)[28]提出的算法得到;圖9(f)、圖10(f)分別為應(yīng)用本文提出的方法得到的圖像.對(duì)于彩色圖像的評(píng)價(jià),根據(jù)RGB顏色通道分別進(jìn)行評(píng)價(jià),然后取均值作為最終的性能指標(biāo),分析結(jié)果如表4,表5所示.

表4 圖9中采用不同融合方法的醫(yī)學(xué)圖像融合評(píng)價(jià)

評(píng)價(jià)指標(biāo)融合方法IERCESDQABFWSSIM文獻(xiàn)[26]方法4.25750.192060.91760.25530.6729文獻(xiàn)[27]方法4.06850.189956.57510.42810.7702文獻(xiàn)[28]方法3.96600.177562.13400.60520.8427本文方法4.29220.188565.58870.47220.8304

表5 圖10中采用不同融合方法的醫(yī)學(xué)圖像融合評(píng)價(jià)

綜合以上實(shí)驗(yàn)結(jié)果可以得出如下結(jié)論:與已有的其它3種融合方法相比,本文算法所得圖像在信息熵IE、標(biāo)準(zhǔn)差SD及結(jié)構(gòu)相似度WSSIM等方面具有較好的特性,表明融合圖像從源圖像中提取的信息更多,與源圖像的差異更小;圖像包含了更豐富的信息量和較大的對(duì)比度.同時(shí)由圖10可以發(fā)現(xiàn):本文算法對(duì)病灶(圖像右側(cè)白色部分)提取更加完整、突出,圖像邊緣信息更豐富,更符合人類視覺(jué)特性;雖然文獻(xiàn)[28]分別利用均方差和局部方差作為高、低頻融合規(guī)則,其融合圖像的對(duì)比度較好,但病灶不突出,使用價(jià)值不如本文算法.

6 結(jié)論

醫(yī)學(xué)圖像融合一方面要求融合后的圖像盡可能準(zhǔn)確、豐富地體現(xiàn)輸入圖像所含有的信息;另一方面要求融合圖像應(yīng)適應(yīng)人類視覺(jué)系統(tǒng).基于此,本文提出了一種NSCT域的醫(yī)學(xué)圖像自適應(yīng)融合算法,低頻子帶融合采用基于區(qū)域能量和平均梯度相結(jié)合的策略,高頻子帶融合提出拉普拉斯能量和方向?qū)Ρ榷扰cPCNN相結(jié)合的方法,并以WSSIM作為目標(biāo)函數(shù),自適應(yīng)地獲取各子帶的最優(yōu)權(quán)值.本文將所提出的融合策略在灰度圖像及彩色圖像中進(jìn)行了大量實(shí)驗(yàn)仿真,結(jié)果均表明本文提出的融合方法在主、客觀評(píng)價(jià)指標(biāo)上均明顯優(yōu)于其它融合方法,得到的圖像視覺(jué)效果更好,能更完整地表達(dá)病灶區(qū)域信息.這一評(píng)價(jià)結(jié)果也得到了臨床醫(yī)生的充分肯定和認(rèn)同.

[1]Bhatnagar G,Wu Q M J.Directive contrast based multimodal medical image fusion in NSCT domain[J].IEEE Transactions on multimedia,2013,15(5):1014-1024.

[2]Prakash C,Rajkumar S,Mouli P C.Medical image fusion based on redundancy DWT and Mamdani type min-sum mean-of-max techniques with quantitative analysis[A].International Conference on Recent Advances in Computing and Software Systems 2012[C].Chennai,India:IEEE Computer Society,2012.54-59.

[3]Shen Y,Ren E,Dang G H,et al.A nonsubsampled contourlet transform based medical image fusion method[J].Information Technology Journal,2013,12(4):749-755.

[4]陶觀群,李大鵬,陸光華.小波分析方法在醫(yī)學(xué)圖像融合中的應(yīng)用[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2004,31(1):82-86.

TAO G Q,LI D P,LU G H.Application of wavelet analysis in medical image fusion[J].Journal Of Xidian University,2004,31(1):82-86.(in Chinese)

[5]Ling T,Qian Z Y.An improved medical image fusion algorithm based on wavelet transform[A].Seventh International Conference on Natural Computation (ICNC)2011[C].Shanhai,China:IEEE Computer Society,2011.76-78.

[6]Barmas,Shirin Mahmoudi,Kasaei,Shohreh.Contourlet-based multispectral image fusion[A].7th IASTED International Conference on Visualization,Imaging,and Image Processing VIIP 2007[C].Canada.Acta Press,2007.11-14.

[7]楊艷春,王曉明,黨建武,等.基于非下采樣Coutourlet 變換的醫(yī)學(xué)圖像融合方法[J].計(jì)算機(jī)科學(xué),2013,40(3):310-313.

Yang Y C,Wang X M,Dang J W,et.Method of medical image fusion based on nonsubsample coutourlet transform[J].Computer Science,2013,40(3):310-313.(in Chinese)

[8]焦李成,侯彪,王爽,等.圖像多尺度幾何分析理論與應(yīng)用-后小波分析理論與應(yīng)用[M].西安:西安電子科技大學(xué)出版社,2008:280-288.

[9]Cunha A L,Zhou J P,Minh Do N.The nonsubsampled contourlet transform:theory,design and applications[J].IEEE Transactions on Image Processing.2006,15(10):3089-3101.

[10]郝文超,賈年.NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見(jiàn)光圖像融合算法[J].西華大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,33(3):11-15.

Hao W C,Jia N.Fusion algorithm of infrared and visible images based on adaptive PCNN in NSCT domain[J].Journal of Xihua University(Natural Science),2014,33(3):11-15.(in Chinese)

[11]江平,張強(qiáng),李靜,等.基于NSST 和自適應(yīng)PCNN的圖像融合算法[J].激光與紅外,2014,44(1):108-113.

Jiang P,Zhang Q,Li J,et.Fusion algorithm for infrared and visible image bansed on NSST and adaptive PCNN[J].Laser&Infraerd,2014,44(1):108-113.(in Chinese)

[12]Chang X,Jiao L C,Liu F,et.Multicoutourlet-based adaptive fusion of infrared and visible remote sensing images[J].IEEE Geosicience and Remote Sensing Letters,2010,7(3):549-553.

[13]Liu F,Yang B,Gang K.Image fusion using adaptive dual-tree discrete wavelet packets based on the noise distribution estimation[A].International Conference on Audio,Language and image 2012[C].Shanghai,China:IEEE Computer Society,2012.475-479.

[14]楊曉慧,賈建,焦李成.基于活性測(cè)度和閉環(huán)反饋的非下采樣Contourlet域圖像融合[J].電子與信息學(xué)報(bào),2010,32(2):422-426.

Yang X H,Jia J,Jiao L C.Image fusion algorithm in nonsubsample coutourlet domain based on activity measure and closed loop feedback[J].Journal of Electronics & Information Technology,2012,32(2):422-426.(in Chinese)

[15]任仙怡,劉秀堅(jiān),胡濤,等.基于視覺(jué)注意機(jī)制與區(qū)域結(jié)構(gòu)相似度的圖像融合質(zhì)量評(píng)價(jià)[J].計(jì)算機(jī)應(yīng)用,2011,31(11):3022-3026.

Ren X Y,Liu X J,Hu T,et al.Objective quality evaluation of image based on visual attention mechanism and regional structural similarity[J].Journal of Computer Applications,2011,31(11):3022-3026.(in Chinese)

[16]Wang Z,Bovik A C.A universal image quality index[J].IEEE Signal Processing Letters,2002,9(3):81-84.

[17]Yang C,Zhang J Q,Wang X R,et al.A novel similarity based quality metric for image fusion[J].Information Fusion,2008,9(2):156-160.

[18]Wang Z,Simoncelli E.P,Bovik A.C.Multi-scale structural similarity for image quality assessment[A].37th Asilomar Conference on Signals,Systems and Computers[C].United States:IEEE Institute of Electrical and Electronics Engineers Computer Society,2003.1398-1402.

[19]李美麗,李言俊,王紅梅,等.基于NSCT和PCNN的紅外與可見(jiàn)光圖像融合方法[J].光電工程,2010,37(6):90-95.

Li M L,Li Y J,Wang H M,et.Fusion algorithm of infrared and visible image based on NSCT ans PCNN[J].Opto-Electronic Engineering,2010,37(6):90-95.(in Chinese)

[20]楊艷春,黨建武,王陽(yáng)萍.基于提升小波變換與自適應(yīng)PCNN的醫(yī)學(xué)圖像融合方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2012,24(4):494-499.

Yang Y C,Dang J W,Wang Y P.A medical image fusion method based on lifting wavelet transform and adaptive PCNN[J].Journal of Computer-Aided Design & Computer Graphics,2012,24(4):494-499.(in Chinese)

[21]郝愛(ài)枝,鄭晟.基于NSCT-PCNN變換的多傳感器圖像融合[J].科學(xué)技術(shù)與工程,2014,14(1):45-48.

Hao A Z,Zheng S.Multi-sensor image fusion based on NSCT-PCNN transform[J].Science Technology and Engineering,2014,14(1):45-48.(in Chinese)

[22]廖勇,黃文龍,尚琳,等.Shearlet與改進(jìn)PCNN相結(jié)合的圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(2):142-146.

Liao Y,Huang W L,Shang L,et.Image fusion based on Shearlet and improved PCNN[J].computer Engineering and Applications,2014,50(2):142-146.(in Chinese)

[23]屈小波,閆敬文,楊貴德.改進(jìn)拉普拉斯能量和的尖銳頻率局部化Coutourlet域多聚焦圖像融合[J].光電精密工程,2009,17(5):1203-1212.

Qu X B,Yan J W,Yang G D.Multifocus image fusion method of shape frequency localized contourlet transform domain based on sum-modified-laplacian[J].Optic and Precision Engineering,2009,17(5):1203-1212.(in Chinese)

[24]敬忠良,肖 剛,李振華.圖像融合—理論與應(yīng)用[M].北京:高等教育出版社,2007:194-204.

[25]胡俊峰,唐鶴云,錢建生.基于小波變換醫(yī)學(xué)圖像融合算法的對(duì)比分析[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2011,30(2):196-205.

Hu Junfeng,Tang Heyun,Qian Jiansheng.Comparison and analysis of medical fusion algorithms based on wavelet transform[J].Chinese Journal of Biomedical Engineering,2011,30(2):196-205.(in Chinese)

[26]Zhou L J.A Gradient-based Multi-focus image fusion method using multiwavelets transform[A].International Conference on Industrial Control and Electronics Engineering (ICICEE) 2012[C].Xi'an,China:IEEE Computer Society,2012.392-395.

[27]王昕,李瑋琳,劉富.小波域CT/MRI醫(yī)學(xué)圖像融合新方法[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版),2013,43(S1):25-28.Wang X,Li W L,Liu F.New algorithm of CT/MRI medical image fusion based on wavelet domain[J].Journal of Jilin University(Engineering and Technology Edition),2013,43(S1):25-28.(in Chinese)

[28]李超,李光耀,譚云蘭,等.基于非下采樣Contourlet變換和區(qū)域特征的醫(yī)學(xué)圖像融合[J].計(jì)算機(jī)應(yīng)用,2013,33(6):1727-1731.

Li C,Li G Y,Tan Y L,et al.Medical image fusion of nonsubsample coutourlet transform and region feature[J].Journal of Computer Applications,2013,33(6):1727-1731.(in Chinese)

[29]覃征,鮑復(fù)民,李愛(ài)國(guó)，等.數(shù)字圖像融合[M].西安:西安交通大學(xué)出版社,2004.10-12.

戴文戰(zhàn)(通信作者) 男,1958年出生于浙江臺(tái)州,二級(jí)教授,博士生導(dǎo)師,1978年2月獲浙江大學(xué)工學(xué)學(xué)士學(xué)位,1988年3月獲華東化工學(xué)院工學(xué)碩士學(xué)位.主要研究方向?yàn)橹悄芸刂?、信?hào)處理、圖像融合.

E-mail:dwz@zjsu.edu.cn

姜曉麗 女,1990年10月出生于浙江江山.2012年6月獲浙江理工大學(xué)工學(xué)學(xué)士學(xué)位,2014年3月獲浙江理工大學(xué)工學(xué)碩士學(xué)位.主要研究方向?yàn)閳D像融合.

E-mail:xljiangtong@163.com

李俊峰 男,1978年7月出生于河南南陽(yáng),博士,副教授,2010年3月獲東華大學(xué)工學(xué)博士學(xué)位.主要研究方向圖像融合、圖像質(zhì)量評(píng)價(jià). E-mail:ljf2003@zstu.edu.cn

Adaptive Medical Image Fusion Based on Human Visual Features

DAI Wen-zhan1,JIANG Xiao-li1,LI Jun-feng2

(1.SchoolofInformationandElectronicEngineering,ZhejiangGongshangUniversity,Hangzhou,Zhejiang310012;2.InstituteofAutomation,ZhejiangSci-TechUniversity,Hangzhou,Zhejiang310012)

Medical image fusion has very important application value for medical image analysis and diseases diagnosis.According to the characteristics of multi modality medical image and human visual features,a new medical image fusion algorithm in NSCT (nonsubsampled coutourlet,NSCT) domain is proposed.Firstly,source images after registration are decomposed into low and high frequency sub-bands using NSCT.According to the low frequency subbands concentrating the majority energy of the source image and determining the image coutour,a fusion rule based on weighted region average energy combined with average gradient is adopted in low frequency subband coefficients.Moreover,according to human visual system which is more sensitive to contrast and edge,texture of image,the fusion strategy based on directive contrast integrated with the improved energy of Laplacian and PCNN (Pulse Coupled Neural Network,PCNN) are used to fuse high-frequency subbands.Furthermore,a closed loop feedback is introduced into the fusion rules of low and high frequency subbands to obtain optimal fused weights adaptively by using WSSIM (Weighted Structure Similarity,WSSIM) which highly consistent with the HVS(human visual features,HVS) as objective function.Finally,a lot of experiments of fusion of images including gray images and color images based on different fusion methods are conducted.The experiment results are analyzed in terms of visual quality and objective evaluation.The experiment results show that the proposed algorithm can effectively preserve information and significantly improve the performance of fusion image in terms of quantity of information,dispersed gray scale,visual quality and objective evaluation index.

medical image fusion;HVF(Human Visual Features);WSSIM(Weighted Structure Similarity);NSCT(Nonsubsampled Coutourlet);directive contrast integrated with the improved energy of Laplacian;PCNN(Pulse Coupled Neural Network)

2015-05-10;

2015-10-26;責(zé)任編輯:馬蘭英

國(guó)家自然科學(xué)基金(No.61374022)

TP391.4

A

0372-2112 (2016)08-1932-08