結(jié)合SIST和壓縮感知的CT與MRI圖像融合

殷 明，段普宏，褚 標(biāo)，梁翔宇

?

結(jié)合SIST和壓縮感知的CT與MRI圖像融合

殷 明，段普宏，褚 標(biāo)，梁翔宇

( 合肥工業(yè)大學(xué) 數(shù)學(xué)學(xué)院，合肥 230009 )

為了增強(qiáng)醫(yī)學(xué)圖像融合質(zhì)量，提出了一種基于平移不變剪切波(SIST)和壓縮感知的CT和MRI圖像融合方法。首先，將源CT與MRI圖像經(jīng)過(guò)SIST分解后得到低頻子帶和高頻子帶；其次，對(duì)低頻子帶，提出了一種結(jié)合新的改進(jìn)空間頻率、改進(jìn)的區(qū)域加權(quán)能量和局部區(qū)域相似匹配度的融合規(guī)則；對(duì)于高頻子帶，提出了一種基于自適應(yīng)2PCNN-CS的融合規(guī)則；最后通過(guò)SIST逆變換得到融合圖像。實(shí)驗(yàn)表明：本文方法在客觀指標(biāo)和圖像視覺(jué)效果上都優(yōu)于傳統(tǒng)的CT與MRI醫(yī)學(xué)圖像融合方法。

信號(hào)處理；平移不變剪切波；自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)；壓縮感知

0 引 言

醫(yī)學(xué)圖像融合是將多種模態(tài)的醫(yī)學(xué)圖像合并成一幅高質(zhì)量的圖像，如計(jì)算機(jī)X線斷層掃描圖像(CT)、核磁共振圖像(MRI)等，便于更準(zhǔn)確的診斷和治療[1]。目前醫(yī)學(xué)圖像的融合主要在變換域中進(jìn)行，先將源圖像進(jìn)行空間域變換，再對(duì)分解得到的系數(shù)利用一些規(guī)則進(jìn)行處理。但因?yàn)閭鹘y(tǒng)的小波變換是由兩個(gè)一維的小波張量積而形成的，不能有效的表示圖像的輪廓、邊緣等高維特征信息。從而更好的多尺度幾何變換平移不變剪切波(SIST)[2]被提出，SIST在實(shí)現(xiàn)過(guò)程中沒(méi)有下采樣操作，從而具有平移不變性，能夠表達(dá)圖像豐富的紋理、輪廓、邊緣等信息。然而在利用SIST對(duì)圖像進(jìn)行分解時(shí)，高頻子帶系數(shù)相對(duì)較多，導(dǎo)致時(shí)效性比較差、計(jì)算復(fù)雜度較大等缺點(diǎn)。為了克服這些缺點(diǎn)，人們將壓縮感知(Compressed Sensing，CS)理論應(yīng)用在圖像融合[3-4]中，有效地降低算法的運(yùn)行時(shí)間，但由于所用的融合規(guī)則為簡(jiǎn)單的傳統(tǒng)規(guī)則，導(dǎo)致融合后的圖像效果受到影響。脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)作為一種新型神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用在圖像融合中[5]，但是單通道PCNN只能對(duì)單張圖像的特征信息進(jìn)行提取。而在實(shí)際應(yīng)用中，一般都是采用兩張圖像進(jìn)行融合，從而提出了雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)[6](Dual-channel PCNN，2PCNN)。但PCNN中鏈接強(qiáng)度通常被設(shè)置為固定值以及外部輸入選擇的是子帶系數(shù)，從而不能有效地提取源圖像中的信息。且這些算法在應(yīng)用PCNN時(shí)均沒(méi)有引入CS理論，從而算法運(yùn)行時(shí)間都比較長(zhǎng)。自然地，我們想到把CS理論應(yīng)用到PCNN中，提高了運(yùn)行效率和圖像的視覺(jué)效果。

由以上的分析，本文提出了改進(jìn)的2PCNN，即自適應(yīng)的2PCNN(Dual-channel Adaptive PCNN，2APCNN)，然后結(jié)合2APCNN和CS各自的優(yōu)點(diǎn)，提出了一種SIST和壓縮感知結(jié)合的CT與MRI醫(yī)學(xué)圖像融合的新方法。在處理低頻系數(shù)時(shí)，通過(guò)一種新的改進(jìn)的空間頻率和改進(jìn)的區(qū)域能量?jī)蓚€(gè)指標(biāo)來(lái)提取圖像的特征，再利用局部區(qū)域相似匹配度來(lái)選擇低頻系數(shù)。對(duì)高頻系數(shù)，給出了一種自適應(yīng)的2PCNN壓縮感知(2APCNN-CS)規(guī)則，先將2APCNN對(duì)高頻子帶處理，其中邊緣能量作為2APCNN的外部輸入，再將CS對(duì)經(jīng)過(guò)2APCNN處理后的高頻系數(shù)進(jìn)行處理。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效提取已配準(zhǔn)醫(yī)學(xué)圖像中有用信息到融合圖像中，在客觀指標(biāo)和視覺(jué)效果方面均優(yōu)于其他傳統(tǒng)的融合方法。

1 相關(guān)理論

1.1 平移不變剪切波變換

平移不變剪切波變換由剪切濾波器組(Shearlet Filter，SF)和非下采樣金字塔濾波器組(Non-Subsampled Pyramid Filter，NSPF)兩個(gè)部分構(gòu)成，在圖像分解中，SF負(fù)責(zé)對(duì)SIST的方向局部化，NSPF實(shí)現(xiàn)SIST的多尺度剖分。更多有關(guān)SIST的具體細(xì)節(jié)可參考文獻(xiàn)[2]。

1.2 2APCNN基本原理

2PCNN是在PCNN基本模型上改進(jìn)而成的，但由于鏈接強(qiáng)度通常取為常數(shù)會(huì)影響圖像融合的效果。為了彌補(bǔ)2PCNN的不足，本文提出了一種改進(jìn)的自適應(yīng)的雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(2APCNN)，其中鏈接強(qiáng)度改進(jìn)為自適應(yīng)的，會(huì)根據(jù)源圖像中邊緣梯度信息的大小自適應(yīng)地選擇相應(yīng)通道。其數(shù)學(xué)模型：

邊緣梯度信息為

1.3 CS理論

CS是由Donoho等[7]人提出來(lái)的，它表明如果一個(gè)信號(hào)是可以稀疏的，那么它就能在遠(yuǎn)低于奈奎斯特采樣率的條件下采樣該信號(hào)。CS理論主要包括三個(gè)部分：首先，將原始信號(hào)在某個(gè)基下進(jìn)行稀疏表示。其次，設(shè)計(jì)一個(gè)平穩(wěn)與正交基不相關(guān)的觀測(cè)矩陣，來(lái)實(shí)現(xiàn)信號(hào)的壓縮測(cè)量。最后實(shí)現(xiàn)信號(hào)的重構(gòu)。更多有關(guān)CS的理論可參考[7]。

2 基于SIST和2APCNN-CS的醫(yī)學(xué)圖像融合規(guī)則

2.1 基本框架

假設(shè)源醫(yī)學(xué)圖像都是經(jīng)過(guò)幾何配準(zhǔn)處理了，那么本文大致的融合框架是：首先，利用SIST對(duì)源圖像進(jìn)行分解，得到一個(gè)低頻子帶和一系列的高頻子帶；其次，對(duì)低頻子帶利用新的改進(jìn)的空間頻率、改進(jìn)的區(qū)域加權(quán)能量和局部區(qū)域相似匹配度相結(jié)合來(lái)融合低頻子帶。對(duì)高頻子帶，由于高頻子帶比較多，所以結(jié)合CS理論對(duì)其進(jìn)行壓縮處理，采用2APCNN-CS規(guī)則對(duì)高頻子帶進(jìn)行融合；最后對(duì)處理后的低頻和高頻系數(shù)進(jìn)行SIST逆變換，最終的融合圖像。

2.2 低頻系數(shù)的融合規(guī)則

源圖像經(jīng)過(guò)SIST變換得到的低頻系數(shù)包含了源圖像的主要能量信息，反映了源圖像的近似特征。但當(dāng)前在低頻系數(shù)的融合處理上大多采用平均規(guī)則[8]，雖然該方法實(shí)現(xiàn)比較簡(jiǎn)單，但是它卻影響融合后圖像的質(zhì)量，降低了圖像的視覺(jué)效果。圖像的空間頻率反映圖像的清晰度和一幅圖像的總體活躍度，但傳統(tǒng)的空間頻率只考慮了圖像的行頻率和列頻率，不能充分反映圖像的特征信息。新的改進(jìn)的空間頻率在原有的基礎(chǔ)上考慮了四個(gè)對(duì)角的頻率。其具體表達(dá)式：

其中：

又由于傳統(tǒng)的區(qū)域能量只考慮了局部區(qū)域的單個(gè)像素，而單個(gè)像素不能充分表現(xiàn)圖像的局部特征，在此充分考慮局部區(qū)域內(nèi)各個(gè)像素之間的相關(guān)性，提出了改進(jìn)的區(qū)域加權(quán)能量：

否則：

2.3 高頻系數(shù)的融合規(guī)則

高頻子帶包含了源圖像大量的細(xì)節(jié)特征，從而在處理高頻子帶時(shí)，會(huì)出現(xiàn)計(jì)算復(fù)雜度高、計(jì)算時(shí)間長(zhǎng)等問(wèn)題。雖然文獻(xiàn)[3-4]將CS理論用在圖像融合中，減少了圖像融合的運(yùn)行時(shí)間，但其高頻子帶的融合方法分別采用的是“絕對(duì)值最大”和“加權(quán)平均”，導(dǎo)致融合的圖像視覺(jué)效果差?；诖耍疚膶?APCNN結(jié)合CS理論應(yīng)用到高頻子帶中，并將邊緣能量(Energy of Edge，EOE)作為2APCNN外部輸入。即在式(1)中?。?/p>

具體的高頻融合規(guī)則如下：

第1)步：對(duì)源CT與MRI醫(yī)學(xué)圖像進(jìn)行SIST得到的高頻系數(shù)和分別進(jìn)行壓縮測(cè)量，從而得到測(cè)量采樣系數(shù)，即。

第2)步：利用式(11)和式(3)分別計(jì)算2APCNN的邊緣能量和鏈接強(qiáng)度。

第3)步：將式(1)的2APCNN對(duì)測(cè)量采樣系數(shù)進(jìn)行融合處理，直到所有神經(jīng)元產(chǎn)生脈沖響應(yīng)。然后選擇融合系數(shù)：

其中

。

第4)步：利用OMP[10]算法對(duì)進(jìn)行重建，從而得到融合后的高頻系數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提CT與MRI醫(yī)學(xué)圖像融合方法的有效性，選取了兩組已經(jīng)過(guò)嚴(yán)格配準(zhǔn)的256 pixel×256 pixel的CT與MRI腦部醫(yī)學(xué)圖像進(jìn)行融合實(shí)驗(yàn)。所有算法都在Matlab R2014a上運(yùn)行，電腦的配置為主頻2.27 GHz，處理器Core i3，內(nèi)存2 G，硬盤(pán)500 G。為了進(jìn)行比較，將本文提出的方法與另外五種融合方法進(jìn)行了對(duì)比。方法一和方法二分別采用DWT和Contourlet變換(CT)，低頻和高頻的融合規(guī)則仍用本文的融合規(guī)則。方法三的低頻融合規(guī)則和本文一致，但高頻中不引入CS，而直接采用2APCNN進(jìn)行融合處理。方法四采用文獻(xiàn)[4]提出的NSCT和CS相結(jié)合的醫(yī)學(xué)圖像融合算法，其融合規(guī)則：低頻采用區(qū)域能量加權(quán)平均，高頻采用梯度、區(qū)域能量結(jié)合CS的融合規(guī)則。方法五采用文獻(xiàn)[11]提出的NSST和PCNN結(jié)合的融合算法，低頻采用局部能量取大，高頻采用PCNN進(jìn)行融合。在基于CS理論的CT與MRI融合實(shí)驗(yàn)中，通過(guò)多次試驗(yàn)驗(yàn)證，對(duì)單層分解后的高頻系數(shù)利用CS理論可以得到較好的融合圖像，所以本文在引入CS理論的融合實(shí)驗(yàn)中都采用單層分解，然后從融合效果及算法時(shí)間進(jìn)行對(duì)比分析。為了客觀評(píng)價(jià)

醫(yī)學(xué)圖像的融合效果，本文選用互信息(Mutual Information，MI)和邊緣信息保留量QAB/F作為客觀評(píng)價(jià)指標(biāo)，MI表示融合后的圖像從源圖像中提取的信息量，QAB/F表示源圖像中轉(zhuǎn)移到融合后圖像的邊緣信息量大小，兩個(gè)指標(biāo)值越大，說(shuō)明融合效果越好。在融合中，由于2APCNN中有5個(gè)參數(shù)，因此本文選用常見(jiàn)的六類(lèi)參數(shù)[5-7]，通過(guò)實(shí)驗(yàn)驗(yàn)證得到CT與MRI圖像融合結(jié)果對(duì)參數(shù)的選取不敏感，從而本文2APCNN中參數(shù)選用文獻(xiàn)[6]中參數(shù)，，，，=[0.707, 1, 0.707; 1, 0, 1; 0.707, 1, 0.707]。

本文實(shí)驗(yàn)選取了2組腦部CT與MRI醫(yī)學(xué)圖像進(jìn)行融合實(shí)驗(yàn)，第1組(圖1(a)和(b))為正常腦干的CT與MRI圖像，第2組(圖2(a)和(b))為患有腦萎縮的CT與MRI圖像。當(dāng)采樣率=0.5時(shí)，圖1是通過(guò)不同方法對(duì)第一組CT與MRI圖像的融合實(shí)驗(yàn)得到的局部放大融合結(jié)果圖，圖2是通過(guò)不同方法對(duì)第二組醫(yī)學(xué)圖像融合得到的實(shí)驗(yàn)結(jié)果圖。

首先從主觀視覺(jué)來(lái)看，從圖1和圖2可以看出，利用方法一和方法二的進(jìn)行融合后的圖像模糊，出現(xiàn)失真現(xiàn)象，這是由于DWT和CT進(jìn)行了下采樣，不具有平移不變性；在方法四中將CS引入圖像融合中，降低了算法的運(yùn)行時(shí)間，但由于采用加權(quán)平均的融合規(guī)則，導(dǎo)致融合圖像失去了源圖像的部分細(xì)節(jié)信息和紋理特征等；對(duì)于方法五，雖然融合規(guī)則有所改進(jìn)，融合圖像的對(duì)比度和清晰度也有所改善，但算法的運(yùn)行時(shí)間長(zhǎng)；本文采用SIST分解圖像，有效提高了圖像模糊現(xiàn)象，再結(jié)合本文提出的融合規(guī)則，使得融合圖像的細(xì)節(jié)信息、紋理特征等都更加豐富。

其次，從客觀上來(lái)分析融合算法的效果。從表1可以看出，在采樣率一致的條件下，方法一和方法二由于不具有平移不變性，導(dǎo)致融合結(jié)果不理想，故客觀指標(biāo)也相對(duì)較低。方法三和方法五中，由于沒(méi)有引入CS理論，從而計(jì)算效率低，算法運(yùn)行時(shí)間長(zhǎng)。而方法四雖然應(yīng)用了CS理論，但由于融合規(guī)則簡(jiǎn)單，導(dǎo)致融合圖像不能從源圖像中提取豐富的信息。在采樣率相等時(shí)，本文算法的MI和QAB/F兩個(gè)客觀指標(biāo)均為最高，這與主觀視覺(jué)效果也保持一致。而且方法三和方法五算法所用時(shí)間都是本文算法的3倍多。綜上所述，本文方法能夠保留源圖像中的更多信息，提高了源圖像的清晰度和對(duì)比度，降低了算法運(yùn)行時(shí)間，能

Table 1 The comparison of image fusion results in different fusion methods

夠高效地實(shí)現(xiàn)已配準(zhǔn)腦部CT和MRI醫(yī)學(xué)圖像的融合。

4 結(jié) 論

平移不變剪切波作為一種新的圖像分解工具，它能有效地捕獲豐富的紋理信息和邊緣細(xì)節(jié)等，且沒(méi)有進(jìn)行下采樣，有效減少了融合圖像的模糊效應(yīng)。本文將SIST和2APCNN-CS結(jié)合應(yīng)用于CT與MRI腦部醫(yī)學(xué)圖像融合中。通過(guò)多組實(shí)驗(yàn)表明，通過(guò)引入CS理論可以減少算法的運(yùn)行時(shí)間，且本文方法在客觀指標(biāo)和視覺(jué)效果上都比傳統(tǒng)CT與MRI醫(yī)學(xué)圖像融合算法有所提升。

[1] Dasarathy B V. Information fusion in the realm of medical applications-a bibliographic glimpse at its growing appeal [J]. Information Fusion(S1566-2535)，2012，13(1)：1-9.

[2] Glenn E，Demetrio L，Lim W QSparse directional image representations using the discrete shearlet transform [J]. Applied and Computational Harmonic Analysis(S1063-5203)，2008，25(1)：25-46.

[3] GHAN Juanjuan，Loffeld O，Hartmann KMulti-image fusion based on compressive sensing [C]// Audio Language and Image Processing，Shanghai，China，Nov 23-25，2010：1463-1469.

[4] XING Xiaoxue，LIU Fu，SHANG Weiwei，. Medical image fusion in compressed sensing based on non-subsampled contourlet transform [C]// Proceedings of the 9th IEEE International Conference on Mobile Ad-hoc and Sensor Networks，Dalian，China，Dec 11-13，2013：490-493.

[5] Broussard R P，Pogers S K，Oxley M E，.Physiologically motivated image fusion for object detection using a pulse coupled network [J]. IEEE Transactions on Neural Networks(S1045-9227)，1999，10(3)：554-563.

[6] WANG Zhaobin，MA Yide. Medical image fusion using m-PCNN [J]. Information Fusion(S1566-2535)，2008，9(2)：176-185.

[7] Donoho D，Santos J. Compressed Sensing [J]. IEEE Transactions on Information Theory(S1557-9654)，2006，52(4)：18-26.

[8] 屈小波，閆敬文，楊貴德. 改進(jìn)拉普拉斯能量和的尖銳頻率局部化Contourlet域多聚焦圖像融合方法 [J]. 光學(xué) 精密工程，2009，17(5)：1203-1212.

QU Xiaobo，YAN Jingwen，YANG GuideMultifocus image fusion method of sharp frequency localized contourlet transform domain based on sum-modified-Laplacian [J]. Optics and Precision Engineering，2009，17(5)：1203-1212.

[9] WANG Jiexiong，QI Xiangyang，LI Xiewei. Edge and local energy NSCT based remote sensing image fusion [J]. Journal of the Graduate School of the Chinese Academy of Sciences(S1002-1175)，2009，26(5)：657-661.

[10] LI Bo，YIN Shen，Rajan S，.Theoretical results for sparse signal recovery with noises using generalized OMP algorithm [J]. Signal Processing(S0165-1684)，2015，117(12)：270-278.

[11] Sneha S，Deep G，Anand R S，.Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network [J]. Biomedical Signal Processing and Control(S1746-8094)，2015，18(4)：91-101.

CT and MRI Medical Image Fusion Based on Shift-invariant Shearlet Transform and Compressed Sensing

YIN Ming，DUAN Puhong， CHU Biao，LIANG Xiangyu

( School of Mathematics, Hefei University of Technology, Heifei 230009, China )

In order to enhance the quality of medical image fusion, a novel CT and MRI image fusion algorithm is proposed based on Shift-invariant Shearlet Transform (SIST) and compressed sensing. Firstly, the source CT and MRI images are decomposed by SIST to obtain the low frequency sub-bands and high frequency sub-bands. Then, for the low frequency sub-band coefficients, a fusion rule method combining with a new improved spatial frequency, which improves regional weighted energy and local similarity matched degree, is presented. For high frequency sub-band coefficients, a scheme based on the theory of adaptive 2PCNN-CS is presented. Finally, the fused image is obtained by performing the inverse SIST. The experimental results show that the proposed approach can outperform the conventional CT and MRI images fusion methods in terms of both objective evaluation criteria and visual quality.

information processing; shift-invariant shearlet transform; adaptive dual-channel pulse coupled neural network; compressed sensing

1003-501X(2016)08-0047-06

TP391

A

10.3969/j.issn.1003-501X.2016.08.008

2015-08-30；

2016-01-10

國(guó)家自然科學(xué)基金(11172086)；安徽省自然科學(xué)基金(1308085MA09)；安徽省教育廳自然科學(xué)研究重點(diǎn)項(xiàng)目(KJ2013A216)

殷明(1962-)，男(漢族)，安徽合肥人。教授，博士，主要研究工作是小波分析及圖像處理。E-mail: ymhfut@126.com。