一種適用于多模態(tài)醫(yī)學(xué)圖像融合的自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)改進算法

于 淼，寧春玉，石樂民，呂冰垚

(長春理工大學(xué)生命科學(xué)技術(shù)學(xué)院,長春 130022)

多模醫(yī)學(xué)圖像融合目的是將不同圖像的互補信息綜合到一幅圖像中,以克服單個模態(tài)醫(yī)學(xué)圖像信息存在局限性的問題[1]。目前的研究熱點是基于多尺度分解(multiscale decomposition,MSD)的融合方法,主要研究方向有多尺度分解工具的選擇和融合規(guī)則的選擇。傳統(tǒng)的離散小波變換[2]雖然有多分辨率和時頻局部等特性,但因其具有采樣操作導(dǎo)致不能完整表達圖像的方向、邊緣等信息。對此,多位學(xué)者提出了Contourlet變換[3]、非下采樣Contourlet變換(non-subsampled contourcet transform,NSCT)[4]等。文獻[5-6]利用NSCT分解提取邊緣和細節(jié)信息,提高了融合效果。NSCT不僅承襲了Contourlet變換具備的多尺度性、多方向性和各向異性,而且具有平移不變性,克服了偽吉布斯現(xiàn)象。

PCNN[7]符合人類視覺系統(tǒng)神經(jīng)元運行機制,具備全局耦合性和脈沖同步性,在圖像融合[8]領(lǐng)域得以應(yīng)用。研究方向主要有二:一是PCNN模型的理論研究。Kinser[9]提出的PCNN簡化模型在保持原模型重要特性的基礎(chǔ)上減少了模型參數(shù),適應(yīng)于圖像處理應(yīng)用要求。二是PCNN模型參數(shù)的自適應(yīng)設(shè)置。考慮到人眼視覺神經(jīng)系統(tǒng)對不同特征區(qū)域響應(yīng)程度存在差異,PCNN模型的參數(shù)不應(yīng)該設(shè)置成定值[10]。對此,許多學(xué)者采用空間頻率(spatial frequency,SF)[11]、改進的拉普拉斯能量和(sum-modified Laplacian,SML)[12]或局部對比度[13]等設(shè)置連接強度。融合結(jié)果整體雖得到改善,但不能完善地反映出圖像的方向特性。另外,許多學(xué)者用SML[14]、改進空間頻率(modified spatial frequency,MSF)[15]或直接采用子帶系數(shù)[16]設(shè)置外部激勵。這些方法在各評價指標(biāo)上均有提高,但沒有考慮低通和帶通子帶包含源圖像的不同特性。

針對上述問題,主要研究在NSCT變換下,根據(jù)圖像的全局特征和子帶圖像的不同區(qū)域特性來自適應(yīng)調(diào)整PCNN多個重要參數(shù)。提出分別以區(qū)域標(biāo)準(zhǔn)差(regional standard deviation,RSD)和MSF中最顯著的方向分量來自適應(yīng)地調(diào)整連接范圍和連接強度,并針對低通、帶通子帶的特性采用不同的方式調(diào)整外部激勵。期望設(shè)計一種包含源圖像信息豐富、邊緣及紋理清晰,并且適用于多種模態(tài)醫(yī)學(xué)圖像的融合算法。

1 PCNN簡化模型

PCNN是由多個神經(jīng)元彼此連接而組成,其中每一個神經(jīng)元都由三部分構(gòu)成:接收域、耦合調(diào)制域和脈沖發(fā)生器[17]。圖1為單個神經(jīng)元的簡化模型。對于(i,j)位置的神經(jīng)元,在時刻n受到外界刺激信息Sij和鄰域k×l(連接范圍)內(nèi)其他神經(jīng)元n-1時刻脈沖信息{Ykl}影響后,其反饋輸入Fij、線性連接輸入Lij、內(nèi)部活動項Uij、脈沖發(fā)生器中輸出Yij和膜電位動態(tài)閾值θij的離散數(shù)學(xué)表達式如下:

Fij(n)=Sij

(1)

(2)

Uij(n)=Fij(n)[1+βijLij(n)]

(3)

(4)

θij(n)=e-αθθij(n-1)+VθYij(n)

(5)

式中:βij為連接強度；αL和αθ分別為Lij和θij的衰減時間常數(shù)；VL和Vθ分別為連接放大系數(shù)和閾值放大系數(shù)；Wijkl為Lij中{Ykl}的加權(quán)系數(shù)；當(dāng)Uij超過閾值時,產(chǎn)生脈沖。θij隨著該神經(jīng)元輸出狀態(tài)而變化。PCNN神經(jīng)元接收到輸入信號后根據(jù)上述原理判定并輸出點火情況。每個(i,j)位置的神經(jīng)元在n次迭代后將點火總次數(shù)統(tǒng)計輸出,映射成點火映射圖，表達式為

Tij(n)=Tij(n-1)+Yij(n)

(6)

圖1 PCNN單個神經(jīng)元的簡化模型Fig.1 PCNN single neuron simplified model

2 本文算法

2.1 融合算法步驟

如圖2所示為本文的圖像融合算法流程,具體步驟如下。

首先,對源圖像A和B進行NSCT分解,最終分別獲得一個低通子帶和多個不同尺度不同方向下的帶通子帶。

然后,設(shè)置PCNN的各個參數(shù)。分別計算各個子帶系數(shù)對應(yīng)的連接范圍、突觸權(quán)重矩陣和連接強度，以及低通、帶通子帶的外部激勵。

接著,將PCNN模型按照式(1)～式(5)迭代運行,直至每個神經(jīng)元都被激活,然后統(tǒng)計出子帶系數(shù)的點火次數(shù)獲得點火映射圖,邊緣和紋理信息的多少與點火次數(shù)正相關(guān)。采用每個位置上最大點火次數(shù)對應(yīng)的子帶系數(shù)作為融合子帶的系數(shù),記為取大原則。

最后,對融合子帶系數(shù)進行NSCT逆變換,即重構(gòu)出融合圖像F。

圖2 本文算法框圖Fig.2 Block diagram of the proposed algorithm

2.2 融合規(guī)則

本文算法設(shè)計的融合規(guī)則結(jié)合自適應(yīng)PCNN。其中,用RSD自適應(yīng)調(diào)整連接范圍,進而調(diào)整突觸權(quán)重矩陣,進一步調(diào)整加權(quán)系數(shù)。用MSF中方向特征最顯著的分量自適應(yīng)調(diào)整連接強度。考慮到低通和帶通子帶包含源圖像的概貌、邊緣和紋理等特征的不同,分別使用不同的外部激勵調(diào)整方式。

2.2.1 連接范圍

連接范圍設(shè)置3×3和5×5兩種網(wǎng)絡(luò)連接模式，計算式為

(7)

(8)

突觸權(quán)重矩陣計算式為

(9)

2.2.2 連接強度

SF通常只表述為水平與垂直兩個方向FR和FC[式(10)、式(11)]。文獻[18]提出增加兩個對角方向FMD和FSD的梯度能量[式(12)、式(13)],通過4個方向的梯度能量來衡量整個活動窗口系數(shù),如式(14)?？紤]到醫(yī)學(xué)圖像亮度偏低,為了突出方向特征,提取更多細節(jié)信息,使得圖像特征信息的提取更為全面,提出式(15)來調(diào)整連接強度。

(10)

(11)

(12)

(13)

(14)

βMSF=max{FR,FC,FMD,FSD}

(15)

式中:M和N為子帶圖像尺寸；A(i,j)為(i,j)處的子帶系數(shù)值；FR、FC、FMD和FSD分別表示行頻率、列頻率、主對角頻率和副對角頻率。

2.2.3 低通子帶的外部激勵

局部區(qū)域內(nèi)的多個像素之間存在相關(guān)性,基于區(qū)域的融合規(guī)則能更好地體現(xiàn)出圖像局部特征。低通子帶齊集了源圖像主體信息,包含多數(shù)輪廓和能量信息。考慮到醫(yī)學(xué)圖像灰度范圍窄且分布不均,為了保證圖像的基本信息不丟失,并優(yōu)先選擇出邊緣細節(jié)豐富的區(qū)域信息,提出如式(18)將區(qū)域能量(regional energy,REN)和區(qū)域方差(regional variance,RVA)線性組合作為外部激勵。

(16)

(17)

MED(i,j)=E(i,j)+D(i,j)

(18)

2.2.4 帶通子帶的外部激勵

帶通子帶集中了邊緣和紋理等細節(jié)信息,分布呈現(xiàn)出方向特性。文獻[19]提出SML能反映出圖像梯度信息,采用式(20)計算外部激勵?？紤]到醫(yī)學(xué)圖像中病灶點多由細節(jié)信息表達,對疾病的診斷尤其重要。經(jīng)過多組實驗,提出如式(22)來設(shè)置外部激勵。

MLP(i,j)=|2A(i,j)-A(i-1,j)-A(i+1,j)|+|2A(i,j)-A(i,j-1)-A(i,j+1)|

(19)

(20)

ML(i,j)=|2A(i,j)-A(i-1,j)-A(i+1,j)|+|2A(i,j)-A(i,j-1)-A(i,j+1)|+|1.5A(i,j)-0.75A(i-1,j+1)-0.75A(i+1,j-1)|+|1.5A(i,j)-0.75(i-1,j-1)-0.75A(i+1,j+1)|

(21)

(22)

式中:ML、SML分別為改進的拉普拉斯及其能量和；A(i,j)為(i,j)處的系數(shù)值。測度窗口大小取3×3。

3 實驗結(jié)果及分析

為了驗證本文算法的有效性,在MATLAB R2017b平臺上選擇3組經(jīng)過嚴(yán)格配準(zhǔn)并且來自同一部位的不同模態(tài)醫(yī)學(xué)圖像進行融合實驗,分別為:①CT和MRI；②MRI-PD和MRI-T2；③MRI和PET。圖像的尺寸大小均為256×256,具有256個灰階。各組實驗均基于NSCT變換,NSPFB為“pyrexc”,NSDFB為“vk”,分解層數(shù)均為4,多尺度分解中的方向分解級數(shù)按尺度由細到粗為[1,2,3,4]。PCNN模型參數(shù)設(shè)置為:n=200,αL=0.069 31,αθ=0.2,VL=1,Vθ=20。

圖3～圖5分別給出了不同模態(tài)醫(yī)學(xué)圖像及其融合結(jié)果。其中,(a)、(b)為源圖像,(c)～(h)為不同融合算法的結(jié)果圖。(c)的融合規(guī)則采用低通系數(shù)取平均,帶通系數(shù)絕對值取大法,記為NSCT-AVE-MAX；(d)的低通和帶通均采用PCNN融合規(guī)則,連接范圍取3×3,βij=0.2,外部激勵為MSF,記為NSCT-PCNN；(e)～(g)分別為文獻[14-16]所提方法。文獻[14]算法為低通采用SML取最大,帶通子帶外部激勵為SML；文獻[15]算法為低通和帶通子帶的外部激勵分別為SML和MSF,βij為平均梯度；文獻[16]算法為低通采用區(qū)域能量加權(quán),外部激勵為帶通子帶系數(shù),βij為SF；(h)為本文算法。

圖3 CT和MRI的融合結(jié)果Fig.3 Fusion results of CT and MRI

圖4 MRI-PD和MRI-T2的融合結(jié)果Fig.4 Fusion results of MRI-PD and MRI-T2

圖5 MRI和PET的融合結(jié)果Fig.5 Fusion results of MRI and PET

對比分析實驗結(jié)果可知,圖3(c)、圖4(c)和圖5(c)的整體亮度偏低,對比度差,存在偽影現(xiàn)象,邊緣和細節(jié)模糊,視覺效果略差；圖3(d)、圖4(d)和圖5(d)對比度增強,但紋理有缺失；圖3(e)、圖3(f)整體亮度均有所提高,且無偽影,但邊緣和細節(jié)信息不如圖3(h)完整；圖3(h)較為完整地保留了CT圖像的骨骼信息和MRI圖像的軟組織信息。圖4和圖5(e)～圖5(g)邊緣清晰,對比度較高,融合圖像信息豐富。但圖3(h)、圖4(h)和圖5(h)質(zhì)量更高,不僅紋理明顯,還選擇出了邊緣細節(jié)豐富的區(qū)域信息,視覺效果更佳。圖4(h)在邊界處輪廓清晰,邊緣保持更完整,圖5(h)的PET圖像功能信息保留更豐富,MRI圖像軟組織對比度更高。

由于主觀評價很難區(qū)分融合圖像之間的細微差別,為保證結(jié)論具有客觀性和說服力,本文用信息熵(information entropy,IE)、標(biāo)準(zhǔn)差(standard deviation,SD)、互信息(mutual information,MI)和邊緣保持度QAB/F等4個指標(biāo)對圖像融合算法的優(yōu)劣進行客觀評價。表1～表3分別對應(yīng)圖3～圖5中融合圖像的客觀評價指標(biāo),由各個指標(biāo)對比可知,NSCT-AVE-MAX在保留細節(jié)能力方面效果略差。與之相比NSCT-PCNN算法更能保留源圖像的有用信息。與其他算法對比可見,本文算法的4個指標(biāo)均指明顯偏大,表明本文算法對源圖像邊緣、細節(jié)信息的提取和保留能力更強,對比度更高,灰度級分布分散,包含源圖像的信息更豐富,融合效果最優(yōu),結(jié)論與主觀評價一致。

表1 CT和MRI融合結(jié)果客觀評價指標(biāo)

表2 MRI-PD和MRI-T2融合結(jié)果客觀評價指標(biāo)

表3 MRI和PET融合結(jié)果客觀評價指標(biāo)

4 結(jié)論

針對NSCT變換下低通和帶通子帶特性的不同,設(shè)計了不同的基于PCNN的融合規(guī)則。通過多組實驗可以得出如下結(jié)論。

(1)本文算法依據(jù)圖像自身特征自適應(yīng)調(diào)整PCNN模型連接范圍、連接強度等參數(shù),對于外部激勵,低通子帶設(shè)計為REN與RVA的線性組合,可以更好地描述低頻的輪廓等區(qū)域特性。帶通子帶設(shè)計為SML,可以更好地模擬人眼視覺神經(jīng)系統(tǒng)對邊緣、紋理等重要特征的敏感性。在醫(yī)學(xué)圖像融合領(lǐng)域,很好地表征了圖像細節(jié)特征信息,得到的融合圖像紋理清晰,沒有偽影現(xiàn)象,很好地保留了源圖像的特征信息,并且對比度高,視覺效果佳。

(2)從客觀指標(biāo)上能看出,本文算法反映圖像各方面信息的能力強,在MI和QAB/F方面優(yōu)勢尤為明顯。綜合源圖像有用信息的能力比其他方法強,提取和保持源圖像邊緣信息的能力強,包含的細節(jié)信息更多,融合圖像信息豐富,準(zhǔn)確可靠。

(3)通過多組不同源圖像的實驗可證明本文方法的有效性,適用于多種模態(tài)的醫(yī)學(xué)圖像之間的融合。