一種改進(jìn)的基于NSST-SPCNN醫(yī)學(xué)圖像融合算法

常春紅，王雷，郝本利，邢藝馨

( 山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 山東 淄博 255049)

醫(yī)學(xué)圖像融合將成像模態(tài)不同的多個(gè)醫(yī)學(xué)圖像，根據(jù)同一組織器官多種模態(tài)圖像具有互補(bǔ)性與冗余性，使其成為一個(gè)新的圖像,涵蓋更豐富的細(xì)節(jié)及更全面信息，有助于醫(yī)生更全面地了解病變的信息、性質(zhì)及與周圍解剖結(jié)構(gòu)的關(guān)系。傳統(tǒng)圖像融合算法一般過(guò)程為圖像分解、圖像融合、圖像重建。

對(duì)圖像進(jìn)行分解與重建的方法有很多，例如基于金字塔的方法[1]、非下采樣輪廓波(NSCT)[2]、非下采樣剪切波(NSST)[3]、稀疏表示[4]等方法,NSCT與NSST在圖像細(xì)節(jié)表示方面有較高的恢復(fù)性，明顯優(yōu)于其他算法，而NSCT相對(duì)于NSST的計(jì)算復(fù)雜度較高，同時(shí)NSST具有移不變性與多方向選擇性，可以更有效地提取源圖像中的邊緣信息、特征信息，以保留更多的源圖像信息。

對(duì)圖像分解之后得到高頻圖像與低頻圖像，選擇合適的融合策略，分別對(duì)高頻圖像與低頻圖像進(jìn)行融合是至關(guān)重要的。常見(jiàn)的圖像融合規(guī)則有主成分分析(PCA)[5]、人工神經(jīng)網(wǎng)絡(luò)(CNN)[6]、脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)[7]、人類視覺(jué)系統(tǒng)等方法。主成分分析的方法未考慮圖像各波段的特點(diǎn)，會(huì)丟失低分辨率圖像的第一主成分中一些反應(yīng)光譜特性的信息。人工神經(jīng)網(wǎng)絡(luò)以其獨(dú)有的并行性與學(xué)習(xí)性，為我們提供了一種全新的數(shù)據(jù)融合方法；但在實(shí)際應(yīng)用中，在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與算法規(guī)則等方面，都有許多工作亟待解決。其中，脈沖耦合神經(jīng)網(wǎng)絡(luò)作為一種特殊的人工神經(jīng)網(wǎng)絡(luò)，基于貓的視覺(jué)原理構(gòu)建的簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)模型，由大量動(dòng)態(tài)的脈沖耦合神經(jīng)元互相連接組成的反饋型網(wǎng)絡(luò)，不需要進(jìn)行學(xué)習(xí)與訓(xùn)練，能夠從復(fù)雜背景下獲取有效信息，具有時(shí)空總和特性、動(dòng)態(tài)脈沖發(fā)放特性和同步脈沖發(fā)放引起的振動(dòng)與波動(dòng)等特性[8]。由于傳統(tǒng)PCNN模型的參數(shù)數(shù)量較多，且不同參數(shù)值的設(shè)置對(duì)圖像效果有著至關(guān)重要的作用，后來(lái)Chen等[9]提出了一種自適應(yīng)參數(shù)的SPCNN，根據(jù)圖像本身的特性信息自適應(yīng)設(shè)置PCNN的各個(gè)參數(shù)。該方法具有較強(qiáng)的適應(yīng)性，但是需要對(duì)每個(gè)像素點(diǎn)的鏈接強(qiáng)度參數(shù)進(jìn)行計(jì)算，計(jì)算量大，影響融合速度。

為了對(duì)使用PCNN模型融合時(shí)的參數(shù)進(jìn)行有效確定，根據(jù)參數(shù)特性與模型特點(diǎn)，提出了一種新的改進(jìn)自適應(yīng)參數(shù)PCNN的方法，對(duì)多種模態(tài)醫(yī)學(xué)圖像進(jìn)行融合。

1 融合的原理

圖 1 NSST-M-SPCNN 圖像融合過(guò)程Fig.1 Image fusion process of NSST-M-SPCNN

2 融合的規(guī)則

2.1 低頻區(qū)域局部能量加權(quán)和與雙邊濾波融合規(guī)則

低頻分量主要對(duì)整副圖像強(qiáng)度綜合度量，一幅圖像的能量一般保存在低頻分量中，對(duì)低頻分量的融合一般采取簡(jiǎn)單平均或者加權(quán)平均的方法，容易造成圖像細(xì)節(jié)信息與能量的丟失，從而降低源圖像的對(duì)比度[10]。

根據(jù)某一區(qū)域內(nèi)，各像素點(diǎn)之間具有較強(qiáng)的相關(guān)性。本文先采取局部區(qū)域能量加權(quán)和規(guī)則，最大限度保留源圖像的能量，如公式(1)：

(1)

式中：S∈{A,B}；L(i,j)為源圖像在位置(i,j)的低通分量；W為一個(gè)(2r+1)(2r+1)的加權(quán)矩陣，將矩陣元素設(shè)置為22r-d；d為其到矩陣中心四鄰域的距離。

為了最大限度獲取源圖像的細(xì)節(jié)信息，采用雙邊濾波規(guī)則。雙邊濾波是一種非線性濾波方法,為了對(duì)圖像實(shí)現(xiàn)保邊去噪，既考慮了圖像的空域信息又考慮了灰度相似性。雙邊濾波通過(guò)空域矩陣和值域矩陣形成一個(gè)新的權(quán)重矩陣,其中空域矩陣用來(lái)模糊去噪；值域矩陣用來(lái)保護(hù)邊緣[11]。

設(shè)(i,j)為源圖像的中心點(diǎn)坐標(biāo)，(k,l)為以(i,j)點(diǎn)為中心的鄰域S內(nèi)的任意一點(diǎn)，空域矩陣中點(diǎn)(k,l)到點(diǎn)(i,j)的空間距離定義為

(2)

值域矩陣定義為

(3)

公式(2)與(3)相乘后，會(huì)產(chǎn)生對(duì)數(shù)據(jù)依賴的雙邊濾波權(quán)重矩陣

(4)

最后，計(jì)算點(diǎn)(k,l)到點(diǎn)(i,j)新的像素值

(5)

空間距離D函數(shù)按照像素之間的距離選擇權(quán)重，距離越遠(yuǎn)權(quán)重越小，越近越大。值域矩陣R函數(shù)是按照像素值之間的差異進(jìn)行權(quán)值分配。在比較的平坦區(qū)域,像素之間的差異比較小,其所對(duì)應(yīng)的值域權(quán)重R(i,j,k,l)接近于1,故此時(shí)起主要作用的是空域權(quán)重D(i,j,k,l),相當(dāng)于對(duì)這個(gè)平坦的區(qū)域直接進(jìn)行了高斯模糊。圖像邊緣的特點(diǎn)就是距離相近的點(diǎn)的像素值有很大差異，濾波的同時(shí)保留邊緣，即在邊緣區(qū)域，像素之間差異較大,即f(k,l)-f(i,j)之間差值大。根據(jù)公式(4)可以看出，此時(shí)的值域核權(quán)重相對(duì)會(huì)變小,會(huì)導(dǎo)致此處的總權(quán)重值W(i,j,k,l)下降,當(dāng)前像素點(diǎn)(i,j)受到大的差異像素點(diǎn)的影響就越小,進(jìn)而保持了邊緣的細(xì)節(jié)信息。

最后，可通過(guò)公式(6)來(lái)計(jì)算融合的低頻分量圖像。

LF(i,j)=

(6)

采用這兩種方法結(jié)合，既提取了圖像強(qiáng)度(亮度/灰度)變換平緩部分(低頻分量)的細(xì)節(jié)，又保留了源圖像低頻系數(shù)的能量。

2.2 高頻區(qū)域簡(jiǎn)化自適應(yīng)參數(shù)PCNN融合規(guī)則

神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元，模型的大小與被處理圖像的大小是一致的，PCNN模型中的每一個(gè)神經(jīng)元分別對(duì)應(yīng)圖像中的每一個(gè)像素點(diǎn)，每個(gè)神經(jīng)元接收到的外界刺激即為該像素的灰度值。脈沖耦合神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖2所示。

圖 2 脈沖耦合神經(jīng)元模型Fig.2 Pulse coupled neuron model

圖2中：F為反饋輸入，是從神經(jīng)元收到的最主要的輸入；L為連接輸入，是從與當(dāng)前神經(jīng)元相連接的臨近神經(jīng)元接收到的次要輸入；Y為輸出。由圖2可以看出，一個(gè)神經(jīng)元模型主要由輸入部分、輸出部分和脈沖發(fā)生器組成。Chen等[9]提出的一種自適應(yīng)參數(shù)的SPCNN模型如方程(7)描述：

(7)

其中：Fij(n)、Lij(n)是在圖像(i,j)處迭代n次的反饋輸入、連接輸入;Sij為外部刺激;Uij為內(nèi)部活動(dòng)項(xiàng);Eij為動(dòng)態(tài)閾值;Yij是輸出;β為連接強(qiáng)度;VL、VE分別為連接輸入與動(dòng)態(tài)閾值的振幅；αf、αe分別為反饋輸入與動(dòng)態(tài)閾值的指數(shù)衰減常數(shù)；W為連接輸入的突出連接矩陣即中心像素與鄰域像素的連接權(quán)矩陣。由模型方程可以看出，存在5個(gè)自由參數(shù)，分別為β、VE、VL、αf、αe，根據(jù)文獻(xiàn)[9]中的分析，所有的參數(shù)可以根據(jù)圖像本身的特性，自適應(yīng)定義為公式(8)—公式(11)：

αf=log(1/σ(S))，

(8)

(9)

VE=exp(-αf)+1+6βVL，

(10)

(11)

式中：Smax為輸入圖像的最大強(qiáng)度值；S'為歸一化的大津閾值；VL的取值一般為1或隨機(jī)值；σ(S)為圖像樣本的標(biāo)準(zhǔn)差。圖像的標(biāo)準(zhǔn)差反映了圖像的整體結(jié)構(gòu)特征，如果一幅圖像整體灰度值變化不大，方差就會(huì)小，那么神經(jīng)元更容易保持前一狀態(tài)，反之亦然。

受SPCNN模型的啟發(fā)，為了提高融合的效率與質(zhì)量，降低計(jì)算的復(fù)雜度，提出了一種改進(jìn)的SPCNN算法(M-SPCNN)，算法模型如下：

(12)

用公式(12)表示的M-SPCNN模型處理耦合連接的圖像時(shí)，神經(jīng)元能否被捕獲取決于神經(jīng)元所對(duì)應(yīng)像素的灰度值、連接強(qiáng)度、點(diǎn)火時(shí)間，其中連接強(qiáng)度中的突出權(quán)重Wijkl與所選取的鄰域大小有關(guān)，本文采用常用的8鄰域計(jì)算：

(13)

描述耦合連接的M-SPCNN模型是迭代方差，當(dāng)前方程和上一次迭代輸出的狀態(tài)有關(guān)，M-SPCNN點(diǎn)火原理如下：

設(shè)所有的神經(jīng)元初始狀態(tài)均為

Uij(0)=0，Eij(0)=0，Yij(0)=0。

①當(dāng)n=1時(shí)：

(14)

Eij(1)=0，

(15)

此時(shí)Uij(1)>Eij(1)，可以得出Yij(1)=1，與輸入圖像非零像素對(duì)應(yīng)的神經(jīng)元點(diǎn)火，第一次迭代點(diǎn)火也是無(wú)效點(diǎn)火。

②當(dāng)n=2時(shí)：

(16)

Uij(2)=Sij(1+6β)，

(17)

Eij(2)=VE。

(18)

由于上一次神經(jīng)元點(diǎn)火，導(dǎo)致此刻的動(dòng)態(tài)閾值達(dá)到一個(gè)很高的值，即此時(shí)Uij(2)

對(duì)比SPCNN模型可以看出，M-SPCNN模型的參數(shù)只有連接強(qiáng)度β、動(dòng)態(tài)閾值的衰減常數(shù)αe與振幅VE。

β代表了鄰域神經(jīng)元之間的連接強(qiáng)度，其值越大，說(shuō)明鄰域神經(jīng)元之間的影響就越大，Uij越劇烈，反之亦然。PCNN模型處理圖像的過(guò)程一般是，通過(guò)輸入合適的參數(shù)值，使其在同一個(gè)區(qū)域內(nèi)的像素點(diǎn)在同一個(gè)時(shí)刻點(diǎn)火，在不同區(qū)域內(nèi)的像素點(diǎn)在不同時(shí)刻點(diǎn)火。

根據(jù)文獻(xiàn)[12]中提出的將圖像分為背景區(qū)域和目標(biāo)區(qū)域，自適應(yīng)選擇合適的連接強(qiáng)度β。設(shè)R、B分別為目標(biāo)區(qū)域、背景區(qū)域所對(duì)應(yīng)的神經(jīng)元的集合，則其灰度范圍為[SRmin,SRmax]、[SBmin,SBmax],且SRmax>SBmax。當(dāng)SBmax>SRmin時(shí)，說(shuō)明目標(biāo)區(qū)域與背景區(qū)域有重合的部分。完美的圖像融合，就是要在SRmin點(diǎn)火的時(shí)候SBmin不點(diǎn)火，即滿足以下三個(gè)特征[13]：

①SRmin在n=T(SRmax)時(shí)刻點(diǎn)火，SRmin(1+βLRmin)≥SRmax；

②SBmin在n=T(SBmax)時(shí)刻點(diǎn)火，SBmin(1+βLBmin)≥SBmax；

③SBmax在n=T(SRmin)時(shí)刻不會(huì)點(diǎn)火，SBmax(1+βLRmax)

由以上三個(gè)條件可以得出：

(19)

(20)

因?yàn)橥昝赖臓顟B(tài)是很難達(dá)到的。因此要選擇一個(gè)合理的β值，并且在計(jì)算的時(shí)候不需要很復(fù)雜的圖像后驗(yàn)信息。本文選擇βmax作為參數(shù)β的值，且SRmax與圖像最大灰度值Smax一致，而不同的圖像的SBmax是不同的，本文采用大津閾值法代替SBmax。又因?yàn)?鄰域時(shí)，連接輸入的最大值為6，故式(19)可以表示為

(21)

動(dòng)態(tài)閾值振幅VE影響融合的寬度，衰減常數(shù)αe影響動(dòng)態(tài)閾值E的衰減速度，αe越小精度越高，相對(duì)消耗的時(shí)間就長(zhǎng)。M-SPCNN迭代時(shí)，需要滿足Uij(n)>Eij(n)時(shí)點(diǎn)火，不滿足則不點(diǎn)火。設(shè)當(dāng)前迭代的時(shí)刻為t，S∈[Slow,Shigh]的神經(jīng)元可點(diǎn)火，此時(shí)：

(22)

根據(jù)模型公式(12)可以得到：

Shigh(1+βLhigh(t-1))≤E(t-1)，

(23)

Slow(1+βLlow(t))>E(t)，

(24)

(25)

由于前面假設(shè)了M-SPCNN模型第一次迭代時(shí)，所有的神經(jīng)元均點(diǎn)火，第二次迭代時(shí)，所有神經(jīng)元均不點(diǎn)火，所以在第三次迭代時(shí)：

(26)

第一次點(diǎn)火被看作無(wú)效點(diǎn)火，所以第一次有效點(diǎn)火為第三次迭代，希望能粗略得到圖像的目標(biāo)區(qū)域。此時(shí)該區(qū)域的灰度值應(yīng)該是目標(biāo)區(qū)域的最大灰度值到圖像最大灰度值，即SBmax

(27)

可得到：

(28)

(29)

由VE=Smax(1+6β)可得

(30)

根據(jù)M-SPCNN模型公式(12)，點(diǎn)火時(shí)間可以在每次迭代結(jié)束后通過(guò)以下公式累計(jì)獲得：

Tij(n)=Tij(n-1)+Yij(n)

(31)

(32)

即選擇點(diǎn)火次數(shù)最大的系數(shù)作為融合的高頻系數(shù)。

2.3 NSST重建

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出算法的有效性，分別選用四組已配準(zhǔn)的CT-CT、MR-CT、MR-MR、MR-PET的圖像進(jìn)行融合實(shí)驗(yàn)。同時(shí)，本文算法與傳統(tǒng)PCNN融合(β=0.5,αf=0.012,VL=1,VE=4000)、NSST-PCNN融合[14]、CNN融合等算法進(jìn)行比較，從主觀與客觀兩個(gè)角度評(píng)價(jià)融合的質(zhì)量，從主觀上融合的結(jié)果，如圖3所示?？陀^上，分別使用平均梯度、信息熵、標(biāo)準(zhǔn)差、互信息等客觀評(píng)價(jià)指標(biāo)定量分析的融合結(jié)果見(jiàn)表1—表4。

ImageAImageBPCNNCNNNSST-PCNNNSST-M-SPCNNCT-CTMR-CTMR-MRMR-PET

從視覺(jué)效果上看，本文算法的清晰度與分辨率較其他算法高，既保留了兩幅源圖像的大部分信息，又突出了邊緣與細(xì)節(jié)信息，明顯優(yōu)于其他算法，說(shuō)明了本算法具有可行性、適應(yīng)性、有效性等。由定量分析的結(jié)果可以看出，本文算法的各項(xiàng)指標(biāo)大都高于其他方法。其中，平均梯度反映了圖像的微小細(xì)節(jié)與紋理特征；信息熵代表了圖像攜帶信息量的多少，信息熵越大說(shuō)明了攜帶的信息量越大；標(biāo)準(zhǔn)差的大小可以反映出圖像對(duì)比度的大小，標(biāo)準(zhǔn)差越大，圖像的反差大，對(duì)比度就越大；互信息表示源圖像有多少信息轉(zhuǎn)移到了融合后的圖像中，越大代表了包含源圖像的信息量越大，效果越好。

表1中PCNN融合的速度最快，因?yàn)榇藭r(shí)的PCNN參數(shù)是根據(jù)經(jīng)驗(yàn)值設(shè)置的，沒(méi)有多余的計(jì)算，故而時(shí)間融合速度最快，但從圖3中可以看出，PCNN的融合效果也是最差的。除此之外，無(wú)論是視覺(jué)效果，還是定量分析的結(jié)果，本文算法都明顯優(yōu)于其他算法。

表4中的標(biāo)準(zhǔn)差定量分析中，每個(gè)算法的標(biāo)準(zhǔn)差分別有三個(gè)值，pet與融合后的圖像是彩色圖像，代表了在融合圖像在xyz三個(gè)方向上的標(biāo)準(zhǔn)差。

表1 MR-CT模態(tài)融合的評(píng)價(jià)指標(biāo)結(jié)果Tab. 1 Evaluation index results of MR-CT modal fusion

表2 CT-CT模態(tài)融合的評(píng)價(jià)指標(biāo)結(jié)果Tab. 2 Evaluation index results of CT-CT modal fusion

表3 MR-MR模態(tài)融合的評(píng)價(jià)指標(biāo)結(jié)果Tab. 3 Evaluation index results of MR-MR modal fusion

表4 MR-PET模態(tài)融合的評(píng)價(jià)指標(biāo)結(jié)果Tab. 4 Evaluation index results of MR-PET modal fusion

4 結(jié)論

1)低頻區(qū)域，采用的局部區(qū)域能量加權(quán)和規(guī)則以最大限度保留源圖像的能量，雙邊濾波方法在去噪的同時(shí)充分提取源圖像的細(xì)節(jié)信息。兩種方法結(jié)合，既保留了源圖像低頻系數(shù)的能量，又最大限度地提取了圖像強(qiáng)度(亮度/灰度)變換平緩部分(低頻分量)的細(xì)節(jié)。

2)在高頻區(qū)域內(nèi)，采用改進(jìn)的自適應(yīng)PCNN算法，簡(jiǎn)化SPCNN模型，減少參數(shù)的數(shù)量，提高了融合的效率；同時(shí)，保持了PCNN非線性調(diào)制耦合、閾值可變及加權(quán)求和等特性，能從復(fù)雜背景下獲取有效信息。

實(shí)驗(yàn)結(jié)果表明，本文所提出的改進(jìn)算法可以有效地保留圖像中的細(xì)節(jié)信息，充分地保存紋理特征，保持圖像邊緣與紋理清晰，與傳統(tǒng)算法相比，具有更好的性能與適用性。