基于簡化脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合實驗

史敏紅 李樹文

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.016

摘? 要： 將基于NSST域的簡化脈沖耦合神經(jīng)網(wǎng)絡(luò)（Simplified Pulse Coupled Neural Network，SPCNN）模型應(yīng)用到圖像融合中。文章選取一組醫(yī)學(xué)圖像（CT和MRI）和一組遙感圖像（可見光和紅外），分別采用SPCNN算法和傳統(tǒng)算法進(jìn)行圖像融合對比實驗。實驗結(jié)果表明，SPCNN算法在主觀視覺方面得到較好的效果，還提高了算法運行速率，保留了更多的圖像細(xì)節(jié)信息。

關(guān)鍵詞： NSST變換; 脈沖耦合神經(jīng)網(wǎng)絡(luò); 圖像融合; 人工智能

中圖分類號：TP391.4? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2021）11-63-03

Experiment of image fusion with simplified pulse coupled neural network

Shi Minhong， Li Shuwen

（Shanxi Engineering Vocational College， Taiyuan， Shanxi 030032， China）

Abstract： The Simplified Pulse Coupled Neural Network （SPCNN） model based on the NSST domain is applied to image fusion. In this paper， a pair of medical images （from CT and MRI） and a pair of remote sensing images （visible and infrared） are selected， and the image fusion contrast experiments are carried out on them by using SPCNN algorithm and traditional algorithm respectively. The experimental results show that SPCNN algorithm not only achieves good results in subjective vision， but also improves the running speed of the algorithm and retains more image details.

Key words： NSST transform; pulse coupled neural network; image fusion; artificial intelligence

0 引言

近年來，圖像融合研究成為當(dāng)下研究的熱點。例如可見光和紅外圖像融合，紅外圖能夠表征地物熱輻射的分布情況，熱目標(biāo)突出，而可見光圖像成像原理是依據(jù)反射成像，場景信息豐富，利用兩者信息互補性，將紅外與可見光圖像進(jìn)行融合，可以得到一幅既包含紅外圖像顯著目標(biāo)信息，又包含可見光圖像豐富背景信息的融合圖像，在軍事、遙感、計算機(jī)視覺等領(lǐng)域有著廣泛的應(yīng)用。醫(yī)學(xué)影像如CT（Computed Tomography，計算機(jī)斷層掃描成像）和MRI（Magnetic Resonance Imaging，核磁成像）為醫(yī)生的診斷提供方便。CT對骨骼成像比較清晰，MRI對軟組織成像較好，將它們?nèi)诤显谝环鶊D像中，形成信息互補，幫助醫(yī)生更加準(zhǔn)確快速的識別病變[1]。

多尺度變換是圖像融合研究的熱點，D.Lee等[2]提出了Shearlet變換（Shearlet Transform，ST），非下采樣 Shearlet變換（Non-subsampled Shearlet Transform，NSST）具有平移不變形，數(shù)學(xué)結(jié)構(gòu)簡單。

脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）是由Eckhorn等[3]在90年代提出的。目前PCNN被廣泛的應(yīng)用于圖像融合領(lǐng)域，傳統(tǒng)的PCNN模型只有一個輸入激勵，而單通道PCNN無法處理整個融合過程，圖像融合需要多通道PCNN。謝秋瑩等[4]提出一種基于SML和PCNN的NSCT域多聚焦圖像融合方法，算法將改進(jìn)拉普拉斯能量作為PCNN的輸入激勵，解決了融合過程中偽影問題，但是算法采用非下采樣Contourlet變換，使得算法復(fù)雜度較高。Wang等[5]提出了一種m-PCNN（Multi-channel Pulse Coupled Neural Net-work，m-PCNN）模型將其運用于醫(yī)學(xué)圖像融合，m-PCNN模型的特點是外部通道的數(shù)量可以根據(jù)實際需求改變，此模型適用于多幅圖像的融合，缺點是模型結(jié)構(gòu)復(fù)雜，參數(shù)靠人工經(jīng)驗設(shè)置固定值。本文采用簡化脈沖耦合神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像融合實驗，模型涉及參數(shù)少，且結(jié)構(gòu)簡單，實驗表明在圖像融合中本文算法效果較好，能更好的保留圖像細(xì)節(jié)信息。

1 SPCNN模型

SPCNN也是由接受部分、調(diào)制部分和脈沖產(chǎn)生部分組成。SPCNN的模型中參數(shù)較少，模型結(jié)構(gòu)簡單。采用簡化PCNN模型，其數(shù)學(xué)模型為：

其中，[SKi，j（K=1，2）]表示外部刺激，[fk]是相鄰神經(jīng)元對當(dāng)前神經(jīng)元的影響因子，[HKi，j]為鏈接輸入，[VT]為鏈接輸入放大系數(shù)，[αT]為時間常數(shù)，W權(quán)系數(shù)矩陣，[βk]為鏈接強度，[Li，j]為鏈接輸入，[Ti，j]為閾值函數(shù)，[Yi，j（n）]為神將元輸出，其值為0或1，[Ui，j]為神經(jīng)元內(nèi)部行為，當(dāng)[Ui，j（n）>Ti，j（n）]時，神經(jīng)元被點火，輸出信號[Yi，j=1]。當(dāng)[Ui，j

2 本文融合方法及步驟

⑴ 對圖像進(jìn)行NSST變換，分別得到兩幅源圖像的低頻子帶系數(shù)分別為[{CAL， CBL}]，高頻子帶的系數(shù)分別為[{Cl，kA（i，j）， Cl，kB（i，j）}]，其中[CXL（i，j）]為低頻系數(shù)，[Cl，kX（i，j）]表示為[l]尺度、k方向的高頻系數(shù)，X代表A，B兩幅圖像;

⑵ 對于圖像低頻子帶采用邊緣能量和梯度能量和的融合規(guī)則，增加邊緣特征的提取能力;對高頻部分采用SPCNN模型進(jìn)行融合，鏈接強度采用可見度值，減少誤差;

⑶ 進(jìn)行逆變換得到融合圖像。

3 仿真實驗

3.1 兩組實驗

實驗環(huán)境 MATLAB R2013a，[VT=4000]，[fk=0.5]，[N=200]，[W=0.10910.14090.10910.140900.14090.10910.14090.1091]。

本文選取了一組人腦腦中風(fēng)圖像（CT和MRI）和一組可見光和紅外圖像進(jìn)行實驗。對每一組圖像，本文將該算法與以下對比算法進(jìn)行對比：

算法1：傳統(tǒng)像素值取大的算法;

算法2：本文簡化脈沖耦合神經(jīng)網(wǎng)絡(luò)融合算法。

圖1（a）和圖2（b）分別為已經(jīng)配準(zhǔn)好的腦中風(fēng)圖像，大小均為[256×256]。圖1（c）和圖1（d）為各算法融合結(jié)果。

從視覺效果上看，算法1得到的圖像邊緣出現(xiàn)偽影，圖像紋理細(xì)節(jié)信息不清晰，圖像整體模糊，算法2得到的圖像具有較好的亮度，融合圖像清晰，視覺效果較好。

圖2（a）和圖2（b）分別為已經(jīng)配準(zhǔn)好的可見光和紅紅外圖像，大小均為[256×256]。圖1（c）和圖1（d）為各算法融合結(jié)果。

從視覺效果上看，圖像紋理細(xì)節(jié)信息不夠清晰，圖像整體模糊，整體圖像較暗，算法2得到的圖像具有較好的亮度，融合圖像清晰，視覺效果較好。

4 結(jié)論

通過本文的實驗，對可見光和紅外圖像、腦部CT和MRI圖像進(jìn)行融合，驗證了脈沖耦合神經(jīng)網(wǎng)絡(luò)的算法的有效性。將遙感圖像和多模態(tài)醫(yī)學(xué)圖像融合，具有現(xiàn)實意義。

參考文獻(xiàn)（References）：

[1] Guo K， Labate D. Characterization and analysis of edges?using the continuous shearlet transform[J]. Siam Journal on Imaging Sciences，2012.2（3）：959-986

[2] Eckhorn R， Reitboeck H， Arndt M， et al. Feature Linking via Synchronization among Distributed Assemblies： Simulations of Results from Cat Visual Cortex[J]. Neural Computation，2014.2（3）：293-307

[3] 謝秋瑩，易本順，柯祖福等.基于SML和PCNN的NSCT域多聚焦圖像融合[J].計算機(jī)科學(xué)，2017.44（6）：266-269

[4] Wang Z， Ma Y. Medical image fusion using m-PCNN[J].Information Fusion，2008.9（2）：176-185

[5] Wang Z ， Ma Y ， Gu J . Multi-focus image fusion using?PCNN[M]. Elsevier Science Inc，2010.

[6] 史敏紅.基于非負(fù)矩陣分解的多模態(tài)醫(yī)學(xué)圖像融合研究[D].中北大學(xué)，2018.