基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合算法

王曉娜，潘 晴，田妮莉

基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合算法

王曉娜，潘 晴，田妮莉

（廣東工業(yè)大學(xué) 信息工程學(xué)院，廣東 廣州 510006）

為了增加融合圖像的信息量，結(jié)合非下采樣剪切波變換（Non-Subsampled Shearlet Transform, NSST）和離散小波變換（Discrete Wavelet Transform, DWT）的互補(bǔ)優(yōu)勢(shì)，提出了改進(jìn)的多模態(tài)圖像融合方法。采用NSST對(duì)兩幅源圖像進(jìn)行多尺度、多方向的分解，得到相應(yīng)的高頻子帶和低頻子帶；利用DWT將低頻子帶進(jìn)一步分解為低頻能量子帶和低頻細(xì)節(jié)子帶，并利用最大值選擇規(guī)則融合能量子帶；采用改進(jìn)連接強(qiáng)度的自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)（Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN）分別融合細(xì)節(jié)子帶和高頻子帶，并對(duì)能量子帶和細(xì)節(jié)子帶進(jìn)行DWT逆變換，得到融合的低頻子帶；采用NSST逆變換重構(gòu)出細(xì)節(jié)信息豐富的融合圖像。實(shí)驗(yàn)證明，提出的算法在主觀視覺(jué)和客觀評(píng)價(jià)方面均優(yōu)于其他幾種算法，且能同時(shí)適用于紅外與可見(jiàn)光源圖像、醫(yī)學(xué)源圖像的融合。

多模態(tài)圖像；圖像融合；離散小波變換；自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)；非下采樣剪切波變換

0 引言

多模態(tài)圖像融合[1]是指從不同模態(tài)的源圖像中提取重要信息，合成一幅比單一源圖像更清晰、內(nèi)容更全面的圖像，便于人眼的觀察和計(jì)算機(jī)的處理。

近年來(lái)，隨著多尺度幾何分析[2]、稀疏表示[3]、深度學(xué)習(xí)[4]等理論的發(fā)展，多模態(tài)圖像融合技術(shù)取得了很大的進(jìn)展。Bulanon等[5]采用拉普拉斯金字塔變換將源圖像中的特征按照不同的尺度分解到不同的分解層上，由此來(lái)融合源圖像中的顯著特征；Zhan等人[6]提出了基于離散小波變換（discrete wavelet transform, DWT）的紅外與可見(jiàn)光圖像融合方法，雖然DWT在保留圖像細(xì)節(jié)方面具有良好的性能，但缺乏平移不變性，導(dǎo)致融合圖像的邊界不連續(xù)。Liu等[7]提出了一種基于自適應(yīng)稀疏表示（adaptive sparse representation，ASR）的多模態(tài)圖像融合算法，融合的高頻子帶中保留了源圖像的結(jié)構(gòu)特征，但融合結(jié)果對(duì)比度極低、細(xì)節(jié)丟失嚴(yán)重。文獻(xiàn)[8]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的圖像融合算法，能同時(shí)實(shí)現(xiàn)顯著性水平測(cè)評(píng)和權(quán)重分配，但融合結(jié)果中丟失了較多的細(xì)節(jié)信息。文獻(xiàn)[9]提出了一種基于自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)（adaptive pulse coupled neural network，APCNN）的非下采樣輪廓波變換（non-subsampled contourlet transform，NSCT）域圖像融合算法，由于APCNN模型中的連接強(qiáng)度設(shè)置為常數(shù)影響了融合結(jié)果的精度，且NSCT對(duì)各向異性的信息表示能力較弱，導(dǎo)致融合圖像中丟失了邊緣信息，針對(duì)此問(wèn)題，文獻(xiàn)[10]將非下采樣剪切波變換（non-subsampled shearlet transform, NSST）和APCNN相結(jié)合，解決了NSCT方向有限的問(wèn)題，且具有平移不變性[11]，因此被廣泛應(yīng)用[10-13]。以上算法雖然在一定程度上提高了融合圖像的質(zhì)量，但都存在圖像的邊緣細(xì)節(jié)丟失、視覺(jué)效果差等問(wèn)題。

為了增加融合圖像中的細(xì)節(jié)信息，提出了一種基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合方法。采用NSST對(duì)源圖像進(jìn)行多尺度、多方向的分解得到高頻和低頻子帶圖像?？紤]到NSST對(duì)細(xì)節(jié)處理精度仍不夠高，而DWT在保留圖像細(xì)節(jié)方面具有良好的性能，因此采用DWT進(jìn)一步分解低頻子帶，提取源圖像中容易被NSST分解忽略的細(xì)節(jié)信息。此外，為了增強(qiáng)中心神經(jīng)元受到周?chē)窠?jīng)元的影響程度，將局部標(biāo)準(zhǔn)差的Sigmoid函數(shù)作為連接強(qiáng)度來(lái)構(gòu)建改進(jìn)型連接強(qiáng)度自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)（improved connection strength adaptive pulse coupled neural network, ICSAPCNN），由于APCNN具有全局耦合特性和脈沖同步特性[14]，因此能更好地利用高頻子帶圖像的全局特征。本文結(jié)合NSST、DWT、ICSAPCNN的互補(bǔ)特性融合多模態(tài)圖像，通過(guò)實(shí)驗(yàn)驗(yàn)證了所提算法的有效性。

1 基本理論

1.1 非下采樣剪切波變換

NSST分解過(guò)程有兩步，第一步采用非下采樣金字塔濾波器組（NSPF）對(duì)待融合的源圖像進(jìn)行級(jí)尺度分解，實(shí)現(xiàn)圖像的多尺度化。第二步采用剪切濾波器（SFB）實(shí)現(xiàn)高頻子帶的多方向化，第級(jí)方向分解個(gè)數(shù)為2。最終得到＋1個(gè)子帶圖像[11]，即1個(gè)低頻和個(gè)高頻子帶圖像，均與源圖像的大小相同。

NSST不僅可以在多方向和多尺度上表示圖像，還具有平移不變性，并且其分解過(guò)程中沒(méi)有使用下采樣運(yùn)算，消除了偽吉布斯現(xiàn)象。NSST二級(jí)分解過(guò)程如圖1所示，本文中NSST分解的級(jí)數(shù)設(shè)置為4，方向數(shù)設(shè)為[8,8,16,16]。

圖1 NSST二級(jí)分解過(guò)程

1.2 離散小波變換

DWT可以將源圖像分解成一系列的能量子帶和細(xì)節(jié)子帶圖像，分解過(guò)程使用一組高通、低通濾波器來(lái)執(zhí)行，如圖2所示：先對(duì)圖像a中每行構(gòu)成的一維數(shù)據(jù)進(jìn)行一維小波分解，得到高、低頻信息。再對(duì)每列構(gòu)成的一維數(shù)據(jù)做相同的操作，最終得到4個(gè)子帶圖像：a－1，1－1，2－1，3－1。其中，a－1由行低通、列低通得到，包含圖像的近似信息，1－1由行低通、列高通得到，2－1由行高通、列低通得到，3－1由行高通、列高通得到。1－1，2－1，3－1分別包含水平、垂直、對(duì)角方向上的邊緣細(xì)節(jié)信息[15]。

圖2 DWT分解過(guò)程

1.3 自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)

APCNN模型是通過(guò)模擬貓的大腦視覺(jué)皮層中同步脈沖發(fā)放現(xiàn)象而建立起來(lái)的一個(gè)簡(jiǎn)化模型[16]，它不需要任何的訓(xùn)練過(guò)程，而是基于迭代計(jì)算，其數(shù)學(xué)方程描述如式(1)～(5)所示：

F[]＝S(1)

輸入圖像中的像素點(diǎn)(,)與APCNN模型中的神經(jīng)元之間存在一一對(duì)應(yīng)的關(guān)系[17]，神經(jīng)元獲取外部刺激輸入的通道有兩個(gè)，一個(gè)是反饋輸入F，由像素點(diǎn)(,)的灰度絕對(duì)值S決定，另一個(gè)是連接輸入L，其中V是放大系數(shù)，W為突觸連接矩陣。將F和L進(jìn)行非線性相乘調(diào)制后得到神經(jīng)元的內(nèi)部活動(dòng)項(xiàng)U，其中F為反饋輸入的衰減時(shí)間常數(shù)。當(dāng)U大于動(dòng)態(tài)閾值E時(shí)發(fā)放脈沖Y，神經(jīng)元產(chǎn)生一次點(diǎn)火。當(dāng)神經(jīng)元點(diǎn)火時(shí)，E立刻增大，然后又按照指數(shù)逐漸衰減，直到神經(jīng)元再次發(fā)放脈沖，其中E為動(dòng)態(tài)閾值的衰減常數(shù)，E為脈沖的放大系數(shù)。當(dāng)?shù)Y(jié)束時(shí)，得到點(diǎn)火頻率映射圖。

2 改進(jìn)的多模態(tài)圖像融合過(guò)程

基于本文方法的圖像融合流程如圖3所示，采用NSST對(duì)源圖像A、B進(jìn)行分解得到高低頻子帶；再對(duì)低頻子帶進(jìn)行DWT分解得到低頻能量子帶和細(xì)節(jié)子帶，并采用最大值選擇規(guī)則融合能量子帶，利用ICSAPCNN分別對(duì)細(xì)節(jié)子帶和高頻子帶進(jìn)行融合；對(duì)能量子帶和細(xì)節(jié)子帶進(jìn)行DWT逆變換得到融合的低頻子帶；最后采用NSST逆變換重構(gòu)出融合圖像F。

2.1 低頻子帶融合規(guī)則

本文結(jié)合區(qū)域能量（RE）和梯度能量（EOG）融合低頻系數(shù)，選擇×區(qū)域窗口，具體步驟如下：

Step 1根據(jù)式(6)分別計(jì)算兩幅低頻能量子帶圖像的區(qū)域能量RE1和RE2。

Step 2根據(jù)式(7)分別計(jì)算兩幅低頻能量子帶圖像的梯度能量EOG1和EOG2。

式中：L(,)和G(,)分別表示(,)位置的低頻能量子帶系數(shù)值和梯度值。

Step 3 將RE和EOG相乘作為低頻的顯著性水平度量（ALM），定義如式(9)所示：

上式(6)～(9)中，∈{1,2}。

Step 4根據(jù)極大值規(guī)則選擇ALM較大的點(diǎn)所對(duì)應(yīng)的低頻系數(shù)作為融合的低頻系數(shù)F(,)：

2.2 高頻子帶融合規(guī)則

2.2.1 改進(jìn)的連接強(qiáng)度

連接強(qiáng)度取值范圍為(0,1)，調(diào)節(jié)著神經(jīng)元之間的相互影響程度。本文利用Sigmoid函數(shù)表示APCNN模型的連接強(qiáng)度，避免了將連接強(qiáng)度設(shè)置為常數(shù)時(shí)模型的不靈活性。考慮到人眼視覺(jué)神經(jīng)系統(tǒng)中各個(gè)神經(jīng)元的連接強(qiáng)度不會(huì)完全相同，令連接強(qiáng)度由輸入圖像的局部標(biāo)準(zhǔn)差決定，標(biāo)準(zhǔn)差越大的區(qū)域?qū)?yīng)的高頻子帶中包含更多的顯著特征，連接強(qiáng)度隨之增大，從而增強(qiáng)神經(jīng)元受到周?chē)窠?jīng)元的影響程度，提高了ICSAPCNN對(duì)高頻子帶全局信息的利用程度。

2.2.2 融合規(guī)則

ICSAPCNN模型中各神經(jīng)元由某一高頻子帶刺激后，將得到對(duì)應(yīng)的點(diǎn)火頻率映射圖，點(diǎn)火次數(shù)表征高頻系數(shù)中包含細(xì)節(jié)信息的顯著程度，次數(shù)越大，對(duì)應(yīng)位置所包含的細(xì)節(jié)信息越豐富。因此選擇點(diǎn)火次數(shù)較大的點(diǎn)所對(duì)應(yīng)的系數(shù)作為融合的高頻系數(shù)，高頻子帶和低頻細(xì)節(jié)子帶具體的融合步驟如下：

Step 1 初始化ICSAPCNN模型，將輸入激勵(lì)S設(shè)為高頻子帶（低頻細(xì)節(jié)子帶）圖像像素點(diǎn)(,)的灰度值，并令L[]＝U[]＝Y[]＝E[]＝0。

Step 2根據(jù)式(11)計(jì)算改進(jìn)的連接強(qiáng)度，其余參數(shù)根據(jù)文獻(xiàn)[9]設(shè)定。

Step 3根據(jù)式(13)計(jì)算模型每次迭代結(jié)束后的點(diǎn)火次數(shù)：

Step 4根據(jù)式(14)選擇融合的高頻系數(shù)（低頻細(xì)節(jié)子帶系數(shù)）。

式(13)～(14)中：、分別對(duì)應(yīng)高頻子帶（低頻細(xì)節(jié)子帶）的第層、第個(gè)方向。式(14)中A、B分別對(duì)應(yīng)兩幅高頻子帶圖像或兩幅低頻細(xì)節(jié)子帶圖像。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

本文所有實(shí)驗(yàn)均在Windows10，MATLAB 2019a軟件上運(yùn)行。為了驗(yàn)證本文方法的有效性，實(shí)驗(yàn)所用到的多模態(tài)圖像包括6組紅外圖像（Infrared）與可見(jiàn)光圖像（Visible），8組計(jì)算機(jī)斷層掃描圖像（CT）與核磁共振圖像（MRI）。與近幾年的4種圖像融合方法做對(duì)比，文獻(xiàn)[7]采用基于ASR的融合方法，文獻(xiàn)[8]采用基于CNN的融合方法，文獻(xiàn)[9]和文獻(xiàn)[10]均采用基于多尺度變換和APCNN的融合方法（分別記為NSCT-APCNN、NSST-APCNN），本文實(shí)驗(yàn)分析中展示了部分多模態(tài)源圖像的融合結(jié)果。

3.2 客觀評(píng)估指標(biāo)

Zheng等人在文獻(xiàn)[18]中總結(jié)了很多評(píng)估融合圖像質(zhì)量的客觀指標(biāo)，本文選取的評(píng)估指標(biāo)包括熵EN，互信息MI，標(biāo)準(zhǔn)差SD，視覺(jué)信息保真度VIFF，非線性相關(guān)信息熵IE，基于Tsallis的熵TE。對(duì)于本文所有的客觀評(píng)估指標(biāo)，其值越大，融合后的圖像質(zhì)量越高，融合效果越好。

3.3 仿真結(jié)果與分析

本文列出了部分源圖像的融合結(jié)果，圖4(a)和圖4(b)分別是“road”可見(jiàn)光和紅外源圖像，圖4(c)～(g)為對(duì)兩幅源圖像應(yīng)用不同方法得到的融合結(jié)果。觀察可知：使用ASR和CNN方法的融合結(jié)果中能量嚴(yán)重丟失，公路上的行人分辨率極低，視覺(jué)效果差；使用NSCT-APCNN和NSST-APCNN方法的融合結(jié)果中人物邊緣模糊，細(xì)節(jié)信息丟失；本文利用Sigmoid函數(shù)表示連接強(qiáng)度，在兩幅高頻子帶對(duì)應(yīng)位置的標(biāo)準(zhǔn)差相差較小時(shí)ICSAPCNN模型也能表現(xiàn)出較好的效果。由局部放大圖可知，基于本文方法的結(jié)果中人物清晰，辨識(shí)度高，保留了源圖像中的重要信息。圖5(a)和圖5(b)分別是“tree”可見(jiàn)光和紅外源圖像，圖5(c)～(g)為對(duì)兩幅源圖像應(yīng)用不同方法得到的融合結(jié)果。觀察融合結(jié)果可知基于本文方法的融合結(jié)果最清晰，融合效果最好。由不同方法融合“road”和“tree”兩組紅外與可見(jiàn)光源圖像的客觀評(píng)估指標(biāo)值如表1所示，顯然，由本文方法得到的客觀評(píng)估指標(biāo)值均較高。由不同方法融合6組紅外和可見(jiàn)光源圖像的客觀評(píng)估指標(biāo)結(jié)果的平均值如表2所示，由表2可知，除了SD和TE，其余4個(gè)指標(biāo)EN、MI、VIFF、IE均為最優(yōu)，與主觀視覺(jué)效果保持一致，驗(yàn)證了本文方法對(duì)于紅外與可見(jiàn)光圖像融合的有效性。

圖4 “road”紅外和可見(jiàn)光圖像以及融合結(jié)果

圖5 “tree”紅外和可見(jiàn)光圖像以及融合結(jié)果

表1 兩組紅外與可見(jiàn)光圖像客觀評(píng)估指標(biāo)值

表2 六組紅外與可見(jiàn)光圖像客觀評(píng)估指標(biāo)平均值

圖6(a)和圖6(b)分別為致死性腦卒中CT和MRI源圖像，圖6(c)～(g)為對(duì)兩幅醫(yī)學(xué)源圖像應(yīng)用不同方法得到的融合結(jié)果。觀察仿真結(jié)果圖可知：使用ASR方法的融合結(jié)果亮度較暗，對(duì)比度嚴(yán)重丟失，視覺(jué)效果差；使用CNN方法的融合結(jié)果存在能量丟失現(xiàn)象；使用NSCT-APCNN和NSST-APCNN的融合方法是直接對(duì)低頻子帶圖像進(jìn)行融合，這種做法不能充分提取到源圖像的細(xì)節(jié)信息；本文利用DWT進(jìn)一步分解低頻子帶圖像，提取源圖像中容易被NSST分解忽略的信息，由局部放大圖可知，得到的融合結(jié)果（圖6(g)）中保留了源圖像較多的細(xì)節(jié)信息，且對(duì)比度與源圖像保持一致，視覺(jué)效果最好。圖7(a)～(b)分別為腦膜瘤CT和MRI源圖像，圖7(c)～(g)為融合結(jié)果，觀察可知，基于本文方法的融合結(jié)果細(xì)節(jié)信息最豐富，融合效果最好。由不同方法融合兩組醫(yī)學(xué)源圖像的客觀評(píng)估值如表3所示，顯然，由本文方法得到的客觀評(píng)估指標(biāo)值均較高。由不同融合方法融合8組醫(yī)學(xué)圖像的客觀評(píng)估指標(biāo)結(jié)果的平均值如表4所示，由表4可知，除了SD，其他5個(gè)評(píng)估指標(biāo)均為最優(yōu)，與主觀視覺(jué)效果一致，驗(yàn)證了本文方法對(duì)于多模態(tài)醫(yī)學(xué)圖像融合的有效性。

圖6 致死性腦卒中CT和MRI圖像以及融合結(jié)果

圖7 腦膜瘤CT和MRI圖像以及融合結(jié)果

表3 兩組醫(yī)學(xué)圖像客觀評(píng)估指標(biāo)值

表4 八組醫(yī)學(xué)圖像客觀評(píng)估指標(biāo)平均值

4 結(jié)論

為了在融合過(guò)程中提取更多的圖像信息，提出了一種基于NSST-DWT-ICSAPCNN的多模態(tài)圖像融合方法。對(duì)源圖像經(jīng)NSST分解得到的低頻子帶圖像做DWT分解，解決了部分源圖像細(xì)節(jié)丟失的問(wèn)題。此外，將低頻子帶圖像的區(qū)域能量和梯度能量相結(jié)合作為顯著性水平度量，有效地保留了圖像的能量和邊緣細(xì)節(jié)信息。采用ICSAPCNN獲取低頻細(xì)節(jié)子帶圖像和高頻子帶圖像的點(diǎn)火頻率映射圖，提高了對(duì)低頻細(xì)節(jié)子帶和高頻子帶圖像全局信息的利用程度。實(shí)驗(yàn)結(jié)果顯示所提算法相比于其他4種多模態(tài)圖像融合算法，在主觀視覺(jué)和客觀評(píng)估指標(biāo)方面均表現(xiàn)最優(yōu)，同時(shí)驗(yàn)證了本文方法對(duì)于多模態(tài)紅外和可見(jiàn)光圖像與多模態(tài)醫(yī)學(xué)圖像均有較好的融合效果。下一步將繼續(xù)研究雙樹(shù)復(fù)小波變換（Dual Tree Complex Wavelet Transform，DTCWT）、雙密度雙樹(shù)復(fù)小波變換（Double Density Dual Tree Complex Wavelet Transform，DDDTCWT）對(duì)低頻子帶圖像做進(jìn)一步分解的效果。

[1] YANG Y, QUE Y, HUANG S, et al. Multimodal sensor medical image fusion based on type-2 fuzzy logic in NSCT domain[J]., 2016, 16(10): 3735-3745.

[2] LI G, LIN Y, QU X. An infrared and visible image fusion method based on multi-scale transformation and norm optimization[J]., 2021, 71: 109-129.

[3] LI X, ZHOU F, TAN H. Joint image fusion and denoising via three-layer decomposition and sparse representation[J]., 2021, 224: 107087.

[4] XU H, MA J. EMFusion: An unsupervised enhanced medical image fusion network[J]., 2021, 76: 177-186. .

[5] Bulanon D M, Burks T F, Alchanatis V. Image fusion of visible and thermal images for fruit detection[J]., 2009, 103(1): 12-22.

[6] ZHAN L, ZHUANG Y, HUANG L. Infrared and visible images fusion method based on discrete wavelet transform[J]., 2017, 28(2): 57-71.

[7] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]., 2015, 9(5): 347-357.

[8] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]., 2018, 16(3): 1850018.

[9] ZHU Z, ZHENG M, QI G, et al. A phase congruency and local Laplacian energy based multi-modality medical image fusion method in NSCT domain[J]., 2019, 7: 20811-20824.

[10] ZHANG L, ZENG G, WEI J, et al. Multi-modality image fusion in adaptive-parameters SPCNN based on inherent characteristics of image[J]., 2019, 20(20): 11820-11827.

[11] 張蕾. 采用改進(jìn)平均梯度與自適應(yīng)PCNN的圖像融合[J].計(jì)算機(jī)應(yīng)用與軟件, 2021, 38(3): 218-223.

ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN[J]., 2021, 38(3): 218-223.

[12] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2018, 68(1): 49-64.

[13] Diwakar M, Singh P, Shankar A. Multi-modal medical image fusion framework using co-occurrence filter and local extrema in NSST domain[J]., 2021, 68: 102788.

[14] 鄧輝, 王長(zhǎng)龍, 胡永江, 等. 脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像融合中的應(yīng)用研究[J]. 電光與控制, 2019, 26(11): 19-24.

DENG Hui, WANG Changlong, HU Yongjiang, et al. Application of pulse coupled neural network in image fusion[J]., 2019, 26(11):19-24.

[15] 楊風(fēng)暴, 董安冉, 張雷, 等. DWT、NSCT和改進(jìn)PCA協(xié)同組合紅外偏振圖像融合[J]. 紅外技術(shù), 2017, 39(3): 201-208.

YANG Fengbao, DONG Aran, ZHANG Lei, et al. Infrared Polarization Image fusion using the synergistic combination of DWT, NSCT and improved PCA[J]., 2017, 39(3): 201-208.

[16] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J]., 2020: 1-21.

[17] JIANG L, ZHANG D, CHE L. Texture analysis-based multi-focus image fusion using a modified Pulse-Coupled Neural Network (PCNN)[J]., 2021, 91: 116068.

[18] LIU Z, Blasch E, XUE Z, et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: a comparative study[J]., 2011, 34(1): 94-109.

Multi-modality Image Fusion Algorithm Based on NSST-DWT-ICSAPCNN

WANG Xiaona，PAN Qing，TIAN Nili

(Faculty of Information Engineering, Guangdong University of Technology, Guangzhou 510006, China)

To increase the information of the fused image, this paper proposes an improved multi-modality image fusion algorithm that combines the complementary advantages of the non-subsampled shearlet transform (NSST) and discrete wavelet transform (DWT). NSST was used to decompose the two source images in multiscale and multi-direction to obtain the corresponding high-frequency and low-frequency sub-bands. The low-frequency sub-bands were further decomposed into low-frequency energy sub-bands and low-frequency detail sub-bands by the DWT, and the low-frequency energy sub-bands were fused by the maximum selection rules. An adaptive pulse-coupled neural network with improved connection strength (ICSAPCNN) was used to fuse the detailed sub-bands and high-frequency sub-bands, and the energy sub-bands and detailed sub-bands were fused by inverse DWT to obtain the fused low-frequency sub-bands. The NSST inverse transform was used to reconstruct the fusion image with rich details. The experimental results verified that the proposed algorithm is superior to the other algorithms in both subjective vision and objective evaluation and can be applied to the fusion of both infrared and visible source images and medical source images.

multi-modality images, image fusion, discrete wavelet transform, adaptive pulse coupled neural network, non-subsampled shearlet transform

TP391

A

1001-8891(2022)05-0497-07

2021-09-02；

2021-11-24.

王曉娜（1997-），女，碩士研究生，主要研究方向?yàn)閳D像處理、模式識(shí)別。E-mail：717057123@qq.com

潘晴（1975-），男，副教授，主要研究方向?yàn)閳D像處理、信號(hào)處理、模式識(shí)別等。E-mail：pangqing@gdut.edu.cn

國(guó)家自然科學(xué)基金項(xiàng)目（61901123）。