基于PCNN的小波變換多光譜與全色遙感影像融合算法

段延超 高利杰

摘?要：本文在小波變換融合算法的基礎(chǔ)上，結(jié)合了PCNN算法，提出了一種新的多光譜影像與全色影像融合算法。該算法首先利用PCA變換和IHS變換完成對(duì)影像的前置處理，然后對(duì)小波變換后的低頻分量采用加權(quán)平均法的融合規(guī)則、高頻分量采用PCNN的融合規(guī)則。最后，通過(guò)IHS逆變換完成影像的融合。結(jié)果表明，算法影像融合效果較好，有效地解決光譜失真和融合細(xì)節(jié)的問(wèn)題，具有較好的實(shí)用價(jià)值。

關(guān)鍵詞：圖像融合；PCNN；小波變換；多光譜與全色

隨著遙感技術(shù)的不斷發(fā)展，獲取遙感數(shù)據(jù)的能力也越來(lái)越強(qiáng)，種類也越來(lái)越豐富，包括全色影像、多光譜影像、高光譜影像、夜光影像等［1］。不同類型的遙感影像在空間分辨率、光譜分辨率等方面具有不同的特點(diǎn)。如何綜合利用這些遙感數(shù)據(jù)，成為遙感技術(shù)研究的一個(gè)重要方向。

多光譜影像是指通過(guò)對(duì)地球表面反射、輻射、散射等電磁波進(jìn)行多波段的采集和記錄，形成的帶有多個(gè)波段的遙感影像。每個(gè)波段都包含了物體不同的光譜特征信息，可以用于地表物質(zhì)分類、植被覆蓋度計(jì)算、水體提取等分析應(yīng)用。全色影像是指在單一波段內(nèi)采集的遙感影像，與多光譜影像相比，其光譜分辨率較高，一般在0.3～1.0米之間。全色影像具有高空間分辨率和較好的灰度級(jí)表現(xiàn)力，可以用于地物邊界提取、建筑物檢測(cè)等應(yīng)用。

因此，對(duì)于一些需要既考慮地物信息又需要高空間分辨率的遙感應(yīng)用，比如地物分類、地形分析等，就需要將多光譜影像和全色影像進(jìn)行融合，以期得到更加準(zhǔn)確、全面的遙感信息。融合后的影像具有高空間分辨率和多波段信息的特點(diǎn)，因而能更好地支持遙感數(shù)據(jù)的分析和決策。多光譜影像與全色影像融合技術(shù)在提高遙感數(shù)據(jù)的綜合利用效率、地表信息獲取的準(zhǔn)確度和全面性、優(yōu)化遙感圖像分析方法以及推動(dòng)遙感技術(shù)發(fā)展等方面具有重要意義［2］。

本文重點(diǎn)研究在小波變換的基礎(chǔ)上，使用PCNN（脈沖耦合神經(jīng)網(wǎng)絡(luò)）來(lái)處理小波變換后的高頻分量，從而提高多光譜影像和全色影像的融合的細(xì)節(jié)信息。

1?常見(jiàn)多光譜與全色影像融合算法

遙感影像融合算法可以分為基于變換的融合算法、基于像素級(jí)的融合算法、基于圖像分割的融合算法、基于深度學(xué)習(xí)的融合算法。不同的算法具有不同的適用場(chǎng)景和優(yōu)缺點(diǎn)，需要根據(jù)具體的應(yīng)用需求和數(shù)據(jù)特點(diǎn)來(lái)選擇合適的算法。以下算法是多光譜與全色影像常見(jiàn)的融合算法。

1.1?Brovey變換

Brovey變換是一種常見(jiàn)的遙感影像融合算法，用于將多光譜影像和全色影像融合在一起。該算法通過(guò)將全色影像的每個(gè)像素值按比例分配給多光譜影像的RGB三個(gè)分量，從而產(chǎn)生融合后的RGB圖像。由于全色影像具有高空間分辨率和單一光譜波段，Brovey變換融合可以使融合后的影像具有更高的空間分辨率和更多的光譜信息。然而，該算法存在著色偏和光譜失真等問(wèn)題，因此在實(shí)際應(yīng)用中需要注意算法參數(shù)的調(diào)整和效果評(píng)估。

1.2?IHS變換

IHS變換是一種基于顏色空間的融合算法，它將多光譜影像和全色影像轉(zhuǎn)換到三個(gè)顏色分量中，并將全色影像的強(qiáng)度分量與多光譜影像的色彩分量進(jìn)行加權(quán)平均來(lái)生成融合圖像。這種方法的優(yōu)點(diǎn)是融合后的圖像色彩保真度高，但對(duì)于保留多光譜信息而言，效果并不是很好。

1.3?PCA變換

PCA是一種數(shù)據(jù)降維的方法，可以將高維度數(shù)據(jù)轉(zhuǎn)換為低維度數(shù)據(jù)，并且保留數(shù)據(jù)的主要信息。由于PCA變換可以在保留原始數(shù)據(jù)信息的同時(shí)減少數(shù)據(jù)維度，從而降低了數(shù)據(jù)冗余和噪聲的影響，因此PCA變換融合算法具有良好的融合效果和實(shí)用性。同時(shí)，與傳統(tǒng)的基于像素的融合方法相比，PCA變換融合算法能夠更好地保持影像細(xì)節(jié)和色彩信息，提高影像的可解釋性和應(yīng)用效果。

1.4?小波變換

小波變換（Wavelet）是一種多尺度分析的融合算法，它通過(guò)對(duì)多光譜影像和全色影像進(jìn)行小波變換，然后將變換后的系數(shù)進(jìn)行加權(quán)平均來(lái)生成融合圖像［3］。這種方法的優(yōu)點(diǎn)是可以在不同尺度上融合圖像，從而得到更加豐富的信息。

1.5?NNDiffuse算法

NNDiffuse融合算法是一種基于NNDiffuse算法的圖像融合方法，它可以將多幅具有不同成像特點(diǎn)的圖像融合成一幅具有更高質(zhì)量的圖像。但是，由于NNDiffuse算法本身的計(jì)算量比較大，因此NNDiffuse融合算法的計(jì)算量也較大，需要一定的計(jì)算資源和時(shí)間［4］。

2?本文融合算法

小波變換融合算法對(duì)噪聲比較敏感，因?yàn)樵肼暱赡軙?huì)導(dǎo)致小波分解后的低頻和高頻分量之間的權(quán)重分配不合理，從而影響融合結(jié)果的質(zhì)量。為了提高多光譜影像和全色影像的融合效果，本文融合算法主要步驟如下。

2.1?小波變換前置處理步驟

2.1.1?多光譜影像PCA變換

由于多光譜影像的第一主成分反映了多光譜影像中最大的變化，通常也包含了最多的信息。為了減少光譜扭曲，同時(shí)提升融合后細(xì)節(jié)信息。本文算法首先對(duì)全色圖像進(jìn)行PCA變換，然后將多光譜圖像的第一主成分與全色圖像進(jìn)行直方圖匹配，從而提升融合后遙感影像的質(zhì)量和分析結(jié)果的準(zhǔn)確性。

2.1.2?多光譜影像IHS變換

為了避免融合后影像出現(xiàn)色彩失真等問(wèn)題，本文采用了IHS變換作為融合算法的前置處理步驟。首先，對(duì)重采樣后的多光譜影像進(jìn)行IHS變換，將其分解為強(qiáng)度（I）、色度（H）和飽和度（S）三個(gè)分量。其次，經(jīng)直方圖配準(zhǔn)的全色影像與I進(jìn)行小波變換，得到新的強(qiáng)度分量（I'）。最后，利用IHS逆變換將I'與原色度分量（H）和飽和度分量（S）組合成新的彩色影像，完成融合處理。由于色度和飽和度分量未經(jīng)過(guò)改變，因此融合后的影像能夠很好地保留原多光譜影像的色彩信息。

2.2?小波變換融合規(guī)則

2.2.1?基于加權(quán)平均法的低頻分量融合規(guī)則

小波變換融合算法中，加權(quán)平均法用于融合低頻分量，目的是保留多光譜影像和全色影像的結(jié)構(gòu)信息。低頻分量融合的規(guī)則如下：

IFn（i，j）=a1IAn（i，j）+a2IBn（i，j）

在公式中，（i，j）表示像素點(diǎn)的位置，n表示經(jīng)小波分解的層數(shù)，IAn（i，j），IBn（i，j）表示低頻分量系數(shù)對(duì)相應(yīng)像素值，IFn（i，j）表示融合后低頻分量系數(shù)，a1，a2表示融合時(shí)加權(quán)系數(shù)（a1+a2=1）。

2.2.2?基于PCNN的高頻分量融合規(guī)則

PCNN是一種基于生物學(xué)神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)模型，其靈感來(lái)源于脈沖神經(jīng)元之間相互作用的方式。PCNN在圖像處理領(lǐng)域廣泛應(yīng)用，其主要特點(diǎn)是能夠?qū)崿F(xiàn)對(duì)圖像的非線性、時(shí)空域的信息處理，并且能夠很好地提取出圖像中的邊緣信息，因此在圖像融合中也被廣泛應(yīng)用［5］。

經(jīng)過(guò)小波分解后，高頻分量包含了邊緣、區(qū)域邊界等細(xì)節(jié)信息。將高頻分量系數(shù)與PCNN結(jié)合起來(lái)，可以進(jìn)一步改善融合的細(xì)節(jié)效果。高頻分量融合的規(guī)則如下：

IFij=IAij，TAij（n）TBij（n）

IBij，TAij（n）

在公式中，經(jīng)過(guò)n次迭代后，TAij（n）和TBij（n）表示神經(jīng)元點(diǎn)火次數(shù)矩陣，IFij表示融合后高頻分量系數(shù)，IAij和IBij表示分解后高頻分量系數(shù)。通過(guò)PCNN模型的非線性作用，可以提取出圖像中的邊緣和紋理等細(xì)節(jié)信息，從而進(jìn)一步改善融合效果。

2.3?本文融合算法具體步驟

（1）影像配準(zhǔn)。

（2）多光譜影像進(jìn)行IHS變換，將其分解成I、H和S三個(gè)分量，并對(duì)其進(jìn)行PCA變換，得到第一主成分PC1。

（3）全色影像和重采樣后的PC1進(jìn)行直方圖匹配，得到匹配后的PAN'。

（4）將亮度分量I和匹配后的PAN'進(jìn)行小波變換，得到高頻分量和低頻分量。

（5）低頻分量采用加權(quán)平均值，高頻分量采用PCNN融合規(guī)則。

（6）經(jīng)小波逆變換，得到新強(qiáng)度分量I'。

（7）使用I'，經(jīng)IHS逆變換，得到融合影像。

本文算法流程圖如圖1所示。

圖1?本文融合算法

3?實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文融合算法的優(yōu)越性，使用Brovey變換、HIS變換、PCA變換、小波變換、NNDiffuse融合算法做對(duì)比試驗(yàn)，融合效果采用主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。實(shí)驗(yàn)數(shù)據(jù)使用高分2號(hào)衛(wèi)星拍所攝的1m分辨率的全色影像和4m分辨率的多光譜影像。

多光譜影像、全色影像及融合結(jié)果如圖2所示。

圖2?多光譜影像、全色影像及融合結(jié)果

3.1?主觀評(píng)價(jià)

根據(jù)實(shí)驗(yàn)結(jié)果，可以看出Brovey變換算法融合結(jié)果后出現(xiàn)色彩偏差、IHS變換算法在高光和陰影細(xì)節(jié)方面表現(xiàn)較差、PCA變換算法在保留圖像細(xì)節(jié)方面略遜于IHS算法、NNDiffuse算法在保留多光譜影像的顏色信息方面稍遜于其他算法、小波變換算法在保留多光譜影像顏色信息方面相對(duì)較差。本文算法融合結(jié)果既保留了多光譜影像的色彩，又很好地保留了全色影像的細(xì)節(jié)、清晰度等信息。從主觀評(píng)價(jià)上，本文算法要優(yōu)于其他算法。

3.2?客觀評(píng)價(jià)

融合效果的客觀評(píng)價(jià)選取信息熵、平均梯度、相關(guān)系數(shù)、均方差誤差、交互信息量作為融合結(jié)果評(píng)價(jià)指標(biāo)［6］。融合結(jié)果如下表所示。

融合結(jié)果客觀評(píng)價(jià)指標(biāo)表

（1）信息熵值越高，表明影像所攜帶的信息量越多。除了原始影像，本文算法的信息熵值高于其他算法，表明本文算法具有更高的信息量。

（2）平均梯度值越高，表明影像的清晰度越高。本文算法利用PCNN融合規(guī)則有效提高了影像細(xì)節(jié)表現(xiàn)能力，其平均梯度值高于其他算法，表明本文算法在清晰度方面處于較高水平。

（3）相關(guān)系數(shù)值越接近1，表明與參考影像的相關(guān)度越高。本文算法與參考影像的相關(guān)度較高，表明本文算法的融合效果與理想效果最接近。

（4）均方根誤差值越小，表明與參考影像的差異越小。本文算法相較于其他算法具有更小的均方根誤差值。

（5）交互信息量值越大，表明與參考影像最為貼合。本文算法的交互信息量值略高于小波變換融合算法，但優(yōu)于其他算法。

綜合而言，本文的融合算法在客觀評(píng)價(jià)指標(biāo)分析中表現(xiàn)出色，顯著提高了融合效果，并成功解決了小波變換融合算法中出現(xiàn)的分塊和光譜失真問(wèn)題。相較于其他算法，本文算法提升了融合后影像的細(xì)節(jié)表現(xiàn)能力。

結(jié)論

本文算法的優(yōu)勢(shì)在于，能夠有效地保留多光譜影像的細(xì)節(jié)信息，還具有較強(qiáng)的適用性和魯棒性。缺點(diǎn)在于，本文算法處理包含建筑物的遙感影像融合效果較好，但不適用于處理其他類型遙感影像。另外，本文算法的復(fù)雜度較高，運(yùn)算速度較慢，不適合實(shí)時(shí)處理大量數(shù)據(jù)。本文算法還需要進(jìn)行進(jìn)一步的優(yōu)化和改進(jìn)。

參考文獻(xiàn)：

［1］李樹(shù)濤，李聰妤，康旭東.多源遙感圖像融合發(fā)展現(xiàn)狀與未來(lái)展望［J］.遙感學(xué)報(bào)，2021，25（01）：148166.

［2］張麗霞，曾廣平，宣兆成.多源圖像融合方法的研究綜述［J］.計(jì)算機(jī)工程與科學(xué)，2022，44（02）：321334.

［3］譚仁龍.一種基于小波變換的圖像融合方法［J］.測(cè)繪通報(bào)，2017（09）：4245.

［4］Chen，X.，&?Sun，J.（2020）.A?novel?image?fusion?method?based?on?a?convolutional?neural?network?and?NNDiffuse.Computers?&?Geosciences，139，104518.

［5］段延超.基于SIFT和小波變換的遙感影像配準(zhǔn)融合算法研究［D］.河南大學(xué)，2019.

［6］楊艷春，李嬌，王陽(yáng)萍.圖像融合質(zhì)量評(píng)價(jià)方法研究綜述［J］.計(jì)算機(jī)科學(xué)與探索，2018，12（07）：10211035.

作者簡(jiǎn)介：段延超（1990—?），男，漢族，碩士，助教，研究方向：圖像處理；高利杰（1991—?），男，漢族，碩士，助教，研究方向：圖像處理自動(dòng)控制。