基于卷積稀疏表示的圖像融合方法

曹義親，楊世超

（華東交通大學(xué)軟件學(xué)院， 南昌 330013）

0 引言

隨著傳感器技術(shù)不斷地發(fā)展和完善，單傳感器所獲得的信息已經(jīng)不能滿足人們的需求，需要通過對多個傳感器信息進行融合來獲得更豐富的信息。圖像是一種媒介，包含了大量的信息，如何對這些信息進行有效地處理也成為了迫切需要解決的問題。因此，許多學(xué)者將信息融合應(yīng)用于圖像當(dāng)中，從而出現(xiàn)了一個新的名詞——圖像融合。圖像融合是指將來自不同傳感器的源圖像采用一定的技術(shù)手段，融合成一張新的并且信息度更加豐富的圖像。近年來，圖像融合在軍事、視頻監(jiān)控、醫(yī)學(xué)成像、遙感等領(lǐng)域發(fā)展比較迅速。在軍事領(lǐng)域中，圖像融合跟目標追蹤和導(dǎo)航緊緊聯(lián)系在一起，通過對可見光圖像與紅外圖像進行融合，能幫助飛行員實現(xiàn)更精確的定位。通過對遙感圖像進行融合，融合得到的圖像同時具有高空間分辨率和多光譜特性，使目標識別和分類更加迅速。在醫(yī)學(xué)領(lǐng)域中，通過對電腦斷層掃描圖像（CT）和核磁共振圖像（MRI）進行融合，能提高醫(yī)生診斷疾病的準確率。

由于需要對多傳感器所獲得的信息進行處理，故在一定程度上會增加圖像融合的耗時。為了提高信息處理的效率，需要提出一種新的方法和思路，稀疏表示很好地解決了這一問題。文獻［1］直接對低頻系數(shù)進行稀疏表示，能有效提升圖像的融合質(zhì)量，但在圖像邊緣處會有虛影產(chǎn)生。文獻［2］將稀疏表示應(yīng)用于遙感圖像，雖然融合結(jié)果比較成功，但由于遙感圖像的細節(jié)信息比較豐富，并不適用于本文研究。文獻［3］提出對低頻子帶的四個方向進行快速稀疏表示，這能在一定程度上減少圖像融合所耗費的時間，但細節(jié)信息會出現(xiàn)丟失。文獻［4］提出采用非下采樣雙樹復(fù)輪廓波變換對源圖像進行分解，此方法雖然在一定程度上提高了圖像融合質(zhì)量，但所耗費的時間也有所提高。文獻［5］將多任務(wù)魯棒稀疏表示模型運用到多聚焦圖像融合當(dāng)中，這可以大大提高圖像融合方法的魯棒性，但計算復(fù)雜度比較高。文獻［6］通過將魯棒稀疏表示模型與形態(tài)學(xué)濾波相結(jié)合，有效提高了圖像塊之間的相關(guān)性，但同時圖像的對比度也會降低。文獻［7］提出了一種新穎的卷積稀疏表示模型，將圖像看成一個整體，直接對圖像本身進行操作，有效解決了圖像塊關(guān)聯(lián)性不夠的問題。

針對文獻［7］對低頻子帶系數(shù)進行整體融合，但忽略了對高頻子帶系數(shù)進行合理有效處理這一問題，本文在文獻［7］基礎(chǔ)上加以改進，提出了一種基于卷積稀疏表示的圖像融合方法。首先，在高頻子帶系數(shù)中，利用相似度分析和視覺顯著性進行融合。然后，將低頻子帶系數(shù)整體融合改進為使用Butworth低通濾波對低頻子帶進行分解，得到低頻近似子帶和強邊緣子帶。最后，再用改進的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）對強邊緣子帶進行融合。

1 NSST的基本理論

在傳統(tǒng)仿射系統(tǒng)的基礎(chǔ)上，Easley等［8］將幾何與多尺度相結(jié)合，提出了一種新型的多分辨率分析工具——非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）。它不僅吸收了小波理論的最新研究成果，而且具有嚴格的數(shù)學(xué)基礎(chǔ)，具體公式如下

式（1）中，ψ∈L2（R2），｜detN｜＝1；j為分解尺度，l為方向參數(shù)，K為剪切參數(shù)；M為各向異性矩陣，N為剪切矩陣，Z為整數(shù)域。

NSST的核心部分是非下采樣金字塔（Non-subsampled Pyramid，NSP）分解和剪切波方向濾波（Shearlet Filter，SF）分解。NSP分解能將低頻分量不斷地分解，而SF分解主要用于分解高頻分量，具體的流程圖如圖1所示。

2 脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）

脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）［9］是一種簡化的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型根據(jù)生物視覺神經(jīng)系統(tǒng)的工作原理，通過模擬貓腦視覺皮層同步脈沖爆發(fā)現(xiàn)象而建立起來的。

圖1 NSST的多尺度多方向分解過程Fig.1 Multi-scale and multi-direction decomposition of NSST

標準的PCNN模型主要由三部分組成：刺激接收場、脈沖調(diào)制場和脈沖生成場。當(dāng)將PCNN模型應(yīng)用到圖像時，網(wǎng)絡(luò)中的神經(jīng)元與圖像中的像素點是相對應(yīng)的，迭代公式如下

式（2）～式（6）中，（i，j）為一個像素點，n為迭代次數(shù)，Lij為連接輸入，F(xiàn)ij為反饋輸入激勵，Uij為內(nèi)部活動，β為鏈接強度，θij為動態(tài)閾值，Yij為神經(jīng)元的輸出，WijKl為神經(jīng)元矩陣之間的連接權(quán)重，VF、VL、Vθ為放大因子，aF、aL、aθ為時間常數(shù)。

3 卷積稀疏表示理論

卷積稀疏表示（Convolution Sparse Representation，CSR）［10］可以看作是對稀疏表示采用卷積形式，其基本思想是將圖像s建模為稀疏系數(shù)映射xm與字典過濾器dm之間的一組卷積之和

式（7）中，?為卷積運算符。文獻［10］提出了一種ADMM算法，可以很好地解決卷積稀疏表示編碼問題。字典學(xué)習(xí)被定義為式（8）的優(yōu)化問題

4 融合規(guī)則

首先，將源圖像A和B進行NSST，將圖像由空間域轉(zhuǎn)換到頻域。對于低頻子帶系數(shù)，采用Butworth低通濾波進行分解，分解為低頻近似子帶和強邊緣子帶。對于高頻子帶系數(shù)，先進行相似度分析，再結(jié)合視覺顯著性進行融合。將卷積稀疏表示方法用于融合低頻近似子帶，將改進的PCNN方法用于融合強邊緣子帶。

4.1 低頻近似子帶融合

低頻近似子帶系數(shù)傳統(tǒng)的處理方式通常為簡單選擇或加權(quán)平均，但這樣會導(dǎo)致融合后的圖像部分信息丟失。采用稀疏表示的方式能很好地改善這個問題，但由于稀疏表示是基于圖像塊進行編碼的，這會破壞圖像塊間的相關(guān)性。因此，采用卷積稀疏表示對低頻近似子帶進行處理，通過對圖像整體進行稀疏表示，從而增強圖像塊間的相關(guān)性，提高圖像融合效果。具體步驟如下所示：

1）對低頻近似子帶XA（i，j）、XB（i，j）進行卷積稀疏表示處理，得到系數(shù)映射xA，m（i，j）、xB，m（i，j）。

2）對系數(shù)映射求l1范式，采用如下規(guī)則得到融合后的系數(shù)映射xF，m（i，j）

3）重構(gòu)融合后的系數(shù)映射，得到最終的結(jié)果。

4.2 強邊緣子帶融合

PCNN模型具有良好的視覺感知能力，但模型參數(shù)大都設(shè)置為經(jīng)驗值。因此，本文采用改進的PCNN方法對強邊緣子帶系數(shù)進行融合。比較常用的指標為EOL和SML，但在對邊緣特性的表達上，由于不能充分地提取邊緣特征，會降低融合后圖像的清晰度。因此，選擇邊緣能量作為PCNN的外部輸入

式（11）中，Z（i，j）為強邊緣子帶系數(shù)，E1、E2、E3為方向濾波操作。其中，E1、E2、E3滿足

傳統(tǒng)方法對PCNN模型的處理只會考慮兩個方向的梯度能量，通常為水平方向和垂直方向，因而忽略了對角線方向的信息。為了提高圖像的清晰度，本文對不同方向上的像素點進行一并考慮，將8-鄰域梯度能量設(shè)置為該模型的連接強度。8-鄰域梯度能量定義如下

式（14）中，M×N為區(qū)域大小，Y（i，j）為高頻子帶系數(shù)。

4.3 高頻子帶系數(shù)融合

相似度是對圖像融合效果的一種衡量方法，分析視覺顯著性能夠幫助辨別圖像的部分區(qū)域是否顯著，從而有效獲得更多的整體信息。先進行相似度分析，再結(jié)合視覺顯著性進行融合，能有效提高融合效果。具體的方法如下所示：

對源圖像A和B進行分解，分解為高頻子帶系數(shù)HA和HB。對高頻子帶系數(shù)使用3×3的滑動窗口進行分塊，采用如下公式進行相似度分析

式（15）中，l（x，y）、c（x，y）和s（x，y）依次為亮度相似性、對比度相似性和結(jié)構(gòu)相似性，計算公式如下

式（16）中，μx、μy為均值，σx、σy為標準差，σxy為協(xié)方差。

當(dāng)SM＞0.5時，表示圖像塊具有相似性。此時，分別計算圖像塊的區(qū)域能量，區(qū)域能量的定義如下

通過區(qū)域能量計算出對應(yīng)子帶系數(shù)的權(quán)重，并進行加權(quán)，有

當(dāng)SM＜0.5時，說明圖像塊不具有較高相似性。因此，需要計算每個圖像塊中像素點的顯著性，并根據(jù)顯著性進行加權(quán)融合，具體的公式如下

式（19）中，Sn為像素點的顯著性，In（i，j）為圖像的像素值，μn為圖像的均值。通過函數(shù)對顯著性進行處理，獲得加權(quán)系數(shù)，結(jié)果如下

式（20）中，σ為圖像方差；n為源圖像的數(shù)量；k為調(diào)整參數(shù)，本文設(shè)置為0.8。

4.4 融合方法

本文提出的方法具體步驟如下：

1）通過NSST將源圖像A和B變換到頻域空間；

2）通過Butworth低通濾波對低頻子帶系數(shù)進行處理，得到低頻近似子帶和強邊緣子帶；

3）將卷積稀疏表示方法用于融合低頻近似子帶，將改進的PCNN方法用于融合強邊緣子帶；

4）對于高頻子帶系數(shù)，先進行相似度分析，再結(jié)合視覺顯著性進行融合。

對應(yīng)的算法流程如圖2所示。

圖2 算法流程圖Fig.2 Flowchart of algorithm

5 融合實驗和結(jié)果分析

采用“clock”、“pepsi”兩組多聚焦圖像和一組遙感圖像進行實驗，如圖3所示。實驗采用主頻為1.70GHz、內(nèi)存為8G的筆記本電腦運行，使用的是win7系統(tǒng)，軟件環(huán)境是Matlab R2016b，PCNN模型的參數(shù)設(shè)置為：Vθ＝0.2、VL＝1.0、aθ＝20、aL＝1、Nmax＝200。

圖3 實驗源圖像Fig.3 Source image of experiment

為了驗證本文所提算法的融合結(jié)果，將本文算法與其它幾種算法進行比較。文獻［7］直接使用卷積稀疏表示對圖像進行處理；文獻［11］利用非下采樣輪廓波對圖像進行分解，然后采用卷積稀疏表示對低頻進行處理；文獻［12］利用引導(dǎo)濾波和Gauss濾波對源圖像進行分解，然后采用卷積稀疏表示對低頻近似子帶進行處理。實驗結(jié)果如圖4～圖6所示。

圖4 “clock” 圖像實驗結(jié)果對比Fig.4 Comparison of “clock” images experiment results

圖5 遙感圖像實驗結(jié)果對比Fig.5 Comparison of remote sensing images experiment results

圖6 “pepsi” 圖像實驗結(jié)果對比Fig.6 Comparison of “pepsi” images experiment results

由圖4～圖6可知，文獻［7］算法的融合結(jié)果中，整體圖像信息不夠豐富，顏色比較灰暗。文獻［11］算法的融合結(jié)果中，三幅圖像左邊區(qū)域都出現(xiàn)了不同程度的模糊現(xiàn)象，視覺效果不佳。文獻［12］算法的融合結(jié)果中，整體圖像的右上邊邊緣區(qū)域出現(xiàn)虛影，有明顯的變形。本文算法的融合結(jié)果中，圖像整體清晰度增強，邊緣特征保持較好。

為了說明本文算法的融合結(jié)果有不錯的提升，將客觀評價指標信息熵（IE）、標準差（SD）、空間頻率（SF）、互信息（MI）用于對圖像進行評價。信息熵是用來衡量圖像信息量大小的指標，標準差反映了圖像值的變化大小，空間頻率用于測量圖像的清晰度級別，互信息是用來測量源圖像信息在融合后圖像中所占比重的指標。這幾個客觀評價指標中，數(shù)值越大表明圖像融合質(zhì)量越好。評價結(jié)果如表1～表3所示。

表1 “clock” 圖像實驗結(jié)果的客觀比較Table 1 Objective comparison of “clock”images experiment results

表2 遙感圖像融合結(jié)果的客觀比Table 2 Objective ratio of remote sensing image fusion results

表3 “pepsi” 圖像實驗結(jié)果的客觀比較Table 3 Objective comparison of “pepsi” images experiment results

對表1～表3中的數(shù)據(jù)進行分析，可以看出，本文算法在客觀指標上總體優(yōu)于對比算法。以文獻［7］、文獻［11］和文獻［12］的數(shù)據(jù)為基礎(chǔ)進行對比（三者中數(shù)值最小的），信息熵提高了將近3%、標準差提高了將近9%，空間頻率提升了將近30%，互信息提升了將近25%。

在時間復(fù)雜度上，本文分別對四種算法在三組圖像上進行了測試，并對每種算法得到的數(shù)據(jù)取平均值，結(jié)果如表4所示。由表4可知，本文算法具有一定的優(yōu)勢。

表4 不同圖像融合算法的時間比較Table 4 Time comparison of different image fusion algorithms

6 結(jié)論

針對光學(xué)傳感器的成像特性，本文將卷積稀疏表示模型與圖像融合相結(jié)合，提出了一種基于卷積稀疏表示的圖像融合方法。首先，將源圖像進行分解，得到多尺度分解系數(shù)。對于低頻分量，采用Butworth低通濾波進行分解，得到低頻近似分量和強邊緣分量。對于高頻分量，先進行相似度分析，再結(jié)合視覺顯著性進行融合。將卷積稀疏表示方法用于融合低頻近似子帶，對于強邊緣分量，采用改進的PCNN方法對其進行融合。根據(jù)融合結(jié)果顯示，相比于其他幾組融合算法，本文算法的信息熵提高了將近3%，標準差提高了將近9%，空間頻率提升了將近30%，互信息提升了將近25%。同時，時間效率也有了一定程度地提升。