基于雙通道PCNN的NSST域紅外與可見光圖像融合

王興龍，朱 芳

(安徽新華學院 通識教育部，安徽 合肥 230088)

0 引言

隨著圖像傳感器技術的快速發(fā)展，紅外與可見光圖像融合已成為圖像處理領域的一大研究熱點，該項技術能夠有效地結合紅外圖像的目標特性和可見光圖像的場景細節(jié)信息，增強人們對目標場景的感知和識別能力[1]，且已成功應用于軍事、工業(yè)和安檢等領域.

目前，基于變換域的紅外與可見光圖像融合算法應用非常廣泛，其中較多的有小波變換、Contourlet變換、Shearlet變換及在此基礎上改進的一些變換.其中小波變換具有較強的重構能力，能夠提取源圖像的結構和細節(jié)信息，但易丟失圖像的幾何信息，針對這方面缺陷,Kim Y等人[2]基于尺度函數(shù)提出一種改進增強小波變換的圖像融合算法.Contourlet變換可以很好地捕捉到源圖像的邊緣信息，但不具備平移不變性，易在奇異點處產(chǎn)生偽吉布斯現(xiàn)象，因此A.L.Cunha等人[3]提出平移不變的非下采樣Contourlet變換(NSCT)，消除了Contourlet變換過程中出現(xiàn)的頻譜混疊現(xiàn)象.劉少鵬等人[4]提出一種基于區(qū)域分維和NSCT變換相結合的紅外與可見光圖像融合；蔡懷宇等[5]提出一種基于NSCT變換和直覺模糊集的紅外與可見光圖像融合算法，該算法提高了圖像對比度，保留了源圖像中的邊緣和細節(jié)信息.這些算法都取得了非常好的融合效果，但NSCT運算效率不高，耗時較長，實用性較差.針對NSCT存在的一些不足之處，D.Labate等人[6]提出了剪切波變換(Shearlet),具有多尺度、多方向等優(yōu)良的性質，但其仍不具備平移不變性，于是Easley[7]等人提出了非下采樣剪切波變換(NSST)，具有Shearlet所有的優(yōu)點，且運行效率高，更加適用于實時性的需求.丁文彬[8]等人提出了基于NSST和稀疏特征的紅外與可見光圖像融合，該方法有效保留了圖像背景信息，突顯了紅外圖像的結構信息，取得了很好的融合效果.

紅外與可見光圖像融合技術中，變換域的選擇是首要任務，但高低頻的融合準則選取同樣至關重要，傳統(tǒng)經(jīng)典的融合準則主要有絕對值取大[9]、加權平均[10]和區(qū)域梯度[11]等.這些融合準則可以達到圖像融合的目標，但分析不夠全面，沒有充分考慮紅外與可見光圖像自身的特點，易丟失重要細節(jié)信息，且傳統(tǒng)的融合準則較少考慮領域及其周邊因素的影響，導致融合效果不是很理想.近些年來一些學者將遺傳算法[12]、粒子群算法[13]和脈沖耦合神經(jīng)網(wǎng)絡(PCNN)[14]應用于圖像處理中，取得了一定的成效，其中圖像融合算法中應用最多的就是PCNN.鄭紅等人[15]提出一種基于NSST和自適應PCNN模型的紅外與可見光圖像融合算法，實現(xiàn)了紅外與可見光的有效融合，但經(jīng)典的PCNN模型也存在自身的一些缺點，基于此Xiang T等人[16]提出一種基于自適應雙通道PCNN的NSCT域圖像融合算法，有效提高了融合圖像的目標與背景的對比度；LIU等人[17]在NSST框架下提出一種基于區(qū)域雙通道單連接脈沖兩維神經(jīng)網(wǎng)絡和獨立分量分析的紅外與可見光圖像融合算法，能突顯融合結果的目標和細節(jié)信息.這些融合算法都取得了很好的融合效果，但沒有充分考慮NSST系數(shù)特征，NSST分解后的低頻子帶反映了圖像的近似特征，包含了圖像的大量基本信息，因此低頻部分的處理至關重要.

顯然，圖像融合技術已取得一定的成效，但目前這些優(yōu)良的算法中仍存在某些方面的缺陷，基于此筆者提出一種基于NSST和雙通道PCNN的紅外與可見光圖像融合算法，利用小波變換補償NSST分解后的低頻子帶系數(shù)，實現(xiàn)系數(shù)的再次分解.第1步，利用S-函數(shù)對紅外圖像進行預處理，增強紅外圖像的對比度；第2步，利用NSST對預處理的紅外圖像和可見光圖像進行分解得到低頻和高頻子帶，由于低頻子帶中包含了源圖像的大量細節(jié)信息，利用二維小波變換對其進行再次分解得到相應的低頻和高頻子帶，其中低頻子帶采用一種基于顯著圖的融合策略，高頻部分采用絕對值取大的原則，對處理過的低頻和高頻部分進行小波逆變換得到NSST重構的低頻子帶；第3步，對NSST分解后高頻子帶采用2APCNN進行處理，將邊緣能量作為PCNN的刺激輸入，可以充分保留圖像的細節(jié)信息；第4步，對處理過的低頻和高頻部分采用NSST逆變換實現(xiàn)圖像的最終融合.多組實驗顯示，本文算法較現(xiàn)有的經(jīng)典融合算法取得了更好的融合效果.

1 基于2APCNN和NSST變換的紅外與可見光圖像融合

經(jīng)典的基于變換域的圖像融合算法雖然已取得很好的效果，但在細節(jié)處理、信息冗余等方面仍有所欠缺，且基于PCNN模型的融合算法計算量較大,易在圖像背景處產(chǎn)生失真等現(xiàn)象.筆者針對紅外與可見光自身特點優(yōu)化原有的融合算法，并對其進行改進使得算法更加實用，為了增強紅外圖像的對比度，在進行變換域處理之前先對其進行預處理.

1.1 紅外圖像預處理

紅外圖像主要是通過目標場景的熱輻射而成像的，具有較強的識別偽裝的能力，但成像的清晰度較低，因此紅外圖像在進行NSST變換之前先利用S-函數(shù)進行預處理，以增強圖像的對比度，使得融合效果更佳.S-函數(shù)定義如下：

(1)

(2)

其中A(i,j)表示紅外圖像的像素值；S(i,j)表示對比增強后的灰度值；μ是紅外圖像灰度值的均值；k是影響的參數(shù).選取兩幅經(jīng)典的紅外圖像進行實驗，圖1為兩幅紅外圖像經(jīng)過S-函數(shù)處理的結果.

圖1 紅外圖像和預增強過的圖像

從視覺效果上可以看出紅外圖像經(jīng)過預處理之后明顯清晰很多，對比度也增強很多，說明紅外圖像經(jīng)過預處理后更加適用于人類視覺需要.

1.2 低頻子帶融合準則

基于NSST自身所具有的優(yōu)點，筆者對預處理過的紅外和可見光圖像分別進行4層的NSST分解得到相應的低頻和高頻子帶，由于低頻部分包含了圖像的大量能量信息，是融合的關鍵環(huán)節(jié)，且以往經(jīng)典的融合算法都是直接對低頻進行處理，融合效果不是非常理想.由于NSST分解會得到一個尺寸大小與源圖像相同的低頻子帶，因此我們先對低頻部分進行二維小波變換再次得到低頻和高頻子帶，低頻子帶采用一種基于顯著圖的融合策略，高頻部分采用絕對值取大的原則.

經(jīng)過小波變換分解后的低頻部分仍舊包含圖像的大量信息，常見的低頻融合準則大多采用系數(shù)加權平均、梯度算法和區(qū)域能量等策略，這些融合方法雖取得了較好的融合效果，但在細節(jié)和邊緣的處理上仍有所欠缺.這里我們根據(jù)人類視覺系統(tǒng)對圖像對比度比較敏感的特點，提出一種基于顯著圖的融合準則.一幅圖像的像素顯著值是通過像素自身與周邊像素之間的關系體現(xiàn)出來的，設圖像f的任意像素值p處的顯著值[18]定義為：

(3)

其中F(p,q)表示像素p,q間的差值，通過式(3)可以計算出低頻子帶所對應的顯著圖.由于紅外與可見光圖像的成像原理不同，在圖像相同部位所包含的局部強度和細節(jié)信息都會相差很多，因此需要通過區(qū)域方差匹配度來衡量兩者之間的差異程度，避免細節(jié)信息的丟失.局部區(qū)域方差匹配度記為：

(4)

其中G表示局部區(qū)域(本文取3*3大小)，S2I(i,j),S2V(i,j)分別表示紅外與可見光圖像低頻子帶系數(shù)在位置(i,j)處的顯著值；MI,V(i,j)反映的是兩幅圖在相同位置顯著值的接近程度，值越高說明兩幅圖的相似匹配度越高，否則說明區(qū)域差異較大.基于此需要設計一個閾值T，一般在0.5～1，本文取T=0.75，yF(i,j)為融合后的系數(shù)，下面給出具體的低頻子帶融合策略：

若MI,V(i,j)

(5)

若MI,V(i,j)≤T，說明局部相似性程度較高，則采用加權平均準則.

(6)

且自適應算子為:

(7)

對于小波變換再次分解得到的高頻部分，筆者采用絕對值取大原則進行處理，并與(5)或(6)式低頻處理后的結果進行小波重構可以得到最終用于NSST重構的低頻子帶系數(shù).筆者采用小波變換主要是為了突顯源圖像的背景信息，能夠較好地利用小波變換的優(yōu)勢，提高圖像低頻部分的融合效果.

1.3 高頻子帶融合準則

圖像分解后的高頻部分包含了源圖像的大量細節(jié)、邊緣和輪廓等信息，以往經(jīng)典的融合策略大多都是“絕對值取大”、“空間頻率”等方法，這些融合策略會丟失一部分細節(jié)信息.筆者基于傳統(tǒng)PCNN提出一種雙通道PCNN模型，將邊緣能量(ENE[19])作為2APCNN的刺激輸入，并結合邊緣梯度設置鏈接強度，下面給出2APCNN的具體表達式：

(8)

其中Fkij(k=1,2)表示雙通道的反饋輸入；Skij(k=1,2)表示外部刺激輸入；Lij表示鏈接輸出項；Wijkl表示連接神經(jīng)間的權值系數(shù)矩陣；Yij表示神經(jīng)元的脈沖輸出；αL,αθ表示時間衰減系數(shù)；VL,Vθ表示歸一化參數(shù)；Uij(n)表示內(nèi)部活動總數(shù)；βk(k=1,2)表示兩個通道的鏈接強度；θij(n)表示神經(jīng)元的動態(tài)閾值.在2APCNN神經(jīng)網(wǎng)絡中，當Uij(n)>θij(n-1)時,會產(chǎn)生一個脈沖信號，即點火一次.

由于傳統(tǒng)的PCNN參數(shù)較多且取值較為固定,導致融合的效果不是很理想，這里我們結合高頻子帶系數(shù)相鄰位置給出邊緣梯度,即

(9)

則2APCNN的連接強度定義為：

(10)

下面給出高頻子帶的邊緣能量并將其作為雙通道的刺激輸入，具體公式如下：

LEl,k(i,j)=(E1*yl,k(i,j))2+

(E2*yl,k(i,j))2+(E3*yl,k(i,j))2.

(11)

將設置過的參數(shù)應用于(8)式，并得到最終的融合系數(shù)yF，即:

(12)

2 基于2APCNN和NSST變換的紅外與可見光圖像融合流程

源圖像在進行融合之前已進行嚴格的空間配準，分別記為I,V，融合后的圖像記為F，則具體的融合步驟如下：

1)對紅外圖像I進行預處理，再將其和可見光圖像V進行NSST分解(這里取N=3)，得到大小與源圖像相同的低頻子帶圖像I0N,V0N，及各方向的高頻子帶圖像Iki,Vkj,k=1,2,…,K,j=1,2,…,N,N為分解的最大層數(shù)，K為每層分解的方向數(shù)；

2)為了更多地保留源圖像的背景細節(jié)信息，將NSST分解后的低頻子帶圖像再次進行二維小波分解，得到相應的低頻和高頻子帶，低頻子帶采用基于顯著圖的策略進行處理，高頻部分采用絕對值策略，對處理過的低頻和高頻進行小波逆變換得到最終用于NSST重構的低頻子帶部分；

3)對NSST分解后的高頻子帶采用自適應的2APCNN模型進行處理，采用改進的邊緣梯度作為模型的鏈接強度β，并利用系數(shù)的邊緣能量作為2APCNN模型的刺激輸入，其他的初始值設為Uk,l0(i,j)=0,Lk,l0(i,j)=0,Yk,l0(i,j)=0;

4)最后將處理過的低頻和高頻子帶進行NSST逆變換得到最終的融合圖像.

圖2為具體的圖像融合流程.

圖2 圖像融合的流程

3 實驗結果與分析

3.1 實驗設置

為了驗證筆者所提算法的有效性，選取常用的兩組具有不同特點的紅外與可見光圖像(“Road,Leaves”)進行實驗，對比的算法選取經(jīng)典的基于小波變換(DWT)和基于NSST的融合算法，這兩種算法都是按低頻取平均，高頻取大的原則進行處理.另外再選取3種近幾年經(jīng)典的融合算法：基于NSST的自適應PCNN融合算法(NSST-PCNN)[15]；基于補償機制的NSCT域紅外與可見光圖像融合(NSCT-DWT-PCNN)[20]，該算法也是利用小波變換實現(xiàn)低頻部分的再次分解；基于自適應雙通道PCNN的NSCT域圖像融合算法(NSCT-2APCNN)[16]，這3種算法在處理紅外與可見光圖像融合時都取得了很不錯的效果.同時為了更加全面地評價本文算法，選取5個客觀指標[21]進行對比分析：平均梯度(Average Gradient,AG)、標準差(Standard Deviation,STD)、信息熵(Information Entropy,IE)、互信息(Mutual Information,MI)和邊緣信息保留量QAB/F.

3.2 實驗結果及分析

圖3的(a)和(b)為Road2紅外與可見光圖像，是在夜晚拍攝的道路圖像，由于光線昏暗導致可見光圖像中目標行人和車輛模糊看不清，紅外圖像中目標信息較清晰但背景模糊，下面是6種算法實現(xiàn)該組圖像的主觀和客觀融合結果.

從主觀視覺效果可以看出6種算法不同程度地實現(xiàn)了目標和背景信息的融合，其中基于DWT得到的融合圖像較為暗淡，在目標和背景處較為模糊，且在奇異點處存在塊效應；基于NSST的兩種融合結果,即圖(d)和(e)在目標背景處相對清晰一些，但對比度不高,顯得圖像較為灰暗，且在區(qū)域處過渡不是很自然；基于NSCT的兩種融合結果,即圖(f)和(g)相比之前的算法對比度有所增強，且在目標行人和車輛處清晰很多；本文算法對比度最高，道路清晰，行人和車輛明顯，且在紅色線內(nèi)的車輛也較其他算法清晰很多.

客觀數(shù)據(jù)顯示近年來提出的融合算法(NSCT-DWT-PCNN，NSCT-2APCNN)在紅外和可見光圖像融合上取得了很大的提高，其中STD值提高最多，其他4個指標也有所提高，說明算法在對比度和細節(jié)處理上均有所改善，但由于NSCT自身算法的特點，導致計算時間較長.筆者所提算法在5個指標上均有所提高，其中AG和STD提高最多，耗時不是很長，融合效果最佳.

圖4(a)和(b)為 Leaves紅外與可見光圖像，紅外圖像中目標較為清晰但背景樹葉較為模糊，可見光圖像中樹葉清晰但目標對比度較低.圖3與表1是6種算法實現(xiàn)該組圖像的主觀和客觀融合結果.

圖3 Road2融合結果

表1 不同融合方法處理Road2圖像的客觀指標

圖4 Leaves融合結果

從圖4和表2可以看出6種算法均考慮了源圖像的互補信息，不同程度地實現(xiàn)了紅外與可見光圖像融合.DWT、NSST和NSST-PCNN這3種算法在目標板的對比度相對較低，且背景樹葉處也較為模糊；NSCT-DWT-PCNN和NSCT-2APCNN融合算法在背景和目標處都相對前面3種算法清晰很多，客觀指標上也有所提高，但耗時較長，不利于實際應用；筆者所提算法的目標板的對比度最高，周邊細節(jié)信息更加豐富，背景樹葉也較為清楚，整體視覺效果更好，且計算時間不是很長.

表2 不同融合方法處理Leaves圖像的客觀指標

4 結論

筆者提出的融合算法是基于變換域(NSST)的再次分解(DWT)的圖像融合，有效結合了兩種變換域算法的優(yōu)勢，實現(xiàn)目標和背景信息的有效保留.對DWT分解的低頻和高頻分別采用不同的融合準則進行處理，低頻采用基于顯著圖的融合方法，高頻直接絕對值最大；同時對NSST分解的高頻部分采用改進的雙通道PCNN進行處理，利用邊緣信息作為模型的刺激輸入，多方面自適應調(diào)節(jié)2APCNN的模型參數(shù)，以達到最優(yōu)的融合效果.經(jīng)過實驗對比分析,可以看出本文算法在對比度和背景信息處理上均取得了很大的改進，更加符合人眼的視覺需要，其客觀數(shù)值上均優(yōu)于其他幾種融合算法.