基于LatLRR和PCNN的紅外與可見光融合算法

謝艷新

(吉林農(nóng)業(yè)科技學(xué)院 電氣與信息工程學(xué)院，吉林 吉林 132101)

1 引 言

紅外與可見光融合技術(shù)將包含不同波段的圖像信息加以綜合，目前已經(jīng)在軍事探測、遙感成像、計(jì)算機(jī)視覺等領(lǐng)域都有著廣泛的應(yīng)用[1]。通常情況下，紅外傳感器檢測到的高熱量區(qū)域一般是人們關(guān)注的目標(biāo)物體，但是其圖像的細(xì)節(jié)保留能力較差[2]。與此相反，可見光圖像卻包含豐富的細(xì)節(jié)信息，同時(shí)符合人眼的視覺特性。因此，上述兩種圖像的有效融合有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標(biāo)[3]。

針對紅外與可見光圖像融合，學(xué)者們多采用多尺度分解(MST)[4]的方法進(jìn)行處理。值得一提的是，在眾多MST工具中，非下采樣剪切波變換(NSST)[5]算法具有簡單的數(shù)學(xué)結(jié)構(gòu)，良好的方向選擇性和各向異性。除此外，它在分解過程中去除了下采樣操作，具備平移不變性，因此具有極佳的分解效果[6]。NSST方法可將源圖像分解成一系列不同尺度、不同頻率的子帶圖像，然后采用適當(dāng)?shù)娜诤弦?guī)則對其進(jìn)行處理，最終得到融合圖像。針對低頻子帶圖像，最為常見的融合規(guī)則就是加權(quán)平均法[7]。該方法只是將源圖像的亮度進(jìn)行空間疊加，容易導(dǎo)致融合圖像解析度下降，并且丟失很多顯著性信息。潛在低秩表示(LatLRR)[8]是一種無監(jiān)督的特征提取算法，它能夠從數(shù)據(jù)中魯棒地提取圖像的顯著性特征[9]，這為本文的研究提供了一定的思路。受此啟發(fā)，鑒于LatLRR在提取圖像顯著性的過程中可以獲取顯著圖，而顯著圖包含了視覺敏感區(qū)域在空間分布的權(quán)重信息，因此本文利用它作為權(quán)重函數(shù)對低頻子帶進(jìn)行自適應(yīng)加權(quán)融合。相比于傳統(tǒng)的加權(quán)平均法，該規(guī)則兼容了源圖像之間的光譜差異性[10]，能夠表征圖像的顯著特征信息，使最終的融合圖像符合人眼視覺特性。

高頻子帶圖像包含了圖像的邊緣信息，因此往往采用“絕對值最大”[11]的規(guī)則指導(dǎo)融合，但這容易誤選噪聲系數(shù)作為最后的融合系數(shù)。PCNN[12]作為一種具有人眼仿生機(jī)制的模型，對紋理細(xì)節(jié)比較敏感，因此適合處理高頻子帶圖像。傳統(tǒng)的PCNN模型往往采用單通道模型[13]，同時(shí)其連接強(qiáng)度往往是恒定的，并且外界刺激一般采用單個(gè)像素值。為了彌補(bǔ)這些缺陷，本文提出一種改進(jìn)的雙通PCNN模型處理高頻子帶信息，充分利用局部圖像信息，有效提取圖像細(xì)節(jié)。

綜上所述，本文提出一種基于LatLRR和PCNN的多尺度紅外與可見光融合算法。該方法利用NSST、PCNN和LatLRR 3種方法的優(yōu)點(diǎn)，將可見光的紋理信息與紅外圖像的顯著性特征完美結(jié)合，最終取得了較好的融合效果。

2 相關(guān)理論

2.1 非下采樣剪切波變換(NSST)

多尺度分解：圖像f經(jīng)過非下采樣金字塔(NSP)分解，最終可得k+1個(gè)與f大小相同的子帶圖像。這k+1個(gè)圖像包括1個(gè)低通子帶圖像和k個(gè)帶通子帶圖像。

方向局部化：NSST利用剪切波濾波器實(shí)現(xiàn)高頻圖像的方向局部化。具體實(shí)現(xiàn)過程為：

(1)將偽極化坐標(biāo)映射到笛卡爾坐標(biāo)；

(2)利用“Meyer”小波構(gòu)造窗函數(shù)，生成剪切波濾波器；

(3)將k個(gè)帶通子帶圖像和“Meyer”窗函數(shù)進(jìn)行卷積操作，然后獲得方向子帶圖像。

2.2 潛在低秩表示(LatLRR)

LatLRR[14]的核心思想就是將數(shù)據(jù)矩陣表示為低秩分量、稀疏分量與稀疏噪聲三者的線性疊加。對于一個(gè)圖像矩陣X∈RMN，它可能被解釋為：

X=XL+SX+E，

(1)

其中L代表低秩矩陣，L∈RNN；S代表稀疏矩陣，S∈RMM；E代表稀疏噪聲，E∈RMN；XL代表圖像的近似部分，SX代表圖像的顯著性信息。

1979年蘇格蘭獨(dú)立公投的失敗導(dǎo)致了蘇格蘭問題的爆發(fā)，但也帶來了意想不到的結(jié)果：文學(xué)藝術(shù)的復(fù)興和繁榮。蘇格蘭開始通過文學(xué)和藝術(shù)創(chuàng)作重新思考和定義自我身份，反映蘇格蘭文化藝術(shù)多樣性和“新蘇格蘭”的作品迭出，可以說“80年代是近兩個(gè)世紀(jì)以來蘇格蘭文化自我建構(gòu)最重要的時(shí)期之一”（Harvie 1991：77）?！短m納克》的出版正是對自戰(zhàn)后以來蘇格蘭社會(huì)變遷的回應(yīng)。這部小說創(chuàng)作歷時(shí)近30年，跨越了蘇格蘭社會(huì)問題頻發(fā)的階段，又恰好出版于公投失敗之后，再加上格雷民族主義者的政治身份，那么就不難理解小說中對蘇格蘭民族身份和社會(huì)政治的影射和思考了。

為了解決公式(1)的問題，可以采用凸優(yōu)化函數(shù)處理，即范數(shù)最小化，其表達(dá)式如下所示：

(2)

其中:λ>0；‖ ‖*表示矩陣的核范數(shù)，即矩陣的奇異值的和；‖ ‖1表示1范數(shù)，即矩陣中所有元素的絕對值之和。除此外，公式(2)也可以通過增廣拉格朗日乘子(ALM)[13]方法來解決。

2.3 脈沖式耦合神經(jīng)網(wǎng)絡(luò)(PCNN)

鑒于傳統(tǒng)單通道PCNN[15]模型本身存在參數(shù)眾多且不可忽略，并且由于只能反映一個(gè)源圖像的信息，因此對圖像中的偏暗區(qū)域不敏感，為此本文采用一種改進(jìn)的雙通道PCNN模型，其表達(dá)式如下：

(3)

(4)

(5)

(6)

(7)

θxy(n)=θxy(n-1)-Δ+VθYxy(n)，

(8)

(9)

3 基于LatLRR和PCNN的多尺度融合

本文針對光譜差異較大的紅外與可見光圖像融合，提出了一種基于LatLRR和PCNN的多尺度融合算法。首先，該方法利用NSST獲取圖像的低頻與高頻分量。其次，針對低頻子帶，采用基于LatLRR方法進(jìn)行自適應(yīng)加權(quán)融合；針對高頻分量，利用改進(jìn)的雙通道PCNN模型指導(dǎo)其融合。最終，利用NSST逆變換重構(gòu)融合子帶，獲取融合圖像。其中圖1展示了本文算法的流程圖。

圖1 本文提出的融合模型示意圖Fig.1 The Schematic of the proposed fusion mod

3.1 低頻分量的融合規(guī)則

圖像的低頻分量代表了圖像的主要能量，是圖像的近似部分，因此低頻分量的融合規(guī)則決定最終的融合效果。本文采取的融合步驟如下：

第一步：采用LatLRR算法分別對IR與VI圖像進(jìn)行分解，獲得各自的顯著特征矩陣SIR(x,y)與SVI(x,y)，然后再將兩幅圖的灰度值進(jìn)行歸一化，形成加權(quán)系數(shù)矩陣Si(x,y)與Sv(x,y)：

(10)

第二步：利用Si與Sv獲取低頻分量融合時(shí)的加權(quán)系數(shù)，其具體表達(dá)式如下所示：

(11)

(12)

其中：ωi(x,y)與ωv(x,y)分別代表紅外圖像與可見光圖像的加權(quán)融合系數(shù)。

第三步：利用加權(quán)系數(shù)獲得融合圖像的低頻分量，其表達(dá)式如下：

(13)

3.2 高頻分量的融合規(guī)則

為了能讓高頻分量更好地反映圖像的邊緣特征和紋理細(xì)節(jié)，本文采用一種改進(jìn)的雙通道PCNN模型指導(dǎo)高頻分量的融合(圖 1)，其融合步驟如下：

第一步：首先，令雙通道PCNN模型中各參數(shù)初始化。鑒于圖像的平均梯度算子(AVG)[16]

恰好能能夠反映圖像的邊緣、紋理的細(xì)節(jié)，這與高頻分量的本質(zhì)相似，因此采用其計(jì)算神經(jīng)元的外界刺激：

(14)

Dx(x,y)=Dl,k(x,y)-Dl,k(x+1,y)，

(15)

Dy(x,y)=Dl,k(x,y)-Dl,k(x,y+1).

(16)

第二步：PCNN模型的鏈接強(qiáng)度反映了神經(jīng)元耦合關(guān)系的強(qiáng)弱，為了能夠同樣反映高頻分量的特征，本文采用方向梯度和算子(SDG)作為鏈接強(qiáng)度：

KSDGl,k(x,y)=Dh(x,y)+Dv(x,y)，

(17)

，

(18)

，

(19)

其中:公式(17)～(19)表示對高頻子帶系數(shù)Dl,k(x,y)求解方向梯度和KSDGl,k(x,y)即高頻分量PCNN模型的鏈接強(qiáng)度，它能夠表達(dá)圖像的梯度特征。

第三步：迭代公式(3)～(9)直到所有神經(jīng)元都被點(diǎn)火，計(jì)算Uxy(n),Lxy(n),θxy(n),Txy(n),Yxy(n)，融合系數(shù)的規(guī)則如下：

(20)

(21)

(22)

其中:n代表迭代次數(shù)，Dl,k(x,y)代表最終的高頻子帶融合系數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，我們采用NSST、NSST-PCNN、NSST-SF-PCNN[17]、等方法作為對比。為了表現(xiàn)算法的廣泛性，我們選取了3種不同環(huán)境的紅外與可見光圖像，這些源圖像都已經(jīng)過嚴(yán)格的配準(zhǔn)。其中第一組為夜晚的街道，第二組為植被，第三組為樹叢。其中第1組到第3組圖像的大小分別為632×496、430×340、360×270。本文算法的NSST采用“maxflat”作為金字塔濾波器，其中分解層數(shù)為4層，每層分解的方向數(shù)分別為[4, 4, 8, 8]，LatLRR算法中λ=0.04。除此外，NSST-PCNN方法中的參數(shù)設(shè)置為：αL=0.069 31,αθ=0.2,VL=1,Vθ=20,θ=0.2,N=100,W=[0.707, 1, 0.707; 1, 0, 1; 0.707, 1, 0.707]。NSST方法的剪切波濾波器參數(shù)與本文相同，其低頻分量采用“加權(quán)平均規(guī)則”，高頻則采用“絕對值最大原則”。

4.1 主觀視覺評價(jià)

圖2～圖4分別代表第1組到第3組的融合實(shí)驗(yàn)，每組圖中的(a)～(f)分別代表紅外圖像、可見光圖像、NSST、NSST-PCNN、NSST-SF-PCNN和本文算法的融合圖像。總的來講，基于NSST方法的融合圖像對比度都比較低，整體比較昏暗，不適合人眼視覺觀感。其中第一組實(shí)驗(yàn)中，圖像的整體亮度較其他對比算法較低，因此其丟失了大量圖像特征。而NSST-PCNN、NSST-SF-PCNN方法的融合圖像都出現(xiàn)了一定的偽影噪點(diǎn)，其中以第一組實(shí)驗(yàn)中兩種方法的字牌都含有黑色的噪點(diǎn)。并且，第三組實(shí)驗(yàn)中，NSST-SF-PCNN則在樹叢中出現(xiàn)偽影噪點(diǎn)。相比之下，本文算法的融合圖像包含更為顯著的紅外目標(biāo)信息和更豐富的可見光圖像背景信息，因此具有較好的主觀融合效果。由于采用了全新的低頻融合規(guī)則，因此融合圖像在主體觀感上兼容了源圖像的光譜特性，凸顯了各自的顯著性信息，更加符合人眼的視覺觀感。同時(shí)高頻規(guī)則的建立則最大程度還原梯度信息，使圖像具有清晰的邊緣細(xì)節(jié)。

圖2 第一組融合實(shí)驗(yàn)的視覺對比Fig.2 Visual contrast experiments based on the first group

圖3 第二組融合實(shí)驗(yàn)的視覺對比Fig.3 Visual contrast experiments based on the second group

圖4 第三組融合實(shí)驗(yàn)的視覺對比Fig.4 Visual contrast experiments based on the third group

4.2 實(shí)驗(yàn)評估

在大多數(shù)情況下，融合結(jié)果之間的差異不大，則難以用主觀方式正確地評價(jià)融合結(jié)果。因此，為了更加客觀地對融合效果進(jìn)行評價(jià)，本文選取了以下5個(gè)客觀質(zhì)量指標(biāo)作為評判標(biāo)準(zhǔn)：(1)平均梯度(AVG)[18]；(2)邊緣信息保留量(QG)[19]；(3)空間頻率(SF)[20]。對于這3個(gè)指標(biāo)，數(shù)值越大代表性能越好，對于3組融合圖像，詳細(xì)的定量評價(jià)見表1～表3，其中粗體值表示在上述方法中使用相同索引的最佳結(jié)果。

表1 圖2的主觀評價(jià)參數(shù)Tab.1 Objective evaluation results for Fig. 2

表2 圖3的主觀評價(jià)參數(shù)Tab.2 Objective evaluation results for Fig.3

我們可以清晰地發(fā)現(xiàn)，在3組實(shí)驗(yàn)中，我們除了QG評價(jià)值略低于其他對比算法，剩下兩種評價(jià)值均保持領(lǐng)先的水平。這表明我們所提出的融合規(guī)則能更好地解決融合問題，這與主觀視覺觀感是相似的。綜上所述，本文提出的融合算法在圖像灰度值分布、邊緣細(xì)節(jié)、清晰度等方面優(yōu)于其他算法，并且擁有較好的觀感。

表3 圖4的主觀評價(jià)參數(shù)Tab.3 Objective evaluation results for Fig. 4

5 結(jié) 論

本文利用基于LatLRR和PCNN的多尺度融合模型指導(dǎo)紅外與可見光圖像融合。該模型利用NSST作為多尺度分解工具獲取圖像的低頻與高頻分量。針對低頻分量采用基于LatLRR的方法指導(dǎo)其自適應(yīng)加權(quán)融合，而高頻分量則利用自適應(yīng)雙通道PCNN模型對其進(jìn)行指導(dǎo)。該算法可以彌補(bǔ)兩種源圖像較大的光譜差異性，同時(shí)較完整地保留了豐富的紋理信息和細(xì)節(jié)信息。最終，該方法在視覺質(zhì)量和定量評價(jià)方面都優(yōu)于現(xiàn)有的其他融合算法。