一種改進(jìn)的壓縮感知圖像融合算法

汪佳瑞

（安徽師范大學(xué)物理與電子信息學(xué)院，蕪湖241000）

0 引言

圖像融合技術(shù)是一門(mén)集合了傳感器技術(shù)、圖像處理、信號(hào)處理、計(jì)算機(jī)視覺(jué)和人工智能等眾多理論的現(xiàn)代高新技術(shù)，是將多個(gè)不同的成像傳感器得到的兩幅或以上的圖像按照特定的規(guī)則融合成一幅圖像的過(guò)程[1-2]。其中，紅外圖像與可見(jiàn)光圖像融合一直是圖像融合領(lǐng)域研究的重點(diǎn)與熱點(diǎn)。紅外圖像是由紅外傳感器根據(jù)物體的熱輻射差異成像的，成像過(guò)程不易受氣候和環(huán)境影響，但得到的紅外圖像往往存在對(duì)比度和清晰度較低、細(xì)節(jié)表現(xiàn)不明顯以及可視性較差的缺點(diǎn)。而可見(jiàn)光圖像是由可見(jiàn)光成像傳感器通過(guò)可見(jiàn)光的反射獲取的，具有分辨率和對(duì)比度高，光譜信息豐富，可視性好等優(yōu)點(diǎn)，但是對(duì)光照條件要求很高，在夜間、有霧或有遮擋的情況下則很難獲取場(chǎng)景中的有效信息。基于以上兩種圖像的優(yōu)缺點(diǎn)，將二者進(jìn)行融合，可以實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，得到目標(biāo)特征突出，背景信息豐富，視覺(jué)效果較好的融合圖像，更能精確地描述出圖像場(chǎng)景中的客觀(guān)事實(shí)，有利于后續(xù)的操作和處理。因此，紅外與可見(jiàn)光圖像的融合技術(shù)可以進(jìn)行目標(biāo)的分類(lèi)識(shí)別、軍事偵察和目標(biāo)跟蹤等，在安防監(jiān)控、軍事作戰(zhàn)等領(lǐng)域起到至關(guān)重要的作用[3-4]。

2006 年，Tao、Candes 和Donoho[5-7]等學(xué)者首次提出了壓縮感知（Compressive Sensing，CS）理論，有別于傳統(tǒng)的信號(hào)處理理論，信號(hào)的采樣速率不再取決于信號(hào)的帶寬，而是取決于信號(hào)的結(jié)構(gòu)和內(nèi)容。壓縮感知利用信號(hào)的稀疏性，在對(duì)信號(hào)采樣的同時(shí)就對(duì)其進(jìn)行適宜地壓縮，采樣和壓縮的同時(shí)進(jìn)行，能在保證信息完整的情況下，使用遠(yuǎn)少于奈奎斯特采樣定理[8]要求的速率來(lái)采樣信息，最終獲取近乎完美的重構(gòu)信息。作為一種新穎的信號(hào)獲取和處理理論，壓縮感知不僅降低信號(hào)采樣頻率，明顯地減少了數(shù)據(jù)的存儲(chǔ)和傳輸?shù)某杀?，還提高了信號(hào)處理的整體效率，避免了資源浪費(fèi)的問(wèn)題，為信號(hào)處理模式注入了新的思想，廣泛應(yīng)用于光學(xué)成像[9]、無(wú)線(xiàn)傳感網(wǎng)絡(luò)[10]和圖像處理[11]等領(lǐng)域。

基于壓縮感知的圖像融合方法不需要知道源圖像的全部采樣，這無(wú)疑能減輕圖像信息傳輸和存儲(chǔ)的負(fù)擔(dān)。但基于壓縮感知的圖像融合算法在壓縮感知域進(jìn)行測(cè)量值融合時(shí)有可能會(huì)存在一些問(wèn)題，如文獻(xiàn)[12]中對(duì)圖像觀(guān)測(cè)值進(jìn)行融合時(shí)采用了絕對(duì)值取最大的規(guī)則，這種規(guī)則雖較為簡(jiǎn)單方便，但具有一定的偶然性和不合理性，因?yàn)殡S機(jī)觀(guān)測(cè)下觀(guān)測(cè)值系數(shù)越大，不一定就代表著信息量越大。文獻(xiàn)[13]設(shè)計(jì)的加權(quán)融合的規(guī)則對(duì)紅外和可見(jiàn)光圖像觀(guān)測(cè)值進(jìn)行處理時(shí)，融合權(quán)值是根據(jù)實(shí)際的融合圖像和經(jīng)驗(yàn)進(jìn)行調(diào)節(jié)，權(quán)值精確性有待提升。

基于以上原因，本文提出的紅外與可見(jiàn)光圖像融合算法在壓縮感知域中進(jìn)行融合時(shí)，分別采用了局部均值加權(quán)的融合規(guī)則。其原理如下：由壓縮感知理論可知，通過(guò)壓縮觀(guān)測(cè)值重構(gòu)原始圖像時(shí)，是把壓縮觀(guān)測(cè)值的每一列看作一個(gè)整體，用來(lái)匹配獲取最佳的傳感矩陣原子位置[6]。因此，在對(duì)圖像的壓縮觀(guān)測(cè)值進(jìn)行加權(quán)融合時(shí)，不要破壞觀(guān)測(cè)值每一列的完整性，可以將觀(guān)測(cè)值的數(shù)據(jù)列當(dāng)作整體進(jìn)行處理，以減小重構(gòu)時(shí)的額外誤差。在同一種稀疏變換矩陣和測(cè)量矩陣作用下，單個(gè)壓縮觀(guān)測(cè)值的大小已經(jīng)不能準(zhǔn)確代表源圖像灰度值的大小，以單個(gè)的觀(guān)測(cè)值系數(shù)進(jìn)行權(quán)值計(jì)算會(huì)影響最終的融合效果，但是測(cè)量觀(guān)測(cè)值每一列的總體特性如均值、方差等卻不易改變，以觀(guān)測(cè)值每一列作為整體考慮，通過(guò)計(jì)算每一列的特性來(lái)衡量源圖像的壓縮觀(guān)測(cè)值的權(quán)值，能使得融合后的觀(guān)測(cè)值更加的準(zhǔn)確和合理，從而提高圖像融合效果。

1 壓縮感知的基本框架

與奈奎斯特采樣定理不同，壓縮感知作為一種新穎的信號(hào)獲取和處理理論，其理論框架主要分為三個(gè)部分：信號(hào)的稀疏表示、測(cè)量矩陣的構(gòu)造和設(shè)計(jì)重構(gòu)算法。

數(shù)學(xué)模型表述為：對(duì)于一個(gè)長(zhǎng)度為N的實(shí)信號(hào)x∈RN，若信號(hào)x中只存在少量的非零分量，則表明x本身是稀疏信號(hào)。若信號(hào)x本身非稀疏，可給定一個(gè)長(zhǎng)度為N的標(biāo)準(zhǔn)正交基，使信號(hào)x在Ψ 上是稀疏的，信號(hào)x可以表示為：

其中，s為信號(hào)x在Ψ 域的稀疏系數(shù)，當(dāng)s中非零元素個(gè)數(shù)為K，且滿(mǎn)足K?N時(shí)，則可稱(chēng)信號(hào)x在稀疏基Ψ 下為K-稀疏的。在壓縮感知理論中，待測(cè)信號(hào)的稀疏性是該信號(hào)能進(jìn)行壓縮感知的前提，也影響著信號(hào)的最終重構(gòu)效果。目前常用的稀疏表示方法為正交變換法，主要包括傅里葉變換、離散余弦變換、小波變換[14]等，其中小波變換法因具有良好的時(shí)頻特性，能夠克服塊效應(yīng)，對(duì)于圖像信號(hào)還能有效表示信號(hào)中各向同性點(diǎn)狀結(jié)構(gòu)，表現(xiàn)出了很好的逼近特性，因此常被用作圖像的稀疏表示中。

測(cè)量矩陣又可稱(chēng)為觀(guān)測(cè)矩陣，在CS 理論中，將測(cè)量矩陣與原始信號(hào)相乘，能夠?qū)崿F(xiàn)信號(hào)的降維。具體表示為采用與Ψ 不具有相關(guān)性的觀(guān)測(cè)矩陣Φ（M×N，M<

測(cè)量值y是一個(gè)M維向量，式（2）實(shí)現(xiàn)了測(cè)量對(duì)象N→M的降維。根據(jù)式（1），式（2）可以變換為：

其中A∈RM×N稱(chēng)為感知矩陣。測(cè)量矩陣需滿(mǎn)足RIP 條件或與稀疏表示矩陣之間不相關(guān)，這是設(shè)計(jì)有效的測(cè)量矩陣的前提。目前應(yīng)用較多的測(cè)量矩陣有高斯隨機(jī)矩陣[5-6]、伯努利隨機(jī)矩陣、多項(xiàng)式矩陣等，其中文獻(xiàn)[6]已經(jīng)證明了高斯隨機(jī)矩陣與大多數(shù)的稀疏基不相關(guān)，同時(shí)其還具有重構(gòu)過(guò)程所需的觀(guān)測(cè)數(shù)量少，重構(gòu)效果較好的優(yōu)點(diǎn)而被廣泛采用

信號(hào)的重構(gòu)是實(shí)現(xiàn)壓縮感知的最后一個(gè)步驟，是指從數(shù)據(jù)量遠(yuǎn)遠(yuǎn)小于原始信號(hào)的觀(guān)測(cè)值y中正確地恢復(fù)原始信號(hào)。這是一個(gè)求解欠定方程組的問(wèn)題，最直接方法是通過(guò)l0范數(shù)求解最優(yōu)化問(wèn)題來(lái)解決：

l0范數(shù)指的是向量中非0 元素的個(gè)數(shù)，因此式（4）的計(jì)算結(jié)果就表示信號(hào)x在正交基Ψ 下的最稀疏解。但上式的求解是個(gè)NP-Hard 問(wèn)題，在計(jì)算上很難實(shí)現(xiàn)。后來(lái)有研究者發(fā)現(xiàn)l1最小范數(shù)下在一定條件下和l0最小范數(shù)是等價(jià)的，可得到相同的解。那么式（4）就可以轉(zhuǎn)換為求解l1最小范數(shù)下的最優(yōu)化問(wèn)題：

這也是凸優(yōu)化算法的計(jì)算原理。除此之外，還可以使用貪婪追蹤算法來(lái)重構(gòu)信號(hào)，正交匹配追蹤算法（Orthogonal MP，OMP）[15]就是一種典型的貪婪算法。在壓縮感知信號(hào)重構(gòu)算法中，貪婪追蹤算法的計(jì)算復(fù)雜度較低、計(jì)算速度較快且重構(gòu)效果較好。其基本思想是先將選用的原子先進(jìn)行了正交化處理，在通過(guò)迭代從過(guò)完備原子庫(kù)中選擇與信號(hào)最匹配的原子來(lái)達(dá)到稀疏逼近，這種方式使得同一原子在迭代時(shí)不會(huì)被重復(fù)選擇，從而減少了算法迭代次數(shù)，加快了算法收斂速度。

2 基于小波變換的壓縮感知圖像融合算法

對(duì)于圖像融合，小波變換優(yōu)點(diǎn)表現(xiàn)為：將圖像進(jìn)行小波分解，會(huì)將其分解成低頻信息和高頻信息，二者包含了源圖像的不同特征，可以依據(jù)它們的特征靈活地選用不同的融合規(guī)則來(lái)提升融合效果；小波變換的分解和重構(gòu)過(guò)程都是非冗余的，既不會(huì)產(chǎn)生多余信息，也不會(huì)造成信息的丟失，整個(gè)過(guò)程中數(shù)據(jù)總量保持不變；小波分解具有方向性和多分辨率的特點(diǎn)，更符合人眼的視覺(jué)特性。

在本節(jié)中，我們將壓縮感知理論和小波變換相結(jié)合，提出了一種基于小波變換的壓縮感知圖像融合算法?；谛〔ㄗ儞Q的壓縮感知圖像融合流程如圖1 所示。具體步驟為：

（1）將兩幅預(yù)處理過(guò)的源圖像A、B進(jìn)行2 層小波分解，獲得分解后的低頻系數(shù)A1、B1 和三個(gè)方向上的多個(gè)高頻系數(shù)。

（2）對(duì)低頻系數(shù)A1、B1 進(jìn)行稀疏化，然后分別通過(guò)同一觀(guān)測(cè)矩陣進(jìn)行觀(guān)測(cè)，得到壓縮域上的低頻系數(shù)觀(guān)測(cè)圖像A2 和B2。

（3）采用基于局部均值加權(quán)的方法對(duì)低頻系數(shù)壓縮測(cè)量值A(chǔ)2 和B2 進(jìn)行融合處理，得到融合后的低頻系數(shù)觀(guān)測(cè)值C1，最后通過(guò)重構(gòu)算法得到融合后的低頻系數(shù)圖像。

（4）采用區(qū)域能量匹配的規(guī)則來(lái)對(duì)源圖像的各高頻系數(shù)進(jìn)行融合處理，得到融合后的高頻系數(shù)圖像。

（5）對(duì)融合處理后的各個(gè)小波系數(shù)進(jìn)行小波逆變換，獲得最終的融合后的圖像F。

2.1 低頻系數(shù)融合規(guī)則

圖像由小波變換得到的低頻系數(shù)表示的是源圖像的近似，包含了源圖像大部分信息，通常不具有稀疏性，要先通過(guò)本節(jié)融合算法的步驟（2）中來(lái)獲得相應(yīng)的壓縮測(cè)量值，再采用基于局部均值加權(quán)的規(guī)則對(duì)壓縮測(cè)量值進(jìn)行融合，得到的融合后的壓縮測(cè)量值。基于局部均值加權(quán)的規(guī)則依據(jù)的是壓縮感知測(cè)量值的列的完整性，可先計(jì)算出壓縮測(cè)量值每一列系數(shù)的均值，以均值大小來(lái)衡量最終的權(quán)值占比。與以單個(gè)測(cè)量系數(shù)大小來(lái)衡量權(quán)值的方法相比，由該方法得到的權(quán)值更加的合理，得到的融合后的壓縮測(cè)量值更能準(zhǔn)確反映出兩幅低頻圖像的特征。

圖1 基于小波變換的壓縮感知圖像融合框圖

具體步驟如下：

（1）首先計(jì)算兩幅低頻圖像的壓縮測(cè)量值A(chǔ)2和B2的列數(shù)值a2和b2，即：

式（6-7）中：i=1,2,…,N，M、N為測(cè)量值的行數(shù)和列數(shù)。

（2）分別求解壓縮測(cè)量值A(chǔ)2和B2的列權(quán)值w1和w2：

式（8）和（9）中：i=1,2,…,N。

（3）計(jì)算得到低頻系數(shù)的壓縮測(cè)量值進(jìn)行加權(quán)融合的局部權(quán)值w1和w2之后，需要對(duì)A2和B2進(jìn)行加權(quán)，得到融合壓縮測(cè)量值C1，并采用OMP 算法重建出融合后的低頻系數(shù)圖像。融合壓縮測(cè)量值C1的計(jì)算公式為：

式（10）中：m=1,2,…,M；n=1,2,…,N。

2.2 高頻系數(shù)融合規(guī)則

源圖像的高頻系數(shù)主要包含了源圖像中邊緣、紋理等細(xì)節(jié)信息，將高頻系數(shù)進(jìn)行融合能盡可能多的保留這些有用的細(xì)節(jié)信息，補(bǔ)充融合圖像的完整性和豐富性。而傳統(tǒng)的高頻子帶融合規(guī)則如絕對(duì)值取大法只考慮到了高頻圖像中“像素”本身，在融合時(shí)易出現(xiàn)細(xì)節(jié)信息丟失和增加人為“噪聲”的現(xiàn)象。因此本章對(duì)高頻系數(shù)進(jìn)行融合時(shí)采用基于區(qū)域能量匹配的規(guī)則，它不僅考慮到了高頻圖像中單個(gè)像素，還強(qiáng)調(diào)了以像素點(diǎn)為中心的局部區(qū)域內(nèi)圖像的能量特性，更能體現(xiàn)區(qū)域內(nèi)的邊緣和紋理等高頻特征，使得融合效果更加突出。

為了方便區(qū)分和介紹，這里把兩幅源圖像離散小波變換得到的各個(gè)層次各方向相對(duì)應(yīng)的高頻圖像統(tǒng)稱(chēng)為M1和M2，融合后的高頻系數(shù)圖像為M3?；趨^(qū)域能量匹配的融合規(guī)則的具體步驟如下：

（1）首先定義區(qū)域能量，并以此計(jì)算兩幅高頻圖像M1、M2在像素點(diǎn)(m,n)處的區(qū)域能量EM1(m,n) 和EM2(m,n)。若有任意圖像M，對(duì)于其上任意一個(gè)像素點(diǎn)(m,n)，其區(qū)域能量E(m,n)可表示為：

其中，L×K定義了區(qū)域的大小為3×3，W是權(quán)系數(shù)矩陣，W=1/16[121;242;121] 。

（2）然后計(jì)算兩幅高頻圖像M1、M2的區(qū)域能量匹配度S1(m,n)，大小在(0,1]之內(nèi)。

（3）獲得融合后的高頻系數(shù)。先設(shè)置能量匹配度閾值T1，通常取0.5 ≤T1≤1，本文中T1選擇為0.6。當(dāng)S1(m,n)≥T1時(shí)，表明兩幅圖像的高頻信息比較相似，可以使用加權(quán)平均法計(jì)算融合后的高頻系數(shù)M3(m,n)，計(jì)算方式如（13）所示：

式（13）中，ωmax(m,n)和ωmin(m,n)是權(quán)值，分別表示兩幅高頻圖像占比的差異性，表達(dá)式為：

當(dāng)S1(m,n)

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出的基于DWT 和CS 的紅外與可見(jiàn)光圖像融合算法的有效性和正確性，選用了其他三種算法與本節(jié)提出的算法進(jìn)行對(duì)比分析，分別采用了兩組不同的可見(jiàn)光與紅外圖像進(jìn)行試驗(yàn)，采用的客觀(guān)評(píng)價(jià)參數(shù)有信息熵IE、平均梯度AG、空間頻率SF、標(biāo)準(zhǔn)差STD、互信息MI 和耗時(shí)T。這三種算法分別為：算法1—傳統(tǒng)的基于DWT 的圖像融合算法；算法2—基于CS 的圖像融合算法，圖像觀(guān)測(cè)值融合取極大值；算法3—也是基于DWT-CS 的融合算法，但低頻系數(shù)觀(guān)測(cè)值采用加權(quán)融合法，高頻系數(shù)采用取最大值法。四種算法的參數(shù)設(shè)置如下：算法1 中DWT 設(shè)置為2 層分解，采用“sym8”小波函數(shù)；算法2 中CS 采用小波稀疏基進(jìn)行圖像稀疏化，選用服從標(biāo)準(zhǔn)正態(tài)分布且常用的高斯隨機(jī)矩陣進(jìn)行觀(guān)測(cè)，重構(gòu)算法為OMP，M/N設(shè)置為0.7；本章算法和算法3 中DWT 的參數(shù)設(shè)置與算法1一致，CS 的參數(shù)設(shè)定與算法2 一致。

兩組可見(jiàn)光與紅外源圖像分別如圖3（a）（b）和圖4（a）（b）所示，且均已完成配準(zhǔn)，第一組源圖像大小為256×256，第二組源圖像大小為320×320。圖2 和圖3 中的（c）,（d）,（e）,（f）分 別 為CS 算法、DWT 算 法、DWT-CS 算法和本文算法的融合結(jié)果圖。

圖2 第一組圖像融合實(shí)驗(yàn)結(jié)果圖

圖3 第二組圖像融合實(shí)驗(yàn)結(jié)果示意圖

從視覺(jué)效果來(lái)看，第一組實(shí)驗(yàn)中，CS 算法的融合圖像視覺(jué)效果為最差，整幅圖像失真明顯，充斥著大量噪聲。DWT 算法得到的融合圖像整體的亮度偏暗，雖然廣告牌上的信息也能識(shí)別，但人物、路燈等目標(biāo)表示不夠顯著。DWT-CS 算法的結(jié)果圖像中人物、轎車(chē)和路燈等目標(biāo)的表示較為顯著，但廣告牌信息的描述較差。本文提出的算法視覺(jué)效果最好，廣告牌上的信息能明顯分辨，轎車(chē)、行人和路燈等目標(biāo)突出，圖像細(xì)節(jié)豐富。第二組實(shí)驗(yàn)中，CS 算法的融合圖像視覺(jué)效果也是最差的，雖然也實(shí)現(xiàn)了兩幅圖像的融合，但融合圖像明顯失真，除了人物輪廓比較清晰外其他事物顯示模糊。基于DWT 算法的融合圖像亮度偏低，人物目標(biāo)不夠突出，但背景區(qū)域表現(xiàn)清晰。基于DWT-CS 算法的融合圖像中人物比DWT 算法中的更為顯著，但是細(xì)節(jié)信息不夠豐富，圖像中草叢、門(mén)等景物紋理不清楚。經(jīng)過(guò)本文算法得到的融合圖像整體視覺(jué)效果較好，保留了DWT-CS 算法中目標(biāo)人物顯著性的同時(shí)也保留了DWT 算法較好的細(xì)節(jié)表現(xiàn)能力。圖像中人物輪廓突出易辨，草叢、門(mén)和左上角建筑描述得較好，背景信息豐富。

表1 為兩次實(shí)驗(yàn)中客觀(guān)參數(shù)，由此可知本文算法在兩次實(shí)驗(yàn)中所耗的時(shí)間雖然比CS 算法和DWT 算法要長(zhǎng)，但也明顯小于DWT-CS 算法的耗時(shí)。同時(shí)，信息熵IE、平均梯度AG、標(biāo)準(zhǔn)差STD 和互信息MI 的數(shù)值均要高于其他三種算法，平均比第二名分別提高了0.12、0.31、1.90 和0.13，表明基于本文算法得到的融合圖像包含的信息最為豐富，細(xì)節(jié)表達(dá)能力最強(qiáng)。另外第一組實(shí)驗(yàn)中空間頻率SF 要略低于DWT 算法，又高于DWT-CS 和CS 算法，說(shuō)明本文算法在清晰度的方面還有待提高。因此，從客觀(guān)參數(shù)的整體觀(guān)察，本文提出的基于壓縮感知的可見(jiàn)光與紅外圖像融合算法的融合效果是四種融合算法中最好的。

表1 不同算法融合效果的客觀(guān)評(píng)價(jià)

4 結(jié)語(yǔ)

將壓縮感知算法應(yīng)用于圖像融合領(lǐng)域，并結(jié)合小波變換，提出了一種基于壓縮感知的紅外與可見(jiàn)光圖像融合算法，對(duì)低頻系數(shù)和高頻系數(shù)分別采用不同融合規(guī)則進(jìn)行融合。對(duì)低頻系數(shù)先進(jìn)行壓縮感知測(cè)量，根據(jù)壓縮感知觀(guān)測(cè)值列的完整性，提出了一種局部均值加權(quán)的方式進(jìn)行融合處理，對(duì)高頻系數(shù)采用的是區(qū)域能量匹配的規(guī)則進(jìn)行融合，最后將融合后的低、高頻分量進(jìn)行小波逆變換得到融合圖像。仿真實(shí)驗(yàn)表明，文章算法與傳統(tǒng)算法相比提高了融合質(zhì)量，得到的融合圖像不僅紅外目標(biāo)突出，其背景和細(xì)節(jié)信息也更加豐富，圖像的對(duì)比度更高。同時(shí)，該算法也存在一些需要改善的地方，如融合圖像的清晰度需要進(jìn)一步提高，運(yùn)算速率也要加快。