基于混合l0l1層分解的紅外光強(qiáng)與偏振圖像融合算法

包達(dá)爾罕，高文煒，楊金穎

（西安微電子技術(shù)研究所，陜西 西安 710054）

0 引言

紅外光強(qiáng)圖像利用景物的熱輻射差異成像，反應(yīng)景物的輻射特征，圖像主要反應(yīng)景物的亮度和輪廓特征[1-2]。紅外偏振圖像利用紅外線的偏振特性成像，主要反應(yīng)景物的邊緣、細(xì)節(jié)特征[3-4]。兩類圖像融合能夠更全面地描述景物的特征，更有利于后續(xù)圖像處理，在安全監(jiān)測(cè)、霧霾天氣目標(biāo)探測(cè)、戰(zhàn)場(chǎng)態(tài)勢(shì)感知等領(lǐng)域有重要應(yīng)用。

目前，紅外光強(qiáng)與偏振圖像融合算法主要分為基于空間域和基于多尺度變換兩類?？臻g域融合算法直接對(duì)源圖像進(jìn)行融合，主要有加權(quán)平均、基于分塊和主成分分析（Principal Component Analysis，PCA）等[5-6]，空間域融合算法操作簡(jiǎn)單、運(yùn)算速度快，但是容易損失圖像的細(xì)節(jié)和對(duì)比度特征。多尺度變換能夠?qū)⒉煌叨认碌奶卣饔行У胤蛛x，對(duì)低頻特征和高頻特征采用不同的融合規(guī)則，基于多尺度變換的融合算法有利于圖像細(xì)節(jié)特征的融合，減少圖像信息損失，常見的多尺度變換融合算法有離散小波變換（Discrete Wavelet Transform，DWT），但是其不具備平移不變性和缺乏各向異性，針對(duì)這一問題，研究人員提出了其它多種不同多尺度變換，如非下采樣輪廓波（Non-subsampled Contourlet Transform，NSCT）和非下采樣剪切（Non-subsampled Shearlet Transform，NSST）[7-10]，能夠具有平移不變性和分解的多方向性，能夠更好提取圖像的細(xì)節(jié)特征，但是運(yùn)算速度較慢。區(qū)別于小波類多尺度變換，基于邊緣保持濾波器多尺度變換在濾除圖像的高頻特征同時(shí)有效地保留圖像的邊緣特征，運(yùn)算速度快，因此，基于邊緣濾波的多尺度幾何變換融合算法受到越來越多的關(guān)注，如基于雙邊濾波、基于引導(dǎo)濾波及基于最小二乘邊緣保持濾波等的融合算法[11-12]，都取得了較好的融合效果?；旌蟣0l1層分解是一種新的圖像分解模式[13]，可以有效地將圖像分解為基層和細(xì)節(jié)層，較好地保持圖像的邊緣特征，而且相對(duì)于基于邊緣保持濾波的層分解，能夠有效地克服光暈現(xiàn)象和過度增強(qiáng)。

綜上所述，多尺度變換融合算法能夠較好地分離圖像的不同特征，有利于特征的融合，減少融合圖像信息的損失，結(jié)合混合l0l1圖像分解的優(yōu)勢(shì)，本文提出基于混合l0l1層分解的多尺度變換的紅外光強(qiáng)與偏振圖像融合算法，利用混合l0l1層分解的優(yōu)勢(shì)，對(duì)兩類圖像進(jìn)行的混合l0l1層分解多尺度變換，提取圖像的不同特征，對(duì)低頻特征圖像采用指數(shù)局部高斯分布相似度融合，對(duì)高頻特征圖像采用PCA 合成多特征圖像融合的方法進(jìn)行融合，有效地融合兩類圖像間多種互補(bǔ)性特征。圖1 為本文融合算法流程圖。

1 基于混合l0l1 層分解的多尺度變換

混合l0l1層分解模型結(jié)合l0和l1兩類范數(shù)的優(yōu)勢(shì)，能夠?qū)D像分解為基層和細(xì)節(jié)層，同時(shí)較好地保留圖像的結(jié)構(gòu)特征，其公式如下[13]：

式中：p為像素坐標(biāo)；N為圖像像素個(gè)數(shù)，第一項(xiàng)(SP－BP)2是為了強(qiáng)制接近原圖像，基層的空間特性被定為l1梯度稀疏項(xiàng)是沿x和y方向的偏導(dǎo)數(shù)運(yùn)算。細(xì)節(jié)的空間特性被定為l0梯度稀疏項(xiàng)的表示函數(shù)F(x)：

通過求解式(1)可以得到一幅圖像的基層和細(xì)節(jié)層。其分解模式如下：

式中：B1為圖像基層；D1為圖像的細(xì)節(jié)層。

圖像的多尺度分解能夠?qū)⒉煌叨鹊奶卣鞣蛛x，因此，結(jié)合多尺度分解和l0l1層分解模式，實(shí)現(xiàn)基于混合l0l1層分解的多尺度變換，有效地提取圖像的細(xì)節(jié)特征并保留圖像的結(jié)構(gòu)特征，如下式：

式中：Bk＋1和Dk＋1分別為圖像低頻子帶圖像和高頻子帶圖像，k＝0, 1, …,N，k＝0 時(shí)B0為原圖像I，重構(gòu)公式為：

圖1 融合算法流程圖Fig.1 Flow chart of fusion algorithm

2 融合規(guī)則

利用第1 章多尺度變換方法對(duì)紅外光強(qiáng)與偏振圖像進(jìn)行分解，獲得低頻和高頻特征子帶圖像，對(duì)于不同特征圖像采用不同的融合規(guī)則。

2.1 低頻特征融合規(guī)則

對(duì)于紅外光強(qiáng)圖像來講，圖像整體較亮，灰度值變化成正態(tài)分布，而紅外偏振圖像（偏振度圖像）反映的是圖像的對(duì)比度特征，圖像整體亮度較低，偏振特性強(qiáng)的部分在圖像中較亮，圖像灰度值成偏態(tài)分布，因此，本文采用局部高斯分布提取圖像的結(jié)構(gòu)特征，如下式：

式中：μm(i,j)為高斯分布隸屬度；um為基層圖像的局部均值；Bm為低頻圖像；u為圖像灰度均值；σ為圖像標(biāo)準(zhǔn)差，m為IR 時(shí)，BIR為紅外光強(qiáng)低頻圖像，m為RP，BRP為紅外偏振低頻圖像。從式(8)中可以看到，對(duì)于紅外圖像來講由于其整體變化比較平穩(wěn)，因此，其隸屬度值較大，而對(duì)于紅外偏振圖像來講偏振態(tài)較強(qiáng)的部分與圖像的均值差異較大，其隸屬度值較小，如果直接采用分布值作為權(quán)重容易損失圖像偏振信息，因此，本文首先計(jì)算兩類圖像的高斯分布相似度公式如下：

從式(10)中可以看到，當(dāng)相似度較高的時(shí)候，由于紅外光強(qiáng)圖像的灰度值應(yīng)該遠(yuǎn)大于紅外偏振圖像，也就是說該處具有較強(qiáng)的紅外輻射特性，應(yīng)該保留紅外光強(qiáng)圖像特征，紅外光強(qiáng)圖像具有較大權(quán)重，同時(shí)紅外光強(qiáng)圖像體現(xiàn)場(chǎng)景的整體結(jié)構(gòu)特征，決定著融合圖像的視覺效果。因此，本文完整保留紅外光強(qiáng)圖像的基層，將紅外偏振圖像注入其中，當(dāng)相似度較小的時(shí)候說明該處具有明顯的偏振特性，紅外偏振圖像具有較大權(quán)重，本文采用指數(shù)高斯相似度確定權(quán)重，如式(11)，表1 為低頻特征融合規(guī)則偽代碼，最終低頻特征融合圖像如下：

式中：F1為低頻特征融合圖像。

表1 低頻特征融合規(guī)則偽代碼Table 1 The pseudo code of the low-frequency feature fusion rule

2.2 高頻特征融合規(guī)則

高頻子帶圖像主要包含圖像的紋理、邊緣及局部區(qū)域等特征，空間頻率（Spatial Frequency，SF）能夠較好的描述圖像的細(xì)節(jié)特征，局部能量可以描述圖像局部的絕對(duì)強(qiáng)度，局部區(qū)域越亮能量越高，因此，本文采用局部空間頻率（Local Spatial Frequency，LSF）描述紋理和細(xì)小邊緣特征，如式(13)采用局部能量（Local Energy，LEG）描述局部區(qū)域特征，如式(16)：

式中：LRF 為局部行頻率；LCF 為局部列頻率，其公式如下：

式中：Dmk為高頻子帶圖像。

利用加權(quán)比例作為融合權(quán)重，如式：

式中：H1k為高頻子帶圖像局部空間頻率加權(quán)融合圖像，H2k為高頻子帶圖像局部能量加權(quán)融合圖像。

通過式(17)和式(18)每層高頻子帶圖像可以獲得兩個(gè)不同的特征融合圖像，為了將不同特征融合圖像合成一副圖像，本文采用PCA 對(duì)兩類圖像進(jìn)行融合，PCA 能夠有效地將兩類圖像的主要信息集合在一起，最終高頻子帶圖像融合結(jié)果如式(19)，表2 為高頻特征融合規(guī)則偽代碼。

式中：M為不同特征融合圖像組成的列向量構(gòu)成的矢量矩陣，λ1和λ2分別為M的協(xié)方差矩陣C的最大特征值對(duì)應(yīng)特征矢量的第一個(gè)矢量值和第二個(gè)矢量值。

3 實(shí)驗(yàn)結(jié)果與分析

圖2 為紅外光強(qiáng)與偏振圖像，其中(a1)與(b1)來源于文獻(xiàn)[14]，(a2)與(b2)來源于文獻(xiàn)[15]，(a3)與(b3)來源于文獻(xiàn)[16]，(a4)與(b4)來源于文獻(xiàn)[17]，(a5)與(b5)、(a6)與(b6)為實(shí)際拍攝圖像。本文采用5 種融合算法與本文算法相對(duì)比，分別為拉普拉斯變換（Laplace Transform，LP）、穩(wěn)態(tài)小波（Steady Wavelet Transform，SWT）、非下采樣剪切波與脈沖神經(jīng)耦合網(wǎng)絡(luò)（Pulse Coupled Neural Network）結(jié)合（NSST-PCNN）、支持度變換（Support Value Transform，SVT）[18]和引導(dǎo)濾波（Guide Filter，GFF）[19]。圖3 為融合結(jié)果。

表2 高頻特征融合規(guī)則偽代碼Table 2 The pseudo code of the high-frequency feature fusion rule

圖2 紅外光強(qiáng)與偏振圖像Fig.2 Infrared intensity and polarization images, (a1)-(a4) Infrared intensity images, (b1)-(b4) Infrared polarization images

圖3 不同融合算法融合圖像Fig.3 The fusion images of different fusion algorithms

從圖3 中可以看到，不管是文獻(xiàn)中圖像還是實(shí)際拍攝的圖像，本文算法融合圖像都具有較好的亮度、細(xì)節(jié)、邊緣及區(qū)域?qū)Ρ榷忍卣?，比如圖3 中本文算法融合圖像較好地保留了水面、建筑物邊緣、車前窗等偏振較強(qiáng)的區(qū)域，同時(shí)融合圖像整體視覺效果最好，而其他融合算法沒有很好地保留紅外光強(qiáng)圖像的亮度特征和紅外偏振圖像的細(xì)節(jié)等特征，視覺效果相對(duì)較差，因此，本文融合算法能夠較好地將紅外光強(qiáng)與偏振間多種互補(bǔ)特征較好地融合到圖像中。

為了進(jìn)一步說明本文融合算法的有效性，采用灰度均值（u）、標(biāo)準(zhǔn)差（σ）、信息熵（M）、差異相關(guān)性和（Rab/F）等指標(biāo)對(duì)融合圖像進(jìn)行評(píng)價(jià)[20]，Rab/F越大表明融合圖像與源圖像越相似，如式(20)：

式中：k＝1, 2，Dk和Sk分別為融合圖像與原圖差異圖和原圖像；分別為Dk和Sk均值；Rab/F是相關(guān)性差異和。表3～8 為不同融合圖像指標(biāo)值。

表3 第一組紅外光強(qiáng)與偏振融合圖像指標(biāo)值Table 3 The fusion image index values of the first group of infrared light intensity and polarization

表4 第二組紅外光強(qiáng)與偏振融合圖像指標(biāo)值Table 4 The fusion image index values of the second group of infrared light intensity and polarization

表5 第三組紅外光強(qiáng)與偏振融合圖像指標(biāo)值Table 5 The fusion image index values of the third group of infrared light intensity and polarization

表6 第四組紅外光強(qiáng)與偏振融合圖像指標(biāo)值Table 6 The fusion image index values of the fourth group of infrared light intensity and polarization

表7 第五組紅外光強(qiáng)與偏振融合圖像指標(biāo)值Table 7 The fusion image index values of the fifth group of infrared light intensity and polarization

表8 第六組紅外光強(qiáng)與偏振融合圖像指標(biāo)值Table 8 The fusion image index values of the sixth group of infrared light intensity and polarization

從表3～8 中可以看到，本文融合算法整體上具有較高的灰度均值、標(biāo)準(zhǔn)差、信息熵，說明本文算法融合圖像較好地保留了紅外圖像的亮度特征，紅外光強(qiáng)與偏振圖像的對(duì)比度和細(xì)節(jié)特征。標(biāo)準(zhǔn)差越大圖像對(duì)比度越高，紅外偏振圖像具有較強(qiáng)的對(duì)比度特征，其標(biāo)準(zhǔn)差值較大，第四組GFF 的標(biāo)準(zhǔn)差較高，主要是由于GFF 只融合了紅外偏振圖像；本文算法差異相關(guān)性差異和值最高，說明本文算法融合圖像與源圖像相似性最高，表明本文算法能夠較好的將兩類圖像特征遷移到融合圖像中，較好地保留圖像信息。對(duì)于實(shí)際拍攝的圖像本文融合算法的指標(biāo)值同樣較高，具有較好的融合效果，表明本文融合算法具有較強(qiáng)的適應(yīng)性。

表9 和表10 為融合算法融合實(shí)際拍攝圖像的運(yùn)算時(shí)間，混合l0l1層分解采用變分方法獲得細(xì)節(jié)圖像和基層圖像，相對(duì)LP、SWT、SVT 和GFF 運(yùn)算時(shí)間長(zhǎng)，同NSST-PCNN 相比運(yùn)算時(shí)間短，雖然整體上時(shí)間相對(duì)較長(zhǎng)，但其融合算法效果較好，且從實(shí)驗(yàn)結(jié)果來看運(yùn)算時(shí)間還是較快的，具有實(shí)際應(yīng)用的能力。

表9 圖2 中(a5)和(b5)融合時(shí)間Table 9 The fusion operation time of the figure 2 (a5) and (b5) s

表10 圖2 中(a6)和(b6)融合時(shí)間Table 10 The fusion operation time of the figure 2 (a6) and (b6) s

總之本文融合算法能夠較好地融合紅外光強(qiáng)與偏振圖像間互補(bǔ)信息，獲得較好的融合圖像，運(yùn)算時(shí)間也較短，具有較好的融合效果。

4 結(jié)論

本文提出基于混合l0l1層分解的紅外光強(qiáng)與偏振圖像融合算法，利用混合l0l1層分解的優(yōu)勢(shì)，對(duì)紅外光強(qiáng)與偏振圖像進(jìn)行多尺度分解；采用指數(shù)局部高斯分布作為紅外偏振圖像的低頻特征圖像融合權(quán)重，將其注入紅外光強(qiáng)圖像的低頻圖像中，較好地融合紅外光強(qiáng)與偏振圖像中結(jié)構(gòu)特征；對(duì)高頻子帶圖像采用主成分分析和基于空間頻率和能量的兩類特征融合圖像，有效地保留了高頻子帶圖像的細(xì)節(jié)、局部區(qū)域等特征；通過實(shí)驗(yàn)對(duì)比，表明本文融合算法較好地保留了紅外光強(qiáng)與偏振圖像間多種互補(bǔ)性特征，明顯提高了融合圖像質(zhì)量。