基于BEEMD分解的紅外與可見光圖像融合

李廣安，曹 巖，岳曉新

蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州730070

由于紅外與可見光圖像傳感器的成像機理不同，所拍攝的圖像也存在有較大的差異。紅外傳感器成像是將目標(biāo)與環(huán)境的輻射差異按照固定的映射機制映射成為灰度圖像[1]，其成像不受環(huán)境條件的限制，而且能突出顯示隱藏的目標(biāo)?？梢姽鈧鞲衅魇腔谂恼請鼍暗姆瓷涔饩€而成像的，在可見光圖像中包含有豐富的紋理和輪廓等細(xì)節(jié)信息，但其成像對光線強度有一定的要求，在光線較弱的惡劣環(huán)境，可見光圖像細(xì)節(jié)信息明顯減少。因此，將兩種具有不同特征的圖像按照某種融合算法進行融合，獲得具豐富場景信息的圖像，是非常有意義的。而且這也有利于人的視覺觀察和后續(xù)其他處理，目前這種技術(shù)廣泛應(yīng)用于軍事領(lǐng)域、安全監(jiān)控、醫(yī)療科學(xué)技術(shù)、遙感領(lǐng)域和機器視覺。

隨著圖像融合領(lǐng)域的不斷發(fā)展，新的融合方法不斷提出，而且融合效率也明顯提高。傳統(tǒng)多尺度融合方法有較多種類，如金字塔算法[2]、小波變換法[3]、非下采樣Contourlet 變 換[4（]Nonsubsampled Contourlet Transform，NSCT）、shearlet 變換[5]等。盡管都有明顯的融合效果，但這些傳統(tǒng)多尺度融合方法對圖像分解主要依賴于不同類型的濾波器，并沒有依據(jù)圖像自身的特征進行分解[6]，自適應(yīng)性較差。

EMD方法是Huang等[7]于1998年提出，這是一種自適應(yīng)的分解方法，只依賴于自身數(shù)據(jù)，不需要預(yù)定義任何的基函數(shù)或濾波器。一維經(jīng)驗?zāi)B(tài)分解廣泛地用于分解一維非線性和非平穩(wěn)信號，將待分解信號按照需要的分解層數(shù)和分解停止條件，自適應(yīng)地分解為幾個內(nèi)蘊模函數(shù)（高頻成分）和一個殘差項（低頻成分）。鑒于這種優(yōu)良的分解方法，諸多學(xué)者對其進行了深入研究，并將一維信號分解擴展到二維圖像信號分解，并且已經(jīng)逐步地發(fā)展成熟。

鄭有志等[8]將BEMD算法應(yīng)用于醫(yī)學(xué)圖像融合，取得了比小波和傅里葉變換方法更好的融合結(jié)果。Zhang等[9]將BEMD 與雙通道PCNN 相結(jié)合，通過BEMD 分解得到高頻和低頻成分，使用PCNN神經(jīng)網(wǎng)絡(luò)分類高頻和低頻中的紋理和背景，再對紋理類和背景類的像素進行融合，大大提高了圖像的融合質(zhì)量。Looney 等[10]為解決EMD 分解唯一性和參數(shù)敏感的問題，提出復(fù)數(shù)經(jīng)驗?zāi)B(tài)分解算法（CEMD）。宮睿等[11]為有效地提取殘差分量中的高頻信息，提出W 變換與BEMD 算法相結(jié)合的圖像融合方法，獲得了更清晰的融合圖像。朱攀等[6]將BEMD算法與高斯模糊邏輯（GFL）結(jié)合，并應(yīng)用于紅外與可見光圖像的融合，取得了比傳統(tǒng)多尺度融合方法更好的結(jié)果。

以上的幾種算法都是利用二維經(jīng)驗?zāi)B(tài)分解算法（BEMD）的優(yōu)良分解特性，結(jié)合設(shè)計的融合規(guī)則實現(xiàn)最終的圖像融合。雖然上述方法都實現(xiàn)了一定的融合效果，但是使用BEMD算法分解圖像時多少都會存在模態(tài)混疊，對圖像邊緣和紋理提取不充分，融合后的圖像存在細(xì)節(jié)丟失。為了更有效提取圖像的特征信息，抑制分解過程中存在的模態(tài)混疊效應(yīng)。本文以BEMD 算法為基礎(chǔ)，利用噪聲的輔助分析能力，提出一種新的紅外與可見光圖像融合方法，即二維集合經(jīng)驗?zāi)B(tài)分解算法，最后通過大量實驗驗證了該算法的有效性，并且在目標(biāo)突出和細(xì)節(jié)保存上具有明顯的優(yōu)勢。

1 二維集合經(jīng)驗?zāi)B(tài)分解算法原理

BEEMD算法主要思想是借助高斯白噪聲的輔助分析能力，按照提出的噪聲模型生成幾個含不同幅值的噪聲圖像，使用改進的BEMD 分解圖像，以集成均值的方式獲得較高準(zhǔn)確度的特征分量和殘差分量。

1.1 噪聲模型

模態(tài)混疊主要是由信號間歇[12]所引起的，它的存在使分解后的內(nèi)蘊模分量頻率嚴(yán)重混合，并使之失去原有的物理意義。對BEMD算法，添加少量的高斯白噪聲卻有助于分解圖像。這是由于BEMD 算法在構(gòu)造包絡(luò)面的過程中，對圖像數(shù)據(jù)的極值點分布具有較高的要求，紋理變化較為明顯的細(xì)節(jié)部分，有較多區(qū)域極值點，紋理變化緩慢，細(xì)節(jié)不明顯的區(qū)域卻缺少必要的區(qū)域極值點，不利于BEMD算法包絡(luò)面的構(gòu)造。引入少量的高斯白噪聲以后，圖像的局部區(qū)域極值點增多，能夠更好地構(gòu)造包絡(luò)面，驅(qū)動算法。

圖像分解前，引入一定比例的高斯白噪聲，使其均勻地填充在整個圖像空間，對于大小為M×N圖像添加噪聲的模型可以表示為：

式中，A0(m,n)表示源圖像，N(m,n)是待添加的高斯白噪聲，其幅值要通過噪聲標(biāo)準(zhǔn)差δ來限制，An(m,n)是添加噪聲后的圖像，δ/δ0為噪聲標(biāo)準(zhǔn)差與圖像像素值標(biāo)準(zhǔn)差之比，通過δ將范圍限制在0～0.2，n表示集成次數(shù)(n≥3)。

圖1 是源圖像的一維行向量與含噪聲圖像的一維行向量EMD分解對比。圖（a）與圖（b）是源紅外圖像的行向量與引入白噪聲后紅外圖像的行向量，圖中紅色曲線為下包絡(luò)線，藍(lán)色曲線為上包絡(luò)線，黃色曲線為實際信號曲線。對比發(fā)現(xiàn)，圖（b）極值點明顯多于圖（a），而且圖（b）中源向量極值點和噪聲極值點能夠更好地構(gòu)造上下包絡(luò)線。對這兩個一維向量使用EMD算法分別進行分解，其效果如圖（c）和圖（d），圖（c）中源圖像的行向量分解后每個imf分量中存在有不同頻率的信號，但是圖（d）中這種現(xiàn)象明顯得到緩解。

圖1 一維行向量EMD分解結(jié)果對比

1.2 基于BEEMD的圖像分解

首先依據(jù)噪聲模型生成n個含少量高斯白噪聲的圖像，再使用改進的BEMD算法依次對n個噪聲圖像進行分解，獲得每層n個內(nèi)蘊模分量IMF，而后對每層的n個IMF求均值，得到待融合圖像的特征分量EIMF，最終的殘差分量Res也通過求均值獲得。每個特征分量EIMF以集成均值的方式獲得，目的是為了消除殘留在IMF中的高斯白噪聲，具體算法流程如下：

輸入：圖像A0，集成次數(shù)n，分解層數(shù)I。

輸出：圖像A0的特征分量EIMF和殘差分量Res。

1）將經(jīng)過配準(zhǔn)的待融合圖像按照對稱延拓的方法進行延拓。

2）根據(jù)噪聲模型生成n個含少量白噪聲的圖像，分別記為An，依次將n個圖像進行分解：

（1）初始化，令分解層數(shù)i=1，并限定最大分解層數(shù)為I層（即i

（2）將待分解圖像視為殘差分量Ri-1,n=An，計算每張圖像的第i層的內(nèi)蘊模分量IMFi。

①初始化，設(shè)定當(dāng)前的迭代次數(shù)j=0，并令Hi,j=Ri-1,n；

②查找圖像的局部區(qū)域極大值和極小值點，通過插值操作得到Hi,j的上包絡(luò)面UMi,j和下包絡(luò)面ULi,j,再根據(jù)上下包絡(luò)面求均值包絡(luò)面Mi,j=(UMi,j+ULi,j)/2；

③令Hi,j+1=Hi,j-Mi,j，按照篩選停止條件，判斷Hi,j+1與Hi,j的標(biāo)準(zhǔn)差是否滿足該條件，如果不滿足，將j加1，即j=j+1，跳轉(zhuǎn)至步驟②，滿足該條件，那么跳轉(zhuǎn)至步驟④；

④計算第i層的內(nèi)蘊模分量IMFi,n=Hi,j+1，對應(yīng)的殘差分量Ri,n=Ri-1,n-IMFi,n，將i加1，直至i>I，即圖像分解層數(shù)達(dá)到I層。

3）得到每層n個圖像的IMF分量和殘差分量R，將第i層的IMF分量求均值，得到待融合圖像每層的特征分量EIMFi：

4）最后的殘差分量也以均值的方式獲得：

5）最終，得到待融合圖像A0的BEEMD表達(dá)式：

式中，EIMFi(m,n)為圖像A0的第i個特征分量，Res(m,n)為圖像A0經(jīng)過I層BEEMD分解后的殘差分量。

上述步驟中，單個圖像的每個IMF篩選停止條件也是影響IMF分量準(zhǔn)確的關(guān)鍵因素，本文采用Cauchytype收斂條件[7]：

式中，SD表示迭代結(jié)束的標(biāo)準(zhǔn)差，(m,n)是每個像素點的位置，當(dāng)?shù)沟肧D小于ζ時，表示篩選結(jié)束，ζ取值在0.2～0.3之間，本文取ζ=0.2。

圖2和圖3為BEMD與BEEMD算法分解紅外與可見光圖像結(jié)果對比。圖2 是紅外圖像分解效果，使用BEMD 算法對紅外圖像進行三層分解獲得對應(yīng)的內(nèi)蘊模分量如圖（b）～（d），殘差分量如圖（e），而使用BEEMD算法分解后的特征分量和殘差分量如圖（f）～（h）、（i）。對比圖2的（b）和（f）明顯可以發(fā)現(xiàn)BEEMD算法獲得的第一個特征分量人物目標(biāo)的外輪廓更加清晰，第二與第三個特征分量的人物目標(biāo)也是比BEMD 算法的突出。同樣對比圖3中的（b）和（f）、（c）和（g）、（d）和（h）可以發(fā)現(xiàn)BEEMD 算法獲得的特征分量在房屋外邊緣、圍欄、跑道處的信息更加豐富。

BEEMD 算法能更準(zhǔn)確地提取圖像的特征信息，很好地抑制模態(tài)混疊，有較高的分解效率。對模態(tài)混疊的抑制能力可以使用正交指數(shù)[13（]Orthogonality Index，OI）來表述，OI 越小，表示分解效率越高，對模態(tài)混疊抑制效果越好，OI計算表達(dá)式為：式中，EIMF是每層的特征分量，EIMFI+1是分解后的殘差分量，圖像尺寸為M×N。圖2和圖3為BEMD與BEEMD算法分解紅外與可見光圖像結(jié)果對比，使用OI指標(biāo)對BEMD 和BEEMD 算法的分解效率進行評價如表1。

圖3 可見光圖像分解結(jié)果

表1 BEMD與BEEMD算法分解效率對比

OI1和OI2為BEMD 與BEEMD 算法分別分解紅外與可見光圖像的分解效率指標(biāo)。從表1 中可以看出BEEMD 算法分解效率明顯高于BEMD 算法，表明BEEMD算法對模態(tài)混疊的抑制更徹底。

2 基于BEEMD分解的紅外與可見光圖像融合

將源紅外圖像與可見光圖像使用BEEMD 算法進行分解得到相等數(shù)量特征分量和殘差分量，對特征分量采用局部區(qū)域能量選擇與加權(quán)[14]的融合規(guī)則進行融合，局部區(qū)域能量能夠很大程度地反映局部區(qū)域信息豐富程度，區(qū)域能量越大表征信息越豐富，通過局部區(qū)域能量選擇與加權(quán)自適應(yīng)的分配融合系數(shù)。對殘差分量使用模糊邏輯[15]進行融合。最后將融合后的特征分量和殘差分量直接疊加獲得最后的融合圖像，基于BEEMD分解的圖像融合具體流程：

（1）將待融合的紅外圖像IR 和可見光圖像VI 進行I層分解，得到各自的高頻和低頻成分

BEEMD算法對特征信息的提取有明顯的優(yōu)勢。在相同的分解層數(shù)下，BEEMD提取的特征信息更加豐富，這有利于保存紅外圖像的目標(biāo)信息和可見光圖像的背景信息，大幅度地提高圖像的融合質(zhì)量和視覺效果，其融合框架如圖4。

圖4 基于BEEMD算法的圖像融合框架

2.1 EIMF分量融合規(guī)則

使用BEEMD算法提取的特征分量EIMF以高頻成分為主，包含源圖像的紋理邊緣等細(xì)節(jié)信息，選擇一個合適的融合規(guī)則可以很大程度保留這些細(xì)節(jié)信息。采用最大值法[16]對高頻部分進行融合，這種融合方法速度快，但是沒有考慮相鄰像素之間的關(guān)聯(lián)性，難以體現(xiàn)待融合圖像的局部特征。按照各局部區(qū)域能量的大小自適應(yīng)地選擇區(qū)域之間的融合系數(shù)，保證特征分量高效融合。圖像的局部區(qū)域能量按照下式計算：

式中，M×N表示局部區(qū)域窗口大小，w(a,b)表示加權(quán)模版，本文取M=N=5，采用的加權(quán)模版大小是：

高頻信息的融合按照以下步驟進行：

式中，α(x,y)和β(x,y)為對應(yīng)區(qū)域的加權(quán)系數(shù)：

2.2 Res分量融合規(guī)則

圖像殘差分量是源圖像的近似描述，其中仍然保留著一定量的細(xì)節(jié)信息，占據(jù)源圖像的大多數(shù)能量，因此有效地將低頻信息融合，減少背景信息的損失是非常有必要的。采用均值的融合方法，實現(xiàn)方法簡單，但是容易造成圖像對比度下降，影響最終融合圖像的視覺效果。為了避免這種情況，本文采用模糊邏輯對殘差分量進行融合。模糊邏輯能夠很好地區(qū)分圖像中的像素是否屬于目標(biāo)或背景，對紅外圖像的目標(biāo)和可見光圖像的背景分配較大的權(quán)值，具有較好的融合效果?；谀：壿嫷娜诤戏椒椋?/p>

式中，Res(x,y)是低頻分量在(x,y)位置處的像素值，ηT(x,y)和ηB(x,y)分別表示紅外與可見光圖像殘差分量的融合權(quán)值。其計算方法為：

式中，μ和σ分別表示紅外圖像的殘差分量的均值和標(biāo)準(zhǔn)差，k是一個調(diào)節(jié)參數(shù)，用于優(yōu)化實驗結(jié)果，其取值范圍為1～3之間，本文中取值為1.5。

3 融合效果與分析

3.1 圖像融合實驗

為了證明該算法的可行性，本文設(shè)計了4組對比實驗，每組實驗通過與基于拉普拉普斯金字塔算法（LP）、小波變換等2 種經(jīng)典傳統(tǒng)算法和多尺度分解變換[17]（MSD）方法、基于視覺效果圖[18（]VSM）方法，以及四叉樹分解[19（]QD）方法等3 種新算法之間的效果進行對比。實驗中，使用BEEMD 算法分解圖像時，由于第一層特征分量通常保留了最重要的信息，同時，為減少因分解造成的信息損失，本文采用一層分解（即I=1），每個待分解圖像生成三個含白噪聲的圖像（即n=3）。對EIMF分量融合的過程中，閾值參數(shù)T取值不宜過小，過小會造成融合圖像細(xì)節(jié)丟失，為更好地保存待融合圖像的邊緣紋理等特征信息，本文取T=0.85。LP算法采用四層分解，小波變換采用Daubechies 小波，所有實驗都是在硬件參數(shù)是intel?CORE i5 處理器，2.6 GHz 主頻，運行內(nèi)存4 GB的PC機上完成的，編程環(huán)境是Matlab R2017a。

將具有相同場景的紅外圖像與可見光圖像使用以上的6種算法進行融合，圖5（a）、（b）分別是對應(yīng)的紅外與可見光圖像，第一組紅外圖像人物目標(biāo)特別清晰，背景較為模糊；可見光圖像具有豐富的場景信息，但人物目標(biāo)卻不可見。第三組可見光圖像明顯地可以看見廣告牌上的字體及路燈基座等細(xì)節(jié)信息，但車輛、路燈由于夜晚光照不足的原因，較為暗淡；紅外圖像卻能夠突出具有熱輻射的目標(biāo)，如行人、車輛輪胎及基座等。同樣，在第二組和第四組均可以觀察到紅外與可見光圖像所具有的信息特征。

圖5 待融合的紅外與可見光圖像

3.2 融合實驗結(jié)果分析

以上6種算法均實現(xiàn)了紅外與可見光圖像的融合，在一定程度上既突出了紅外目標(biāo)，又保存了背景信息。但是不同算法的融合效果有明顯的差異，如圖6 所示，在第一組實驗中LP算法雖然明顯地突出了人物的外形輪廓，但是融合圖像背景明顯缺少細(xì)節(jié)信息。小波變換的方法無論是在人物還是背景方面的保存上都不夠，整體效果相對較差。MSD、VSM、QD 及本文的融合方法相對于前兩種算法，都有較好的融合結(jié)果，但是MSD、VSM 及QD 方法在樹枝、樹葉及圍欄等細(xì)節(jié)的保存上，主觀效果仍不如本文方法。本文方法保留了更多的空間細(xì)節(jié)信息，既突出了人物目標(biāo)，又很好地保存了背景信息，綜合效果最好。

圖6 不同算法的實驗效果對比

對比第二組融合實驗，LP 方法較多地保留了紅外圖像的信息，汽船局部區(qū)域較亮，不能很好地突出其外形輪廓和局部細(xì)節(jié)；小波變換方法整體較暗，細(xì)節(jié)突出不明顯；MSD、VSM、QD的融合效果相對前兩種傳統(tǒng)方法有很大改善，但是背景信息的保存仍然不如本文算法。同樣，在第三組和第四組的對比實驗中本文算法優(yōu)勢也可以很好地體現(xiàn)，在第三組對比實驗中，LP方法廣告牌上的字體較暗，小波變換對于人物和車輛等細(xì)節(jié)信息的保存仍然不夠，整體對比度也偏低，MSD 和VSM方法，雖然很好地保存了人物信息和車輛信息，但是在廣告牌處的對比度較低，QD 方法在人物和路燈等處的細(xì)節(jié)模糊不清。本文方法無論是在人物、車輛及廣告牌字體上，都具有很好的可視性。第四組融合結(jié)果中，本文方法主觀效果仍然好于其他算法。總體來說，本文算法細(xì)節(jié)突出明顯，清晰度高，可視化效果也最好。

為了進一步說明該算法的有效性，選取算法運行時間、平均梯度（AG）、標(biāo)準(zhǔn)差（SD）、信息熵（IE）等[20]幾個客觀評價指標(biāo)對上述算法進行評價。算法運行時間用于驗證算法的復(fù)雜度及效率；平均梯度可以定量評價圖像的清晰程度，反映圖像細(xì)節(jié)的變化特征[21]；標(biāo)準(zhǔn)差在一定程度上可以反映圖像包含信息量的多少；信息熵也是用于衡量圖像信息豐富程度的另一指標(biāo)，信息熵越大，圖像中含有的信息越豐富。從表2橫向?qū)Ρ瓤梢钥吹奖疚乃惴ㄔ诘谝唤M實驗的三個客觀評價指標(biāo)中標(biāo)準(zhǔn)差和信息熵均高于其他算法，平均梯度略低于LP、MSD、VSM 和QD 算法，第二組實驗中平均梯度均大于其他算法，第三組和第四組也是有兩項指標(biāo)高于其他算法?？v向?qū)Ρ瓤梢园l(fā)現(xiàn)本文算法平均梯度和信息熵中有兩組高于其他算法，標(biāo)準(zhǔn)差中有三組高于其他算法。綜合對比而言本文算法在客觀評價指標(biāo)方面也有較好的結(jié)果。而在運行時間上，由于本文算法需分解噪聲模型生成的多個圖像，所以算法運行時間略長，LP和小波變換的方法融合規(guī)則簡單，算法時間損耗相對較少，融合效果也較差。QD方法是將提取的紅外特征直接疊加在可見光圖像上，算法本身較為省時；MSD 和VSM 也是基于變換域的融合，雖然運行時間小于本文算法，但是最后融合結(jié)果與本文卻有明顯的差距。

表2 融合結(jié)果的客觀評價指標(biāo)

4 結(jié)束語

本文針對二維經(jīng)驗?zāi)B(tài)分解（BEMD）算法在圖像分解過程中容易出現(xiàn)模態(tài)混疊現(xiàn)象，利用高斯白噪聲的輔助分析能力，提出基于BEEMD分解的紅外與可見光圖像融合。該算法能有效抑制分解過程中存在的模態(tài)混疊，獲得準(zhǔn)確的特征分量和殘差分量，并將提取的特征分量EIMF按照局部區(qū)域能量選擇與加權(quán)的方式，自適應(yīng)選擇融合系數(shù)進行融合，殘差分量Res以有利于保存目標(biāo)和背景信息的融合規(guī)則進行融合。將融合后的特征分量和殘差分量疊加得到融合圖像。融合后的圖像不僅突出了紅外圖像的目標(biāo)，而且明顯增強了可見光圖像中的場景信息，具有良好的視覺效果和圖像清晰度，同時在客觀評價指標(biāo)方面也取得了很好的結(jié)果。在接下來的工作中，繼續(xù)改進本文算法，進一步提高主觀效果和客觀評價指標(biāo)。