基于非抽樣形態(tài)小波的圖像融合方法

楊秀林，陳 曦，曹 科，秦國瑾

（四川九洲北斗導航與位置服務有限公司技術中心，成都 610000）

圖像融合是通過某種融合系統(tǒng)，將2 個或多個互補的波段、傳感器的有用信息綜合成統(tǒng)一圖像或綜合圖像特征以供觀察或進一步處理，達到對目標或場景更為精確、全面的識別、分析和判決的圖像處理方法。

目前圖像融合的熱點主要是基于多尺度變換的融合[1-3]，其通過多尺度分解得到圖像的低頻信息，并提取圖像在多個尺度上的細節(jié)（高頻）信息。基于多尺度變換圖像融合主要是采用小波、超小波、形態(tài)小波等進行變換，針對低頻信息、高頻信息表示的不同物理意義，分別進行融合。

目前，非抽樣形態(tài)小波在一維信號特征提取中很普遍，例如，文獻[4]將其用于主減速器振動特征提取，文獻[5]將其用于輪對軸承復合故障信號檢測，文獻[6]結合形態(tài)非抽樣小波與DCT 高階奇異熵來提取液壓泵退化特征信號。近年來，基于非抽樣形態(tài)小波的圖像融合研究也取得了一定的研究成果，例如，文獻[7]將非抽樣形態(tài)小波變換應用于圖像融合，并提出了將膨脹腐蝕的平均作為分析算子，但是顯著目標附近出現(xiàn)了邊緣增厚的現(xiàn)象。文獻[8]提出了一種S-變換的非抽樣形態(tài)小波并用于多種類型的圖像融合，該形態(tài)小波是二維四通道的，通過增加通道和引入增強效果，提高圖像融合效果。非抽樣形態(tài)小波從一維信號特征提取拓展到圖像處理應用，從雙通道拓展到多通道，特征提取能力逐步增強。

1 相關研究

1.1 形態(tài)學圖像處理

在生物學中，形態(tài)學[9-10]常用來研究動、植物形態(tài)和結構，已形成了一個較完善的學科；在數(shù)字圖像處理中，形態(tài)學被用來提取可表達某種區(qū)域形狀（連通分量、邊界、骨架等）的圖像分量。數(shù)學形態(tài)學中，圖像被看作是一個大的集合，圖像中不同的對象被看作是小的集合，形態(tài)學就是采用不同的形態(tài)算子提取對圖像處理有用的集合。

膨脹和腐蝕在形態(tài)學中簡單而重要，因為其他的算子都是在其基礎上變化而來。設A和B是z2 中的集合，A被B膨脹定義為

式中：先對B取補運算，并保證B的補集中至少有一個值是屬于A的，以z進行位移，所有位移后的值就是A被B膨脹的結果。B被稱為結構元素，其尺寸與形狀具有重要的物理含義，可針對不同的圖像處理任務來選擇合適的結構元素，常使用方形的結構元素、圓盤的結構元素和鉆石形的結構元素等。集合B腐蝕集合A的定義為

式中：點z是B中包含于A中的點之一，平移所有這樣的z點得到的值就是腐蝕的結果。A腐蝕B結果的補集等于A的補集膨脹B的反射，如下所示

開運算和閉運算被膨脹運算和腐蝕運算的組合所定義。在處理過程中，圖像中的對象往往被膨脹運算所擴大，圖像中的對象往往被腐蝕運算所侵蝕縮小。圖像中狹窄的間斷和細的突出物往往被開運算所斷開和消除，所得的輪廓變得平滑；狹窄的間斷、細長的鴻溝、小的空洞往往會被閉運算所消除，輪廓線中的斷裂往往會被閉運算所填補，輪廓線變得更加光滑。開運算和閉運算的結果都讓圖像的輪廓變得平滑，但意義和效果不一樣。開運算定義為

開運算就是B先腐蝕后膨脹A，閉運算就是B先膨脹后腐蝕A，閉運算定義為

與二值圖像處理相比，灰度圖像的處理更加普遍?，F(xiàn)在介紹灰度圖像的形態(tài)學處理。假設f（x，y）是輸入圖像，b（x，y）是結構元素，它們都是離散的表達形式，圖像f的灰度級是整數(shù)且是以二維坐標（x，y）的灰度值函數(shù)。結構元素b膨脹灰度圖像f定義為

Df是輸入圖像f的定義域，Db是結構元素b的定義域。位移量x和y必須在結構元素b的定義域內(nèi)，（s-x）和（t-y）必須在f的定義域內(nèi)?；叶扰蛎浭褂米畲笾颠\算來取代二維卷積的求和運算，使用加法運算來取代二維卷積的乘積運算?；叶雀g定義為

類似地，位移量x和y必須在b的定義域內(nèi)，（s+x）和（t+y）必須在f的定義域內(nèi)?；叶雀g使用“最小值”運算來替代灰度膨脹的“最大值”運算，使用減法運算來替代加法運算?；叶扰蛎浐透g比二維卷積運算計算速度快。灰度圖像的膨脹運算和腐蝕運算也是關于函數(shù)求補和映射相關相互對偶的。

灰度開運算定義為

灰度閉運算定義為

灰度開運算和閉運算同樣是關于函數(shù)求補和映射相關對偶的，關系為

圖像處理中，灰度開運算先灰度腐蝕后灰度膨脹，灰度腐蝕去除了微小的圖像細節(jié)使其有所變暗；灰度膨脹使圖像整體亮度增強，但是灰度腐蝕去除的細節(jié)不被再引入了?；叶乳]運算先灰度膨脹后灰度腐蝕，灰度膨脹去除了圖像中的暗細節(jié)并使其亮度增強；灰度腐蝕不會使去除的信息再引入?；叶乳_運算常用來去除小而亮的圖像細節(jié)并保持整體灰度級和明亮區(qū)域相對不變?；叶乳]運算常用來去除圖像中較小而暗的細節(jié)并保持明亮部分相對不變。

1.2 高帽變換

1.1 節(jié)中依次介紹了二值形態(tài)學、灰度形態(tài)學的基本操作：膨脹、腐蝕、開運算和閉運算。開運算和閉運算被膨脹和腐蝕的組合操作所定義，高帽變換被開運算和閉運算所定義。高帽（Top Hat） 變換包括白帽（White Hat）變換和黑帽（Black Hat）變換。假設灰度圖像和結構元素分別為A和B，白帽變換和黑帽變換定義為

由式（11）、（12）可以看出，白帽變換是由原圖與經(jīng)過開運算結果的差值運算得來的，黑帽變換是由原圖與經(jīng)過閉運算結果的差值運算得來的。開運算或閉運算不具有自對偶性。開運算可以平滑圖像亮的特征，因此，白帽變換可以提取圖像的亮細節(jié)（尖峰信號）[11]；閉運算可以平滑圖像暗的特征，因此，黑帽變換可以提取圖像的暗細節(jié)（低谷信號）[11]。如果在圖像處理中同時采用白帽變換和黑帽變換來提取不同的細節(jié)信號、進行分別的處理，那么通過互補原理就可以對信號進行更好的分析。

1.3 非抽樣形態(tài)小波的一般框架

與線性尺度空間相比，非線性尺度空間能更好地描述圖像的性質(zhì)，圖像被多尺度分解后依然能更好地保持邊緣等重要的物理特性。形態(tài)小波應用于圖像融合雖然具有非線性、計算實現(xiàn)簡單的優(yōu)點，但是下采樣會產(chǎn)生吉布斯效應，通常只分解1 層，分解2 層以上均不能取得好地融合效果。文獻[12]提出了一種構造非抽樣形態(tài)小波的基本方法并定義為

式中：id為等同算子，φj為第j個尺度上的尺度分析算子，ωj是第j個尺度的細節(jié)分析算子；ψj是第j個尺度上的綜合算子。使用T（）來表示形態(tài)學算子，可根據(jù)實際需求選擇基本算子或組合使用某些算子。在這個框架下，研究者提出了多種非抽樣形態(tài)小波的構造方法，例如，文獻[4]在主減速器振動特征提取過程中，采用開閉級聯(lián)的分析算子來構造UMW，分析算子為

式中：n為信號分解的尺度，尺度j+1 上的低頻信號yj+1 等于分別對尺度j上的信號xj進行開運算和閉運算所得結果的平均，尺度j+1 上的細節(jié)信號yj+1等于xj與xj+1兩者之差。由于開運算和閉運算具有冪等性，研究中采用了大小隨尺度遞增的結構元素，Bn的定義為

文獻[8]提出了采用膨脹與腐蝕的平均作為分析算子，記為DE-UMW，并用于圖像融合，獲得了不錯的融合效果，如式（16）所示

式中：n為信號分解的尺度，尺度j+1 上的低頻信號xj+1等于分別對尺度j上的信號xj進行膨脹和腐蝕所得結果的平均，尺度j+1 上的細節(jié)信號yj+1等于xj與xj+1兩者之差。為了增大尺度之間的差異性，該文中也采用了大小隨尺度遞增的結構元素。由上面的討論可以知道，非抽樣形態(tài)小波的框架比較簡單，有優(yōu)良的尺度特性和非常快的分解和重構速度，在圖像融合方面具有潛在的優(yōu)勢。

2 基于非抽樣形態(tài)小波的圖像融合方法

2.1 三通道的形態(tài)非抽樣小波

由前面的知識可以知道，UMW 實際上是用數(shù)學形態(tài)學算子構成的非線性濾波器T（）來替代不可分離àtrous小波變換中的低通濾波器hi，和àtrous 小波一樣是二維雙通道的。UMW 變換和反變換的流程圖如圖1 所示。

圖1 UMW 變換與反變換過程

在圖像融合中，采用DE-UMW 取得的融合效果較好，但是其不能很好地滿足形態(tài)學尺度空間的局部極值保持和縮減的空間屬性[8]。本文仔細分析了UMW 的表達形式，從另外一個角度來構造新的UMW。DEUMW 方法采用腐蝕與膨脹的平均作為UMW 的分析算子，如公式（17）—（19）所示。

公式（17）表示尺度j+1 上的低頻圖像，式（18）表示尺度j+1 上的細節(jié)圖像，式（19）表示由低頻圖像和細節(jié)圖像重構回上一個尺度的圖像?？梢钥闯觯毠?jié)圖像中的系數(shù)相當于某種意義上的梯度算子，即一種導數(shù)方向可以自適應改變的二階導數(shù)。這種自適應改變的梯度使輸入圖像中灰度級的階躍變得更為劇烈，這與提高融合圖像與源圖像的相似程度是不相符的。因此，本節(jié)將細節(jié)信號中的二階梯度進行拆分，分解為2 個一階的梯度，該方法記為DE-3CUMW，如公式（20）—（23）所示。

式中：低頻圖像較DE-UMW 方法沒有任何改變，如公式（20）所示。細節(jié)信號分解為某種程度上的一階梯度的形式，如公式（21）、（22）所示。顯然，一階梯度不會使輸入圖像的灰度階躍像二階梯度那樣劇烈。公式（23）將低頻圖像和細節(jié)圖像重構回上一個尺度的圖像。

本節(jié)給出了3CUMW 分解與重構過程如圖2 所示，采用了3 個分析濾波器T、T1 和T2，增加了1 個通道的存儲空間，且較UMW 方法增加了1 次加法、1 次減法和1 次除法運算。

圖2 三通道的非抽樣形態(tài)小波變換分解與重構過程

如果采用開閉運算的平均作為非抽樣形態(tài)小波的分析算子，記為OC-UMW，將其拓展為三通道的非抽樣形態(tài)小波，記為OC-3CUMW，如公式（24）—（27）所示。

注意，公式（25）是多尺度白帽變換，公式（26）是多尺度黑帽變換。同樣，低頻圖像和原來一樣。細節(jié)圖像分解為2 個細節(jié)圖像：由白帽變換提取的亮細節(jié)（尖峰信號）圖像；由黑帽變換提取的暗細節(jié)（低谷信號）圖像。細節(jié)圖像中既有亮細節(jié)又有暗細節(jié)，在融合時就更有針對性了。因為結構元素對增強陰影的細節(jié)很有用處[10]，所以OC-3CUMW 采用圓形的結構元素。

2.2 實驗步驟

本節(jié)將DE-3CUMW 和OC-3CUMW 兩種方法應用于圖像融合，并與DE-UMW 和OC-UMW 進行對比，使用1 組紅外線和微光圖像，1 組多聚焦圖像和1組不同季節(jié)的遙感圖像進行實驗，實驗過程如下：第一步分解源圖像，得到相應的低頻圖像和各個尺度上的細節(jié)圖像；第二步融合系數(shù)，將分解所得的低頻加權平均，所得的高頻選擇絕對值較大的系數(shù)；第三步反變換，將融合后的低頻系數(shù)與高頻系數(shù)進行UMW 反變換以獲得融合圖像。為了進行公平的比較，除3CUMW 分解2 層外，各種方法都采用5 層分解；OC-3CUMW 使用圓形的結構元素，其他方法使用方形的結構元素，所有的結構元素遞增以增加各個尺度之間的差異。

3 實驗及分析

本節(jié)使用信息熵EN、互信息MI、平均梯度AvG、邊緣保持度Qabf 和結構相似度SSIM[9]等客觀指標來評價融合圖像。

3.1 紅外可見光圖像融合

本節(jié)使用一組像素為632×496 的紅外和可見光圖像，源圖像和各方法的融合結果如圖3 所示。圖3（a）是紅外圖像，圖3（b）是可見光圖像。圖3（c）中的顯著目標出現(xiàn)了邊緣增厚的現(xiàn)象，圖3（d）情況類似；圖3（f）較圖3（e）更清晰，視覺效果更好。

圖3 紅外可見光圖像融合結果

與各方法的融合結果相對應的評價指標見表1。

表1 紅外與可見光圖像的融合客觀評價指標

計算表1 所得的數(shù)據(jù)發(fā)現(xiàn)，DE-3CUMW 比DEUMW 的平均梯度下降13.7%，信息熵增加了，度量圖像相似度的MI、Qabf 和SSIM 相應增加了。較OCUMW 方法，OC-3CUMW 方法的融合圖像平均梯度降低了4%，信息熵有所增加，度量圖像相似度的MI、Qabf 和SSIM 相應增加了。DE-3CUMW 方法有3 個指標優(yōu)于OC-3CUMW，但存在邊緣增厚的現(xiàn)象。綜上所述，OC-3CUMW 的融合效果綜合評價更好。

3.2 多聚焦圖像融合

本節(jié)使用一組像素為512×512 的多聚焦圖像，源圖像和各方法的融合結果如圖4 所示，圖4（a）是左聚焦圖像，圖3（b）是右聚焦圖像。圖4（c）中的顯著目標出現(xiàn)了邊緣增厚的現(xiàn)象，圖4（d）情況類似；圖4（f）較圖3（e）更清晰，視覺效果更好。

圖4 多聚焦圖像的融合結果

與各方法的融合結果相對應的評價指標見表2。

表2 多聚焦圖像的融合客觀評價指標

同樣，由表2 的數(shù)據(jù)計算，DE-3CUMW 比DEUMW 的平均梯度降低了12%，信息熵有所降低，度量圖像相似度的MI、Qabf 和SSIM 相應增加了。較OCUMW 方法，OC-3CUMW 方法的融合圖像平均梯度降低了5.8%，信息熵有所降低，度量圖像相似度的MI、Qabf 和SSIM 相應增加了。OC-3CUMW 方法有4 個指標優(yōu)于DE-3CUMW，OC-3CUMW 的融合效果綜合評價最好。

3.3 遙感圖像融合

本節(jié)使用一組像素為512×512 的某地區(qū)不同季節(jié)的遙感圖像，源圖像和各方法的融合結果相應的評價指標見表3，而融合結果如圖5 所示。

表3 遙感圖像的融合客觀評價指標

圖5 遙感圖像的融合結果

類似地，由表3 可以看出，3CUMW 方法的融合圖像平均梯度比UMW 方法相應減少了，信息熵有所增加，度量圖像相似度的MI、Qabf、SSIM 相應增加了。OC-3CUMW 方法有5 個指標優(yōu)于DE-3CUMW，OC-3CUMW 的融合效果綜合評價最好。

綜上所述，DE-3CUMW 與DE-UMW 進行比較，OC-3CUMW 與OC-UMW 進行比較得出以下結論：①由于通道的擴展，需要的存儲空間增多；②DE-3CUMW 將二階的細節(jié)形式拆為2 個一階的形式，降低了融合圖像的平均梯度；③融合圖像與源圖像更加相似且融合效果更佳；④OC-3CUMW 的融合效果最好；⑤三通道的非抽樣形態(tài)小波適合多種類型的圖像融合應用，且計算簡單可以用于實時圖像融合。

4 結束語

本文提出一種三通道的非抽樣形態(tài)小波的構造方法，并應用于圖像融合。通過紅外與可見光圖像、多聚焦圖像、遙感圖像的圖像融合實驗，證明了該方法的有效性。目前，低頻信息融合、高頻信息融合采用取均值的方法，研究基于三通道非抽樣形態(tài)小波變換下低頻信息、高頻信息的融合策略將是下一步目標。