基于NSCT 的紅外與可見光圖像融合算法

王躍華，陶忠祥

(空軍航空大學(xué) 航空軍械工程系，長(zhǎng)春 130022)

圖像融合是指將2 個(gè)或2 個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場(chǎng)景解釋的信息處理過程［1］。紅外與可見光圖像融合則是在軍事領(lǐng)域和安全監(jiān)控領(lǐng)域具有廣泛應(yīng)用的一種圖像融合方式。紅外圖像一般較暗、信噪比低、無彩色信息、缺少層次感，但卻常有比較明顯的目標(biāo)信息;可見光圖像光譜信息豐富，動(dòng)態(tài)范圍大，對(duì)比度相對(duì)較高，包含豐富的細(xì)節(jié)信息，但在黑暗背景下不易觀察［2］。通過對(duì)紅外與可見光圖像的融合，提高紅外目標(biāo)的可識(shí)別度和圖像的清晰度，獲得更加詳細(xì)準(zhǔn)確的信息，可以使我們能在惡劣的環(huán)境下也能準(zhǔn)確判斷熱源的位置，在軍事作戰(zhàn)、電子產(chǎn)品檢測(cè)、資源探測(cè)等眾多領(lǐng)域中都有廣泛的實(shí)用價(jià)值。

目前，通過多尺度分解對(duì)圖像進(jìn)行融合是研究的熱點(diǎn)。圖像多尺度分解的常用方法主要有金字塔變換、小波變換、Contourlet 變換和非下采樣Contourlet 變換(Nonsubsampled Contourlet Transform，NSCT)等方法。金字塔分解結(jié)構(gòu)中不同分辨率細(xì)節(jié)彼此相關(guān)，算法穩(wěn)定性差。小波變換克服了金字塔方法的算法不穩(wěn)定性，但傳統(tǒng)的小波變換雖然能高效處理一維分段連續(xù)信號(hào)，但由一維小波通過張量積形成的二維小波基只能獲得水平、垂直和對(duì)角3 個(gè)方向上的信息，無法精確表述圖像邊緣方向信息，也不能最優(yōu)表示含線或面奇異的二維圖像。Contourlet 變換具有小波變換的多分辨率和時(shí)頻局部化特性，還具備高度的方向性和各向異性，能很好地“捕捉”二維圖像的幾何結(jié)構(gòu)，但由于在變換中需要進(jìn)行上采樣和下采樣操作，因而不具備平移不變性，存在頻譜混疊現(xiàn)象。而NSCT 則不僅具有小波變換的多分辨率和時(shí)頻局部化特性，同時(shí)還具有很好的方向性和各向異性及平移不變特性，可以獲得圖像任何方向的信息。因此本文采用基于NSCT的方法進(jìn)行圖像融合。

1 NSCT 理論

NSCT 是一種離散圖像的多尺度、多方向的分解方法，它是在Contourlet 變換的理論基礎(chǔ)上提出的［3-4］。NSCT 變換可以分為非采樣塔式濾波器(nonsubsampled pyramid filter bank，NSPFB)和非采樣方向?yàn)V波器組(nonsubsampled directional filter bank，NSDFB)兩部分，它將多尺度分析與多方向分析分開進(jìn)行，并且取消了對(duì)相應(yīng)信號(hào)分量直接進(jìn)行上采樣和下采樣的操作。NSCT 首先采用NSPFB 對(duì)圖像進(jìn)行多尺度分解，原始圖像經(jīng)一級(jí)NSPFB 分解可產(chǎn)生一個(gè)低通子帶圖像和一個(gè)帶通子帶圖像，以后每級(jí)NSPFB 分解都可在低通子帶圖像上迭代進(jìn)行，再對(duì)每一級(jí)NSPFB 分解所獲得的高頻分量采用NSDFB 進(jìn)行方向分解，從而得到不同尺度、方向的子帶圖像(系數(shù))，最后將分布在同方向上的奇異點(diǎn)連接成輪廓段。其中NSPFB 分解使NSCT 具備了多尺度性，采用à Trous 算法實(shí)現(xiàn)NSDFB 又使得NSCT 具備了多方向性，二者的有機(jī)結(jié)合使得NSCT 具有Contourlet 變換的多尺度和多方向性，同時(shí)還具備了平移不變性。圖1 給出了NSCT 的結(jié)構(gòu)示意圖。

2 基于NSCT 的圖像融合

圖像經(jīng)多尺度幾何分解后，得到的低頻部分代表了圖像的近似分量，主要反應(yīng)了源圖像的平均特性，包含了源圖像的光譜信息和大部分的能量信息;分解后的高頻子帶代表了圖像的細(xì)節(jié)分量，如邊緣、直線、區(qū)域邊界等，描述了圖像的結(jié)構(gòu)信息。因此，源圖像分解后的高、低頻部分需要分別進(jìn)行融合，其融合算法的選擇非常重要。

圖1 NSCT

2.1 融合步驟

基于NSCT 的圖像融合具體步驟如下:

1)對(duì)紅外與可見光源圖像分別進(jìn)行J 級(jí)NSCT 分解，得到圖像分解后各自的NSCT 系數(shù):

其中:Cj0(x，y) 為低頻子帶系數(shù);Cj，l( x，y) 為j 尺度下l 方向高頻子帶系數(shù);

2)采用一定的融合規(guī)則對(duì)各分階層上的不同頻率分量進(jìn)行融合處理，得到融合圖像 F 的 NSCT 系數(shù)

3)對(duì)融合后的低頻子帶系數(shù)和各尺度層的高頻方向子帶系數(shù)進(jìn)行NSCT 逆變換得到融合圖像F。

2.2 融合規(guī)則

融合規(guī)則是圖像融合中重要的環(huán)節(jié)，融合規(guī)則的好壞會(huì)直接影響融合結(jié)果的優(yōu)劣。本文選擇基于區(qū)域能量匹配度測(cè)度的融合規(guī)則，并對(duì)圖像的高、低頻子帶分別進(jìn)行融合。

區(qū)域能量定義為

其中M×N 大小為3 ×3、5 ×5 等(本文取3 ×3)，w ( m，n )=為窗口掩模。

區(qū)域能量匹配度定義為

設(shè)匹配度閾值為α(α 一般為0.5 ～1，本文取0.7)。

2.2.1 低頻部分融合規(guī)則

低頻部分是源圖像的近似描述，包含源圖像的大部分信息，其能量占圖像全部能量的比例較大，而圖像區(qū)域方差則反映了局部區(qū)域內(nèi)圖像信息量的豐富程度［5-6］，因此采用基于區(qū)域能量匹配度的能量方差決策選擇與加權(quán)平均相結(jié)合的融合方法進(jìn)行低頻子帶融合系數(shù)的選取。

區(qū)域方差定義為

能量方差決策值定義為

則若MI，V(x，y) ＜α，則融合后系數(shù)為

若MI，V( x，y) ≥α，則采用加權(quán)平均進(jìn)行低頻系數(shù)的融合，融合后系數(shù)為

其中，p1，p2為自適應(yīng)調(diào)整因子:

2.2.2 高頻部分融合規(guī)則

高頻部分代表圖像的細(xì)節(jié)分量，包含源圖像的邊緣細(xì)節(jié)信息。對(duì)于高頻部分的融合，采用一種混合的融合規(guī)則。由于低層反映的是較粗的信息，為更好地維護(hù)像素鄰域的相關(guān)性，是邊緣線條更加自然，選用基于區(qū)域能量匹配度的區(qū)域方差選大融合法;高層信息反映的是細(xì)節(jié)信息，各信息之間有很大的獨(dú)立性，因而采用像素點(diǎn)的絕對(duì)值取大的方法進(jìn)行選?。?-8］。具體融合規(guī)則為:

1)融合圖像在最高層分解尺度J(本文取J =4)上的各高頻系數(shù)為

2)對(duì)于分解尺度J 以外的其他(J -1)層的高頻系數(shù)，采用基于區(qū)域能量匹配度的區(qū)域方差選大方法進(jìn)行融合，融合方法為:

若MI，V( x，y) ＜α，則:

若MI，V( x，y) ≥α，則采用加權(quán)平均進(jìn)行低頻系數(shù)的融合，融合后系數(shù)為

其中q1，q2為自適應(yīng)調(diào)整因子:

3 融合評(píng)價(jià)指標(biāo)及實(shí)驗(yàn)結(jié)果分析數(shù)

為了驗(yàn)算法的有效性，基于以上理論和算法，利用Matlab 7.0 編程對(duì)紅外與可見光圖像進(jìn)行驗(yàn)證。本文提出的方法與以下幾種融合方法進(jìn)行對(duì)比(表1)。

表1 融合實(shí)驗(yàn)使用的融合規(guī)則

以下為實(shí)驗(yàn)結(jié)果:圖2(a)和圖2(b)分別為紅外與可見光源圖像;圖2(c ～g)是采用表1 中融合規(guī)則1 ～5 的融合圖像，實(shí)驗(yàn)采用4 層NSCT 對(duì)圖像進(jìn)行分解。

為定量評(píng)價(jià)不同融合方法用于紅外與可見光圖像融合的性能，本文采用標(biāo)準(zhǔn)差，信息熵，平均梯度及交叉熵為圖像融合評(píng)價(jià)指標(biāo)。圖像的標(biāo)準(zhǔn)差反映了圖像灰度相對(duì)于灰度平均值的離散程度。標(biāo)準(zhǔn)差大，則圖像灰度級(jí)分散，圖像的反差大，可以看出更多的信息;信息熵反映圖像的信息豐富程度，熵值越大，圖像所包含的信息就越豐富，融合質(zhì)量就越好;平均梯度(清晰度)反映了圖像的清晰程度，還能反映出圖像中微小細(xì)節(jié)反差與紋理變化特征，是描述圖像清晰程度的一個(gè)物理量，平均梯度越大，圖像越清晰，信息保留越多;交叉熵直接反映了2 幅圖像對(duì)應(yīng)像素之間的差異。交叉熵越小，說明圖像之間的差異越小，融合后的圖片從原始圖片中提取的信息量越多，則融合效果越好。比較結(jié)果如表2。

圖2 紅外與可見光圖像及不同融合規(guī)則的融合圖像

表2 圖像融合性能評(píng)價(jià)

由表2 可以看出，使用本文NSCT 變換和融合規(guī)則進(jìn)行融合得到的融合圖像，無論從信息熵、交叉熵，還是平均梯度和標(biāo)準(zhǔn)差，使用本文融合規(guī)則得到的實(shí)驗(yàn)結(jié)果均要強(qiáng)于使用其他融合規(guī)則，其結(jié)果基本與視覺特性保持一致。

4 結(jié)束語

利用紅外與可見光圖像提供的互補(bǔ)和冗余信息，可以有效改善圖像的信噪比，并且獲得更為可靠的圖像信息。本文提出的基于NSCT 變換的圖像融合規(guī)則，通過大量實(shí)驗(yàn)表明，使用此方法獲得的融合圖像具有更多的細(xì)節(jié)信息，并且能夠表現(xiàn)出較好的融合性能。

［1］莊小嬋. 圖像融合算法研究［D］. 西安:西北工業(yè)大學(xué)，2007.

［2］葛小青.紅外與可見光圖像融合的研究［D］.重慶:重慶大學(xué)，2010.

［3］da Cunha A L，Zhou J P，Do M N.The nonsubsampled contourlet transform:Theory，design and applications［J］.IEEE Transactions on Image Processing，2006，15 (10):3089-3101.

［4］Zhou Jian ping，Cunha A L，Do M N.Nonsubsampled contourlet transform:Construction and application in enhancement［C］//2005 International Conference on I mage Processing.［S.l.］:［s.n.］，2005:469-472.

［5］李鋼，王雷，張仁斌.基于特征能量加權(quán)的紅外與可見光圖像融合［J］.光電工程，2010，37(3):83-87.

［6］王樂山，李華鋒，阿主拉且.非采樣Contourlet 域內(nèi)的區(qū)域?qū)Ρ榷葓D像融合［J］. 計(jì)算機(jī)工程與應(yīng)用，2010，46(35):185-187.

［7］林玉池，周欣，宋樂等.基于NSCT 變換的紅外與可見光圖像融合技術(shù)研究［J］.傳感器與微系統(tǒng)，2008，27(12):45-47.

［8］王丹，周錦程.基于NSCT 的圖像融合算法［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2010，19(2):185-189.

［9］宋英姿. 基于第二代Curvelet 變換的多聚焦圖像融合［J］.四川兵工學(xué)報(bào)，2010(3):115-118.

［10］范永輝，王剛，曲文娟. 基于小波域分類隱馬爾可夫樹模型的圖像融合算法研究［J］.激光雜志，2009(5):32-34.

［11］劉坤，郭雷，陳敬松. 一種有效的紅外圖像融合算法［J］.火力與指揮控制，2010(6):10-13.