一種基于無下采樣Contourlet變換的多聚焦彩色圖像融合算法

鄒蓉

摘 要： 提出了一種基于無下采樣Contourlet變換和YIQ顏色空間的多聚焦彩色圖像融合算法。對變換得到的高低頻分量，根據(jù)各自的物理意義采用不同的融合規(guī)則進(jìn)行融合處理，其中對高頻分量的Y分量采用基于區(qū)域絕對值的融合規(guī)則，對I、Q分量采用改進(jìn)的區(qū)域?qū)Ρ榷热诤弦?guī)則。通過實(shí)驗(yàn)驗(yàn)證了這種改進(jìn)算法的可行性、有效性和穩(wěn)定性。

關(guān)鍵詞： 圖像融合； 無下采樣Contourlet變換； YIQ顏色空間； 多聚焦彩色圖像

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2013）06-47-03

A multi-focus color image-fusion algorithm based on non-subsampled Contourlet transform

Zou Rong

（Xiamen Institute of Technology Huaqiao University， Xiamen， Fujian 361021， China）

Abstract： In this paper， a multi-focus color image fusion algorithm based on non-subsampled Contourlet transform and YIQ color space is proposed. Different fusion rules are used to fuse the high and low frequency components， according to their own physical significance. The fusion rule based on regional absolute value is used to fuse the Y component of high frequency， while the fusion rule based on improved regional contrast grade is used to fuse the I and Q component. The experimental results show that this fusion algorithm is feasible， effective and stable.

Key words： image fusion； non-subsampled Contourlet transform； YIQ color space； multi-focus color image

0 引言

圖像融合是指將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場景解釋的信息處理過程[1]。融合后的圖像更符合人或機(jī)器的視覺特性，以利于對該圖像進(jìn)一步的分析、理解，以及目標(biāo)的檢測、識別或跟蹤。

當(dāng)前對圖像融合技術(shù)的研究主要集中于圖像的灰度融合，對圖像的彩色融合研究則相對較少。由于彩色圖像有著灰度圖像無可比擬的良好可視性且包含更多的信息量，各相關(guān)領(lǐng)域?qū)Σ噬珗D像融合技術(shù)的需要越來越迫切，所以對彩色圖像融合技術(shù)的研究將是一個(gè)熱點(diǎn)和難點(diǎn)。本文針對多聚焦彩色圖像的融合作了一些研究，提出了一種基于YIQ顏色空間和無下采樣Contourlet變換的多聚焦彩色圖像融合算法。

1 無下采樣Contourlet變換（NSCT）

作為一種圖像多尺度幾何分析工具，2006年Arthur L.da Cunha等提出的無下采樣Contourlet變換（NSCT）[2]，針對Contourlet變換[3]的一些局限性進(jìn)行了改進(jìn)，是一種平移不變、多尺度、多方向的超完備變換。

無下采樣Contourlet變換分為無下采樣金字塔（NSP）分解和無下采樣方向?yàn)V波器組（NSDFB）分解兩部分。首先利用NSP對圖像進(jìn)行多尺度分解，通過NSP分解可有效捕獲圖像中的奇異點(diǎn)；然后采用NSDFB對高頻分量進(jìn)行方向分解，從而得到不同尺度、不同方向的子帶圖像（系數(shù)）。與Contourlet變換不同的是，在圖像的分解和重構(gòu)過程中，NSCT沒有對NSP以及NSDFB分解后的信號分量進(jìn)行分析濾波后的降采樣（抽取）以及綜合濾波前的上采樣（插值），而是對相應(yīng)的濾波器進(jìn)行上采樣，再對信號進(jìn)行分析濾波和綜合濾波，使得NSCT不僅具有多尺度、良好的空域和頻域局部特性以及多方向特性，還具有平移不變特性，可以有效消除吉布斯現(xiàn)象，同時(shí)具有各子帶圖像之間尺寸大小相同等特性。

2 顏色空間變換

顏色空間模型是多種多樣的，常見的有RGB顏色模型、HSI顏色模型、YIQ顏色模型等。其中，應(yīng)用最為普遍的是RGB（紅、綠、藍(lán)）模型，幾乎大部分的監(jiān)視器都采用這種彩色模型。其他表色系統(tǒng)必須最后轉(zhuǎn)化成RGB系統(tǒng)才能在彩色顯示器上顯示。但是RGB顏色空間在感知上是非常不均勻的，其分量不僅表示色度也表示亮度，存在很大的相關(guān)性，對三個(gè)分量分別處理將會帶來顏色信息的丟失和錯(cuò)亂[4]。為了得到更符合人眼視覺特點(diǎn)的表示方法，可以把RGB重新編碼，得到色彩空間YIQ表示法。其中，Y分量代表圖像的亮度信息，I、Q兩個(gè)分量則攜帶顏色信息，I分量代表從橙色到青色的顏色變化，而Q分量則代表從紫色到黃綠色的顏色變化。通過把彩色圖像從RGB轉(zhuǎn)換到Y(jié)IQ顏色空間，可以把彩色圖像中的亮度信息與色度信息分開。YIQ顏色空間在保持良好彩色特性的同時(shí)減小了信號的頻帶寬度，它對色彩分量之間的冗余信息是最少的。

RGB空間向YIQ空間轉(zhuǎn)換公式如下：

⑴

YIQ空間向RGB空間轉(zhuǎn)換公式如下：

⑵

3 基于YIQ顏色模型與NSCT的多聚焦彩色圖像融合算法

本文提出的多聚焦彩色圖像融合算法是以無下采樣Contourlet變換與YIQ顏色空間為基礎(chǔ)的，基本步驟如下：首先將兩張嚴(yán)格配準(zhǔn)的多聚焦彩色圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)IQ顏色空間；其次將轉(zhuǎn)換到Y(jié)IQ顏色空間中的圖像進(jìn)行無下采樣Contourlet變換，得到各源圖像的高低頻分量；然后對得到的高低頻分量根據(jù)各自不同的物理意義分別按照一定的融合規(guī)則進(jìn)行融合；最后經(jīng)過無下采樣Contourlet變換的反變換以及顏色空間反變換得到融合圖像。

3.1 低頻部分融合規(guī)則

經(jīng)NSCT分解得到的低頻部分，代表了圖像的近似和平均特性信息，本文采用簡單平均的融合規(guī)則。公式如下：

CF，J=（CA，J+CB，J）×0.5 ⑶

式中，CA，J和CB，J分別表示源圖像A、B分解后的低頻分量系數(shù)，CF，J表示融合圖像F的低頻分量系數(shù)。

3.2 高頻部分融合規(guī)則

對于NSCT分解得到的高頻部分，融合的關(guān)鍵在于特征和細(xì)節(jié)信息的提取。把彩色圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)IQ顏色空間后，亮度分量Y和色度分量I、Q具有不同的物理意義，其中亮度分量Y含有的細(xì)節(jié)信息較多，它對融合結(jié)果的影響要比I、Q兩色度分量對融合結(jié)果的影響要大，所以對Y和I、Q分量分別采用不同的融合規(guī)則。

3.2.1 Y分量融合規(guī)則

高頻系數(shù)的絕對值是圖像細(xì)節(jié)信息的衡量指標(biāo)之一，并且基于區(qū)域的融合規(guī)則明顯優(yōu)于基于像素的方法，因此對含有較多細(xì)節(jié)信息的Y亮度分量直接采用基于區(qū)域絕對值的融合規(guī)則。計(jì)算源圖像A和B的區(qū)域絕對值最大的公式如下：

⑷

⑸

其中，RA和RB分別是源圖像A、B在j分解層i方向上的高頻系數(shù)對應(yīng)的以像素（x，y）為中心，大小為M×N的區(qū)域?；趨^(qū)域絕對值最大的高頻系數(shù)融合規(guī)則如下：

⑹

式中j=1，2，…，J，，，分別為源圖像A、B和融合后圖像F在各分解層j各方向i上對應(yīng)的NSCT系數(shù)。

3.2.2 I、Q分量融合規(guī)則

由于圖像的對比度體現(xiàn)了圖像的清晰度，對比度越大表明清晰度越高，因此對I、Q色度分量則采用改進(jìn)的區(qū)域?qū)Ρ榷热诤弦?guī)則。具體過程如下。

第一步，根據(jù)參考文獻(xiàn)[5]，定義本文的圖像對比度量測如下：

⑺

式中，I=A，B；用（x，y）表示任意像素的坐標(biāo)；CI（m，n）表示源圖像I經(jīng)NSCT分解得到的低頻系數(shù)，表示源圖像I經(jīng)NSCT分解后得到的j分解層i方向上的高頻系數(shù)；N（x，y）為以像素（x，y）為中心定義的一個(gè)窗口。越大，表明源圖像I中像素（x，y）所在局部區(qū)域?qū)Ρ榷仍酱螅逦仍礁摺?/p>

第二步，定義A與B兩圖像的相關(guān)對比度因子如下：

⑻

式中和分別表示圖像A、B在像素（x，y）處的區(qū)域?qū)Ρ榷攘繙y，w（m，n）為對應(yīng)的窗口函數(shù)?？紤]到對高頻分量，窗口函數(shù)應(yīng)該盡量突出其對比度變化，所以本文選擇的窗口函數(shù)w只有其4領(lǐng)域內(nèi)非零、中心位置數(shù)值較大，這樣可以有效地突出以窗口中心點(diǎn)為中心的、對比度變化劇烈的高頻系數(shù)及其變化邊界。

第三步，確定A與B兩圖像的區(qū)域匹配度：

⑼

該參數(shù)反映了兩圖像區(qū)域?qū)Ρ榷鹊慕瞥潭?。?dāng)A、B比較接近時(shí)，MA，B趨近于1，而當(dāng)A、B差別很大時(shí)，MA，B趨近于0。

第四步，選定一個(gè)閾值T，如果區(qū)域匹配度MA，B小于等于T，表明兩幅圖像的對比度信息差異較大，這時(shí)候取區(qū)域?qū)Ρ榷缺容^大的像素值作為融合后的系數(shù)；如果區(qū)域匹配度MA，B大于T，表明兩幅圖像的對比度信息比較接近，此時(shí)采用加權(quán)平均得到融合后的系數(shù)。高頻系數(shù)選擇由公式（10）給出，其中，j=1，2，…，J，，，分別為源圖像A、B和融合后圖像F在各分解層j上各方向i對應(yīng)的NSCT系數(shù)。a（x，y）為加權(quán)系數(shù)，一般我們?nèi)∽鳛樽赃m應(yīng)調(diào)整參數(shù)。閾值T的取值范圍視源圖像A，B的相關(guān)性而定。

（10）

最后對組合后的NSCT系數(shù)進(jìn)行NSCT逆變換，以及YIQ顏色空間到RGB顏色空間的轉(zhuǎn)換，即可得到融合后的圖像。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的正確性和有效性，實(shí)驗(yàn)中采用嚴(yán)格配準(zhǔn)的多聚焦彩色圖像（大小為256×256，為便于顯示，統(tǒng)一進(jìn)行了壓縮）進(jìn)行了仿真實(shí)驗(yàn)。圖1（a）為待融合的左聚焦圖像，圖1（b）為待融合的右聚焦圖像，圖1（c）為標(biāo)準(zhǔn)參考圖像，圖1（d）、圖1（e）、圖1（f）、圖1（g）和圖1（h）分別為本文算法、比較算法一至算法四所得到的融合結(jié)果。

表1是本文算法的融合結(jié)果與其他四種算法（低頻部分采用的是與本文算法相同的簡單平均融合規(guī)則，故表中未列出）的融合結(jié)果在均方根誤差、峰值信噪比、相關(guān)系數(shù)和平均梯度四個(gè)評價(jià)指標(biāo)下的比較結(jié)果。從表中可以得到如下結(jié)論。

⑴ 對于高頻部分，對Y、I、Q三個(gè)分量根據(jù)它們不同的物理意義分別采用不同的融合規(guī)則取得的圖像融合效果要優(yōu)于對Y、I、Q三個(gè)分量采用相同的融合規(guī)則取得的圖像融合效果。

⑵ 本文算法的均方根誤差值明顯小于其他四種算法，說明該融合方法能夠更多地保留住源圖像中的清晰部分，與給定的標(biāo)準(zhǔn)參考圖像差異最??；本文算法的峰值信噪比值最大表明融合圖像的質(zhì)量優(yōu)于其他四種算法；相關(guān)系數(shù)值也是最大的，表明融合結(jié)果更接近給定的標(biāo)準(zhǔn)參考圖像；本文算法還具有最高的平均梯度值，表明其融合圖像較好地保留了源圖像的邊緣細(xì)節(jié)信息，圖像清晰度高。綜合所有評價(jià)指標(biāo)表明本文算法相對其他四種算法具有更好的融合效果。

我們還選取了多組多聚焦彩色圖像進(jìn)行了相同的測試，綜合多組測試結(jié)果，表明本文提出的算法是一種可行、有效、穩(wěn)定的融合方法。

5 結(jié)束語

本文在無下采樣Contourlet變換和YIQ顏色空間基礎(chǔ)上提出了一種低頻采用簡單平均，高頻的Y分量采用區(qū)域絕對值，I、Q分量采用改進(jìn)的區(qū)域?qū)Ρ榷鹊亩嗑劢共噬珗D像融合算法。對多組源圖像進(jìn)行了實(shí)驗(yàn)，對比了多種融合算法，結(jié)果表明：本文提出的融合算法對于不同的源圖像，都能在盡可能保持源圖像共同特征的基礎(chǔ)上，較好地將待融合兩源圖像各自具有的特征添加到融合圖像中，能夠互補(bǔ)源圖像中的各種細(xì)節(jié)信息，從而使融合后的圖像具有更高的可信度、清晰度和更好的可理解性。

參考文獻(xiàn)：

[1] POHL C， Van Genderen J L. Multisensor image fusion in remote

sensing concepts， methods and application[J].International Journal of Remote Sensing，1998.19（5）：823-854

[2] Da Cunha AL， Zhou J， Do MN.The nonsubsampled contourlet

transform：theory， design， and applications[J]. IEEE Trans Image Processing，2006.15（10）：3089

[3] Do M N， Vetterli M. The contourlet transform：an efficient

directional multiresolution image representation[J]. IEEE Trans Image Processing，2005.14（12）：2091-2106

[4] 付朝霞，韓焱，劉曉利.一種新的多聚焦彩色圖像融合方法[J].中國體

視學(xué)與圖像分析，2006.11（3）：222-225

[5] 李振華，敬忠良，孫韶媛等.基于不可分離小波框架變換的多聚焦圖

像融合算法[J].上海交通大學(xué)學(xué)報(bào)，2005.39（4）：557-560