基于模糊邏輯與NSCT的彩色圖像融合

王　奎,李衛(wèi)華,李小春

(空軍工程大學(xué) 信息與導(dǎo)航學(xué)院,陜西 西安　710077)

?

基于模糊邏輯與NSCT的彩色圖像融合

王奎,李衛(wèi)華,李小春

(空軍工程大學(xué) 信息與導(dǎo)航學(xué)院,陜西 西安710077)

摘要針對(duì)灰度融合圖像色彩單一,視覺效果不佳的問題,提出了一種基于NSCT變換與模糊邏輯的多聚焦彩色圖像融合算法。首先對(duì)彩色圖像進(jìn)行IHS變換,然后對(duì)亮度分量I進(jìn)行NSCT分解,采用高斯隸屬度函數(shù)確定低頻分量自適應(yīng)加權(quán)系數(shù),對(duì)高頻系數(shù)采用"模值取大"的融合準(zhǔn)則進(jìn)行融合,再通過NSCT逆變換,得到融合后的亮度分量,并由此計(jì)算融合后的色度分量和飽和度分量,實(shí)現(xiàn)彩色圖像的融合。實(shí)驗(yàn)結(jié)果表明,該方法得到的融合圖像色彩鮮明、邊緣細(xì)節(jié)清晰、更加符合人眼視覺。

關(guān)鍵詞模糊邏輯;非下采樣Contourlet變換;彩色圖像;圖像融合

圖像融合是對(duì)包含同一個(gè)場(chǎng)景的兩幅或兩幅以上圖像中重要的有用信息加以綜合,高效利用待融合圖像間的互補(bǔ)信息來獲取一幅新的對(duì)研究對(duì)象描述更精準(zhǔn)、更詳細(xì)、更可靠的融合圖像[1]。這也使得圖像融合技術(shù)廣泛應(yīng)用于安全監(jiān)控、醫(yī)療衛(wèi)生、遙感探測(cè)、航空航天等領(lǐng)域[2]。

在一維信號(hào)處理方面,小波變換具有良好的性能,可對(duì)有限個(gè)奇異點(diǎn)的一維分段光滑函數(shù)進(jìn)行最優(yōu)表示。因此,小波變換被當(dāng)做一種重要的算法廣泛應(yīng)用于圖像融合領(lǐng)域。但在二維信號(hào)處理方面,小波變換對(duì)奇異的線和面不具有稀疏性。尤其是當(dāng)分解尺度變小時(shí),會(huì)出現(xiàn)大量不可忽略的小波系數(shù),使得小波變換不能對(duì)原函數(shù)進(jìn)行最優(yōu)表示。此外,小波變換只能在水平、垂直以及對(duì)角線3個(gè)方向上對(duì)圖像進(jìn)行分解,不能精確地表達(dá)圖像邊緣細(xì)節(jié)的方向信息,導(dǎo)致融合圖像在重構(gòu)過程中容易產(chǎn)生虛假邊緣,造成模糊降低圖像融合質(zhì)量。且小波變換不具有平移不變性,這也在某種程度上限制了小波變換的應(yīng)用。針對(duì)小波變換的缺陷,Cun ha和Do等提出了一種能夠稀疏表示圖像線奇異特性的非下采樣Contourlet變換(NSCT)[3],該變換還具有多方向性和平移不變性,是一種更全面、更精確、更可靠的圖像融合方法。對(duì)彩色圖像融合過程中,RGB模型中這3個(gè)分量相互之間緊密關(guān)聯(lián),對(duì)上述3個(gè)變量進(jìn)行處理會(huì)帶來顏色信息的丟失和錯(cuò)亂,容易導(dǎo)致圖像失真。因此本文采用IHS模型來實(shí)現(xiàn)彩色圖像融合。在IHS模型中,亮度I、色度H、飽和度S三者相對(duì)獨(dú)立。對(duì)亮度分量I采用NSCT變換,然后進(jìn)行融合,最后根據(jù)融合后的亮度分量I來確定色度分量H和飽和度分量S,從而減少算法的計(jì)算量,降低融合圖像變色和失真的不確定因素。

模糊數(shù)學(xué)(Fuzzy Mathematics)[4]通過隸屬度函數(shù)處理不確定性問題,對(duì)于問題歸宿給出隸屬程度,在處理非確定問題上,有著其他方法所沒有的優(yōu)越性和高效性。因此,采用模糊邏輯來解決圖像融合過程中的不確定性問題?；谝陨峡紤],提出一種基于模糊邏輯[4]與NSCT的彩色圖像融合算法。對(duì)多聚焦彩色圖像首先對(duì)彩色圖像進(jìn)行IHS變換,然后對(duì)亮度分量I進(jìn)行NSCT分解,針對(duì)圖像融合過程中融入待融合圖像信息程度的不確定性,采用基于模糊邏輯(Fuzzy Logic)的融合規(guī)則指導(dǎo)圖像的融合,對(duì)分解后的低頻系數(shù)采用“自適應(yīng)加權(quán)”融合規(guī)則,對(duì)高頻系數(shù)采用“模值取大”融合準(zhǔn)則進(jìn)行融合,再進(jìn)行NSCT逆變換,得到融合后的亮度分量,并由此計(jì)算融合后的飽和度分量和色度分量,從而實(shí)現(xiàn)彩色圖像的融合,降低圖像融合變色和失真的不確定性因素,大幅提高融合圖像的可視化效果。

1圖像的非下采樣Contourlet變換

2002年,M.N.Do和M.Vetterli提出的Contourlet變換是一種對(duì)二維圖像進(jìn)行稀疏表示的有效方法[5]。同時(shí),Contourlet變換的多方向性遠(yuǎn)優(yōu)于小波變換,且還具有小波變換不具備的高維空間的各向異性。Contourlet變換可通過塔式方向?yàn)V波器組來實(shí)現(xiàn)。塔式方向?yàn)V波器組是由一個(gè)拉普拉斯金字塔和一組方向?yàn)V波器級(jí)聯(lián)構(gòu)成,二者之間相互獨(dú)立。待融合圖像首先經(jīng)過塔式濾波器作多尺度分解,在每個(gè)尺度上,方向?yàn)V波器組將分解后得到的帶通信號(hào)劃分為多個(gè)方向子帶。Contourlet變換是先對(duì)信號(hào)進(jìn)行采樣然后再經(jīng)過濾波器進(jìn)行多尺度多方向分解,這使得圖像融合過程中容易產(chǎn)生Pseudo-Gibbs 效應(yīng),降低融合圖像質(zhì)量。于是,2006年,L.Da.Cunha等人對(duì)Contourlet變換進(jìn)行改進(jìn)提出了非下采樣Contourlet變換(Nonsub Sampled Contourlet Transform,NSCT)[4]。NSCT取消了多尺度、多方向分解過程中的信號(hào)采樣環(huán)節(jié),使得NSCT變換具有平移不變性,有效地消除了Pseudo-Gibbs現(xiàn)象[6]。非下采樣Contourlet變換首先采用非下采樣金字塔濾波器(Nonsubsampled Pyramid Filter Banks,NSPFB)對(duì)圖像進(jìn)行多尺度分解[7],然后再采用非下采樣方向?yàn)V波器組(Nonsubsampled Directional Filter Banks,NSDFB)對(duì)得到的各尺度子帶圖像進(jìn)行方向分解[7],如圖1所示。

圖1　NSCT結(jié)構(gòu)示意圖

2模糊邏輯

模糊邏輯通過隸屬度函數(shù)來對(duì)模糊概念進(jìn)行精確描述,靈活簡(jiǎn)便、易于理解、對(duì)非精確數(shù)據(jù)具有包容性。在圖像融合領(lǐng)域,不同目標(biāo)場(chǎng)景對(duì)應(yīng)像素與整幅圖像之間的關(guān)系具有不確定性,這種不確定性可通過定義模糊隸屬度函數(shù)[8]來進(jìn)行定量描述。因此,模糊隸屬度函數(shù)的確定對(duì)圖像融合有著決定性的作用。

所有研究對(duì)象構(gòu)成的集合為U,稱U為論域。對(duì)于論域中的元素x,U的模糊集合A

(1)

式中,μA(x)即為模糊集合A的隸屬度函數(shù);μA(x)稱為x對(duì)模糊集合A的隸屬度,隸屬度的映射區(qū)間為0～1之間的連續(xù)變化。

常用的隸屬度函數(shù)主要有高斯隸屬度函數(shù)[8]、廣義鐘形隸屬度函數(shù)和三角形隸屬度函數(shù)等。本文采用高斯隸屬度函數(shù)作為加權(quán)系數(shù)應(yīng)用于圖像融合準(zhǔn)則。高斯隸屬度函數(shù)的表達(dá)式為

(2)

式(2)中,μ代表該函數(shù)的中心;σ通常為正,決定了函數(shù)的寬度。

3融合規(guī)則

假設(shè)用于融合的兩幅彩色圖像已經(jīng)經(jīng)過嚴(yán)格的空間配準(zhǔn),具體的融合步驟為:

步驟1對(duì)彩色圖像進(jìn)行IHS變換,如下式

(3)

H=tan-1(V2/V1)

(4)

(5)

通過IHS變換分別得到彩色圖像的亮度分量、色度分量和飽和度分量;

步驟2通過NSCT變換對(duì)亮度分量I進(jìn)行多尺度分解,分別得到亮度分量的低頻部分和高頻部分;

步驟3對(duì)低頻部分采用高斯隸屬度函數(shù)來確定加權(quán)系數(shù)進(jìn)行融合,對(duì)高頻部分采用模值取大來對(duì)亮度分量進(jìn)行融合,然后進(jìn)行NSCT逆變換得到融合后的亮度分量IF;

步驟4根據(jù)融合后的亮度分量IF來確定融合圖像的色度分量HF和飽和度分量SF,具體方法如下[9]

(6)

(7)

步驟5通過IHS逆變換得到融合后視覺效果良好的RGB彩色圖像。IHS逆變換如下

(8)

其中

V1=S·cos(H)

(9)

V2=S·sin(H)

(10)

3.1低頻融合規(guī)則

通過NSCT變換后的低頻子帶部分保留了待融合圖像亮度分量大部分的主要信息,為更好地保留這些重要信息,針對(duì)圖像融合過程中融入源圖像信息程度的不確定性,本文提出一種基于模糊邏輯的自適應(yīng)加權(quán)平均融合準(zhǔn)則,采用高斯隸屬度函數(shù)來確定圖像的融合自適應(yīng)加權(quán)系數(shù)

(11)

η1(i,j)=1-η0(i,j)

(12)

上式中,μ表示低頻子帶圖像像素均值;σ表示低頻子帶圖像像素方差;k為常數(shù)。則低頻融合規(guī)則為

CF(i,j)=η0(i,j)CA(i,j)+η1(i,j)CB(i,j)

(13)

上式中,C(i,j)表示像素點(diǎn)(i,j)處的低頻子帶系數(shù)。

3.2高頻融合規(guī)則

經(jīng)NSCT變換后得到的高頻子帶圖像包含了待融合圖像大部分的細(xì)節(jié)信息和紋理特征信息,表現(xiàn)為絕對(duì)值較大的高頻系數(shù),因此本文采用 “模值取大”的方法融合高頻系數(shù)。經(jīng)過N級(jí)NSCT分解后,在j尺度下可分解為2lj個(gè)不同方向,每個(gè)方向只能體現(xiàn)該方向的細(xì)節(jié)信息,因此通過比較不同尺度下各方向子帶系數(shù)絕對(duì)值的大小來確定高頻子帶融合系數(shù),如下式

(14)

4實(shí)驗(yàn)仿真與分析

為有效驗(yàn)證本文算法,選取多組多聚焦彩色圖像采用Matlab7.0進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)中使用的待融合圖像均已經(jīng)過嚴(yán)格的空間配準(zhǔn)。文中選擇一組具有相同場(chǎng)景的多聚焦彩色圖像的融合結(jié)果進(jìn)行分析。待融合圖像中紅色鮮花和綠色盆栽植物形成鮮明的對(duì)比。其中,圖2(a)為左聚焦可見光彩色圖像,圖像左側(cè)聚焦部分清晰,紅色鮮花花瓣等細(xì)節(jié)清晰可見,右側(cè)綠色盆栽植物葉子模糊,紋理細(xì)節(jié)不明顯,圖2(b)右聚焦可見光彩色圖像表現(xiàn)相反,圖2(c)為小波(WT)和IHS變換融合結(jié)果,圖2(d)為輪廓波(CT)和IHS變換融合結(jié)果,圖2(e)為本文算法融合結(jié)果。

圖2　融合結(jié)果

通過主觀觀察和客觀評(píng)價(jià)兩個(gè)方面對(duì)融合結(jié)果進(jìn)行分析,主觀方面主要是通過人眼觀察融合圖像的邊緣、紋理細(xì)節(jié)、色彩等信息,從人眼視覺角度出發(fā)對(duì)融合圖像整體亮度、對(duì)比度、清晰度等進(jìn)行判斷。從主觀角度來評(píng)價(jià)融合圖像,通過人眼來對(duì)比觀察仿真結(jié)果,其中圖2(c)WT和IHS變換的融合結(jié)果,融合圖像整體失真明顯,細(xì)節(jié)部分比較模糊,視覺效果不佳;圖2(d)CT和IHS變換的融合結(jié)果,融合圖像相對(duì)比較清晰,但是在邊緣部分存在輕微的塊狀效應(yīng),視角效果一般,圖2(e)本文算法的融合結(jié)果,融合圖像邊緣、紋理等細(xì)節(jié)清晰,顏色自然鮮明,人眼視覺效果最佳。

客觀評(píng)價(jià)[10]是對(duì)容和圖像進(jìn)行定量分析,本文采用的客觀評(píng)價(jià)指標(biāo)是信息熵(Information Entropy,IE)、平均梯度(Average Gradient,AG)和標(biāo)準(zhǔn)差(Standard Deviation,SD)。信息熵IE反映圖像經(jīng)過融合之后的信息量,IE的值越大表明融合圖像得到的信息越全面,融合圖像質(zhì)量越好;平均梯度AG通過定量分析融合圖像的像素灰度的變換情況來反映融合圖像對(duì)微小細(xì)節(jié)反差的表達(dá)能力,客觀的反映了融合圖像的清晰度,AG的值越大,表明融合圖像越清晰,細(xì)節(jié)表達(dá)能力越強(qiáng),融合圖像質(zhì)量越可靠;SD也稱為均方差,SD代表圖像像素灰度值與平均灰度值的差距大小,SD越大,說明融合圖像中的像素值反差越大,可看到的信息越多,圖像質(zhì)量越好。表1為融合圖像的客觀評(píng)價(jià)指標(biāo)。

表1　融合圖像客觀評(píng)價(jià)參數(shù)

通過對(duì)比表1中的評(píng)價(jià)參數(shù),本文算法評(píng)估得到的信息熵、平均梯度和標(biāo)準(zhǔn)差均高于其他兩種方法?？陀^評(píng)價(jià)指標(biāo)與主觀視覺分析結(jié)果一致,可見本文算法在彩色圖像融合中不僅充分利用了待融合圖像的灰度信息,且較好地保留了源圖像的顏色信息,得到的融合圖像更符合人眼視覺特性。

5結(jié)束語

本文在分析非采樣輪廓波變換和模糊邏輯的基礎(chǔ)上,結(jié)合IHS模型中亮度分量的獨(dú)立性,提出一種基于模糊邏輯和NSCT的彩色圖像融合算法。在彩色圖像融合過程中采用IHS變換不僅降低了融合過程的復(fù)雜度,減小計(jì)算量,且能更好地保留顏色信息,提高融合圖像的可視化效果。同時(shí),NSCT變換優(yōu)秀的各向異性以及平移不變性可在融合過程中更多地捕捉到圖像的細(xì)節(jié)信息,對(duì)融合圖像整體清晰度晰度有明顯的改善。通過仿真實(shí)驗(yàn)并通過與小波變換、輪廓波進(jìn)行對(duì)比分析,本文改進(jìn)算法得到的融合圖像色彩鮮明,邊緣細(xì)節(jié)清晰,更加符合人眼視覺。

參考文獻(xiàn)

[1]葉傳奇.基于多尺度分解的多傳感器圖像融合算法研究[D].西安:西安電子科技大學(xué),2009.

[2]邢雅瓊,王曉丹,畢凱,等.基于NSCT和ICA的紅外和可見光圖像融合方法[J].系統(tǒng)工程與電子技術(shù),2013,35(11):2251-2257.

[3]Da Cunha A L,Zhou J,Do M N.The nonsubsampled contourlet transform:theory,design,and applications[J].IEEE Transaction on Image Processing,2006,15(10):3089-3010.

[4]鄭義軍,任仙怡,劉秀堅(jiān),等.基于NSCT與模糊邏輯的圖像融合方法[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(11):171-174,218.

[5]Do M N,Vetterli M.The contourlet transform:an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12):2091-2106.

[6]王奎,李衛(wèi)華,李小春.非采樣輪廓變換下的紅外與可見光圖像融合[J].空軍工程大學(xué)學(xué)報(bào):自然科學(xué)版,2015,16(5):50-54.

[7]張強(qiáng),郭寶龍.基于非采樣Contourlet變換多傳感器圖像融合算法[J].自動(dòng)化學(xué)報(bào),2008,34(2):135-141.

[8]黃曉青.基于模糊邏輯的紅外與可見光圖像融合技術(shù)[D].重慶:重慶大學(xué),2012.

[9]徐月美,張虹.非下采樣Contourlet變換的彩色圖像融合[J].計(jì)算機(jī)工程與設(shè)計(jì),2012,33(8):3130-3133,3175.

[10]徐月美,張虹,賈麗.基于亮度分量的多聚焦彩色圖像融合[J].微電子學(xué)與計(jì)算機(jī),2012,29(4):173-176.

Color Image Fusion Algorithm Based on NSCT and Fuzzy Logic

WANG Kui,LI Weihua,LI Xiaochun

(College of Information and Navigation,Air Force Engineering University,Xi’an 710077,China)

AbstractAiming at the problems of single color and poor visual effect,a multi focus color image fusion algorithm based on NSCT and fuzzy logic is presented.Firstly,the color image is transformed by IHS,after which the intensity component is composed by NSCT.The Gauss membership function is used to determine the adaptive weighting coefficient of the low frequency coefficient,and the high frequency coefficients are fused by rule of "absolute value maximum selectivity".Then,the fused intensity component can be obtained by the inverse nonsubsampled Contourlet transform.Finally,the hue component and saturation component of the fusion image are computed using the fused intensity component.Experimental results show that the proposed method offers distinctive color fusion images with clear edge details that are more consistent with the human vision.

Keywordsfuzzy logic;nonsubsampled contourlet transform;color image;image fusion

中圖分類號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)04-107-04

doi:10.16180/j.cnki.issn1007-7820.2016.04.028

作者簡(jiǎn)介:王奎(1990—),男,碩士研究生。研究方向:圖像融合。

收稿日期:2015- 09- 14