一種結(jié)合清晰區(qū)域增強(qiáng)多聚焦圖像融合算法

郭鋒鋒

(宿州職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)信息系，安徽 宿州 234000)

0 引言

在現(xiàn)實(shí)場(chǎng)景中由于光學(xué)鏡頭聚焦特性，形成圖像局部清晰圖像，如手機(jī)拍照當(dāng)聚焦某一物體時(shí)，我們發(fā)現(xiàn)物體時(shí)清晰但相應(yīng)其他背景則變得模糊，同理聚焦別的物體時(shí)也會(huì)發(fā)生這種現(xiàn)象。多聚焦圖像融合是指提取多幅圖中有效信息融合成一幅清晰圖像[1]。圖像融合技術(shù)經(jīng)過快速的發(fā)展，應(yīng)用場(chǎng)景廣泛，應(yīng)用價(jià)值較大，并為后來技術(shù)發(fā)展做了鋪墊[2]。

近年來，圖像融合技術(shù)發(fā)展迅速，先后經(jīng)過小波、多尺度幾何分析函數(shù)、神經(jīng)網(wǎng)絡(luò)等發(fā)展階段。由于小波[3]不能很好表示圖像的奇異性，因而被多尺度幾何分析函數(shù)[4-6]取代，其中最為典型的基于contourlet變換函數(shù)[7]，但是由于contourlet變換不具有平移不變性，且會(huì)發(fā)生頻譜混疊現(xiàn)象，針對(duì)contourlet變換缺點(diǎn)將其改進(jìn)為非下采樣contourlet變換(NSCT)，Bhatnagar G等[8]提出了NSCT域的指導(dǎo)對(duì)比度多模態(tài)醫(yī)學(xué)圖像融合，提高圖像對(duì)比度。閆利等[9]提出了一種NSCT域內(nèi)結(jié)合邊緣特征和自適應(yīng)PCNN的紅外與可見光圖像融合，通過對(duì)邊緣特征的有效提取及PCNN對(duì)細(xì)節(jié)信息有效提取，使最終融合圖像更加清晰；宋瑞霞等[10]提出了一種NSCT與邊緣檢測(cè)相結(jié)合的多聚焦圖像融合算法，該算法最終增強(qiáng)融合圖像邊緣信息；趙春暉等[11]提出了采用WA-WBA與改進(jìn)INSCT的圖像融合算法，該算法通過結(jié)合WA-WBA，有效的提取了圖像細(xì)節(jié)信息。

由于NSCT域具有平移不變性且不會(huì)發(fā)生頻譜混疊現(xiàn)象，能更好的分解圖像。本文主要思想是通過改進(jìn)融合規(guī)則及通過對(duì)原圖清晰區(qū)域邊緣信息提取來對(duì)融合后圖像進(jìn)行邊緣信息強(qiáng)化，因此本文算法最終融合圖像邊緣信息突出，圖像主觀及客觀大幅提高。

1 非下采樣contourlet 變換(NSCT)原理

由于contourlet 變換的圖像不具有平移不變性，而NSCT變換是一種具有局部性，平移不變性，且不存在頻譜混疊現(xiàn)象的多尺度幾何分析函數(shù)，因此NSCT被廣泛用于圖像融合中。

NSCT是有兩組濾波器組成的，即非采樣方向?yàn)V波器(NSPFB)和非采樣塔形濾波器(NSDFB)，如下圖1所示，原圖首先經(jīng)過NSPFB濾波，然后在經(jīng)NSDFB濾波。

圖1 本文算法分解原理圖

2 本文融合算法原理

算法流程如圖2所示：

圖2 本文算法流程圖

(2)提出了改進(jìn)的梯度能量的規(guī)則用于低頻子帶融合和基于切比雪夫矩的融合規(guī)則，并分別用到低通、帶通子帶融合。

(3)最后采用pal算法對(duì)初步融合圖像處理，以增強(qiáng)邊緣信息，得到融合圖像。

2.1基于改進(jìn)的梯度能量的低頻子帶融合規(guī)則

(1)

其中

fx(i，j)=f(i，j)-f(i-1，j)

(2)

fy(i，j)=f(i，j)-f(i-1，j)

(3)

由公式(1)所示，圖像的梯度能量對(duì)方向表征不足，因此本文將其改進(jìn)如下：

(4)

其中fxy、f-xy為歸一化的對(duì)角像素差，公式如下

(5)

(6)

(7)

2.2基于切比雪夫矩的帶通子帶融合規(guī)則

由于切比雪夫矩的計(jì)算中沒有近似誤差[13]。因此被廣泛使用，切比雪夫多項(xiàng)式定義如下：

(8)

正則化

(9)

(10)

其中δmn為克羅內(nèi)克函數(shù)。對(duì)于I×J圖像f(i，j)的圖像切比雪夫矩定義如下

(11)

其反變換為

(12)

由于圖像清晰區(qū)域?qū)?yīng)切比雪夫矩值較大，而模糊區(qū)域的值較小。基于此，對(duì)于帶通子帶本文提出如下融合規(guī)則：

(1)對(duì)原圖像A，B分塊，塊狀大小8×8，利用公式(12)，我們可以將圖像映射切比雪夫基上，并取該塊狀中系數(shù)最大值作為該塊的特征值Tijmax，使各子塊有唯一特征值。

(2)用步驟(1)中的切比雪夫矩值Tijmax代表各個(gè)表征值，提出如下公式：

(13)

其中TH為極限參數(shù)，平滑清晰區(qū)域與模糊區(qū)域邊緣信息。

2.3改進(jìn)的Pal算法的融合圖像邊緣增強(qiáng)

李正等[14]提出了一種基于梯度方向一致性的邊緣檢測(cè)算法，該算法較傳統(tǒng)算子性能大大提高，但是忽略圖像的清晰度?；诖?，Pal和King提出了一種基于模糊邊緣檢測(cè)的算法[15]，算法首先將一個(gè)I×J的大小圖像f(i，j)表示為一個(gè)灰度集

(14)

公式中μij/xij為圖像中某點(diǎn)(i，j)相對(duì)某個(gè)特定灰度集Xk的隸屬度，其中隸屬函數(shù)為

(15)

其中Xmax為Xk的最大灰度級(jí)；FdFε分別為倒數(shù)型及指數(shù)型模糊因子。通過增強(qiáng)算子(16)對(duì)圖像增強(qiáng)。

(16)

式中：

(17)

由于變換后的圖像仍然存在輕微的模糊現(xiàn)象，因此本文采用Pal算法進(jìn)行處理，本文閾值取0.2[15]。將原圖A，B經(jīng)過上述Pal算法處理后得到UA(i，j)和UB(i，j)，再通過UA(i，j)和UB(i，j)對(duì)初步融合圖像進(jìn)行清晰區(qū)域邊緣加強(qiáng)，公式如下

(18)

其中F是最終圖像。

3 實(shí)驗(yàn)分析

3.1改進(jìn)的Pal模糊邊緣檢測(cè)實(shí)驗(yàn)

如圖3所示，在本文選取的幾種對(duì)比算法針對(duì)模糊圖像的邊緣提取時(shí)，不能有效的描述圖像聚焦區(qū)域邊緣信息，只能描述全圖的邊緣信息，而本文Pal算法[16]能很好的提取圖像清晰區(qū)域的邊緣信息，從上圖看出清晰區(qū)域提取的邊緣信息豐富，而模糊區(qū)域幾乎不會(huì)被提取，能夠很好完成本文算法對(duì)圖像融合信息的加強(qiáng)。

圖3 幾種邊緣檢測(cè)算法效果比較

3.2圖像融合實(shí)驗(yàn)

本文選取離散小波(DWT)；平移不變離散小波(SIDWT)；NSCT域的加權(quán)平均融合規(guī)則(NSCT1)，作為對(duì)比算法。圖4及圖5(a)-(e)分別為罐子桌子圖及時(shí)鐘人物圖的五種算法的融合結(jié)果圖。

圖4 罐子桌子圖的融合圖

圖5 時(shí)鐘圖的融合圖

從圖4和圖5融合結(jié)果對(duì)比，DWT與SIDWT算法對(duì)比NSCT算法，前者存在明顯模糊現(xiàn)象；NSCT算法明顯改善，但是邊緣信息不夠突出；本文算法由于在融合過程中有效保留邊緣信息，并且最后對(duì)邊緣信息進(jìn)行了增強(qiáng)，因此主觀視覺效果最好。

如表1、表2所示，統(tǒng)計(jì)了罐子桌子圖及時(shí)鐘圖的圖像融合客觀指標(biāo)值，選取能量信息、平均梯度、空間頻率和邊緣保持度四個(gè)評(píng)價(jià)指標(biāo)，以上四個(gè)指標(biāo)值越大圖像融合效果越好，值越小證明融合效果越差。

表1 罐子桌子圖客觀評(píng)價(jià)表

表2 時(shí)鐘圖客觀評(píng)價(jià)表

從客觀評(píng)價(jià)表橫向?qū)Ρ?，可以得到，四種客觀評(píng)價(jià)指標(biāo)值，本文算法最優(yōu)，其他幾種算法的值較小。由于圖像最后經(jīng)過清晰區(qū)域增強(qiáng)，因此突出了邊緣信息，圖像變的更加清晰。

客觀指標(biāo)的評(píng)價(jià)值與主觀感覺一致，證明本文算法的優(yōu)越性。

4 結(jié)論

本文通過對(duì)融合規(guī)則研究，將梯度能量改進(jìn)，并提出了基于改進(jìn)的梯度能量自適應(yīng)融合規(guī)則用于低頻子帶的圖像融合；通過對(duì)切比雪夫矩的研究，提出了基于切比雪夫矩的帶通子帶融合規(guī)則；最后在對(duì)原圖像采用Pal算法對(duì)原圖進(jìn)行清晰區(qū)域邊緣提取，用于增強(qiáng)融合后的圖像邊緣信息，實(shí)驗(yàn)結(jié)果表明，本文提出NSCT域結(jié)合邊緣檢測(cè)算法最終的主觀視覺良好和客觀評(píng)價(jià)指標(biāo)大幅提高，但是存在耗時(shí)嚴(yán)重，將在今后的研究中完善。