小波變換和形態(tài)學(xué)相結(jié)合的圖像融合新算法

羅 婷，楊衛(wèi)英，丁友東

(上海大學(xué)影視藝術(shù)技術(shù)學(xué)院，上海 200072)

圖像融合是通過(guò)綜合各種圖像數(shù)據(jù)的優(yōu)勢(shì)，來(lái)提升圖像的解譯能力［1］。傳統(tǒng)的圖像融合算法沒(méi)有考慮到融合圖像的邊緣信息，容易出現(xiàn)邊緣模糊導(dǎo)致融合圖像清晰度降低的問(wèn)題，因此邊緣信息對(duì)于融合質(zhì)量有很大影響。針對(duì)這一問(wèn)題，本文提出了將小波變換同數(shù)學(xué)形態(tài)學(xué)相結(jié)合的圖像融合新算法，該算法同時(shí)結(jié)合了小波變換法和數(shù)學(xué)形態(tài)學(xué)的優(yōu)點(diǎn)。圖像的小波變換具有多分辨率、方向性好、無(wú)冗余、在頻域和時(shí)域上同時(shí)具備良好的局部性、可以“聚焦”到圖像的任意細(xì)節(jié)處等特性。數(shù)學(xué)形態(tài)學(xué)不僅能簡(jiǎn)化圖像，還能在保持基本形狀的基礎(chǔ)上除去不相干結(jié)構(gòu)［2］。數(shù)學(xué)形態(tài)學(xué)的邊緣檢測(cè)方法比其它的空域或頻域的圖像邊緣檢測(cè)方法具有明顯的優(yōu)勢(shì)［3］，其檢測(cè)提取到的邊緣更加光滑、完整和連續(xù)。因此，將小波變換同數(shù)學(xué)形態(tài)學(xué)相結(jié)合應(yīng)用于對(duì)多聚焦模糊圖像之間或者降質(zhì)退化圖像之間的融合具有明顯的優(yōu)勢(shì)，融合后圖像邊緣輪廓及細(xì)節(jié)更清晰，融合質(zhì)量進(jìn)一步提高。

文獻(xiàn)［4］提出了一種基于形態(tài)學(xué)小波的圖像融合算法，融合質(zhì)量得到了一定的提升，但融合后圖像邊緣輪廓細(xì)節(jié)處出現(xiàn)降質(zhì)退化虛化現(xiàn)象。而用本文算法融合后，融合質(zhì)量得到了進(jìn)一步的提升，邊緣輪廓及細(xì)節(jié)更清晰，效果更好。

1 小波變換和形態(tài)學(xué)結(jié)合圖像融合新算法

本文算法流程如下:

1)對(duì)每一幅原始圖像分別進(jìn)行小波分解，分離出高頻信息和低頻信息。

2)對(duì)每個(gè)小波分解層上的高頻信息和低頻信息分別采用如下不同的融合規(guī)則進(jìn)行融合。

3)對(duì)融合后得到的小波系數(shù)進(jìn)行小波逆變換重構(gòu)圖像。

若對(duì)二維圖像進(jìn)行N層的小波分解，最終將有3N+1個(gè)不同頻帶，其中包含3 N個(gè)高頻帶和1個(gè)低頻帶［5］。設(shè)A和B為兩幅原始圖像，F(xiàn)為融合后圖像，基于小波變換的圖像融合原理如圖1所示。

圖1 基于小波變換的圖像融合原理

對(duì)于高頻信息和低頻信息，各自的融合規(guī)則如下文所述。

1.1 高頻融合規(guī)則

高頻信息代表了圖像的細(xì)節(jié)信息，選取絕對(duì)值較大的高頻系數(shù)能更好地保留原始圖像的邊緣等特征。因此，本文選用絕對(duì)值取大法來(lái)融合高頻系數(shù)，為了能進(jìn)一步增強(qiáng)圖像邊緣細(xì)節(jié)等特征，對(duì)得到的高頻系數(shù)再進(jìn)行適當(dāng)?shù)脑龃蟆８哳l系數(shù)的融合過(guò)程如圖2所示。

圖2 高頻系數(shù)的融合過(guò)程

1.2 低頻融合規(guī)則

目前不少基于小波法的圖像融合算法只單單選用平均法進(jìn)行低頻系數(shù)的融合，會(huì)降低圖像的對(duì)比度，引起目標(biāo)或場(chǎng)景的不清晰。低頻系數(shù)決定著圖像的輪廓，因而正確選擇低頻系數(shù)對(duì)提升最后的圖像融合質(zhì)量具有舉足輕重的作用［6］。

對(duì)原始圖像A和B進(jìn)行小波分解后，得到低頻子圖像LA和LB。針對(duì)LA，區(qū)域塊大小是2×2，假設(shè)P點(diǎn)位置是(i，j)，則點(diǎn) P 的區(qū)域塊包含了P(i，j)，P(i，j+1)，P(i+1，j)，P(i+1，j+1)，計(jì)算點(diǎn)P區(qū)域塊內(nèi)的空間頻率為該點(diǎn)P處的區(qū)域空間頻率。同理，針對(duì)LB，操作方法和LA相同。

然后，運(yùn)用數(shù)學(xué)形態(tài)學(xué)方法對(duì)LA和LB進(jìn)行邊緣檢測(cè)，為了能夠更精細(xì)且更快速地提取邊緣，結(jié)構(gòu)元素選用3×3的結(jié)構(gòu)平面，采用形態(tài)學(xué)膨脹運(yùn)算進(jìn)行邊緣檢測(cè)，灰度膨脹邊緣檢測(cè)算子運(yùn)算式為

式中:EA，EB表示邊緣灰度圖像;B表示結(jié)構(gòu)元素。得到了邊緣灰度圖像EA和EB，之后遍歷EA和EB的每一像素點(diǎn)的位置，如果該點(diǎn)像素值≥153，則該點(diǎn)記作邊緣點(diǎn)，反之記作非邊緣點(diǎn)(選153作分界點(diǎn)，因?yàn)榛叶葓D像的像素值在0～255之間，像素值為0代表黑色，像素值為255代表白色，而邊緣點(diǎn)的特征是灰度值比較大，因此分界點(diǎn)不能太小，至少要大于中間值128，否則很有可能會(huì)把那些非邊緣點(diǎn)誤認(rèn)為邊緣點(diǎn)，另外如果分界點(diǎn)過(guò)大，可能出現(xiàn)邊緣點(diǎn)被誤認(rèn)為是非邊緣點(diǎn)的情況，導(dǎo)致很多邊緣點(diǎn)可能會(huì)被遺漏，因此分界點(diǎn)不能過(guò)大，也不能小于中間值128，再進(jìn)一步通過(guò)多組實(shí)驗(yàn)后得出以153作為分界點(diǎn)比較合適且合理)。

當(dāng)在EA和EB上相同位置處的點(diǎn)EA(i，j)和EB(i，j)都是非邊緣點(diǎn)時(shí)，選用平均法融合此點(diǎn)位置處對(duì)應(yīng)的低頻系數(shù);反之，比較之前已經(jīng)計(jì)算好的像素點(diǎn)LA(i，j)和LB(i，j)的區(qū)域空間頻率值SFA和SFB，選擇區(qū)域空間頻率較大的此像素點(diǎn)位置處所對(duì)應(yīng)的低頻系數(shù)作為融合后的低頻系數(shù)。這是因?yàn)槿绻c(diǎn)LA(i，j)處的輪廓邊緣比較模糊虛化，則此點(diǎn)的區(qū)域空間頻率就會(huì)比較小，而如果點(diǎn)LB(i，j)處的輪廓邊緣相對(duì)比較清晰分明，則該點(diǎn)的區(qū)域空間頻率就會(huì)比較大，就可以用該點(diǎn)LB(i，j)處對(duì)應(yīng)的低頻系數(shù)作為融合后的低頻系數(shù)，這樣融合后的低頻邊緣信息的清晰度得到了一定的提高。

低頻系數(shù)的融合過(guò)程如圖3所示。

圖3 低頻系數(shù)的融合過(guò)程

2 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

2.1 圖像融合評(píng)價(jià)標(biāo)準(zhǔn)

本文采用5種指標(biāo)來(lái)評(píng)價(jià)圖像融合效果的優(yōu)劣。

1)灰度均值:反映了這幅圖像的平均亮度。

2)標(biāo)準(zhǔn)差:反映了灰度值相對(duì)于圖像灰度均值的離散程度。如果標(biāo)準(zhǔn)差越大，那么灰度級(jí)分布就越分散，圖像的明暗對(duì)比度越大，可獲得的信息就越多，圖像融合效果也就越好。

3)平均梯度:用于評(píng)價(jià)圖像清晰度，反映圖像中紋理變換特征和微小細(xì)節(jié)反差［6］。平均梯度值越高，圖像包含的細(xì)節(jié)越豐富，圖像越清晰，融合效果也就越好。

4)互信息［7］:衡量融合圖像從原始圖像中繼承信息量的多少。其值越大，融合效果就越好。

5)信息熵:代表了一幅圖像含有信息的豐富程度［8］。信息熵越大，圖像包含的平均信息量越多，融合效果也就越好。

2.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的可行性和有效性，先后對(duì)2組圖像進(jìn)行實(shí)驗(yàn)。所選用的2組實(shí)驗(yàn)圖例都是沒(méi)有同時(shí)聚焦或者因降質(zhì)退化而變得模糊不清。

第1組實(shí)驗(yàn)選用了2幅標(biāo)準(zhǔn)圖像，如圖4a、圖4b所示。不同融合算法的效果圖對(duì)比如圖4c～圖4i所示。不同融合算法的效果圖細(xì)節(jié)處的對(duì)比如圖5所示。從圖5a，5c，5d，5f中可看出，像素值選大法、加權(quán)平均法、形態(tài)學(xué)算法和文獻(xiàn)［4］算法得到的融合效果的細(xì)節(jié)處的數(shù)字10和11出現(xiàn)了不同程度的虛化模糊，降質(zhì)退化現(xiàn)象明顯。從圖4和圖5可看出，用本文算法融合后的效果圖的對(duì)比度更大，顏色明暗層次更分明、更清晰化，視覺(jué)效果更好。融合算法的評(píng)價(jià)比較如表1所示，可看出，用本文算法融合后，平均梯度都遠(yuǎn)遠(yuǎn)高于其余6種融合算法，標(biāo)準(zhǔn)差、信息熵值也都達(dá)到了最大值，雖然互信息值不是最高，但是綜合的質(zhì)量評(píng)價(jià)指標(biāo)還是最優(yōu)的。因此，無(wú)論從效果圖的主觀評(píng)價(jià)，還是從客觀評(píng)價(jià)標(biāo)準(zhǔn)指標(biāo)參數(shù)分析，本文算法融合質(zhì)量更優(yōu)。

圖4 不同融合算法的效果圖對(duì)比

圖5 不同融合算法的效果圖細(xì)節(jié)處對(duì)比

表1 不同融合算法的評(píng)價(jià)比較

第2組實(shí)驗(yàn)選用了2幅標(biāo)準(zhǔn)圖像，如圖6a，6b所示。不同融合算法效果圖對(duì)比如圖6c～圖6i所示。不同融合算法的效果圖細(xì)節(jié)處的對(duì)比如圖7所示。從圖7a，7c，7d，7f可看出，像素值選大法、加權(quán)平均法、形態(tài)學(xué)算法和文獻(xiàn)［4］算法得到的融合效果圖的細(xì)節(jié)處的英文和數(shù)字不清晰，降質(zhì)退化現(xiàn)象比較嚴(yán)重。從圖7b可看出像素值選小法融合結(jié)果細(xì)節(jié)處的英文出現(xiàn)了很明顯的疊影。從圖6和圖7可看出，用本文算法融合后的結(jié)果圖對(duì)比度更強(qiáng)，圖像細(xì)節(jié)處更清晰，融合效果更好。融合算法的評(píng)價(jià)比較如表2所示，可看出，用本文算法融合后，平均梯度值和互信息都遠(yuǎn)遠(yuǎn)高于其余6種融合算法，信息熵值也達(dá)到最大，標(biāo)準(zhǔn)差也相對(duì)很大，整體綜合的融合質(zhì)量評(píng)價(jià)指標(biāo)是最優(yōu)的，因此，本文算法的融合質(zhì)量更好。

3 結(jié)論

本文提出了將小波變換和數(shù)學(xué)形態(tài)學(xué)相結(jié)合的圖像融合新算法。將多幅圖像進(jìn)行小波分解后，在融合高頻系數(shù)的過(guò)程中，選用絕對(duì)值取大法，并適當(dāng)增強(qiáng)了高頻圖像邊緣細(xì)節(jié)。在融合低頻系數(shù)的過(guò)程中，運(yùn)用到了數(shù)學(xué)形態(tài)學(xué)方法對(duì)低頻子圖像進(jìn)行邊緣檢測(cè)，并得到邊緣灰度圖像，在邊緣灰度圖像中，按照該點(diǎn)的像素值是否≥153，來(lái)標(biāo)記該點(diǎn)是否為邊緣點(diǎn)，之后針對(duì)該位置的點(diǎn)是否是邊緣點(diǎn)，分別用區(qū)域空間頻率取大法和平均法融合該點(diǎn)位置處對(duì)應(yīng)的低頻系數(shù)。通過(guò)將本文算法和傳統(tǒng)的圖像融合算法及文獻(xiàn)［4］算法進(jìn)行2組實(shí)驗(yàn)的效果圖對(duì)比，并同時(shí)結(jié)合了5種質(zhì)量評(píng)價(jià)指標(biāo)比較分析，實(shí)驗(yàn)結(jié)果表明，本文算法的融合質(zhì)量更好，圖像邊緣輪廓及細(xì)節(jié)更清晰，圖像融合質(zhì)量得到了進(jìn)一步的提升，該算法是有效、可行的。

表2 融合算法的評(píng)價(jià)比較

［1］PIELLA G.A general framework for multi-resolution image fusion:from pixels to regions［J］.Information Fusion，2003，68(4):259-280.

［2］王樹(shù)文，閆成新，張?zhí)煨?，?數(shù)學(xué)形態(tài)學(xué)在圖像處理中的應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2004，32(89):89-92.

［3］陳琳.基于數(shù)學(xué)形態(tài)學(xué)的圖像分割技術(shù)研究［D］.昆明:昆明理工大學(xué)，2006.

［4］錢(qián)永浩，吳小俊，羅曉清.改進(jìn)的基于形態(tài)學(xué)小波多聚焦圖像融合方法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(7):158-161.

［5］曾基兵，陳懷新，王衛(wèi)星.基于改進(jìn)局部梯度的小波圖像融合方法［J］.電視技術(shù)，2007，31(8):18-20.

［6］於時(shí)才，呂艷瓊.一種基于小波變換的圖像融合新算法［J］.計(jì)算機(jī)應(yīng)用研究，2009，26(1):390-391.

［7］范文濤.基于小波變換的圖像融合技術(shù)研究［D］.鄭州:河南大學(xué)，2010.

［8］浦西龍.基于多分辨小波的像素級(jí)圖像融合研究［D］.蘇州:蘇州大學(xué)，2007.