一種基于Ncut分割與空間頻率的多聚焦圖像融合方法

作者 / 吳花花、張敬會(huì)、柯有城、楊莘，武漢科技大學(xué)信息科學(xué)與工程學(xué)院

?

一種基于Ncut分割與空間頻率的多聚焦圖像融合方法

作者 / 吳花花、張敬會(huì)、柯有城、楊莘，武漢科技大學(xué)信息科學(xué)與工程學(xué)院

圖像融合是對來自同一場景的多幅源圖像信息進(jìn)行互補(bǔ)結(jié)合的一項(xiàng)技術(shù)，合成更適合人眼視覺感知的圖像。傳統(tǒng)基于空間頻率的融合方法對圖像進(jìn)行固定的矩形分區(qū)，得到的融合圖像會(huì)產(chǎn)生很明顯的方塊效應(yīng)，本文在此基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)了一種改進(jìn)的融合方法。該方法先對多幅源圖像進(jìn)行初始融合，然后對初始融合圖像進(jìn)行Ncut分割，再分別計(jì)算和比較源圖像中對應(yīng)的每個(gè)分區(qū)的空間頻域，得到最終融合圖像。而且通過調(diào)整Ncut分割區(qū)域數(shù)目，可得到最佳的融合結(jié)果。實(shí)驗(yàn)結(jié)果表明，和傳統(tǒng)方法相比，本文提出的算法很好地消除了方塊效應(yīng)，并取得了更融合效果。

Ncut分割 ； 空間頻率； 融合規(guī)則； 多聚焦圖像融合

引言

圖像融合是對來自同一場景的多幅源圖像信息進(jìn)行互補(bǔ)結(jié)合的一項(xiàng)技術(shù)，合成更適合人眼視覺感知的圖像［1］。近年來，眾多研究人員致力于圖像融合的研究，并取得了很多的研究成果。根據(jù)對輸入圖像進(jìn)行處理的方法分類，圖像融合算法可以廣泛地分為以下三類：多尺度分解（MSD）方法、基于學(xué)習(xí)的方法和基于區(qū)域的方法。

基于MSD的方法［2］［3］［4］能夠在人類視覺非常敏感的對比度變化上提供更多的信息，因此可以得到比較高質(zhì)量的融合圖像。常用于圖像融合的多尺度變換方法有金字塔變換、小波變換、曲波變換以及近來流行的稀疏表示等。但是，該類方法沒有考慮到像素與像素間的空間關(guān)系，故在保持邊緣和紋理方面不太理想，會(huì)導(dǎo)致圖像失真。第二種融合方法是通過學(xué)習(xí)經(jīng)驗(yàn)數(shù)據(jù)，在融合時(shí)做出智能判斷，得到全聚焦的圖像。由于在絕大多數(shù)情況下，得到經(jīng)驗(yàn)數(shù)據(jù)是非常困難的，因此基于學(xué)習(xí)的方法并沒有廣泛采用。

原則上，圖像越清晰描述的信息就越多，基于區(qū)域的方法就是根據(jù)這個(gè)準(zhǔn)則。換句話說，這類方法是從源圖像中選擇更清晰的區(qū)域來構(gòu)建最后的圖像?；趩蝹€(gè)像素判決的算法可以看作是該類算法的一個(gè)極端的例子。但是基于像素選擇的算法對噪聲非常敏感，而且人類感知圖像是基于區(qū)域的，所以基于區(qū)域的融合算法通常能取得更好的效果。最初人們常將源圖像分成多個(gè)M×N的矩形塊，通過比較每個(gè)塊的清晰度進(jìn)行融合［5］。但這類方法會(huì)產(chǎn)生方塊效應(yīng)，于是一些圖像分割方法引入到了融合中［6］，先將源圖像分割成多個(gè)區(qū)域，通過比較各個(gè)區(qū)域的清晰度得到融合圖像。

本文設(shè)計(jì)和實(shí)現(xiàn)了一種基于Ncut分割的融合方法，該方法首先對多張?jiān)磮D像進(jìn)行簡單的加權(quán)平均融合，融合后的圖像再進(jìn)行Ncut分割，得到一個(gè)全局分割策略，然后根據(jù)分割策略計(jì)算各源圖像中對應(yīng)區(qū)域的空間頻率，作為每個(gè)區(qū)域清晰度的度量，最后選取最清晰的區(qū)域合成融合圖像。

1. Ncut分割準(zhǔn)則

歸一化分割準(zhǔn)則（Normalized cut分割，簡稱Ncut分割［7］）是一種無監(jiān)督圖像分割技術(shù)，它不需要初始化，并具有以下三個(gè)主要特點(diǎn)：①將圖像分割問題轉(zhuǎn)換為圖的劃分問題；②是一個(gè)全局準(zhǔn)則；③同時(shí)最大化不同組之間的不相似性和同一組內(nèi)的相似性。

Ncut方法把整幅圖像看成一幅加權(quán)無向圖，圖像中每一個(gè)像素對應(yīng)圖中的一個(gè)節(jié)點(diǎn)，邊上的權(quán)值代表像素之間的相似程度。加權(quán)圖可以通過刪去某些邊，將其分成兩個(gè)非連接性點(diǎn)集A和B，且，，使得這兩個(gè)部分的不相關(guān)程度可以定義為原先連接兩部分而現(xiàn)在被刪去的所有邊的權(quán)的總和，可用Ncut標(biāo)準(zhǔn)計(jì)算得到：

圖1給出了采用Ncut方法進(jìn)行分割時(shí)分割成不同區(qū)域數(shù)的效果圖。分割的區(qū)域數(shù)不同會(huì)直接影響融合的效果，故需要通過實(shí)驗(yàn)選擇最佳的區(qū)域數(shù)目。

圖1 采用Ncuts對圖像進(jìn)行分割的效果圖

2. 空間頻域

Eskicioglu等［8］提出空間頻率可以反映一幅圖像的總體活躍度，空間頻率越大圖像越活躍、越清晰，他利用行頻率和列頻率來計(jì)算空間頻率，即水平和垂直兩個(gè)方向的變化頻率。對于一個(gè)M×N的圖像塊，若位置（m，n）處的灰度值為F（m，n），則空間頻率定義如下：

其中，RF為水平方向頻率，CF為垂直方向頻率：

3. 基于Ncut分割的圖像融合算法

本文基于Ncut分割和空間頻率的圖像融合算法框圖如圖2所示。

圖2 本文基于Ncut分割和空間頻率的圖像融合算法框圖

該方法的融合步驟如下：

1）加權(quán)平均融合。對源圖像A、B的灰度值進(jìn)行加權(quán)平均，得到初次融合的新圖像C。

2）Ncut分割。對圖像C進(jìn)行Ncut分割得到整幅圖像的分割方案，將源圖像A、B分別以此方案進(jìn)行分割，并對對應(yīng)的區(qū)域編號(hào)。

3）空間頻率。分別計(jì)算圖A、B中各個(gè)分割區(qū)域的空間頻率，用SFa（i）和SFb（i）表示。

將保留下來的所有圖像塊合成一幅完整的圖像，即為融合圖像。通過調(diào)整步驟（2）中Ncut分割的區(qū)域數(shù)N，可以得到該方法的最佳融合效果。

4. 實(shí)驗(yàn)結(jié)果與分析

本文選用160*160的兩幅已校正的多聚焦圖像disk作為待融合圖像，如圖3所示。實(shí)驗(yàn)分兩部分進(jìn)行，第一部分比較Ncut分割區(qū)域數(shù)N不同時(shí)采用本文的方法進(jìn)行融合的效果，選擇最佳的N；第二部分比較兩種方法的性能：①本文的方法；②基于矩形分區(qū)的方法，即對源圖像進(jìn)行矩形分區(qū)，計(jì)算各區(qū)域?qū)?yīng)的空間頻率，選取空間頻率大的區(qū)域作為融合圖像的對應(yīng)區(qū)域。本文從主觀評價(jià)即視覺效果和客觀評價(jià)兩方面綜合分析本文融合方法的性能。其中客觀評價(jià)選用以下4種性能指標(biāo)：熵、交叉熵、互信息量、均方根誤差。

圖3 源圖像

表1給出了分區(qū)數(shù)不同的條件下，采用本文的方法進(jìn)行融合圖像的性能指標(biāo)比較?？梢钥闯觯瑘D像分區(qū)數(shù)不同，融合性能也有差異。由于熵和互信息量越大，交叉熵和均方根誤差越小，圖像的整體融合效果才最好。當(dāng)n為8或16時(shí)，分區(qū)數(shù)少，熵值較大和交叉熵較小，表現(xiàn)出它所保留的原圖信息很多，但互信息量較小，均方根誤差較大，反映出所得融合圖與標(biāo)準(zhǔn)圖差距太大。隨著分區(qū)數(shù)增加，熵和互信息量呈逐漸增大到峰值又減少的趨勢，同樣地交叉熵和均方根誤差呈逐漸減小到谷值又慢慢增大的趨勢，故，最佳分區(qū)數(shù)為90到100之間。

表1 采用不同分割區(qū)域數(shù)進(jìn)行圖像融合的性能指標(biāo)比較

注：圖像的熵值是用來衡量圖像信息豐富程度的重要指標(biāo)，融合圖像的信息熵越大，說明圖像的內(nèi)容越豐富；交叉熵直接反應(yīng)兩幅圖像對應(yīng)像素的差異，交叉熵越小，就表示圖像間的差異越?。换バ畔⒘渴且环N有效衡量圖像間相關(guān)程度的重要指標(biāo)，其值越大，表示圖像間的關(guān)聯(lián)越大；均方根誤差用來評價(jià)融臺(tái)圖像與標(biāo)準(zhǔn)參考圖像之間的差異程度，如果值越小，則表明融合的效果較好。

本文第二部分實(shí)驗(yàn)設(shè)Ncut分區(qū)數(shù)N=92，圖4給出了此時(shí)的分割效果。在基于矩形分區(qū)的融合中，也將分區(qū)數(shù)設(shè)置為相近的數(shù)目90（10×9）。圖5給出了分別用兩種方法進(jìn)行融合的結(jié)果，其中圖5（a）為矩形分區(qū)融合圖像，圖5（b）為Ncut分區(qū)融合圖像。可以看出圖5（a）存在不自然的方塊，這是因?yàn)榛诰匦畏謪^(qū)的融合，在重建圖像時(shí)塊的邊界處出現(xiàn)了不連續(xù)的現(xiàn)象，而圖5（b）消除了這個(gè)現(xiàn)象。

表2給出了分別采用矩形分區(qū)和Ncut分區(qū)方法進(jìn)行融合的結(jié)果，顯然，后者得到的融合圖像在熵、交叉熵、互信息量、均方根誤差四個(gè)方面明顯優(yōu)于前者。綜合主觀和客觀評價(jià)可以看出本文的基于Ncut分區(qū)的融合方法比基于矩形分區(qū)的方法性能更好。

圖4 Ncut分割圖像（n=92）

圖5 分別采用兩種方法的融合圖像

表2 基于矩形分區(qū)和基于Ncut分區(qū)的融合方法性能比較

5. 結(jié)論

本文實(shí)現(xiàn)了一種基于空間頻率表示的多聚焦圖像融合方法，該方法根據(jù)多聚焦圖像的某部分聚焦區(qū)域清晰，而其他區(qū)域圖像模糊的特點(diǎn)，先對多幅源圖像進(jìn)行初始融合，然后通過Ncut分割算法，將不同的源圖像分割成固定的不同區(qū)域，再計(jì)算并比較多幅源圖像中對應(yīng)區(qū)域的空間頻率，將最大的空間頻率所對應(yīng)的源圖像區(qū)域用于最終的融合圖像中，最后再重組為一幅完整的融合圖像。與傳統(tǒng)的基于矩形分區(qū)的融合方法作比較，該方法不僅很好的消除了因圖塊重組而產(chǎn)生的方塊效應(yīng)，還盡可能地保留了不同源圖像中各自聚焦的區(qū)域，盡可能的追求融合區(qū)域來源于源圖像中最清晰的圖像區(qū)域，使融合效果更好。實(shí)驗(yàn)結(jié)果表明，該方法無論是從視覺效果還是性能指標(biāo)上看都取得了較好的效果。

＊ ［1］ 敬忠良，肖鋼，李振華.圖像融合：理論與應(yīng)用.北京：高等教育出版社，2007

＊ 文成林，周東華.多尺度估計(jì)理論及其應(yīng)用.北京：清華大學(xué)出版社，2002

＊ ［2］ P.J.Burt. A gradient pyramid basis for pattern selective ima ge fusion. Proceedings of the Society for Information Display Conference， 1992.467—470

＊ ［3］ Shen Yang， Ai Deng. A Multi-focus Image Fusion Method Based on Wavelet Transform. Journal of Computational Infor mation Systems， 2010.3

＊ ［4］ Haitao Yin， Shutao Li， Leyuan Fang. Simultaneous image fusion and super-resolution using sparse representation， Infor mation Fusion， 14（3）， 2013

＊ ［5］ Shutao Li，Bin Yang. Multifocus image fusion using region segmentation and spatial frequency， Image and vision compu ting， 26（7）， 2008

＊ ［6］ Tanish Zaveri， Mukesh Zaveri. A Novel Two Step Region Bas ed Multifocus Image Fusion Method， International Journal of Computer and Electrical Engineering， 2（1）， 2010

＊ ［7］ J. Shi， J. Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligen ce， 22（8）， 2000

＊ ［8］ S. Li， J.T. Kwok， Y. Wang. Combination of images with dive rse focuses using the spatial frequency. Information Fusion，2（3）， 2001