基于超像素分割的多聚焦圖像融合方法

殷向

（河南大學(xué)計算機與信息工程學(xué)院，開封 475001）

基于超像素分割的多聚焦圖像融合方法

殷向

（河南大學(xué)計算機與信息工程學(xué)院，開封 475001）

為了保留多聚焦融合圖像的系數(shù)相關(guān)性，提出一種基于超像素分割的融合方法。首先對兩幅圖像進行平均融合，并進行超像素分割，然后把兩幅圖像按照分割后的塊進行區(qū)域劃分，針對不同的分割區(qū)域計算對應(yīng)的空間頻率，比較區(qū)域空間頻率的大小并進行融合，得到融合結(jié)果圖。經(jīng)過主客觀評價發(fā)現(xiàn)，此方法可以得到較好的融合效果，適用性高，可以更好地保留細節(jié)信息，融合邊緣過渡自然。

圖像融合；超像素分割；多聚焦

0 引言

隨著科技的快速發(fā)展，越來越多的各種類型的傳感器也隨之出現(xiàn)，人們從傳感器中獲得的信息也逐漸增多。在同一場景中，由于傳感器的種類不同，得到的信息也不完全相同，為了把這些信息根據(jù)不同的規(guī)則提取出來，并融合在一起，形成更加準確全面有效的內(nèi)容，出現(xiàn)了圖像融合技術(shù)。圖像融合技術(shù)應(yīng)用非常廣泛，在醫(yī)學(xué)、遙感科學(xué)、工業(yè)、軍事應(yīng)用的多個方面都有獨特的作用。在醫(yī)學(xué)上，利用CT圖像和MRI核磁共振圖像進行融合，得到的融合圖像而已為病人的疾病提供更精確的描述；在軍事上，紅外圖像和可見光圖像進行融合，得到的融合圖像可以提供被遮擋的目標的準確位置；還有在同一場景把獲取的多個聚焦目標的圖像融合在一起，可以更加清晰的顯示場景中每一個目標，對圖像的后續(xù)處理有重要的意義。本文就是對同一場景的多聚焦融合技術(shù)提出了一種新的思路。

目前常見的圖像融合方法主要包括基于空間域的算法和基于變換域的算法。基于空間域的算法主要是對圖像系數(shù)的直接處理，比如圖像系數(shù)加權(quán)法、主要成分分析法（PCA）、基于統(tǒng)計模型的貝葉斯優(yōu)化融合法、基于人類視覺特性提出的IHS變換等方法、基于人工神經(jīng)網(wǎng)絡(luò)的脈沖耦合神經(jīng)網(wǎng)絡(luò)融合法（PCNN）?；谧儞Q域的算法主要包括基于金字塔變換的融合方法、基于小波變換的融合方法、基于Contourlet變換的融合方法等。這些算法主要是針對單個像素或者目標像素周圍少量像素形成的融合法則，但是圖像中的系數(shù)大多數(shù)不是孤立存在的，區(qū)域系數(shù)之間都有較強的相關(guān)性。為了能得到融合效果更好過渡更自然的融合圖像，增強融合圖像系數(shù)之間的相關(guān)性，本文提出了一種基于超像素分割的圖像融合方法。

該方法首先將待融合的圖像進行超像素分割，分成有較高相關(guān)性和相似度的部分區(qū)域，針對不同的區(qū)域根據(jù)其空間頻率進行融合，得到的融合圖像邊緣更加平滑，信息更加豐富，融合效果更好。

1 融合原理

1.1 超像素分割

超像素是2003年提出的一種圖像分割技術(shù)，主要是把具有相似特征的像素分成一組，形成有一定視覺意義的像素塊，并用像素塊的概念取代像素的概念，以此來表達圖像的紋理顏色亮度等特征，降低了圖像后處理的復(fù)雜度。目前已經(jīng)廣泛應(yīng)用于圖像分割、目標跟蹤、目標識別等領(lǐng)域。

本文采用SLIC（Simple Linear Iterative Clustering,簡單的線性迭代聚類）超像素分割方法對圖像進行分割。它是一種思想簡單、實現(xiàn)方便、計算更快、效率更高的分割算法，分割得到的超像素塊緊湊整齊，更有利于后續(xù)的融合。算法實現(xiàn)步驟如下：

首先將圖像從RGB顏色空間轉(zhuǎn)化成CIELAB顏色空間，對應(yīng)每個像素的顏色值（L，a，b）和坐標（x,y）組成向量[liaibixiyi]T，兩個像素的相似性即可用它們之間的距離衡量，距離越小，相似度越高。

假設(shè)圖像共有N個像素點，預(yù)計分割成K個超像素塊，則超像素的大小為N/K，相鄰聚類中心的距離近似為每隔S個像素取一個聚類中心。將中心移動到與3×3鄰域中最低梯度位置相對應(yīng)的中心位置，避免將超像素定位在邊緣。

搜索聚類中心2S×2S范圍內(nèi)的像素值，并計算它與該中心點的距離，距離計算公式如下：

其中，dc表示顏色距離，ds代表空間距離，NC表示最大顏色距離，一般設(shè)置為常數(shù)，取值范圍[1,40]。由于每個像素都可能被周圍多個中心搜索到，因此比較距離D的大小，取最小值對應(yīng)的中心作為該像素點的聚類中心。

當每個像素都和最近的聚類中心相關(guān)聯(lián)后，把聚類中心調(diào)整為該聚類中所有像素的均值作為新的中心。

多次重復(fù)迭代操作，直到分類結(jié)果基本不發(fā)生改變?yōu)橹?。實踐發(fā)現(xiàn)一般10次迭代后都能得到比較理想的結(jié)果。

圖1為SLIC超像素分割結(jié)果圖。

圖1 Lena原圖和超像素分割后的圖像

1.2 融合過程

（1）首先把待融合圖像A和圖像B平均融合得到圖像C，并對圖像C進行SLIC超像素分割得到分割后的圖像D。

（2）分別對大小為M×N的圖像A和圖像B按照圖像D中分割的區(qū)域進行分割，并計算每一塊區(qū)域的空間頻率?？臻g頻率Rsf計算公式如下：

其中Sum分割區(qū)域K中的像素的個數(shù)。

（3）比較圖像A和B中不同區(qū)域的空間頻率，如果A中某區(qū)域的空間頻率大于B中對應(yīng)區(qū)域的空間頻率，則融合圖像F中該對應(yīng)區(qū)域取A的點，否則，融合圖像F中該對應(yīng)區(qū)域取B的點。

其中LFk(x ,y)表示圖像F中區(qū)域K的坐標。

融合流程如圖2所示：

圖2 圖像融合流程

2 實驗結(jié)果

為了驗證算法的融合效果，本文對源圖像進行了融合，并和基于小波變換（DWT）的融合方法、基于NSCT的融合方法、基于PCA的融合方法進行了比較。除了主觀觀察多幅融合圖像的融合質(zhì)量，本文還采用五種融合圖像質(zhì)量評價標準對不同的融合圖像進行可光的比較，分別是邊緣信息保留值（QAB/F）、互信息（MI：Mutual Information）、信息熵（Entropy）、空間頻率（SFrquency：Spatial Frequency）、平均梯度（AG：Average Gradient）。上述幾個評價標準均是值越大融合效果越好。

圖3 本文算法和多種算法融合結(jié)果圖

表1

通過觀察圖3和表1可以看出，本文算法有比較明顯的優(yōu)勢，本文算法的結(jié)果圖中細節(jié)紋理都有比較好的保留，目標清晰，圖像融合自然，多個指標的數(shù)值也都名列前茅，既能保留較多的圖像信息，又有較高的清晰度和對比度。證明了本文算法的優(yōu)異性和魯棒性。

3 結(jié)語

本文針對多聚焦圖像融合問題，提出了一種基于超像素分割的融合算法。首先把兩幅源圖像簡單融合并進行超像素分割，然后按照分割塊大小對源圖像進行分割，得到不同的區(qū)域，并根據(jù)不同的區(qū)域進行融合。本文算法得到的結(jié)果圖保留了更多的圖像特征信息，且邊緣過渡效果自然，在主觀分析和客觀評價中均有較好的表現(xiàn)。

[1]蔡植善,陳木生.基于小波變換的多聚焦圖像融合方法研究[J].激光與光電子學(xué)進展,2015,52（9）：117-121.

[2]周生龍，張濤，蒯多杰等.基于方向區(qū)域的NSCT圖像融合算法[J].激光與紅外,2013,43（2）：204-207.

[3]徐月美.多尺度變換的多聚焦圖像融合算法研究[D].中國，中國礦業(yè)大學(xué)，2012：14-16.

[4]楊粵濤.基于非采樣Contourlet變換的圖像融合[D].中國，中國科學(xué)院長春光學(xué)精密機械與物理研究所，2012：16-20.

[5]宋瑞霞,王孟,王小春.NSCT與邊緣檢測相結(jié)合的多聚焦圖像融合算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2016,28（12）：2134-2141.

Multi-Focus Image Fusion Algorithm Based on Super-Pixel Segmentation

YIN Xiang
（College of Computer and Information Engineering,Henan University,Kaifeng 475001）

In order to preserve the coefficient correlation of multi-focus fusion images,proposes a fusion method based on super-pixel segmentation.Firstly,fusions two image with average and super-pixel division them,then divides the two images according to the division blocks,according to different segmentation regional calculating corresponding spatial frequency,compares the regional spatial frequency and fusion them,and gets the fusion result.According to the subjective and objective evaluation,this method can get better fusion effect and high applicability.It can better retain details and blend the edge transition nature.

Image Fusion；Super-Pixel Segmentation；Multi-Focus

高分重大專項課題（No.Y4D00100GF）、高分重大專項課題（No.Y4D0100038）

1007-1423（2017）32-0076-04

10.3969/j.issn.1007-1423.2017.32.017

殷向（1990-），男，河南開封人，研究生，研究方向為空間數(shù)據(jù)處理和圖像處理

2017-08-22

2017-11-10