一種基于形態(tài)分量的多聚焦圖像融合算法

陳 杰，茅 劍，張杰敏

(集美大學(xué)計(jì)算機(jī)工程學(xué)院，福建 廈門 361021)

0 引言

圖像融合是以圖像為對象的信息融合的研究方向，其目的是將多個(gè)不同或相同類型的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)場景的多幅圖像信息加以綜合，從而產(chǎn)生新的有關(guān)此場景解釋的信息處理過程。通過對多幅傳感器圖像的融合可克服單一傳感器圖像在幾何、光譜和空間分辨率等方面存在的局限性和差異性并提高圖像的質(zhì)量，有利于對物理現(xiàn)象和事件進(jìn)行定位、識別和解釋[1]。

由于鏡頭景深的限制，當(dāng)所拍攝的物體與鏡頭的距離相差較大的情況下，現(xiàn)有的攝像頭無法聚焦所拍攝的所有物體。多聚焦圖像融合是解決當(dāng)前問題的方法之一。多聚焦圖像融合能將對聚焦在不同位置的圖像融合成為一幅圖像，從而提供更為清晰的圖像，以此表示更準(zhǔn)確和可靠的內(nèi)容，便于人的觀察或機(jī)器的后續(xù)處理。圖像融合為人或機(jī)器后期的圖像處理提供了便利的條件，因而在遙感圖像、航天航空、公安安防、工業(yè)設(shè)計(jì)等領(lǐng)域中獲得了越來越多的應(yīng)用[1-2]。

目前，圖像融合算法主要分為空域和變換域兩大類。空域融合算法的主要特點(diǎn)是將帶融合的圖像進(jìn)行分塊并逐塊比較或逐像素點(diǎn)比較，通過空間頻率、拉普拉斯能量、梯度算子等檢測分塊的清晰度，從而選擇具有較高清晰度的圖像分塊或像素點(diǎn)用于融合后的圖像[3]。變換域圖像融合算法基本是對圖像進(jìn)行變換，然后對不同的變換系數(shù)采用不同的融合規(guī)則進(jìn)行融合，最終得到融合后的圖像。目前，變換域多聚焦圖像融合算法主要有基于DCT變換[4-5]、小波變換[6-9]、curvelet變換[10-12]、contourlet變換[13-14]、金字塔分解[15-16]等方法。

當(dāng)前主要的多聚焦圖像融合算法都是將圖像作為單一分量來進(jìn)行表示，這也意味著它們在表示圖像內(nèi)容信息的時(shí)候具有一定的局限性。如果能將圖像分解成多個(gè)不同的分量，那么圖像內(nèi)容的表示將會更有效和更完整。

稀疏表示[17]是指一幅圖像可由一個(gè)過完備字典中少數(shù)幾個(gè)原子圖像來線性表示。使用稀疏表示可以使圖像的能量集中在少數(shù)的原子圖像上，而這些原子圖像同時(shí)也反映了待表示圖像的主要特征和基本結(jié)構(gòu)。curvelet變換是一種基于多尺度的圖像分析工具，與小波變換相對比，由于curvelet變換的基支撐區(qū)間具有各向異性的特點(diǎn),因而curvelet變換可用能量更加集中的稀疏的系數(shù)來表示圖像邊緣、紋理等細(xì)節(jié)信息，特別是能夠?qū)ζ娈惽€進(jìn)行最優(yōu)的稀疏逼近表達(dá)，因此可以更方便地對圖像特征進(jìn)行分析[18-20]。curvelet因其良好的特性使其在去噪、圖像增強(qiáng)、圖像恢復(fù)等許多領(lǐng)域都得到了廣泛的應(yīng)用[21-23]。Starck等[24-25]提出的形態(tài)分量分析(morphological component analysis，簡稱MCA)就是采用curvelet對圖像進(jìn)行分解的，他們認(rèn)為圖像的低頻和高頻可以用不同字典來稀疏表示，是一種對圖像進(jìn)行分解的方法。

本文根據(jù)稀疏表示的特點(diǎn)，使用迭代分解的方法將待融合的源圖像進(jìn)行分解，得到源圖像的低頻分量和高頻分量。隨后，對分解后的低頻分量和高頻分量根據(jù)不同的特點(diǎn)制定不同清晰度以便判定，并用于最終的融合，最后將融合后的低頻分量與高頻分量合并，以期得到真正融合后的結(jié)果。

1 稀疏表示與curvelet變換

設(shè)x是n維信號，

(1)

其中Φ={φ1,φ2,…,φn}稱為字典，α={α1,α2,…,αn}是Φ的系數(shù)表示。若x是n維向量，L?n，則稱Φ={φ1,φ2,…,φn}是一個(gè)過完備字典。找出信號x的最稀疏表示，即α中非零元最少的情況：

(2)

以多分辨率為核心的小波變換克服了傅里葉變換在圖像處理上的不足，因此得到了廣泛的應(yīng)用[26]。但是由于二維的小波變換是由一維的小波變換所推廣得到的，因此小波變換圖像上仍然只能描述圖像的點(diǎn)奇異性，而無法描述線奇異和面奇異等高維信號特征。此外，由于小波描述的是水平、垂直和對角線三個(gè)方向的特性，而對于邊緣等多方向的圖像特征無法得到較好的描述[17]。

x=xC+xT=ΦCαC+ΦTαT。

(3)

2 基于形態(tài)分量的圖像融合算法

2.1 圖像融合框架

本文圖像融合算法的過程主要由“分解—融合—相加”三個(gè)部分組成。融合算法框架如圖1所示。

分解：基于稀疏表示的特點(diǎn)，將待融合的源圖像迭代分解，并使用字典表示分解后的低頻分量，同時(shí)將原圖像減去低頻分量，得到高頻分量。

融合：根據(jù)低頻和高頻分量的不同特點(diǎn)，定義不同的清晰度規(guī)則，并將其用于融合處理，從而得到新的低頻分量和高頻分量。

相加：將新的低頻分量和高頻分量合并，得到最終的融合后的圖像。

2.2 迭代分解

圖像的迭代分解使用Starck等[24-25]的思想方法，使用curvelet變換和滑動(dòng)重疊窗口的局部離散余弦變換分別作為低頻分量和高頻分量所表示的字典，具體分解算法如下：

輸入 原始圖像I0

輸出 圖像低頻分量I1，高頻分量I2

Step1 定義最大閾值λmax和最小閾值λmin，低頻系數(shù)融合規(guī)則，初始化I0為原始圖像，I1=0，I2=0，初始化迭代次數(shù)N，閾值δ=λmax

Step2

whilei

{

fork=1 to 2

{

計(jì)算r=I0-I1-I2;

對Ik+r做變換Tk，得系數(shù)α1;

}

δ=δ-(λmax-λmin)/N;

i=i+1;

}

迭代結(jié)束完畢，即可獲得低頻分量I1和高頻分量I2，且I0≈I1+I2

如圖2所示，a、b分別為原始的左聚焦和右聚焦圖像，c、e分別為a經(jīng)分解后得到的低頻分量和高頻分量,d、f分別為b經(jīng)分解后得到的低頻分量和高頻分量。

2.3 低頻系數(shù)融合規(guī)則

由于分解后的低頻系數(shù)保留了大量的原始圖像整體特征的信息和部分邊緣信息，因此在融合過程中需要選取較為清晰的部分。由于圖像中清晰的部分往往體現(xiàn)出較高的對比度，每個(gè)像素點(diǎn)與其相鄰的像素點(diǎn)的差值相對較大，即圖像清晰程度由區(qū)域內(nèi)像素共同決定。因此在光滑部分的融合中需要充分體現(xiàn)其細(xì)節(jié)信息，細(xì)節(jié)信息越豐富的部分，圖像就越清晰。Jiang等[27]認(rèn)為圖像分解后的系數(shù)的絕對值體現(xiàn)了細(xì)節(jié)信息的保留程度，因此建議分解后采用絕對值最大法進(jìn)行融合。為了能進(jìn)一步評價(jià)低頻分量中的點(diǎn)特征活躍度，本文使用高斯差分模板[28]作為低頻點(diǎn)特征活躍度的算子，由此來定義低頻系數(shù)的融合規(guī)則。

故高斯差分算子F定義為：

(4)

由于高斯模板濾波是對圖像進(jìn)行平滑處理，兩個(gè)高斯模板濾波后相減即把圖像中灰度值變換比較平坦的區(qū)域給消除掉了，故高斯差分模板可以作為邊緣檢測和特征提取的算子[29-30]。本文對低頻分量使用高斯差分算子作為細(xì)節(jié)特征活躍度的衡量標(biāo)準(zhǔn)。

定義2 特征活躍度fa(x,y)=F*f(x,y)，在融合過程中，fa(·)的值越大，代表該點(diǎn)能夠體現(xiàn)的細(xì)節(jié)信息和特征越多，表明該像素點(diǎn)與其鄰域的對比越大，即表明該點(diǎn)的清晰度越大，因此低頻分量的融合規(guī)則為：

LF(i,j)=αij×LA(i,j)+(1-αij)×LB(i,j)，

(5)

其中αij=faA(i,j)/(faA(i,j)+faB(i,j))。

2.4 高頻系數(shù)融合規(guī)則

由于高頻分量是在原圖像中去除了低頻信息，其主要保留的是圖像中的細(xì)節(jié)信息，因此在融合過程中需要選取較為清晰的部分。由于圖像的每一個(gè)像素點(diǎn)與其相鄰的像素點(diǎn)都是相關(guān)的，圖像清晰與否由區(qū)域內(nèi)像素共同決定，因此在決定高頻分量融合時(shí)，需要充分考慮與其相鄰像素的關(guān)系。為了體現(xiàn)像素點(diǎn)的清晰度，本文在紋理部分采用加權(quán)邊緣信息用于判斷像素點(diǎn)的清晰度。本文定義細(xì)節(jié)信息(details information)作為高頻分量融合的標(biāo)準(zhǔn)。

定義3 細(xì)節(jié)信息

(6)

其中，細(xì)節(jié)信息窗口大小為(2s+1)×(2t+1)。

本算法的高頻信息的融合規(guī)則為

(7)

3 實(shí)驗(yàn)結(jié)果與分析

為了對上述算法進(jìn)行驗(yàn)證，本文使用了圖3的四組測試圖像進(jìn)行實(shí)驗(yàn)仿真，采用Matlab R2015b進(jìn)行仿真實(shí)驗(yàn)，分解迭代次數(shù)為60次。同時(shí)對基于離散小波變換的融合算法(記為DWT)、基于PCA的融合算法(記為PCA)、基于金字塔的融合算法(梯度金字塔(記為GP)和拉普拉斯金字塔(記為LP))和使用系數(shù)的絕對值最大法的融合算法(記為Max)等五種算法進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4顯示了六種圖像融合的算法，可以看到，本文方法的融合算法與絕對值最大法、基于DWT、基于PCA、梯度金字塔和拉普拉斯金字塔方法的融合算法在視覺效果上看差不多。

為能進(jìn)一步說明本算法，本文同時(shí)進(jìn)行客觀評價(jià)指標(biāo)的評價(jià)?？陀^評價(jià)指標(biāo)有：

1)平均梯度

(8)

其中，Gx(i,j)和Gy(i,j)分別為像素點(diǎn)(i,j)在x方向和y方向的一階差分。

2)空間頻率

(9)

其中，F(xiàn)R和FC分別表示圖像的行頻率和列頻率，

3)熵

(10)

4)互信息

MIAB/F=MIAF+MIBF，

(11)

其中

pAF(i,k)與pBF(i,k) ，i,k=0,1,…，L-1分別表示源圖像A與融合后圖像F的聯(lián)合直方圖和源圖像B與融合后圖像F的聯(lián)合直方圖。

從表1可見：從平均梯度上看，本文所提出的算法在實(shí)驗(yàn)數(shù)據(jù)上比大多數(shù)的融合算法都要好，僅僅在第2組中稍弱于DWT方法；從空間頻率上看，本文提出的圖像融合算法均比傳統(tǒng)的融合算法來得更好；在信息熵方面，本算法在第1組和第3組中也表現(xiàn)出比其他融合效果更好的指標(biāo)，在第2組中僅稍弱于DWT方法與拉普拉斯金字塔方法，在第4組中僅稍弱于系數(shù)絕對值最大法。說明該方法在從源圖像獲取梯度信息、邊緣保護(hù)等方面要優(yōu)于其他算法。但本文的方法也存在一定的不足，那就是在互信息的指標(biāo)上顯得相對較弱。

表1 測試圖像的客觀評價(jià)指標(biāo)

4 結(jié)論

本文根據(jù)稀疏表示的特點(diǎn)，使用迭代分解的方法，提取圖像的不同形態(tài)分量。在低頻分量，本文使用高斯差分算子來定義圖像的特征活躍度，并以此作為融合規(guī)則；而在高頻分量中使用加權(quán)模板定義細(xì)節(jié)信息，并相應(yīng)作為融合規(guī)則。最后將融合后的低頻分量和高頻分量疊加得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，該方法在主觀評價(jià)中有著較好表現(xiàn)，同時(shí)，在客觀評價(jià)中大多數(shù)指標(biāo)優(yōu)于其他圖像融合算法。