基于VSM與圖像統(tǒng)計(jì)的多聚焦圖像融合

李昌興, 武 潔, 惠莉萍

(1. 西安郵電大學(xué) 理學(xué)院，陜西 西安 710121；2. 西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121；3. 西安科技大學(xué) 理學(xué)院，陜西 西安 710054)

圖像融合是將一個(gè)場(chǎng)景的兩個(gè)或兩個(gè)以上源圖像的顯著特征融合到一幅融合圖像的重要技術(shù)，為圖像分析以及目標(biāo)識(shí)別等應(yīng)用提供了非常有價(jià)值的信息[1]。多焦點(diǎn)圖像融合是融合使用不同的相機(jī)設(shè)置拍攝的同一場(chǎng)景中不同目標(biāo)分別聚焦的多幅圖像，形成一幅各個(gè)目標(biāo)都清晰聚焦的新圖像[2]。圖像融合技術(shù)已廣泛地應(yīng)用于計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形、醫(yī)學(xué)影像、數(shù)碼攝影、顯微成像以及刑偵現(xiàn)場(chǎng)圖像處理等應(yīng)用領(lǐng)域。

目前,基于多尺度分析的融合算法受到的關(guān)注較多，如有能量壓縮和多分辨率性質(zhì)的小波變換[3]使融合后的圖像結(jié)合了邊緣及紋理等重要特征；基于提升小波變換[4]的方法，以融合圖像的視覺(jué)質(zhì)量和性能指標(biāo)為代價(jià)減少了計(jì)算量；剪切波變換[5]解決了小波變換中塊狀效應(yīng)的問(wèn)題，并有效地提高了運(yùn)算速率，但是，在離散化過(guò)程中，下采樣的操作使其失去了平移不變性，在圖像去噪和圖像融合時(shí)可能在奇異點(diǎn)附近產(chǎn)生偽布吉斯現(xiàn)象[6]；基于各向異性擴(kuò)散(anisotropic diffusion, AD)[7]的融合方法是通過(guò)二階偏微分方程實(shí)現(xiàn)的，對(duì)圖像的均勻區(qū)域進(jìn)行各向同性平滑，同時(shí)保持非各向同性區(qū)域，融合圖像在平滑過(guò)程中模糊了邊緣容易受到塊狀或偽影效應(yīng)的影響，從而可能導(dǎo)致計(jì)算機(jī)視覺(jué)中檢測(cè)到虛假物體[8]；基于引導(dǎo)濾波的加權(quán)平均圖像融合算法[9]有效地避免了偽影效應(yīng)，但視覺(jué)顯著特征不能被拉普拉斯算子生成的顯著圖表示出來(lái)，并且因考慮多方向分解，致使圖像部分細(xì)節(jié)信息丟失；基于交叉雙邊濾波器(cross bilateral filter, CBF)[10]的融合方法結(jié)合圖像的灰度相似性和相鄰像素的空間鄰近度獲取濾波器內(nèi)核，再對(duì)圖像進(jìn)行平滑，融合后的圖像容易產(chǎn)生梯度反轉(zhuǎn)偽像，且實(shí)現(xiàn)時(shí)間相對(duì)較長(zhǎng)；基于四階偏微分方程(ffourth order partial differential equations, FPDEs)[8]的融合方法避免了塊狀效應(yīng)的影響，在邊緣信息保留和圖像平滑之間能更好的平衡。

針對(duì)以上多聚焦圖像融合方法存在塊狀、偽影效應(yīng)，圖像細(xì)節(jié)信息失真等問(wèn)題，本文擬提出一種將視覺(jué)顯著性映射融合規(guī)則與圖像統(tǒng)計(jì)相結(jié)合的融合策略。分別使用FPDEs和CBF對(duì)源圖像進(jìn)行多尺度分解獲取近似層和細(xì)節(jié)層；對(duì)近似層采用基于視覺(jué)顯著性映射(visual saliency map, VSM)[11]的融合方法提取圖像的顯著結(jié)構(gòu)、區(qū)域和目標(biāo)，用以減少融合圖像的對(duì)比度損失，獲得更好的整體視覺(jué)效果；細(xì)節(jié)層采用圖像統(tǒng)計(jì)的融合規(guī)則，自適應(yīng)地找到細(xì)節(jié)圖像的最佳權(quán)重進(jìn)行合并；對(duì)處理后的近似層和細(xì)節(jié)層通過(guò)線性組合的方式得到融合后的圖像。最后，將本文方法分別與基于離散余弦變換(DCT)[12]、基于離散余弦諧波小波變換(DCHWT)[13]、基于主成份分析(PCA)[14]、基于四階偏微分方程(FPDEs)[15]、基于交叉雙邊濾波器(CBF)[10]融合方法的實(shí)驗(yàn)結(jié)果進(jìn)行比較以驗(yàn)證所提方法的效果。

1 多尺度圖像分解

1.1 基于FPDEs的多尺度分解方法

圖像可視為一個(gè)連續(xù)的對(duì)象，通常對(duì)圖像進(jìn)行無(wú)限小的迭代操作。為了避免塊狀效應(yīng)的影響，在邊緣信息保留和圖像平滑之間能更好的平衡，本文采用基于四階偏微分方程(fourth order partial differential equations, FPDEs)[8]的融合方法。

假設(shè)一個(gè)平面圖像是能量函數(shù)Eu的全局極小化，則定義在Ω上的連續(xù)圖像函數(shù)空間中的能量泛函[16]為

(1)

其中，Ω為圖像的定義域，u為圖像強(qiáng)度函數(shù)，2是拉普拉斯算子，‖·‖表示絕對(duì)值，f(·)為非負(fù)的增函數(shù)。

為極小化能量泛函，F(xiàn)PDEs方法使用梯度下降的過(guò)程[8]如下

(2)

其中，t為時(shí)間，f′(s)=g(s)s，s為變量，g(·)為擴(kuò)散系數(shù)，k是常量。

應(yīng)用迭代法對(duì)偏微分方程(1)進(jìn)行數(shù)值逼近，記為

(3)

(4)

(5)

對(duì)源圖像A和B分別經(jīng)過(guò)FPDEs[15]邊緣保留的分解過(guò)程獲得近似層Aa(i,j)和Ba(i,j)，分別記為

Aa(i,j)=FPDEs(A(i,j))，
Ba(i,j)=FPDEs(B(i,j))。

(6)

1.2 基于CBF的多尺度分解方法

基于交叉雙邊濾波器(Cross Bilateral Filter, CBF)[17]的融合方法先是結(jié)合其中一個(gè)源圖像的灰度相似性和相鄰像素的空間鄰近度獲取濾波器內(nèi)核后，再對(duì)另一個(gè)源圖像進(jìn)行濾波處理，最后從源圖像中減去相對(duì)應(yīng)的濾波后的圖像獲取細(xì)節(jié)層圖像。

假設(shè)源圖像為A，利用雙邊濾波器計(jì)算源圖像A的灰度相似性和相鄰像素的空間鄰近度以獲取核函數(shù)，源圖像A在像素x處的雙邊濾波器輸出[10]為

(7)

式中σμ和ση分別是控制空間域和強(qiáng)度域中權(quán)重下降的參數(shù)，R(x)是x的空間鄰域，‖y-x‖是y與x之間的Euclidean距離，ν是歸一化常數(shù)，表示為

(8)

源圖像B在像素x處的CBF輸出[18]為

(9)

同理，可獲得ACBF(x)。分別從源圖像A和B中減去所對(duì)應(yīng)CBF的輸出獲取源圖像A和B，即可得到細(xì)節(jié)層圖像，分別記為

Ad=A-ACBF,Bd=B-BCBF。

(10)

2 基于VSM與圖像統(tǒng)計(jì)的融合規(guī)則

2.1 視覺(jué)顯著性映射

一般情況下，多尺度分解方法為了減少計(jì)算量，致使分解級(jí)數(shù)受到限制，因此從源圖像中獲得的近似層保留了相當(dāng)多的殘余低頻信息，使得融合圖像的整體視覺(jué)反差較大。而傳統(tǒng)的“平均”融合規(guī)則不能充分有效地利用這些低頻信息，通常導(dǎo)致融合圖像的對(duì)比度不足。視覺(jué)顯著性映射是一種利用計(jì)算感知或認(rèn)知技術(shù)定量預(yù)測(cè)視覺(jué)吸引力的圖像分析方法[19]，能有效地減少融合圖像的對(duì)比度損失，獲得更好的整體外觀。構(gòu)造VSM[11,20,21]的方法如下所述。

定義源圖像I中α處的像素Iα的顯著性值為

(11)

式中‖Iα-Ii‖是Iα與Ii之間的顏色距離度量，Ii的取值范圍為[0,255]。擴(kuò)展像素等級(jí)后，式(11)可以寫(xiě)為

SV(Iα)=‖Iα-I1‖+‖Iα-I2‖+
…+‖Iα-IN‖。

(12)

其中N表示圖像I中像素總數(shù)。若兩個(gè)像素具有相同的強(qiáng)度值，則對(duì)應(yīng)的顯著性值也相等，則式(12)，可以寫(xiě)為

(13)

式中Mi表示圖像中像素Ii的數(shù)量，L是灰度級(jí)數(shù)。通常情況下，SV(Iα)被歸一化，且其取值范圍為[0,1]。

同理，分別對(duì)源圖像A和B使用上述VSM方法提取源圖像的顯著性圖AV和BV，再用改進(jìn)的平均融合規(guī)則將AV和BV與近似層Aa(i,j)和Ba(i,j)進(jìn)行融合得到融合后的近似層圖像，記為

(14)

2.2 圖像統(tǒng)計(jì)

基于圖像統(tǒng)計(jì)的融合規(guī)則可以使用鄰域的統(tǒng)計(jì)特性[22]自適應(yīng)地決定權(quán)重，其主要思想是圖像塊的協(xié)方差矩陣的特征值取決于圖像塊中邊緣的強(qiáng)度，從而為中心像素選擇一個(gè)更佳的權(quán)重，使像素具有更清晰的鄰域權(quán)值。鑒于此，本文采用圖像鄰域的統(tǒng)計(jì)特性自適應(yīng)地找到細(xì)節(jié)圖像的最佳權(quán)重。

通過(guò)在該像素點(diǎn)的周圍取一個(gè)大小為w×w的窗口來(lái)計(jì)算圖像中像素點(diǎn)(i,j)處對(duì)應(yīng)的權(quán)重，主要是根據(jù)水平和垂直細(xì)節(jié)層強(qiáng)度尋找對(duì)應(yīng)圖像位置的最佳權(quán)重。

首先，假設(shè)圖像塊為矩陣K，將矩陣K的每一行作為觀測(cè)值，每一列作為變量，其協(xié)方差矩陣為[23]

Dh(K)=E[(K-E[K])(K-E[K])T]，

(15)

(16)

(17)

(18)

通過(guò)將水平和垂直這兩個(gè)相應(yīng)的細(xì)節(jié)層強(qiáng)度相加得到圖像細(xì)節(jié)層系數(shù)的權(quán)重，記為

W(i,j)=βh(i,j)+βv(i,j)。

(19)

對(duì)細(xì)節(jié)層圖像Ad(i,j)和Bd(i,j)分別采用圖像統(tǒng)計(jì)的融合規(guī)則得到最佳權(quán)重WA(i,j)和WB(i,j)，再與源圖像進(jìn)行加權(quán)平均得到融合后的細(xì)節(jié)層圖像，記為

(20)

2.3 圖像融合

(21)

2.4 算法流程及步驟

本文提出的多聚焦圖像融合方法是將視覺(jué)顯著性映射與圖像統(tǒng)計(jì)特性的融合規(guī)則結(jié)合在一起，通過(guò)四階偏微分方程(FPDEs)與交叉雙邊濾波器(CBF)多尺度分解的方法獲取源圖像的近似層和細(xì)節(jié)層，近似層采用基于視覺(jué)顯著性映射(VSM)的融合規(guī)則，細(xì)節(jié)層采用圖像統(tǒng)計(jì)的融合規(guī)則，再對(duì)處理后的近似層和細(xì)節(jié)層圖像進(jìn)行線性組合得到融合圖像。算法流程如圖1所示。

算法的具體步驟如下。

步驟1分別對(duì)源多聚焦圖像A和B采用FPDEs的多尺度分解方法得到近似層圖像Aa(i,j)和Ba(i,j)。

步驟2分別對(duì)源多聚焦圖像A和B采用基于CBF的多尺度分解方法得到細(xì)節(jié)層圖像Ad(i,j)和Bd(i,j)。

步驟3分別對(duì)源圖像A和B使用VSM方法提出源圖像的顯著性圖AV和BV。

步驟4對(duì)步驟1中獲取的近似層Aa(i,j)和Ba(i,j)以及步驟3中得到的顯著性圖AV和BV采用加權(quán)平均的方法進(jìn)行融合。

步驟5對(duì)步驟2中獲取的細(xì)節(jié)層圖像Ad(i,j)和Bd(i,j)采用圖像統(tǒng)計(jì)的融合規(guī)則進(jìn)行融合。

步驟6對(duì)步驟4和步驟5中獲取的近似層圖像和細(xì)節(jié)層圖像進(jìn)行線性組合得到最終的融合圖像。

圖1 融合算法流程圖

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中提出方法的有效性，選擇不同聚焦水平的兩組源圖像進(jìn)行實(shí)驗(yàn)，分別為“Clock”圖像數(shù)據(jù)集和“Pepsi”圖像數(shù)據(jù)集，如圖2所示。

圖2 兩組待融合源圖像

實(shí)驗(yàn)運(yùn)行環(huán)境為中央處理器為Intel(R) Core(TM)i3-3217U，1.8GHz，安裝內(nèi)存為4GB的PC機(jī)，64位Win7操作系統(tǒng)，Matlab版本為Matlab 8.3.0.532(R2014a)。從主觀視覺(jué)和客觀指標(biāo)上對(duì)本文方法與文獻(xiàn)[12-15]及文獻(xiàn)[10]中的方法進(jìn)行評(píng)估比較。兩組實(shí)驗(yàn)中不同融合方法的融合結(jié)果詳細(xì)顯示了融合圖像的視覺(jué)質(zhì)量，如圖3所示。為便于分析融合圖像的結(jié)果，其部分區(qū)域被放大。

圖3 兩組圖像不同融合結(jié)果比較

3.1 主觀評(píng)價(jià)

在第一組以“Clock”為源圖像的結(jié)果圖中，由圖3(a)可以看出文獻(xiàn)[12]的融合方法存在鋸齒效應(yīng)，特別是小時(shí)鐘的上邊緣標(biāo)出的部分，信息失真較嚴(yán)重。圖3(b)可以看出文獻(xiàn)[13]方法的融合圖像背景中產(chǎn)生了塊狀偽影。圖3(c-d)可以看出文獻(xiàn)[14-15]方法的融合圖像對(duì)比度不高而且存在陰影，導(dǎo)致視覺(jué)效果模糊，特別是小鐘表中的數(shù)字“6”。圖3(e)可以看出文獻(xiàn)[10]的方法產(chǎn)生了梯度反轉(zhuǎn)偽像。

在第二組以“Pepsi”為源圖像的結(jié)果圖中，由圖3(a)可以看出文獻(xiàn)[12]的融合方法在“ES Magnifier Quality”詞匯的上邊沿均存在陰影，在字符“P”區(qū)域中有塊狀偽影。文獻(xiàn)[13]方法的融合結(jié)果中存在塊狀效應(yīng)，而文獻(xiàn)[10]方法的融合圖像存在梯度反轉(zhuǎn)偽像。圖3(c-d)可看出文獻(xiàn)[14-15]方法的融合圖像對(duì)比度相對(duì)較低并存在陰影，導(dǎo)致視覺(jué)上看到的部分區(qū)域較模糊。與以上方法相比，兩組實(shí)驗(yàn)中圖3(f)的融合圖像避免了“塊狀偽影”的現(xiàn)象，減少了圖像對(duì)比度的損失，圖像的亮度、以及視覺(jué)效果更佳。

3.2 客觀評(píng)價(jià)

考慮到人眼視覺(jué)效果對(duì)融合圖像的評(píng)價(jià)帶有一定主觀色彩，為了對(duì)融合后的圖像進(jìn)行更加客觀的分析，本文分別采用圖像的平均像素強(qiáng)度(API)、標(biāo)準(zhǔn)差(SD)、平均梯度(AG)、信息熵(H)、相關(guān)系數(shù)(Corr)、空間頻率(SF)和相互特征信息(FMI)的指標(biāo)[22]等進(jìn)行評(píng)估。

兩組實(shí)驗(yàn)所獲得的融合圖像的性能指標(biāo)大小，分別如表1和表2所示。

表1 不同融合方法的客觀評(píng)價(jià)(第一組“Clock”實(shí)驗(yàn))

表2 不同融合方法的客觀評(píng)價(jià)(第二組“Pepsi”實(shí)驗(yàn))

從表1中以“Clock”為源圖像的數(shù)據(jù)中可以看出，本文算法的融合結(jié)果在平均像素強(qiáng)度、標(biāo)準(zhǔn)差、信息熵、相關(guān)系數(shù)4個(gè)質(zhì)量指標(biāo)上比文獻(xiàn)[12-15]及文獻(xiàn)[10]中的更高,說(shuō)明得到的融合圖像的平均亮度更高，包含的源圖像中的信息更加豐富，融合圖像與源圖像的相關(guān)性更高；從表2中以“Pepsi”為源圖像的數(shù)據(jù)中可以看出，本文算法的融合結(jié)果在平均像素強(qiáng)度、標(biāo)準(zhǔn)差、信息熵、相關(guān)系數(shù)和空間頻率5個(gè)質(zhì)量指標(biāo)上都比文獻(xiàn)[12-15]及文獻(xiàn)[10]中的融合算法更高，說(shuō)明融合圖像的亮度更高，包含源圖像中的信息更加豐富，與源圖像的相關(guān)性更高，區(qū)域整體信息也更多。因此，可以說(shuō)明本文方法的融合圖像在平均亮度、信息豐富度上更為優(yōu)越，與源圖像的相關(guān)性更高，圖像的質(zhì)量更好，這與主觀評(píng)價(jià)一致。

4 結(jié)語(yǔ)

針對(duì)多聚焦圖像融合問(wèn)題，提出一種視覺(jué)顯著性映射融合規(guī)則與圖像統(tǒng)計(jì)相結(jié)合的融合方法。該方法利用FPDEs和CBF的多尺度分析方法分別從源圖像中獲取近似層和細(xì)節(jié)層，近似層采用一種基于VSM的加權(quán)平均技術(shù)融合，細(xì)節(jié)層采用圖像統(tǒng)計(jì)的融合方法，將處理后的近似層與細(xì)節(jié)層圖像進(jìn)行線性組合得到融合圖像。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效地將源圖像的有用信息轉(zhuǎn)移到融合圖像中，并且相對(duì)減少了圖像融合過(guò)程中的對(duì)比度損失和偽像現(xiàn)象，融合圖像的平均像素強(qiáng)度、標(biāo)準(zhǔn)差、信息熵及相關(guān)系數(shù)等指標(biāo)都有顯著的提高。本文方法是否適合多聚焦彩色圖像融合將是值得研究的問(wèn)題之一。