基于梯度理論的多聚焦圖像融合

官澤瑾，毛義坪

（重慶師范大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶401331）

0 引言

圖像融合是圖像處理研究的領(lǐng)域之一，由于拍攝圖像的相機(jī)景深是有限的，所以不能使圖像中的每個(gè)部分都聚焦。因此只要相機(jī)聚焦了某個(gè)點(diǎn)，相應(yīng)的其他部分就不能聚焦。不在聚焦范圍內(nèi)的部分給人的感覺就是模糊不清的。多聚焦圖像融合技術(shù)就是研究這樣實(shí)際的問題，目的是使圖像的每個(gè)部分清楚。

中外研究者提出了多種圖像融合可行的方法，大致分為兩類，即變換域法和空域法。最初提出圖像融合方法的變換域法是基于多尺度分解（Multi-Scale Transform，MST）的算法。其中最早基于拉普拉斯金字塔變換[1]的方法已經(jīng)提出三十多年的歷史。通常上述基于多尺度分析方法一般有三個(gè)步驟，即，變換圖像、融合系數(shù)、反變換重組圖像[2]。通常，圖像被變換后會(huì)得到高頻系數(shù)和低頻系數(shù)，低頻是對(duì)原始圖像的近似。高頻部分是圖像的細(xì)節(jié)。除了分解方法以外，系數(shù)融合也對(duì)融合質(zhì)量好壞有比較大的影響。

近幾年來(lái)，學(xué)者提出了一種新的基于變換域的方法，并且迅速成為了圖像融合領(lǐng)域熱門方法。與多尺度分析方法不同的是，此方法是用了比較先進(jìn)的信號(hào)表示理論把原始圖像變換成單一尺度特征空間。例如用獨(dú)立成分分析理論、稀疏表示理論（Sparse Representation，SR）。為了保證融合圖像結(jié)果的平移不變性，此類方法通常會(huì)用到滑動(dòng)窗口技術(shù)，這其中最重要的問題是探索最有效的特征域來(lái)表示圖像的高頻信息。基于稀疏表示理論[3]的圖像融合技術(shù)就是把圖像塊映射到稀疏領(lǐng)域，用稀疏系數(shù)的L0 范數(shù)來(lái)表示圖像塊的重要信息。

空域法圖像融合方法是基于圖像空域來(lái)處理的。早期空域法是把圖像分塊，然后比較原始圖像對(duì)應(yīng)位置的聚焦程度，聚焦值大的塊作為融合圖像的相應(yīng)塊。以此類推，比較所有原始?jí)K。聚焦程度一般采用空間頻率、拉普拉斯算子和、方差，等等[4]。此類方法對(duì)融合結(jié)果有較大的影響，例如遇到復(fù)雜圖像，不能良好的區(qū)分到底哪塊是聚焦圖像塊，而且很容易引入塊效應(yīng)。由于手動(dòng)分塊會(huì)產(chǎn)生上述問題，V. Aslantas 等人提出了采用差分進(jìn)化算法自適應(yīng)分塊算法[5]，彌補(bǔ)了手動(dòng)分塊算法的不足。相應(yīng)的還有基于形態(tài)學(xué)的四叉樹結(jié)構(gòu)聚焦檢測(cè)法[6]，也靈活的選擇了原始圖像塊，比原始手工分塊的融合效果提高了不少。其算法克服了塊效應(yīng)和一些傳統(tǒng)算法的缺點(diǎn)，得到了很好的融合效果。

上述方法都能實(shí)現(xiàn)較好的效果，其中基于稀疏表示的方法中，由于無(wú)法充分對(duì)其進(jìn)行表達(dá)，因此導(dǎo)致圖像在融合之后，容易丟失紋理，并且采用該方式，容易導(dǎo)致其時(shí)間較長(zhǎng)、方法較復(fù)雜，因此在實(shí)際操作中很少使用?；诙喑叨确治龇椒ㄖ校湓趯?duì)平均值進(jìn)行融合的時(shí)候，是以低頻融合的，因此降低了圖像的對(duì)比度。早期空域法需要對(duì)圖像進(jìn)行分割，或者對(duì)其進(jìn)行分塊操作，因此可能會(huì)導(dǎo)致圖像有模糊的區(qū)域。為了讓以上不足能夠得到有效改善，研究學(xué)者提出基于梯度信息（GDF）的多聚焦融合算法，首先利用梯度算法求取圖像水平、垂直方向的梯度信息，在獲得不同方向絕對(duì)值之后，再把其相加，從而得到活躍程度度量圖。在對(duì)比不同度量圖的時(shí)候，使用的技術(shù)是滑動(dòng)窗口技術(shù)，通過策略，最終獲得決策圖。在決策圖的基礎(chǔ)上對(duì)原始圖像進(jìn)行加權(quán)，最終獲得的圖像就是融合圖像。其實(shí)驗(yàn)結(jié)果表明其有效性。

1 梯度理論

1.1 理論基礎(chǔ)

從數(shù)學(xué)角度進(jìn)行分析可以明確，梯度是不僅具有方向，同時(shí)還具有大小，其可以表示某函數(shù)在某方向變化率到最大值。

從學(xué)微積分角度進(jìn)行分析可以明確，一維函數(shù)一階微分定義如下：

由于圖像是二維的，因此應(yīng)該使用二維微分方式進(jìn)行表達(dá)，其公式為：

由于圖像是二維離散的，并且符號(hào)ε 可以取值為1，因此可以把公式（2）進(jìn)行改寫，從而獲得以下公式：

顯然圖像f 在點(diǎn)(x,y)處x 方向的梯度Gx，和y 方向的梯度Gx 定義為：

1.2 改進(jìn)梯度

其計(jì)算規(guī)則為，[Fx,Fy]=gradient（f），其中Fx 為其水平方向上的梯度，F(xiàn)y 為其垂直方向上的梯度。Fx 的第一列元素為原矩陣第二列于第一列之差，F(xiàn)x 的第二列元素為原矩陣第三列與第一列元素之差除以2，以此類推：

最后一列為最后兩列之差。同理，可得圖像在垂直方向上的梯度Fy。

2 算法

2.1 聚焦程度度量

由于梯度理論有表示變化快慢的特性，梯度絕對(duì)值大證明變換越快。因此可以在對(duì)圖像進(jìn)行多聚焦融合的時(shí)候引入梯度理論，即梯度值越大，圖像越活躍。

這里以融合兩幅圖像為例。首先對(duì)原始圖像O1進(jìn)行梯度算法變換，得到水平方向的梯度矩陣O11和垂直方向的梯度矩陣O12；分別取O11、O12矩陣的絕對(duì)值操作得到 ||O11、 ||O12；最后 ||O11、 ||O12矩陣對(duì)應(yīng)坐標(biāo)位置相加得到聚焦度量圖A1。同理，對(duì)原始圖像O2操作的到其圖像的聚焦度量圖A2，然后通過一定策略比較聚焦度量圖得到?jīng)Q策圖。

2.2 決策圖形成

深入研究和分析文獻(xiàn)[19]可以明確，在對(duì)度量圖進(jìn)行比較的時(shí)候，如果使用滑動(dòng)窗口技術(shù)，可以獲得較好的效果。如果比較的是單獨(dú)像素點(diǎn)，則容易受到較大干擾，為了讓圖像區(qū)域的聚焦度量可以得到提升，不僅需要使用滑動(dòng)窗口法，還需要使用分塊法。有兩個(gè)聚焦度量圖，分別為A1、A2。對(duì)其相同坐標(biāo)的塊進(jìn)行對(duì)比，如果塊內(nèi)所有值之和大的，相應(yīng)的得分圖區(qū)域+1，從而獲得決策圖，其步驟為：

（1）假設(shè)H*W 為源圖像大小，使用滑窗技術(shù)把兩個(gè)聚焦度量圖A1、A2聚焦程度度量圖分為n*n 的圖像塊，順序?yàn)閺淖笊现劣蚁拢介L(zhǎng)為1 個(gè)像素，共可得到Q=(H-n+1)*(W-n+1) 個(gè)圖像塊對(duì)，分別記為和

（2）新建兩個(gè)全零矩陣M1、M2，其需要與源圖像具有相同尺寸。從而使分值可以得到保存。對(duì)塊內(nèi)的和進(jìn)行計(jì)算，記為。對(duì)塊內(nèi)的和進(jìn)行計(jì)算，記為。當(dāng)時(shí)，M1對(duì)應(yīng)塊內(nèi)所有元素加1，否則，M2對(duì)應(yīng)塊所有元素加1，如圖1。

在步驟（2）完成之后，即可獲得得分圖M1、M2。由于使用的技術(shù)是滑動(dòng)窗口技術(shù)，因此會(huì)導(dǎo)致比較聚焦度量的時(shí)候有重復(fù)的地方。得分圖大多數(shù)點(diǎn)比較次數(shù)為n*n 次，取值最低為0，最高為n*n。

（3）在獲得得分圖M1、M2之后，可以對(duì)原始圖像對(duì)應(yīng)像素進(jìn)行劃分，分為三種情況，分別為不確定、散焦和聚焦。O1為原始圖像，其三種情況可以表示為：

對(duì)于上述分類規(guī)則，O1(x,y) 、O2(x,y) 、M1(x,y) 、M2(x,y)表示為對(duì)應(yīng)的像素點(diǎn)。為了嚴(yán)謹(jǐn)，上述表達(dá)式可以看成只有同時(shí)滿足M1得分和M2不得分的情況下O1(x,y)才聚焦，同理，只有M1不得分和M2得分的情況下O2(x,y)才聚焦，當(dāng)不滿足該條件的時(shí)候則視其為不確定。

在獲得聚焦得分圖后，可以對(duì)像素進(jìn)行賦值，如果賦值為0，則說明其為不確定或者不焦距，如果賦值為1，則說明其為聚焦。由于圖像具有一定的不確定性，并且比較復(fù)雜，所以在對(duì)其進(jìn)行賦值之后，在圖像上可能會(huì)存在小洞，此時(shí)就需要使用MATLAB 自帶函數(shù)對(duì)其進(jìn)行修復(fù)。

根據(jù)以上操作可以獲得融合決策圖：

2.3 圖像融合

通過上面的決策圖規(guī)則得到?jīng)Q策圖，我們可以看出決策圖只含三個(gè)值1、0、0.5。最后得到融合圖像策略如下：

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

為了驗(yàn)證方法的有效性，研究和分析了最近幾年研究學(xué)者提出的多尺度分析和稀疏表示（MST_SR）[7]，同時(shí)也研究和分析了研究學(xué)者提出卷積稀疏表示法（CSR）[8]。深入研究文獻(xiàn)[20]可以明確，是以拉普拉斯金字塔為基礎(chǔ)的，具體參數(shù)在網(wǎng)址[9]可見。在進(jìn)行仿真實(shí)驗(yàn)的時(shí)候，使用的計(jì)算機(jī)軟件為MATLAB 2014a，內(nèi)存為Kingston 4GB，處理器為Intel Core i5-3210M，頻率為2.5GHz。

3.2 評(píng)價(jià)指標(biāo)

（1）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）

該指標(biāo)表示的是信號(hào)最大功率和對(duì)信號(hào)精度造成影響噪音功率的比值。該指標(biāo)越小，說明信號(hào)的保持度較低。其計(jì)算公式為：

其中MAX 是信號(hào)的最大可能功率，MSE 表示均方誤差。

（2）互信息量（Mutual Information，MI）

MI[10]不僅包括輸入的信息，還包括輸出的信息，如果該數(shù)值較小，則說明其輸入輸出的交互信息較少，因此融合效果較差。其計(jì)算公式為：

（3）結(jié)構(gòu)相似性（Structural Similarity Index Measure，SSIM）

在需要對(duì)兩張圖像的結(jié)構(gòu)相似性進(jìn)行計(jì)算的時(shí)候，就可以使用該算法[11]，如果有兩張圖，分別為x,y，則對(duì)其結(jié)構(gòu)相似度進(jìn)行計(jì)算的公式為：

其中，μx是x 的平均值，μy是y 的平均值是x 的方差，是y 的方差，σxy是x,y 的協(xié)方差。是維持方程穩(wěn)定的常數(shù)。L 是圖像像素值的范圍，一般情況下。該計(jì)算法計(jì)算出的結(jié)果在0 和1 之間，結(jié)果越趨近于1，就說明兩張圖的結(jié)構(gòu)相似性越高。

（4）梯度相關(guān)指標(biāo)

文獻(xiàn)[12]介紹的梯度指標(biāo)是一個(gè)評(píng)級(jí)指標(biāo)，其可以用于對(duì)圖像融合進(jìn)行評(píng)價(jià)。其原理是對(duì)原始圖像到處理后圖像之間的信息梯度進(jìn)行檢測(cè)，公式為：

3.3 實(shí)驗(yàn)結(jié)果分析

圖2 所示的是本文選擇的幾對(duì)測(cè)試圖像。

圖2 原始多聚焦圖像

三種圖片都是圖像部分對(duì)焦其他區(qū)域散焦。對(duì)圖2 進(jìn)行研究可以發(fā)現(xiàn)，“clock”圖片遠(yuǎn)景對(duì)焦的是右圖，時(shí)鐘看起來(lái)模糊，書架看起來(lái)清晰。近景對(duì)焦的是左圖，時(shí)鐘看起來(lái)清晰，書架看起來(lái)模糊?！發(fā)ab”圖片近景聚焦的是左圖，人物部分看起來(lái)模糊。“pepsi”圖片也是部分比較清晰，部分比較模糊。

圖3“clock”三方法融合結(jié)果

在對(duì)圖像進(jìn)行融合處理之后，結(jié)果詳見圖3-6。從圖像邊緣角度進(jìn)行分析，可以認(rèn)為和其他算法相比，GDF 算法較好，因?yàn)樵撍惴梢詫?duì)圖像聚焦區(qū)域進(jìn)行準(zhǔn)確判斷，從而避免圖像邊緣出現(xiàn)模糊的情況。但是，使用GDF 算法可能會(huì)導(dǎo)致平均化失真，或者無(wú)法對(duì)聚焦區(qū)域進(jìn)行判斷。如果使用稀疏算法，則可能會(huì)導(dǎo)致圖像邊緣比較模糊，或者紋理流失。如果使用尺度算法進(jìn)行融合，可能會(huì)導(dǎo)致有大量的信息丟失。

圖4“l(fā)ab”三方法融合結(jié)果

圖5“clocks”三方法融合結(jié)果

圖6“pepsi”三方法融合結(jié)果

“clock”圖像融合指標(biāo)可以看出（見表1），前三個(gè)指標(biāo)GDF 的結(jié)果都優(yōu)于對(duì)比算法。尤其是MI 指標(biāo)，明顯優(yōu)于對(duì)比算法。其中最后一個(gè)指標(biāo)幾個(gè)融合算法結(jié)果相差不遠(yuǎn)，最優(yōu)的算法是基于多尺度分析和稀疏表示算法MST-SR。

“l(fā)ab”融合指標(biāo)結(jié)果如表2 所示，PSNR 指標(biāo)中，最優(yōu)的是MST-SR 算法，其他指標(biāo)均是GDF 表現(xiàn)最好?！癱locks”融合指標(biāo)結(jié)果如表3 所示，和其他算法相比，GDF 算法較好，和其他算法相比，稀疏表示法較差。

表1 不同算法“clock”圖像融合結(jié)果一覽表

表3 不同算法“clocks”圖像融合結(jié)果一覽表

“l(fā)ab”融合指標(biāo)結(jié)果如表2 所示，PSNR 指標(biāo)中，最優(yōu)的是MST-SR 算法，其他指標(biāo)均是GDF 表現(xiàn)最好。“clocks”融合指標(biāo)結(jié)果如表3 所示，和其他算法相比，GDF 算法較好，和其他算法相比，稀疏表示法較差。

表4 不同算法“pepsi”圖像融合結(jié)果一覽表

“pepsi”原始圖像融合結(jié)果如表4 所示。雖然MST-SR 算法指標(biāo)PSNR、大于提出的GDF 算法，但其實(shí)兩個(gè)指標(biāo)非常接近，其他指標(biāo)GDF 表現(xiàn)是最好的。由于圖像不僅具有復(fù)雜性，同時(shí)還具有不確定性，因此導(dǎo)致了在某些測(cè)試圖像上，基于多尺度與稀疏表示算法的效果較高，但是綜合對(duì)其進(jìn)行對(duì)比和分析可以明確，依然是GDF 算法效果較好。

4 結(jié)語(yǔ)

根據(jù)多方向梯度算子，對(duì)圖像進(jìn)行水平、垂直方向梯度計(jì)算。在獲得不同方向絕對(duì)值之后，再把其相加，從而得到活躍程度度量圖。在對(duì)比不同度量圖的時(shí)候，使用的技術(shù)是滑動(dòng)窗口技術(shù)，通過策略，最終獲得決策圖。在決策圖的基礎(chǔ)上對(duì)原始圖像進(jìn)行加權(quán)，最終獲得的圖像就是融合圖像。本文算法主要用于對(duì)圖像聚焦區(qū)域進(jìn)行判斷，當(dāng)完成聚焦區(qū)域判斷之后，就把其劃為最終融合結(jié)果。從而獲得質(zhì)量較好的圖像。分別對(duì)客觀評(píng)價(jià)指標(biāo)和主觀評(píng)價(jià)指標(biāo)進(jìn)行分析可以明確，和傳統(tǒng)算法相比，總體基于多方向梯度圖像融合（GDF）算法效果較好。本算法主要用于對(duì)圖像聚焦區(qū)域進(jìn)行判斷，其方式和劃分聚焦、散焦分界線相似。如何能夠讓聚焦區(qū)域得到準(zhǔn)確劃分，如何能夠讓圖片具有較好的融合質(zhì)量，是研究學(xué)者未來(lái)需要展開進(jìn)一步研究的核心。