基于馬爾科夫隨機(jī)場模型的圖像融合

江之洋

摘要：圖像融合的融合規(guī)則傳統(tǒng)的算法是加權(quán)平均法與取最大值法。取最大值法保留了圖像邊緣信息，但缺乏噪聲抵抗力；加權(quán)平均法弱化了噪聲的影響，同時會丟失部分高頻信息。目前，基于區(qū)域的融合規(guī)則發(fā)展起來，融合以塊為單位，同時考慮像素之間的關(guān)系，但是圖像的正確分割以及區(qū)域權(quán)值之間的不平滑過渡依然成為問題。該文建立馬爾科夫隨機(jī)場融合模型，以像素點的顯著性及像素點與周邊像素點的關(guān)系為約束，對像素點的權(quán)值做了優(yōu)化估計。實驗表明該算法效果顯著。

關(guān)鍵詞：圖像融合；馬爾科夫隨機(jī)場；融合規(guī)則；顯著性；多分辨率融合

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）06-0204-03

Abstract：Traditional fusion rules in image fusion are max rules and weighted average rule pixel by pixel. The former is able to preserve the textures while irresistance to noises； the latter is advantage to process the image with noises， but loses the high frequency information. Recently rules based on region have been improved. The fusion take the neighboring pixels account and fuse image segment by segment. However the correct segmentation and the inconsistent fusion weights between regions become problems. This paper designed a model based on MRF， making optimal estimation of pixels weight， with the saliency of the pixels and the connection among pixels as constraint. The experiment performs well.

Key words：image fusion； Markov random field； fusion rules； saliency； multi-resolution fusion

1 概述

圖像融合是將同一個場景的多張圖像中的信息聯(lián)系起來，組合成更適合人類視覺，或者更有利于進(jìn)行進(jìn)一步處理的圖像[1]。從層級上分類，圖像融合分為像素級、特征級、決策級，其中像素級融合是最基礎(chǔ)最重要的一層?，F(xiàn)有的像素級圖像融合算法分為基于變換域的和傳統(tǒng)的基于空間域的方法。傳統(tǒng)的融合算法簡單快速，弊端明顯，因而基于變換域的融合算法被廣泛使用。在基于變換域的融合算法中，融合規(guī)則在其中起著重要作用。傳統(tǒng)的融合規(guī)則是基于像素點的，常見的基于像素的圖像融合規(guī)則有加權(quán)平均法和取最大值法[2]，字面意思理解，都是對像素做簡單的處理或者取舍。雖然擁有運算速度快，易實現(xiàn)等優(yōu)點，但融合效果并不理想。隨后出現(xiàn)的基于窗口的融合規(guī)則與基于區(qū)域的融合規(guī)則彌補(bǔ)了僅考慮像素點，忽略周邊信息的短處，但是區(qū)域的正確劃分本身是一個不能完美解決的問題。另外區(qū)域間的像素點所取權(quán)值被統(tǒng)一，區(qū)域間的權(quán)值沒有聯(lián)系，即使一致性檢驗[3]用于提高局部融合一致性，融合過后的人工痕跡明顯。

本文針對該問題提出一種基于馬爾科夫隨機(jī)場的融合模型，該模型對源圖像像素點進(jìn)行顯著性表達(dá)，并以周邊像素點的顯著性作為約束，優(yōu)化像素點的權(quán)值。該模型的重點在于模擬圖像的顯著性或者紋理，并將其對應(yīng)為權(quán)值，圖像的梯度幅值可以有效地反映圖像的高頻信息，因此像素點的顯著性通過計算局部梯度幅值來表達(dá)。

2 相關(guān)工作

圖像融合建立在配準(zhǔn)完成的車情況下，本文基于配準(zhǔn)圖像warp后的結(jié)果圖像做圖像融合，所用到的融合算法是離散小波變換。基于離散小波變換的圖像融合是常用的圖像融合算法，本文使用的模型建立在該融合算法基礎(chǔ)上。該算法步驟如下：

1） 將圖像分別進(jìn)行高通和低通濾波，并分別進(jìn)行二元降采樣。

2） 高低通圖像分別進(jìn)行同樣的高低通濾波及二元降采樣，一共得到四組圖像[4]。

3） 為了滿足多分辨率融合，將進(jìn)行了兩次低通處理的圖像重復(fù)進(jìn)行1）2）步驟[5]，得到第2，3……n層的信息，具體的層數(shù)依據(jù)不同的場景和需求不同。

4） 對最后一層的分解圖像進(jìn)行融合處理，融合規(guī)則自定。

5） 進(jìn)行逆離散小波變換，重建圖像。

融合過程如圖1所示：

步驟4）即是融合規(guī)則的選用，作為對比，首先使用傳統(tǒng)的取最大值法：

這樣做的好處是，融合過程對應(yīng)離散小波變換分解結(jié)果中的高頻部分，高頻部分表達(dá)的是圖像的邊緣紋理，取最大值意味著取邊緣明顯的像素點作為融合結(jié)果，但是不可避免造成像素丟失。

3 馬爾科夫隨機(jī)場融合模型

馬爾科夫隨機(jī)場模型用于對像素點權(quán)值優(yōu)化，進(jìn)而使用像素融合規(guī)則對離散小波變換分解結(jié)果進(jìn)行融合。這里首先介紹融合規(guī)則，然后介紹馬爾科夫隨機(jī)場模型。

3.1 像素融合規(guī)則

圖像的結(jié)構(gòu)突出表現(xiàn)為圖像的紋理和邊緣，融合的目的就是將銳度大、結(jié)構(gòu)顯著的區(qū)域更有效的融合。本文擬使用對圖像的梯度強(qiáng)度進(jìn)行高斯平滑來模擬像素的顯著性，并消除噪聲點。

其中f（a，b）是關(guān)于a，b的softmax函數(shù)，顯然，當(dāng)a-b取值從+∞到-∞，f的取值相應(yīng)為從1到0。WA代表權(quán)值，WA的值越大，代表該像素點的權(quán)值應(yīng)該更多地賦給圖像A。然后，圖像B的權(quán)值將被設(shè)為1-WA。這可以被看做傳統(tǒng)取最大值法的又一版本。代表對圖像梯度幅值進(jìn)行高斯平滑，用于作出更魯棒的結(jié)構(gòu)預(yù)估。如果某張圖像在（x，y）周圍的圖像顯著性是所有該點中最大的，那相應(yīng)的該圖像在這個像素點權(quán)值最大。對于多于兩張圖像融合的情況，可以作以下處理：

如果圖像i的重要性遠(yuǎn)大于其他圖像，那么在分母中，它會占主要部分，因而得到的是最大的權(quán)值。

3.2 馬爾科夫隨機(jī)場模型

基于區(qū)域的權(quán)重，需要同一個區(qū)域共享權(quán)值，區(qū)域之間沒有任何過度，這就導(dǎo)致了融合的人工痕跡。傳統(tǒng)過程中這里需要做一致性檢驗。本文使用馬爾科夫隨機(jī)場（MRF）確定區(qū)域權(quán)值，并在最優(yōu)框架下，做一致性檢測。

MRF模型定義為圖G=（V，E），V是圖的節(jié)點集合，這里表示的是像素點；E代表圖的邊。這里值像素點的相鄰性。對任意像素點（x，y）∈V，定義隨機(jī)變量t（x，y）表示該像素點的權(quán)值。t=i（i=1，2……N），i代表第i幅擁有該像素點的圖像。這里表達(dá)的是，若紋理出現(xiàn)在其中一張源圖像上，并不需要混合紋理信息，直接采用該圖像的信息作為融合結(jié)果。

設(shè)T={t（x，y）；（x.y）∈V}，作為圖像像素點的隨機(jī)場集合，那么他們在MRF中的聯(lián)合分布為：

這里N（x，y）代表像素（x，y）的周邊像素點，這里取最臨近的4個像素點。Ed和Eb表示像素點與其周邊兩個像素點權(quán)值的可能函數(shù)，最大化這個概率相當(dāng)于最小化其的負(fù)對數(shù)，這是一個能量函數(shù)。

λ用作平衡參數(shù)。這里第一個能量式定義為：

這個式子要服從之前的權(quán)值方程（2）。要使得該式最小，如果在（x，y）處，圖像i的權(quán)值最大，t（x，y）將趨近于i。第二個能量式用于使周邊像素點的權(quán)值更平滑，定義如下：

如果值為0，代表t（x，y）=t（p，q），相反，如果等于1，則代表t（x，y）與t（p，q）相差巨大。要使得該式最小，則對相鄰間像素點的權(quán)值有要求，這對于像素點取權(quán)值有了一個約束，使得區(qū)域之間的過渡平滑。

根據(jù)條件隨機(jī)場模型方程，隨機(jī)變量T當(dāng)T=argminE（t）時最優(yōu)，這里既考慮了像素點的權(quán)值，也考慮了相鄰點權(quán)值的平滑過渡。這里可以計算出T集合，進(jìn)而可以求出所有像素點的權(quán)值。式（5）中的能量方程是圖的標(biāo)號問題，可以用圖切割算法最小化[6]。

4 實驗

本文使用的圖像來源于敦煌壁畫。本文敦煌壁畫拼接項目的子項目。拼接的前置工作包括圖像配準(zhǔn)、光束法平差已處理妥當(dāng)。這里對圖像融合進(jìn)行優(yōu)化，目的是去除普通融合算法帶來的像素點丟失、色差、重影等問題。實驗采用離散小波變換的普通融合規(guī)則作為對比實驗，實驗結(jié)合matlab平臺及c++ opencv庫，均在搭載win 8系統(tǒng)，配置16G內(nèi)存，8核CPU處理器的硬件環(huán)境下運行。實驗的結(jié)果評價除了主觀評價外，也借用了客觀評價指標(biāo)，其中所用指標(biāo)是從一系列指標(biāo)經(jīng)過相關(guān)度分析及正確率分析挑選而出。

4.1 圖像融合實驗結(jié)果

本文只挑選部分圖像。圖2是兩張源圖像：

為方便觀察，圖3是局部放大的源圖像：

圖4是對比實驗圖：

4.2 圖像融合質(zhì)量評價

本文選用4個客觀圖像質(zhì)量評價指標(biāo)：相關(guān)系數(shù)（CC）、互信息（MI）、結(jié)構(gòu)相似性（SSIM）、Piella指標(biāo)（Q）。其中CC表達(dá)的是變量間的相關(guān)程度，相關(guān)系數(shù)越高，變量間的相關(guān)程度越高；MI衡量兩個變量間的依賴性，可以看作一個隨機(jī)變量包含另一個隨機(jī)變量的信息量，值越大代表信息保留越多；SSIM描述圖像的亮度、對比度及結(jié)構(gòu)的相似性，脫離了像素比較的傳統(tǒng)方法；Q是考慮了圖像顯著性的改進(jìn)的SSIM。

表1是評價結(jié)果：

從表中不難看出，除了SSIM指標(biāo)，本文算法在其中3個指標(biāo)上要優(yōu)于使用取最大值法作為融合規(guī)則的離散小波變換融合算法。同時表明本文算法依然有缺陷。另外，客觀評價指標(biāo)的不完善性也是需要考慮的問題。

5 結(jié)論

本文針對像素級融合規(guī)則做出改進(jìn)，設(shè)計了基于馬爾科夫隨機(jī)場的融合模型。該模型對圖像進(jìn)行梯度幅值的高斯平滑來模擬像素的顯著性，同時將像素點周邊的點作為約束，避免了融合的人工痕跡過于明顯。通過實驗結(jié)果可以看出，本文使用的融合規(guī)則對于解決像素點丟失有一定效果，但是質(zhì)量評價指標(biāo)的數(shù)據(jù)表明，該算法依然有不足之處，這是今后工作的方向。

參考文獻(xiàn)：

[1] Li S T，Yang B，Hu J W. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion， 2011，12（2）：74-84.

[2] Rockinger O. Pixel-level fusion of image sequences using wavelet frames[M]. Proceedings of the 16th Leeds Applied Shape Research Workshop， Leeds University Press，1996.

[3] Zhang Z，Blum R. A categorization and study of multi-scale-decomposition based image fusion schemes[J]. Proceedings of the IEEE，1999， 87 （8）：1315–1328.

[4] Mitra Jalili-Moghaddam. Real-time multi-focus image fusion using discrete wavelet transform and Laplasican pyramid transform[D]. Chalmess University of Technology， Goteborg， Sweden，2005.

[5] Gonzalo Pajares， Jesus Manuel， de la Cruz. A wavelet-based image fusion tutorial[J]. Pattern Recognition， 2004， 37， 1855-872.

[6] Boykov Y，Veksler O， Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on PAMI ，2001，23 （11）：1222–1239.