基于分塊過完備稀疏表示的多聚焦圖像融合

陳垚佳，張永平，田建艷

(1.太原理工大學 信息工程學院，山西 太原030024;2.寧波工程學院 電子與信息工程學院，浙江 寧波315211)

由于光學成像機理的限制，單幅圖像所能捕捉到的信息量有限，不能保證同一場景里的背景與目標都均勻清晰。通過對同一場景進行多聚焦拍攝，可以得到多幅不同聚焦點的圖像。多聚焦圖像融合技術就是利用這組多聚焦圖像的互補和冗余信息，得到一幅可信度高、更為人眼視覺所接受的新圖像。在醫(yī)學、遙感、計算機視覺、天氣預報及軍事目標識別等方面圖像融合技術都得到廣泛的應用。

融合技術可分為像素級、特征級、決策級三個層次的融合。目前的研究主要以像素級融合為主，其融合方法主要分為兩類:空間域方法比如像素的加權平均、偽彩色映射、非線性方法、貝葉斯優(yōu)化方法、人工神經網(wǎng)絡法［1］等和變換域方法如金字塔分解、小波［2-5］、曲波［6］、輪廓波［7］等多分辨力變換以及經驗模式分解［8］、ICA變換［9］、非負矩陣分解［10］等。

基于變換域的圖像融合作為一種有效的融合技術得到快速發(fā)展。這種融合方法首先圖像分解到另一個變換域，對變換域系數(shù)按照一定規(guī)則進行融合，最后利用逆變換重構融合圖像。圖像變換主要是基于小波、曲波、輪廓波等多分辨力變換。這類變換是在完備基上對圖像進行表示的，不能對圖像很好的稀疏表達。近年來稀疏表示被應用于圖像處理與分析領域，如圖像去噪［11］、超分辨力［12］、修復［13］以及人臉識別等，它是在過完備基上對信號進行表示的，具有更好的稀疏表達能力。

文獻［14］中提出一種基于過完備稀疏表示的多聚焦融合算法，其本質是基于每個像素領域過完備稀疏表示然后進行融合、重構的方法，計算量較大。本文充分考慮到多聚焦圖像融合的特性，提出一種基于分塊過完備稀疏表示的多聚焦圖像融合算法。首先將源圖像分塊，利用稀疏模型分解塊圖像，然后采用加權平均的融合規(guī)則對稀疏表示系數(shù)進行融合，最后由融合系數(shù)與字典重構圖像。實驗表明，該算法得到的融合圖像在主觀視覺和客觀質量上都取得較好的效果。

1 稀疏域模型

稀疏表示問題可描述為式(1)，由于式(1)是NP問題，所以往往轉化為式(2)中的近似問題來求解

式中:‖x‖0為x的l0范數(shù)，即向量x中非零元素的個數(shù)，為信號x在過完備字典A上的稀疏表示。

一般情況下自然圖像的數(shù)據(jù)信息也具有冗余性，因此可以在冗余字典上進行稀疏表示。如果將圖像信號看做一維向量b，其稀疏表示是指信號b在冗余字典A下的低維投影，投影系數(shù)即為稀疏表示系數(shù)x。

1.1 過完備字典的構建

過完備稀疏表示問題中，選取的過完備字典是否合適關系到表示信號被表示的稀疏性。針對不同結構與特征的圖像，應采取不同形式的字典或者基函數(shù)。過完備字典的構建方法可以劃分為兩類。

1)根據(jù)數(shù)學模型來構建字典。由于其模型較簡單，正交和雙正交變換的字典構建方法一度占據(jù)主導地位。然而研究表明這種構建方法得到的字典不能保證信號表示的稀疏性，進而影響信號的重構準確度。文獻［15］提出利用適合刻畫圖像幾何邊緣的bandlet基、適合刻畫紋理的Gabor基、適合刻畫輪廓的Curvelet基等不同形狀的基函數(shù)組合構建字典。采用該類方法構建的字典優(yōu)勢在于適用范圍比較廣。

2)根據(jù)樣本來設計字典?？梢酝ㄟ^訓練樣本來學習適合某一類信號特征的字典，以確保信號表示的稀疏性。目前字典學習的算法有最大似然法、最優(yōu)方向(MOD)法、最大后驗概率法、組合正交基學習算法、廣義PCA算法。能與現(xiàn)今的稀疏分解算法兼容的常用方法是ELAD于2006年提出的K-SVD學習算法［16］。該方法交替執(zhí)行信號在當前字典的稀疏表示與原子的更新過程，來達到學習字典的目的:

(3)D(J-1)中每列原子更新，對于第k(k=1，2，…，K)列原子dk更新步驟如下:

①定義步驟(2)中使用第k列原子的標志集合:ωk={i 1≤i≤N(i)≠0}。

③根據(jù)ωk中標志元素選出Ek的部分列得到。

(4)返回步驟(2)，J=J+1。

為了探討字典維數(shù)對本文算法融合結果的影響，在給定學習對象數(shù)量的條件下，學習不同維數(shù)的字典。在后面的研究中，將利用所構建的字典探討其對融合結果的影響。

采用50幅自然圖像進行8×8的分塊，分塊處理后的塊圖像作為輸入圖像，通過K-SVD字典學習算法得到維數(shù)為64×64，64×128，64×256的過完備字典，設定迭代次數(shù)為J=50，字典圖像如圖1所示。

圖1 不同維數(shù)過完備字典圖像

1.2 稀疏表示方法

其次是設計快速有效的稀疏分解算法。目前有三類典型方法:匹配追蹤算法、基于l1范數(shù)算法、迭代收斂算法。匹配追蹤算法以貪婪算法為核心的最簡單直接的算法。本文的融合算法中，以誤差作為循環(huán)停止條件，采用正交匹配追蹤(OMP)算法來對源圖塊進行稀疏表示［17］，算法如下:

1)初始化。誤差ε，字典D，X0=0，r0=b=?。

2)從冗余字典中選出與被表示信號b內積最大的原子di，即di=

5)計算誤差rk=b-。

6)如果rk≥ε，返回步驟2)。反之，結束循環(huán)，輸出的即為所求的稀疏系數(shù)。

圖像稀疏表示即是將待融合圖像采用正交匹配追蹤算法在經過K-SVD算法學習的過完備字典上進行稀疏表示。在稀疏分解過程中，需要設置分解過程的循環(huán)停止參數(shù)ε。ε過小會影響融合圖像的分解精度，當ε過大時，迭代次數(shù)隨之提高，計算量也會隨之增大。因此該參數(shù)要慎重選擇。文獻［14］探討了ε在過完備稀疏表示圖像融合算法中的對圖像質量的影響，證實了以上的結論。

2 基于稀疏域的多聚焦融合算法

2.1 基于稀疏表示的圖像融合框架

稀疏表示具有在過完備字典上對自然圖像的稀疏表達能力。將稀疏表示引入圖像融合，提出一種圖像融合算法，算法流程圖如圖2所示。

1)源圖像預處理。假定待融合圖像為嚴格匹配圖像，首先將圖像歸一化，如圖3，然后將源圖像進行8×8分塊處理，并且將每個圖像塊像素整合成一維列向量。

2)稀疏分解。將圖像塊對應的一維向量在冗余字典上進行稀疏分解，每個圖像塊對應得到兩組稀疏表示系數(shù)。

3)稀疏系數(shù)融合。每個塊對應的兩組稀疏系數(shù)按照一定的融合規(guī)則進行融合，獲得待重構系數(shù)。

圖2 基于過完備稀疏表示的融合算法框圖

4)稀疏重構圖像。重構是分解的逆過程。結合融合系數(shù)與冗余字典按照圖3進行重構，得到最后的融合圖像。

圖3 源圖像分塊與重構示意圖

2.2 融合規(guī)則

融合規(guī)則是圖像融合算法中決定最終融合質量的關鍵步驟［18］。常用的融合規(guī)則有絕對值最大以及平均等方法。如果按照絕對值取大規(guī)則來融合，融合結果會出現(xiàn)很多塊效應，影響視覺效果。因此本文選用平均方法的融合規(guī)則，對系數(shù)簡單的取平均，會降低融合圖像對比度，丟失部分細節(jié)信息。

綜合以上因素，本文采用加權平均的規(guī)則進行融合。圖像塊稀疏系數(shù)的l1范數(shù)越大，攜帶的信息量就越多?；谝陨侠碚?，融合系數(shù)由式(3)計算

式中:ca，cb為源圖像分別對應圖像塊稀疏系數(shù)向量。

3 實驗與性能評價

3.1 不同算法的對比試驗

采用嚴格配準的兩組大小為256×256的多聚焦圖像進行實驗，驗證本算法的有效性。同時與基于小波分解的傳統(tǒng)融合算法、基于稀疏表示的融合規(guī)則取系數(shù)平均算法對比。其中小波融合方法中小波分解層數(shù)為3層，小波基選取bior2.4，融合規(guī)則為低頻系數(shù)取平均、高頻系數(shù)取大?；谙∈璞硎镜姆椒ㄖ?，用圖像稀疏表示分解圖像，融合規(guī)則為系數(shù)取平均方法。圖像融合結果分別如圖4。由圖可見，本文算法的融合圖像整體效果更好。

由于不存在標準圖像，采用信息熵(Entropy)、互信息量(MI)、邊緣評價因子(Q)、空間頻率(SF)這四個指標來評價實驗結果。

1)信息熵是衡量圖像包含的信息量豐富程度的一個重要指標，被定義為

式中，pi為圖像的直方圖，即灰度值等于i的像素個數(shù)與圖像總像素個數(shù)之比。融合圖像熵值越大，表示其包含的信息量越多，融合質量越好。

2)互信息量MI被定義為)

式中，E()為圖像的互信息量，可由圖像的歸一化聯(lián)合灰度直方圖得到。互信息量MI越大，意味著融合圖像F從源圖像中繼承的信息越多，融合效果越理想。

3)空間頻率是直接反應圖像的清晰度的指標，是被作為衡量圖像整體視覺效果的標準，融合圖像的此指標值越高，意味著融合結果圖像效果越好。對于大小為M×N的圖像，其空間頻率定義為

其中RI和CI分別為行頻率和列頻率，被定義為

4)采用結構相似度Q來評價實驗結果

式中:s(A|ω)代表源圖像A中具有方差、邊緣等顯著特征的信息量。同樣指標Q值越大，表示融合圖像保留源圖像的邊緣信息越多，融合質量越高。

表1為不同算法融合結果的指標。從表1可以看出，基于稀疏表示融合圖像的互信息量指標優(yōu)于傳統(tǒng)小波融合算法。使用過完備稀疏表示，融合規(guī)則采用系數(shù)平均的算法融合結果結構相似度指標不如傳統(tǒng)小波算法，但是采用本文提出的加權平均融合規(guī)則，其結構相似度的性能指標得到極大的改善，且優(yōu)于傳統(tǒng)小波算法。

表1 不同算法融合圖像客觀指標

3.2 字典維數(shù)對圖像融合質量的影響

文獻［14］已經對圖像分塊窗口大小、正交匹配追蹤(OMP)算法中的殘差等因素對融合質量的影響進行了研究。本節(jié)通過實驗探討過完備字典維數(shù)對圖像融合結果的影響。將上文中已經學習到的不同維數(shù)(64×64，64×128，64×256)的字典均應用到本章提出的融合算法中，融合結果同樣由信息熵(Entropy)、互信息量(MI)和邊緣評價因子(Q)以及空間頻率(SF)4個指標來評價，如表2所示。

表2 不同維數(shù)字典的融合圖像客觀評價結果

從表2中的指標可以看出，在平均融合規(guī)則下，過完備字典維數(shù)越高，融合性能越好。在本章算法的加權融合規(guī)則下，在不同維數(shù)的過完備字典上表示的融合性能也有所區(qū)別。但不同的是，選取較低的字典維數(shù)反而在多數(shù)指

標下得到較好融合性能。這表明，各種融合算法的性能與字典維數(shù)的相關性還有待進一步研究。

4 結論

筆者提出一種基于分塊稀疏表示的多聚焦融合算法。首先將源圖像無重疊像素分塊，并采用稀疏域模型將分塊圖像進行表示，得到兩組稀疏系數(shù)。使用加權平均的融合規(guī)則得到融合系數(shù)。通過稀疏逆變換重構圖像。實驗表明無論是從主觀視覺還是客觀指標來評價，該算法取得了較好的融合效果，且由于傳統(tǒng)的小波融合算法。同時探討了過完備字典在該方法中對圖像融合質量的影響。實驗表明過完備字典的優(yōu)劣是影響融合結果的一個重要因素。構建一組更適合于多聚焦圖像的過完備字典，使其具備較強提取圖像邊緣的能力，在其上的表示系數(shù)能夠更好的區(qū)分出清晰與模糊區(qū)域，對于多聚焦圖像融合算法亦是非常重要。

［1］LI S T，KWOK J，WANG Y N.Multifocus image fusion using artificial neural networks［J］.Pattern Recognition，2002，23(8):985-997.

［2］XU L，ROUX M，HE M Y，et al.A new method of image fusion based on redundant wavelet transform［C］//Proc.VIE 2008.［S.l.］:IEEE Press，2008:12-17.

［3］LEWIS J J，CALLAGHAN R J O，NIKOLOV S G，et al.Pixel-and regionbased image fusion using complex wavelets［J］.Information Fusion，2007，8(2):119-130.

［4］郭敏，任娜.基于小波變換與塊分割的多聚焦圖像融合［J］.云南大學學報:自然科學版，2008，30(3):251-255.

［5］LI H，MANJUNATH B S，MITRA A A.Multisensor image fusion using the wavelet transform［J］.Graphical Models Image Process，1995，57(3):235-245.

［6］楊俊，趙忠明.基于Curvelet變換的多聚焦圖像融合方法［J］.光電工程，2007，34(6):67-71.

［7］ZHANG Q，GUO B L.Mutifocus image fusion using the nonsubsampled contourlet transform［J］.Signal Processing，2009，89(7):1334-1346.

［8］CHEN S H，SU H B，ZHANG R H.Improving empirical mode decomposition using support vector machines for multifocus image fusion［J］.Sensors，2008，8(4):2500-2508.

［9］MITIANOUDIS N，STATHAKI T.Pixel-based and region-based image fusion schemes using ICA bases［J］.Information Fusion，2007，8(2):131-142.

［10］ZHANG S，CHEN J，MIAO D D.An image fusion method based on WNMF and region segmentation［C］//Proc.PACIIA’08:vol 2.［S.l.］:IEEE Press，2008:282-285.

［11］ELAD M，AHARON M.Image denoising via sparse and redundant representations over learned dictionaries［J］.IEEE Trans.Image Process，2006，15(12):3736-3745.

［12］YANG J C，WRIGHT J，HUANG T.Image super-resolution via sparse representation［J］.IEEE Trans.Image Process，2010，19(11):2861-2873.

［13］MARIAL J，ELAD M，SAPIRO G.Sparse representation for color image restoration［J］.IEEE Trans.Image Process，2008，17(1):53-69.

［14］YANG B，LI S T.Multifocus image fusion and restoration with sparse representation［J］.IEEE Trans.Instrumentation and Measurement，2010，59(4):884-892.

［15］PEYRE G.Best Basis compressed sensing［J］.Lecture Notes in Computer Science，2007，4485:80-91.

［16］AHARON M，ELAD M，BRUCKSTEIN A M.The K-SVD:an algorithm for designing of overcomplete dictionaries for sparse representations［J］.IEEE Trans.Image Process，2006，54(11):4311-4322.

［17］ROSENBLUM K，ZELNIK-MANOR L，ELDAR Y C.Dictionary optimization for block-sparse representations［EB/OL］.［2011-06-01］.http://arxiv.org/pdf/1005.0202.pdf.

［18］李亞春，武金崗，王凈.小波變換圖像融合規(guī)則性能的分析研究［J］.計算機工程與應用，2010，46(8):180-182.