基于VO圖像分解模型的多聚焦圖像融合

高冬梅

（重慶師范大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 401331）

0 引言

在一個(gè)信息呈現(xiàn)越來越繁雜的二十一世紀(jì)，圖像作為信息傳達(dá)的主要載體之一，有著比其他信息載體更高的關(guān)注度，相比于文字,人們更愿意從圖像中獲取信息。正因?yàn)槿绱?，人們對于圖像的質(zhì)量有更高的要求，例如清晰度、承載信息的多少、所需存儲空間的大小等，理想的狀態(tài)是在消耗低存儲空間的前提下能對場景全面描述，顯示更多的細(xì)節(jié)信息，圖像中的目標(biāo)全部聚焦清晰。但由于大部分光學(xué)鏡頭難以將同一場景中的多個(gè)目標(biāo)同時(shí)聚焦，因此圖像有局部失焦模糊現(xiàn)象的產(chǎn)生，通過對多個(gè)光學(xué)鏡頭獲取的聚焦圖像進(jìn)行處理，得到一幅有著豐富信息的圖像的過程叫做多聚焦圖像融合，融合后的圖像多個(gè)目標(biāo)均更加清晰。圖像融合作為圖像處理的一個(gè)分支，越來越多地被應(yīng)用在醫(yī)學(xué)、軍事、目標(biāo)識別、數(shù)碼相機(jī)等領(lǐng)域。

空間域和變換域主要是基于圖像像素級的融合算法?；诳臻g域的圖像摳圖、向?qū)V波融合、多尺度加權(quán)梯度等算法，空域圖像融合算法簡單易懂、容易操作，但精度不高，相鄰圖像子塊交界處易產(chǎn)生塊效應(yīng)；變換域主要采用多尺度幾何變換進(jìn)行圖像融合，如金字塔分解、離散小波變換（Discrete Wavelet Transform，DWT）[1]、雙樹復(fù)小波變換（Dual Tree-Complex Wavelet Transform，DT-CWT）[2]、非下采樣輪廓波變換（Non-Subsampled Contorulet Transform，NSCT）[3]等，但變換域的方法忽略了圖像的方向性特征，導(dǎo)致融合圖像信息不夠豐富，使得結(jié)果在視覺上清晰度不高、層次感不強(qiáng)，學(xué)者們不斷地對變換域圖像融合算法進(jìn)行研究改進(jìn)。

近年來，有學(xué)者提出基于圖像分解的多聚焦圖像融合算法。文獻(xiàn)[4]中Jiang Yong、Wang Minghui首次根據(jù)一張圖像是包含了不同空間形態(tài)結(jié)構(gòu)的形態(tài)學(xué)成分分析（MCA）理論，用分解算法重點(diǎn)將圖像結(jié)構(gòu)、紋理這兩種形態(tài)分解出來，然后用稀疏表示方式對結(jié)構(gòu)、紋理兩部分的表示系數(shù)進(jìn)行本質(zhì)融合，通過融合結(jié)果的主觀視覺感知和客觀評價(jià)，與其他單分量融合相比，作者提出的方法可以產(chǎn)生更好的融合圖像。文獻(xiàn)[5]中Zhang Yongxin、Chen Li等人為了有效、完整地表示待融合圖像，提出了一種多分量融合方法，即將源圖像分解成動(dòng)畫和紋理組件兩部分，然后利用清晰度函數(shù)構(gòu)造出了最后的融合圖像。與傳統(tǒng)的融合方法相對，基于圖像分解的融合方法更新穎，它把待融合圖像轉(zhuǎn)化到一個(gè)單尺度特征空間，把有著復(fù)雜結(jié)構(gòu)的圖像分解成多個(gè)單分量圖像，進(jìn)一步對分解后的圖像做融合處理，能達(dá)到更好的融合效果，并且時(shí)間效率也更高。

1 圖像分解模型（Vese-Osher，VO）

將包含多分量的一張圖像分解成幾個(gè)單分量圖像的技術(shù)在圖像處理領(lǐng)域是一個(gè)比較難的問題，等同于對圖像進(jìn)行逆操作。將原來的一張圖分解成兩張甚至幾張不同的圖像，每張圖像上包含源圖的部分信息，例如：f=u+v,源圖像f通過分解算法被分解成u和v兩部分，u展現(xiàn)的是源圖像框架部分，即紋理-結(jié)構(gòu)中的結(jié)構(gòu)部分。同樣，表示了源圖的重要細(xì)節(jié)信息和噪聲信息部分稱作源圖分解后的紋理部分。經(jīng)典的圖像分解模型有 Rudin-Osher-Faltemi、Mumford-Shah、Perona-Malik、Aubert-Vese等。2001年Meyer[6]為紋理圖像的函數(shù)空間建立了振蕩函數(shù)空間，稱作G空間，是基于（Total Variation，TV）模型和有界變差（Bounded Variation，BV）函數(shù)空間上提出的。但是Meyer只是提出了模型，沒有給出模型的求解方法。2003年Vese、Osher[7]將Meyer在2001年提出的理論和TV模型結(jié)合，用LP逼近||?||G范數(shù)，嘗試結(jié)合用另一種方法——變分法成功求出了模型的數(shù)值解，由此提出了新的圖像紋理-結(jié)構(gòu)分解模型，即VO模型[7-8]。新模型進(jìn)一步提升了圖像分解效果。

VO模型的能量泛函表示如公式（1）[9]：

式中，Gp代表源圖，u是分解結(jié)果中的結(jié)構(gòu)部分，，再根據(jù)（1）式得出紋理層v公式v(x,y)=?xg1(x,y)+?yg2(x,y),g1,g2∈L∞(R2)，公式中λ、μ的作用是調(diào)節(jié)能量泛函比重，滿足λ＞0,μ＞0。Vese、Osher實(shí)驗(yàn)發(fā)現(xiàn)p∈[1,10]的區(qū)間時(shí)，p的任何取值對應(yīng)的分解結(jié)果沒有過多的差別，且p取值為1時(shí)得到模型結(jié)果的速度最快。因此，為了在最短的時(shí)間得到最好的分解結(jié)果，利用該模型時(shí)直接將p的值設(shè)為1，故針對公式（1）（當(dāng)p=1時(shí)）使用變分法求解得到相應(yīng)的歐拉-拉格朗日方程（The Euler-Lagrange Equation）方程為[10]：

約束圖像區(qū)域邊界條件表示為：

（3）式中n滿足n=(nx,ny)，通過采用差分運(yùn)算求偏導(dǎo)的方法對Euler-Lagrange方程（2）和約束條件方程（3）進(jìn)行求解[11]，得到結(jié)構(gòu)部分 u和紋理部分v=?xg1+?yg2?；诖耍疚倪x用分解效果優(yōu)于其他分解模型的VO模型首先分解待融合源圖像，將兩幅或者多幅待融合圖像全部分解成結(jié)構(gòu)和紋理部分，再根據(jù)相應(yīng)的規(guī)則去進(jìn)行圖像融合處理，因?yàn)榉纸饽Ｐ偷膬?yōu)越性，使得各部分融合變得簡單，達(dá)到消除圖像局部失焦模糊現(xiàn)象，提升多聚焦圖像融合效果。

圖1 圖像分解結(jié)果

2 多聚焦圖像融合過程

基于偏微分方程的VO圖像分解模型，具有既快又簡單的計(jì)算方法，還能顯式地表達(dá)圖像的紋理部分，基于以上特點(diǎn)，它能更好地從源圖中同時(shí)提取紋理和結(jié)構(gòu)部分，為后續(xù)的圖像處理操作（融合、識別等）順利進(jìn)行提供良好的基礎(chǔ)條件。選擇從同一場景中獲取，并經(jīng)過嚴(yán)格配準(zhǔn)的源圖像，并且場景中任意目標(biāo)物體至少有一幅圖像是清晰的?；赩O圖像模型的多聚焦圖像融合框架如圖2所示。

其具體步驟為：

Step1：將經(jīng)過嚴(yán)格配準(zhǔn)的源圖1和源圖2分別通過VO模型分解成結(jié)構(gòu)部分U1、U2，紋理部分V1、V2；其中，源圖1=U1+V1，源圖2=U2+V2；

Step2：用滑動(dòng)窗口技術(shù)結(jié)合改進(jìn)的拉普拉斯能量和（NSML）[12]聚焦評價(jià)函數(shù)識別結(jié)構(gòu)部分和紋理部分的聚焦區(qū)域；分別得到源圖1、2的聚焦區(qū)域A、B；

Step3：利用融合規(guī)則找出初始融合圖像的二值決策圖；

Step4：將得到的初始二值決策圖通過形態(tài)學(xué)處理（腐蝕、膨脹）以增強(qiáng)聚焦區(qū)域的連續(xù)性，最終得到一個(gè)場景中所有目標(biāo)物體都清晰的聚焦圖像。

圖2 基于圖像分解的融合框架

3 結(jié)果評價(jià)

3.1 主觀評價(jià)方法

主觀評價(jià)方法是指觀測者通過肉眼和主觀直覺去觀察感受經(jīng)融合處理后的圖像，主觀地根據(jù)個(gè)人感受給出評價(jià)的過程。但由于觀測者對圖像信息的敏感性各不相同，主觀評價(jià)方法存在一定的弊端，環(huán)境、人數(shù)、情緒等都會影響評價(jià)結(jié)果。近年來，學(xué)者提出了許多客觀的評價(jià)方法，這一方面評價(jià)算法本身的性能，另一方面也將融合質(zhì)量通過量化的方式表示出來，使評價(jià)更直觀。

3.2 客觀評價(jià)方法

（1）標(biāo)準(zhǔn)差（Standard Deviation，SD）[13]：通常使用標(biāo)準(zhǔn)差來檢測一幅圖像的對比度。得到的值越大表示圖像涵蓋了越豐富的細(xì)節(jié)，其公式定義如下：

（2）信息熵（Information Entropy，IE）[14]：熵本質(zhì)上展示的是圖像中像素體系的混亂情況，對焦好的圖像區(qū)域，熵值越大，反之越小。其公式定義如下：

L：圖像的灰度級，Pi：灰度級為i的像素在圖像中的概率。

（3）空間頻率（Spatial Frequency，SF）[15]：是圖像中有效信息的直觀反映，按行、列不同方向計(jì)算。RF：行頻率；CF：列頻率。

本文使用以上三種方法做圖像融合質(zhì)量評價(jià)。此外，邊緣信息保留量指標(biāo)、方差、梯度能量[13-15]等算法都是圖像融合的客觀評價(jià)指標(biāo)。

4 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)在MATLAB 2016軟件平臺上進(jìn)行，微機(jī)配置為 Windows 7，Intel Core i5-4590S CPU@3.00GHz，RAM 4.00GB；為了對比算法的有效性，與文獻(xiàn)[16]結(jié)合小波變換和自適應(yīng)分塊的多聚焦圖像快速融合算法進(jìn)行比較，分別對兩組配準(zhǔn)圖像進(jìn)行融合（“clock”像素大小為 512×512?！發(fā)ab”像素大小為 640×480）。運(yùn)行結(jié)果如圖3所示。

圖3 實(shí)驗(yàn)1-lab圖實(shí)驗(yàn)結(jié)果

圖4 實(shí)驗(yàn)2-clock圖實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果顯示，對比算法得到的融合圖像整體偏模糊，實(shí)驗(yàn)1-lab圖像融合結(jié)果右聚焦區(qū)域部分，人物頭像處有明顯的模糊像素存在，本文算法的融合圖像無明顯多余像素，主觀視覺顯示上更平滑。同時(shí)在實(shí)驗(yàn)2-clock圖像的對比算法融合結(jié)果在左聚焦區(qū)域小鬧鐘logo沒有比較清晰的展現(xiàn)出，但本文算法的融合結(jié)果可以清楚的看出鬧鐘logo；并且從算法得到融合圖像用時(shí)情況來看，本文用時(shí)相對較短。因此從實(shí)驗(yàn)結(jié)果可以對比出，本文的方法在圖像融合的細(xì)節(jié)部分更具有優(yōu)越性。

5 結(jié)語

多尺度的復(fù)雜圖像經(jīng)分解模型分解后轉(zhuǎn)化到一個(gè)單尺度的特征空間，使得后續(xù)的融合處理更加方便簡單，本文利用這一特點(diǎn)結(jié)合VO圖像分解模型做多聚焦圖像的融合，實(shí)驗(yàn)結(jié)果也顯示，該方法在細(xì)節(jié)處理上更具有優(yōu)越性。但本文末找到一種更好的聚焦評價(jià)函數(shù)，今后的研究方向?qū)⒅饕獋?cè)重于聚焦評價(jià)函數(shù)和融合規(guī)則的改進(jìn)，以得到更優(yōu)的融合圖像。