基于邊緣保持濾波的多聚焦圖像融合仿真

雷光波，萬(wàn) 方

(湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，湖北 武漢 430068)

1 引言

作為交流溝通的主要途徑，圖片在日常生活中占據(jù)著重要地位。為了更全面、更細(xì)致地描述圖像中的目標(biāo)對(duì)象，基于對(duì)應(yīng)的融合規(guī)則，利用圖像融合技術(shù)對(duì)片面化、表面化的圖像目標(biāo)進(jìn)行信息重組，使其與人眼與機(jī)器感知更匹配。由于光學(xué)系統(tǒng)[1]的景深問(wèn)題限制了目標(biāo)區(qū)域的聚焦范圍，導(dǎo)致同一場(chǎng)景中僅圖像聚焦點(diǎn)周圍足夠清晰，需應(yīng)用多聚焦圖像融合技術(shù)融合處理不同聚焦度圖像，因此，眾多相關(guān)領(lǐng)域的研究人員對(duì)多聚焦圖像融合技術(shù)展開(kāi)廣泛的深入研究。

文獻(xiàn)[2]提出的四通道不可分提升小波下多聚焦圖像融合方法中，通過(guò)提升分解二維四通道不可分小波濾波器組的多相位矩陣與二維提升小波逆變換，加快了融合速度；文獻(xiàn)[3]利用FFST(Fast Finite Shearlet Transform，快速有限剪切波變換)、拉普拉斯能量以及NSML(Novell mirror server link Novell，鏡像服務(wù)器連接)，構(gòu)建一種主觀視覺(jué)效果較好的圖像融合算法；而文獻(xiàn)[4]則將多聚焦融合與Retinex結(jié)合，架構(gòu)出改進(jìn)雙邊濾波的多聚焦融合算法，該算法對(duì)圖像泛灰、光暈、邊界突出等現(xiàn)象存在有效的抑制作用，具有明顯的細(xì)節(jié)強(qiáng)化優(yōu)勢(shì)。

通過(guò)對(duì)上述文獻(xiàn)方法的優(yōu)劣勢(shì)取長(zhǎng)補(bǔ)短，本文以邊緣保持濾波為基礎(chǔ)，設(shè)計(jì)一種多聚焦圖像融合方法。通過(guò)自適應(yīng)梯度聯(lián)合約束及邊緣保持濾波算法復(fù)原處理模糊圖像，獲取初始圖像微分信息，提升多聚焦圖像融合質(zhì)量；利用快速傅里葉變換與傅里葉逆變換方法，使復(fù)原圖像的邊緣信息與初始圖像的相似度更高；經(jīng)邊緣保持濾波階段，提升邊緣保持濾波效果，使梯度降噪處理與圖像輪廓信息保留更加優(yōu)越；引入深度神經(jīng)網(wǎng)絡(luò)模型的自編碼器，降低運(yùn)算復(fù)雜度，提升運(yùn)行效率。

2 基于邊緣保持濾波的多聚焦圖像融合

2.1 邊緣保持濾波下模糊圖像復(fù)原

因無(wú)法獲取初始圖像微分信息，所以在融合前需要基于自適應(yīng)梯度聯(lián)合約束，先對(duì)模糊圖像進(jìn)行復(fù)原處理。模糊圖像復(fù)原的具體流程描述如下：

1)初步復(fù)原階段：假設(shè)初始圖像f(x，y)的灰度值序列為[fr(0)，fr(1)，…，fr(Nr-1)]T，其復(fù)原估計(jì)是，對(duì)應(yīng)加權(quán)比例系數(shù)分別是λ(1)、λ(2)，若令梯度先驗(yàn)序列均是0，且空間相關(guān)約束條件設(shè)定成最小化相鄰像素差分[5]，則采用下列模糊圖像復(fù)原方程退化表達(dá)式，即可得到圖像的初步復(fù)原結(jié)果(0)

(1)

式中，利用快速傅里葉變換[6]處理r半徑下一維點(diǎn)擴(kuò)散函數(shù)hr、模糊圖像g、稀疏序列階數(shù)d與d2，得到的Nr長(zhǎng)復(fù)數(shù)序列分別是HF、G、D、D2，D2的復(fù)數(shù)共軛為(D2)*，元素相乘算子用°表示，F(xiàn)1指代傅里葉逆變換形式。

2)邊緣保持濾波階段：若反饋系數(shù)是k，轉(zhuǎn)換域中兩個(gè)相鄰像素的間距為u，則采用下列基于域變換的邊緣保持濾波方程，濾除噪聲信號(hào)，保持圖像邊緣細(xì)節(jié)，取得復(fù)原結(jié)果(0)的平滑圖像(1)

(1)[n]=(1-ku)(0)[n]+ku(1)[n-1]

(2)

3)梯度先驗(yàn)估計(jì)階段：圖像一階和二階梯度的先驗(yàn)序列分別是w(1)、w(2)，可通過(guò)平滑圖像(1)的微分稀疏序列公式解得，如下所示

(3)

(4)

式(3)、(4)中，預(yù)設(shè)閾值為τ(*)，與|d*(1)[n]|之間滿足下列取值條件表達(dá)式

(5)

經(jīng)合理設(shè)定閾值τ(*)，可在一定程度上提升邊緣保持濾波效果，使梯度降噪處理與圖像輪廓信息保留更加優(yōu)越。

4)最后復(fù)原階段：傅里葉變換[8]處理估計(jì)的一、二階梯度先驗(yàn)序列w(1)、w(2)后，將處理結(jié)果與下列復(fù)原估計(jì)的相應(yīng)頻域解及其傅里葉逆變換[9]表達(dá)式進(jìn)行整合，取得最終的復(fù)原圖像：

(6)

(7)

式(6)、(7)中，快速傅里葉變換處理先驗(yàn)序列w(1)、w(2)所得的Nr長(zhǎng)復(fù)數(shù)序列為W(1)、W(2)。

2.2 多聚焦圖像融合

為解決低頻子帶信息損失問(wèn)題，利用深度神經(jīng)網(wǎng)絡(luò)模型(deep neural network model，DNNM)含有的自編碼器(auto encoder，AE)[10]來(lái)構(gòu)建低頻子帶，并將其設(shè)定成網(wǎng)絡(luò)輸入，根據(jù)自編碼器的學(xué)習(xí)屬性，獲取輸入子帶特征，取得隱藏層神經(jīng)元權(quán)重，通過(guò)權(quán)重對(duì)比選取適宜的低頻子帶，所得的低頻子帶即融合后子帶，融合完成。多聚焦圖像的具體融合流程描述如下：

1)分解階段：假設(shè)fA與fB是兩個(gè)配準(zhǔn)后的源圖像，利用具有平移不變性的WKF(wavelet kernel filter，小波核濾波器)分解源圖像為L(zhǎng)層，得到數(shù)量是L的第j次分解多尺度高頻子帶WAj、WBj與低頻子帶PA、PB，其中，j=1，2，…，L，源圖像特征用子帶系數(shù)指代；

2)融合高頻子帶階段：假設(shè)點(diǎn)(x，y)的小波核濾波器系數(shù)是Wj(x，y)，鄰域窗口是(s，t)，則提取高頻子帶鄰域間的局部能量表達(dá)式如下所示

Sj(x，y)=∑∑Wj(x+s，y+t)2

(8)

從提取出的局部能量中選擇最大值作為融合后特征，利用下列表達(dá)式求取融合后的高頻子帶WFj(x，y)

(9)

3)融合低頻子帶階段：劃分源圖像的低頻子帶PA與PB為多個(gè)子塊，規(guī)格是n*n，將其作為自編碼器輸入后，構(gòu)建與低頻子帶對(duì)應(yīng)的自編碼模型；在學(xué)習(xí)過(guò)程中，編碼輸入層數(shù)據(jù)，重構(gòu)最小誤差，取得理想的編碼輸入表達(dá)；若存在3層隱藏層，且神經(jīng)元表達(dá)的是初始輸入，隱藏層權(quán)重分別是EA、EB，融合后圖像fF的低頻子帶是PF，則低頻子帶PF(x，y)的選取可通過(guò)下列條件式完成：

(10)

4)利用小波核濾波器重構(gòu)所得的低頻子帶PF(x，y)與高頻子帶WFj(x，y)，獲取多聚焦圖像的融合后圖像f′。

3 多聚焦圖像融合模擬實(shí)驗(yàn)

3.1 多聚焦圖像融合平臺(tái)與評(píng)估指標(biāo)

為驗(yàn)證基于邊緣保持濾波的多聚焦圖像融合算法的有效性，設(shè)計(jì)仿真對(duì)比實(shí)驗(yàn)。仿真平臺(tái)選用proteus7.10軟件，硬件為4GHz頻率、8GB內(nèi)存的英特爾雙核處理器。多聚焦圖像融合評(píng)估指標(biāo)分別采用SD(Standard Deviation，標(biāo)準(zhǔn)差)、AG(Average Gradient，平均梯度)、MI(Mutual Information，互信息量)以及邊緣信息保持度QAB/F，定量評(píng)估不同融合圖像質(zhì)量，四個(gè)指標(biāo)分別用于反映圖像的對(duì)比度、清晰度、融合圖像含有的源圖像信息量以及源圖像邊緣信息融入最終圖像的融合量，各指標(biāo)對(duì)應(yīng)表達(dá)式如下所示

(11)

(12)

(13)

(14)

式(14)中，像素點(diǎn)(x，y)的灰度值為φ(x，y)，融合圖像的邊長(zhǎng)分別是M，N，圖像灰度均值為μ；不同方向上的像素點(diǎn)一階差分分別是Δφx與Δφy；源圖像像素灰度值分別是a，b，其與融合圖像的像素灰度值概率密度函數(shù)分別是pA(a)、pB(b)、pF(φ)，兩種圖像的聯(lián)合概率密度函數(shù)分別是pAF(a，φ)、pBF(b，φ)；融合圖像對(duì)源圖像邊緣信息保留值與感知保留值的乘積為QAF(n，m)、QBF(n，m)，邊緣強(qiáng)度函數(shù)是wA(n，m)、wB(n，m)。

將多聚焦圖像分解層數(shù)設(shè)定成3，區(qū)域模板規(guī)格為5*5，采用文獻(xiàn)[2]方法、文獻(xiàn)[3]方法與所提方法融合多聚焦圖像，驗(yàn)證方法的實(shí)踐性與有效性。

3.2 多聚焦圖像融合效果分析

在lytro 數(shù)據(jù)集(https：∥www.irisa.fr/temics/demos/lightField/index.html)中選取一幅聲多聚焦源圖像作為實(shí)驗(yàn)對(duì)象，如圖1所示。

采用不同方法對(duì)圖1實(shí)驗(yàn)圖像進(jìn)行融合，得到融合結(jié)果如圖2所示。

圖1 聲多聚焦源圖像

圖2 不同方法的融合圖像對(duì)比

根據(jù)以上各圖像融合結(jié)果可以看出，文獻(xiàn)[2]方法的融合圖像中存在偽影現(xiàn)象[11]，邊緣模糊且有波紋與虛假信息出現(xiàn)，未較好地保留圖像紋理細(xì)節(jié)，導(dǎo)致視覺(jué)效果較差，文獻(xiàn)[3]方法所得的融合圖像虛影有所減少，紋理細(xì)節(jié)相對(duì)清晰，而所提方法由于運(yùn)用了具有平移不變性的小波核濾波器，使偽吉布斯現(xiàn)象[12]得到較好克服，因此，大幅提升了融合圖像質(zhì)量，獲取了更高的對(duì)比度與更好的視覺(jué)效果；對(duì)比文獻(xiàn)方法，所提方法充分提取出源圖像清晰像素，并進(jìn)行有效融合，具有極佳的融合圖像效果。這是因?yàn)榛谧赃m應(yīng)梯度聯(lián)合約束，對(duì)模糊圖像進(jìn)行了復(fù)原處理，因此，獲得了更好的圖像視覺(jué)效果。

表1所示為圖像融合評(píng)估指標(biāo)的定量評(píng)價(jià)結(jié)果，對(duì)各融合方法的多聚焦圖像融合性能做出了客觀評(píng)價(jià)。

表1 多聚焦圖像客觀評(píng)估指標(biāo)數(shù)據(jù)統(tǒng)計(jì)表

根據(jù)表中數(shù)據(jù)對(duì)比結(jié)果可以看出，相比文獻(xiàn)[2]方法、[3]方法，所提方法具有最優(yōu)的評(píng)估指標(biāo)結(jié)果，既避免了偽吉布斯現(xiàn)象的出現(xiàn)，大幅度提升邊緣特征，也在清晰度、對(duì)比度、紋理信息保留度等方面都取得了較好的融合效果，與標(biāo)準(zhǔn)圖像最為接近。

經(jīng)統(tǒng)計(jì)各方法在融合多聚焦圖像時(shí)所用的時(shí)長(zhǎng)，整合得到下表2所示。

表2 各方法圖像融合時(shí)長(zhǎng)(單位：s)

各方法的融合時(shí)長(zhǎng)結(jié)果表明，所提方法因使用深度神經(jīng)網(wǎng)絡(luò)模型含有的自編碼器來(lái)構(gòu)建低頻子帶，并學(xué)習(xí)輸入子帶特征，降低了計(jì)算復(fù)雜度，所以，對(duì)比文獻(xiàn)方法的融合時(shí)長(zhǎng)更短，而文獻(xiàn)[2]方法、[3]方法則通過(guò)減小圖像對(duì)比度與清晰度，用下降圖像融合質(zhì)量來(lái)?yè)Q取快速融合。綜合以上分析，所提方法既確保了融合的有效性，也相對(duì)縮減了融合時(shí)長(zhǎng)。

由以上圖像結(jié)果可知，本文方法對(duì)比文獻(xiàn)方法具有更理想的噪聲抑制性能，由于所提方法利用快速傅里葉變換、傅里葉逆變換等方法，高度復(fù)原了帶噪的模糊圖像，使圖像噪聲得到有效抑制，故其融合性能仍顯著優(yōu)于其它文獻(xiàn)方法，提升了圖像融合性能，具有較好的實(shí)際應(yīng)用意義。

4 結(jié)論

圖像融合技術(shù)以生成與人類視覺(jué)特性相符、與計(jì)算機(jī)處理性能匹配的新圖像為目標(biāo)，逐漸演變成圖像處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域中的熱點(diǎn)研究課題。因光學(xué)鏡頭受限，導(dǎo)致無(wú)法實(shí)現(xiàn)聚焦全部清晰目標(biāo)圖像，故多聚焦圖像融合策略應(yīng)時(shí)而生。融合問(wèn)題具有一定的復(fù)雜性，基于本文研究成果，從以下幾個(gè)方面展開(kāi)進(jìn)一步改進(jìn)：濾波參數(shù)決定了圖像融合方法性能，為獲取更好的融合質(zhì)量，應(yīng)將探索出更理想?yún)?shù)作為今后的研究側(cè)重點(diǎn)；針對(duì)融合圖像沒(méi)有對(duì)源圖像細(xì)節(jié)信息做較好保留的問(wèn)題，應(yīng)嘗試結(jié)合新型技術(shù)與算法，構(gòu)建更優(yōu)越的融合方法；因時(shí)間限制，在未來(lái)的工作中，需采用更多的客觀評(píng)價(jià)指標(biāo)實(shí)施仿真，分析、評(píng)估方法性能；下一步應(yīng)探究彩色圖像的多聚焦融合效果，將圖像融合層級(jí)從像素級(jí)擴(kuò)展至特征級(jí)、決策級(jí)，拓寬方法應(yīng)用領(lǐng)域；從融合時(shí)長(zhǎng)角度出發(fā)，探究一種確保融合質(zhì)量下縮減融合時(shí)間的方法，實(shí)現(xiàn)融合實(shí)時(shí)性。