徐 甜,王軍鋒
(西安理工大學(xué) 理學(xué)院,陜西 西安 710054)
圖像融合是組合通過不同傳感器或同一傳感器因成像目標(biāo)不同獲得的信息,使融合后圖像包含更全面、豐富和準(zhǔn)確的信息[1]。隨著融合技術(shù)的發(fā)展,圖像融合在計算機視覺、醫(yī)學(xué)、軍事和遙感以及人工智能等領(lǐng)域得到了廣泛的應(yīng)用,成為信息融合領(lǐng)域不可或缺的一部分。2000年,邊緣保護分解濾波器成為了計算攝影和圖像處理中的有效工具[2],這些濾波器能夠保護圖像空間結(jié)構(gòu)的一致性,并且減少邊緣的“光暈效應(yīng)”。近幾年,均值濾波、加權(quán)最小二乘濾波、各向異性擴散濾波等已被應(yīng)用到紅外線和可見光圖像融合中。2007年,Pop S等[3]將偏微分方程引入圖像融合,提出了基于PDE的圖像融合算法,取得較好的融合效果,但在平滑過程中會丟失重要信息,因此融合圖像邊緣保持不好。2016年,Durga等[4]提出基于二階PDE的各向異性擴散濾波與傳統(tǒng)的PCA結(jié)合的融合算法,融合圖像邊緣保持不好。2017年,Durga等[5]又將二階PDE濾波改進為四階PDE濾波,視覺效果較好,但出現(xiàn)了少許斑點。文中結(jié)合二階PDE和四階PDE的優(yōu)缺點,提出基于PDE的二階和四階相結(jié)合的自適應(yīng)濾波器應(yīng)用于圖像融合。
擴散系數(shù)可以控制偏微分方程去噪模型的平滑力度,1990年P(guān)erona和Malik給出了一種擴散函數(shù)[6]:
(1)
(2)
其中,a為[-2,10]內(nèi)的常數(shù)。a取-2和1時不同擴散函數(shù)的對比圖像見圖1。
圖1 不同擴散函數(shù)的圖像
由圖1可知,當(dāng)a取較大的數(shù)1時,在|u|較小時,即平坦區(qū)域,擴散函數(shù)g2比g1值大,則可以更大程度地去除噪聲;而在|u|較大時,即圖像邊緣,擴散函數(shù)g2相比于g1擴散程度小,能更好地保護圖像邊緣信息。而當(dāng)a取較小的數(shù)-2時,提出的擴散函數(shù)g2平滑速度要比g1快很多,能夠更快地達到最優(yōu)結(jié)果。
綜上分析,對于不同圖像平滑,擴散函數(shù)g2可以通過a調(diào)節(jié)擴散函數(shù)的平滑力度,從而得到更加好的平滑效果。
1.2.1 PM擴散模型
1990年P(guān)erona和Malik提出了P-M擴散模型[6]:
(3)
雖然二階“PM擴散模型”在平滑圖像的同時可以保護邊緣,但在圖像平滑區(qū)域容易出現(xiàn)過度平滑,從而產(chǎn)生“階梯效應(yīng)”。
1.2.2 YK擴散模型
為了克服“階梯效應(yīng)”,2000年You和Kaveh提出了四階偏微分方程去噪模型,即YK模型[8]:
(4)
該模型用拉普拉斯算子代替梯度算子,消除了“階梯效應(yīng)”,但是不能很好地保護邊緣且有黑色斑點產(chǎn)生。同時Y-K模型的去噪效率和邊緣保護能力都不如二階PM模型。
1.2.3 自適應(yīng)擴散模型
2009年,劉小揚等提出了二階和四階相結(jié)合的PDE模型[9]:
(5)
其中,w1,w2是權(quán)系數(shù),且w1+w2=1。引入|u|限制|2u|產(chǎn)生的孤立點,消除了“斑點效應(yīng)”[10],但邊緣保持不好。
因此,結(jié)合二階和四階模型的優(yōu)缺點,提出了二階四階相結(jié)合的自適應(yīng)擴散模型(見圖2):
圖2 α隨梯度變化曲線
(6)
其中
(7)
模型通過α控制擴散系數(shù),在圖像漸變區(qū)域(梯度值為中間值),α取較小值,即通過高階模型進行平滑,從而避免“塊狀效應(yīng)”;而在圖像平滑區(qū)域(梯度值較小)和梯度突變區(qū)域(梯度值較大)[10],α取較大值,即通過低階模型進行平滑,從而達到去噪的同時保持邊緣。因此,新模型可以自適應(yīng)地在不同區(qū)域選擇不同的擴散函數(shù),有很好的邊緣保護效果。
邊緣保護濾波器可以將源圖像分解為一個平滑的基礎(chǔ)層和多個細節(jié)層,分解之后的圖像能夠保持源圖像的空間一致性。源圖像In(x,y)通過“自適應(yīng)濾波器”分解為細節(jié)層Dn(x,y)和基礎(chǔ)層Bn(x,y)[4],再通過不同的融合規(guī)則進行融合,得到最終融合圖像。圖像融合方案如圖3所示。
圖3 圖像融合方案
源圖像In(x,y)通過“自適應(yīng)PDE濾波器”平滑得到基礎(chǔ)層圖Bn(x,y)和細節(jié)層圖Dn(x,y)[4]:
Bn(x,y)=PDE (In(x,y))
(8)
Dn(x,y)=In(x,y)-Bn(x,y)
(9)
LDA是基于總體參數(shù)的非魯棒性,因此對異常值比較敏感[11],這里引入中值LDA魯棒算法。
將兩幅細節(jié)圖像D1(x,y)和D2(x,y)寫為矩陣X的列向量[4],計算矩陣C的本征值σ1、σ2和本征向量ξ1、ξ2,則
(10)
細節(jié)層圖像的權(quán)重為:
(11)
其中,ξmax(i)為矩陣C最大特征值對應(yīng)的特征向量。
(12)
(13)
最終融合圖F為:
(14)
邊緣保持度QAB/F采用Sobel邊緣檢測原理[12],能準(zhǔn)確計算出融合圖像中有多少源圖像的邊緣細節(jié)信息,定義為:
(15)
引入QAB/F作度量,選取已配準(zhǔn)的clock多聚焦圖像進行參數(shù)選取仿真實驗,如圖4所示。其中QAB/F最大時得到最佳參數(shù),則文中算法的最佳參數(shù)為:迭代次數(shù)n=9、閾值k=20和步長h=0.1。選取最佳值k時,設(shè)定n=20,h=0.1;選取最佳值n時,設(shè)定k=20,h=0.1;選取最佳值h時,設(shè)定k=20,n=20。
圖4 最佳參數(shù)選擇圖
為了驗證文中算法的有效性,將文中算法與經(jīng)典加權(quán)平均算法和傳統(tǒng)小波算法進行比較,如圖5所示。從主觀視覺來看,加權(quán)平均對源圖像的基本信息丟失比較明顯,傳統(tǒng)小波和文獻[3]源圖像的基本信息保留比較好,但還不夠清晰,而基于文中算法的融合圖像明顯比較清晰。
為了更進一步驗證文中算法的優(yōu)越性,選取空間頻率SF、標(biāo)準(zhǔn)差SD、邊緣保持度QAB/F以及結(jié)構(gòu)相似度SSIM等客觀評價指標(biāo)與經(jīng)典算法加權(quán)平均、小波以及文獻[3]算法進 行比較,指標(biāo)越大,融合效果越好。各指標(biāo)定義如下:
(1)SSIM定義如下:
(16)
圖5 clock原始圖與融合結(jié)果圖
(2)SF主要反映圖像的總體活躍度[13],它的值越大,圖像越清晰。
定義為:
(17)
其中,RF和CF分別表示圖像空間的行頻率和列頻率:
(18)
(3)SD反映了各個像素點處的灰度離散分布情況,其值越大,圖像包含的信息量越多,融合效果就越好[14]。
定義為:
(20)
其中
(21)
客觀融合指標(biāo)對比見表1。
表1 客觀融合指標(biāo)對比
依據(jù)非線性偏微分方程在同質(zhì)區(qū)域平滑處理圖像時能很好地保護圖像的邊緣以及低高階PDE的優(yōu)缺點,提出了一種二階和四階PDE相結(jié)合的自適應(yīng)分解濾波器與LDA相結(jié)合的圖像融合算法。自適應(yīng)分解濾波器根據(jù)圖像的局部特征對圖像進行不同程度的擴散,很好地保護了邊緣。
實驗結(jié)果表明,融合圖像較好地保留了源圖像的邊緣信息。