基于GF-WLS和VSM的多能量X射線圖像融合方法

白贇沨，劉 祎，張小琳，張鵬程，桂志國(guó),3

(1.中北大學(xué) 信息與通信工程學(xué)院，太原 030051；2.中北大學(xué) 生物醫(yī)學(xué)成像與影像大數(shù)據(jù)山西重點(diǎn)實(shí)驗(yàn)室，太原 030051; 3.省部共建動(dòng)態(tài)測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，太原 030051)

數(shù)字射線成像是工業(yè)器件質(zhì)量檢測(cè)的主要方 法。工業(yè)器件形狀復(fù)雜，在射線透照方向上的等效厚度差異比較大，而X射線平板探測(cè)器的動(dòng)態(tài)范圍有限，在對(duì)復(fù)雜工業(yè)器件進(jìn)行成像時(shí)，可能同時(shí)出現(xiàn)過曝光和曝光不足的情況，影響圖像質(zhì)量和后續(xù)觀察。所以針對(duì)這一問題，提出了多能量X射線圖像融合算法。

圖像融合是最大限度提取多幅圖像的有利信息，綜合成一幅高質(zhì)量圖像的過程，融合后的圖像較融合前的圖像含有更多的有用信息[1]。將圖像融合技術(shù)應(yīng)用到多能量X射線圖像中，可以將工業(yè)器件在不同射線能量透照下的有效信息顯示在一幅圖中，提升圖像的信息量，為觀察提供便利。目前的圖像融合算法一般可分為基于多尺度變換、基于稀疏表示、基于神經(jīng)網(wǎng)絡(luò)以及上述方法結(jié)合的混合模式。趙賀等[2](2021年)提出了一種基于非下采樣輪廓波變換(NSCT)與離散小波變換(DWT)的脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)醫(yī)學(xué)圖像融合算法，有效提升了融合圖像的對(duì)比度并保留源圖像的細(xì)節(jié)信息。董安勇等[3](2019年)提出了一種卷積稀疏表示和鄰域特征結(jié)合的多聚焦圖像融合算法，有效地提取了源圖像更深層次的清晰測(cè)度信息。李雨晨等(2021年)提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和加權(quán)最小二乘法(WLS)的醫(yī)學(xué)圖像融合算法，使融合圖像包含更多的視覺細(xì)節(jié)信息和具有更高的對(duì)比度。

圖像融合技術(shù)經(jīng)歷了由單一到復(fù)雜的演變過程，有了很大的進(jìn)展。邊緣保持濾波器由于具有在保持邊緣的同時(shí)可以平滑圖像的特性，被成功運(yùn)用到圖像融合中。LI等[4](2013年)提出一種基于引導(dǎo)濾波的圖像融合算法，首次將引導(dǎo)濾波用于權(quán)重圖的構(gòu)造，解決了初始權(quán)重圖中目標(biāo)邊緣未對(duì)齊的問題。MA等[5](2017年)提出一種基于滾動(dòng)引導(dǎo)濾波(RGF)和高斯濾波器的圖像融合算法，將輸入圖像分解為基本層和細(xì)節(jié)層，使用基于視覺顯著性圖(VSM)和加權(quán)最小二乘(WLS)優(yōu)化的多尺度融合方法，克服了傳統(tǒng)方法的一些常見缺陷。SHARMA等[6](2017年)基于雙邊濾波和加權(quán)最小二乘濾波的融合方法進(jìn)行圖像處理，最終得到的結(jié)果具有較好的視覺表現(xiàn)力。羊肇俊等[7](2021年)提出基于加權(quán)最小二乘濾波和引導(dǎo)濾波的鑄件X射線DR(數(shù)字射線成像)圖像融合算法, 使用具有邊緣保護(hù)性質(zhì)的濾波提取細(xì)節(jié)圖中包含的信息，結(jié)合拉普拉斯濾波和高斯濾波來(lái)獲取顯著圖，最后的結(jié)果有更好的視覺效果。劉明葳等[8](2021年)采用各向異性導(dǎo)向?yàn)V波獲得基礎(chǔ)圖和細(xì)節(jié)圖，有效去除了噪聲和抑制光暈偽影。

上述算法雖然在一定程度上提升了融合圖像的質(zhì)量，但都不適用于復(fù)雜結(jié)構(gòu)件多能量X射線圖像的融合。因此，文章結(jié)合不同方法的優(yōu)勢(shì)，提出了基于GF-WLS(GF為引導(dǎo)濾波器)和VSM的圖像融合算法。該算法在提取圖像細(xì)節(jié)時(shí)對(duì)邊緣的保護(hù)性良好，融合后的圖像紋理清晰，在復(fù)雜結(jié)構(gòu)件的多能量X射線圖像融合中表現(xiàn)良好。

1 相關(guān)理論

1.1 引導(dǎo)濾波

引導(dǎo)濾波是一種新的邊緣保持濾波器，其引導(dǎo)圖像的局部線性變換，可以實(shí)現(xiàn)圖像邊緣的平滑、細(xì)節(jié)增強(qiáng)等功能，具有視覺質(zhì)量好、速度快和易于實(shí)現(xiàn)等特點(diǎn)，已成為目前最受關(guān)注的濾波方法之一[9]。

文獻(xiàn)[4]最早將引導(dǎo)濾波運(yùn)用于圖像融合。引導(dǎo)濾波是一種局部線性濾波器，引導(dǎo)圖像的梯度可以被傳遞到輸出圖像，邊緣細(xì)節(jié)因此得到保留。引導(dǎo)濾波的數(shù)學(xué)公式為

(1)

式中：IGF為經(jīng)過引導(dǎo)濾波的輸出圖像；G為引導(dǎo)圖像；下標(biāo)p和k為像素的空間位置；wk為以k為中心的窗口；ak和bk是wk中的兩個(gè)常數(shù)，目的是使輸出圖像和輸入圖像的差距最小化。

ak和bk可通過式(2)來(lái)求解。

(2)

式中：I為輸入圖像；τ為正則化參數(shù)，防止ak過大。

根據(jù)式(2)求解出ak和bk的值為

(3)

bk=k-akμk

(4)

由式(1)可知，在不同的窗口wk內(nèi)，輸出的圖像會(huì)發(fā)生變化。為了解決這個(gè)問題，對(duì)所有的ak和bk按式(5)取平均。

(5)

1.2 加權(quán)最小二乘濾波

加權(quán)最小二乘濾波是一種非線性濾波器，能夠在平滑圖像的同時(shí)保護(hù)圖像邊緣，并且在多尺度的細(xì)節(jié)處理上具有出色的表現(xiàn)力[7]。該算法最早見于文獻(xiàn)[10]。加權(quán)最小二乘濾波是一種全局濾波器，目的是使得輸出圖像盡可能接近輸入圖像，并且保持輸入圖像中顯著區(qū)域外的其他部分平滑，該算法的具體數(shù)學(xué)表達(dá)式為

(6)

式中：g為輸入圖像;u為輸出圖像;p為像素的空間位置；函數(shù)的第一項(xiàng)實(shí)現(xiàn)輸入圖像與輸出圖像盡可能相似的目的，第二項(xiàng)通過對(duì)輸出圖像求x，y方向的偏導(dǎo)來(lái)達(dá)到平滑圖像的效果，λ則為平衡兩項(xiàng)的參數(shù)；ax,p(g)和ay,p(g)為權(quán)重控制平滑程度，其計(jì)算方法為

(7)

(8)

式中：l為輸入圖像的對(duì)數(shù)亮度通道；α為參數(shù)，決定了梯度權(quán)重項(xiàng)對(duì)圖像邊緣的敏感度；ε為一個(gè)極小的常數(shù)，防止輸入圖像g為常數(shù)的區(qū)域被零除。

為了方便計(jì)算，將公式(6)寫成公式(9)的矩陣形式。

(u-g)T(u-g)+

(9)

求解式(9)的最小值，u定義為式(10)的唯一解。

u=(E+λLg)-1g

(10)

式中：E為單位矩陣；Lg為五點(diǎn)空間異構(gòu)拉普拉斯矩陣。

(11)

1.3 相位一致性

視覺顯著圖反映的是人眼視覺最感興趣的區(qū)域，而人眼主要依靠圖像相位觀察圖像，因此在圖像融合的過程中，將相位一致性算子PC引入顯著圖的構(gòu)造來(lái)提升最終融合圖像的視覺效果。與傳統(tǒng)的拉普拉斯算子等提取特征生成顯著圖的方法相比，相位一致性具有兩點(diǎn)優(yōu)勢(shì)：① 對(duì)圖像的亮度和對(duì)比度的變化并不敏感；② 在一幅圖像中，與傅里葉振幅相比，傅里葉相位包含更多的感知信息。相位一致性的大小度量了特征的顯著程度[8]。像素點(diǎn)x的相位值表示為

(12)

式中：An為表示第n個(gè)傅里葉分量的幅值；E(x)為局部能量函數(shù)；η為常數(shù)，引入η的目的是為了應(yīng)對(duì)所有傅里葉振幅都非常小的情況。

用拉普拉斯算子與PC算子對(duì)器件提取特征的對(duì)比試驗(yàn)結(jié)果如圖1所示，可以看出相位一致性算子提取的特征更清晰且突出。

圖1 相位一致性和拉普拉斯算子提取的特征比較

2 算法設(shè)計(jì)

基于引導(dǎo)濾波和加權(quán)最小二乘濾波的圖像融合模型可以在平滑圖像和保護(hù)邊緣的同時(shí),在多尺度提取特征時(shí)擁有良好的能力。對(duì)源圖像進(jìn)行多尺度分解,引入PC算子和像素對(duì)比度提取顯著圖, 用引導(dǎo)濾波對(duì)權(quán)重圖進(jìn)行優(yōu)化,最后疊加各層融合圖像獲得初步融合圖像，重復(fù)進(jìn)行兩次融合得到最終融合圖像。融合算法框架如圖2所示。

圖2 融合算法框架

2.1 基于引導(dǎo)濾波和加權(quán)最小二乘濾波的多尺度細(xì)節(jié)提取

傳統(tǒng)的多尺度變換主要使用的是線性濾波器，在分解過程中易有光暈偽影產(chǎn)生，可以利用非線性邊緣保持濾波器減少偽影。受文獻(xiàn)[8]的啟發(fā)，引入多尺度的方式，采用GF和WLS兩種濾波方式分別提取兩幅待融合的多能量 X 射線圖像中的細(xì)節(jié)信息。具體過程如下所述。

(1) 對(duì)輸入圖像U進(jìn)行平滑處理得到對(duì)應(yīng)的平滑圖像UGF和UWLS，將平滑后的圖像作為下一級(jí)平滑處理的輸入圖像。

(13)

(14)

(15)

式中：Uj為第j級(jí)濾波圖像;U0為源圖像;N為分解層數(shù),設(shè)置N=4。

引導(dǎo)濾波器通過σs和σr分別控制濾波的空間范圍權(quán)重與強(qiáng)度差范圍權(quán)重。加權(quán)最小二乘濾波通過λ和α控制輸出圖像的平滑程度和邊緣的銳化程度。

(16)

(17)

將源圖作為基礎(chǔ)層b

b=U0

(18)

(3) 對(duì)兩種濾波提取出的細(xì)節(jié)信息進(jìn)行加權(quán)平均得到最終的細(xì)節(jié)層圖像，設(shè)置權(quán)重wGF=wWLS=0.5，則第i層細(xì)節(jié)di為

(19)

多尺度圖像分解流程如圖3所示。

圖3 多尺度圖像分解流程

文章直接將源圖作為基礎(chǔ)層圖像，在細(xì)節(jié)層與源圖像進(jìn)行疊加的同時(shí)，可以達(dá)到圖像增強(qiáng)的目的。

2.2 基于相位一致性及像素對(duì)比度的權(quán)重圖構(gòu)造

將相位一致性引入圖像融合框架，可以提升融合圖像的視覺效果。

(20)

i=(0,1,…,N)

(21)

由式(21)可知，若兩個(gè)像素點(diǎn)的像素強(qiáng)度值相同，則這兩個(gè)像素點(diǎn)的像素顯著值也相等。因此式(21)可以改寫為

i=(0,1,…,N)

(22)

式中：m為像素強(qiáng)度；Mm為強(qiáng)度等于m的像素?cái)?shù)；L為灰度級(jí)數(shù)。

(23)

(24)

(25)

圖4 權(quán)重圖構(gòu)造流程

2.3 圖像融合

融合基礎(chǔ)層和融合細(xì)節(jié)層由加權(quán)映射計(jì)算得到，分別表示為：

(26)

(27)

最后，將融合后的基礎(chǔ)層B與融合后的細(xì)節(jié)層Di相加，得到融合結(jié)果F，即

F=B+D1+D2+…+Di,

i=(1,2,…,N)

(28)

3 試驗(yàn)結(jié)果與分析

為進(jìn)一步驗(yàn)證文章所提方法的優(yōu)越性，選擇了 3 組DR圖像進(jìn)行融合試驗(yàn)。同時(shí)，為了驗(yàn)證算法的優(yōu)勢(shì)，文章選取了5種其他常見的圖像融合算法，從主、客觀兩方面與所提方法進(jìn)行對(duì)比。這5種算法包括文獻(xiàn)[11]所提出的基于結(jié)構(gòu)塊分解的圖像融合算法(SPD),文獻(xiàn)[12]所提的基于尺度不變特征變換和引導(dǎo)濾波的圖像融合算法(SIFT-GF),文獻(xiàn)[13]所提的基于各向異性擴(kuò)散的圖像融合算法(ADF),文獻(xiàn)[14]所提的基于多分辨率奇異值分解的圖像融合算法(MSVD),文獻(xiàn)[5]所提的基于視覺顯著性圖和加權(quán)最小二乘的圖像融合算法(VSM-WLS)。試驗(yàn)使用的軟件MATLAB2018a。

3.1 主觀評(píng)價(jià)

3個(gè)器件不同方法DR圖像的融合結(jié)果如圖57所示。為了更清晰地比較，框出了一些細(xì)節(jié)并將其放大。

由圖57可以看出，通過SPD方法獲得的融合圖像的完整性良好，但是清晰度不夠高，器件的細(xì)節(jié)信息損失嚴(yán)重;SIFT-GF方法處理的融合圖像亮度較低，在觀察器件較厚區(qū)域的細(xì)節(jié)時(shí)有一定困難;通過ADF方法獲得的融合圖像總體上較暗，細(xì)節(jié)信息相對(duì)模糊，邊緣特征不明顯;通過MSVD方法獲得的融合圖像對(duì)比度較高，但在局部放大圖中可以看出器件較厚的區(qū)域較暗，細(xì)節(jié)部分不夠豐富;VSM-WLS方法獲得的圖像整體亮度更高，但清晰度較低，視覺效果不佳。試驗(yàn)結(jié)果表明，文章提出的算法在多能量X射線圖像融合中效果良好，亮度適中且保留的細(xì)節(jié)信息豐富，融合后圖像的清晰度較高，視覺效果較好。

圖5 器件1不同方法的融合結(jié)果及局部放大圖

圖6 器件2不同方法的融合結(jié)果及局部放大圖

圖7 器件3不同方法的融合結(jié)果及局部放大圖

3.2 客觀評(píng)價(jià)

由于主觀算法對(duì)細(xì)微細(xì)節(jié)的區(qū)分欠缺客觀性，所以為了進(jìn)一步證明文章算法的有效性，對(duì)文章算法與對(duì)比算法進(jìn)行客觀質(zhì)量評(píng)價(jià)。針對(duì)圖像特點(diǎn)，采用6個(gè)客觀評(píng)價(jià)指標(biāo)來(lái)對(duì)算法進(jìn)行評(píng)價(jià)，分別是方差[15]、空間頻率[16]、信息熵[17]、邊緣強(qiáng)度、平均梯度[18]、基于視覺信息保真度的指標(biāo)[19]，比較結(jié)果如表 1 所示(加粗字體為最佳結(jié)果)。

方差反映圖像細(xì)節(jié)信息的豐富程度；空間頻率反映圖像的清晰度；信息熵反映圖像中平均信息量的多少；邊緣強(qiáng)度反映圖像的邊緣強(qiáng)度；平均梯度反映圖像中的微小細(xì)節(jié)反差和紋理變化特征；信息保真度是基于視覺信息保真度提出的衡量融合圖像質(zhì)量的指標(biāo)。所選的6個(gè)客觀指標(biāo)均為正項(xiàng)指標(biāo)，其值越大表明融合效果越好。

從表1可以看出，在3種器件試驗(yàn)中，文章方法的方差，信息熵和信息保真度指標(biāo)僅總體高于其他算法的，表明該方法在信息量的傳遞方面稍有欠缺；空間頻率、邊緣強(qiáng)度和平均梯度指標(biāo)均優(yōu)于其他算法的，說明該方法保護(hù)邊緣的能力遠(yuǎn)高于其他算法的，對(duì)圖像微小細(xì)節(jié)的描述能力良好，清晰度與其他算法相比也有很大提升。結(jié)論與主觀評(píng)價(jià)一致，說明了該算法有明顯的優(yōu)越性。

表1 3種器件DR圖像融合結(jié)果的客觀指標(biāo)比較

4 結(jié)語(yǔ)

提出了一種基于GF-WLS和VSM的多能量X射線圖像融合方法，用兩種濾波方法提取圖像細(xì)節(jié)。在融合規(guī)則上，采用了相位一致性和像素對(duì)比度構(gòu)造權(quán)重圖。將所提方法與 5種代表性算法進(jìn)行比較。主觀視覺和客觀數(shù)值比較結(jié)果表明，所提算法較好地保留了兩張圖像的細(xì)節(jié)，且在擁有良好融合效果的同時(shí)，獲得了很好的增強(qiáng)效果, 在復(fù)雜結(jié)構(gòu)件的多能量X射線圖像融合中表現(xiàn)優(yōu)越。