采用改進(jìn)平均梯度與自適應(yīng)PCNN的圖像融合

張 蕾

(鄭州工程技術(shù)學(xué)院 河南 鄭州 450044)

0 引 言

根據(jù)相機(jī)光學(xué)成像的原理可知，鏡頭受到有限景深的制約，距離鏡頭焦點(diǎn)較近的區(qū)域成像更加清晰，而距離鏡頭焦點(diǎn)較遠(yuǎn)的區(qū)域則相對模糊，所以在使用單一成像傳感器采集圖像時(shí)，不能使處于不同景深的目標(biāo)都達(dá)到高質(zhì)量的成像效果[1-2]。然而在衛(wèi)星遙感遙測、醫(yī)學(xué)成像分析、高品質(zhì)印刷、軍事探測、目標(biāo)識別跟蹤等特殊領(lǐng)域，需要得到更加清晰的圖像[3-5]。圖像融合是解決該問題的有效途徑，通過多個(gè)傳感器采集同一場景內(nèi)的不同目標(biāo)，得到不同景深目標(biāo)的清晰成像，再借助不同的算法將多幅圖像中的有效信息進(jìn)行互補(bǔ)結(jié)合，融合成一幅高清晰度的全聚焦圖像，提升人或計(jì)算機(jī)對圖像刻畫和理解的準(zhǔn)確性。

由于多尺度變換能夠把圖像分解成具有不同互補(bǔ)(信息)特征屬性的子圖，也容易被計(jì)算機(jī)運(yùn)算和處理。其中小波變換是多尺度變換的代表，具有多分辨分析的特點(diǎn)，能夠較好地提取一維信號的局部特征。文獻(xiàn)[6]提出了離散小波變換(DWT)算法，并將其用于多模態(tài)醫(yī)學(xué)圖像融合中，取得了一定的效果，但是圖像屬于二維信號，只能獲得有限方向的信息，在描述線狀奇異性方面表現(xiàn)出了局限性，對圖像的邊緣輪廓等高維信息表征能力較弱。文獻(xiàn)[7]提出了一種快速離散Curvelet變換，在對聚焦圖進(jìn)行融合的效果也得到了提升，但 Curvelet變換的實(shí)現(xiàn)過于復(fù)雜。文獻(xiàn)[8]將Contourlet變換應(yīng)用到多聚焦圖像的融合中，得到了邊緣細(xì)節(jié)處清晰的圖像，但Contourlet變換卻引入了偽吉布斯現(xiàn)象。文獻(xiàn)[9]使用雙樹復(fù)小波變換(DTCWT)和稀疏表示實(shí)現(xiàn)對圖像的融合，能有效避免偽吉布斯現(xiàn)象，但依然存在運(yùn)算復(fù)雜和時(shí)效性差的問題。文獻(xiàn)[10]將非下抽樣Contourlet變換(NSCT)應(yīng)用到SAR圖像的融合中，能對圖像中各向異性的邊緣和紋理等信息給出更優(yōu)的表示，但依然存在實(shí)現(xiàn)過程復(fù)雜和處理數(shù)據(jù)大的缺陷。本文將非下抽樣剪切波變換(NSST)應(yīng)用到對多聚焦圖的分解中，并對高低頻分別采取了適合的融合算法，不僅在圖像融合效果上取得了更優(yōu)的表現(xiàn)，運(yùn)算時(shí)效性也得到了明顯的提升。

1 非下抽樣剪切波變換

剪切波變換(Shearlet)屬于多尺度幾何分析方法，也是最優(yōu)的多維函數(shù)稀疏表示方法，目前已被應(yīng)用到圖像處理領(lǐng)域[11]。剪切波變換在實(shí)現(xiàn)過程與輪廓波變換具有類似之處，卻沒有分解方向和尺寸大小的約束。另外，逆變換僅需對剪切濾波器進(jìn)行加和處理即可實(shí)現(xiàn)，具有更快的運(yùn)算效率。

對于?ξ=(ξ1,ξ2)∈R2，其中ξ1≠0。若ψ的傅里葉變換表示為：

(1)

ψ1和ψ2滿足以下兩個(gè)條件：

1) 有ψ1∈L2(R2)，且當(dāng)ξ∈R時(shí)，滿足Calderon容許性條件，即：

(2)

SHψf(a,s,t)=〈f,ψast〉

(3)

(4)

那么可以將{ψast(x):a>0,s∈R,t∈R2}叫作連續(xù)剪切波。其中，所有的矩陣Mas都能分解成1個(gè)剪切矩陣Bs和1個(gè)各向異性伸縮的膨脹矩陣Aa的乘積，表示為：

(5)

故圖像能夠用剪切波變換來重構(gòu)，表達(dá)式如下：

(6)

由于標(biāo)準(zhǔn)的剪切波變換中的濾波器使用的是偽極化網(wǎng)格，通過窗函數(shù)平移進(jìn)行下抽樣操作，雖然能應(yīng)用在各向異性的邊緣及輪廓分析，但缺乏平移不變性，融合效果較差。本文采用的非下抽樣剪切波變換(NSST)是由非下抽樣金字塔變換(Non-Subsample Pyramid,NSP)和剪切濾波器的不同組合，將偽極化網(wǎng)格系統(tǒng)映射到笛卡爾坐標(biāo)中，在空域?qū)D像進(jìn)行剪切波變換，從而使其具有了平移不變性。對源圖像經(jīng)N級NSP分解，可以得到N個(gè)高頻子帶和1個(gè)低頻子帶[12-13]。3級NSST分解過程如圖1所示。

圖1 NSST分解過程

由于在NSST分解與重構(gòu)的過程中，沒有對源圖像進(jìn)行上下抽樣的操作，所以不會(huì)出現(xiàn)頻率混疊的情況，而且高低頻子帶與源圖像大小一致(尺度不同)，能夠更方便地找出各子帶圖像中信息的對應(yīng)關(guān)系。另外，NSST本身具有較強(qiáng)的方向選擇性和平移不變性，可以消除偽影，更為準(zhǔn)確地提取源圖像中有用的細(xì)節(jié)信息，提升融合圖像的主觀視覺。

2 改進(jìn)的融合算法

采用NSST方式對已配準(zhǔn)的源圖像IA和IB進(jìn)行3級分解，獲取1個(gè)低頻子帶和3個(gè)高頻子帶；再采用改進(jìn)平均梯度的策略對低頻子帶進(jìn)行融合，對高頻子帶則采用改進(jìn)的自適應(yīng)PCNN策略進(jìn)行融合；最后對融合后的高低頻子帶進(jìn)行NSST逆變換，重構(gòu)出更清晰的全聚焦圖像。融合過程如圖2所示。

圖2 圖像融合過程

2.1 低頻子帶融合策略

通過NSST變換后得到的低頻子帶攜帶了圖像的整體信息，根據(jù)像素點(diǎn)間具有相關(guān)性的規(guī)律，提出了改進(jìn)的平均梯度融合算法，通過區(qū)域內(nèi)像素點(diǎn)灰度變化情況和平均梯度來選取低頻子帶系數(shù)。

Step1計(jì)算低頻圖像A和圖像B的灰度相關(guān)值FGA(i,j)和FGB(i,j)：

XA(i+m+1,j+n))2+(XA(i+m,j+n)-

(7)

XB(i+m+1,j+n))2+(XB(i+m,j+n)-

(8)

(9)

(10)

根據(jù)實(shí)驗(yàn)可知，令參數(shù)r=5可以較好處理半清晰半模糊區(qū)域。

Step2根據(jù)灰度相關(guān)值FGA(i,j)和FGB(i,j)選取低頻系數(shù)I(i,j)：

(11)

為了驗(yàn)證提出的融合策略比空間頻率具有更好的效果進(jìn)行了測試實(shí)驗(yàn)，C和D表示多聚焦源圖像，Il為使用空間頻率取大的融合策略獲得的結(jié)果，Im為本文提出方法的融合結(jié)果，將兩個(gè)融合結(jié)果與源圖像D分別作差，則SD,m、SD,l分別是得到的差值圖。測試結(jié)果如圖3所示。

圖3 測試結(jié)果

可以看出：差值圖SD,l在人臉面部有較大面積的信息殘留，對源圖像的低頻子帶融合效果不佳。這說明本文提出的方法較空間頻率方法更能表現(xiàn)出灰度的變化情況，較好地保留了圖像的整體信息，從而使融合圖像更加清晰。

2.2 高頻子帶融合策略

高頻子帶對應(yīng)著圖像的邊緣和紋理細(xì)節(jié)等信息，直接關(guān)系到圖像的清晰程度和視覺效果。對于高頻子帶的融合，本文在脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)的基礎(chǔ)上，提出一種改進(jìn)的算法。PCNN由多個(gè)神經(jīng)元相互連接組成(反饋網(wǎng)絡(luò))，每個(gè)神經(jīng)元中又包含了接收域、調(diào)制域和脈沖生成器三個(gè)部分，并與圖像中每個(gè)像素點(diǎn)相對應(yīng)，其輸出有點(diǎn)火和不點(diǎn)火兩種狀態(tài)[14]。改進(jìn)后的單個(gè)神經(jīng)元的模型如圖4所示。

圖4 改進(jìn)后的PCNN神經(jīng)元模型

由于標(biāo)準(zhǔn)的PCNN結(jié)構(gòu)復(fù)雜，控制參數(shù)也較多，本文將其應(yīng)用在對圖像高頻子帶的融合中，對其進(jìn)行了簡化和改進(jìn)，進(jìn)一步提升了處理的效率。假設(shè)圖像中像素點(diǎn)的位置為(i,j)，代表1個(gè)神經(jīng)元，將(i,j)處像素點(diǎn)的灰度值Sij作為神經(jīng)元的輸入刺激信號，若Fij和Lij分別為神經(jīng)元的反饋和連接輸入，那么經(jīng)過n次迭代后，得到點(diǎn)火輸出為Yij。PCNN迭代過程描述：

(12)

式中：αL和αθ表示跟時(shí)間有關(guān)的衰減常數(shù)；VL表示連接輸入的增益；Wij,kl表示(i,j)和(k,l)兩個(gè)神經(jīng)元間的連接權(quán)重；Uij表示內(nèi)部狀態(tài)信號；β表示神經(jīng)元的連接強(qiáng)度；θij和Vθ分別表示動(dòng)態(tài)閾值和閾值的增益。從式(12)可看出，在整個(gè)迭代的過程中，如出現(xiàn)Uij大于θij，那么輸出Yij為1，即神經(jīng)元發(fā)出1個(gè)脈沖(點(diǎn)火)。在n次迭代結(jié)束時(shí)，得到總的點(diǎn)火次數(shù)Tij可表征像素點(diǎn)(i,j)處的信息：

Tij(n)=Tij(n-1)+Yij(n)

(13)

對于整幅圖像來說，每個(gè)神經(jīng)元的輸出就構(gòu)成PCNN的點(diǎn)火矩陣[15]。其實(shí)，在圖像融合的過程中，圖像邊緣和輪廓的信息較單點(diǎn)像素信息更重要，故本文將高頻子帶系數(shù)引入到神經(jīng)元的反饋輸入。

假設(shè)在NSST域中，尺度和方向分別為l和k，那么像素點(diǎn)(i,j)處的空間頻率表示如下：

(Cl,k(u,v)-Cl,k(u,v-1))2]

(14)

式中：Cl,k(u,v)表示在NSST域高頻子帶中對應(yīng)像素點(diǎn)(u,v)的剪切波系數(shù)，能夠表征在空間域像素點(diǎn)(i,j)處相鄰點(diǎn)的邊緣和輪廓等細(xì)節(jié)信息的強(qiáng)度。為了運(yùn)算方便，對空間頻率進(jìn)行歸一化處理，并將其作為神經(jīng)元的反饋輸入。

由于在整個(gè)PCNN中，神經(jīng)元間具有耦合關(guān)系，所以每個(gè)神經(jīng)元的輸出點(diǎn)火次數(shù)都會(huì)影響相鄰的神經(jīng)元輸出，從而促使鄰域中與該空間頻率偏差較小的神經(jīng)元產(chǎn)生點(diǎn)火。根據(jù)PCNN的傳導(dǎo)和同步特性可知，每個(gè)像素點(diǎn)的信息會(huì)傳播到整個(gè)網(wǎng)絡(luò)，而神經(jīng)元的輸入刺激Sij的大小與圖像細(xì)節(jié)信息成正比例關(guān)系，即刺激越大，點(diǎn)火次數(shù)越多。本文依據(jù)整個(gè)PCNN的點(diǎn)火總次數(shù)，自適應(yīng)選取高頻子帶系數(shù)，具體的融合步驟如下：

Step3計(jì)算每次迭代的結(jié)果，利用式(12)和式(13)求出總的點(diǎn)火次數(shù)。

Step4判斷當(dāng)前迭代次數(shù)n，若n小于N，則跳轉(zhuǎn)到Step 3。

Step5當(dāng)n等于N時(shí)，迭代結(jié)束，得到?jīng)Q策矩陣Mlk：

(15)

利用式(15)自適應(yīng)選取融合圖像的高頻子帶系數(shù)，選取策略表示為：

(16)

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的多聚焦圖融合策略的有效性，對經(jīng)過配準(zhǔn)的4組多聚焦圖(尺寸256×256像素)進(jìn)行融合實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境：采用Intel i3 3.1 GHz四核CPU，6 GB內(nèi)存，300 GB固態(tài)硬盤，在Windows 7操作系統(tǒng)下，運(yùn)行MATLAB 2015a，借助工具箱FPDEs進(jìn)行仿真。通過主觀視覺和客觀指標(biāo)對融合性能進(jìn)行分析和評價(jià)，五種客觀評價(jià)指標(biāo)分別為：

1) 互信息MI。表示從源圖像轉(zhuǎn)移到融合圖像中的信息多少，該指標(biāo)越大，融合效果越佳。

2) 信息熵EN。表示圖像中含有的平均信息量，數(shù)值越大，信息越豐富，圖像越清晰。

3) 邊緣信息傳遞因子QAB/F。表征融合圖像對源圖像的結(jié)構(gòu)和邊緣的保持相似度，該指數(shù)越接近1說明融合效果越佳。

4) 空間頻率SF。表征空間域的活躍度，該值越大圖像越清晰。

5) 平均梯度AG。該值越大圖像越清晰。

3.1 不同變換域下相同融合算法比較

為驗(yàn)證NSST變換的優(yōu)越性，分別采用DWT[6]、DTCWT[9]、NSCT[10]和NSST四種不同的變換域?qū)?組經(jīng)過配準(zhǔn)的源圖像進(jìn)行分解，并利用相同的融合算法(低頻取平均，高頻絕對值取大)進(jìn)行融合，得到的融合結(jié)果如圖5所示。

(a) 下聚焦源圖 (b) 上聚焦源圖 (c) DWT

可以看出，雖然采用了相同的融合算法，但在四種不同變換域下的表現(xiàn)卻有所差異。其中：由于DWT的移變性引入了虛假信息，有塊狀模糊區(qū)域，圖像失真較為嚴(yán)重；NSCT和DTCWT結(jié)果中的細(xì)節(jié)得到大幅凸顯，圖像的邊緣和輪廓的銳化明顯，是由于采用了具有平移不變性的變換，其多尺度和多方向的分解使得圖像細(xì)節(jié)信息得以保留，但整體上依然存在模糊的問題；而本文采用的NSST分解方法效果得到了明顯提升，塊狀模糊區(qū)基本消除，邊緣和輪廓等細(xì)節(jié)信息相對分明完整，比較而言主觀視覺效果良好，但也有不足，主要是受到高低頻融合算法的約束，所以融合效果依然有提升的空間。

為了對融合后的圖像進(jìn)行客觀定量的評價(jià)，五種客觀指標(biāo)如表1所示。

表1 不同變換域下相同融合算法的客觀評價(jià)指標(biāo)

可以看出，采用NSST變換域的效果在五種評價(jià)指標(biāo)上均優(yōu)于DWT、DTCWT和NSCT方法，表現(xiàn)出了NSST的完美平移不變性。另外，從融合過程所需的時(shí)間方面來看，采用NSST的融合時(shí)間均小于其他幾種變換域，這是由于NSST引入了快速傅里葉變換，在分解和重構(gòu)的過程中具有更快的運(yùn)算速度，也說明了NSST具有更優(yōu)的時(shí)效性。

3.2 相同變換域下不同融合算法的比較

為了驗(yàn)證本文提出的改進(jìn)算法對多聚焦圖的融合效果，在相同的NSST變換域下，將文獻(xiàn)[12]、文獻(xiàn)[13]、文獻(xiàn)[16]與本文的改進(jìn)算法進(jìn)行比較，實(shí)驗(yàn)對另外一幅細(xì)節(jié)更豐富的多聚焦圖進(jìn)行融合，得到的實(shí)驗(yàn)結(jié)果如圖6所示。

(a) 右聚焦源圖 (b) 左聚焦源圖 (c) 文獻(xiàn)[12]

從融合結(jié)果看出：雖然四種不同的融合算法均采用了相同的NSST變換，均能從多聚焦源圖像中獲取到互補(bǔ)的信息，但融合結(jié)果也有明顯的差異。以圖6中百事可樂瓶外包裝的多聚焦圖像融合為例進(jìn)行分析，文獻(xiàn)[12]的融合結(jié)果中個(gè)別區(qū)域隱約出現(xiàn)了塊狀模糊效應(yīng)，文字重影嚴(yán)重，色澤暗淡，輪廓和細(xì)節(jié)信息有丟失現(xiàn)象；在文獻(xiàn)[13]的結(jié)果中，效果上有所改善，但文字略帶重影，整體上對比度和色澤不夠鮮亮，效果依然不佳；文獻(xiàn)[16]的融合結(jié)果，在融合效果上也得到了明顯的提升，文字的重影現(xiàn)象有所改善，但個(gè)別區(qū)域的細(xì)節(jié)特征信息仍有缺失；本文算法的融合結(jié)果相比上述幾種算法效果更好，圖像整體上看更鮮亮，區(qū)域特征明顯，文字的重影基本消失，圖6(f)右側(cè)條形碼紋理更清晰，對比度適中，主要是由于在NSST變換域的基礎(chǔ)上對融合算法進(jìn)行了改進(jìn)，對低頻采用了改進(jìn)平均梯度的融合策略，對高頻采用了自適應(yīng)PCNN的融合策略，使得融合效果大幅改善，主觀視覺表現(xiàn)更優(yōu)。

同樣，采用五種客觀指標(biāo)對融合后的圖像進(jìn)行定量的客觀評價(jià)，結(jié)果如表2所示。

表2 相同變換域下不同融合算法的客觀評價(jià)指標(biāo)

續(xù)表2

可以看出，本文提出的融合策略在五種客觀指標(biāo)中的表現(xiàn)最優(yōu)，其結(jié)果也與主觀目視效果保持一致，且融合所需時(shí)間最短，充分驗(yàn)證了本文所提方法的優(yōu)越性。

4 結(jié) 語

本文利用了非下抽樣剪切波(NSST)變換具有的完美平移不變性對多聚焦圖進(jìn)行分解，從而得到與源圖像尺寸大小相同的高頻和低頻子帶。對低頻子帶采用了改進(jìn)的平均梯度融合策略，通過區(qū)域內(nèi)像素點(diǎn)灰度變化情況和平均梯度來選取低頻子帶系數(shù)，較好地保留了圖像的整體信息；對高頻子帶則利用了自適應(yīng)PCNN的融合策略，把歸一化的空間頻率引入到神經(jīng)元的反饋輸入，并將整個(gè)PCNN的點(diǎn)火總次數(shù)作為確定高頻子帶的主要依據(jù)，進(jìn)一步提升了對圖像細(xì)節(jié)的刻畫。通過不同變換域相同融合算法和相同變換域不同融合算法的對比實(shí)驗(yàn)表明：本文提出的基于NSST的改進(jìn)融合算法獲得了整體更自然明亮和細(xì)節(jié)紋理更清晰的融合圖像。與幾種對比算法進(jìn)行了比較，在主觀視覺和五種客觀指標(biāo)上均有出色的表現(xiàn)，且具有更優(yōu)的時(shí)效性。