NSCT域內(nèi)結(jié)合相位一致性激勵(lì)PCNN的多聚焦圖像融合

劉 棟,周冬明,聶仁燦,侯瑞超

(云南大學(xué) 信息學(xué)院,昆明 650500)(*通信作者電子郵箱zhoudm@ynu.edu.cn)

0 引言

多聚焦圖像融合是圖像處理領(lǐng)域的一個(gè)重要分支。就目前而言,該技術(shù)已被廣泛應(yīng)用于計(jì)算機(jī)視覺、目標(biāo)識(shí)別和人工智能等多個(gè)領(lǐng)域。在使用光學(xué)鏡頭拍攝照片時(shí),受到光學(xué)鏡頭聚焦能力的限制,大多數(shù)關(guān)于同一場景的圖片會(huì)出現(xiàn)不同的焦點(diǎn),這就導(dǎo)致圖片的某些清晰的、細(xì)節(jié)的信息只能出現(xiàn)在聚焦的區(qū)域中,而非聚焦區(qū)域的圖像信息是不易被人眼直接觀測到的[1]。因此,多聚焦圖像融合技術(shù)的關(guān)鍵在于準(zhǔn)確提取多聚焦源圖像中的有用信息,來獲得一張精度更高、更加清晰、更利于人眼觀察的圖片。

多聚焦圖像融合技術(shù)有效地消除了現(xiàn)代光學(xué)鏡頭景深有限的缺陷,提高了圖像的精度,并能夠消除圖像像素間的冗余信息。目前,在該領(lǐng)域使用較多的方法是基于多尺度變換的圖像融合方法,如基于金字塔變換[2]、離散小波變換[3]、基于非下采樣輪廓波變換(Non-Subsampled Contourlet Transform, NSCT)[4]和非下采樣剪切波變換(Non-Subsampled Shearlet Transform, NSST)[5]的圖像多尺度分解算法。其中,金字塔變換缺乏方向性,離散小波變換也不能有效地反映圖像的曲線與邊緣信息[6],NSCT和NSST又忽略了圖像的空間一致性[7]。為了獲得更好的視覺感知并充分利用圖像空間信息,一些結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network, PCNN)的方法得到廣泛的應(yīng)用,如NSCT-PCNN[8]、NSST-PCNN[9]等,然而這些方法在對(duì)圖像不同區(qū)域的像素進(jìn)行處理時(shí),容易受到噪聲的影響并且不能很好地保留源圖像的一些邊緣與細(xì)節(jié)結(jié)構(gòu)信息。

針對(duì)上述的一些算法缺陷,本文提出了一種在NSCT域內(nèi)通過計(jì)算空間頻率(Spatial Frequency, SF)和相位一致性(Phase Congruency, PC)來驅(qū)動(dòng)PCNN神經(jīng)元進(jìn)行多聚焦圖像融合的算法。相位一致性作為圖像的一種特征,其值不會(huì)因?yàn)閳D像的亮度、對(duì)比度和光照強(qiáng)度的變化而受到影響,這一特點(diǎn)符合人類視覺特性。有研究表明,人類眼睛感覺到的圖像特征往往位于PC值高的點(diǎn)處[10],同時(shí),相位一致性對(duì)噪聲有較強(qiáng)的魯棒性,可以減少噪聲和平滑圖像,而且在同一階段的圖像特征中包含許多頻率成分,如邊緣狀和角狀特征。空間頻率作為圖像的梯度特征,它反映了一幅圖像的總體活躍程度,圖像空間頻率特征的值越大,表明圖像越活躍、越清晰[11]。因此,本文提出的根據(jù)圖像高低頻特性來分別計(jì)算其SF和PC值的融合規(guī)則能夠很好地對(duì)源圖像的聚焦區(qū)域進(jìn)行高精度的提取,有效地避免了融合圖像中目標(biāo)邊緣及細(xì)節(jié)信息缺失的現(xiàn)象,達(dá)到了一個(gè)較好的融合效果。

1 簡化PCNN模型

為了簡化計(jì)算過程,一種簡化的脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(Simplified PCNN, S-PCNN)[12]被用于本文方法中。與傳統(tǒng)PCNN模型相同,S-PCNN模型由接收域(receptive field)、調(diào)制域(modulation field)和脈沖發(fā)生器(pulse generator)三部分組成,如圖1所示,在S-PCNN模型中,每一個(gè)神經(jīng)元都唯一對(duì)應(yīng)著一個(gè)圖像像素點(diǎn)。S-PCNN的數(shù)學(xué)模型可由式(1)～(5)來表示:

Fij(n)=Sij

(1)

(2)

Uij(n)=Fij(n)(1+βLij(n))

(3)

θij(n)=exp(-αθ)θij(n-1)+VθYij(n-1)

(4)

(5)

其中:i和j表示神經(jīng)元(或圖像像素點(diǎn))的位置。神經(jīng)元(i,j)在接收域中接收到來自其鄰域神經(jīng)元(k,l)的輸入脈沖,并通過反饋通道Lij進(jìn)行傳輸,該通道的衰減幅度為VL,相鄰的神經(jīng)元之間以突觸鏈接權(quán)Wijkl相鏈接,輸入通道Fij僅與外部激勵(lì)Sij有關(guān);在調(diào)制域中,通過雙通道的內(nèi)部調(diào)制得到神經(jīng)元的內(nèi)部狀態(tài)Uij,其鏈接強(qiáng)度為β;在脈沖發(fā)生器中,當(dāng)Uij的值大于閾值θij時(shí),觸發(fā)神經(jīng)元點(diǎn)火產(chǎn)生脈沖,然后閾值會(huì)以指數(shù)方式進(jìn)行衰減,αθ為其衰減指數(shù),Yij為輸出脈沖?；赑CNN的圖像融合算法步驟[13]如下:

1)當(dāng)Uij>θij時(shí),觸發(fā)PCNN神經(jīng)元點(diǎn)火,此時(shí),Yij=1;

2)一旦位于(i,j)處的神經(jīng)元點(diǎn)火成功,閾值θij的值會(huì)立即增大,然后隨著時(shí)間的流逝呈現(xiàn)指數(shù)級(jí)的衰減;

3)當(dāng)Uij≤θij時(shí),神經(jīng)元停止點(diǎn)火,同時(shí),在神經(jīng)元點(diǎn)火過程中會(huì)產(chǎn)生一個(gè)脈沖序列信號(hào);

4)由于PCNN中每個(gè)神經(jīng)元都與其周圍相鄰的神經(jīng)元相互聯(lián)系,因此一個(gè)已被點(diǎn)火的神經(jīng)元會(huì)驅(qū)動(dòng)其相鄰的神經(jīng)元進(jìn)行點(diǎn)火。

這樣一來,當(dāng)PCNN中的神經(jīng)元被其相鄰的神經(jīng)元觸發(fā)點(diǎn)火,整個(gè)神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元將會(huì)處于激活狀態(tài),來進(jìn)行圖像融合的處理。

圖1 S-PCNN 模型Fig. 1 S-PCNN model

2 圖像多尺度分解

近年來,利用NSCT對(duì)圖像進(jìn)行多尺度分解,在圖像融合領(lǐng)域的優(yōu)越性已被國內(nèi)外許多學(xué)者的研究證明。NSCT作為一個(gè)由輪廓波變換(Contourlet Transform, CT)改進(jìn)而來的二維圖像處理工具,其中包含了非下采樣金字塔濾波器(Non-Subsampled Pyramid, NSP)和非下采樣方向?yàn)V波器(Non-Subsampled Directional Filter Bank, NSDFB),如圖2所示。與傳統(tǒng)的輪廓波變換相比,經(jīng)NSCT得到的融合圖像能夠避免不必要的失真,并且能獲得更好的頻率選擇性、規(guī)律性和位移不變性。其中:NSP是一個(gè)雙通道濾波器組,NSDFB是一個(gè)扇形濾波器組,源圖像經(jīng)過這兩個(gè)濾波器組,將被分解為與源圖像同大小的低頻子帶圖(低頻系數(shù))和帶通子帶圖(高頻系數(shù))[14],源圖像中有效信息的近似分量和大量的細(xì)節(jié)與結(jié)構(gòu)特征分量信息分別包含在低頻和高頻子帶中。

圖2 基于NSCT的圖像多尺度分解框架Fig. 2 Decomposition framework of NSCT

因此,不同的融合規(guī)則將分別應(yīng)用于低頻系數(shù)和高頻系數(shù)的融合,最后通過逆NSCT對(duì)融合后的低頻系數(shù)和高頻系數(shù)進(jìn)行處理,以得到一幅包含兩幅源圖像有效信息并且所有對(duì)象都清晰的融合圖像。

3 融合規(guī)則

3.1 高頻系數(shù)融合規(guī)則

圖像空間頻率是與圖像梯度值相關(guān)的一種圖像特征,它反映了圖像的活躍程度[15],其值越大,圖像越清晰;反之圖像越模糊。本文將計(jì)算高頻子帶的空間頻率值,作為PCNN的外部激勵(lì)輸入,以獲得PCNN神經(jīng)元點(diǎn)火脈沖序列,對(duì)高頻子帶進(jìn)行融合,其值可由圖像行頻率(Row Frequency, RF)與列頻率(Column Frequency, CF)計(jì)算而來:

(6)

(7)

(8)

圖3 本文算法框架Fig. 3 Framework of the proposed image fusion algorithm

3.2 低頻系數(shù)融合規(guī)則

圖像相位一致性是圖像低水平的不變形屬性,同時(shí),相位一致性特征還為相位校準(zhǔn)模式的協(xié)議提供了一種量化方法[16]。Oppenheim等[17]通過大量實(shí)驗(yàn)已經(jīng)證明圖像的許多重要特征在相位圖中可以明確地被識(shí)別出來,然而這些特征卻不能在頻譜圖中被很好地識(shí)別,由此還發(fā)現(xiàn)圖像傅里葉相位包含了關(guān)于圖像結(jié)構(gòu)和特征的重要信息。Kovesi等[18]指出,圖像的特征往往出現(xiàn)在圖像相位一致性值最大的點(diǎn)處,同時(shí),考慮到圖像相位一致性特征對(duì)圖像像素強(qiáng)度映射和光照對(duì)比度變化具有不變性,本文將圖像PC值作為PCNN的外部激勵(lì)輸入以進(jìn)行圖像低頻系數(shù)的融合,Kovesi[19-20]提出了一種改進(jìn)的相位一致性計(jì)算方法來避免可能出現(xiàn)的缺點(diǎn):

(9)

其中：

(10)

(11)

Wo(x)是濾波響應(yīng)權(quán)重函數(shù);N是涉及到的總的尺度數(shù)；Amax(x)是濾波器組在點(diǎn)x處響應(yīng)的最大幅度值；Ano(x)為尺度n處的振幅，當(dāng)符號(hào)“?」”中的值為正時(shí),其結(jié)果等于自己本身,否則結(jié)果為0;ε是一個(gè)極小的常數(shù),用于避免分母為零的情況;To是對(duì)噪聲響應(yīng)的估計(jì)。相位偏差值表示為:

(12)

在這個(gè)改進(jìn)的相位一致性模型中,Kovesi[20]利用了log Gabor函數(shù)來計(jì)算一幅圖像的相位一致性值[21],與傳統(tǒng)的Gabor函數(shù)不同,log Gabor函數(shù)在對(duì)數(shù)頻率尺度上是一個(gè)高斯函數(shù),因此log Gabor函數(shù)在對(duì)數(shù)頻率尺度上是對(duì)稱的,并且它在構(gòu)造出任意大帶寬濾波器的同時(shí),能夠始終保持在偶對(duì)稱濾波器中有一個(gè)零直流分量,這是Gabor函數(shù)不具備的功能,此外,log Gabor函數(shù)符合人類視覺系統(tǒng)在對(duì)數(shù)頻率尺度下細(xì)胞反應(yīng)對(duì)稱的特性[22]。由文獻(xiàn)[23]可知,log Gabor函數(shù)的一維數(shù)學(xué)表達(dá)式為:

(13)

其中：ω0為中心頻率；β/ω0根據(jù)不同的ω0值取不同的常數(shù)以獲得不同頻程帶寬。

4 本文算法

SF-PCNN與PC-PCNN分別作為高頻系數(shù)與低頻系數(shù)的融合規(guī)則來驅(qū)動(dòng)PCNN神經(jīng)元,利用PCNN神經(jīng)元點(diǎn)火后閾值自動(dòng)設(shè)置的特性來激活整個(gè)神經(jīng)網(wǎng)絡(luò)以進(jìn)行多聚焦圖像融合。本文算法中,分別計(jì)算兩幅源圖像分解后同一位置處像素點(diǎn)的高頻分量的SF值與低頻分量的PC值,選取值較大的點(diǎn)作為PCNN外部激勵(lì)以獲得融合后的低頻和高頻圖像,即:

(14)

(15)

其中:上標(biāo)1和2分別表示源圖像1和2的高低頻分量。本文算法結(jié)構(gòu)如圖3所示。

5 實(shí)驗(yàn)結(jié)果與分析

表1 對(duì)比實(shí)驗(yàn)結(jié)果客觀評(píng)價(jià)指標(biāo)Table.1 Performance comparison of different fusion algorithms

圖4 多聚焦圖像融合實(shí)驗(yàn)源圖像Fig. 4 Three couples of multi-focus fusion source images

圖5 Clock融合對(duì)比實(shí)驗(yàn)結(jié)果Fig. 5 Experimental result of Clock fusion

圖6 Pepsi融合對(duì)比實(shí)驗(yàn)結(jié)果Fig. 6 Experimental result of Pepsi fusion

實(shí)驗(yàn)環(huán)境為:Windows 10,Intel Corel CPU 3.00 GHz,RAM 4 GB, Matlab R2016a。

在表1所示的客觀評(píng)價(jià)指標(biāo)數(shù)值中,本文算法的各項(xiàng)指標(biāo)幾乎全部大于4種基于多尺度變換的經(jīng)典算法,與近年來的新算法相比,3組多聚焦實(shí)驗(yàn)數(shù)據(jù)共15個(gè)測試結(jié)果中,近一半的數(shù)據(jù)結(jié)果是優(yōu)于這3種算法的,其余結(jié)果與最大值相接近(如Lab數(shù)據(jù)集的QAB/F指標(biāo):最大值為0.75,本文算法的值為0.73,差值僅為0.02)。同時(shí),如圖8～13的差值圖的方框所示,可以清楚發(fā)現(xiàn)對(duì)比算法的差值圖中所包含的源圖像的清晰區(qū)域的痕跡較多;特別地,實(shí)驗(yàn)數(shù)據(jù)Lab的左右聚焦區(qū)域細(xì)節(jié)信息相差較大,當(dāng)對(duì)Lab的左聚焦區(qū)域(時(shí)鐘)進(jìn)行提取融合后,各算法的融合效果相差無幾,如圖12所示;當(dāng)對(duì)右聚焦區(qū)域(人物)進(jìn)行提取融合后,可以清楚發(fā)現(xiàn)所提算法對(duì)人物細(xì)節(jié)信息的提取要明顯優(yōu)于其余7種對(duì)比算法,如圖13所示。

圖7 Lab融合對(duì)比實(shí)驗(yàn)結(jié)果Fig. 7 Experimental result of Lab fusion

圖8 Clock融合結(jié)果與Clock1的差值圖Fig. 8 Difference maps between Fig.5 and Clock1

圖9 Clock融合結(jié)果與Clock2的差值圖Fig. 9 Difference maps between Fig.5 and Clock2

圖10 Pepsi融合結(jié)果與Pepsi1的值圖Fig. 10 Difference maps between Fig.6 and Pepsi1

圖11 Pepsi融合結(jié)果與Pepsi2的值圖Fig. 11 Difference maps between Fig.6 and Pepsi2

圖12 Lab融合結(jié)果與Lab1的值圖Fig. 12 Difference maps between Fig.7 and Lab1

圖13 Lab融合結(jié)果與Lab2的值圖Fig. 13 Difference maps between Fig.7 and Lab2

6 結(jié)語

綜合相位一致性對(duì)圖像亮度、對(duì)比度具有不變性,以及空間頻率對(duì)圖像梯度信息的表達(dá),利用脈沖耦合神經(jīng)網(wǎng)絡(luò)的生物學(xué)特點(diǎn)以及人眼的視覺特性,提出了一種NSCT域內(nèi)結(jié)合相位一致性與空間頻率激勵(lì)PCNN的多聚焦圖像融合算法。首先對(duì)多聚焦圖像進(jìn)行多尺度分解,根據(jù)圖像高低頻系數(shù)的特點(diǎn),分別選取SF和PC結(jié)合PCNN作為圖像高低頻系數(shù)的融合準(zhǔn)則,最后通過逆NSCT算法,重構(gòu)得到一幅所有物體都清晰的融合圖像。實(shí)驗(yàn)測得的客觀評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)差值圖充分表明所提算法能夠?qū)⒃磮D像的聚焦區(qū)域更加完整的、更有效地提取到融合圖像中,其融合效果明顯優(yōu)于其余對(duì)比算法,這意味著本文算法在多聚焦圖像融合方面具有一定的優(yōu)越性。