結(jié)合PCNN和局部能量的NSST域聲吶圖像融合

曾志勇,劉光宇,曹 禹,趙恩銘,邢傳璽

(1.大理大學(xué) 工程學(xué)院,云南 大理 671003;2.哈爾濱工程大學(xué) 物理與光電工程學(xué)院,黑龍江 哈爾濱 150001;3.云南民族大學(xué) 電氣信息工程學(xué)院,云南 昆明 650031)

水聲技術(shù)作為水下信息探測(cè)、定位和通信的有效手段,已廣泛應(yīng)用于海洋探測(cè)與開發(fā)領(lǐng)域。其中,成像聲吶以直觀的信息獲取方式成為水下聲探測(cè)技術(shù)的研究熱點(diǎn)之一。由于受水溫、水深、風(fēng)速、海洋內(nèi)部的不均勻性、海底地形的不規(guī)則性以及成像設(shè)備性能等諸多因素的影響,所獲取的各幅聲吶圖像通常存在局部特征模糊和局部邊緣丟失的現(xiàn)象,導(dǎo)致圖像信息缺失,制約了利用圖像信息進(jìn)行水下目標(biāo)探測(cè)與識(shí)別作業(yè)。圖像融合技術(shù)可以將多幅聲吶圖像的顯著特征進(jìn)行互補(bǔ),得到更加準(zhǔn)確和完整的目標(biāo)圖像,為后續(xù)聲吶圖像目標(biāo)識(shí)別和目標(biāo)跟蹤等提供重要保障。

根據(jù)對(duì)圖像表述層面的不同,可將圖像融合方法分為特征級(jí)、決策級(jí)和像素級(jí)融合法[1]。其中,像素級(jí)融合法因其可以保留更多的源圖像細(xì)節(jié)信息,在圖像融合領(lǐng)域中得到廣泛應(yīng)用。根據(jù)處理方式的差異,可將其進(jìn)一步分為空間域融合法和變換域融合法[2]。由于空間域融合法采用較簡(jiǎn)單的疊加規(guī)則對(duì)源圖像進(jìn)行融合處理,雖然運(yùn)算速率快,但卻無法突顯源圖像的優(yōu)勢(shì)信息,降低圖像的融合質(zhì)量。

變換域融合法利用相關(guān)數(shù)學(xué)變換將圖像從空間域轉(zhuǎn)換到變換域,對(duì)不同頻率的信號(hào)進(jìn)行相應(yīng)處理,具有更好的細(xì)節(jié)描述能力。1985年,Burt P等人首次利用拉普拉斯金字塔對(duì)多焦點(diǎn)圖像進(jìn)行分解和重構(gòu),并且以最大選擇規(guī)則獲得融合圖像[3];2006年,陽凡林等人根據(jù)多波束聲吶和側(cè)掃聲吶特點(diǎn)的不同,采用二進(jìn)小波方法對(duì)兩者的回波圖像進(jìn)行融合,得到了特征信息更為豐富的聲吶圖像[4];2013年,趙建虎等人對(duì)多波束與側(cè)掃聲吶圖像的區(qū)塊信息融合方法進(jìn)行了研究,驗(yàn)證了拉普拉斯金字塔法和小波變換法在聲吶圖像融合中的有效性[5];同年,Zhang等人在小波變換框架上實(shí)現(xiàn)多聚焦圖像的融合[6];2015年,王達(dá)等人根據(jù)水下聲圖像的特點(diǎn),構(gòu)建局部鄰域的顯著性量測(cè)和匹配性量測(cè),提出了一種基于梯度金字塔的圖像融合方法,使融合后的聲吶圖像更符合視覺要求[7];2016年,Bhateja等人提出了一種輪廓波域醫(yī)學(xué)圖像融合方法,該方法使用非線性增強(qiáng)函數(shù)和改進(jìn)的主成分分析算法對(duì)輪廓波變換后的高低頻系數(shù)進(jìn)行處理,將相位一致性融合規(guī)則應(yīng)用在低頻系數(shù)中,將定向?qū)Ρ榷群蜌w一化香農(nóng)熵應(yīng)用在高頻系數(shù)中,最后實(shí)現(xiàn)醫(yī)學(xué)圖像的融合[8];2017年,張健等人對(duì)前視聲吶圖像的融合方法展開研究,提出了一種非下采樣輪廓波域圖像融合方法,該方法采用Gabor能量和區(qū)域一致性校驗(yàn)準(zhǔn)則對(duì)非下采樣輪廓波變換的子帶進(jìn)行處理,通過非下采樣輪廓波逆變換得到清晰度較高的前視聲吶融合圖像[9]。

與輪廓波變換一樣,剪切波變換也可以高質(zhì)量地獲得圖像的多尺度和多方向表示,并且由于剪切波變換將定向?yàn)V波器替換為剪切濾波器,因此,相比輪廓波變換,剪切波變換對(duì)分向數(shù)量的獲取沒有了限制,使計(jì)算效率得到了提高[10]。2017年,Miao等人將剪切波變換應(yīng)用在遙感圖像融合中,并且利用遺傳算法對(duì)融合規(guī)則中的加權(quán)因子進(jìn)行了優(yōu)化,可得到融合質(zhì)量較好的遙感圖像[11]。2021年,Diwakar等人提出了一種非下采樣剪切波域融合方法,避免了圖像處理中的下采樣操作,促進(jìn)了變換域融合方法的發(fā)展[12]。

在此基礎(chǔ)上,本文以非下采樣剪切波變換為基本框架,根據(jù)聲吶圖像的特點(diǎn),結(jié)合參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和改進(jìn)的局部能量融合規(guī)則,提出一種聲吶圖像融合方法。利用該方法實(shí)現(xiàn)聲吶圖像的信息互補(bǔ),使融合后的圖像可以更加準(zhǔn)確、可靠和全面地描述一個(gè)場(chǎng)景或事物。

1 基本理論

1.1 非下采樣剪切波變換

剪切波是合成小波的一個(gè)特例,合成小波是Guo等人利用經(jīng)典仿射系統(tǒng)構(gòu)建的數(shù)學(xué)模型[13]。當(dāng)維數(shù)n=2,ψ∈L2(R2)時(shí),仿射系統(tǒng)可描述為

AAB(ψ)={ψj,k,l(x)=

(1)

L2為平方可積的函數(shù)空間,當(dāng)AAB(ψ)滿足Parseval框架,即

(2)

(3)

(4)

(5)

其次,在方向局部化構(gòu)成中需要定義偽極向坐標(biāo)(u,v),即

(6)

(7)

式中:V為剪切波的多尺度剖分窗函數(shù);W為剪切波的方向局部剖分窗函數(shù)。通過式(7)可知,不同方向的剪切波系數(shù)可由窗函數(shù)W進(jìn)行簡(jiǎn)單平移獲得。離散剪切變換示意圖見圖1。

圖1 離散剪切波變換示意圖

在剪切波變換(shearlet transform,ST)基礎(chǔ)上,非下采樣剪切波變換(non-subsampled shearlet transform,NSST)利用非下采樣金字塔濾波器(non-subsampled pyramid filter,NSPF)進(jìn)行多尺度剖分,將剪切濾波器(shearing filter,SF)從偽極坐標(biāo)系映射到笛卡爾坐標(biāo)系進(jìn)行方向局部化。NSST繼承了ST的優(yōu)點(diǎn),又解決了ST的下采樣操作,緩解頻譜混疊現(xiàn)象。NSST變換后得到的一系列子帶圖像的大小與原始圖像相同,其變換過程如圖2所示。

圖2 NSST變換示意圖

根據(jù)圖2,NSST具體變換過程可總結(jié)為以下3步:

1)利用NSPF對(duì)輸入圖像進(jìn)行分解,得到一個(gè)高頻子帶圖像和一個(gè)低頻子帶圖像;

2) 利用映射到笛卡爾坐標(biāo)系的SF對(duì)高頻子帶圖像進(jìn)行方向局部化,得到方向子帶;

3)將獲取的方向子帶進(jìn)行Fourier逆變換,得到NSST系數(shù)。

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse-coupled neural networks, PCNN)[14]是一種具有生物學(xué)特性的神經(jīng)元模型,被稱為第3代人工神經(jīng)網(wǎng)絡(luò)。PCNN具有無需學(xué)習(xí)和訓(xùn)練等優(yōu)點(diǎn),但其存在模型復(fù)雜、參數(shù)設(shè)置的主觀隨意性較強(qiáng)等問題。為此,學(xué)者們對(duì)其進(jìn)行了改進(jìn),文獻(xiàn)[15]構(gòu)建了一種可以自動(dòng)設(shè)置參數(shù)的簡(jiǎn)化PCNN模型,文獻(xiàn)[16]將其應(yīng)用在醫(yī)學(xué)圖像融合中,并根據(jù)參數(shù)設(shè)置特點(diǎn),將其命名為PAPCNN (parameter adaptive PCNN),其模型如圖3所示。

圖3 PAPCNN模型

PAPCNN模型可通過以下數(shù)學(xué)表達(dá)式進(jìn)行描述,

(8)

式中:F為反饋輸入;Sij為輸入圖像;L為鏈接輸入;U為內(nèi)部活動(dòng)項(xiàng);Y為輸出;θ為閾值;αθ和Vθ分別是指數(shù)衰減系數(shù)和θij(n)的幅值;Wijkl為耦合鏈接域的權(quán)值矩陣,

(9)

在神經(jīng)元迭代過程中,Fij(n)是固定的,Lij(n)通過矩陣Wij與鄰域神經(jīng)元相關(guān)聯(lián)。參數(shù)VL是鏈接輸入的幅度。內(nèi)部活動(dòng)項(xiàng)Uij(n)包括e-αFUij(n-1)和Fij(n)(1+βLij(n)) 2項(xiàng)。Yij(n)=1和Yij(n)=0是輸出Yij(n)的2個(gè)狀態(tài),當(dāng)Uij(n)>θij(n)時(shí),Yij(n)=1,神經(jīng)元處于點(diǎn)火狀態(tài),否則Yij(n)=0,處于未點(diǎn)火狀態(tài)。

αF=log(1/σ(S))

(10)

(11)

Vθ=e-αθ+1+6λ

(12)

(13)

式中:σ(S)為輸入圖像S的標(biāo)準(zhǔn)差,其范圍在[0,1]區(qū)間內(nèi);S′和Smax分別表示輸入圖像的Otsu閾值和最大的強(qiáng)度值。

1.3 改進(jìn)的局部能量融合規(guī)則

傳統(tǒng)局部能量融合規(guī)則在圖像處理領(lǐng)域中具有廣泛的應(yīng)用,但由于其未能充分考慮圖像的固有屬性,影響了圖像的質(zhì)量。本文利用Tan等人提出的加權(quán)公式[17]對(duì)傳統(tǒng)局部能量融合規(guī)則進(jìn)行改進(jìn),將其應(yīng)用在圖像局部能量的判別中,提出一種改進(jìn)的局部能量融合規(guī)則,具體步驟如下。

1) 分別計(jì)算低頻子帶LA和LB的局部能量,

[LA(i+m,j+n)]2

(14)

[LB(i+m,j+n)]2

(15)

式(14)和式(15)中的W(m,n)為區(qū)域窗口,其大小為(2M+1)×(2N+1)。

2)計(jì)算低頻局部能量的屬性值PA和PB,

PA=α×μA

(16)

PB=α×μB

(17)

式(16)和式(17)中的α為調(diào)制參數(shù),μA、μB分別為低頻局部能量EA(i,j)和EB(i,j)的平均值。

3)計(jì)算指數(shù)算子RA(x,y)和RB(x,y),

RA(x,y)=exp(β|LA(x,y)-PA|)

(18)

RB(x,y)=exp(β|LB(x,y)-PB|)

(19)

式(18)和式(19)中的β為調(diào)制參數(shù),LA(x,y)和LB(x,y)分別為源圖像A和B的低頻子帶。

4)通過式(20)的加權(quán)公式可得到融合后的低頻系數(shù)LF(x,y),

LF(x,y)=

(20)

1.4 圖像融合評(píng)價(jià)指標(biāo)

主觀評(píng)價(jià)和客觀評(píng)價(jià)對(duì)圖像融合質(zhì)量的判斷都具有重要意義。一種優(yōu)秀的融合算法應(yīng)該充分保留源圖像中目標(biāo)物體的邊緣信息和特征信息,并且在直觀視覺效果上符合人類的視覺感官機(jī)制。因此,選擇邊緣保持度(edge retention,QAB/F[18]、特征互信息(feature mutual imformation,FMI)[19]和信息保真度準(zhǔn)則(information fidelity criterion,IFC)[20]作為本文融合算法的客觀評(píng)價(jià)標(biāo)準(zhǔn)。

1) 邊緣保持度(QAB/F)是反映融合圖像保留源圖像邊緣信息的一個(gè)指標(biāo),該指標(biāo)以源圖像中的邊緣信息應(yīng)該保留在融合圖像中為假設(shè),可定義為

QAB/F=

(21)

2) 特征互信息(FMI)是對(duì)源圖像傳輸?shù)饺诤蠄D像的特征信息進(jìn)行測(cè)量的一個(gè)指標(biāo),因此,用該指標(biāo)判斷融合后圖像的質(zhì)量是合理的。FMI(式中簡(jiǎn)記IFMI)的定義為

IFMI=MA′,F′+MB′,F′

(22)

式中:M是單幅源圖像與融合圖像的特征度量函數(shù);A′和B′為兩幅源圖像的特征圖;F′為融合圖像的特征圖。FMI值越大,表明從源圖像傳輸?shù)饺诤蠄D像中的特征信息越多。

3) 信息保真度準(zhǔn)則(IFC)是一種基于信息論基礎(chǔ)的圖像融合指標(biāo),其利用自然場(chǎng)景統(tǒng)計(jì)模型計(jì)算信息保真度。該指標(biāo)拓展了圖像與人眼之間的聯(lián)系,通過衡量融合圖像和源圖像之間的共同信息量來評(píng)價(jià)圖像質(zhì)量,IFC越大,融合圖像的質(zhì)量越好,IFC(式中簡(jiǎn)記CIFC)的計(jì)算公式為

(23)

式中,subbands為小波分解的子帶范圍,

(24)

式中:h(X)為連續(xù)隨機(jī)變量X的微分熵,X分布為N(μ,σ2),h(X)=1/2log22πeσ2;C為參考圖像的小波系數(shù);D為測(cè)試圖像的小波系數(shù);S為小波分解的子帶;CN,DN和SN分別表示C、D和S相應(yīng)的N個(gè)元素。

2 融合實(shí)驗(yàn)結(jié)果與分析

聲吶圖像融合過程如圖4所示,具體步驟如下。

1)利用NSST將源圖像A和源圖像B分解為高低頻系數(shù),高頻系數(shù)包含圖像豐富的邊緣信息,低頻系數(shù)為圖像的主要能量。

2)采用PAPCNN對(duì)兩幅源圖像的高頻系數(shù)進(jìn)行融合。PAPCNN通過接收外部刺激與內(nèi)部刺激使神經(jīng)元產(chǎn)生內(nèi)部活動(dòng)并進(jìn)行閾值比較,對(duì)每幅源圖像中有用的邊緣信息進(jìn)行整合和處理,使融合后圖像的邊緣信息得到有效補(bǔ)充。

3)將改進(jìn)后的局部能量融合規(guī)則應(yīng)用在低頻系數(shù)的融合中。通過計(jì)算低頻系數(shù)中的局部能量并通過加權(quán)公式對(duì)低頻信息進(jìn)行選取,考慮了圖像的固有屬性,使融合后圖像的低頻能量和特征得到有效恢復(fù)。

4) 利用NSST逆變換實(shí)現(xiàn)聲吶圖像高低頻系數(shù)的重構(gòu),得到融合后的圖像。

圖4 聲吶圖像融合流程圖

實(shí)驗(yàn)1采用一種基于KAZE算法的配準(zhǔn)方法[21]對(duì)圖5(a)和圖5(b) 2幅具有互補(bǔ)信息的井蓋聲吶圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn),得到圖5(c)和圖5(d) 2幅源圖像。

圖5 原始圖像和源圖像

以小波變換(wavelet transform, WT)、脊波變換(ridgelet transform, RT)、輪廓波變換(contourlet transform, CT)、剪切波變換和非下采樣剪切波變換為基本框架,運(yùn)用常見的絕對(duì)值取大法和平均融合法分別作為高頻系數(shù)和低頻系數(shù)的融合規(guī)則,并與本文所提方法進(jìn)行對(duì)比,得到的實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 井蓋圖像融合結(jié)果

利用WT、RT、CT、ST、NSST和本文方法對(duì)配準(zhǔn)后的井蓋圖像進(jìn)行融合后,可以看出,6種方法都可以對(duì)2幅源圖像的信息進(jìn)行互補(bǔ)。通過圖6(a)的圖像可以發(fā)現(xiàn),WT方法融合后,圖像整體出現(xiàn)了模糊,尤其圖像中的井蓋邊緣更為嚴(yán)重,影響了直觀視覺效果;RT、CT處理后,源圖像中的邊緣特征無法得到完全體現(xiàn);ST和NSST方法處理后,兩幅源圖像連接處的灰度值變化程度大,圖像的直觀融合效果不理想。由于本文方法的低頻分量是根據(jù)圖像局部能量的大小選擇信息,因此,對(duì)于未能完全配準(zhǔn)的圖像也具有較好的融合效果,不會(huì)產(chǎn)生偽影現(xiàn)象。通過統(tǒng)計(jì)融合圖像的邊緣保持度(QAB/F)、特征互信息(FMI)和信息保真度準(zhǔn)則(IFC)判斷融合圖像的質(zhì)量,統(tǒng)計(jì)結(jié)果如表1所示。

表1 井蓋圖像融合性能評(píng)價(jià)結(jié)果

表1中的QAB/F、FMI和IFC分別反映了圖像的邊緣信息、特征信息和視覺效果,數(shù)值越大,圖像恢復(fù)效果越好。本文方法的QAB/F為0.710 2、FMI為0.960 7、IFC為6.333 7,各項(xiàng)數(shù)據(jù)均優(yōu)于WT、RT、CT、ST和NSST 5種方法,表明該方法可以保留源圖像中更多的邊緣信息和特征信息,與源圖像的信息相關(guān)性更高。

實(shí)驗(yàn)2為了更加明顯地看出圖像融合效果,對(duì)圖7(a)中的原始聲吶圖像進(jìn)行灰度變換和均值濾波處理,得到特征差異明顯的聲吶圖像。通過特征差異明顯的聲吶圖像模擬聲吶設(shè)備在不同工作條件下獲取的圖像數(shù)據(jù),最后將處理后的圖像運(yùn)用VSM-WLS[22]、IFE-VIP[23]、LP-PCNN[24]、LRD[25]、PC-LLE[26]和本文方法進(jìn)行融合處理。

圖7 飛機(jī)殘骸圖像

圖7(a)中的飛機(jī)殘骸圖像經(jīng)過特殊處理后,得到圖7(b)和圖7(c)兩幅圖像。從圖7可以看出,圖7(b)和圖7(c)分別展現(xiàn)了原始圖像豐富的細(xì)節(jié)特征和大部分的低頻能量,擁有各自的優(yōu)勢(shì)信息,有助于融合算法的研究。

利用文獻(xiàn)[22]中的VSM-WLS方法融合后,圖7(d)中無法明顯體現(xiàn)源圖像B中的優(yōu)勢(shì)信息;圖7(e)中的融合圖像對(duì)源圖像A的信息提取也不夠充分;圖7(f)引入了源圖像A和源圖像B之外的信息,影響了圖像質(zhì)量;圖7(g)、7(h)和7(i) 3幅圖像可有效將源圖像A和源圖像B中的有用信息進(jìn)行整合,得到目標(biāo)物體更為突出的聲吶圖像。融合性能評(píng)價(jià)結(jié)果如表2所示。

表2 飛機(jī)殘骸圖像融合性能評(píng)價(jià)結(jié)果

圖7(g)、7(h)和7(i) 3種方法可通過表2中的數(shù)據(jù)進(jìn)行比較。從表2可以看出,本文方法的QAB/F、FMI和IFC值分別為0.652 6、0.889 7和4.353 0,3項(xiàng)指標(biāo)均高于VSM-WLS、IFE-VIP、LP-PCNN、LRD和PC-LLE融合方法。證明了本文方法可以實(shí)現(xiàn)更為有效的圖像融合,使圖像質(zhì)量得到提升。

3 結(jié)語

本文對(duì)聲吶圖像融合方法進(jìn)行研究,提出了一種結(jié)合參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和改進(jìn)的局部能量融合規(guī)則的非下采樣剪切波域圖像融合方法,該研究可總結(jié)為以下3點(diǎn)。

1) 利用非下采樣剪切波變換的局部化特性、方向敏感性、最優(yōu)稀疏表示特性和平移不變性等特點(diǎn)對(duì)聲吶圖像的細(xì)節(jié)特征進(jìn)行捕獲,緩解偽吉布斯現(xiàn)象。

2)利用參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)自適應(yīng)選擇多幅源圖像之間的顯著特征,提升圖像的邊緣和細(xì)節(jié)保持能力。

3)利用改進(jìn)的局部能量融合規(guī)則可有效保留源圖像的能量信息,提升融合后的圖像質(zhì)量。

4)通過仿真實(shí)驗(yàn)表明該方法在保留源圖像邊緣信息、特征信息和提升視覺效果上優(yōu)于傳統(tǒng)變換域方法和文獻(xiàn)[22-26]中的融合方法,證明了該方法適合應(yīng)用在聲吶圖像融合中。