多波段前視紅外圖像融合的海面雜亂背景平滑方法

仇榮超，呂俊偉，宮 劍，婁樹(shù)理，修炳楠，馬新星

1. 海軍航空大學(xué)，山東 煙臺(tái) 264001 2. 煙臺(tái)大學(xué)光電信息科學(xué)技術(shù)學(xué)院，山東 煙臺(tái) 264000

引 言

基于前視紅外圖像的海面艦船目標(biāo)檢測(cè)技術(shù)廣泛應(yīng)用于無(wú)人機(jī)偵察監(jiān)視、紅外末制導(dǎo)、預(yù)警探測(cè)等領(lǐng)域，是海天背景下識(shí)別、跟蹤以及精確打擊海上艦船目標(biāo)的基礎(chǔ)，長(zhǎng)期以來(lái)都是國(guó)內(nèi)外學(xué)者關(guān)注和研究的熱點(diǎn)問(wèn)題。 在面對(duì)海面雜波以及海面高亮反射的干擾時(shí)，傳統(tǒng)的基于單個(gè)紅外寬波段的成像探測(cè)方式的艦船目標(biāo)檢測(cè)性能會(huì)受到極大的影響，如何高效地剔除或降低海面雜波以及海面高亮反射的干擾是基于前視紅外圖像進(jìn)行海面艦船目標(biāo)檢測(cè)的亟待解決的問(wèn)題之一。 為此，我們開(kāi)展了基于多波段前視紅外的成像探測(cè)方式進(jìn)行海面艦船目標(biāo)檢測(cè)的研究。 不同紅外波段圖像的成像時(shí)間間隔和成像光譜差異導(dǎo)致了不同波段圖像之間存在較大的輻射差異，對(duì)于艦船目標(biāo)和自然場(chǎng)景，人造的艦船目標(biāo)在各個(gè)波段均具有較強(qiáng)的紅外輻射，相比之下，自然場(chǎng)景在各個(gè)波段中的紅外輻射則存在較大的差異，利用多波段紅外圖像源之間的互補(bǔ)性和差異性實(shí)現(xiàn)多波段圖像的有效融合，可以平滑抑制海面雜亂背景的影響并且保持圖像結(jié)構(gòu)，尤其是艦船目標(biāo)的結(jié)構(gòu)，為更好地檢測(cè)和分離海面艦船目標(biāo)提供一幅背景平滑、艦船目標(biāo)顯著的融合圖像。

圖像融合是將同一場(chǎng)景下的兩幅或多幅圖像通過(guò)一定的算法融合為滿(mǎn)足某種需求的單幅圖像[1]，和單幅的源圖像相比，融合圖像更加適合后續(xù)對(duì)目標(biāo)或者場(chǎng)景進(jìn)行理解、分析、處理[2]，因此，圖像融合在計(jì)算機(jī)視覺(jué)、遙感、醫(yī)學(xué)以及軍事等諸多領(lǐng)域中得到了廣泛應(yīng)用。 目前，主流的圖像融合算法大多是基于多尺度分析方法的，較為典型的有拉普拉斯金字塔(laplacian pyramid, LP)[3]、離散小波變換(discrete wavelet transform, DWT)[4]、contourlet變換(contourlet transform, CT)[5]、非下采樣contourlet變換(nonsubsampled contourlet transform, NSCT)[6]、非下采樣shearlet變換(nonsubsampled Shearlet transform, NSST)[7]等方法。

圖像平滑在計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域有著廣泛的應(yīng)用和潛力[8]，在許多情況下，一幅圖像中的顯著結(jié)構(gòu)和平滑區(qū)域就足以表達(dá)圖像的主要內(nèi)容，如何去除圖像中的冗余細(xì)節(jié)部分或者雜亂背景部分而保留明顯的結(jié)構(gòu)是圖像平滑的核心內(nèi)容，為此，人們陸續(xù)提出了許多的圖像平滑方法，已知的圖像平滑方法大致可以分為兩類(lèi)，一類(lèi)是局部平滑的方法，例如： 經(jīng)典的高斯濾波[9]、雙邊濾波(bilateral filter, BF)[10]、導(dǎo)向?yàn)V波(guided filter, GF)[11]等； 另一類(lèi)則是全局平滑的方法，例如：L0梯度最小化(L0gradient minimization)[12]、相對(duì)全變分(relative total variation, RTV)[13]、雙邊紋理濾波(bilateral texture filter, BTF)[14]、滾動(dòng)濾波(rolling guidance filter, RGF)[15]等。 目前眾多的圖像平滑算法都是在空域中進(jìn)行，往往在平滑圖像細(xì)節(jié)和噪聲的同時(shí)也模糊了圖像的結(jié)構(gòu)，很難在平滑圖像細(xì)節(jié)和保留明顯的結(jié)構(gòu)之間達(dá)到一種平衡。

基于以上分析，提出了一種基于DWT實(shí)現(xiàn)多波段紅外圖像融合的方法，DWT的計(jì)算復(fù)雜度較低且融合效果較好，通過(guò)DWT對(duì)多波段圖像進(jìn)行分解得到低頻系數(shù)和高頻系數(shù)，由于絕大多數(shù)的噪聲、雜亂背景細(xì)節(jié)部分都集中在圖像的高頻系數(shù)中，通過(guò)對(duì)圖像高頻系數(shù)進(jìn)行有效的處理和融合來(lái)抑制雜亂背景的細(xì)節(jié)信息，對(duì)于低頻信息采用多波段圖像平均融合的方法，并通過(guò)導(dǎo)向?yàn)V波對(duì)低頻融合圖像進(jìn)行平滑處理。 研究的目的旨在通過(guò)融合多波段圖像的信息，并將圖像的平滑處理轉(zhuǎn)換到頻率域中進(jìn)行，從而更好地抑制圖像中的雜亂背景、消除背景中的細(xì)節(jié)結(jié)構(gòu)信息，同時(shí)，較好地保持艦船目標(biāo)的特征信息。

1 基本理論

1.1 基于DWT的圖像融合

基于DWT進(jìn)行圖像融合的基本原理是將各個(gè)源圖像分別分解到一系列頻率信道中，構(gòu)建起各個(gè)源圖像的小波塔型結(jié)構(gòu)，然后依據(jù)融合需要對(duì)不同層級(jí)的不同頻帶進(jìn)行融合處理得到小波金字塔結(jié)構(gòu)，最后對(duì)其進(jìn)行小波逆變換即可得到融合圖像。 圖1所示為基于DWT進(jìn)行圖像融合的原理，對(duì)源圖像進(jìn)行1層小波分解得到圖像的低頻子帶LL以及三個(gè)方向上的高頻子帶(水平高頻子帶HL、垂直高頻子帶LH、對(duì)角高頻子帶HH)，其中，低頻子帶包含源圖像的主要能量，比如圖像的結(jié)構(gòu)、亮度、對(duì)比度等信息，而高頻子帶包含的則是源圖像的細(xì)節(jié)信息，比如圖像的邊緣信息； 依據(jù)不同的融合規(guī)則對(duì)4個(gè)子帶信息進(jìn)行處理即可得到融合后的低頻和高頻子帶信息； 對(duì)融合后的子帶信息進(jìn)行小波逆變換(inverse discrete wavelet transform, IDWT)處理得到的重構(gòu)圖像即為融合圖像。

圖1 基于DWT的圖像融合原理

1.2 導(dǎo)向?yàn)V波

導(dǎo)向?yàn)V波器是一種基于局部線(xiàn)性模型的邊緣保持濾波器[16]，可以有效保持圖像邊緣結(jié)構(gòu)信息，同時(shí)可以避免雙邊濾波產(chǎn)生的梯度反轉(zhuǎn)效應(yīng)。 該濾波器包含輸入圖像I、導(dǎo)向圖G(可以是輸入圖像I)和輸出圖像O，濾波器的數(shù)學(xué)模型定義為

Oi=akGi+bk?i∈ωk

(1)

式(1)中，窗口ωk以像素i為中心，尺寸為(2r+1)×(2r+1)，ak和bk在窗口ωk中是恒定的線(xiàn)性系數(shù)。

通過(guò)最小化輸出圖像O和輸入圖像I在窗口ωk內(nèi)的差異來(lái)估計(jì)系數(shù)ak和bk，定義窗口ωk內(nèi)的損失函數(shù)E

(2)

式(2)中，ε是防止ak過(guò)大的正則化參數(shù)，通過(guò)線(xiàn)性回歸最優(yōu)化目標(biāo)函數(shù)E可以直接求出系數(shù)ak和bk。

由于每個(gè)像素i都被多個(gè)窗口ωk包含，即每個(gè)像素可以由多個(gè)線(xiàn)性函數(shù)共同描述，為此，對(duì)Oi的所有可能值取平均值

(3)

定義導(dǎo)向?yàn)V波計(jì)算公式如式(4)

O=Fr，ε(I，G)

(4)

式(4)中，F(xiàn)為導(dǎo)向?yàn)V波函數(shù)，G為導(dǎo)向圖像，I為輸入圖像，O為輸出圖像，r和ε分別表示導(dǎo)向?yàn)V波的局部窗口尺寸和正則化參數(shù)。

2 基于多波段圖像融合的海面雜亂背景平滑方法

本方法的基本步驟為：

(1)通過(guò)DWT將多波段源圖像分解為低頻子帶圖像和高頻子帶圖像，從而使得源圖像中的低頻信息和高頻信息能夠充分分離；

(2)通過(guò)取高頻系數(shù)絕對(duì)值最大法的融合規(guī)則，對(duì)各分解層上的高頻系數(shù)進(jìn)行融合得到融合高頻子帶，再計(jì)算區(qū)域能量對(duì)高頻融合子帶進(jìn)行調(diào)制；

(3)對(duì)于低頻圖像的融合采用平均策略，并采用導(dǎo)向?yàn)V波對(duì)低頻融合圖像進(jìn)行平滑處理；

(4)通過(guò)對(duì)融合后的低頻子帶和高頻子帶進(jìn)行IDWT，所得的重構(gòu)圖像即為融合后的圖像。

圖2所示為多波段前視紅外圖像融合方法的流程圖。

圖2 多波段前視紅外圖像融合的流程圖

2.1 源圖像分解

2.2 高頻系數(shù)融合

源圖像經(jīng)過(guò)DWT分解后得到的高頻子帶圖像反映了圖像的細(xì)節(jié)信息，包含了海面雜亂背景的細(xì)節(jié)信息和艦船目標(biāo)的邊緣細(xì)節(jié)信息，我們?cè)陬l率域?qū)Χ嗖ǘ螆D像的細(xì)節(jié)信息進(jìn)行處理和融合，目的在于盡最大可能的保留艦船目標(biāo)的顯著結(jié)構(gòu)信息并抑制海面雜亂背景的細(xì)節(jié)信息。

2.2.1 計(jì)算區(qū)域能量

對(duì)于艦船目標(biāo)區(qū)域、海面背景以及天空背景，它們之間的紅外輻射特性存在一定的差異，我們采用區(qū)域能量的方式來(lái)衡量艦船目標(biāo)區(qū)域、海面背景和天空背景的信息量。

對(duì)于圖像中的任意像素點(diǎn)，其局部特征通常由周?chē)徑木哂邢嚓P(guān)性的像素共同作用來(lái)表達(dá)，因此，定義任意像素點(diǎn)局部區(qū)域內(nèi)像素灰度平方的加權(quán)累計(jì)和表示其區(qū)域能量[17]，能量值越大，表明其局部范圍內(nèi)的信息量越大、灰度變化越劇烈，如圖2中的區(qū)域能量圖所示，通常艦船目標(biāo)區(qū)域內(nèi)的區(qū)域能量值要高于海面背景區(qū)域和天空區(qū)域。

基于多波段高頻系數(shù)計(jì)算區(qū)域能量的基本步驟如下：

(5)

(6)

(3)計(jì)算任意像素點(diǎn)(x，y)處的區(qū)域能量Ej(x，y)

(7)

式(7)中，G為高斯濾波模板，濾波模板的尺寸為7×7。

2.2.2 高頻系數(shù)融合和加權(quán)處理

(8)

2.3 低頻系數(shù)融合

通常低頻分量反映了圖像的概況，包含了圖像的絕大部分能量，我們采用平均算法對(duì)低頻子帶圖像進(jìn)行融合

(9)

若在空域上直接采用導(dǎo)向?yàn)V敞算法平滑圖像，在平滑了細(xì)節(jié)信息的同時(shí)極易模糊了明顯結(jié)構(gòu)，故僅利用導(dǎo)向?yàn)V波對(duì)融合后的低頻分量進(jìn)行平滑。

(10)

式(10)中，選擇r=4，ε=0.01進(jìn)行實(shí)驗(yàn)。

2.4 重構(gòu)融合圖像

3 結(jié)果與討論

為了驗(yàn)證本方法的有效性和可行性，對(duì)實(shí)際采集的中波5波段前視紅外海天場(chǎng)景圖像進(jìn)行仿真測(cè)試。 波段1到波段5的波長(zhǎng)依次為： 3.7～4.8，3, 7～4.1，4.4～4.8，3.7～3.9和4.65～4.75 μm，圖像分辨率為320×256，圖像灰度級(jí)為16 bit。 實(shí)驗(yàn)硬件平臺(tái)為CPU Intel(R) Core(UM) i5，主頻2.3 GHz，內(nèi)存8G，軟件平臺(tái)為Matlab 2014a。

將雙邊濾波(BF)、導(dǎo)向?yàn)V波(GF)、L0梯度最小化(L0)、相對(duì)全變分(RTV)、雙邊紋理濾波(BTF)、滾動(dòng)濾波(RGF)作為對(duì)比方法，參與對(duì)比的6種方法均在基于小波變換得到的融合圖像上進(jìn)行，在此進(jìn)行小波融合時(shí)，低頻系數(shù)采用平均融合策略，高頻系數(shù)采用取系數(shù)絕對(duì)值最大的融合策略。 本方法和對(duì)比方法均采用Haar基的離散小波變換，小波分解層數(shù)設(shè)定為1層。

表1所示為實(shí)際采集的多組多波段前視紅外圖像，圖像中存在著點(diǎn)狀雜波、條狀海浪、高亮區(qū)域以及云層等灰度變化較為顯著的紋理背景或結(jié)構(gòu)，給后續(xù)艦船目標(biāo)(尤其是弱小艦船)的檢測(cè)帶來(lái)十分不利的影響，因此，非常有必要對(duì)圖像進(jìn)行平滑處理來(lái)抑制圖像中的雜亂背景而保留艦船目標(biāo)結(jié)構(gòu)。 由源圖像中看出，相比于波段1，3和5，波段2和4對(duì)于海面的高亮反射并不敏感，自然場(chǎng)景在多個(gè)波段圖像中存在一定的灰度差異而艦船目標(biāo)始終保持顯著的灰度和結(jié)構(gòu)，因此，通過(guò)綜合多個(gè)波段的灰度信息可以降低海面高亮反射以及隨機(jī)雜亂背景的影響。

表1 多波段前視紅外圖像

Table1Multi-spectralFLIRimages

表2所示為各個(gè)方法對(duì)多波段進(jìn)行融合并平滑的結(jié)果圖像，其中，融合圖像表示的是基于小波變換融合得到的圖像，三維顯示表示的是本方法得到的結(jié)果圖像的三維顯示圖。 相比于源圖像，小波融合圖像要顯得更加的平滑，表明了多波段圖像融合的有效性。 在此基礎(chǔ)上，對(duì)比各個(gè)圖像平滑方法的結(jié)果圖像，可以看出，BF和BTF的背景平滑效果一般，而且容易引起局部高亮； GF既平滑了紋理背景也模糊了艦船目標(biāo)，甚至導(dǎo)致弱小目標(biāo)被徹底平滑以致消失；L0的背景平滑效果突出，但是它也過(guò)度平滑了弱小的艦船目標(biāo)； RTV和RGF既保留了艦船目標(biāo)也平滑了背景，但是對(duì)于背景的平滑仍然存在不足，對(duì)于條狀海浪的平滑并不徹底。 本方法通過(guò)將空間域的平滑處理轉(zhuǎn)移到頻率域中進(jìn)行，在較好地保留了艦船目標(biāo)結(jié)構(gòu)的同時(shí)有效地平滑了海面雜亂背景，圖像平滑性能優(yōu)于參與對(duì)比的6種方法。 仔細(xì)觀察本方法得到的結(jié)果圖像的三維顯示圖可以更加直觀的看出本方法的良好性能，海天背景都十分平滑而艦船目標(biāo)突出、結(jié)構(gòu)顯著，為后續(xù)的目標(biāo)檢測(cè)奠定了良好的基礎(chǔ)。

表2 圖像融合及各個(gè)方法的平滑結(jié)果

Table2Imagefusionandsmoothingresultsforeachmethod

為了進(jìn)一步客觀評(píng)價(jià)本文提出方法的圖像平滑性能，我們采用標(biāo)準(zhǔn)差和平均梯度來(lái)度量圖像背景的平滑抑制效果，采用信號(hào)雜波比(signal-to-cultter ratio, SCR)來(lái)度量目標(biāo)結(jié)構(gòu)保持的效果。

如表3所示為各方法的平滑效果對(duì)比，GF方法和L0方法得到的平滑圖像雖然有較低的背景平均梯度，但是其信雜比SCR較低，表明兩種方法都過(guò)度平滑了圖像，損失了艦船目標(biāo)的信息，RTV方法和RGF方法雖然可以很好的保持艦船目標(biāo)結(jié)構(gòu)，但是其對(duì)背景圖像的平滑效果并不突出，綜合來(lái)看，本方法在較好的保持艦船目標(biāo)結(jié)構(gòu)的同時(shí)能夠很好地對(duì)圖像的雜亂背景進(jìn)行平滑。

表3 各個(gè)方法的平滑效果對(duì)比

4 結(jié) 論

針對(duì)前視紅外圖像中海面背景雜亂的問(wèn)題，提出了通過(guò)多波段圖像融合來(lái)平滑抑制海面雜亂背景的方法。 基本思想是利用小波變換在融合多波段圖像的同時(shí)將圖像的平滑處理轉(zhuǎn)移到頻率域中進(jìn)行，在融合了多波段圖像信息的同時(shí)避免了在空間域中平滑圖像容易導(dǎo)致過(guò)度平滑的問(wèn)題。 實(shí)驗(yàn)結(jié)果表明，本方法較好地克服了前視紅外圖像中海面隨機(jī)雜亂背景的不利因素，綜合多波段圖像信息得到了一幅背景平滑、艦船目標(biāo)結(jié)構(gòu)突出的圖像。 本方法在Matlab環(huán)境下平均耗時(shí)約0.23 s。 在未來(lái)的工作中，我們將從算法優(yōu)化、GPU加速等方面進(jìn)一步提高方法的時(shí)效性。 此外，我們還將深入研究圖像平滑濾波技術(shù)的客觀評(píng)價(jià)指標(biāo)，以便于客觀地評(píng)價(jià)平滑濾波技術(shù)的性能。