基于雙支網(wǎng)絡(luò)協(xié)作的紅外弱小目標(biāo)檢測

王強(qiáng), 吳樂天, 李紅, 王勇, 王歡, 楊萬扣*

(1.東南大學(xué) 自動化學(xué)院, 江蘇 南京 210096; 2.東南大學(xué) 復(fù)雜工程系統(tǒng)測量與控制教育部重點(diǎn)實(shí)驗(yàn)室, 江蘇 南京 210096;3.江蘇自動化研究所, 江蘇 連云港 222061; 4.南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 江蘇 南京 210094)

0 引言

當(dāng)前主流的目標(biāo)探測系統(tǒng)可分為3類: 基于可見光圖像的目標(biāo)探測、基于熱紅外圖像的目標(biāo)探測和雷達(dá)信號的目標(biāo)探測系統(tǒng)。其中,熱紅外探測系統(tǒng)只對目標(biāo)的溫度與本身的材料特性敏感,使得其在3類探測系統(tǒng)中脫穎而出,具有顯著優(yōu)勢[1-2]:1)不依賴光照條件,可以全天時工作;2)非主動發(fā)射探測波方式,隱蔽性好;3)穿透能力強(qiáng),基本不受環(huán)境因素如灰塵、云層等的影響,可以更好地識別虛假的偽裝目標(biāo)。上述優(yōu)勢使得基于熱紅外圖像的目標(biāo)探測系統(tǒng)成為傳統(tǒng)基于可見光圖像與基于雷達(dá)信號的目標(biāo)探測系統(tǒng)的有效補(bǔ)充。

鑒于此,紅外弱小目標(biāo)檢測具有廣泛的應(yīng)用,常用于軍事領(lǐng)域,例如跟蹤、防御及預(yù)警等[3]。除了軍事領(lǐng)域以外,它在其他多個領(lǐng)域都有著應(yīng)用價(jià)值,如在醫(yī)學(xué)成像病理分析、海上救援等任務(wù)中,紅外弱小目標(biāo)檢測技術(shù)有助于獲取很多用信息。因?yàn)闄z測方法的效果極大地影響這些應(yīng)用系統(tǒng)的性能,所以檢測的準(zhǔn)確性至關(guān)重要。

然而,紅外弱小目標(biāo)檢測面臨諸多挑戰(zhàn)。紅外圖像一般由背景、目標(biāo)和噪聲3部分組成。一方面,紅外圖像的信雜比低,由于距離遠(yuǎn)和大氣對紅外輻射的影響,紅外弱小目標(biāo)信號通常非常微弱,且與背景差異不明顯,極易淹沒在背景中;另一方面,紅外弱小目標(biāo)尺寸非常小、缺少結(jié)構(gòu)性特征[3-7],增加了在實(shí)際應(yīng)用中檢測紅外弱小目標(biāo)的難度。

深度學(xué)習(xí)方法極大地推動了紅外圖像處理領(lǐng)域的發(fā)展,包括紅外檢測任務(wù)。通常紅外弱小目標(biāo)檢測方法分為直接目標(biāo)檢測方法和圖像語義分割方法。婁康[8]提出一種基于生成式對抗神經(jīng)網(wǎng)絡(luò)的紅外目標(biāo)檢測算法,并通過Gabor核函數(shù)實(shí)現(xiàn)對紅外圖像降噪處理。黃樂弘[9]針對空中紅外目標(biāo)圖像的固有特點(diǎn),在YOLOv3模型[10]的基礎(chǔ)上改進(jìn)了邊緣損失函數(shù),從而提高了檢測定位精度。楊其利等[11]通過在網(wǎng)絡(luò)中增加遞歸和殘差模塊來提升檢測效果。在紅外弱小目標(biāo)檢測領(lǐng)域中,若直接使用通用的目標(biāo)檢測或語義分割網(wǎng)絡(luò),則檢測效果不理想,原因有:

1)紅外弱小目標(biāo)的特點(diǎn)[12]:

①目標(biāo)信號弱。目標(biāo)和背景之間的對比度很小,導(dǎo)致目標(biāo)容易被背景淹沒而抹去。

②目標(biāo)尺寸小。目標(biāo)的尺寸很小,通常低于9×9個像素,因此其結(jié)構(gòu)特征很少。深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)通常都是采用卷積、池化等方法來提取目標(biāo)的特征,通過堆疊多個卷積層、池化層或其他的下采樣層來提取淺層和深層特征,然后根據(jù)特征圖進(jìn)行上采樣恢復(fù)。在此過程中圖像的分辨率會降低,紅外弱小目標(biāo)特征幾乎可以忽略不計(jì),甚至完全消失,容易導(dǎo)致下采樣過程中的小目標(biāo)丟失,因此上采樣也無法恢復(fù)。在訓(xùn)練過程中,網(wǎng)絡(luò)在靠后的特征層中失去了小物體的特征信息,因此會造成檢測性能的下降。

2)擴(kuò)大網(wǎng)絡(luò)感受野帶來的問題。原因1進(jìn)一步導(dǎo)致紅外弱小目標(biāo)的結(jié)構(gòu)特征非常少,局部來看,弱小目標(biāo)與噪聲和背景干擾極為相似,需要借助全局分析來區(qū)分。在深度學(xué)習(xí)中表現(xiàn)為需要更大的感受野,在深度卷積網(wǎng)絡(luò)中,一般通過不斷降低特征圖像的分辨率來提高感受野,然而,這一過程一定程度降低了目標(biāo)定位精度。

3)占空比不均衡問題。紅外圖像中,目標(biāo)少且稀疏,絕大部分是背景區(qū)域,目標(biāo)和背景的占空比極不均衡,導(dǎo)致一般語義分割網(wǎng)絡(luò)模型會傾向于關(guān)注背景像素識別為目標(biāo)像素的錯誤,忽略目標(biāo)像素識別為背景像素的錯誤,導(dǎo)致目標(biāo)欠分割,甚至丟失。

此外,已有的基于圖像語義分割的紅外弱小目標(biāo)檢測方法只設(shè)計(jì)了一個網(wǎng)絡(luò),難以同時保持低虛警率和漏檢率。

本文針對紅外弱小目標(biāo)圖像特點(diǎn),提出一種基于兩支網(wǎng)絡(luò)協(xié)作的紅外弱小目標(biāo)檢測模型(DualNet模型)。DualNet模型包含兩個分別針對紅外弱小目標(biāo)檢測虛警率和漏檢率任務(wù)的子網(wǎng)絡(luò),通過對兩個子網(wǎng)絡(luò)的結(jié)果進(jìn)行融合輸出,進(jìn)一步提高紅外弱小目標(biāo)檢測的準(zhǔn)確性。

1 圖像語義分割相關(guān)工作

圖像語義分割任務(wù)是輸入一個圖像(多通道或單通道),然后輸出與源圖像分辨率相同的圖像,每個像素點(diǎn)帶有分類標(biāo)簽。圖像語義分割的基本算法思想是給出一張圖像I,將問題轉(zhuǎn)化為函數(shù)求解,從I映射到掩碼Mask,分割出物體的輪廓。

1.1 基于圖像塊的分割方法

針對一個像素,使用該像素為中心的鄰域圖像塊作為輸入用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測[12-14],其缺點(diǎn)有:

1)占用內(nèi)存量大。以圖像塊的大小為11×11為例,每次滑動窗口將得到一個分類結(jié)果,隨著滑動次數(shù)的增加,消耗的存儲量將不斷上升。

2)冗余計(jì)算。相鄰的圖像塊只在邊緣部分存在差別,因此針對每個圖像塊進(jìn)行計(jì)算會有大量重復(fù),導(dǎo)致計(jì)算效率較低。

3)圖像塊的大小限制了感受野大小。以全局觀來看待圖像較局部圖像塊來判別分類更加準(zhǔn)確,因此圖像塊的大小限制了分類的性能。

1.2 基于全卷積網(wǎng)絡(luò)的圖像分割

全卷積網(wǎng)絡(luò)(FCN)用全連接層得到特征向量,再進(jìn)行判別分類。FCN的輸入不受尺寸限制,將分類網(wǎng)絡(luò)的全連接層用卷積層替換,對最后一個特征圖進(jìn)行反卷積操作。因此網(wǎng)絡(luò)輸出的圖像分辨率與輸入圖像保持一致,將每個像素當(dāng)成一個樣本進(jìn)行訓(xùn)練,從抽象的特征圖中得到判別結(jié)果,同時保留輸入圖像中的空間結(jié)構(gòu)信息。最后,在網(wǎng)絡(luò)輸出的特征圖上實(shí)現(xiàn)像素級的分類操作,得到輸出結(jié)果。經(jīng)典CNN結(jié)構(gòu)和FCN結(jié)構(gòu)如圖1和圖2所示。

圖1 經(jīng)典CNN結(jié)構(gòu)Fig.1 Classic CNN network structure

圖2 FCN結(jié)構(gòu)Fig.2 FCN simulation structure

1.3 基于U型網(wǎng)絡(luò)(U-net)的圖像分割

U-net采用對稱網(wǎng)絡(luò)結(jié)構(gòu)[15-16],形狀如U形。下采樣過程稱為編碼器,它用來提取特征,得到深層和淺層特征,上采樣過程稱為解碼器,它結(jié)合了淺層相同分辨率的特征圖和深層信息,跨聯(lián)之后作為上采樣過程的輸入,因此逐級提升圖像精度。與FCN網(wǎng)絡(luò)特征拼接不同的是,U-net按照通道的維度進(jìn)行拼接,在同樣大小的分辨率處形成更厚的特征。FCN融合時將對應(yīng)像素點(diǎn)相加,特征維度不變。U-net 結(jié)構(gòu)如圖3所示。

圖3 U-net結(jié)構(gòu)Fig.3 U-net simulation architecture

2 基于DualNet協(xié)作的紅外弱小目標(biāo)檢測方法

由于第1節(jié)中3類網(wǎng)絡(luò)模型包含較多的下采樣結(jié)構(gòu),導(dǎo)致網(wǎng)絡(luò)用于紅外弱小目標(biāo)檢測的性能不佳。網(wǎng)絡(luò)設(shè)計(jì)中一個關(guān)鍵性的挑戰(zhàn)是在紅外圖像的漏檢率和虛警率之間找到一種平衡,盡可能地降低二者。然而這二者在一定程度上是對立的關(guān)系,通常在實(shí)驗(yàn)中是采取相反的策略去減小二者的大小,正如傳統(tǒng)的圖像處理方法的最后一步是選取合適的閾值來進(jìn)行圖像的二值化:為了降低虛警率,增大閾值;為了降低漏檢率,減小閾值。針對CNN框架固化圖像全局閾值的缺陷,本文將整個紅外弱小目標(biāo)檢測任務(wù)劃分成兩個子任務(wù)來進(jìn)行,提出了一種兼顧漏檢和虛警的圖像分割網(wǎng)絡(luò)DualNet。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)深度CNN方法使用單個網(wǎng)絡(luò)同時降低漏檢率和虛警率。與傳統(tǒng)的網(wǎng)絡(luò)訓(xùn)練不一樣,本文將整個圖像語義分割任務(wù)分成兩個子任務(wù),即采用兩個子網(wǎng)絡(luò)來完成圖像語義分割任務(wù)。子網(wǎng)絡(luò)分支1的目的是降低目標(biāo)的漏檢率,即學(xué)習(xí)較低的閾值,使網(wǎng)絡(luò)具有較高的召回率,子網(wǎng)絡(luò)分支2的目的是在降低目標(biāo)的虛警率,即學(xué)習(xí)較高的閾值,使網(wǎng)絡(luò)具有較高的精確率,最后采取一定的比例將兩個網(wǎng)絡(luò)輸出的結(jié)果融合得到分割結(jié)果。DualNet的整體結(jié)構(gòu)設(shè)計(jì)如圖4 所示。

圖4 DualNet結(jié)構(gòu)Fig.4 DualNet architecture

DualNet分為兩個子網(wǎng)絡(luò),紅色框標(biāo)記為子網(wǎng)絡(luò)分支1,綠色框標(biāo)記為子網(wǎng)絡(luò)分支2,兩個網(wǎng)絡(luò)的輸入均為圖像I,分別經(jīng)過多個模塊得到網(wǎng)絡(luò)分支1的輸出為S1,網(wǎng)絡(luò)分支2的輸出為S2,網(wǎng)絡(luò)最終的分割結(jié)果為S。S由S1和S2經(jīng)過加權(quán)融合得到。為了更清晰地了解DualNet結(jié)構(gòu)設(shè)計(jì),圖5和圖6分別顯示了網(wǎng)絡(luò)分支1和網(wǎng)絡(luò)分支2的詳細(xì)結(jié)構(gòu),說明了各模塊的選取原因,從理論上闡明了網(wǎng)絡(luò)設(shè)計(jì)的合理性。

圖5 網(wǎng)絡(luò)分支1結(jié)構(gòu)Fig.5 Architecture of SubNetwork 1

2.2 網(wǎng)絡(luò)分支1結(jié)構(gòu)

圖6 網(wǎng)絡(luò)分支2結(jié)構(gòu)Fig.6 Thearchitecture of SubNetwork 2

網(wǎng)絡(luò)分支1設(shè)計(jì)原則包含兩點(diǎn):1)為了避免池化模塊可能丟失小目標(biāo),本文舍棄了池化模塊與標(biāo)準(zhǔn)卷積模塊,而是使用了空洞卷積,不僅保證了特征圖的空間分辨率,同時也保證了圖像的感受野[17-20];2)由于空洞卷積可能造成“棋盤”效應(yīng),網(wǎng)絡(luò)添加了空洞空間金字塔池化(ASPP)模塊[19],通過使用不同空洞率的卷積來提取不同感受野下的信息,高效利用了整張圖片信息。

記輸入圖像標(biāo)記為I,分割結(jié)果標(biāo)記為S1,網(wǎng)絡(luò)分支1對應(yīng)的函數(shù)為F1,則網(wǎng)絡(luò)輸入到輸出之間的映射記為

F1(I)=S1

(1)

為了實(shí)現(xiàn)降低目標(biāo)的漏檢率的目的,本文基于平滑的絕對值損失(Smooth L1),構(gòu)建網(wǎng)絡(luò)分支1的損失函數(shù):

(2)

MD1=SmoothL1Loss(S1,G)·G

(3)

FA1=SmoothL1Loss(S1,G)·(1-G)

(4)

Loss1=λ1MD1+FA1

(5)

式中:MD1和FA1分別代表網(wǎng)絡(luò)分支1的漏檢率和虛警率;G代表輸入圖像的真值;λ1是MD1的權(quán)重參數(shù)。

2.3 網(wǎng)絡(luò)分支2結(jié)構(gòu)

語義分割模型大多是類似于U-net這樣的編碼器——解碼器形式[15],先進(jìn)行下采樣,再上采樣到與原圖一樣的尺寸。設(shè)計(jì)思想包含3點(diǎn):1)為了避免下采樣過程中小目標(biāo)消失,防止上采樣過程中無法恢復(fù),采用空間金字塔池化(SPP)模塊[21-23]來構(gòu)造空間池化層,使特征圖的淺層特征和深層特征得到有效融合;2)依據(jù)經(jīng)典的編碼器—解碼器架構(gòu),構(gòu)建對稱網(wǎng)絡(luò)結(jié)構(gòu),將對應(yīng)層的特征圖按通道級聯(lián),充分的結(jié)合低層級精確的位置信息與高層級的高語義信息[22];3)標(biāo)準(zhǔn)卷積無法精確的學(xué)習(xí)不規(guī)則形狀的目標(biāo)特征,因此在輸出部分舍棄了標(biāo)準(zhǔn)卷積,采用可形變卷積,通過學(xué)習(xí)偏置量使卷積的區(qū)域?qū)崿F(xiàn)變形,從而挖掘更為準(zhǔn)確的目標(biāo)的形狀和尺寸信息,而標(biāo)準(zhǔn)卷積的卷積核則無法做到這一點(diǎn)[24-27]。

網(wǎng)絡(luò)分支2設(shè)計(jì)模塊如下:

1)通道注意力模塊[28],特征圖的尺寸由C×H×W變換為C×1×1,其中C、H、W分別代表特征圖的通道數(shù)、高度和寬度。通過卷積激活函數(shù)等運(yùn)算得到對應(yīng)掩碼,與原特征圖按通道相乘,從而分配給了每個通道不同的權(quán)重。

2)空間注意力模塊[29],與通道注意力模塊類似,特征圖的尺寸由C×H×W變換為1×H×W,經(jīng)過激活函數(shù)后添加到原始的特征圖中,對原特征圖的每個像素點(diǎn)分配了不同的權(quán)重。

3)將通道注意力與空間注意力模塊并聯(lián),目的是得到具有更強(qiáng)語義信息的特征圖。在編碼解碼的過程中,每個塊后面均添加通道—空間注意力模塊,從而提高了網(wǎng)絡(luò)提取圖片內(nèi)部語義信息的能力,使得分割的結(jié)果更加精確。

4)ASPP模塊[21],通過將不同尺寸的池化層并聯(lián),有效地提取了圖像的多尺度信息。ASPP模塊將圖像的局部特征和全局特征高效融合,有效地提取了特征圖的上下文信息。

5)可形變卷積[24],可形變卷積通過對特征圖的每個位置學(xué)習(xí)一個偏移量,使卷積核具有變形的效果。

記輸入圖像標(biāo)記為I,分割結(jié)果標(biāo)記為S2,網(wǎng)絡(luò)分支2對應(yīng)的函數(shù)為F2,輸入圖像到輸出圖像之間的變換記為

F2(I)=S2

(6)

同樣地網(wǎng)絡(luò)分支2為了達(dá)到降低目標(biāo)的虛警率的目的,本文也基于Smooth L1,構(gòu)建網(wǎng)絡(luò)分支2的損失函數(shù),如式(7)～式(9)所示:

MD2=SmoothL1Loss(S2,G)·G

(7)

FA2=SmoothL1Loss(S2,G)·(1-G)

(8)

Loss2=MD2+λ2FA2

(9)

式中:MD2和FA2分別表示網(wǎng)絡(luò)分支2分支的漏檢率和虛警率;λ2為FA2的權(quán)重參數(shù)。

2.4 兩支網(wǎng)絡(luò)融合

兩個網(wǎng)絡(luò)獨(dú)立訓(xùn)練,即分別按照各自定義的損失函數(shù)完成訓(xùn)練,獲得各自網(wǎng)絡(luò)的最優(yōu)參數(shù)。為了使二者在整個分割任務(wù)中有機(jī)結(jié)合起來,需要設(shè)計(jì)讓網(wǎng)絡(luò)信息在二者之間協(xié)作合作,統(tǒng)一地抵近真實(shí)結(jié)果,采用式(10)融合二者分割結(jié)果:

S=αS1+βS2

(10)

式中:α和β為超參數(shù),根據(jù)實(shí)驗(yàn)效果取α=0.1,β=0.9最佳。

上述融合策略將網(wǎng)絡(luò)分支1和2的結(jié)果作線性加權(quán),雖然簡單,但卻能充分利用兩支網(wǎng)絡(luò)的互補(bǔ)優(yōu)勢。從表2實(shí)驗(yàn)中的可視化結(jié)果觀察發(fā)現(xiàn),網(wǎng)絡(luò)分支2的弱小目標(biāo)識別能力(識別真假目標(biāo))強(qiáng)于網(wǎng)絡(luò)分支1,雖然會存在目標(biāo)的欠分割,例如目標(biāo)有3個像素,只分割出1個,但較少出現(xiàn)虛假目標(biāo);而網(wǎng)絡(luò)分支1的定位能力(檢測定位真目標(biāo))則強(qiáng)于網(wǎng)絡(luò)分支2,即網(wǎng)絡(luò)分支1雖容易檢測出了一些虛假目標(biāo),但真實(shí)目標(biāo)都能全部檢測出來,并且分割較為完整。為此,加權(quán)融合策略可以一定程度上避免網(wǎng)絡(luò)分支2的目標(biāo)欠分割、抑制網(wǎng)絡(luò)分支1輸出的虛假目標(biāo)。

3 紅外弱小目標(biāo)檢測結(jié)果與分析

3.1 紅外弱小目標(biāo)檢測數(shù)據(jù)集

由于缺少紅外弱小目標(biāo)檢測領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集,本文在仿真合成的紅外圖像數(shù)據(jù)集上驗(yàn)證算法的有效性。該數(shù)據(jù)集包括2類包含弱小目標(biāo)的數(shù)據(jù)集,分別記為All Seqs和Single,其中All Seqs數(shù)據(jù)集包含504張圖像,Single數(shù)據(jù)集共有100張圖像。這里對數(shù)據(jù)集進(jìn)行了擴(kuò)充,從原本的圖像中隨機(jī)抽樣128×128的圖像塊作為輸入,依此將訓(xùn)練集中圖像的數(shù)量擴(kuò)充到10 000幅圖像。相關(guān)合成用于訓(xùn)練的紅外圖像部分樣本如圖7所示。

圖7 紅外弱小目標(biāo)檢測數(shù)據(jù)集中的典型訓(xùn)練樣本Fig.7 Samples of the training set

3.2 評價(jià)標(biāo)準(zhǔn)

由于本文將弱小目標(biāo)檢測看成目標(biāo)分割問題,目的是將圖像分為目標(biāo)和背景,采用二分類模型的評價(jià)標(biāo)準(zhǔn),即精度Precision、召回率Recall和F1測量F1-measure:

(11)

(12)

(13)

式中:TP、FP和FN分別為正確檢測出的目標(biāo)像素個數(shù)、虛檢的像素個數(shù)和漏檢的像素個數(shù)。Precision被定義為被正確預(yù)測的目標(biāo)數(shù)據(jù)占所有預(yù)測為目標(biāo)數(shù)據(jù)的比例;Recall被定義為被正確預(yù)測的目標(biāo)像素占全部目標(biāo)像素的比例。由于Precision和Recall之間存在一定的矛盾性,單獨(dú)看Precision和Recall這兩個指標(biāo)均有局限性,衡量目標(biāo)分割算法的有效性應(yīng)該注重F1-measure的大小。

3.3 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)硬件環(huán)境為8 GB RAM、1.8 GHz Intel i7 CPU和Tesla P40 GPU;軟件環(huán)境為Ubuntu 18.04系統(tǒng)、Python語言和Pytorch深度學(xué)習(xí)開發(fā)軟件框架。實(shí)驗(yàn)相關(guān)參數(shù)設(shè)置為:λ1=100,λ2=10,α=0.1,β=0.9;學(xué)習(xí)率每10次迭代降低20%,一共訓(xùn)練30個周期。兩個網(wǎng)絡(luò)分支獨(dú)立訓(xùn)練,分別按照各自定義的損失函數(shù)完成訓(xùn)練,獲得各自網(wǎng)絡(luò)的最優(yōu)參數(shù)后進(jìn)行融合。

3.4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)與當(dāng)前基于深度學(xué)習(xí)的優(yōu)勢方法進(jìn)行對比,包含F(xiàn)CN-RSTN[30]、cGAN[31]、U-net[15]、DeepLab-v3[19],實(shí)驗(yàn)結(jié)果如表1所示。表1顯示了在All Seqs和Single數(shù)據(jù)集上Recall、Precision以及F1-measure指標(biāo)的大小,三者的數(shù)值均為越大越好,通過F1-measure平衡了Precision和Recall單一度量的局限性。由表1可以看出,本文DualNet方法在兩個數(shù)據(jù)集上均獲得了最高的F1-measure值,在保證召回率在可接受的條件下有著較高的精確率,這顯示了DualNet方法具有更好的檢測效果,在像素級別使得漏檢率和虛警率達(dá)到了最優(yōu)的平衡。

表1 不同方法的結(jié)果對比Table 1 Experimental results using different methods

DualNet方法的檢測效果見表2,表2每一行為一組,從左往右分別為輸入紅外圖像、真實(shí)標(biāo)簽圖、網(wǎng)絡(luò)分支1檢測結(jié)果、網(wǎng)絡(luò)分支2檢測結(jié)果和最終融合結(jié)果。由表2可以看出,網(wǎng)絡(luò)分支1為了達(dá)到漏檢率較低的要求,會將部分背景噪聲當(dāng)作目標(biāo)分割出來,繼而提高了目標(biāo)的召回率,但同時也增加了虛警率。網(wǎng)絡(luò)分支2為了達(dá)到降低虛警率目的,導(dǎo)致其輸出的結(jié)果中目標(biāo)對比度降低,沒有網(wǎng)絡(luò)分支1中目標(biāo)與背景的對比度明顯,最后通過加權(quán)融合這一協(xié)作操作較好地緩解了兩個網(wǎng)絡(luò)的各自缺點(diǎn),從而提升了整體網(wǎng)絡(luò)的精度。

本文實(shí)驗(yàn)分析了DualNet各個模塊的影響,DualNet各個模塊的消融實(shí)驗(yàn)如表3所示,包括空洞卷積Dilated-Conv、ASPP模塊、PPM模塊、注意力模塊scSE以及可形變卷積DCNv2。根據(jù)實(shí)驗(yàn)結(jié)果:在網(wǎng)絡(luò)分支2不變的情況下,網(wǎng)絡(luò)分支1添加ASPP模塊相較于直接使用空洞卷積時,F1-measure值更高,分割效果更好;在網(wǎng)絡(luò)分支1不變的情況下,網(wǎng)絡(luò)分支2添加SPP模塊要優(yōu)于添加PPM模塊[32];在網(wǎng)絡(luò)編碼模塊中添加注意力機(jī)制達(dá)到了最高的分割精度,針對本文實(shí)驗(yàn)中的紅外圖像數(shù)據(jù)集,將可形變卷積DCNv2應(yīng)用于網(wǎng)絡(luò)輸出部分無明顯的提升效果。

表2 DualNet方法的分割效果

表3 DualNet方法的消融實(shí)驗(yàn)

進(jìn)一步分析可知,空洞卷積是在不增加網(wǎng)絡(luò)參數(shù)的前提下用于擴(kuò)大卷積操作的感受野。SPP模塊用于多尺度特征提取,ASPP模塊則是將空洞卷積與SPP模塊相結(jié)合,同時擴(kuò)大感受野和提取多尺度特征。在本文的模型中,網(wǎng)絡(luò)分支1專注于避免漏檢,需要局部信息來盡可能地檢測和定位目標(biāo),因此其感受野不需要太大;而網(wǎng)絡(luò)分支2專注于避免虛警,需要較大的全局上下文信息來鑒別目標(biāo),因此需要較大的感受野(使用空洞卷積)。此外,無論網(wǎng)絡(luò)分支1和網(wǎng)絡(luò)分支2,都需要在各自的感受野范圍內(nèi)提取多尺度信息,故兩支網(wǎng)絡(luò)都需要采用SPP(或ASPP)模塊用于提取多尺度特征。

本文分析了式(10)中權(quán)重參數(shù)α和β對DualNet性能影響,對比結(jié)果如表4所示。通過合理分配權(quán)重,可以獲得最佳的融合效果。表4中,根據(jù)α和β的變化可以看出網(wǎng)絡(luò)分支1的分割結(jié)果所占的比例較低,網(wǎng)絡(luò)分支2的分割結(jié)果所占的比例較高時,分割的精度更高。因?yàn)榫W(wǎng)絡(luò)分支2旨在降低圖像的虛警率,用它的分割結(jié)果去定位網(wǎng)絡(luò)分支1的分割結(jié)果,即二者比例分配為2高1低時,效果較好。

表4 不同權(quán)重對DualNet方法影響Table 4 Influence of α and β on DualNet method

本文對比了配置不同損失函數(shù)DualNet的性能,如表5所示,其中包括Focal Loss、L1 Loss、L2 Loss、Smooth L1 Loss和Balanced L1 Loss。表5中,實(shí)驗(yàn)比較了5種損失函數(shù)的分割效果,其中目標(biāo)檢測中多分類場景中使用的Focal Loss[33-34]、L1 Loss和Balanced L1 Loss在本文實(shí)驗(yàn)中沒有效果,這可能與損失函數(shù)中的參數(shù)選取有關(guān)。根據(jù)表5中數(shù)據(jù)比較,實(shí)驗(yàn)最終選取了Smooth L1 Loss函數(shù)。其中損失函數(shù)公式定義為

L1 Loss:loss=abs(pred-target)

(14)

(15)

Balanced L1 Loss:

(16)

(17)

Focal Loss:loss=-(1-p)γlog2(p)

(18)

式中:pred和x為預(yù)測值;target為標(biāo)簽值;p為預(yù)測類別概率;其余為網(wǎng)絡(luò)訓(xùn)練中可調(diào)節(jié)的參數(shù)。

表5 不同損失函數(shù)的DualNet方法效果Table 5 Influence of different loss functions on DualNet method

表6給出了參數(shù)λ1和λ2在選取不同值時的性能比較結(jié)果。實(shí)驗(yàn)表明取λ1=100和λ2=10時,模型在兩個數(shù)據(jù)集上均達(dá)到最好性能。

表6 參數(shù)λ1和λ2的不同選取對性能的影響Table 6 Influence of different values of λ1 and λ2

DualNet的模型大小以及在GPU上對單張圖像的檢測速度如表7所示。表7顯示DualNet模型非常小,速度很快,利于部署。

表7 DualNet模型的參數(shù)量以及檢測速度Table 7 Speed and model size of DualNet model

表2直觀顯示了DualNet的側(cè)重點(diǎn),網(wǎng)絡(luò)分支1旨在降低圖像的漏檢率,所以為了防止目標(biāo)被濾去,網(wǎng)絡(luò)分支1的輸出結(jié)果中會包含少許背景噪聲,相當(dāng)于圖像進(jìn)行二值化分割時選取了較低的閾值;而網(wǎng)絡(luò)分支2旨在降低圖像的虛警率,所以為了防止將背景噪聲誤認(rèn)為是目標(biāo),網(wǎng)絡(luò)分支2的輸出結(jié)果會盡可能地減少虛警,因此可能會導(dǎo)致目標(biāo)欠分割,相當(dāng)于圖像二值化分割時選取了較高的閾值。最終融合兩支網(wǎng)絡(luò)結(jié)果時,通過調(diào)整合適的融合比例,達(dá)到較高的融合效果。即:網(wǎng)絡(luò)分支2關(guān)注虛警的消除,給出的結(jié)果提供了較高的目標(biāo)定位準(zhǔn)確性,但也會存在目標(biāo)的欠分割問題;網(wǎng)絡(luò)分支1 避免漏檢的產(chǎn)生,給出的結(jié)果中提供了目標(biāo)較為完整的分割結(jié)果,但會存在一些虛警;融合模塊將兩者很好的結(jié)合,能在定位準(zhǔn)確的基礎(chǔ)上進(jìn)一步保證目標(biāo)分割的準(zhǔn)確性,達(dá)到更好的檢測效果。圖8 表明兩支網(wǎng)絡(luò)的損失函數(shù)都隨著訓(xùn)練輪數(shù)的增加而穩(wěn)定地降低,最終都達(dá)到收斂。

由表1可以看出,直接使用通用的目標(biāo)檢測網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)來實(shí)現(xiàn)紅外弱小目標(biāo)檢測任務(wù),效果往往不佳,而經(jīng)過設(shè)計(jì)后的DualNet方法提升了紅外弱小目標(biāo)檢測的準(zhǔn)確性。

表3顯示了本實(shí)驗(yàn)的模塊設(shè)計(jì)對分割效果的影響,根據(jù)實(shí)驗(yàn)數(shù)據(jù),最終的DualNet結(jié)構(gòu)設(shè)計(jì)為:網(wǎng)絡(luò)分支1:ASPP結(jié)構(gòu)+空洞卷積;網(wǎng)絡(luò)分支2:參考U-net結(jié)構(gòu)實(shí)現(xiàn)特征圖跨聯(lián)+SPP結(jié)構(gòu)+注意力機(jī)制。

表4顯示了實(shí)驗(yàn)中不同融合方式對分割效果的影響,根據(jù)表3中數(shù)據(jù),可以得出網(wǎng)絡(luò)分支1的比重較低,網(wǎng)絡(luò)分支2的比重較高時,融合的效果較好。需要注意的是,網(wǎng)絡(luò)分支1權(quán)重比較低并不意味著網(wǎng)絡(luò)分支1沒有意義。當(dāng)進(jìn)一步降低網(wǎng)絡(luò)分支1權(quán)重,提高網(wǎng)絡(luò)分支2權(quán)重,即權(quán)重系數(shù)組合為(0.05,0.95)時,模型處理效果反而比系數(shù)組合(0.1,0.9)更差,在AllSeqs和Single數(shù)據(jù)集上F1-measure分別從0.4降到0.38,以及從0.53降低到0.51,由此可見,網(wǎng)絡(luò)分支1是有作用、有意義的。

表5顯示了實(shí)驗(yàn)中配置不同損失函數(shù)對分割效果的影響,根據(jù)表5中數(shù)據(jù),復(fù)雜設(shè)計(jì)的損失函數(shù)對紅外弱小目標(biāo)檢測任務(wù)無甚效果,相反選取較為簡單的距離損失函數(shù)L2 Loss和Smooth L1 Loss函數(shù)效果更好,其中Smooth L1 Loss用于網(wǎng)絡(luò)的學(xué)習(xí)性能更為顯著。此外,對于All Seqs和Single兩類數(shù)據(jù)集,DualNet對于Single數(shù)據(jù)集中紅外圖像樣本更有效果,而All Seqs數(shù)據(jù)集中背景噪聲與目標(biāo)更為相似,其網(wǎng)絡(luò)性能指標(biāo)不如Single數(shù)據(jù)集。

最后,為了進(jìn)一步驗(yàn)證本文提出的新模型在真實(shí)數(shù)據(jù)集上的泛化能力,在近期公開發(fā)布的真實(shí)數(shù)據(jù)集SIRST上進(jìn)行測試。測試遵循該數(shù)據(jù)集評測指標(biāo),即交并比IoU、檢測率Pd和漏檢率Fa,這3個指標(biāo)的計(jì)算方式分別為

(19)

(20)

(21)

式中:pre為預(yù)測的二值標(biāo)簽圖;Label是真實(shí)的二值標(biāo)簽圖;Tcorrect為檢測正確的目標(biāo)的數(shù)量;Tall為所有目標(biāo)的數(shù)量;Pfalse為檢測錯誤的目標(biāo)的數(shù)量;Pall為整張圖片的像素大小。判斷檢測是否正確的方法是計(jì)算預(yù)測的目標(biāo)的中心點(diǎn)坐標(biāo)與真實(shí)的目標(biāo)的中心點(diǎn)坐標(biāo)之間的像素偏差小于閾值(2個像素)。

將所提模型與已發(fā)表的在該數(shù)據(jù)集上測試過的基于頂帽變換(Top-Hat)方法、基于最大中值濾波(Max-Median)方法、基于加權(quán)增強(qiáng)局部對比度度量(WSLCM)方法、基于三層窗口的局部對比度度量(TLLCM)方法、基于紅外塊分解(IPI)方法、基于非凸秩近似最小化(NRAM)方法、基于重加權(quán)塊圖像張量(RIPT)方法、基于張量核范數(shù)部分和(PSTNN)方法、基于多子空間學(xué)習(xí)和時空塊張量模型(MSLSTIPT)方法、基于非對稱上下文調(diào)制(ACM)方法、基于漏檢與虛警的生成對抗網(wǎng)絡(luò)(MDvsFA-cGAN)方法這11種方法進(jìn)行了比較。具體試驗(yàn)步驟如下,先使用10 000幅仿真數(shù)據(jù)訓(xùn)練本文模型得到預(yù)訓(xùn)練模型,然后使用SIRST的訓(xùn)練集對模型進(jìn)行微調(diào)10個epoch,最后使用其測試集測試模型。從表8中可以看出,DualNet方法的IoU指標(biāo)排第1、Pd指標(biāo)排第1、Fa指標(biāo)排第3。綜合起來看,本文方法的性能指標(biāo)要明顯高于多個代表性的傳統(tǒng)方法,也高于兩個基于深度卷積網(wǎng)絡(luò)的弱小目標(biāo)檢測方法ACM和MDvsFA-cGAN。同時,表9給出了DualNet、MDvsFA-cGAN和ACM方法對SIRST數(shù)據(jù)集中4幅代表性圖像的可視化檢測效果,不難發(fā)現(xiàn),較MDvsFA-cGAN和ACM方法,DualNet方法的結(jié)果更接近真實(shí)標(biāo)簽圖。

表8 SIRST數(shù)據(jù)集上泛化性能測試Table 8 Generalization capability tests over SIRST dataset

表9 可視化檢測結(jié)果比較

4 結(jié)論

本文分析了通用深度CNN直接遷移到紅外弱小目標(biāo)檢測任務(wù)的局限性,指出紅外弱小目標(biāo)檢測任務(wù)的難點(diǎn)。針對單個網(wǎng)絡(luò)對紅外弱小目標(biāo)特征提取的有限性,基于通用的目標(biāo)檢測網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)模型,提出DualNet模型。與以往單個網(wǎng)絡(luò)模型不同,DualNet將整個任務(wù)劃分成兩個子任務(wù):一個網(wǎng)絡(luò)用來學(xué)習(xí)低閾值分割,負(fù)責(zé)降低漏檢率;另一個網(wǎng)絡(luò)用來學(xué)習(xí)高閾值分割,負(fù)責(zé)降低虛警率。最后將兩個網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行加權(quán)融合,以取得最佳的分割效果。得出主要結(jié)論如下:

1)本文通過將紅外弱小目標(biāo)檢測任務(wù)劃分為兩個子任務(wù),有效地兼顧了紅外弱小目標(biāo)的漏檢率和虛警率。

2)相比于傳統(tǒng)方法和通用語義分割檢測方法,本文方法獲得的檢測結(jié)果更準(zhǔn)確、魯棒性更強(qiáng);在自建數(shù)據(jù)集上,相比于FCN、DeepLabv3、cGAN以及U-net語義分割網(wǎng)絡(luò)模型,本文方法的F1-measure提高了8%;在SIRST公開數(shù)據(jù)集上,本文方法的檢測性能也顯著超過了基于深度學(xué)習(xí)的紅外目標(biāo)檢測模型ACM、MDvsFA-cGAN和多個經(jīng)典的非深度學(xué)習(xí)紅外弱小目標(biāo)檢測方法。

3)在紅外弱小目標(biāo)檢測任務(wù)中,本文方法能有效的提高目標(biāo)檢測的精度。