基于注意力機制和多尺度特征的偽裝目標檢測

蔡俊敏,孫 涵

(南京航空航天大學 計算機科學與技術學院/人工智能學院,江蘇 南京 211106)

0 引 言

在計算機視覺領域,目標檢測一直是一個非常熱門的課題,各種各樣的目標檢測模型層出不窮,并不斷刷新各個性能榜單。在Zhao等人的研究[1]之后,可以將目標檢測大致分為三類,分別是:顯著性目標檢測、通用目標檢測和偽裝目標檢測。顯著性目標檢測旨在識別圖像中最引人注目的目標,并對它們的輪廓進行分割。通用目標檢測往往伴隨著語義分割或者全景分割等任務,需要在識別圖像中目標對應的區(qū)域,并且為之分配可能的標簽和相應的分數(shù)。而偽裝目標檢測則要求識別圖像中被隱藏的目標。偽裝目標是指目標自身的形狀、紋理或者顏色特征等特性導致其與周圍的背景相近的物體。其中偽裝目標檢測由于目標和其背景具有高度相似性,所以檢測起來更加困難。

偽裝圖像大致可分為兩類,天然偽裝和人為偽裝的圖像。昆蟲、頭足類等動物的天然偽裝是一種可以避免被天敵察覺的生存技巧。而人為偽裝通常被應用于視頻檢測過程;還會出現(xiàn)在產(chǎn)品制造的時候(即產(chǎn)品瑕疵檢測);也可以用于游戲或藝術中幫助隱藏信息。

與類別相關的語義分割任務不同,偽裝目標檢測任務與類別無關。偽裝目標檢測的任務簡單且易于定義。給定一張圖像,該任務需要一個偽裝目標檢測算法來為每個像素i分配一個置信度Labeli∈{0,1},其中Labeli表示像素i的概率值。0表示該像素不屬于偽裝目標,而1表示該像素完全屬于偽裝目標。

在偽裝目標檢測領域,如何利用提取到的特征來區(qū)分偽裝目標和背景是一個至關重要的問題。為此,文中提出了基于注意力機制和多尺度特征的偽裝目標檢測算法,該算法主要由兩部分組成:混合尺度解碼器(MSD)和注意力引導模塊(AG)?；旌铣叨冉獯a器對多尺度特征進行解碼得到偽裝目標的初步檢測結果,之后引入反向注意力機制得到最終的偽裝目標檢測結果。

該文的主要貢獻如下:

(1)提出了基于多尺度特征的偽裝目標檢測算法,通過提取到的多尺度特征有效區(qū)分偽裝目標和背景。

(2)設計了混合尺度解碼器和注意力引導模塊,通過級聯(lián)的特征融合單元對多尺度特征進行解碼,之后引入反向注意力機制得到最終的偽裝目標檢測結果。

(3)在COD10K這一數(shù)據(jù)集上與十三個經(jīng)典的深度學習方法進行比較,證明了該方法的有效性。

1 相關工作

1.1 傳統(tǒng)的偽裝目標檢測算法

在傳統(tǒng)的偽裝目標檢測算法中,大部分方法都是基于圖像的低級特征以及一些人為設計的特征(例如圖像的紋理、色彩、亮度、強度)。Galun等人[2]以紋理分割技術為基礎來檢測偽裝物體。鮮曉東等人[3]借助圖像的顏色和紋理信息實現(xiàn)偽裝目標檢測。周靜等人[4]提出基于光流場分割的偽裝運動目標檢測方法,面對更加復雜的場景,這些方法在性能和泛化性上還有待提高。

1.2 基于神經(jīng)網(wǎng)絡的偽裝目標檢測算法

近年來,卷積神經(jīng)網(wǎng)絡的發(fā)展給目標檢測帶來了很大的提升?；谏窠?jīng)網(wǎng)絡的深度學習方法主要分為三類:結合上下文信息的偽裝目標檢測模型、結合注意力機制的偽裝目標檢測模型和結合邊緣信息的偽裝目標檢測模型。

大多數(shù)模型致力于挖掘圖像特征的上下文信息以提升模型的性能。Le等人[5]提出了一個端到端的神經(jīng)網(wǎng)絡——Anabranch Network。該網(wǎng)絡結合了多任務的學習框架,將圖片分類和圖像分割整合到一個模型中。Zheng等人[6]提出了一個密集的反卷積網(wǎng)絡。為了能夠有效地提取高級特征中包含的豐富的語義信息,該網(wǎng)絡采用短連接的方式融合多尺度的高級特征。Fan等人[7]受動物的捕食過程(先發(fā)現(xiàn)獵物,再確定獵物的具體位置)所啟發(fā),提出了SINet。SINet由搜索模塊(SM)和識別模塊(IM)組成,搜索模塊通過多個感受野(RF)組件來模仿人眼感知系統(tǒng)的感受野。

近些年來,引入注意力機制來提升偽裝目標檢測性能的方法也有很多。在顯著性目標檢測方面,Zhao等人[8]提出的PFAN模型認為分辨率較大通道數(shù)較少的低級特征圖保有豐富的細節(jié)和結構信息,適合采用空間注意力加以過濾不需要的空間信息,而分辨率較小通道數(shù)較多的高級特征圖具有豐富的語義特征,適合采用通道注意力來選取有效的語義信息。Chen等人[9]提出的 RANet則設計了反注意力模塊,通過擦除每個側輸出特征中的當前預測區(qū)域來引導整個網(wǎng)絡順序發(fā)現(xiàn)互補對象區(qū)域及細節(jié)。

將這些方法遷移到偽裝目標檢測方向,Sun等人[10]的C2F-Net借助注意力引導的跨級融合模塊,將多級特征與信息注意系數(shù)相結合。

對于邊緣信息,許多研究證明了邊緣檢測在一定程度上可以促進偽裝目標檢測性能的進步。在顯著性目標檢測方面,Zhao等人[11]提出的EGNet將提取的顯著目標結構特征和顯著目標邊緣特征兩個部分相結合,來提升顯著目標的檢測效果。偽裝目標檢測作為與顯著性目標檢測相似的任務,同樣可以借鑒。Ji等人[12]提出的ERRNet利用了邊緣信息,旨在對生物的視覺感知系統(tǒng)進行建模并實現(xiàn)有效的邊緣先驗和潛在偽裝區(qū)域與背景之間的交叉比較。

2 網(wǎng)絡結構

2.1 模型網(wǎng)絡結構

網(wǎng)絡的整體結構如圖1所示。主要由兩部分組成:混合尺度解碼器和注意力引導模塊。

圖1 網(wǎng)絡結構

2.2 混合尺度解碼器

(1)

通過四個級聯(lián)的特征融合單元和幾個卷積層,組成基于多尺度特征的混合尺度解碼器,得到一個單通道的映射圖。最后通過sigmoid函數(shù)得到初步的檢測結果M6并輸出。

2.3 注意力引導模塊

在得到偽裝目標的粗略位置之后,設計了基于反向注意力機制的引導模塊,通過擦除前景目標的方式逐步挖掘偽裝區(qū)域。為了節(jié)省計算資源,該文選擇對三個高層特征的輸出分支進行引導。如圖1所示,從解碼器得到的粗略偽裝圖M6開始,通過從旁路輸出特征中擦除當前預測的偽裝區(qū)域,引導整個網(wǎng)絡逐步地發(fā)掘補充的目標區(qū)域和相關細節(jié)。首先對得到的初步偽裝圖像M6做計算得到反向注意力權重Ak,然后借助該權重引導網(wǎng)絡挖掘有效的偽裝區(qū)域。受文獻[13]啟發(fā),文中對特征進行切片化處理,能夠更加高效地利用之前得到的反向注意力權重。如圖3所示,切片化處理的具體過程可以通過以下的式子表示:

圖3 切片化處理

stepII:FC({p(k,1),Ak},…,{p(k,gk),Ak})→qk

(2)

式中,FS、FC分別表示通道分割和通道連接函數(shù),qk表示加入反向注意力引導之后的特征。

3 實驗結果與分析

3.1 實驗數(shù)據(jù)集

該文提出的算法所采用的訓練集為COD10K+CAMO,訓練完成之后在COD10K的測試集上做測試。CAMO數(shù)據(jù)集是Le等人[5]提出的偽裝目標數(shù)據(jù)集,一共包含2 500張圖像,其中2 000張圖作為訓練集,500張圖像作為測試集,涵蓋了八個類別。COD10K是Fan等人[7]提出的一個大型偽裝目標數(shù)據(jù)集,一共包含10 000張圖像,其中6 000張圖像作為訓練集,4 000張作為測試集。這10 000張圖像劃分為10個超類和78個子類,包括水生、飛行、兩棲和陸地等等。此外,該數(shù)據(jù)集還對偽裝圖像提供了豐富的標簽,包括目標類別、邊界框、對象級標注、實例級標注和具有挑戰(zhàn)性的屬性,如圖4所示。

圖4 COD10K數(shù)據(jù)集示例

3.2 實驗細節(jié)及超參數(shù)設置

文中提出的算法以Res2Net50[16]為骨干網(wǎng)絡,并使用在ImageNet訓練好的權重進行初始化。模型的訓練集采用CAMO+COD10K,一共是4 040張圖像。在模型輸入端,統(tǒng)一將輸入圖像調整為352×352。在模型訓練過程中,使用Adam優(yōu)化器進行訓練。批處理大小設置為32,學習率從1e-4開始,每50個epoch除以10。整個訓練過程共有100個epoch。GPU為Tesla V100。

3.3 性能比較

本節(jié)將所提算法與13個經(jīng)典的深度學習模型進行性能比較,包括FPN[17]、MaskRCNN[18]、PSPNet[19]、Unet++[20]、PiCANet[21]、MSRCNN[22]、PFANet[8]、CPD[23]、HTC[24]、EGNet[11]、PraNet[25]、SINet[7]和SINet-V2[13]。由于偽裝目標檢測是一個新興的領域,因此部分深度學習模型的原本目的是應用于顯著性目標檢測,其中PraNet、SINet和SINet-V2是直接針對偽裝目標檢測的模型。關于這些對比模型的性能指標,主要來自文獻[13]。

3.3.1 定量分析

表1 在COD10K測試集上的性能比較

尤其是與SINet-V2(目前最好的偽裝目標檢測模型)相比,E-measure、F-measure分別增長了0.010(1.1%)、0.024(3.5%)。MAE下降了0.005(13.5%)。

3.3.2 定性分析

為了更直觀地比較所提模型和其他經(jīng)典的深度學習方法,文中還進行了一系列和其他經(jīng)典深度學習方法的視覺對比實驗,并提供可視化展示。由于篇幅有限,本節(jié)只列舉了在COD10K測試集上同SINet、SINet-V2(分別是2020年的SOTA方法和2021年的SOTA方法)兩個經(jīng)典模型的比較,這兩個模型的預測圖是根據(jù)開源的代碼重新訓練和測試生成的,如圖5所示。

圖5 與兩個經(jīng)典模型的可視化比較

從整體來看,文中所提出的偽裝目標檢測算法相比這兩個經(jīng)典方法識別效果更佳,識別出的偽裝目標更加準確,更加完整,更符合對應的真值圖像。具體地說,從前三列圖像中可以看出文中提出的模型輸出的檢測結果幾乎與對應的真值圖像完全一致,而另外兩個模型對于偽裝目標的檢測效果都有一定的缺失,對偽裝區(qū)域均存在誤判的情況。對于第四、五、六列的輸入圖像,盡管SINet和SINet-V2也能識別到大致的偽裝區(qū)域,但偽裝目標的完整性以及邊界細節(jié)均不如文中所提出的算法。總的來說,無論是在整體的目標區(qū)域還是邊界細節(jié)方面,文中所提出的算法相比較其他的模型均能更準確地識別到偽裝目標。

另外,針對Flying子集和Amphibian子集中普遍存在的小目標場景(第七、八、九、十列),文中提出的算法能夠精確地識別出偽裝目標,而另外兩個模型都存在被圖像中的其他目標所干擾的情況,說明文中提出的混合尺度編碼器能夠有效地組合多尺度特征,提升模型對較小偽裝目標的識別效果。

3.4 消融實驗

本節(jié)進行消融實驗,通過分離各個子模塊,分別驗證文中所提模型中各個模塊的有效性。具體結果如表2所示。其中Baseline表示使用相鄰連接解碼器對特征編碼器進行解碼,+MSD表示僅加入混合尺度解碼器,+AG表示僅加入注意力引導模塊,MSD+AG表示既加入混合尺度解碼器,也加入注意力引導模塊。實驗結果表明,文中提出的混合尺度解碼器和注意力引導模塊可以有效提高模型的檢測精度。尤其是注意力引導模塊,通過引入反向注意力機制,可以引導網(wǎng)絡有效地挖掘潛在的偽裝區(qū)域,從而提升模型對偽裝目標的檢測效果。

表2 在COD10K測試集上的消融實驗

另外,還探究了注意力引導模塊中多階段細化中不同階段切片化大小對模型效果的影響,主要探究不同階段基于統(tǒng)一策略和基于漸進式策略的方法。{*,*,*}表示從第一個切片化處理到最后一個切片化處理時的不同切片大小,如{32,8,1}表示三個階段的切片化處理分別將候選特征pi沿通道維度分成32片、8片和1片。如表3所示,相比較其他方案,基于漸進式策略的方法性能更優(yōu)。因此,在文中的其他對比實驗中,均采用漸進式策略的方法。

表3 注意力引導模塊中不同切片化策略的影響

4 結束語

針對偽裝目標結構多樣、尺度不一和目標邊界與其背景具有高度相似性的情況,提出了一種基于注意力機制和多尺度特征的偽裝目標檢測算法,通過混合尺度解碼器和反向注意力模塊,提升了模型的檢測性能。借助四個評估指標將文中算法與現(xiàn)有的十三種算法在COD10K數(shù)據(jù)集上進行測試,結果表明文中算法具有更好的性能,可獲得識別位置更準確、邊界細節(jié)更完善的偽裝目標檢測結果。