基于持續(xù)無監(jiān)督域適應(yīng)策略的水面漂浮物目標(biāo)檢測方法

陳任飛, 彭 勇,*, 李忠文

(1. 大連理工大學(xué)水利工程學(xué)院, 遼寧 大連 116024; 2. 大連理工大學(xué)經(jīng)濟管理學(xué)院, 遼寧 大連 116024)

0 引 言

漂浮垃圾威脅水體生態(tài)系統(tǒng),對環(huán)境造成嚴(yán)重污染[1-2]。應(yīng)對內(nèi)陸水域漂浮垃圾的傳統(tǒng)策略是依靠人力,效率低且成本高[3]。以機器視覺為代表的人工智能技術(shù)在漂浮物治理中得到了廣泛應(yīng)用,通過視覺信息檢測漂浮物是較為經(jīng)濟的解決方案,如無人船和視覺相機[4-5]。近年來出現(xiàn)了基于深度學(xué)習(xí)的方法來解決漂浮物檢測的難題,如Faster R-CNN[6]、YOLO[7]、SSD[8]等。盡管目前在漂浮物檢測方面取得了一定的進步,但仍存在以下問題。

(1) 小尺度漂浮物檢測精度低。大多數(shù)漂浮物的圖像面積較小,缺乏物體檢測的外觀信息,為漂浮物識別和定位帶來巨大挑戰(zhàn)[9-10]?，F(xiàn)有的物體檢測方法通常通過學(xué)習(xí)物體多尺度的表征信息來檢測小物體,如Liu等人利用卷積特征圖檢測小尺度目標(biāo),但淺層的特征圖的判別能力較差,導(dǎo)致了假陽性現(xiàn)象[8]。Tsung等采用特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)代表不同尺度的目標(biāo)對象,通過上采樣將不同分辨率特征圖進行特征融合,但會降低檢測精度[11]。同時,Bai等提出一種端到端的多任務(wù)生成對抗網(wǎng)絡(luò)(multi-task generative adversarial network,MTGAN),通過生成超分辨率網(wǎng)絡(luò)將小尺度目標(biāo)進行上采樣檢測,緩解了FPN中的精度下降問題[10]。Li等提出一種感知生成對抗網(wǎng)絡(luò)(perceptual generative adversarial networks,PGAN),通過縮小不同尺度目標(biāo)的差異性來改善小目標(biāo)檢測性能,但網(wǎng)絡(luò)復(fù)雜造成推理時間長[12]。因此,現(xiàn)有的物體檢測方法并沒有完全解決復(fù)雜水面環(huán)境中的小尺度目標(biāo)物檢測難題。由于小尺度目標(biāo)的檢測依賴于高分辨率特征圖,而低層特征圖在小尺度漂浮物檢測任務(wù)中性能失效[13]。因此,如何調(diào)整多尺度特征層的語義信息,是提升小尺度漂浮物檢測性能的關(guān)鍵。

(2) 域轉(zhuǎn)移會降低檢測性能。由于源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集之間的分布差異,物體檢測性能會大幅下降[14]。以無監(jiān)督域適應(yīng)為代表的遷移學(xué)習(xí)是解決域轉(zhuǎn)移問題的有效方法[15-16]?；谟蜻m應(yīng)的Faster R-CNN和CM-SSD在目標(biāo)檢測的無監(jiān)督域適應(yīng)中得到廣泛應(yīng)用[17-18]。Xiong等提出了一種源數(shù)據(jù)自由域適應(yīng)目標(biāo)檢測方法,通過使用源模型挖掘語義類別信息,以Faster R-CNN為基準(zhǔn)實現(xiàn)域適應(yīng)目標(biāo)檢測[19]。Kim等通過采用生成對抗網(wǎng)絡(luò)構(gòu)造中間域圖像,通過多域判別器學(xué)習(xí)特征以實現(xiàn)特征對齊[20]。上述方法需要滿足整體目標(biāo)域數(shù)據(jù)集在域適應(yīng)過程可用性假設(shè),但現(xiàn)實檢測中包括大量漂浮物場景并且同一場景的環(huán)境也會隨著時間的推移而變化,導(dǎo)致無法直接應(yīng)用于實際場景中的漂浮物目標(biāo)檢測[21]。例如,當(dāng)漂浮物突然進入一個新環(huán)境,導(dǎo)致漂浮物目標(biāo)域和源域數(shù)據(jù)集的分布完全不匹配。持續(xù)學(xué)習(xí)能夠讓深度學(xué)習(xí)網(wǎng)絡(luò)以持續(xù)的方式進行優(yōu)化,適應(yīng)目標(biāo)域物體檢測的新任務(wù)[22]。Hoffman等提出了一種基于流形準(zhǔn)則的方法來處理緩慢變化目標(biāo)域的流式目標(biāo)數(shù)據(jù)[23]。同樣,Wulfmeier等提出了一種基于生成對抗網(wǎng)絡(luò)的持續(xù)適應(yīng)目標(biāo)域的方法[24]。Volpi等認為源域和目標(biāo)域數(shù)據(jù)之間的域轉(zhuǎn)移是隨時間不斷變化的域適應(yīng)問題,通過使用具有輔助源域的元學(xué)習(xí)方法來避免域適應(yīng)過程中的誤差[25]。但上述方法都忽略了連續(xù)域適應(yīng)目標(biāo)檢測中的災(zāi)難性遺忘問題,導(dǎo)致源域模型的檢測性能下降[26]。 因此,現(xiàn)有方法依然無法有效解決物體檢測器的連續(xù)域適應(yīng)問題。

目前漂浮物目標(biāo)檢測與域適應(yīng)方法中存在小尺度漂浮物檢測精度低和域轉(zhuǎn)移會降低檢測性能問題,少有研究將調(diào)整特征層結(jié)構(gòu)和持續(xù)域轉(zhuǎn)移相結(jié)合,更少考慮目標(biāo)檢測網(wǎng)絡(luò)在持續(xù)域轉(zhuǎn)移中的災(zāi)難性遺忘問題。本文基于持續(xù)學(xué)習(xí)提出了一種基于持續(xù)無監(jiān)督域適應(yīng)策略的漂浮物目標(biāo)檢測方法,在目標(biāo)檢測器中通過刪除深層的低分辨率檢測層和增強淺層的高分辨率層,提高了目標(biāo)域中小尺度漂浮物目標(biāo)的檢測性能;在無監(jiān)督域適應(yīng)中基于緩沖區(qū)管理和樣本重放構(gòu)建持續(xù)無監(jiān)督域適應(yīng)方法,緩解災(zāi)難性遺忘問題,并降低目標(biāo)域數(shù)據(jù)集樣本子集域適應(yīng)過程中的檢測性能差異。本方法在多種水面域轉(zhuǎn)移場景下,包括從水面環(huán)境光照到動態(tài)光影條件,從霧天到大雨環(huán)境變化等,在數(shù)據(jù)集上的表現(xiàn)都優(yōu)于現(xiàn)有方法,提升了目標(biāo)檢測網(wǎng)絡(luò)在不同水面場景應(yīng)用中的泛化能力。

1 研究方法

1.1 概述

本文提出的基于持續(xù)無監(jiān)督域適應(yīng)策略的漂浮物目標(biāo)檢測方法包括兩個方面:在目標(biāo)檢測階段,提出了一種水面漂浮物檢測器(single shot multi-box detector for floating target, SSD-FT),以解決漂浮物的復(fù)雜檢測環(huán)境和目標(biāo)尺度問題。在無監(jiān)督域適應(yīng)階段,提出了一種持續(xù)無監(jiān)督域適應(yīng)(continual unsupervised domain adaptation, CDA)方法,以最小化源域數(shù)據(jù)集與目標(biāo)域數(shù)據(jù)集之間的分布差異,提高檢測器在多種場景下的檢測性能。本方法CDA-SSD-FT的整體框架如圖1所示。首先,基于標(biāo)記的源域數(shù)據(jù)集,以標(biāo)簽平滑的方式訓(xùn)練SSD-FT模型,為漂浮物目標(biāo)生成標(biāo)簽。然后,初始化訓(xùn)練好的SSD-FT模型,并將其輸入到目標(biāo)域數(shù)據(jù)集中。緩沖區(qū)管理和樣本重放被應(yīng)用于無監(jiān)督適應(yīng)中,以提高檢測網(wǎng)絡(luò)對整體目標(biāo)域數(shù)據(jù)集的泛化能力。

圖1 持續(xù)無監(jiān)督域適應(yīng)目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)

1.2 改進SSD檢測網(wǎng)絡(luò)

相較于兩階段目標(biāo)檢測算法,以SSD和YOLO為代表的一階段檢測算法能夠平衡精度和速度,但在小目標(biāo)檢測上性能顯著下降[27]。從骨干網(wǎng)絡(luò)復(fù)雜度和集成角度講,SSD算法的VGG16網(wǎng)絡(luò)比YOLO算法的Darknet網(wǎng)絡(luò)更具優(yōu)勢,因此SSD算法作為本研究的基礎(chǔ)網(wǎng)絡(luò)。在目標(biāo)檢測特征提取網(wǎng)絡(luò)中,小目標(biāo)信息更依賴高分辨率特征圖,本研究調(diào)整傳統(tǒng)SSD網(wǎng)絡(luò)的特征圖結(jié)構(gòu)來提升小目標(biāo)漂浮物檢測性能。傳統(tǒng)SSD網(wǎng)絡(luò)包括6個檢測層:38×38(Feature1,F1)、19×19(Feature2,F2)、10×10(Feature3,F3)、5×5(Feature4,F4)、3×3(Feature5,F5)和1×1(Feature6,F6)。調(diào)整后的SSD檢測網(wǎng)絡(luò)見圖2,刪除了低分辨率特征層和增強了高分辨率特征層。具體如下:

圖2 SSD-FT網(wǎng)絡(luò)結(jié)構(gòu)

(1) 刪除深層低分辨率檢測層:由于小目標(biāo)漂浮物分辨率低、圖像噪聲干擾大,傳統(tǒng)SSD檢測網(wǎng)絡(luò)中深層低分辨率特征層無法提取小型漂浮物目標(biāo)的語義信息,其中在分辨率為5×5的F4檢測層下漂浮物模糊且形狀、外觀信息大幅減少,因此檢測層F4及以下的分辨率無法提取小型漂浮物目標(biāo)的有效特征,進行刪除。

(2) 增強淺層高分辨率檢測層:高分辨率特征層能夠提取小尺度漂浮物目標(biāo)的關(guān)鍵信息,但由于高分辨率特征層過于淺層導(dǎo)致特征信息減少,無法有效區(qū)分不同目標(biāo),需要進行特征增強。在特征增強方法中,膨脹卷積在不引入額外參數(shù)的前提下可以任意擴大感受野,同時保持特征圖的分辨率不變提升物體定位精度[28]。因此,采用膨脹卷積的方式擴大特征層的感受野,具體過程見圖3。在分辨率為76×76的特征層F0中增加一個膨脹卷積層以獲得更豐富的語義信息,得到特征增強后的特征層F0°。

圖3 膨脹卷積處理

1.3 持續(xù)無監(jiān)督域適應(yīng)算法

本文采用一個預(yù)訓(xùn)練的源域數(shù)據(jù)模型來解決無監(jiān)督域適應(yīng)問題。首先,從源域數(shù)據(jù)集中訓(xùn)練生成SSD-FT的源域模型。其次,在不訪問源域數(shù)據(jù)的情況下將SSD-FT模型輸入到目標(biāo)域數(shù)據(jù)集。同時,將目標(biāo)域數(shù)據(jù)樣本的一個子集存儲在緩沖區(qū)中,以便與下一個樣本子集的目標(biāo)域數(shù)據(jù)進行樣本重放。最后,新的目標(biāo)域樣本子集與緩沖區(qū)樣本混合,輸入給SSD-FT模型進行域適應(yīng)。

1.3.1 改進SHOT學(xué)習(xí)框架

源域假設(shè)轉(zhuǎn)移(source hypothesis transfer, SHOT)框架將神經(jīng)網(wǎng)絡(luò)分為兩部分:特征編碼模塊和分類器模塊[29]。如圖4(a)所示,分類器模塊對源域假設(shè)的分布信息進行編碼,采用特征編碼模塊進行學(xué)習(xí),但在不斷的域轉(zhuǎn)移過程中,SHOT方法不能達到最佳性能,圖4(a)中的“解鎖”是指對特征提取器持續(xù)進行更新和迭代處理,利用特征學(xué)習(xí)模塊作為目標(biāo)域特征學(xué)習(xí)的初始化;“關(guān)鎖”是指對分類器進行固定處理,采用相同的分類器模塊對不同域的特征進行學(xué)習(xí)。為了滿足在持續(xù)域適應(yīng)過程中漂浮物目標(biāo)的檢測任務(wù),通過調(diào)整特征生成器模型和分類器模型來改進SHOT方法,如圖4(b)所示。在特征生成模型中,采用SSD-FT主干網(wǎng)絡(luò)取代HRNet來獲取小尺度漂浮物的目標(biāo)信息。在分類器模型中,在原分類層中增加了一個位置層,滿足漂浮物目標(biāo)檢測的分類和定位目標(biāo)。

1.3.2 緩沖區(qū)設(shè)計與管理

(1)

(2)

(3)

(4)

(5)

(6)

1.3.3 目標(biāo)損失函數(shù)

信息最大化(information maximization, IM)損失可以實現(xiàn)精確預(yù)測,同時保持網(wǎng)絡(luò)整體多樣性,平衡類分離和分類器的復(fù)雜性[30]。深度神經(jīng)網(wǎng)絡(luò)采用信息最大化的自我增強訓(xùn)練策略,在基準(zhǔn)數(shù)據(jù)集上取得良好性能[31]。因此,采用IM損失作為目標(biāo)函數(shù),保持對每個目標(biāo)樣本子集的精確預(yù)測和SSD-FT網(wǎng)絡(luò)輸出的多樣性。IM損失函數(shù)包括熵值損失Lent和多樣性損失Ldiv,具體計算過程如下:

(7)

(8)

(9)

(10)

(11)

(12)

(13)

Lmix(ft;xt)=-λL1-(1-λ)L2

(14)

Ltotal=Lent+μ1Ldiv+μ2Lmix

(15)

算法 1 基于無監(jiān)督域適應(yīng)策略的水面漂浮物目標(biāo)檢測方法輸入: 目標(biāo)域數(shù)據(jù)集中的每一批次樣本xjt,批次m,緩沖區(qū)樣本Bj-1t 輸出: 包含類別和位置預(yù)測標(biāo)簽信息的yjt參數(shù): 熵值損失Lent,多樣性損失Ldiv,混合交叉熵損失損失Lmix,整體損失Ltotal初始化特征提取模型gt,固定分類和位置模型ht=hs載入源域預(yù)訓(xùn)練模型SSD-FTfor 目標(biāo)域數(shù)據(jù)集中的每一批次樣本xjt do for i←1 to m doif i=1 then Xt←批次樣本xjtelse Xt←批次樣本xjt和緩沖區(qū)樣本 Bj-1t的并集end if 利用式(1)和Softmax和smooth L1計算聚類中心 利用式(3)更新聚類中心 利用式(4)計算漂浮物目標(biāo)偽標(biāo)簽 利用式(5)和式(6)構(gòu)建混合目標(biāo)樣本 利用式(9)計算熵值損失Lent 利用式(10)計算多樣性損失Ldiv 利用式(14)計算混合交叉熵損失損失Lmix 通過最小化整體損失Ltotal優(yōu)化模型 end for 將特征提取模型gt和(xjt,Bj-1t)存儲到下一個緩沖區(qū)Bjtend forreturn漂浮物類別和位置預(yù)測標(biāo)簽信息yjt

2 試驗數(shù)據(jù)集與實驗參數(shù)設(shè)置

本文以VGG16作為SSD-FT網(wǎng)絡(luò)的骨干網(wǎng)絡(luò),進行無監(jiān)督域適應(yīng)漂浮物目標(biāo)檢測實驗。在無監(jiān)督域適應(yīng)中,首先加載預(yù)先訓(xùn)練好的源域SSD-FT模型,然后輸入目標(biāo)域數(shù)據(jù)集樣本子集圖像進行域適應(yīng),通過每個目標(biāo)域數(shù)據(jù)集樣本子集的單次迭代可以實現(xiàn)良好的域適應(yīng)性能。

2.1 水面漂浮物數(shù)據(jù)集來源與制作

目前漂浮物體目標(biāo)數(shù)據(jù)集較少[9],本文根據(jù)不同的場景和對象制作了漂浮物數(shù)據(jù)集,包含漁船、水葫蘆、漂浮野草和塑料瓶。本文使用CCD相機共收集了2 148張漂浮物圖像,包括982張漁船,526張水葫蘆,340張漂浮雜草和300張塑料瓶。為了增強檢測模型的泛化能力,通過鏡像、旋轉(zhuǎn)(±30°和±60°)、隨機裁剪、調(diào)整明暗度和添加噪音,將數(shù)據(jù)集擴大到20 527張圖像,并根據(jù)天氣、水波紋干擾、光照和遮擋,將數(shù)據(jù)集分為五個子集。數(shù)據(jù)1包含5 763個訓(xùn)練集和762個驗證集,包括正常水面環(huán)境下的4類漂浮物。數(shù)據(jù)2包括4類不同天氣條件下的漂浮圖像,其中3 873個訓(xùn)練集和625個驗證集。數(shù)據(jù)3包含3 162個標(biāo)記的訓(xùn)練集圖像,以及在水面波紋干擾條件下的565個驗證集。數(shù)據(jù)4包含在不同的光線條件下的2 123個訓(xùn)練集和462個驗證集。數(shù)據(jù)5包含4種類型的漂浮物被遮擋的圖像,其中包括2 866個訓(xùn)練集和326個驗證集。

2.2 不同域適應(yīng)場景設(shè)置

為了驗證本方法的檢測效果,根據(jù)上述5個數(shù)據(jù)集分別在4個域適應(yīng)場景中進行實驗。

(1) 不同天氣下的域適應(yīng)(數(shù)據(jù)1到數(shù)據(jù)2)。為了驗證本方法在不同天氣環(huán)境下的域適應(yīng)性能,進行了從數(shù)據(jù)1到數(shù)據(jù)2的實驗。源域數(shù)據(jù)是正常天氣狀況,目標(biāo)域數(shù)據(jù)包含不同天氣情況。

(2) 波紋干擾域適應(yīng)(數(shù)據(jù)2至數(shù)據(jù)3)。進行了一個從數(shù)據(jù)2到數(shù)據(jù)3的實驗,以驗證將天氣場景轉(zhuǎn)移到水面波紋干擾場景的檢測性能。源域數(shù)據(jù)為數(shù)據(jù)2,目標(biāo)域數(shù)據(jù)為數(shù)據(jù)3。

(3) 光照變化域適應(yīng)(數(shù)據(jù)3到數(shù)據(jù)4)。為了本方法在光線變化場景下的檢測性能,設(shè)計了從數(shù)據(jù)3轉(zhuǎn)移到數(shù)據(jù)4實驗,其中數(shù)據(jù)3和數(shù)據(jù)4分別是源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)。

(4) 物體遮擋域適應(yīng)(數(shù)據(jù)4到數(shù)據(jù)5)。設(shè)計了一個從數(shù)據(jù)4轉(zhuǎn)移到數(shù)據(jù)5的實驗,目的是驗證本方法在目標(biāo)遮擋情況下的域適應(yīng)能力。數(shù)據(jù)4和數(shù)據(jù)5分別是源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)。

2.3 平臺及參數(shù)設(shè)置

本文以Pascal VOC 2007訓(xùn)練出的SSD模型作為權(quán)重起點對網(wǎng)絡(luò)進行微調(diào),基于Ubuntu 18.04 LTS操作系統(tǒng),計算機配置為Inter i7 CPU,32 G運行內(nèi)存,搭配顯卡為RTX 3080,算法平臺為Python3.8版本的Pytorch 1.6的深度學(xué)習(xí)框架,初始學(xué)習(xí)率為0.000 1,優(yōu)化器使用Adam優(yōu)化方法,總共進行150 000次訓(xùn)練迭代,訓(xùn)練批次大小為16,輸入圖像分辨率為300×300,同時,本文調(diào)整參數(shù)μ1和μ2大小,發(fā)現(xiàn)當(dāng)μ1=1和μ2=0.5時域適應(yīng)達到最佳水平。

本文將CDA-SSD-FT的檢測精度與其他4種無監(jiān)督域適應(yīng)算法進行比較。① 源域訓(xùn)練的SSD-FT模型直接應(yīng)用于整體目標(biāo)域數(shù)據(jù)集;② 跨域物體檢測方法CM-SSD模型[18];③ DA-FRCNN模型,基于Faster RCNN的域適應(yīng)模型算法,是第一個用于物體檢測的無監(jiān)督域適應(yīng)方法[17];④ D-adapt模型,整合了分類和邊界框域適應(yīng),將對抗性適應(yīng)和檢測器的訓(xùn)練進行解耦[32]。

3 實驗及結(jié)果討論

3.1 定量分析結(jié)果

(1) 不同天氣的域適應(yīng)

與正常天氣相比,霧天和雨天場景將增加小型漂浮物的檢測難度。本文進行了從正常天氣到惡劣天氣的轉(zhuǎn)移實驗,將CDA-SSD-FT與源域SSD-FT模型、CM-SSD、DA-FRCNN和D-adapt方法進行比較。從表1(Data1→Data2)可以看出,CDA-SSD-FT模型與源SSD-FT模型相比,在mAP方面有18.5%的提升,說明引入緩沖區(qū)和樣本混合方法顯著提升檢測精度。同時,與CM-SSD、DA-FRCNN和D-adapt方法相比,CDA-SSD-FT在4種漂浮物檢測中具有明顯優(yōu)勢,原因在于CM-SSD將物體外觀和材質(zhì)紋理域轉(zhuǎn)移分類器融合到特征提取層,但增加了整體目標(biāo)域數(shù)據(jù)集上的泛化誤差。D-adapt方法采用對抗性適應(yīng)和檢測器訓(xùn)練方法,整合類別適應(yīng)和邊界框適應(yīng),提升了水面漂浮物目標(biāo)在天氣域轉(zhuǎn)移精度,但由于未考慮復(fù)雜目標(biāo)域數(shù)據(jù)集可用性問題,降低了域適應(yīng)水平。

表1 4類場景定量化分析結(jié)果

表1中,除了CDA-SSD-FT應(yīng)用在一個持續(xù)目標(biāo)域樣本子集外,其他4個模型應(yīng)用于整體目標(biāo)域。

(2) 波紋干擾域適應(yīng)

和惡劣天氣一樣,水面上的波紋干擾會增加漂浮物檢測環(huán)境的復(fù)雜性。如表1(Data2→Data3)所示,CDA-SSD-FT模型檢測精度遠遠超過CM-SSD,達到19.4%。與惡劣天氣下的域適應(yīng)相比,本方法在波紋干擾情況下的平均檢測精度下降了5.5%,這是由于波紋干擾水面場景更大概率出現(xiàn)變化,目標(biāo)檢測器無法準(zhǔn)確識別水葫蘆和塑料瓶造成的。

(3) 光照變化域適應(yīng)

光照變化域適應(yīng)實驗結(jié)果如表1(Data3→Data4)所示,DA-FRCNN相對于源域SSD-FT在四類漂浮物目標(biāo)中的平均精度提高了6.2%。DA-FRCNN方法通過圖像和實例維度進行域適應(yīng),重點解決光照、外觀和尺寸的域轉(zhuǎn)移問題,提升了漂浮物目標(biāo)在不同關(guān)照域轉(zhuǎn)移的精度,但在持續(xù)域轉(zhuǎn)移過程中的檢測效果低于CDA-SSD-FT模型 7.6%。結(jié)果表明,利用SSD-FT骨干網(wǎng)絡(luò)進行持續(xù)域適應(yīng)可以顯著提高小尺度漂浮物檢測模型的泛化能力。

(4) 物體遮擋域適應(yīng)

漂浮物目標(biāo)之間的相互遮擋導(dǎo)致檢測器無法提取有效特征,尤其是在漂浮物目標(biāo)的尺寸和像素較小的場景中。實驗結(jié)果如表1(Data4→Data5)所示,雖然應(yīng)用更復(fù)雜的目標(biāo)遮擋數(shù)據(jù)集,但CDA-SSD-FT模型與源域SSD-FT模型相比,mAP提升約10%。同時,由于D-adapt方法整合了分類和邊界框域適應(yīng),D-adapt方法對4種漂浮物目標(biāo)的mAP達到了74.2%,比CM-SSD和DA-FRCN分別高出3.4%和0.2%。

(5) 不同緩沖區(qū)和樣本子集域適應(yīng)

為了驗證本方法在不同緩沖區(qū)和樣本子集大小的域適應(yīng)水平,本文將緩沖區(qū)大小設(shè)置為124,為每類漂浮物目標(biāo)設(shè)置4個緩沖區(qū)槽,樣本數(shù)據(jù)集的子集大小設(shè)定為256。實驗結(jié)果如表2所示,SSD-FT模型在4個場景中的精度均高于SSD,更適合在復(fù)雜水環(huán)境中檢測小尺度漂浮物目標(biāo)。但在4個場景實驗中,引入緩沖區(qū)的SSD-FT模型的平均精度低于SSD-FT 1.8%。經(jīng)分析可知,在目標(biāo)域持續(xù)無監(jiān)督域適應(yīng)過程中會形成大量的噪聲信息,降低了目標(biāo)檢測器的精度。引入緩沖區(qū)和樣本混合的CDA-SSD-FT模型比SSD-FT提高了16.8%的精度,說明樣本混合有效減少了噪聲標(biāo)簽的數(shù)量。

表2 緩沖區(qū)和樣本子集域適應(yīng)結(jié)果

以不同天氣域適應(yīng)為例,本文通過調(diào)整緩沖區(qū)和樣本子集大小驗證本方法有效性,兩組對比實驗:① 樣本子集大小固定為256和6個不同的緩沖區(qū),100,124,200,300,400和500;② 剔除緩沖區(qū),設(shè)定4個樣本子集,16,64,128和 256。實驗結(jié)果見圖5,通過引入緩沖區(qū),CDA-SSD-FT模型在不同天氣域適應(yīng)性能顯著提升。如圖5(a)所示,引入緩沖區(qū)和樣本混合的CDA-SSD-FT模型檢測精度比未引入緩沖區(qū)的模型提高了16.2%。此外,如圖5(b)所示,隨著樣本子集數(shù)量的增加,CDA-SSD-FT模型的檢測精度不斷提升,當(dāng)樣本子集大小從16個增加到256個時,整體精度提高了7.6%。

圖5 不同緩沖區(qū)和樣本子集域適應(yīng)下性能對比

3.2 定性分析結(jié)果

上述實驗從定量角度分析了本方法在4個場景中的有效性,本文將從可視化角度分析本方法的性能。不同場景的實驗定性結(jié)果見圖6。從圖6(a)可以看出,CDA-SSD-FT模型可以準(zhǔn)確識別圖像中的所有水葫蘆目標(biāo),預(yù)測準(zhǔn)確率框中的最小置信度為0.83。圖像中的兩個水葫蘆被源域SSD-FT模型誤檢為漂浮雜草,降低了該模型的檢測精度。如圖6(b)所示,CDA-SSD-FT模型在大霧天氣下對漁船的檢測性能要高于其他4個模型。CM-SSD、DA-FRCNN和D-adapt算法無法檢測圖像中的塑料瓶目標(biāo),而源域SSD-FT模型對塑料瓶檢測精度達到0.63,比這3種算法更適合小范圍的漂浮物檢測任務(wù)。同時,CDA-SSD-FT模型可以為圖6(c)中的漂浮物目標(biāo)構(gòu)建更緊密的邊界框,表明本方法比其他4個算法具有更好的檢測性能。如圖6(d)所示,D-adapt和源域SSD-FT模型將水面反射誤檢為水葫蘆,而CM-SSD和DA-FRCNN模型則產(chǎn)生漏檢,本方法準(zhǔn)確地檢測到了漂浮物圖像中的所有目標(biāo)。

3.3 消融實驗

本研究中的目標(biāo)檢測算法同時對VGG16骨干網(wǎng)絡(luò)的淺層特征層和深層特征層進行了改進,為了評估不同特征層改進和組合對算法性能優(yōu)化的程度,設(shè)計了消融實驗,表3為消融實驗數(shù)據(jù)。在相同的實驗環(huán)境下,在數(shù)據(jù)集3(波紋干擾)上進行了實驗統(tǒng)計。結(jié)果表明,調(diào)整后的淺層和深層特征層單獨應(yīng)用能對檢測性能產(chǎn)生正向優(yōu)化,其中增強淺層高分辨率檢測層對于識別精度的貢獻相對較為明顯,mAP提升6.4%,刪除深層低分辨率檢測層對于檢測速度的提升相對顯著,提高了3.8 FPS。不同組合對檢測性能的整體表現(xiàn)基本呈現(xiàn)正向優(yōu)化。不同特征層改進和同時組合應(yīng)用對檢測精度和速度優(yōu)化效果最好。

表3 消融實驗數(shù)據(jù)

圖7列出了消融實驗下漂浮物目標(biāo)檢測性能的對比。從傳統(tǒng)SSD網(wǎng)絡(luò)到SSD-FT網(wǎng)絡(luò)的檢測結(jié)果,實驗表明,消融實驗組出現(xiàn)了漏檢和誤檢,本算法能夠準(zhǔn)確識別圖中的漂浮物目標(biāo)。

圖7 消融實驗對比示例

3.4 結(jié)果討論

(1) 誤差分析

通過對4類漂浮物的預(yù)測結(jié)果比較CDA-SSD-FT模型與其他四個模型的檢測精度。根據(jù)檢測框與真實框的重合度IOU將檢測結(jié)果分為:Correct:IOU>0.5; Mislocation:0.1

圖8 檢測誤差分析結(jié)果

(2) 參數(shù)分析

本文通過調(diào)整參數(shù)μ1和μ2的各種組合來分析參數(shù)的敏感性,采取的方法是固定其中一個參數(shù),同時不斷改變另一個參數(shù)大小來分析性能變化。參數(shù)優(yōu)化的結(jié)果如圖9所示,當(dāng)參數(shù)μ2固定時,對參數(shù)μ1不斷調(diào)整,當(dāng)μ1=1時CDA-SSD-FT模型的最大檢測精度達到了85.4%。同時,當(dāng)μ2調(diào)整為0.5時,模型檢測精度最高,說明本方法對μ1和μ2的變化不敏感,在μ1和μ2達到3.5之前,CDA-SSD-FT模型檢測精度高于比源域SSD-FT模型。

圖9 參數(shù)分析結(jié)果

(3) 其他對比分析

為了驗證CDA-SSD-FT的可靠性和穩(wěn)健性,本研究將其與CM-SSD、DA-FRCNN和D-adapt在檢測效率和模型大小方面進行比較。表4顯示了不同方法的檢測參數(shù)。與其他算法相比,CDA-SSD-FT的檢測精度最高。CDA-SSD-FT的檢測速度與D-adapt大體一致。D-adapt使用對抗性適應(yīng)和檢測器訓(xùn)練方法,整合了類別適應(yīng)和邊界框適應(yīng),極大地減少了參數(shù)的數(shù)量,有效地控制了計算效率。同時,CDA-SSD-FT具有最少的參數(shù)數(shù)量和最小的模型內(nèi)存。DA-FRCNN的檢測速度最慢,大約是CDA-SSD-FT檢測速度的4倍。因此,現(xiàn)有的無監(jiān)督域適應(yīng)目標(biāo)檢測方法對檢測對象和環(huán)境要求較高,缺乏魯棒性。此外,本研究將YOLOv5與連續(xù)無監(jiān)督域適應(yīng)方法相結(jié)合,以驗證所提方法的可擴展性。如表4所示,CDA-YOLOv5的檢測精度明顯低于CDA-SSD-FT,說明YOLOv5在小規(guī)模漂浮物數(shù)據(jù)集上的檢測精度較低。與DA-FRCNN相比,可以發(fā)現(xiàn),由于參數(shù)數(shù)量較少,CDA-YOLOv5的檢測速度提高了42.5%。從檢測精度、計算速度、模型大小等方面綜合判斷,CDA-SSD-FT是最可靠、最適合應(yīng)用于小尺度漂浮物檢測任務(wù)的算法。

表4 不同方法檢測效率和模型大小對比

4 結(jié) 論

本文提出了一種基于持續(xù)無監(jiān)督領(lǐng)域適應(yīng)策略的漂浮物目標(biāo)檢測方法,包括改進的SSD-FT網(wǎng)絡(luò)和持續(xù)無監(jiān)督域適應(yīng)方法。首先,SSD-FT網(wǎng)絡(luò)是通過刪除深層的低分辨率特征層,增強淺層的高分辨率特征層來解決漂浮物的復(fù)雜檢測環(huán)境和目標(biāo)尺度問題。其次,基于源域數(shù)據(jù)集,通過結(jié)合無監(jiān)督域適應(yīng)與緩沖區(qū)管理和樣本混合,將其初始化模型輸入到樣本子集的目標(biāo)域數(shù)據(jù)集。最后,在4個不同水面場景中進行域適應(yīng)對比實驗,結(jié)果表明,本方法的檢測精度均高于其他無監(jiān)督域適應(yīng)方法,兼顧了檢測精度和效率,有效提高漂浮物檢測網(wǎng)絡(luò)在不同水面環(huán)境的泛化能力,滿足了水面漂浮物檢測精度需求。

與其他無監(jiān)督域適應(yīng)算法相比,本方法在小尺度的漂浮物目標(biāo)中具有良好的域適應(yīng)性能。然而也有以下局限性:首先,嘗試將YOLOv5應(yīng)用于持續(xù)無監(jiān)督域適應(yīng)中,但精度低于SSD的方法;其次,在實際應(yīng)用中目標(biāo)域處于動態(tài)變化過程,限制了實際工程應(yīng)用。在未來,本文將進一步分析該模型的適用性以及動態(tài)目標(biāo)域?qū)υ撃Ｐ偷挠绊憽?/p>