融合混合域注意力的YOLOv4在船舶檢測(cè)中的應(yīng)用

趙玉蓉,郭會(huì)明,焦 函,章俊偉

(1.中國(guó)航天科工集團(tuán)第二研究院,北京 100039; 2.北京航天長(zhǎng)峰股份有限公司,北京 100039)

0 引 言

隨著“一帶一路”的推進(jìn)，海上監(jiān)視變得更加重要。違法船舶通過(guò)長(zhǎng)期關(guān)閉AIS系統(tǒng)、GPS系統(tǒng)來(lái)規(guī)避監(jiān)管，進(jìn)行走私、偷渡等違法犯罪活動(dòng)。目前海事部門缺乏對(duì)船舶、船員進(jìn)行主動(dòng)定位與識(shí)別的技術(shù)手段，而船舶檢測(cè)則是海上主動(dòng)監(jiān)測(cè)的基礎(chǔ)。船舶檢測(cè)可以判斷是否存在停滯或者登陸等異常航行行為，并對(duì)船舶異常行為進(jìn)行主動(dòng)報(bào)警，可與其他時(shí)空傳感器系統(tǒng)集成，實(shí)時(shí)分析船舶狀態(tài)，輔助相關(guān)部門及時(shí)決策。由于船型復(fù)雜多樣、海洋環(huán)境多變等多重因素，船舶檢測(cè)比陸地目標(biāo)檢測(cè)更加具有挑戰(zhàn)性。

基于圖像的船舶檢測(cè)按照?qǐng)D像來(lái)源分類可分為雷達(dá)圖像檢測(cè)[1]、遙感圖像檢測(cè)[2]、視覺(jué)圖像檢測(cè)[3]，遙感圖像的獲取和處理通常需要時(shí)間成本，難以做到實(shí)時(shí)檢測(cè)。為了做到對(duì)海上船舶的實(shí)時(shí)主動(dòng)監(jiān)控，本文主要研究基于視覺(jué)圖像的船舶檢測(cè)。由于水面環(huán)境特殊多變，海上視覺(jué)圖像的背景更加復(fù)雜，從中準(zhǔn)確識(shí)別船舶也面臨巨大的挑戰(zhàn)。

基于視覺(jué)圖像的船舶檢測(cè)經(jīng)典方法之一便是海天線檢測(cè)方法。通過(guò)海天線檢測(cè)提取出水面部分，可以進(jìn)一步縮小目標(biāo)檢測(cè)范圍并且提高圖像處理速度和準(zhǔn)確性。Mohanty等人[4]假設(shè)海天線水平，通過(guò)行平均計(jì)算出圖像梯度最大值從而獲取海天線，但是此方法易受海波紋影響，當(dāng)海天線傾斜時(shí)檢測(cè)準(zhǔn)確性會(huì)受到嚴(yán)重干擾。隨著基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)檢測(cè)方法快速發(fā)展，近年來(lái)也開(kāi)始被應(yīng)用于海上船舶的檢測(cè)。文獻(xiàn)[5]使用全卷積網(wǎng)絡(luò)的海天線檢測(cè)方法分割海天區(qū)域，利用sobel邊緣檢測(cè)，最后使用霍夫變換提取出海天線，但這種方法易受云層的干擾。一些研究人員把CNN引入到遙感圖像的船舶檢測(cè)中，如文獻(xiàn)[6]將檢測(cè)任務(wù)劃分成不同深度的網(wǎng)絡(luò)，結(jié)合了定位網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)的優(yōu)點(diǎn)，但是此類方法是基于遙感圖像的自上而下視角，不能滿足實(shí)時(shí)視頻的檢測(cè)要求。

為了解決復(fù)雜環(huán)境下船舶實(shí)時(shí)檢測(cè)的問(wèn)題，本文將加入注意力機(jī)制的YOLOv4算法(YOLO-marine)應(yīng)用于船舶檢測(cè)。為進(jìn)一步使背景復(fù)雜化以及擴(kuò)充數(shù)據(jù)集，使用Mosaic算法處理船舶數(shù)據(jù)集；使用K-means++聚類算法得出適用于船舶檢測(cè)的anchor；以YOLOv4網(wǎng)絡(luò)為基礎(chǔ)，將CBAM模塊加入到backbone中，進(jìn)一步提升網(wǎng)絡(luò)提取特征的能力。為了節(jié)省訓(xùn)練時(shí)間和計(jì)算資源，將網(wǎng)絡(luò)在COCO數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，之后在船舶數(shù)據(jù)集上微調(diào)參數(shù)繼續(xù)訓(xùn)練。實(shí)驗(yàn)結(jié)果表明YOLO-marine算法在提升了船舶檢測(cè)的精度的同時(shí)未大幅度降低檢測(cè)速度，可滿足船舶檢測(cè)任務(wù)實(shí)時(shí)和高精度的要求。

1 相關(guān)研究

1.1 基于YOLO模型的船舶檢測(cè)

YOLO[7-10]模型是單級(jí)式目標(biāo)檢測(cè)模型的經(jīng)典代表，將目標(biāo)檢測(cè)問(wèn)題作為一個(gè)回歸問(wèn)題，整個(gè)檢測(cè)流程是單個(gè)網(wǎng)絡(luò)，檢測(cè)速度快，具有較強(qiáng)的泛化能力，近年來(lái)研究者將YOLO模型引入了船舶檢測(cè)領(lǐng)域。文獻(xiàn)[11]將YOLOv2網(wǎng)絡(luò)與SVM分類器結(jié)合實(shí)現(xiàn)復(fù)雜背景下的船舶檢測(cè)和識(shí)別。文獻(xiàn)[12]使用soft-nms算法代替YOLOv3中的NMS算法，結(jié)合基于頻率調(diào)整的FN算法獲得顯著區(qū)域的船舶特征，提高了小目標(biāo)與重疊目標(biāo)的檢測(cè)效果。Bochkovski等人[10]在2020年提出了YOLOv4網(wǎng)絡(luò)，結(jié)合Darknet53和CSPNet提出了CSPDarknet53，并使用了SPP+PAN的模式。YOLOv4網(wǎng)絡(luò)在小目標(biāo)檢測(cè)和模糊目標(biāo)檢測(cè)上都有突出的優(yōu)點(diǎn)，同時(shí)較YOLOv3提高了準(zhǔn)確率。文獻(xiàn)[13]在自建船舶數(shù)據(jù)集上使用YOLOv4算法，驗(yàn)證了算法在船舶檢測(cè)上的優(yōu)越性能，說(shuō)明YOLOv4算法可以很好地避免背景、光線、遮擋等因素的影響。

YOLOv4高精度和快速檢測(cè)的特性正好滿足海事領(lǐng)域?qū)τ诖皺z測(cè)高準(zhǔn)確率和快速實(shí)時(shí)監(jiān)管的要求，因此本文的模型主要基于YOLOv4，通過(guò)改進(jìn)模型和調(diào)節(jié)參數(shù)進(jìn)一步提高船舶檢測(cè)精度，使檢測(cè)模型更加適用于海上船舶的檢測(cè)。

1.2 注意力機(jī)制

注意力機(jī)制是卷積神經(jīng)網(wǎng)絡(luò)中十分有效的組件，可用于增加網(wǎng)絡(luò)的表達(dá)能力。Hu等人[14]提出了SENet(SE)，并將SE結(jié)構(gòu)插入多種分類網(wǎng)絡(luò)中，均得到不錯(cuò)的效果。STN[15]使用一個(gè)空間轉(zhuǎn)換器來(lái)變換圖像中的空間域信息，從而提取關(guān)鍵信息。Woo等人[16]進(jìn)一步拓展了SENet，將通道域與空間域結(jié)合提出CBAM，作者通過(guò)實(shí)驗(yàn)證明將通道注意力模塊、空間注意力模塊順序組合可以得到最佳的提升效果。

受到注意力機(jī)制的啟發(fā)，研究人員開(kāi)始將注意力機(jī)制引入船舶檢測(cè)任務(wù)中。Bi等人[17]使用自上而下的注意機(jī)制在整個(gè)檢測(cè)場(chǎng)景中提取候選區(qū)域，Song等人[18]提出了一種光學(xué)衛(wèi)星圖像船舶自動(dòng)檢測(cè)的算法，該算法對(duì)云干擾具有很好的魯棒性。上述研究均是基于衛(wèi)星圖像，這些研究說(shuō)明注意力機(jī)制在船舶檢測(cè)問(wèn)題中效果顯著，但目前將注意力機(jī)制引入基于視頻監(jiān)控圖像的船舶檢測(cè)的研究有所欠缺。Cui等人[19]將SE模塊嵌入YOLOv3網(wǎng)絡(luò)中，并減少了網(wǎng)絡(luò)參數(shù)，將船舶檢測(cè)精度提升了1%。

由于CBAM模塊超輕量的特性，更加適合部署到終端，本文將CBAM注意力模塊引入到Y(jié)OLOv4網(wǎng)絡(luò)中，在不影響模型的實(shí)時(shí)檢測(cè)的情況下增強(qiáng)網(wǎng)絡(luò)提取全局信息的能力，從而提升檢測(cè)精度，這樣就更加符合海事領(lǐng)域高準(zhǔn)確率和實(shí)時(shí)檢測(cè)的要求。

1.3 船舶數(shù)據(jù)集

神經(jīng)網(wǎng)絡(luò)是一種數(shù)據(jù)驅(qū)動(dòng)的方法，船舶檢測(cè)的性能必須依賴大規(guī)模且高質(zhì)量的訓(xùn)練數(shù)據(jù)集。目前一些開(kāi)放的大型數(shù)據(jù)集，如ImageNet[20]、PASCAL VOC2007[21]、COCO中都包含船舶這一類別。如表1所示，這些大型數(shù)據(jù)集中船的種類少，數(shù)據(jù)量小，無(wú)法滿足特定場(chǎng)景下的船舶檢測(cè)任務(wù)。

表1 船舶數(shù)據(jù)集對(duì)比

近些年來(lái)研究者也建立了一些專門用于船舶檢測(cè)場(chǎng)景的數(shù)據(jù)集，如seaship[22]、Mcships[23]等。Mcships共有來(lái)源于各大網(wǎng)站與船舶視頻的14709張軍艦和民船的圖像，共包含13種類型的船舶，但此數(shù)據(jù)集目前未公開(kāi)。

seaship中共有來(lái)源于珠?，F(xiàn)場(chǎng)視頻監(jiān)控捕捉的31455張像素為1920×1080的民用船舶圖像，包含了礦石船、散貨船、普通貨船、集裝箱船、漁船和客船6類船舶，此數(shù)據(jù)集考慮了不同類船舶、不同船體比例、不同視角、不同光照和各種復(fù)雜背景中不同遮擋程度等因素，目前該數(shù)據(jù)集公開(kāi)7000張圖像。表1對(duì)比了不同數(shù)據(jù)集的差異。

2 YOLO-marine模型

2.1 基于船舶目標(biāo)的錨框設(shè)置

初始anchor影響檢測(cè)的精度和速度，顯然原始YOLOv4中的anchor無(wú)法滿足本文的船舶檢測(cè)任務(wù)，本文使用K-Means++[24]算法對(duì)9211個(gè)船舶邊界框進(jìn)行聚類得到初始anchor。圖1所示為anchor數(shù)量與average IoU之間的規(guī)律關(guān)系圖。

從圖1看出，隨著anchor數(shù)量的增加，聚類框的average IoU也在增大。選擇anchor number=9，average IoU=74.62%時(shí)的聚類框作為檢測(cè)的初始anchor，得到3個(gè)尺度的anchor。如表2所示聚類得到的框?qū)捒偸切∮诳蚋?，這也符合船型的事實(shí)。

圖1 anchor數(shù)量與average IoU的關(guān)系圖

表2 不同尺度的anchor

2.2 YOLO-marine網(wǎng)絡(luò)結(jié)構(gòu)

本文所用的檢測(cè)模型是基于YOLOv4[10]，原始網(wǎng)絡(luò)的backbone部分使用CSPDarkNet53，Neck部分使用SPP+PAN的結(jié)構(gòu)，Head部分則延續(xù)YOLOv3。為了進(jìn)一步增強(qiáng)網(wǎng)絡(luò)提取船舶特征的能力從而提升船舶檢測(cè)的精度，如圖2所示本文將CBAM[16]加入backbone部分的殘差結(jié)構(gòu)中，增加網(wǎng)絡(luò)感受野，對(duì)特征進(jìn)行自適應(yīng)細(xì)化處理。

圖2 YOLO-marine網(wǎng)絡(luò)結(jié)構(gòu)圖

channel attention部分更加關(guān)注有意義的特征，如公式(1)所示，輸入A×B×C的特征F，先分別進(jìn)行空間域的maxpool和avgpool得到2個(gè)1×1×C的通道信息。然后將信息分別送入一個(gè)2層的感知器MLP得到特征，2個(gè)特征相加后經(jīng)過(guò)一個(gè)Sigmoid激活函數(shù)最終得到權(quán)重系數(shù)Mc。

將在通道注意力模塊得到的權(quán)重參數(shù)Mc與原始特征相乘作為spatial attention部分的輸入，此部分更加關(guān)注有意義特征的位置。如公式(2)先對(duì)輸入的特征分別進(jìn)行通道域的maxpool和avgpool得到2個(gè)A×B×1 的通道信息，并將這2個(gè)信息按照通道拼接在一起后進(jìn)入一個(gè) 7×7 的卷積層f7×7，激活函數(shù)為 Sigmoid，最終得到權(quán)重系數(shù) Ms。將得到的權(quán)重系數(shù)Ms與輸入特征相乘得到最終注意力模塊的輸出特征F′，如公式(3)所示。

Mc(F)=σ(MLP(avgpool(F))+MLP(maxpool(F)))

(1)

Ms(F)=σ(f7×7([avgpool(F)；maxpool(F)]))

(2)

F′=Ms(Mc(F)°F)×(Mc(F)°F)

(3)

詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，將原始圖像縮放為416×416×3的大小作為網(wǎng)絡(luò)的輸入，經(jīng)過(guò)backbone特征提取后進(jìn)入SPP+PAN金字塔結(jié)構(gòu)網(wǎng)絡(luò)融合不同尺度的特征信息，劃分出52×52、26×26、13×13這3個(gè)尺度的網(wǎng)格區(qū)域，在每個(gè)網(wǎng)格區(qū)域均預(yù)測(cè)3個(gè)邊界框，得到52×52×33、26×26×33、13×13×33這3個(gè)特征向量，向量中包含box的坐標(biāo)、置信度和6個(gè)類別的概率。

2.3 CIoU損失函數(shù)

Losstotal=losslocation+lossconf+lossclass

(4)

(1-ci′)log(1-ci)]

(5)

(1-pi′(c))log(1-pi(c))]

(6)

MSE損失函數(shù)把box的各中心點(diǎn)當(dāng)作自變量，但實(shí)際上這些信息是有關(guān)聯(lián)的。因此為了充分考慮邊界框的重疊面積、中心點(diǎn)的距離和寬高比等信息以獲得更好的收斂速度和精度，本文使用CIoU損失函數(shù)來(lái)計(jì)算box的損失，box的損失計(jì)算過(guò)程如公式(7)～公式(10)。v是衡量寬高比的一致性參數(shù)，λ為損失系數(shù)，α是權(quán)衡的參數(shù)，ρ2(b,bgt)為預(yù)測(cè)框與真實(shí)框中心的歐氏距離，c是閉包區(qū)域的對(duì)角線距離，gt代表真實(shí)框的信息，w、h分別表示box的寬、高。

(7)

(8)

(9)

(10)

2.4 基于DIoU的后處理

經(jīng)過(guò)網(wǎng)絡(luò)模型得到預(yù)測(cè)框之后需要對(duì)產(chǎn)生的邊界框進(jìn)行篩選，此時(shí)對(duì)所有邊界框計(jì)算得分，如公式(11)所示,其中boxconf為預(yù)測(cè)框的置信度，P為預(yù)測(cè)類別的概率。

score=boxconf×P

(11)

然后設(shè)定得分閾值，刪除得分低于閾值的框。接下來(lái)對(duì)每個(gè)類別執(zhí)行基于DIoU的非極大抑制操作(DIoU-NMS[25])，不同于傳統(tǒng)的NMS只考慮重疊區(qū)域而忽略了邊界框的位置，DIoU-NMS同時(shí)考慮邊界框中心的距離和重疊區(qū)域。首先依據(jù)得分進(jìn)行排序，選出得分最高的邊界框；然后設(shè)定閾值n，遍歷其余的框，通過(guò)公式(12)和公式(13)分別計(jì)算此框與得分最高框的IoU與DIoU，其中ρ2(A,B)為2個(gè)框之間的歐氏距離，c是閉包區(qū)域的對(duì)角線距離，若IoU-R_DIoU大于n，則刪除此框；從剩余框中繼續(xù)選擇得分最高的框，重復(fù)上述過(guò)程，最終得到檢測(cè)結(jié)果。

(12)

(13)

2.5 YOLO-marine模型訓(xùn)練

2.5.1 船舶數(shù)據(jù)增強(qiáng)

選用seaship[22]數(shù)據(jù)集進(jìn)行模型的訓(xùn)練與測(cè)試，此數(shù)據(jù)集共有31455張(僅使用開(kāi)源的7000張)船舶圖像，包含礦石船、散貨船、普通貨船、集裝箱船、漁船和客船共6類船舶。為充分了解數(shù)據(jù)集分布情況，對(duì)數(shù)據(jù)集中各個(gè)類別的目標(biāo)數(shù)做出統(tǒng)計(jì)分析，如圖3所示。

圖3 seaship數(shù)據(jù)集中各類船舶目標(biāo)統(tǒng)計(jì)圖

從圖3可知客船的占比明顯較少，這將影響最終的檢測(cè)效果。因此需要采用一些數(shù)據(jù)增強(qiáng)的方法來(lái)擴(kuò)充數(shù)據(jù)集。實(shí)驗(yàn)采用Mosaic方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，隨機(jī)讀取4張圖像并分別隨機(jī)進(jìn)行翻轉(zhuǎn)、縮放、色域變化等處理，最后進(jìn)行圖片的組合和邊界框的組合。處理結(jié)果如圖4所示，可極大地豐富檢測(cè)的場(chǎng)景，也使網(wǎng)絡(luò)更加適用于單GPU的訓(xùn)練。并將seaship數(shù)據(jù)集按4∶1劃分訓(xùn)練集和測(cè)試集。

圖4 Mosaic數(shù)據(jù)增強(qiáng)結(jié)果圖

2.5.2 模型訓(xùn)練

本次模型訓(xùn)練在配備GeForce GTX 1080 Ti的高性能平臺(tái)上進(jìn)行，使用Ubuntu16.04系統(tǒng)，具有Intel Core i7-7700 CPU和15.6 GiB的RAM。訓(xùn)練所使用的網(wǎng)絡(luò)參數(shù)如表3所示。

表3 參數(shù)設(shè)置

如圖5所示，average loss在模型訓(xùn)練后期處于穩(wěn)定狀態(tài)，在batchsize=6,epoch=300,average loss=0.2488時(shí)最終收斂。

圖5 loss圖

3 實(shí)驗(yàn)結(jié)果與分析

本章在船舶數(shù)據(jù)集上設(shè)計(jì)了多個(gè)實(shí)驗(yàn)來(lái)驗(yàn)證模型的有效性：

1)使用seaship數(shù)據(jù)集對(duì)YOLOv2模型、YOLOv3模型、YOLOv4模型以及改進(jìn)后的YOLOv4+SE(將SE模塊加入YOLOv4網(wǎng)絡(luò)的backbone中，其余處理方法與YOLO-marine相同)、YOLO-marine模型進(jìn)行訓(xùn)練和測(cè)試，使用典型的定量指標(biāo)來(lái)評(píng)估模型。并測(cè)試了YOLOv4與YOLO-marine模型的實(shí)際檢測(cè)效果。

2)對(duì)測(cè)試集圖像進(jìn)行去霧、除霧以及加噪處理，通過(guò)對(duì)比處理前后的mAP來(lái)驗(yàn)證檢測(cè)模型的魯棒性。

3)隨機(jī)選取數(shù)據(jù)集中包含小目標(biāo)的圖像，測(cè)試模型在小目標(biāo)檢測(cè)的效果。

4)隨機(jī)選取數(shù)據(jù)集中目標(biāo)相互遮擋的圖像，測(cè)試模型在遮擋情況下的檢測(cè)效果。

5)計(jì)算模型在6類船舶目標(biāo)的PR曲線，來(lái)反映算法對(duì)正例的識(shí)別準(zhǔn)確程度和對(duì)正例的覆蓋能力之間的平衡，實(shí)驗(yàn)結(jié)果如下文所示。

3.1 與其他模型檢測(cè)結(jié)果的對(duì)比

將本文的YOLO-marine算法與傳統(tǒng)YOLO系列算法進(jìn)行比較，使用FPS與VOC2007的mAP這2種評(píng)價(jià)指標(biāo)，設(shè)置IoU閾值為0.5。實(shí)驗(yàn)結(jié)果如表4所示。結(jié)果表明，YOLO-marine在6類目標(biāo)中均表現(xiàn)良好，mAP比傳統(tǒng)的YOLO算法高，比原始YOLOv4提高了2.1個(gè)百分點(diǎn)。雖然FPS有所降低，但是仍然能夠滿足實(shí)時(shí)檢測(cè)的要求。YOLO-marine模型的mAP比YOLOv4+SE高0.6個(gè)百分點(diǎn)，兩者的FPS相當(dāng)。

表4 不同算法在Seaship數(shù)據(jù)集上的檢測(cè)結(jié)果

為了對(duì)比原始算法與本文所用算法在實(shí)際檢測(cè)時(shí)的效果，在搜索網(wǎng)站上選取低分辨率的海上真實(shí)船舶圖像。圖6為原始YOLOv4模型與YOLO-marine的檢測(cè)效果?？梢钥闯?，原始算法出現(xiàn)了誤檢和漏檢的情況，YOLO-marine算法能檢測(cè)到遠(yuǎn)距離的小目標(biāo)，且誤檢和漏檢情況優(yōu)于原始算法。

(a) YOLOv4

3.2 不同環(huán)境對(duì)算法的影響

為了驗(yàn)證檢測(cè)算法對(duì)于環(huán)境的適應(yīng)性，對(duì)測(cè)試集數(shù)據(jù)進(jìn)行不同的處理。表5所示為處理后的檢測(cè)結(jié)果，從表5可以看出，在對(duì)圖像進(jìn)行不同的處理后，最終得到的mAP變化較小，說(shuō)明環(huán)境對(duì)算法的影響效果很小。

表5 對(duì)數(shù)據(jù)集進(jìn)行不同處理后的mAP對(duì)比

3.3 小目標(biāo)檢測(cè)結(jié)果

為了驗(yàn)證算法檢測(cè)小目標(biāo)的效果，隨機(jī)選取數(shù)據(jù)集中包含小目標(biāo)的圖像，檢測(cè)結(jié)果示例如圖7所示，從圖7可以看出遠(yuǎn)處小目標(biāo)幾乎都可以被檢測(cè)到且檢測(cè)結(jié)果準(zhǔn)確，說(shuō)明該算法在對(duì)小目標(biāo)的檢測(cè)方面表現(xiàn)良好。

圖7 小目標(biāo)檢測(cè)效果

3.4 遮擋情況下的檢測(cè)結(jié)果

海上檢測(cè)經(jīng)常會(huì)出現(xiàn)目標(biāo)相互遮擋的情況，為了驗(yàn)證算法在遮擋情況下的檢測(cè)效果，選取測(cè)試集中特殊情景的圖像進(jìn)行檢測(cè)，效果示例如圖8所示，可以看出，在遮擋嚴(yán)重且圖像質(zhì)量較低時(shí)，圖像中的目標(biāo)也可被正確檢測(cè)到。

圖8 遮擋情況下的檢測(cè)結(jié)果

3.5 各類檢測(cè)結(jié)果

如圖9所示為將IoU閾值設(shè)置為0.5時(shí)，使用YOLOv4和YOLO-marine網(wǎng)絡(luò)檢測(cè)的每類船的PR曲線，可以看出YOLO-marine在seaship數(shù)據(jù)集上各類別的整體檢測(cè)效果優(yōu)于原始YOLOv4。

如圖10所示為6類船舶的檢測(cè)識(shí)別結(jié)果。

(a) YOLOv4

3.6 結(jié)果分析

從3.1節(jié)可以看出，YOLO-marine模型在集裝箱船、漁船的mAP比原始模型低0.1個(gè)百分點(diǎn)，但考慮到實(shí)驗(yàn)波動(dòng)，此處可認(rèn)為2種模型在這2類模型上的檢測(cè)精度相當(dāng)，且模型整體的mAP比原始模型提升了2.1個(gè)百分點(diǎn)，說(shuō)明模型的整體效果有所提升。由于在原始網(wǎng)絡(luò)的基礎(chǔ)上增加了注意力模塊，增加了計(jì)算開(kāi)銷，使得檢測(cè)速度降低了2 fps，但仍然可以保證實(shí)時(shí)檢測(cè)。模型訓(xùn)練選用的船舶數(shù)據(jù)集考慮了天氣、光照等因素，如3.2節(jié)所示，這使得模型更加適用于不同環(huán)境下的檢測(cè)。船舶目標(biāo)大小差異大，模型中引入注意力機(jī)制并使用特征金字塔結(jié)構(gòu)，擴(kuò)大了感受野范圍，在提取特征時(shí)保證小目標(biāo)的特征和信息，因此從3.3節(jié)的實(shí)驗(yàn)可以看出模型對(duì)小目標(biāo)的檢測(cè)達(dá)到了很好的效果。使用基于DIoU的非極大抑制操作來(lái)篩選預(yù)測(cè)框，改善了當(dāng)目標(biāo)相互遮擋或距離很近時(shí)的漏檢問(wèn)題，如3.4節(jié)所示模型在目標(biāo)嚴(yán)重遮擋的情況下仍然可以正確檢測(cè)到目標(biāo)。

(a) general cargo ship (b) ore carrier (c) container ship

4 結(jié)束語(yǔ)

由于海事領(lǐng)域中要求高準(zhǔn)確率以及實(shí)時(shí)的船舶檢測(cè)以便于監(jiān)管，本文主要考慮模型的檢測(cè)速度和精度，提出了一種基于YOLOv4的YOLO-marine模型。通過(guò)Mosaic數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集，并通過(guò)K-Means++聚類得到船舶的anchor，將CBAM注意力模塊與YOLOv4網(wǎng)絡(luò)融合，從而準(zhǔn)確定位船舶目標(biāo)，實(shí)現(xiàn)船舶分類。實(shí)驗(yàn)結(jié)果表明本文使用的YOLO-marine模型在保證實(shí)時(shí)檢測(cè)的同時(shí)將seaship數(shù)據(jù)集的檢測(cè)精度提高了2.1個(gè)百分點(diǎn)，且對(duì)于遠(yuǎn)處小目標(biāo)和遮擋目標(biāo)的檢測(cè)效果突出，能夠適應(yīng)海洋上復(fù)雜的環(huán)境。

實(shí)時(shí)檢測(cè)的性能還需要進(jìn)一步提高來(lái)實(shí)現(xiàn)快速檢測(cè)并跟蹤，船舶類型目前只有6類民用船，還需要進(jìn)一步細(xì)化和擴(kuò)充。未來(lái)將使用更大更復(fù)雜的數(shù)據(jù)集來(lái)訓(xùn)練模型，并與海上其他傳感器數(shù)據(jù)融合從而準(zhǔn)確識(shí)別和跟蹤海上船舶，這對(duì)實(shí)際海事監(jiān)管任務(wù)的智能化提升很重要。陸上邊境監(jiān)管領(lǐng)域的目標(biāo)同樣存在提取難、識(shí)別弱的問(wèn)題，未來(lái)將繼續(xù)優(yōu)化模型，將模型拓展到陸上目標(biāo)檢測(cè)，實(shí)現(xiàn)陸上邊境管控智能識(shí)別的應(yīng)用拓展。