復(fù)雜場景下自適應(yīng)特征融合的多尺度船舶檢測

羅芳，劉陽，何道森

復(fù)雜場景下自適應(yīng)特征融合的多尺度船舶檢測

羅芳1*，劉陽1，何道森2

（1.武漢理工大學(xué) 計算機(jī)與人工智能學(xué)院，武漢 430070； 2.香港恒生大學(xué) 供應(yīng)鏈及資訊管理學(xué)系，香港 999077）（ ? 通信作者電子郵箱luof@whut.edu.cn）

受臺風(fēng)、大霧、雨雪等復(fù)雜天氣以及遮擋、尺度變化等影響，現(xiàn)有船舶檢測方法存在誤檢和漏檢問題。針對上述復(fù)雜場景問題，在YOLOX-S模型的基礎(chǔ)上，提出一種自適應(yīng)特征融合的多尺度船舶檢測方法。首先，在主干特征提取網(wǎng)絡(luò)中引入特征增強模塊，抑制復(fù)雜背景噪聲對船舶特征提取的干擾；其次，考慮深淺層次特征融合比例問題，設(shè)計自適應(yīng)特征融合模塊，充分利用深淺層次特征，提高模型的多尺度船舶檢測能力；最后，在檢測頭網(wǎng)絡(luò)，將檢測頭解耦，并引入自適應(yīng)的多任務(wù)損失函數(shù)，平衡分類任務(wù)和回歸任務(wù)，提高船舶檢測的魯棒性。實驗結(jié)果顯示，所提方法在公開船舶檢測數(shù)據(jù)集SeaShips和McShips上的檢測平均精度均值（mAP）分別達(dá)到了97.43%和96.10%，檢測速度達(dá)到每秒189幀，滿足實時檢測的要求，驗證了所提方法在復(fù)雜場景下仍能對多尺度船舶目標(biāo)實現(xiàn)高精度檢測。

多尺度船舶檢測；YOLOX；自適應(yīng)特征融合；特征增強；多任務(wù)損失函數(shù)

0 引言

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，智慧水上交通運用智能化技術(shù)管理船舶，將計算機(jī)視覺技術(shù)應(yīng)用于監(jiān)控船舶行駛，可以有效降低航運監(jiān)管成本，提高重點敏感區(qū)域的智能監(jiān)管能力。目前，基于深度學(xué)習(xí)的目標(biāo)檢測方法在智慧港口的建設(shè)中獲得了突破性的進(jìn)展，但由于船舶尺度差異大，成像中小尺寸船舶攜帶的信息較少，導(dǎo)致現(xiàn)有的目標(biāo)檢測算法對船舶的檢測存在誤檢和漏檢的情況。此外，不同光照條件、天氣、遮擋等復(fù)雜場景也影響了船舶的可視化特征，對船舶目標(biāo)檢測造成干擾，這些因素都對目標(biāo)檢測算法的實用性和魯棒性提出了更高的要求。

近年來，已有學(xué)者對于解決復(fù)雜場景下的多尺度船舶檢測問題展開研究。例如，為了增強模型對船舶的特征提取能力，王培玉等［1］引入Canny算子對水岸邊界線建模，抑制水岸邊界線對船舶目標(biāo)的影響，獲得了較好的船舶檢測結(jié)果；Ren等［2］對顏色特征進(jìn)行分解，實現(xiàn)了更準(zhǔn)確的船舶檢測；黃致君等［3］使用ResNet50提取船舶特征，提高了主干網(wǎng)絡(luò)的特征提取能力和船舶檢測精度；李佳東等［4］在YOLOv5主干網(wǎng)絡(luò)中引入通道注意力機(jī)制加強船舶特征感知，優(yōu)化了網(wǎng)絡(luò)對船舶特征的提取能力。在特征融合上，姚婷婷等［5］利用雙階段特征自適應(yīng)融合策略提高網(wǎng)絡(luò)對不同尺度大小船舶的感知力，實現(xiàn)了多尺度船舶高精度檢測；王文亮等［6］基于YOLOv5結(jié)合多路徑聚合網(wǎng)絡(luò)提高特征融合能力，并結(jié)合SimAM（Simple， parameter-free Attention Module for convolutional neural networks）和Transformer增強高階語義信息，提高了模型對海域不同尺寸船舶的檢測能力；Huang等［7］在特征金字塔中添加了一系列層與層之間的跳躍連接，以改善模型的多尺度特征表達(dá)能力，同時引入注意力機(jī)制增強特征通道間的信息交互，提高了網(wǎng)絡(luò)對船舶的特征描述力。除此之外，李輝［8］將Faster R-CNN（Faster Regions with CNN）與暗通道去霧算法結(jié)合以提高檢測模型在大雨、濃霧等復(fù)雜天氣情況下的抗干擾能力；聶鑫等［9］為解決海域環(huán)境復(fù)雜而造成模型檢測精度不高的問題，采用大氣散射模型模擬霧天和低光照環(huán)境，并且使用完全交并比 （Complete Intersection over Union， CIoU）修改損失函數(shù)，以解決模型應(yīng)用于復(fù)雜環(huán)境的問題。上述方法通過特征增強、加強特征融合以及提高模型的泛化能力的方式提升了船舶目標(biāo)檢測的性能，表明基于深度學(xué)習(xí)的目標(biāo)檢測方法比傳統(tǒng)目標(biāo)檢測的方法更具優(yōu)勢。

然而，在實際的應(yīng)用場景中，在大霧、雨雪、光照條件弱，以及遮擋、船舶多尺度等復(fù)雜場景下進(jìn)行實時船舶目標(biāo)檢測時，仍存在漏檢和誤檢的問題。首先，在船舶的特征提取階段，利用深層次特征提取網(wǎng)絡(luò)雖然能增強船舶的特征感知，但是會影響模型的推理速度，增加網(wǎng)絡(luò)的復(fù)雜度；而使用注意力機(jī)制既能保證模型的速度，又能在一定程度上消除背景噪聲干擾，提高主干特征提取網(wǎng)絡(luò)對船舶特征的感知能力，因此模型逐漸使用注意力機(jī)制實現(xiàn)船舶的特征增強。但是將注意力機(jī)制模塊直接應(yīng)用于主干特征提取網(wǎng)絡(luò)會弱化特征圖響應(yīng)輸出，影響船舶的特征融合。其次，在特征融合階段，先前研究大都通過增加特征層之間的連接來增強不同層次的特征融合，提高模型對多尺度船舶的檢測精度，卻沒有權(quán)衡深淺層特征之間融合的比例。大量增加特征層之間的連接，一方面會增加模型訓(xùn)練的負(fù)擔(dān)，另一方面會造成特征層中特征融合冗余，影響模型的檢測效果。再者，通過修改模型損失函數(shù)雖然可提高模型對船舶的分類和定位能力，但傳統(tǒng)檢測頭中分類任務(wù)和回歸任務(wù)的耦合會造成任務(wù)不平衡問題，影響模型的泛化能力。

為提升模型在臺風(fēng)、大霧、雨雪、遮擋等復(fù)雜場景下對多尺度船舶目標(biāo)的定位精度和檢測準(zhǔn)確率，本文選擇兼具速度和精度的YOLOX-S模型［10］作為基礎(chǔ)，提出自適應(yīng)特征融合的多尺度船舶檢測方法，通過將深層特征自適應(yīng)線性變換之后再與淺層特征進(jìn)行融合，有利于補充淺層特征缺乏的高級語義信息，提高多尺度船舶的檢測精度。

本文的主要工作如下：1）為充分提取船舶特征信息，在特征提取主干網(wǎng)絡(luò)中加入特征增強模塊，通過設(shè)計攜帶殘差的注意力機(jī)制模塊，在提高模型感知船舶特征能力的同時，能有效防止梯度消失，生成高響應(yīng)特征圖；2）在特征融合網(wǎng)絡(luò)中，充分融合深淺層特征，利用自適應(yīng)特征融合模塊，平衡特征圖中深層特征和淺層特征的比例，融合豐富的高級語義信息，彌補小目標(biāo)缺失的高級語義特征；3）為了準(zhǔn)確實現(xiàn)船舶分類和邊界框回歸，將檢測頭解耦，消除分類任務(wù)與回歸任務(wù)之間的干擾，并在損失函數(shù)中加入貝葉斯模型，引入多任務(wù)損失函數(shù)，有效解決定位誤差大和漏檢的問題，提高模型泛化能力。實驗結(jié)果表明，本文提出的船舶目標(biāo)檢測方法在不良天氣條件和不同通航情況下滿足實時性的同時，均取得了較好的檢測精度。

1 自適應(yīng)特征融合的多尺度船舶檢測

本文提出的自適應(yīng)特征融合的多尺度船舶檢測方法構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1　自適應(yīng)特征融合的多尺度船舶檢測網(wǎng)絡(luò)結(jié)構(gòu)

為增加船舶訓(xùn)練數(shù)據(jù)的多樣性，在提取船舶特征之前，先將輸入圖像尺寸調(diào)整為640×640，輸入數(shù)據(jù)增強模塊，使用Mixup［11］和Mosaic方法［10］彌補訓(xùn)練中船舶數(shù)據(jù)的缺失，對輸入圖像隨機(jī)進(jìn)行裁剪拼接，豐富訓(xùn)練數(shù)據(jù)。

科研經(jīng)費支撐著整個高?？蒲许椖康恼＿\行，科研經(jīng)費投入多少也決定了科研項目開展規(guī)模的大小和持續(xù)的時間，科研活動貫穿于科研項目的審批立項、實施執(zhí)行，最后到結(jié)題驗收的整個過程，各個高校必須加強對科研經(jīng)費的管理工作。但在實際工作中，高?？蒲薪?jīng)費管理制度并不完善，還存在很多的問題。這些問題在一定程度上影響了高?？蒲薪?jīng)費的高效使用，給高校科研經(jīng)費發(fā)揮最大作用帶來一些阻礙和難題，接下來就對高校科研經(jīng)費的問題進(jìn)行闡述。

在特征增強提取網(wǎng)絡(luò)中，使用Focus［10］模塊擴(kuò)展通道數(shù)，使用Resblock_body［10］防止網(wǎng)絡(luò)加深導(dǎo)致的梯度消失問題。同時，提出特征增強模塊抑制背景信息對船舶檢測的干擾，提升網(wǎng)絡(luò)對船舶特征的感知能力。在特征增強提取網(wǎng)絡(luò)提取的深淺層次特征基礎(chǔ)上，引用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network， FPN）［12］結(jié)構(gòu)，充分考慮深淺層次特征的優(yōu)點，調(diào)整深層特征和淺層特征的融合比例。其中，在與淺層特征融合前，對上采樣后的深層特征作自適應(yīng)線性變換，生成多尺度特征圖，平衡特征圖中深層高級語義信息和淺層空間位置信息，提高模型對多尺度特征的學(xué)習(xí)能力。

1.1　船舶特征增強

在船舶通航環(huán)境中，船舶成像受尾浪、大霧、船舶之間的遮擋等噪聲影響，嚴(yán)重干擾船舶的定位和分類。鑒于注意力機(jī)制可增強圖像的有效信息、抑制背景等無關(guān)信息，強化船舶特征，本文設(shè)計了基于注意力機(jī)制的特征增強模塊，在坐標(biāo)注意力（Coordinate Attention， CA）機(jī)制［13］模塊基礎(chǔ)上加入殘差網(wǎng)絡(luò)，既增強了主干網(wǎng)絡(luò)的特征提取能力，也保證了網(wǎng)絡(luò)的易訓(xùn)練性。CA模塊旨在增強網(wǎng)絡(luò)的特征表達(dá)能力，同時獲取通道間和方向相關(guān)的信息，有助于模型定位和識別目標(biāo)。但是，在特征提取主干網(wǎng)絡(luò)中直接使用CA模塊會導(dǎo)致特征圖的輸出響應(yīng)弱。因此，本文使用攜帶殘差的CA模塊，可以有效抑制噪聲并保持特征圖的高響應(yīng)輸出，如圖2所示。

圖10和表7給出了CDF曲線和總線86291-14006中的線路流量的結(jié)果。根據(jù)PPF結(jié)果，所提出的調(diào)度策略在限制過載概率方面表現(xiàn)更好。經(jīng)濟(jì)調(diào)度降低了運營成本，但不能用于控制線路過載問題。

2.3.2基于McShips數(shù)據(jù)集驗證

圖2　改進(jìn)的基于CA的特征增強模塊

課后，與科學(xué)教師交流，她不是純粹的臺灣籍教師，是本地人但在這所學(xué)校工作多年，或多或少地有點我國大陸教師的味道。

本文重點講述的電力負(fù)荷的預(yù)測方法，就是將城市空間負(fù)荷分成多個單元區(qū)塊，并對各個單元區(qū)塊中負(fù)荷的類型和性質(zhì)進(jìn)行定義，然后，在這個基礎(chǔ)之上進(jìn)行電力負(fù)荷的預(yù)測。這種預(yù)測方法可以實現(xiàn)對城市中任意的區(qū)塊在任意的預(yù)測年份進(jìn)行電力負(fù)荷的預(yù)測，在配電網(wǎng)規(guī)劃中適應(yīng)性較強。與傳統(tǒng)的電力負(fù)荷預(yù)測方法相比，空間負(fù)荷預(yù)測方法得到的結(jié)果更加精確，但同時還應(yīng)看到的是，它對于各個單元區(qū)塊中的信息需求程度也更大。

本文將特征增強模塊嵌入YOLOX-S模型原始主干特征提取網(wǎng)絡(luò)中，改進(jìn)后的主干網(wǎng)絡(luò)如表1所示。通過將特征增強模塊插入主干特征提取網(wǎng)絡(luò)，提高模型對船舶的感知能力，抑制背景噪聲干擾，獲取更多語義信息，提高網(wǎng)絡(luò)檢測效果。

1.2　自適應(yīng)特征融合

為了驗證本文方法的有效性，與Faster-RCNN［17］、SSD（Single Shot multibox Detector）［18］、YOLOv3［19］、YOLOv7［20］、YOLOX［10］五種經(jīng)典目標(biāo)檢測方法在SeaShips和McShips數(shù)據(jù)集上進(jìn)行實驗對比。Faster-RCNN為經(jīng)典的區(qū)域建議雙階段檢測方法，通過區(qū)域建議網(wǎng)絡(luò)生成候選框，再進(jìn)行船舶分類和邊界框回歸。SSD、YOLOv3、YOLOv7、YOLOX為經(jīng)典單階段檢測算法，SSD通過在多尺度特征層上進(jìn)行目標(biāo)檢測，有效提高小尺寸目標(biāo)的檢測精度；YOLOv3和YOLOv7通過引入錨框機(jī)制，進(jìn)一步提高目標(biāo)回歸率；YOLOX使用無錨框機(jī)制，提高模型運算速度的同時保持檢測精度。

YOLOX-S采用FPN結(jié)構(gòu)，利用不同層次尺度特征進(jìn)行并行預(yù)測。FPN利用了深淺層次特征的優(yōu)點，將低分辨率、語義強的深層特征上采樣后與高分辨率、語義弱但空間信息豐富的淺層特征融合，使用高分辨率的淺層特征檢測小尺度目標(biāo)，低分辨率的深層特征檢測大尺寸目標(biāo)。然而，該結(jié)構(gòu)未考慮生成的特征圖中高級語義信息和空間位置信息的比例問題，僅拼接（Concat）上采樣后的深層特征無法為淺層特征提供充足的語義信息。

表1　改進(jìn)的主干特征提取網(wǎng)絡(luò)結(jié)構(gòu)

因此，本文對特征融合網(wǎng)絡(luò)進(jìn)行改進(jìn)，如圖3所示，基于YOLOX-S模型添加兩個自適應(yīng)線性變換模塊。通過在深層特征與淺層特征層中插入自適應(yīng)線性變換模塊，將深層特征上采樣后進(jìn)行線性變換，自適應(yīng)調(diào)整權(quán)重再與淺層特征層拼接，可以有效平衡生成特征圖中高級語義特征和空間位置信息比例，提高模型檢測小尺寸船舶的感知能力。

自適應(yīng)特征融合的流程如下：首先，最深層特征增強模塊輸出的特征圖1（20，20，512）經(jīng)過一次卷積縮減通道得到特征圖8，特征圖8再2倍上采樣后，經(jīng)過一次特征的自適應(yīng)變換，和上一個特征增強模塊輸出的特征圖2（40，40，256）進(jìn)行拼接，經(jīng)過CSPLayer生成特征圖4；隨后通過一次卷積縮減通道，再2倍上采樣后得到特征圖5；特征圖5通過自適應(yīng)線性變換后，再與第一個特征增強模塊輸出的特征圖3（80，80，128）拼接后，通過CSPLayer生成特征圖6； 特征圖6下采樣后與特征圖5進(jìn)行拼接，通過CSPLayer生成特征圖7；特征圖7經(jīng)過相同的操作與特征圖8進(jìn)行拼接，通過CSPLayer生成特征圖9；最后將特征圖6、7、9輸入檢測頭中得到3個不同尺度的特征預(yù)測圖。

應(yīng)用SPSS18.0統(tǒng)計學(xué)系統(tǒng)進(jìn)行分析,數(shù)據(jù)以(±s)表示,差異性比較用t檢驗,計數(shù)資料采用X2檢驗,P<0.05代表差異具統(tǒng)計學(xué)意義。

圖3中兩個自適應(yīng)線性變換模塊是分別與特征圖2和特征圖3尺度相同的兩個矩陣，通過在梯度回傳中調(diào)整兩個矩陣的參數(shù)自適應(yīng)尋找深層語義特征和淺層空間特征融合的最佳權(quán)重，在深層特征上采樣后與淺層特征融合前進(jìn)行線性變換，如式（7）所示：

自適應(yīng)特征融合網(wǎng)絡(luò)輸出三