基于深度學(xué)習(xí)的遙感影像小型船舶檢測方法

摘要：隨著海洋貿(mào)易日益繁榮，船舶數(shù)量和交通量也快速增加。不同種類和尺寸的船舶分布在廣闊的海上，快速準確地發(fā)現(xiàn)和識別它們具有重要的實用價值。本文利用高分二號衛(wèi)星影像制作高分辨率船舶檢測數(shù)據(jù)集（GF2-PMS） ，提出一種船舶智能檢測網(wǎng)絡(luò)結(jié)構(gòu)進行模型訓(xùn)練，并分別基于大尺度的高分二號衛(wèi)星和谷歌地球影像測試其對小型船舶檢測的有效性和通用性。具體而言，作者對訓(xùn)練數(shù)據(jù)集中的小型船舶樣本進行過采樣，生成更多樣本以便更好地匹配預(yù)測錨點。在網(wǎng)絡(luò)結(jié)構(gòu)上，使用注意機制重新校準深度特征圖的輸入貢獻，并采用增加一個預(yù)測頭的方式提升對不同尺度船舶的匹配程度。實驗結(jié)果表明，采用過采樣策略使得船舶正確檢測率大幅提升，召回率從83.96%增至88.21%（提高4.25%） 。與YOLOv5的三個檢測頭相比，增加一個檢測頭在GF2-PMS數(shù)據(jù)集上獲得更高的檢測精度。另外，合理使用注意力機制能持續(xù)提升檢測精度，在測試集上實現(xiàn)較高的檢測精度（準確率=91.30%，召回率=94.93%，AP=97.10%） 。在兩張大尺度高分二號衛(wèi)星影像測試下，本文的平均準確率從59.19%提升至76.73%，證明了該方法對小型船舶檢測的有效性。此外，在大尺度的谷歌高分辨率圖像上檢測，無論是小型船舶、復(fù)雜背景還是部分密集排列的船舶，該方法仍能提供令人滿意的檢測性能。綜上所述，本文提出了一種基于深度學(xué)習(xí)的有效小型船舶檢測方法，在大尺度遙感影像上展現(xiàn)了良好的通用性。該方法對船舶的大規(guī)模、高精度、智能監(jiān)測具有重要意義，將大大提高船舶管理的決策效率。

關(guān)鍵詞：深度學(xué)習(xí)；小型船舶檢測；CBAM；過采樣；遙感圖像

中圖分類號：TP18 文獻標識碼：A

文章編號：1009-3044（2024）22-0025-04

開放科學(xué)（資源服務(wù)）標識碼（OSID）

0 引言

隨著全球經(jīng)濟一體化，海洋貿(mào)易日益繁榮，船舶交通量也快速增加，快速準確地發(fā)現(xiàn)和識別它們具有重要的實用價值[1-2]。在軍事領(lǐng)域，能夠靈活監(jiān)視敵方動態(tài)和部署，為決策制定提供信息保障；在民用領(lǐng)域，能監(jiān)控特定海域與港口的海上交通，輔助監(jiān)管部門實施海上救援和偵查等行動。因此，急需一種快速、準確、全面的方法來檢測船舶的位置和狀態(tài)。

遙感數(shù)據(jù)作為船舶檢測樣本集的關(guān)鍵來源[3]，具有快速、大規(guī)模、連續(xù)動態(tài)的優(yōu)點。根據(jù)傳感器的不同可分為合成孔徑雷達（Synthetic Aperture Radar， SAR） 與可見光遙感影像。目前已經(jīng)出現(xiàn)了大量基于遙感數(shù)據(jù)的船舶人工檢測方法，然而，這些方法總是需要手工設(shè)計船舶特性，增加人力成本。隨著人工智能（AI） 的興起，自動船舶檢測技術(shù)的發(fā)展迅速，并從實驗階段逐漸轉(zhuǎn)向?qū)嵺`階段。

本研究提出了一種結(jié)合過采樣策略和單級檢測網(wǎng)絡(luò)—YOLOv5的船舶智能檢測方法，實現(xiàn)對高分辨率遙感圖像下船舶目標，尤其是小型船舶，更快速、更準確地自動識別。具體來說，首先使用過采樣策略生成足夠信息豐富的小型船舶圖像，作為訓(xùn)練數(shù)據(jù)集的訓(xùn)練樣本。然后，將YOLOv5增加一個預(yù)測頭來細致處理船舶的大尺度方差。另外，在檢測器中還加入了一個CBAM模塊，進一步提高特征識別能力。最后，將改進的YOLOv5網(wǎng)絡(luò)應(yīng)用于增強訓(xùn)練樣本，完成船舶檢測任務(wù)，并以悉尼部分港口為例，分析了該方法在大尺度谷歌高分辨率影像下的船舶檢測效果。

1 數(shù)據(jù)集

在本研究中，使用高分辨率船舶檢測數(shù)據(jù)集（GF2-PMS） 作為模型評估的基準數(shù)據(jù)集。該數(shù)據(jù)集的原始數(shù)據(jù)來源于高分二號衛(wèi)星影像，其分辨率為0.8m。制作樣本標簽過程中，使用QGIS開源軟件按以下要求完成：1） 標注每一張影像內(nèi)所有大、中、小型船舶；2） 標注遺漏率為0；3） 鄰近船舶分開標注；4） 標簽文件符合PASCAL VOC standard標準。標注完成后以每艘船的中心為圖像切片的中心進行裁切，獲取部分圖像切片為800×800像素大小的船舶樣本。同時需要保證每艘船完全包含在至少一個圖像切片中，相應(yīng)的位置信息構(gòu)成了訓(xùn)練標簽集。經(jīng)過篩選后，GF2-PMS數(shù)據(jù)集中共包含1 423張光學(xué)圖像以及與其一一對應(yīng)的標簽文件。

2 研究方法

在研究方法方面，YOLOv5是一種高速率的單級檢測算法[4]。一般而言，原始的YOLOv5的網(wǎng)絡(luò)框架由輸入端（Input） 、主干網(wǎng)絡(luò)（Backbone） 、頸部（Neck） 以及預(yù)測層（Head） 四部分組成。輸入端使用Mosaic數(shù)據(jù)增強、自適應(yīng)錨框計算與自適應(yīng)圖片縮放方法提升模型的訓(xùn)練速度和網(wǎng)絡(luò)的精度，經(jīng)過一系列處理后輸入主干網(wǎng)絡(luò)；主干網(wǎng)絡(luò)使用Focus、CBS、C3和SPP在不同圖像細粒度上聚合并形成圖像特征；頸部則是混合和組合圖像特征的網(wǎng)絡(luò)層，加深主干網(wǎng)絡(luò)層同時生成三個不同尺度圖像特征并傳遞到預(yù)測層。預(yù)測層對輸入的特征圖進行回歸和分類操作，合并輸出不同尺度對象信息，確定目標類別和目標邊界框的精確位置。如圖1所示，本次研究提出一個改進的ImYOLOv5模型，主要包括以下3部分調(diào)整。

2.1 過采樣策略

深度卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中，經(jīng)常的卷積操作可能會導(dǎo)致圖像特征的損失問題，尤其是較小尺寸的實例。針對這一問題，YOLOv5在輸入端進行了一系列圖像增強處理來提升目標的檢測精度。在此基礎(chǔ)上，采用了過采樣的策略來解決包含小物體的圖像特征相對較少的挑戰(zhàn)。過采樣的核心思想是通過重復(fù)正比例數(shù)據(jù)，以增大正比例噪聲對模型的影響，這是提高小目標檢測性能的一種簡單直接的方法[5]。然而，直接對整個樣本進行過采樣會顯著增加計算量，降低模型訓(xùn)練效率。這些操作對于中型和大型船舶的檢測則顯得不必要，因為它們通常能夠被正確檢測出來。

因此，本文設(shè)計了一個過采樣策略流程，包括以下步驟：首先，對訓(xùn)練樣本進行預(yù)處理，篩選出含有小型船舶的原始影像；其次，對這些篩選結(jié)果進行過采樣。值得注意的是，為避免樣本重復(fù)，本文采用五種圖像變換方式進行處理，包括調(diào)整原始圖像的對比度、亮度、飽和度，添加高斯噪聲和特征模糊；接著，基于GF2-PMS數(shù)據(jù)集和提供的標簽文件，復(fù)制小船舶目標的原始位置；最后，將副本粘貼到不同位置。在粘貼過程中，通過設(shè)定過采樣率來控制對象個數(shù)，同時通過改變移動距離來保證目標不重疊，且完整保留在樣本圖像上。

2.2 CBAM模塊

在神經(jīng)網(wǎng)絡(luò)中引入CBAM能夠提高網(wǎng)絡(luò)模型的特征表達能力。CBAM包括通道注意力（Channel Attention Module，CAM） 和空間注意力（Spatial Attention Module，SAM） 兩個順序的子模塊，是一種能對特征圖像局部信息聚焦的輕量級模塊。

CAM將輸入的特征圖F經(jīng)過全局最大池化和全局平均池化后，將得到的兩個特征圖送入一個兩層的共享神經(jīng)網(wǎng)絡(luò)中，再通過element-wise加和操作融合特征，經(jīng)過Sigmoid非線性運算得到通道注意力特征FC。SAM將原始輸入F與通道注意力模塊生成的特征FC進行element-wise乘法操作，得到SAM的輸入F1。將F1經(jīng)過基于通道的全局最大池化和全局平均池化后，得到兩個特征圖，進行通道拼接和Sigmoid非線性運算得到空間注意力特征FS，再將SAM的輸入F1與空間注意力模塊生成的特征FS進行element-wise乘法操作得到最終的輸出特征FR。

在大尺度高分辨率遙感影像上，覆蓋區(qū)域經(jīng)常包含著特征模糊的地理元素。CBAM通過沿著通道和空間兩個獨立維度學(xué)習(xí)權(quán)重分配，使網(wǎng)絡(luò)更注重關(guān)鍵區(qū)域的信息，強化感興趣的信息并抵制模糊特征信息。這種方式能夠提高網(wǎng)絡(luò)在復(fù)雜場景中的特征表達能力和檢測性能。

2.3 針對小目標的預(yù)測頭

針對許多非常小的實例，研究還添加了一個用于小對象檢測的預(yù)測頭（圖1 Head） 。這樣做的主要目的是通過增加一個預(yù)測頭來減輕劇烈的物體尺度方差造成的負面影響。具體而言，在將輸入圖像尺寸為800×800像素時，原始YOLOv5最后輸出的特征圖大小分別為25×25像素、50×50像素、100×100像素，更細粒度的格網(wǎng)單元可以檢測出更細小的物體；通過增加一次上采樣操作，相應(yīng)地增加了一個特征圖的大小為200×200像素的輸出。需要注意的是，在增加的預(yù)測頭上也疊加了CBAM的使用。通過添加額外的檢測頭，雖然增加了計算和內(nèi)存成本，但對微小物體檢測性能的提升也是顯著的。

2.4 精度評價

本研究采用的模型評價指標為準確率、召回率以及平均精度（AP） 。準確率（Precision，P） 是指檢測器確定的真實船舶數(shù)占總船舶數(shù)的比例，表征船舶識別結(jié)果的完整程度。召回率（Recall，R） 是指檢測器確定的真實船舶數(shù)量與所有真實船舶數(shù)量的比值，反映出實際船舶對象數(shù)與船舶目標數(shù)的一致程度。AP則是通過船舶的準確率和召回率計算得出的曲線下的面積，用于全面評估目標檢測網(wǎng)絡(luò)的性能。

其對應(yīng)的計算公式如下：

[P = TPTP + FP] （1）

[R = TPTP + FN] （2）

[AP = 01P（R）dR] （3）

式中：TP、FP和FN分別代表真陽性、假陽性和假陰性的數(shù)量。這些數(shù)值可以通過每個批處理的基于像素的混淆矩陣來計算得出。

2.5 訓(xùn)練與優(yōu)化環(huán)境

該網(wǎng)絡(luò)在使用64位Ubuntu 18.04操作系統(tǒng)和兩塊NVIDIA GTX Titan顯卡進行并行訓(xùn)練時，每塊顯卡內(nèi)存為12GB。模型對訓(xùn)練集進行了500個批次的訓(xùn)練。采用了隨機梯度下降作為優(yōu)化器，其中初始學(xué)習(xí)率設(shè)置為0.02，動量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.000 1，批大小設(shè)置為8。所有實驗均在這一環(huán)境和參數(shù)設(shè)定下完成。

3 結(jié)果與討論

3.1 過采樣結(jié)果

為了驗證過采樣策略的有效性，本文基于YOLOv5進行實驗。針對GF2-PMS數(shù)據(jù)集中的圖像，本文保持原始大小為800×800像素，按照7∶2∶1的比例劃分為訓(xùn)練集和測試集進行精度驗證。根據(jù)表1所示，本文在測試數(shù)據(jù)集上統(tǒng)計了212艘船舶的檢測精度。第一行展示了原始YOLOv5的檢測精度，準確率和召回率分別為90.36%和83.96%。經(jīng)過過采樣策略處理后，第二行顯示了檢測精度，召回率達到了88.21%，比YOLOv5的83.96%高出了4.25%。準確率從90.36%提升到90.78%，雖然僅有0.24%的變化，但也產(chǎn)生了積極影響。實驗結(jié)果表明，通過本文提出的過采樣策略擴充原有GF2-PMS數(shù)據(jù)集，能有效提高目標檢測精度。

3.2 消融實驗分析

為了評估對YOLOv5網(wǎng)絡(luò)另外兩處修改的有效性，本文在過采樣策略的基礎(chǔ)上進行了以下模塊消融分析。

1） 額外的預(yù)測頭的影響。為微小物體添加一個檢測頭會使原始YOLOv5的層數(shù)從283增加到341，參數(shù)量從7068936增加到7409952。雖然這增加了計算量，但準確率和召回率的提升也非常顯著。如表2所示，準確率從90.78%提升到93.37%，召回率從88.21%增至90.34%。額外的預(yù)測頭使船舶的平均精度（AP） 值從89.70%增加到93.46%，產(chǎn)生了3.76%的增量。對比結(jié)果表明，Over-YOLOv5+Tiny在檢測船舶時表現(xiàn)出色，因此計算量的增加是值得的。

2） CBAM。為驗證注意力機制的重要性，本文在增加額外預(yù)測頭的基礎(chǔ)上，將網(wǎng)絡(luò)模型與缺乏CBAM的模型進行了比較實驗。結(jié)果如表2所示。采用過采樣策略后的Over-YOLOv5+Tiny作為基線，并在實驗中保持其他超參數(shù)一致。加入CBAM帶來了2.64%的AP增量（93.46% vs. 96.10%） 。這表明CBAM能夠提取識別和魯棒特征，有效提高船舶的檢測性能。此外，將CBAM與類似模塊CA進行比較，使用CBAM的精度更高（96.10% vs. 95.21%） 。

3） 驗證ImYOLOv5方法的有效性。為驗證Over-YOLOv5+Tiny+CBAM（即ImYOLOv5方法）對小型船舶檢測的有效性，本文選擇了兩張大尺度的高分二號衛(wèi)星影像進行檢測，并對比原始YOLOv5進行分析，結(jié)果如圖4所示。綠色框表示ImYOLOv5的檢測結(jié)果，紅色框表示原始YOLOv5的檢測結(jié)果。從第一張大尺度影像中可以看出，ImYOLOv5相比原始的YOLOv5網(wǎng)絡(luò)檢測出的船舶數(shù)從35艘增至49艘，正確檢測數(shù)從29艘增至47艘，準確率從82.85%提升至95.91%；第二張大尺度影像中，檢測出的船舶數(shù)從76艘降至37艘，正確檢測數(shù)從27艘減至21艘，準確率從35.53%增至56.75%。結(jié)果顯示，在沒有海陸分割的前提下，ImYOLOv5方法具有更低的陸地誤檢率，且近海、遠海和港口的小型船舶檢測準確率更高。

3.3 普適性分析

為了驗證該方法的泛化能力，本文在悉尼和澳門鄰近海域使用了兩張大尺度的谷歌影像進行測試，涵蓋了近海、深海和港口停泊等不同背景狀態(tài)。這些谷歌地球高分辨率圖像選擇了數(shù)據(jù)級別18，空間分辨率為0.5 m，包括紅、綠、藍三波段的8位數(shù)據(jù)。在這兩張大尺度谷歌影像下，90%以上的船舶為小型船舶。首先，本文將大尺度圖像劃分為多個尺寸為800×800像素的小尺度圖像，值得注意的是，小尺度圖像的重疊率設(shè)置為20%。然后，本文使用ImYOLOv5對每個小尺度圖像進行處理，最終輸出每艘船的位置。

圖5展示了一個尺寸為2 882×1 653像素的大尺度遙感圖像，其中綠色框表示本文方法的檢測結(jié)果，紅色框表示漏檢的船舶，黃色框表示誤檢的結(jié)果。從可視化結(jié)果可以看出，ImYOLOv5在對大尺度高分辨率遙感圖像進行檢測時表現(xiàn)出優(yōu)秀的性能，但在面對一些輪廓模糊的船舶時仍會有明顯的漏檢和誤檢。

圖6展示了另一個分辨率為2 960×1 616像素的大尺度圖像，其中包含許多密集排列的船舶。在這種情況下，該方法仍然展現(xiàn)出良好的檢測性能。

綜合而言，本文的方法在各種復(fù)雜場景中都表現(xiàn)出很強的魯棒性，這歸功于所提出的過采樣策略以及結(jié)合注意力模塊和更精細化檢測頭網(wǎng)絡(luò)提供更好的特征表示，適用于小型船舶的檢測。

4 結(jié)論

本研究對YOLOv5模型進行了改進，提出了一種基于高分辨率遙感圖像的船舶智能檢測模型，通過高分二號高分辨率衛(wèi)星影像制作船舶圖像樣本數(shù)據(jù)集，并在谷歌高分辨率影像上進行了廣泛的測試。在該模型中，采用過采樣策略對訓(xùn)練樣本中的小型目標船舶進行過采樣，以生成足夠多的對象來匹配預(yù)測的錨框。網(wǎng)絡(luò)結(jié)構(gòu)方面，利用注意機制重新校準深度特征圖的輸入貢獻，并通過增加一個額外的預(yù)測頭提升對不同尺度船舶的匹配程度。隨后采用遷移學(xué)習(xí)方法對模型進行訓(xùn)練。實驗結(jié)果顯示，采用過采樣策略后，船舶檢測的AP和召回率明顯提高，AP從87.52%上升至89.70%（提升2.18%） ，召回率從83.96%上升至88.21%（提升4.25%） 。

綜合測試結(jié)果分析顯示，船舶召回率的提升主要體現(xiàn)在小型船舶的檢測上。再增加一個針對目標大尺度方差變化的檢測頭相比于YOLOv5的三個檢測頭在GF2-PMS數(shù)據(jù)集上取得了更高的檢測精度。合理使用注意力機制有助于進一步提升檢測精度。最終的方法在測試集上表現(xiàn)出高的精度（精度=91.30%，召回率=94.93%，AP=97.10%） 。在兩張大尺度高分二號衛(wèi)星影像下的測試中，準確率分別從82.85%提升至95.91%和從35.53%提升至56.75%，證實了該方法對小型船舶檢測的有效性。在兩張大尺度的谷歌高分辨率圖像上進行的測試結(jié)果顯示，無論是小型船舶、復(fù)雜背景還是密集排列的船舶，該方法都提供令人滿意的檢測性能，進一步展現(xiàn)了其較高的遷移性。

隨著遙感技術(shù)的發(fā)展，光學(xué)遙感圖像數(shù)據(jù)具有更高的空間分辨率和光譜波段。本研究為利用光學(xué)高分辨率遙感圖像構(gòu)建和應(yīng)用深度學(xué)習(xí)模型提供了有益的參考。未來的研究將繼續(xù)提高深度學(xué)習(xí)算法對遙感圖像中過分密集小目標的檢測精度，并進一步縮減訓(xùn)練時間。

參考文獻：

[1] 程靜，王榮杰，曾光淼，等.基于更快區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的多視角船舶識別[J].哈爾濱工程大學(xué)學(xué)報，2023，44（10）：1832-1840.

[2] GUO H W，BAI H Y，YUAN Y M，et al.Fully deformable convolutional network for ship detection in remote sensing imagery[J].Remote Sensing，2022，14（8）：1850.

[3] 姚紅革，王誠，喻鈞，等.復(fù)雜衛(wèi)星圖像中的小目標船舶識別[J].遙感學(xué)報，2020，24（2）：116-125.

[4] 李松林，江劍.基于改進YOLOv5的無人機小目標檢測算法[J].測試技術(shù)學(xué)報，2024，44（4）： 354-362.

[5] KISANTAL M，WOJNA Z，MURAWSKI J，et al.Augmentation for small object detection[C]//9th International Conference on Advances in Computing and Information Technology （ACITY 2019）.Aircc Publishing Corporation，2019：1-15.

【通聯(lián)編輯：唐一東】