HY-1/CZI衛(wèi)星影像的海上運(yùn)動(dòng)船只自動(dòng)檢測(cè)方法

李鴻喆， 龔芳， 朱乾坤， 何賢強(qiáng)

1. 上海交通大學(xué) 海洋學(xué)院, 上海 201100;2. 自然資源部第二海洋研究所 衛(wèi)星海洋環(huán)境動(dòng)力學(xué)國家重點(diǎn)實(shí)驗(yàn)室, 杭州 310012

1 引 言

中國海域遼闊，擁有近300 萬km2的海洋國土面積，沿海港口眾多，海上船舶的監(jiān)測(cè)對(duì)于海上航行安全保障和海洋權(quán)益維護(hù)尤為重要。衛(wèi)星遙感可實(shí)現(xiàn)對(duì)海上船舶的大面積、高頻率監(jiān)測(cè)，可為漁業(yè)、海上交通及遇難搜救等提供重要信息支持。目前，海上船舶遙感監(jiān)測(cè)主要是利用高空間分辨率的光學(xué)衛(wèi)星影像或合成孔徑雷達(dá)（SAR）影像，對(duì)船舶及尾跡進(jìn)行目標(biāo)提取。Murphy（1986）最早提出在SAR 影像中使用Radon 變換以提取影像上的直線特征。Rey 等（1990）認(rèn)為船舶尾跡在一定范圍內(nèi)可以當(dāng)作直線形狀處理，從而通過直線檢測(cè)算法進(jìn)行尾跡提取。自此之后，提出了多種基于SAR 影像的船舶尾跡提取算法，常見的方法大多基于Hough 變換（種勁松和朱敏慧，2004）、Radon變換（蔣定定 等，2004）和脊波變換（江源和李健偉，2015）等，其總體思路都是提取影像上的直線特征。上述方法適合于提取長線段，但容易受到噪聲影響。江源和李健偉（2015）與張宇等（2003）分別使用了局部脊波變換和局部Radon變換提取線段特征，這兩種方法都通過滑窗將提取范圍局部化，以便提取更小的目標(biāo)。王世慶和金亞秋（2001）將圖像形態(tài)學(xué)處理和Radon變換結(jié)合，以適應(yīng)不同水域。種勁松和朱敏慧（2004）提出基于歸一化灰度的Hough變換，引入直線長度統(tǒng)計(jì)空間，使得不同長度線段對(duì)Hough變換空間都能產(chǎn)生均勻貢獻(xiàn)量，提高了檢測(cè)精度。Grosso和Guida（2020）基于Sentinel-1影像，對(duì)船只尾跡進(jìn)行提取并估算出航行速度。Liu 等（2021）基于光學(xué)影像提取艦船尾跡，在Radon變換的基礎(chǔ)上提出了一種新穎的方式剔除虛假的尾跡，在不同影像樣本上的測(cè)試表明，精度與召回率均有顯著改善。

近年來，隨著計(jì)算機(jī)性能不斷提升，神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法發(fā)展迅速，如遙感影像上的目標(biāo)提取已經(jīng)廣泛使用卷積神經(jīng)網(wǎng)絡(luò)。Zou和Shi（2016）在高分辨率光學(xué)遙感影像上使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)艦船目標(biāo)進(jìn)行提取。Kang和Kim（2019）使用Inception網(wǎng)絡(luò)對(duì)SAR 影像進(jìn)行目標(biāo)檢測(cè)，并進(jìn)行運(yùn)動(dòng)參數(shù)估計(jì)。Kun 和Yan（2020）和Lin 等（2021）使用YOLOv4模型對(duì)SAR影像進(jìn)行船只檢測(cè)。

然而，現(xiàn)有的高空間分辨光學(xué)或SAR衛(wèi)星影像重訪周期長，難以實(shí)現(xiàn)海上船只的連續(xù)檢測(cè)，使得其實(shí)際應(yīng)用具有較大局限性。中國于2018年9月、2020 年6 月分別發(fā)射了HY-1C、HY-1D 海洋水色遙感衛(wèi)星，其上均裝載有中分辨率的海岸帶成像儀（CZI）。CZI的星下點(diǎn)空間分辨率為50 m，幅寬達(dá)1000 km，單顆衛(wèi)星CZI 就可實(shí)現(xiàn)每3 天進(jìn)行重復(fù)觀測(cè)。目前，HY-1C/CZI 和HY-1D/CZI 形成了上、下午組網(wǎng)觀測(cè)，進(jìn)一步縮短了重訪觀測(cè)周期。

相較于SAR影像，中分辨率光學(xué)影像受云覆蓋影響大，且自身空間分辨率較低，這對(duì)于提取海面船舶尾跡目標(biāo)帶來挑戰(zhàn)。因此，如能實(shí)現(xiàn)中分辨率CZI影像的船舶自動(dòng)檢測(cè)技術(shù)，將對(duì)海上艦船監(jiān)測(cè)具有重要價(jià)值。針對(duì)該問題，本文基于卷積神經(jīng)網(wǎng)絡(luò)建立HY-1/CZI 影像的海上運(yùn)動(dòng)船只尾跡提取算法，并開展應(yīng)用效果檢驗(yàn)。

2 數(shù)據(jù)源

本研究使用了2021年1月至3月、云量相對(duì)較少的17幅HY-1C/CZI影像數(shù)據(jù)，覆蓋范圍見圖1（a）。成像時(shí)間信息見表1。

圖1 影像裁剪示意圖Fig. 1 Sketch map of image cropping

表1 用于本研究的HY-1C/CZI影像信息Table 1 The information of the HY-1C/CZI data used in this study

CZI共有4個(gè)波段，分別為420—500 nm、520—600 nm、610—690 nm、760—890 nm。由于船只尾跡相比于背景海水，在近紅外波段的反射率大幅度提高，因此本文選擇420—500 nm、520—600 nm、760—890 nm分別作為B、G、R通道，這樣組合除了有突出尾跡的效果，還可以利用植被在近紅外高反射率的特點(diǎn)，區(qū)分陸地與海面。由于單幅CZI影像數(shù)據(jù)寬21800像素、長7600像素，本文將影像先進(jìn)行分割，同時(shí)需要保證不會(huì)因?yàn)榉指顚⑼荒繕?biāo)割裂導(dǎo)致檢測(cè)精度下降。本研究獲取的船舶尾跡樣本長度為8—25像素，因此，將影像分割成416×416大小的子影像，兩個(gè)相鄰子影像之間保證30 個(gè)像素的重疊，避免同一目標(biāo)被割裂。如圖1所示，遇到圖像邊緣時(shí)直接從邊緣算起取416個(gè)像素。然后，使用MNDWI 指數(shù)（徐涵秋，2005）對(duì)原始影像進(jìn)行陸地掩膜處理，閾值取為0.1。使用傳統(tǒng)圖像處理方法時(shí)，經(jīng)常需要對(duì)影像進(jìn)行增強(qiáng)（Liu 等，2021），但本文沒有采取這種預(yù)處理。影像增強(qiáng)的目的是突出圖像上的某些特征，但同時(shí)會(huì)損失信息（Maini 和Aggarwal，2010），神經(jīng)網(wǎng)絡(luò)特征提取能力足以分辨細(xì)微的特征，圖像增強(qiáng)可能反而會(huì)損失部分特征信息。

3 基于卷積神經(jīng)網(wǎng)絡(luò)的尾跡目標(biāo)提取

卷積神經(jīng)網(wǎng)絡(luò)通過對(duì)大量樣本進(jìn)行學(xué)習(xí)，能夠提取目標(biāo)不同尺度上的特征，且在有干擾的情況下依舊能表現(xiàn)良好。由于HY-1/CZI 是一種光學(xué)成像儀，存在云層干擾，因此本文基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行尾跡目標(biāo)提取，以獲得穩(wěn)健的尾跡檢測(cè)算法。本文采用YOLOv5模型，該模型的自適應(yīng)錨定框設(shè)計(jì)使其在檢測(cè)小目標(biāo)時(shí)有出色表現(xiàn)，下文也設(shè)計(jì)了與其他方法的對(duì)比實(shí)驗(yàn)以驗(yàn)證其優(yōu)勢(shì)。

模型網(wǎng)絡(luò)分為Backbone、Neck、Prediction 這3部分（圖2）。其中CBL模塊是常見的卷積神經(jīng)網(wǎng)絡(luò)模塊，由一個(gè)卷積層+批正則化層（BN）+激活函數(shù)；SPP 結(jié)構(gòu)則是用不同尺度池化層池化后并拼接，使輸出的特征圖包含不同尺度的特征；CONV是單層卷積；CSP 是帶有殘差結(jié)構(gòu)的多層卷積模塊。Backbone是主特征提取網(wǎng)絡(luò)，可以從圖像中提取豐富的特征，由多個(gè)CSP 與CBL 模塊交替構(gòu)成；Neck 層為瓶頸層，將不同深度的特征混合傳至預(yù)測(cè)層進(jìn)行預(yù)測(cè)。在本研究中，僅有船舶尾跡一個(gè)類別，因此我們?cè)O(shè)置待檢測(cè)類別數(shù)為1，并將輸入層尺寸設(shè)置為416像素以符合裁剪后的影像尺寸。

圖2 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Structure of YOLOv5 network

3.1 模型訓(xùn)練

人工標(biāo)注579張裁剪后影像，將全部樣本按照7∶3比例劃分成訓(xùn)練集和測(cè)試集。樣本標(biāo)注上，僅標(biāo)注未遮擋的帶有尾跡的運(yùn)動(dòng)船只，這是由于CZI星下點(diǎn)分辨率為50 m，不帶有尾跡特征的靜止船只難以被分辨；被遮擋導(dǎo)致殘缺的樣本也未標(biāo)注，前文提到尾跡在影像上長度8—25像素不等，被遮擋后目標(biāo)過小。由于尾跡的影像與預(yù)訓(xùn)練模型的樣本形態(tài)差距過大，對(duì)整體網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這樣做可能會(huì)減慢訓(xùn)練速度，但是可以得到對(duì)于尾跡提取適用性更強(qiáng)的模型。本研究訓(xùn)練環(huán)境為：Windows 10操作系統(tǒng)、Pytorch 框架、NVIDIA GTX1060 GPU，訓(xùn)練時(shí)間3.656 h。訓(xùn)練過程中超參數(shù)的設(shè)置如表2所示。

表2 訓(xùn)練過程的部分超參數(shù)Table 2 Hyperparameters in training process

在經(jīng)過100輪訓(xùn)練后，網(wǎng)絡(luò)的損失趨于平穩(wěn)，不再出現(xiàn)波動(dòng)下降（圖3），在此時(shí)停止訓(xùn)練。另外，由于顯存大小限制，批尺寸設(shè)置為8，無法繼續(xù)增加。

圖3 損失隨訓(xùn)練次數(shù)的變化曲線Fig. 3 Loss varies with the number of epochs

3.2 模型結(jié)果

在目標(biāo)檢測(cè)中，常用精度（precision）和召回率（recall）指標(biāo)來評(píng)估算法的性能，它們的計(jì)算方式如下：

式中，TP（True Positive）指被檢測(cè)出且種類正確的數(shù)量，F(xiàn)P（False Positive）指被檢出但是種類不正確的數(shù)量，F(xiàn)N（False Negative）指對(duì)于指定種類未被檢出的數(shù)量。將不同置信度下對(duì)應(yīng)的精度（Precision）與召回率（Recall）繪制成曲線的P-R曲線如圖4所示，目標(biāo)種類僅為一種，該曲線代表了全體類別也就是尾跡。

為了評(píng)估模型的整體精度，使用PASCALVOC（Everingham 等，2010）中的評(píng)價(jià)指標(biāo)mAP（mean Average Precision）。mAP 即不同召回率下的平均精度，在P-R 曲線中表現(xiàn)為曲線的積分。在認(rèn)為檢測(cè)結(jié)果與真實(shí)值的交并比（即真實(shí)框與預(yù)測(cè)框的交集與并集面積比值）大于0.5 時(shí)檢測(cè)正確，此時(shí)mAP為78.2%，即圖4中mAP@0.5值為78.2%。使用本文數(shù)據(jù)在SSD（Liu 等，2016）、YOLOv4（Bochkovskiy 等，2020）與Faster-RCNN（Ren 等，2015） 下的精度比較如表3 所示，可以看出，YOLOv5相較其他模型擁有更高的精度。

圖4 精度與召回率曲線Fig. 4 P-R curve

表3 不同神經(jīng)網(wǎng)絡(luò)模型精度比較Table 3 Comparison among different networks

本模型晴空影響下的檢測(cè)效果如圖5所示。模型中設(shè)置score（輸出評(píng)估值）大于0.3即可判別為目標(biāo)。深度學(xué)習(xí)的特性使得本模型在復(fù)雜背景下也能正確檢測(cè)到尾跡，例如存在云干擾的區(qū)域（圖6），在港口區(qū)域復(fù)雜的陸地背景干擾下，也可以較好地對(duì)尾跡目標(biāo)進(jìn)行檢測(cè)?；谥本€提取的傳統(tǒng)算法在處理此類情況時(shí)則會(huì)因?yàn)楦蓴_特征尺度大于目標(biāo)尺度，會(huì)提取出錯(cuò)誤直線特征。在云覆蓋過于密集，以及陸地線紋理特征存在干擾的情況下，為避免模型的錯(cuò)檢或漏檢（圖7），在預(yù)處理影像時(shí)需要使用陸地掩膜和云掩膜，將陸地區(qū)域與云覆蓋剔除，提高檢測(cè)正確率。

圖5 晴空下尾跡檢測(cè)效果Fig. 5 Wake detection sample under clear sky

圖6 云干擾下船舶尾跡檢測(cè)Fig. 6 Wake detection with cloud influence

圖7 模型錯(cuò)檢和漏檢情況Fig. 7 Wrong and neglected cases

4 尾跡參數(shù)提取

常見船舶尾跡有4類：布拉格波、開爾文尾跡、湍流尾跡和內(nèi)波尾跡。在HY-1/CZI 影像上可見的尾跡為開爾文尾跡和湍流尾跡。但由于CZI空間分辨率相對(duì)較低，開爾文臂亮度過低，大部分情況下僅湍流尾跡可見，因此本文使用湍流尾跡對(duì)船只進(jìn)行定位和定向。

湍流尾跡在影像上的特征是一條有一定寬度的線段，尺寸較小且和尾跡前方船體連在一起形成明亮的逐漸變淡的尾跡。前述卷積神經(jīng)網(wǎng)絡(luò)提取已經(jīng)排除了絕大部分的背景干擾，在每個(gè)檢測(cè)出的檢測(cè)框中，尾跡亮度都明顯高于背景海水。進(jìn)一步使用Ostu 二值化算法（Otsu，1979），將影像中的尾跡提取出來。Ostu 二值化算法將影像分為前景與背景，選擇使得兩類類間方差最大分割點(diǎn)作為二值化閾值。在提取直線特征時(shí)，本文使用概率Hough 變換（Probabilistic Hough Transform），（Matas 等，1999）可以提取線段，同時(shí)還具有低運(yùn)算量、可指定線段長度和線間間距的優(yōu)點(diǎn)。詳細(xì)流程如下（圖8）：

圖8 湍流尾跡提取流程圖Fig. 8 Flow chart of turbulence ship wake detection

（1）使用Ostu 閾值化分割影像，得到尾跡的高亮范圍。

（2）使用概率Hough變換提取線段特征，累計(jì)閾值設(shè)定為整體高亮像素?cái)?shù)的10%，最小線段長度設(shè)置為段邊框的40%，最大線間間距設(shè)置為10。

（3）選擇最長的線段作為整體尾跡特征線段。

（4）判斷方向，沿直線取影像上的像素值，亮度增加的方向?yàn)榇缓较颉?/p>

尾跡提取典型效果如圖9所示，可以看到，盡管尾跡尺寸只有十幾甚至幾個(gè)像素大小，本算法都能較準(zhǔn)確地提取出尾跡。針對(duì)較大范圍的海域進(jìn)行提取時(shí)，可以快速提取出大量船只，結(jié)果如圖10所示。

圖9 湍流尾跡提取效果Fig. 9 Turbulence ship wakes detection

圖10 大范圍海域船只自動(dòng)檢測(cè)效果Fig. 10 Ship detection results in large sea areas

本文中使用的HY-1/CZI影像產(chǎn)品級(jí)別為L1B，每個(gè)像素都帶有地理位置信息。對(duì)于每幅影像數(shù)據(jù)，可以根據(jù)每個(gè)像素的位置索引得到對(duì)應(yīng)的位置信息。由于不能確定船只重心所在位置，我們將尾跡的起始位置，也就是船尾作為定位結(jié)果。這樣做可能會(huì)帶來誤差，但是考慮到尾跡長度只有十幾個(gè)像素，重心至船尾約1—2 個(gè)像素，地面距離50—100 m，對(duì)于海面船只該定位誤差影響可以忽略。湍流尾跡在確定起始點(diǎn)之后直接計(jì)算方位角即可。注意影像方位角與地理方位角定義的不同，轉(zhuǎn)換式如下：

式中，Rg與Ri分別為地理方位角與圖像方位角，Rd為小窗口橫坐標(biāo)方向與原影像地理北方向之間的夾角。利用662個(gè)尾跡圖像，對(duì)本算法精度進(jìn)行定量評(píng)估，并與基于Hough 變換的改進(jìn)的CGHT 算法（趙春暉和欒世杰，2014）及基于邊緣檢測(cè)的梯度閾值法（張志新 等，2019）的提取結(jié)果進(jìn)行對(duì)比，結(jié)果見表4 與圖11。以影像中帶AIS 數(shù)據(jù)記錄船只的成像時(shí)航向記錄為參考，定位誤差3像素以內(nèi)，方向與實(shí)際方向偏差±15°以內(nèi)定義為正確檢測(cè)，結(jié)果見表5。

表4 尾跡提取精度評(píng)估結(jié)果Table 4 Wake extraction accuracy evaluation

圖11 不同算法對(duì)比結(jié)果Fig. 11 Results of different algorithms

表5 船只定位定向評(píng)估結(jié)果Table 5 Positioning and orientation evaluation

本算法尾跡檢出率（Recall）超過85%，顯著高于改進(jìn)CGHT 方法與梯度閾值法在相同影像下的檢測(cè)精度（表4）。算法檢出率與Liu 等（2021）基于Landsat 8 陸地成像儀83.8% 的檢測(cè)精度（precision）相當(dāng)?？紤]到Landsat 8 海岸帶成像儀30 m 星下點(diǎn)分辨率高于HY-1/CZI 的50 m 分辨率，本文算法的檢測(cè)精度較高。此外本算法方向檢測(cè)精度與位置檢測(cè)精度分別達(dá)到64.20%和77.71%（表4）。

本算法尾跡檢測(cè)精度較高主要有兩個(gè)方面的原因。一是相較于傳統(tǒng)算法對(duì)大面積海域進(jìn)行直線特征提取，卷積神經(jīng)網(wǎng)絡(luò)排除了絕大多數(shù)的背景干擾，并且將尾跡放在了窗口中心，使得尾跡和背景海水反差強(qiáng)烈。二是CZI分辨率相對(duì)較低，排除了大量噪聲干擾。開爾文尾跡中的橫波會(huì)截?cái)嗤牧魑槽E，而尖波會(huì)干擾開爾文臂的形成。根據(jù)Liu等（2021）的研究，橫波波長約為38.2 m，假設(shè)需要3個(gè)像素來區(qū)分波峰和波谷，則至少需要分辨率為13 m。尖波與橫波同步產(chǎn)生，且波長小于橫波，因此在檢測(cè)線性尾跡特征時(shí)，使用分辨率低于13 m 的影像就可以避免橫波于尖波干擾。另外在HY-1/CZI 影像上的暗線尾跡不可見，可見尾跡均為明亮線狀特征。因此，雖然HY-1/CZI 分辨率相對(duì)較低，但在抑制噪聲等方面則有正面作用。

5 結(jié) 論

本文利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)和目標(biāo)提取，建立了適用于HY-1/CZI 影像的海上運(yùn)動(dòng)船只尾跡提取算法，實(shí)現(xiàn)了中分辨率光學(xué)遙感影像的船只自動(dòng)檢測(cè)。本文算法可從中分辨率HY-1/CZI影像上直接檢測(cè)得到海上運(yùn)動(dòng)船只的位置和運(yùn)動(dòng)信息，無需人工篩選，實(shí)現(xiàn)了尾跡自動(dòng)化提取，克服了中分辨率光學(xué)影像分辨率不足的問題。在尾跡檢測(cè)檢測(cè)結(jié)果的基礎(chǔ)上，本文進(jìn)一步定量地對(duì)尾跡進(jìn)行描述，得到船只的位置和運(yùn)動(dòng)方向信息。實(shí)驗(yàn)結(jié)果表明，使用尾跡對(duì)船只位置和方向進(jìn)行提取可達(dá)到較高精度，檢出率（Recall）達(dá)到86.1%

，船只運(yùn)動(dòng)方向的檢測(cè)精度為64.20%，船只位置檢測(cè)精度達(dá)77.71%。

本算法也可以應(yīng)用于其他中等分辨率光學(xué)遙感影像上。算法目前在船只運(yùn)動(dòng)方向的檢測(cè)精度略顯不足，主要原因是較低的分辨率使得開爾文尾跡難以辨別，僅依靠尺度較小的湍流尾跡進(jìn)行位置及方向檢測(cè)可靠性較低，需要未來進(jìn)一步提升位置與方向檢測(cè)精度。

志 謝感謝國家衛(wèi)星海洋應(yīng)用中心提供HY-1C/CZI數(shù)據(jù)產(chǎn)品。感謝衛(wèi)星海洋環(huán)境動(dòng)力學(xué)國家重點(diǎn)實(shí)驗(yàn)室衛(wèi)星地面站和海洋遙感數(shù)據(jù)在線分析平臺(tái)（SatCO2）提供數(shù)據(jù)處理幫助。