面向海洋漁業(yè)捕撈生產(chǎn)的深度學(xué)習(xí)方法應(yīng)用研究進展

張勝茂，孫永文，樊偉，唐峰華，崔雪森，伍玉梅

(1.大連海洋大學(xué) 航海與船舶工程學(xué)院，遼寧 大連 116023； 2.中國水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所 農(nóng)業(yè)農(nóng)村部漁業(yè)遙感重點實驗室，上海 200090)

2019年，全球海洋捕撈年產(chǎn)量約8 000萬t，其中，四分之一的種群處在生物不可持續(xù)水平上捕撈，兼捕的海龜Cheloniamydas、海鳥、鯨豚等，在捕撈過程中也面臨威脅[1]。隨著生產(chǎn)方式的轉(zhuǎn)變，漁業(yè)觀察員制度可有效減少漁業(yè)捕撈中的兼捕，在資源養(yǎng)護和管理中起著至關(guān)重要的作用。然而，人類觀察員方式執(zhí)行成本高、覆蓋率低。如觀察員制度比較完善的金槍魚延繩釣覆蓋率僅為5%，受新冠疫情影響，觀察員派遣更加困難。而且該制度記錄數(shù)據(jù)時效性差，受主觀因素影響，有時所收集的數(shù)據(jù)不夠客觀可靠[2]。近年來，計算機視覺技術(shù)發(fā)展迅速，電子監(jiān)控(electronic monitoring,EM)為人類觀察員計劃提供了有益補充。推廣電子監(jiān)控可降低監(jiān)測成本、擴大覆蓋范圍，同時可以客觀地監(jiān)督漁船捕撈活動，減少棄魚量，維護海洋生態(tài)環(huán)境健康的可持續(xù)性[3]。海洋漁業(yè)資源的充分開發(fā)已經(jīng)受到各國重視，各國均不斷加強捕撈監(jiān)管，并投入了大量的人力、物力，通過引入新的技術(shù)手段，以自動獲取、分析漁船作業(yè)現(xiàn)場數(shù)據(jù)，掌握漁場捕撈狀況，進而提升相關(guān)管理的科學(xué)性、可靠性和便利性。

深度學(xué)習(xí)是通過構(gòu)建具有較多隱藏層的機器學(xué)習(xí)模型并儲存海量的訓(xùn)練數(shù)據(jù)，學(xué)習(xí)更有用的目標特征，進而提升分類和預(yù)測的準確性的一種技術(shù)。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，其在海洋領(lǐng)域的應(yīng)用趨于成熟，在海洋捕撈[4-5]、保護珍稀海洋生物[6-7]等方面取得了突破性進展。如利用漁獲物圖像或視頻幀識別漁獲物及計算漁獲物數(shù)量，并通過測量漁獲物體長、體寬，進而預(yù)估捕撈努力量，以及利用衛(wèi)星遙感影像識別船舶等。目前，在上述具體應(yīng)用中利用深度學(xué)習(xí)方法所取得的準確率，基本可以滿足業(yè)務(wù)化需求，但由于海洋環(huán)境復(fù)雜、背景噪音和圖像失真等問題，準確識別實地場景中的漁獲物、船舶和網(wǎng)具等遇到了各種挑戰(zhàn)。因此，在實際的海洋環(huán)境中，如何快速準確地識別、測量實地對象，仍存在許多需要加強的領(lǐng)域，如不同類型漁船的檢測與識別，以及提高相似魚種的識別準確度等。本文從數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、算法設(shè)計、模型訓(xùn)練和模型精度評價等方面，總結(jié)了漁業(yè)捕撈生產(chǎn)監(jiān)測模型的構(gòu)建過程，以漁船與漁船行為、漁獲物、漁場預(yù)報、船員和漁具為對象，綜述了深度學(xué)習(xí)技術(shù)在海洋漁業(yè)捕撈中的應(yīng)用，并針對實際應(yīng)用中存在的問題，提出了未來重點研究方向。

1 海洋漁業(yè)捕撈中深度學(xué)習(xí)發(fā)展歷程

1.1 深度學(xué)習(xí)在海洋漁業(yè)捕撈中的近期應(yīng)用

在20世紀初，深度學(xué)習(xí)模型就已經(jīng)運用于測量魚類的大小，但受當(dāng)時計算機算力低等限制未能推廣。隨著計算機算力的提升，以及各種檢測速度快、檢測精度高的模型誕生，國內(nèi)外學(xué)者開展了大量深度學(xué)習(xí)應(yīng)用于海洋漁業(yè)捕撈生產(chǎn)領(lǐng)域的研究。2017年，Tung等[8]開發(fā)的VGG-16(visual geometry group-16)、Inception-V3兩個卷積網(wǎng)絡(luò)分類器，實現(xiàn)了金槍魚Thunnus、比目魚Pleuronectiformes、大青鯊Prionaceglauca的識別，VGG-16的準確率達94.5%，Inception-V3的準確率達92.25%。2019年，陳英義等[9]針對背景干擾較強、魚類目標偏小等因素導(dǎo)致訓(xùn)練結(jié)果較差的問題，構(gòu)建了FTVGG-16(fine-tuning VGG-16)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)，對長鰭金槍魚Thunnusalalunga、大眼金槍魚Thunnusobesus、黃鰭金槍魚Thunnusalbacores、鯕鰍Coryphaenidae、月光魚Xiphophorusmaculatus、大青鯊和帶魚Trichiuruslepturus進行訓(xùn)練識別，平均準確率為97.66%，F(xiàn)TVGG-16模型優(yōu)于VGG-16、VGG-19和ResNet-50(residual network-50)。2019年，F(xiàn)itzgerald等[6]運用CNN和CNN結(jié)合支持向量機(support vector machine，SVM)，對萊桑信天翁Phoebastriaimmutabilis、黑腳信天翁Phoebastrianigripes和北富爾馬信天翁Fulmarisglacialis等11種海鳥副漁獲進行識別，總體平均正確率達93.0%。2018年，Allken等[10]開發(fā)了一個Inception-V3神經(jīng)網(wǎng)絡(luò)，可自動分類來自深度視覺拖網(wǎng)攝像頭系統(tǒng)圖像中的物種，包括藍鱈Micromesistiuspoutassou、大西洋鯡Clupeaharengus和鯖Pneumatophorusjaponicus等，準確率達到94%。2020年，Zhong等[7]構(gòu)建了一個集成的CNN模型(AlexNet、VGG16、ResNet、DenseNet)，經(jīng)過訓(xùn)練被動聲學(xué)，可將白鯨Delphinapterusleucas檢測結(jié)果分類為真或假，準確率達到96.57%。2020年，Tseng等[11]設(shè)計了一種可識別魚頭、魚尾叉和色板的CNN分類器，通過估算魚類體長，實現(xiàn)魚類體長的自動測量，模型檢測準確率為98.78%，魚體體長的平均絕對誤差和測量的平均相對誤差率分別為5.36 cm和4.26%。2020年，Hu等[12]運用改進的Fast R-CNN模型開發(fā)了一種可識別北太平洋火槍烏賊Loligobeka、褶魷魚Todarodespacificus、柔魚Acalamary的手持圖像采集系統(tǒng)，測試準確率為85.7%，平均運行時間為0.144 s。2020年，Tseng等[13]提出了一種使用Mask R-CNN在電子監(jiān)控系統(tǒng)視頻中自動預(yù)篩選收獲魚的方法，運用該模型可識別金槍魚、馬林魚Histiophorusorientalis、大青鯊及浮標，魚類檢測與魚類識別平均檢測精度(mean average precision，MAP)為93.51%和98.06%。2021年，Chen等[14]提出了運用一種改進的YOLOv3(you only look once v3)模型(AE-YOLOv3)，訓(xùn)練合成孔徑雷達(synthetic aperture radar，SAR)影像識別6種船，該模型對礦石船、散貨船、普通貨船、集裝箱船、漁船和客船的檢測精度平均達98.72%，優(yōu)于Fast R-CNN、YOLOv3兩種深度學(xué)習(xí)模型。

1.2 深度學(xué)習(xí)方案的改進

除了直接對魚類應(yīng)用深度學(xué)習(xí)技術(shù)之外，在利用單一的深度學(xué)習(xí)模型，其準確率難以提高的情況下，有學(xué)者提出了一些改進方案。2018年，顧?quán)嵠降萚15]為解決小規(guī)模數(shù)據(jù)集需要人工提取特征的不可遷移性，運用卷積神經(jīng)網(wǎng)絡(luò)CNN魚類分類模型與SVM模型的混合分類模型識別23類魚種，準確率達98.6%。2021年，F(xiàn)u等[5]提出了一種從二維海洋環(huán)境模式預(yù)測鰹魚Katsuwonuspelamis捕撈量的方法，該方法第一階段運用了Faster R-CNN模型訓(xùn)練海溫圖，提取出候選的鰹魚在地圖上的位置，第二階段運用了支持向量回歸(support vector regression，SVR)估計捕獲量，結(jié)果顯示，提出的方法比普通漁民預(yù)測捕撈量的準確率平均提高3%。

1.3 主要應(yīng)用對象

深度學(xué)習(xí)在海洋捕撈生產(chǎn)中的主要應(yīng)用對象有漁船與漁船行為、漁獲物、漁場預(yù)報、船員和漁具。深度學(xué)習(xí)技術(shù)在海洋領(lǐng)域的應(yīng)用多圍繞解決有效監(jiān)管漁獲物濫捕及人員安全問題，進行漁船、漁具和預(yù)測漁場位置等研究也是為了更好地監(jiān)管。有關(guān)深度學(xué)習(xí)技術(shù)的更多研究則是直接檢測漁獲物。隨著常見海洋漁獲物的識別、分類和尺寸測量的準確率進一步提高，以及被識別生物的種類是否屬于受保護生物、生物的生長階段及生物開始出現(xiàn)至最終出現(xiàn)的區(qū)域等細化分析程度的增強，深度學(xué)習(xí)為預(yù)估捕撈量、預(yù)測捕撈區(qū)域和設(shè)置海洋生物保護區(qū)等方面提供了重要的技術(shù)支持，并為國家海洋牧場建立了更加完善的自主監(jiān)管系統(tǒng)。但相關(guān)技術(shù)應(yīng)用仍然存在挑戰(zhàn)：數(shù)據(jù)量少，數(shù)據(jù)擴充后的實地有效數(shù)據(jù)量仍不能達到提高模型準確度的效果；數(shù)據(jù)標簽需要人工標注，較費時；目前可使用的模型仍不能同時滿足海洋漁業(yè)捕撈生產(chǎn)實時的高精度、高檢測速度。

2 漁業(yè)捕撈生產(chǎn)監(jiān)測模型的構(gòu)建

深度學(xué)習(xí)方法應(yīng)用于海洋捕撈生產(chǎn)智能識別領(lǐng)域中，可實現(xiàn)目標的檢測與識別。應(yīng)用深度學(xué)習(xí)方法的過程一般包括數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、算法設(shè)計、模型訓(xùn)練和模型精度評價(圖 1)。首先獲取原始數(shù)據(jù)，對于傳送到模型的原始數(shù)據(jù)或文件，均有或多或少的背景噪音，符合基本訓(xùn)練要求的數(shù)據(jù)量有限，若直接進行模型訓(xùn)練，效果一般較差。因此，在模型訓(xùn)練初始階段，需要運用預(yù)處理方法處理數(shù)據(jù)，生成數(shù)據(jù)集。經(jīng)過預(yù)處理后的數(shù)據(jù)可直接選擇已訓(xùn)練好的經(jīng)典算法，在此基礎(chǔ)上進行微調(diào)模型或固定特征模型訓(xùn)練，也可設(shè)計新的模型重新訓(xùn)練。創(chuàng)建完成模型之后，將訓(xùn)練集(一般將處理好數(shù)據(jù)的70%～80%作為訓(xùn)練集)導(dǎo)入模型中進行訓(xùn)練，訓(xùn)練結(jié)束后導(dǎo)入測試集(剩余數(shù)據(jù)的20%～30%作為測試集)測試模型精度。

圖1 深度學(xué)習(xí)一般流程圖Fig.1 General flowchart of deep learning

2.1 獲取數(shù)據(jù)的方法

數(shù)據(jù)獲取是模型訓(xùn)練的基石，采用適當(dāng)方法獲取畫質(zhì)高清且數(shù)量足夠的待識別目標的數(shù)據(jù)，可大大減少預(yù)處理工作量，并提升模型的識別準確率。目前，獲取實際場景數(shù)據(jù)的主要方法有衛(wèi)星拍攝[6]、海上無人機錄像[7]、船上安裝電子監(jiān)控系統(tǒng)[8-19]、船上安裝聲吶[20]和船上安裝水聽器[21]等。具體獲取數(shù)據(jù)的工具及其用途如表1所示。

表1 獲取數(shù)據(jù)的工具及其用途Tab.1 Tools for obtaining data and their uses

2.2 數(shù)據(jù)預(yù)處理方法

在實際應(yīng)用中，選擇合理的數(shù)據(jù)預(yù)處理方法，將極大地提高模型訓(xùn)練精度和泛化能力。用于海洋捕撈生產(chǎn)數(shù)據(jù)的預(yù)處理方法較多，常用方法有數(shù)據(jù)清洗、數(shù)據(jù)增強和數(shù)據(jù)打標簽等。表2簡述了海洋捕撈生產(chǎn)中常用的數(shù)據(jù)預(yù)處理方法、特點和適用場景，其中，數(shù)據(jù)清洗是模型訓(xùn)練的第一步，可初步篩選出包含待識別目標的數(shù)據(jù)集。常用的數(shù)據(jù)增強方法包括幾何翻轉(zhuǎn)、Mosaic[22]、SamplePairing[23]、Mixup[24]、Cutout[25]、CutMix[26]和Fmix[27]，上述數(shù)據(jù)增強方法豐富了訓(xùn)練和測試的樣本，提升了模型的穩(wěn)定性。除此之外，Mixup、CutMix等可結(jié)合數(shù)據(jù)增強策略進一步提升模型性能，數(shù)據(jù)增強策略包括Autoaugment、Rand Augment、Fast Autoaugment和Trivial Augment等[28]。數(shù)據(jù)打標簽是指為待識別目標打上特定標簽，為模型學(xué)習(xí)樣本做準備。常用的打標簽工具有Labelimg[29]或Labelme，Labelimg主要用于對目標進行大致的標定，常見有框選標定，用于目標檢測；Labelme主要用于較為細致的輪廓標定，用于語義分割或?qū)嵗指?。對于識別圖像中漁獲物或其他目標，需要人工標注；對于判定漁船狀態(tài)的圖像，可使用機器打標簽。預(yù)處理方法多是針對二維圖像，但在當(dāng)前海洋漁業(yè)捕撈生產(chǎn)中，特別在遠洋漁業(yè)領(lǐng)域多為視頻數(shù)據(jù)，對視頻數(shù)據(jù)的預(yù)處理方法，大多先采用降維，再選擇二維圖像預(yù)處理方法處理數(shù)據(jù)，也有使用視頻軟件按幀數(shù)輸出二維圖像進行降維的。

表2 數(shù)據(jù)預(yù)處理方法、特點和適用場景Tab.2 Preprocessing methods，features and applicable scene of data

2.3 深度學(xué)習(xí)模型及分類

1)深度學(xué)習(xí)模型。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)模型中的一種基礎(chǔ)模型，其廣泛應(yīng)用于圖像分類。CNN基礎(chǔ)架構(gòu)：導(dǎo)入一個圖像作為輸入層，對輸入的圖像進行若干“卷積+池化”，最后利用全連接層實現(xiàn)圖像的分類。隨著深度學(xué)習(xí)模型在各領(lǐng)域的應(yīng)用逐漸增多，傳統(tǒng)模型的缺陷愈發(fā)明顯，最終難以達到理想效果。有學(xué)者選擇在原有模型基礎(chǔ)上，逐步加入新的模型改進或設(shè)計新的模型，在以CNN為基礎(chǔ)的經(jīng)典網(wǎng)絡(luò)中，LeNet5是開山之作，AlexNet開始展現(xiàn)出CNN的強大[28]，并為后續(xù)模型的改進提供了經(jīng)驗和技術(shù)。在海洋漁業(yè)生產(chǎn)領(lǐng)域研究較成功的模型主要有VGG系列[30]、ResNet系列[31]、Inception系列[32]、R-CNN系列[33]和YOLO系列[34]等。

2)模型的分類。根據(jù)檢測問題的步驟不同，深度學(xué)習(xí)模型可劃分為兩階段目標檢測模型和一階段目標檢測模型。其中，兩階段目標檢測模型，是指先產(chǎn)生候選區(qū)域，后對候選區(qū)域進行分類；一階段目標檢測模型，是指直接產(chǎn)生目標的類別概率和位置坐標值。兩階段目標檢測模型中，發(fā)展迅速的模型有以R-CNN為基礎(chǔ)的Fast R-CNN、Faster R-CNN、Mask R-CNN等。圖2簡述R-CNN系列具有代表性模型的發(fā)展、功能。2014年，Girshick等[35]提出R-CNN模型，應(yīng)用后發(fā)現(xiàn)了模型存在弊端，將特征提取、分類和回歸整合，提出了Fast R-CNN[36]。2017年，Ren等[37]在Fast R-CNN基礎(chǔ)上加上候選框生成模型，提出了Faster R-CNN模型。2017年，He等[38]在Faster R-CNN模型基礎(chǔ)上增加了預(yù)測分割Mask分支,建立了Mask R-CNN模型。R-CNN模型的不斷創(chuàng)新，促進了兩階段目標檢測模型識別被遮擋目標或變形目標精度的不斷提升。

圖2 4種兩階段目標檢測模型Fig.2 Four types of two-stage target detection model

與一階段目標檢測模型相比，兩階段目標檢測模型檢測精度較高，但其檢測速度較慢。一階段目標檢測模型主要有SSD、RetinaNet、YOLO系列等，其中，YOLO系列模型因檢測速度快、精度不斷提升得到學(xué)者青睞。表3簡述YOLO系列模型的功能、提升和應(yīng)用情況，其發(fā)展過程主要包括：2016—2018年，Redmon等[39-41]從YOLOv1完善至YOLOv3；2020年，Bochkovskiy等[22]提出YOLOv4模型；2021年Ultralytics公司推出了YOLOv5模型[42]。YOLO系列極大地提高了檢測速度，可滿足漁業(yè)捕撈實時監(jiān)測的要求。

表3 YOLOv1～YOLOv5目標檢測模型及應(yīng)用Tab.3 Model and application of YOLOv1 to YOLOv5 target detection network

2.4 模型訓(xùn)練

深度學(xué)習(xí)模型擅長從大量標記特征數(shù)據(jù)中學(xué)習(xí)，但面對實際應(yīng)用場景中無足夠大小的數(shù)據(jù)集時，選擇的訓(xùn)練模型更多是隨機初始化，過程中需要反復(fù)調(diào)整模型，最終效果難以預(yù)知。在實際應(yīng)用中，解決上述問題的方法大多是建立在預(yù)訓(xùn)練模型之上，即遷移學(xué)習(xí)。根據(jù)有無專用的大型數(shù)據(jù)集分為新模型訓(xùn)練和遷移學(xué)習(xí)訓(xùn)練。

1)新模型訓(xùn)練。 在捕撈生產(chǎn)中，面對不具有可使用的大型或?qū)Ｓ袛?shù)據(jù)集情況下，首先需要花費大量時間和資金，通過人工或攝像頭等方式獲取數(shù)據(jù)。然后通過構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)與更改激活函數(shù)，進而改進原有模型。

2)遷移學(xué)習(xí)訓(xùn)練。遷移學(xué)習(xí)方案應(yīng)用最為廣泛，可分為微調(diào)模型和固定特征模型兩種實現(xiàn)方式。微調(diào)模型遷移訓(xùn)練是指在非常大的數(shù)據(jù)集上對卷積神經(jīng)網(wǎng)絡(luò)進行預(yù)訓(xùn)練，運用預(yù)訓(xùn)練后的模型初始化網(wǎng)絡(luò)，模型的其他部分按照正常訓(xùn)練流程進行。固定特征模型遷移訓(xùn)練是指將預(yù)訓(xùn)練后模型的最后一個全連接層刪除，保持其余網(wǎng)絡(luò)的權(quán)重不變，即以其余卷積神經(jīng)網(wǎng)絡(luò)作為新數(shù)據(jù)集的固定特征提取器，并將具有隨機權(quán)重的新層作為最后一個全連接層，僅訓(xùn)練具有隨機權(quán)重的新層。根據(jù)兩種主要遷移學(xué)習(xí)方式，提出4種數(shù)據(jù)情況和2種模型選擇的建議(表4)。

表4 4種典型場景下遷移學(xué)習(xí)模型選擇Tab.4 Selection of transfer learning models in four typical scenarios

2.5 模型評價

海洋捕撈生產(chǎn)中，利用深度學(xué)習(xí)方法主要實現(xiàn)目標檢測和目標分類功能，根據(jù)實際應(yīng)用中實現(xiàn)的功能不同，評價模型性能可分為目標檢測性能指標和目標識別性能指標(表5)。

表5 不同功能下評價模型性能的指標Tab.5 Model evaluation performance indicators under different functions

1)目標檢測性能指標。平均檢測精度(mean average precision，MAP)是衡量模型平均檢測和分類能力的重要指標，當(dāng)MAP大于提前設(shè)定的閾值時，則認為檢測成功，且MAP值越大越好；交并比(intersection of union，IOU)指預(yù)測框與真實框的重疊率，重疊率越高越好；檢測速度(frames per second，F(xiàn)PS)指一秒鐘可處理圖像的數(shù)量，處理的數(shù)量越多，模型運算能力越強。

2)目標分類性能指標。精確率(precision)是預(yù)測結(jié)果為正的樣本中真正樣本與所有預(yù)測結(jié)果為正的樣本的比值，可反映一個類別的預(yù)測正確率。召回率(recall)是預(yù)測結(jié)果中的正樣本與數(shù)據(jù)集所有正樣本的比值，可衡量模型找到所有相關(guān)目標的能力。準確率(accuracy)一般用于評價模型的全局準確程度，可衡量模型找到相關(guān)目標的能力。一個較好的分類器性能應(yīng)該有如下表現(xiàn)：召回率增長的同時，準確率保持較高水平。實際情況中，僅依據(jù)精確率或召回率不能全面評價模型的優(yōu)劣，可采用繪制模型的精確率-召回率(precision-recall，P-R)曲線，橫軸為召回率，縱軸為精確率，P-R曲線包圍面積為檢測精度(average precision，AP)，AP值越大，說明模型性能越好。F1-score為精確率和召回率的調(diào)和平均值，根據(jù)P-R曲線可計算出F1-score值，F(xiàn)1-score值越高，說明模型的穩(wěn)健性越好。ROC曲線(receiver operating characteristic curve)由改變分類的閾值產(chǎn)生，AUC (area under curve)是指ROC曲線與坐標軸組成的面積，AUC值越大，說明模型性能越好。

3 深度學(xué)習(xí)在漁業(yè)捕撈中的應(yīng)用

深度學(xué)習(xí)模型可為海洋領(lǐng)域智能化發(fā)展提供強有力的技術(shù)支持，特別是在海洋漁業(yè)生產(chǎn)領(lǐng)域的檢測與識別中，可通過訓(xùn)練SAR影像、人工標定或者算法跟蹤的目標局部特征，以及語義、視頻幀[3]等實現(xiàn)目標檢測與識別。目前，深度學(xué)習(xí)方法在海洋漁業(yè)捕撈生產(chǎn)中有著較為廣泛地應(yīng)用，表6和表7簡述了深度學(xué)習(xí)在海洋漁業(yè)捕撈生產(chǎn)應(yīng)用中獲取數(shù)據(jù)的方法、模型及適用場景，面對不同的研究需求，表6中幾種獲取數(shù)據(jù)的方法可供選擇；面對等量、等質(zhì)量的輸入數(shù)據(jù)，表7中模型可供選擇。圖3簡述了模型中應(yīng)用最廣泛的YOLO、R-CNN模型，并舉例說明其應(yīng)用目標，如漁船與漁船行為、漁獲物、漁場預(yù)報、船員和漁具等。

圖3 模型及應(yīng)用Fig.3 Model and application

表6 數(shù)據(jù)搭載平臺及適用場景Tab.6 Data acquisition platform and applicable scenarios

表7 模型及適用場景Tab.7 Models and applicable scene

3.1 漁船及漁船行為

運用深度學(xué)習(xí)方法檢測和識別漁船及漁船行為是當(dāng)前智能化監(jiān)測漁船捕魚行為的熱門研究方法(表8)。利用深度學(xué)習(xí)模型檢測與識別SAR影像中的各類船舶，可確定漁船進出港口時間，促進漁船規(guī)范出港，如表8前兩個研究數(shù)據(jù)源均為SeaShips數(shù)據(jù)集，特征增強的AE-YOLOv3模型識別準確率較高，其擴充樣本量為YOLOv4的兩倍是檢測效果提升的原因之一，但相應(yīng)的訓(xùn)練耗時也會增加?；赩MS(vessel monitoring system)獲取的空間數(shù)據(jù)，運用深度學(xué)習(xí)方法識別漁船捕魚行為也是當(dāng)下研究的熱點之一。2020年，Gao等[50]提出了一種基于特征融合的VMS漁船作業(yè)類型識別算法，提高了漁船作業(yè)類型識別的準確性。2022年，Wang等[51]建立了3D卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了限額捕撈漁船狀態(tài)識別方法。目前，YOLOv3、YOLOv4對于常見船只的識別準確度較高，但兩階段算法識別船舶的應(yīng)用較缺乏，其中，F(xiàn)aster R-CNN可直接對全局提取特征，建議采用Faster R-CNN分析不同類型漁船的特征，如有無桁架、有無集魚燈等。VMS數(shù)據(jù)作為模型輸入?yún)?shù)，可通過增加有效參數(shù)量提升識別漁船行為的準確率。

表8 深度學(xué)習(xí)應(yīng)用于漁船及漁船行為識別的研究Tab.8 Research on the application of deep learning in fishing boats and fishing boat behavior recognition

3.2 漁獲物

海洋漁獲物作為全球捕撈漁業(yè)產(chǎn)量增長的主要驅(qū)動力，巨大的捕獲量可能會影響海洋生物的生態(tài)平衡，因此，對其監(jiān)管刻不容緩。如果未來僅靠觀察員手動記錄的漁獲日志作為規(guī)范指標，成本高且準確度較低，而采用深度學(xué)習(xí)方法，其自動檢測和識別魚類的能力較突出，可作為規(guī)范海洋捕撈的技術(shù)手段。近幾年，為規(guī)范捕撈量、監(jiān)測生物多樣性、獲取海洋資源管理指標、保護海洋物種及監(jiān)測入侵物種，許多學(xué)者利用深度學(xué)習(xí)模型訓(xùn)練漁獲物及受保護海洋生物(表9)，隨著模型的不斷改進或創(chuàng)新，各國可通過深度學(xué)習(xí)方法收集準確的數(shù)據(jù)，以規(guī)范海洋漁業(yè)的捕撈生產(chǎn)。

表9 不同研究的目的及模型Tab.9 Objectives and algorithm models of different studies

深度學(xué)習(xí)方法應(yīng)用于漁獲物的檢測和識別，可實現(xiàn)漁獲物的計數(shù)、分類及體長與體寬的測量。具有代表性的兩階段目標檢測模型Mask R-CNN，已經(jīng)被用于解決圖像或視頻中目標檢測、計數(shù)和測量的問題。如2022年，Palmer等[64]運用Mask R-CNN設(shè)計了一個自動估計海豚數(shù)量與平均叉長的模型，平均精度為79.8%，海豚級別精度為96.06%，海豚級別召回率為90.54%，模型精度為86.10%。兩階段目標識別模型精度較高，但其檢測速度較慢，且需要多個GPU訓(xùn)練模型。一階段目標識別模型應(yīng)運而生，其中，具有代表性的YOLO模型可在短時間內(nèi)完成模型的訓(xùn)練，并實現(xiàn)目標檢測，該模型也被學(xué)者應(yīng)用于漁獲物的檢測。2021年，王書獻等[18]運用YOLOv5中的4種模型檢測金槍魚與浮球，結(jié)果證明，YOLOv5l模型最適用于檢測金槍魚。雖然深度學(xué)習(xí)技術(shù)的精度與速度不能同時滿足實際需求，但應(yīng)優(yōu)先考慮精度，對特定魚種開展模型預(yù)訓(xùn)練，在保持魚類識別、計數(shù)等準確度的同時，加強對有遮擋物的相似魚種的識別，通過提取目標區(qū)域周圍多尺度上下文信息特征，進一步提升識別精度。

3.3 漁場預(yù)報

為了在捕撈作業(yè)期間將捕撈能力最優(yōu)化，常采用新的漁場尋找技術(shù)，較準確地判斷漁場位置，可減少尋找魚類的時間，減少油耗，增加下網(wǎng)次數(shù)，從而提高捕撈產(chǎn)量。目前，大多數(shù)漁民仍依據(jù)自身經(jīng)驗判斷漁場位置，效果不盡如人意。為解決這一問題，2020年，Xu等[65]將配備北斗導(dǎo)航漁船返回的軌跡數(shù)據(jù)輸出熱力圖，運用CNN模型尋找圖像中與尺度、方向相關(guān)的高概率數(shù)據(jù)，以估計未來漁場位置。2021年，F(xiàn)u等[5]提出一種Faster R-CNN結(jié)合支持向量回歸的方法，從二維海洋環(huán)境模式預(yù)測鰹魚捕撈量，所提方法比普通漁民的經(jīng)驗預(yù)測準確率平均提高了3%。目前，分別應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)漁船軌跡或海洋環(huán)境因子分布來預(yù)測漁場，預(yù)測的漁場較人為判斷準確，建議今后將漁船軌跡與海洋環(huán)境因子分布結(jié)合起來，預(yù)測漁場位置。

3.4 船員

人員定位系統(tǒng)已廣泛應(yīng)用于民用船舶安全管理系統(tǒng)中，實現(xiàn)了對大型船舶的人員管理和安全事故中人員的疏散和逃生管理。與大型船舶相比，中小型船舶狀況較差、設(shè)備不足，需要采取措施加以改善。已有學(xué)者開展了運用深度學(xué)習(xí)方法提高船員人身安全系數(shù)的研究。如2019年，Ma等[66]運用融合算法對視頻中的人臉圖像資源進行采集和整合，并運用R-CNN訓(xùn)練來往船上的人臉，搭建了船員人臉識別定位分析應(yīng)用平臺，通過識別人臉，實現(xiàn)了船上人員的定位；2021年，Kim等[67]運用YOLOv2識別船員人臉，建立了船員墜落檢測系統(tǒng)，并經(jīng)過測試驗證了系統(tǒng)的可用性，船員識別的平均精度為46.76%。由于每艘漁船人員不能固定，建議漁業(yè)部門匯總并預(yù)訓(xùn)練船員人臉信息，形成合法船員識別系統(tǒng)，以提高船員的安全保障能力。

3.5 漁具

非法、未報告和無管制的捕撈活動，是對海洋生態(tài)系統(tǒng)和可持續(xù)漁業(yè)的全球性威脅。運用深度學(xué)習(xí)方法檢測漁具并對漁具計數(shù)，可為監(jiān)管捕魚行為提供輔助信息。2017年，Branquinho等[68]運用CNN訓(xùn)練船載攝像機拍攝的360張有漁具與無漁具的圖像，實現(xiàn)自動學(xué)習(xí)算法檢測并記錄捕魚活動，準確率約為85%，并且成功實現(xiàn)漁具計數(shù)。2020年，湯先鋒等[69]基于VMS獲取的刺網(wǎng)和拖網(wǎng)漁船數(shù)據(jù)，微調(diào)VGG16模型后，實現(xiàn)了輔助刺網(wǎng)、拖網(wǎng)作業(yè)類型的識別，檢測精度達94.3%。目前，深度學(xué)習(xí)方法可通過檢測二維圖像中漁具特征進而判斷捕魚事件的發(fā)生，卻無法判斷放網(wǎng)還是收網(wǎng)。建議數(shù)據(jù)采用視頻幀[70]，加入時間維度可實現(xiàn)判斷。

4 存在問題及展望

4.1 存在問題

目前，利用深度學(xué)習(xí)技術(shù)解析海洋捕撈漁船捕撈信息還未得到廣泛應(yīng)用，究其原因有諸多方面，如人為干擾、監(jiān)測環(huán)境復(fù)雜、監(jiān)測技術(shù)限制、捕撈方式多樣和漁業(yè)管理需求存在差別等。

1)人為干擾。漁船作業(yè)中不僅可能存在非法轉(zhuǎn)載，以及誤捕的海鳥、海龜和鯊魚等是否及時放生等問題，而且還可能存在涉及漁業(yè)捕撈商業(yè)秘密等問題。為防止不合理的作業(yè)行為被記錄，船員會故意損壞、關(guān)閉攝像機，影響數(shù)據(jù)獲取。

2)監(jiān)控設(shè)備部署。海洋漁業(yè)捕撈作業(yè)是一種流程復(fù)雜、協(xié)調(diào)性高的多人合作作業(yè)方式，并且漁船“一船一型”，漁具收放、漁獲收集等所在的操作位置、占用空間大小存在差別，以及監(jiān)控設(shè)備安裝的適宜性等，直接影響漁獲、漁具和船員作業(yè)等信息獲取的完整性。

3)光照因素制約。除攝像機本身因素外，光照是影響成像質(zhì)量的主要因素，影響光照的條件主要有4方面因素：一是，海上作業(yè)天氣多變，陰、雨、霧會對燈光或自然光光照產(chǎn)生影響；二是，捕撈作業(yè)全天均可能進行，不同時刻自然光差別大；三是，晚上作業(yè)漁船使用照明燈有多種，不同燈光的亮度、強度存在差異，有時目標還存在陰影；四是，漁具材料多樣，漁獲反光影響成像等。

4)目標因素制約。識別檢測的目標具有多尺度、多角度和不完整等問題。如漁獲物在甲板上放置角度不固定，漁獲物大小差別大，同種魚類個體大小也存在差異，從而影響目標的識別和測量。部分作業(yè)方式動作相似度高，少量圖片難以區(qū)分，如卷繩機放線和收線就難于區(qū)別。船員上魚或收放漁具等操作動作快，需要開發(fā)快速識別檢測的模型。受目標因素制約，面向海洋漁業(yè)捕撈生產(chǎn)的深度學(xué)習(xí)方法需要大量地標注樣本訓(xùn)練模型，樣本收集和樣本標注的標準化情況也影響模型的應(yīng)用推廣。

5)數(shù)據(jù)量制約。海洋捕撈漁船一般至少安裝4個攝像機，其圖像分辨率有QCIF、CIF、D1、720 P和1 080 P。在720 P的情況下按H.264壓縮，一年數(shù)據(jù)量為21TB，以現(xiàn)在海上通信條件，回傳萬分之一的數(shù)據(jù)價格高達百萬，故實時獲取捕撈信息時，數(shù)據(jù)量成為制約因素。

6)漁業(yè)管理需求差別。各個國家和區(qū)域，以及各海域漁業(yè)組織，受其漁業(yè)資源種類、捕撈方式、管理流程和關(guān)注角度等因素影響，對電子監(jiān)控獲取內(nèi)容千差萬別，受電子監(jiān)控解析技術(shù)限制，許多需求還未能滿足。

4.2 未來重點研究方向

通過總結(jié)深度學(xué)習(xí)技術(shù)的應(yīng)用發(fā)現(xiàn)，獲取原始數(shù)據(jù)的方法多為電子監(jiān)控拍攝，預(yù)處理方法中應(yīng)用最多的是數(shù)據(jù)擴充、數(shù)據(jù)壓縮和數(shù)據(jù)標簽，訓(xùn)練對象包括圖像、視頻幀和音頻。實現(xiàn)海洋漁業(yè)生產(chǎn)目標檢測的主流方法是深度學(xué)習(xí)，總結(jié)近幾年深度學(xué)習(xí)在海洋漁業(yè)捕撈生產(chǎn)中的應(yīng)用發(fā)現(xiàn)：模型中兩階段目標檢測模型檢測精度高但速度較慢，一階段目標檢測模型檢測速度快但精度較差；兩階段模型中R-CNN系列愈發(fā)精準，一階段模型中YOLO系列模型檢測速度保持較高的同時精度在不斷提升，當(dāng)YOLO系列模型具有數(shù)量充足的高質(zhì)量數(shù)據(jù)時，則與兩階段模型精度相近。針對目前模型在海洋漁業(yè)捕撈應(yīng)用中存在的問題，今后需在以下方面重點開展工作：

1)利用遷移學(xué)習(xí)或強化學(xué)習(xí)等方法來拓展識別目標種類及增強檢測模型。當(dāng)前大多數(shù)目標檢測方法，對于檢測識別數(shù)據(jù)集上干擾程度低的目標準確率較高(如檢測圖像中僅有單一的魚種)，對海洋環(huán)境中如遮擋、模糊、光線變化和物體變形等目標檢測識別的魯棒性較差，因此，在缺少待驗證目標經(jīng)驗的條件下，利用遷移學(xué)習(xí)或強化學(xué)習(xí)等方法來拓展識別目標種類及增強檢測算法，實現(xiàn)目標的精確檢測是未來的研究熱點之一。

2)利用高精度的特征提取網(wǎng)絡(luò)有效提高目標分類準確率。當(dāng)前大多數(shù)目標檢測模型運用性能較高的分類網(wǎng)絡(luò)完成特征提取。然而，檢測與識別分類間的差異性致使深度學(xué)習(xí)的結(jié)果會產(chǎn)生誤差，因此，研究適用于海洋漁業(yè)生產(chǎn)相關(guān)目標檢測的特征提取網(wǎng)絡(luò)很有必要。此外，特征提取網(wǎng)絡(luò)的參數(shù)規(guī)模需要耗費大量硬件資源進行訓(xùn)練，為滿足實時目標檢測需求，如何壓縮和加速網(wǎng)絡(luò)訓(xùn)練也是一個值得研究的方向。

3)通過邊緣計算技術(shù)解決電子監(jiān)控實時解析和數(shù)據(jù)傳輸壓力。邊緣計算的發(fā)展及云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的發(fā)展息息相關(guān)，其核心是保障網(wǎng)絡(luò)邊緣側(cè)應(yīng)用的實時性問題。AI攝像機、AI船載處理器的出現(xiàn)為電子監(jiān)控數(shù)據(jù)實時解析提供了條件，電子監(jiān)控中使用具有GPU計算能力的終端，利用邊緣計算技術(shù)，實時提取捕撈作業(yè)信息并發(fā)回，基本可以解決數(shù)據(jù)量問題。

4)制定統(tǒng)一標準以規(guī)范電子監(jiān)控在漁業(yè)管理中的應(yīng)用。各國負責(zé)自己專屬經(jīng)濟區(qū)內(nèi)的漁業(yè)資源管理，區(qū)域漁業(yè)管理組織(regional fisheries management organizations，RFMO)共同負責(zé)管理世界上大多數(shù)高度洄游的魚類種群。為確保漁業(yè)發(fā)展的可持續(xù)性，需要有關(guān)漁獲量、兼捕量、捕撈努力量和法規(guī)遵守情況的可靠數(shù)據(jù)。電子監(jiān)控可以實現(xiàn)高覆蓋率，是人類觀測員的有效輔助或替代手段，通過一套技術(shù)和操作標準實施統(tǒng)一的電子監(jiān)控方法，對于確保信息準確收集和共享至關(guān)重要。目前，中國在漁船電子監(jiān)控方面研究薄弱，且電子監(jiān)控涉及商業(yè)信息和隱私，因此，需要加快電子監(jiān)控相關(guān)研究積累，實現(xiàn)數(shù)據(jù)自控，制定中國電子監(jiān)控標準，在國際漁業(yè)管理中提出中國方案，發(fā)揮中國負責(zé)任的漁業(yè)大國作用。