基于改進YOLO-V4網(wǎng)絡(luò)的淺海生物檢測模型

毛國君，翁偉棟，朱晉德，張 媛，吳富村，毛玉澤

（1. 福建工程學院計算機科學與數(shù)學學院，福州 350118；2. 福建省大數(shù)據(jù)挖掘與應(yīng)用重點實驗室，福州 350118；3. 獐子島集團股份有限公司，大連 116001；4. 中國科學院海洋研究所實驗海洋生物學重點實驗室，青島 266071；5. 中國水產(chǎn)科學研究院黃海水產(chǎn)研究所，青島 266071）

0 引 言

海洋經(jīng)濟已成為國民經(jīng)濟新的增長點，中國已經(jīng)開始實施海洋牧場工程，并將其作為新興戰(zhàn)略產(chǎn)業(yè)來大力扶持[1]。事實上，隨著中國國民生活水平的不斷提高，鮑魚、海參、海膽等珍貴海產(chǎn)品的市場需求與日俱增，極大促進了淺海養(yǎng)殖為代表的海洋漁業(yè)的蓬勃發(fā)展。人工潛水監(jiān)控及捕撈的傳統(tǒng)方法不僅耗時、人工成本高，而且人身傷害大、危險系數(shù)高。近年來，隨著水下機器人等技術(shù)的日臻成熟和逐步應(yīng)用，海洋養(yǎng)殖的信息化和智能化建設(shè)迎來新的發(fā)展契機。

為實現(xiàn)水下機器人的成功捕撈，研發(fā)海洋生物的自動化目標識別技術(shù)尤為重要，而支撐這一工作的核心技術(shù)是目標檢測（Object Detection）模型和算法。由于水下獲取視頻及圖像的特殊性，海洋目標檢測在準確率和實時性等方面都有特殊的需求，所以面向于海洋環(huán)境研究海洋生物等目標的高性能檢測模型已經(jīng)成為一個重要的研究方向。本質(zhì)上說，目標檢測是計算機視覺的一項任務(wù)，旨在解決計算機視覺應(yīng)用中最基本的問題：即檢測物體的類別和位置，兩個問題的解決程度和效率反映了不同目標檢測算法的質(zhì)量[2]。

傳統(tǒng)的目標檢測方法一般由圖像特征提取和特征學習兩個相對獨立的過程來完成。從算法角度，傳統(tǒng)的目標檢測方法依賴于圖像特征提取算子來預先將圖像集抽取成多維特征值集。多維特征值集一旦建立，圖像的學習就可以利用多維數(shù)據(jù)學習算法來完成知識模式的挖掘。由于傳統(tǒng)的圖像特征提取算子基本上是基于主觀判斷的，而且與知識模式的學習算法分離，存在提取特征難度大和泛化能力弱的致命缺點，因此目標的檢測精度和效率都很難取得預想的效果[3]。

相比于傳統(tǒng)方法，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的深度學習目標檢測算法逐漸成為了新的研究重點[4]。卷積神經(jīng)網(wǎng)絡(luò)是基于深度學習目標檢測算法的基礎(chǔ)，基于CNN的深度學習通過增加CNN的卷積層量來提高學習質(zhì)量。一般而言，基于深度學習的目標檢測方法的學習效果要比人工的特征提取和檢測方法要好[5]。從技術(shù)角度上說，CNN使用反向傳播算法進行反饋學習，通過自動化的特征提取和多層卷積學習，最大限度地減少人為干預，提升了建模能力[6]。此外，最新的CNN網(wǎng)絡(luò)利用數(shù)據(jù)增強（Data enhance）技術(shù)來增加學習樣本的質(zhì)量及多樣性，有利于CNN檢測精度提高[7]?；谏疃葘W習的目標檢測算法已經(jīng)在許多情況得到應(yīng)用，如已經(jīng)被用于苦瓜[8]、西紅柿[9]、荔枝[10]、生豬臉部[11]等對象的檢測。

基于深度學習的目標檢測方法主要有兩大類：第一類是基于區(qū)域建議的二階段（Two-stage）目標檢測算法，如R-CNN、Fast R-CNN、Faster R-CNN；第二類是基于回歸的一階段（One-stage）目標檢測算法，如YOLO[12]、RetinaNet[13]、EfficientDet[14]。一階段檢測算法中應(yīng)用最廣的是YOLO系列算法。2016年5月，Redmon等[12]提出首個基于回歸的目標檢測方法YOLO-V1，算法一經(jīng)提出就受到了研究者們的廣泛關(guān)注。隨著YOLO系列算法的發(fā)展，在2020年已經(jīng)更新到了第四代。YOLO-V4[15]有著良好的性能，通過標準數(shù)據(jù)集上的驗證，YOLO-V4是目前最好的目標檢測算法之一，檢測速度快是YOLO-V4的顯著特點。

近年來，國內(nèi)外研究人員已經(jīng)將YOLO網(wǎng)絡(luò)模型嘗試性地應(yīng)用到海洋生物的檢測中。如：Wang等[16]在對水下不同類型的魚類檢測時，將遷移學習方法引入到Y(jié)OLO模型中；Xia等[17]使用YOLO-V2算法，對淺海養(yǎng)殖的海參完成識別，論證了訓練樣本和優(yōu)化檢測模型對提高準確率的重要性；朱世偉等[18]為應(yīng)對高密度水下目標檢測任務(wù)，提出了基于類加權(quán)YOLO網(wǎng)絡(luò)的水下目標檢測方法，提升了網(wǎng)絡(luò)學習的適應(yīng)性；趙德安等[19]利用數(shù)據(jù)增強Retinex算法對數(shù)據(jù)進行預處理，增加了學習樣本的數(shù)據(jù)量和多樣性，提升了YOLO網(wǎng)絡(luò)對水下河蟹的識別能力。李慶忠等[20]設(shè)計精簡YOLO網(wǎng)絡(luò)，再通過遷移學習的方法訓練網(wǎng)絡(luò)，在對海底魚類等小目標檢測上進行了嘗試。

YOLO算法在某些方面已經(jīng)得到應(yīng)用，但是直接應(yīng)用到淺海養(yǎng)殖生物識別仍然存在問題。試驗中表現(xiàn)出的主要問題有：1）由于光線昏暗而且分布不均勻，導致采集的數(shù)據(jù)清晰度不高，檢測精度達不到期望；2）有些海洋生物與生活的環(huán)境區(qū)分度不夠，極易導致漏檢的情況；3）生物體的遮擋、半隱藏等現(xiàn)象經(jīng)常出現(xiàn)，對模型的泛化能力要求更高。因此，本文針對這些淺海海洋生物檢測的突出問題，設(shè)計了嵌連接EC （Embedded connection）部件，并把它成功嵌入到Y(jié)OLO-V4的頸網(wǎng)末端，該部件有望增強網(wǎng)絡(luò)的學習和泛化能力。

1 海洋生物檢測模型

本節(jié)主要目的是介紹本文的海洋生物檢測模型MOD（Marine Organism Detection）。為此，從如下3個方面依次進行敘述：1）分析原始YOLO-V4的結(jié)構(gòu)和工作原理，為改進YOLO-V4網(wǎng)絡(luò)提供基本支撐；2）直接針對淺海生物檢測的需求，設(shè)計嵌入式EC部件，得到改進的YOLO-V4網(wǎng)絡(luò)結(jié)構(gòu)；3）基于改進YOLO-V4網(wǎng)絡(luò)，提出海洋生物檢測模型MOD。

1.1 YOLO-V4網(wǎng)絡(luò)分析

YOLO系列算法是目前應(yīng)用最為廣泛的一階段目標檢測算法之一，YOLO-V4是目前使用最多的版本。YOLO-V4主要包括輸入層、主干網(wǎng)（BackBone）、頸網(wǎng)（Neck）和輸出層4個基本構(gòu)件[21]。輸入層接受固定大小的圖像，經(jīng)過主干網(wǎng)進行特征提取后送到頸網(wǎng)進行特征聚合，最后在輸出層輸出 3 種不同尺度的預測錨框（原文稱為YOLO Head）。

1.1.1 主干網(wǎng)

YOLO-V4設(shè)計的主干網(wǎng)是CSPDarknet53，它是在Darknet53的基礎(chǔ)上參考了跨階段局部網(wǎng)絡(luò)CSPNet[22]提出的。Darknet53是YOLO-V3的主干網(wǎng)，因為它有53個卷積層而得名。YOLO-V4保留了Darknet53的框架，但是采用了CSP機制，優(yōu)化了梯度反向傳播路徑，同時在保證準確率的前提下大大地減少了計算量。圖1給出了CSPDarknet53的基本結(jié)構(gòu)。

如圖1所示，CSPDarknet53有2個主要功能單元：1） CBM（Conv+BN+Mish），用來控制拼接和采樣等工作，其中Mish是YOLO-V4使用的新的激勵函數(shù)（YOLO-V3使用的是Leaky_relu）；2）CSP，一組跨階段殘差單元（如CSP8就是8個殘差單元）。

YOLO-V4與 YOLO-V3的主要區(qū)別是：YOLO-V4參考了CSPNet機制，對殘差單元的連接結(jié)構(gòu)進行了改進，加入了一條跨殘差塊的旁路，形成跨階段局部連接。這樣就有效減少了梯度消失的危險。簡單地說，在YOLO-V4的主干網(wǎng)中，一個殘差單元可以形成兩條路徑：一條和它的下一個殘差單元直接連接；另一條和CSP的末端殘差單元連接（旁路）。由于在YOLO-V4中增加了旁路，就可以CSP的推理更合理，而且有效地分割了內(nèi)部梯度流，減少了梯度消失的危險，進而泛化了學習能力。

1.1.2 頸網(wǎng)

頸網(wǎng)是在主干網(wǎng)和預測輸出層之間增加的一個特征傳遞網(wǎng)絡(luò)，主要作用是對主干網(wǎng)提取的特征值進行采樣聚合，形成不同尺度下的聚合特征。

YOLO-V4的頸網(wǎng)采用的是路徑聚合網(wǎng)絡(luò)（Path Aggregation Network, PANet）結(jié)構(gòu)。如圖2所示，PANet[23]采用特征金字塔和路徑聚合技術(shù)，使得低層信息更容易傳播到高部，定位更加準確，同時支持大、中、小三類目標的預測。

1.2 嵌連接EC部件設(shè)計

設(shè)計EC部件的目的主要是為了增強特征聚合的適應(yīng)性和泛化能力。就是說，面對淺海環(huán)境及其生物的特殊性，需要研究高性能的部件來有效提升特征聚合能力。圖3給出了EC部件的結(jié)構(gòu)示意圖。如圖3a所示，EC部件有兩條通路，一條通過卷積1和卷積2兩個單元來完成，另一條只通過卷積2一個單元來完成。這樣，綜合兩條通路的結(jié)果就可以有效削弱聚合過程中的偏差，同時卷積1和卷積2使用不同的激勵函數(shù)也增加EC部件的適應(yīng)性。如圖3b所示，卷積1是第一類卷積單元，使用的是Leaky_Relu激勵函數(shù)，保留了原來YOLO-V4特點。如圖3c所示，卷積2是第二類卷積單元，使用的是Linear激勵函數(shù)。從預測角度，Linear函數(shù)更快和更容易形成可預測的輸出結(jié)果。

本文將EC部件加入到Y(jié)OLO-V4的頸網(wǎng)末端，即在YOLO-V4頸網(wǎng)的末端增加EC部件，形成了改進YOLO-V4網(wǎng)絡(luò)。

1.3 模型MOD設(shè)計

通過在頸網(wǎng)末端加入EC部件后，改進了YOLO-V4網(wǎng)絡(luò)，作為本文海洋生物檢測模型的技術(shù)基礎(chǔ)。嵌入EC部件的YOLO-V4網(wǎng)絡(luò)豐富了頸網(wǎng)的反向傳播能力。頸網(wǎng)末端直接連接到Y(jié)OLO-V4的預測端，增強的反向傳播能力有助于提高網(wǎng)絡(luò)的泛化能力，減少預測偏差[24]。同時，由于EC部件被嵌入到整個網(wǎng)絡(luò)的末端，使最終的預測加入了淺層的聚合信息，可以有效地提升預測的精確性。

基于改進YOLO-V4網(wǎng)絡(luò)，本文設(shè)計了海洋生物檢測模型MOD（Marine Organism Detection）。圖4給出了MOD的詳細結(jié)構(gòu)圖。

在MOD的結(jié)構(gòu)中，特征提取階段是基于YOLO-V4的CSPDarknet53來完成。主要的變化是在特征聚合階段，網(wǎng)絡(luò)分別在三個尺度上提取特征，深層信息將經(jīng)過兩次上采樣與淺層信息聚合，聚合后的信息再經(jīng)過兩次下采樣分別在像素40×40、20×20、10×10尺度下做預測，它們分別對應(yīng)著大、中、小3種不同尺寸的目標做預測，深層信息負責檢測較大尺寸目標，淺層信息負責檢測較小尺寸目標，從而提升網(wǎng)絡(luò)的適應(yīng)性。在輸入信息到檢測頭之前，本文加入了EC部件，這樣的設(shè)計延緩了梯度消失現(xiàn)象的出現(xiàn)，有效增強了特征的聚合能力。

2 試驗與分析

2.1 試驗環(huán)境與數(shù)據(jù)集

本文試驗的硬件環(huán)境是：8 G內(nèi)存的Intel? CoreTM i7-8700為中央處理器（Central Processing Unit），配有圖形加速器（4 G的GeForce GTX 1650），在Windows10計算機系統(tǒng)環(huán)境下進行。

使用的數(shù)據(jù)來自于獐子島集團的淺海養(yǎng)殖視頻數(shù)據(jù)。通過對視頻分幀處理得到原始圖片1 810張，利用數(shù)據(jù)增強技術(shù)對原始圖片集進行了容量擴充和數(shù)據(jù)預處理，因此數(shù)據(jù)增強后的圖片數(shù)據(jù)量達到7 420張，作為本文性訓練和測試的數(shù)據(jù)集。關(guān)注的淺海生物種類有4種：鮑魚、海膽、海參和綠鰭馬面鲀。使用LabelImg軟件對篩選出的圖片進行了人工標注，其中訓練集占80%，測試集占20%。值得注意的是，軟件采用的是矩形框來標注檢測目標，而許多淺海生物的外形是極不規(guī)則的。以海膽為例：海膽是呈球狀的，而且周圍還布滿了伸出的棘刺或管足，因此在標注時需進行必要的預處理。在圖像預處理過程中，本文重點關(guān)注海膽的主體部分，可以包含少部分棘刺但是不宜過多。此外，試驗中所有信息文件以XML格式存儲，包含對應(yīng)的圖片名、目標類別名稱、圖像尺寸、目標框位置信息等。

2.2 評價指標設(shè)定

模型預測時需要對交并比（Intersect Over Union，IOU）閾值參數(shù)進行設(shè)定。IOU閾值的設(shè)定與輸出預測框有直接關(guān)系。一般地，閾值越大預測準確率越高。本文試驗的數(shù)據(jù)面對復雜海底環(huán)境，檢測目標與環(huán)境之間的差別較小，因此增加IOU的閾值有利于提高有效目標檢測精度。本文試驗中使用的評價指標主要包括： mAP50（IOU閾值為0.5的精度均值）、mAP75（IOU閾值為0.75的精度均值）、幀檢測速度（ms）。mAP由召回率和精確率組成的PR曲線進一步得到，是衡量目標檢測模型的檢測精度的重要指標，公式（1）～（3）給出了召回率、精確率和平均精度均值（mAP）的計算方法。

式中P為精確率；R為召回率；E為正樣本正確劃分為正樣本的數(shù)量；N為負樣本被錯誤劃分為正樣本的數(shù)量；M代表正樣本被錯誤劃分負樣本的數(shù)量；AP代表單類檢測目標對應(yīng)的PR曲線與坐標軸圍成的積分面積；mAP代表各個類別檢測目標平均檢測精度求和的均值；K代表檢測目標類別的數(shù)量，本文試驗中K=4。

2.3 MOD模型相比YOLO-V4模型有效性

本節(jié)試驗旨在驗證MOD模型的有效性，主要是和原始的YOLO-V4模型進行對比試驗。試驗中YOLO-V4和MOD模型使用相同的訓練集，設(shè)置相同超參數(shù)：輸入圖像像素尺寸為320×320，batch_size為16，初始學習率為0.001 3，動量為0.949，權(quán)重衰減正則系數(shù)為5×10-4，迭代次數(shù)為200。為了避免訓練收斂前學習停滯，當?shù)?60時，降低學習率為初始學習率的1/10，當?shù)?80時降低學習率為初始學習率的1/100。當用測試集對模型進行測試時，設(shè)置0.5和0.75兩個交并比閾值進行試驗。表1給出了YOLO-V4模型和MOD模型迭代次數(shù)在50、100、150、200時mAP50和mAP75的指標。依據(jù)表中數(shù)據(jù)得到，MOD模型比YOLO-V4模型在訓練時mAP上升得更快，并且訓練結(jié)束時MOD模型表現(xiàn)更好，mAP50提高了0.9個百分點，mAP75提高了4.8個百分點。表2給出兩個模型的計算成本及檢測速度，MOD計算成本為35.328個BFLOPs（十億浮點運算數(shù)），與YOLO-V4相比僅提高了0.2%，mAP50和mAP75均有提高。

表1 目標檢測模型測試結(jié)果Table 1 Test results of target detection model

表2 模型計算成本及其檢測速度Table 2 Model calculation cost and detection speed

PR曲線是一條精確率為縱軸和召回率為橫軸的曲線，觀察曲線可以反應(yīng)出深度學習模型的性能。一般來說，精確率和召回率是相互制約的度量值。若將所有預測結(jié)果都回歸，那么召回率高精確率就會較低；相反，若只回歸搜索最準確的預測結(jié)果，那么召回率低精確率就會較高，因此繪制PR曲線可以探究模型的綜合性能。從圖5看出，MOD曲線包裹在YOLO-V4曲線外側(cè)，并且平衡點（Precision = Recall時的取值）位置更接近于坐標（1, 1），故MOD模型性能更好。

圖6 是使用YOLO-V4模型與MOD模型分別在檢測綠鰭馬面鲀、鮑魚、海膽、海參4類淺海生物時的測試圖像。從圖中可以看出，YOLO-V4模型在檢測鮑魚的試驗中存在誤檢現(xiàn)象，檢測綠鰭馬面鲀、海膽和海參的試驗中，存在漏檢現(xiàn)象，也從一個側(cè)面說明MOD模型在檢測淺海生物的有效性。

進行測試試驗時，各個類別物種檢測準確率結(jié)果如表3所示。一方面，在IOU閾值為0.5，綠鰭馬面鲀、海參和海膽的檢測中，YOLO-V4模型和MOD模型的檢測基本持平，而在鮑魚的檢測中，mAP50提高3.4個百分點；另一方面，在IOU閾值為0.75，綠鰭馬面鲀、海參、海膽和鮑魚的檢測中mAP75均有提高，分別為2.5、4.5、3.1、9.2個百分點。

表3 模型測試集各個類別準確率結(jié)果Table 3 Accuracy results of each category in model test set

2.4 更多模型的對比試驗

為進一步驗證MOD模型的有效性，本文選擇了發(fā)布于2018年的RetinaNet算法[13]和2020年的EfficientDet算法[14]作對比試驗。這兩個算法和YOLO是目前最典型的一階段目標檢測算法。表4給出了兩種模型的主要指標對比。

表4 不同方法目標檢測結(jié)果Table 4 Target detection results of different methods

表4 （參考表1）說明，在被觀察的淺海生物數(shù)據(jù)集下，本文提出的MOD模型在mAP50指標方面，對比RetinaNet、EfficientDet_D0分別高1.3、32.1個百分點；在mAP75指標方面，對比RetinaNet低6.3個百分點、EfficientDet_D0高21.0個百分點。在檢測速度方面，RetinaNet模型檢測幀速達185 ms，較MOD模型慢46 ms；EfficientDet使用D0版本，速度較快，檢測幀速達72 ms，較MOD模型快67 ms，但檢測準確率較低。綜合考慮檢測準確率和運行速度，在4種模型中MOD模型較適合水下機器人智能捕撈任務(wù)。

3 結(jié) 論

本文針對淺海生物檢測的特點，設(shè)計了嵌入式EC部件，提出了海洋檢測模型MOD，并建立淺海生物數(shù)據(jù)集，在淺海生物數(shù)據(jù)集上對MOD模型有效性加以驗證。

1）設(shè)計嵌入式EC部件，將EC部件嵌入網(wǎng)絡(luò)末端改進了YOLO-V4，構(gòu)建了MOD模型。本文提出的模型和方法為海洋生物目標檢測提供新思路，可以為多類別海洋生物目標識別提供有益參考。

2）對比原始的YOLO-V4模型，MOD模型檢測精度在mAP50和mAP75指標上分別達到了0.969和0.734，提升了0.9和4.8個百分點，計算量僅提高0.2%。特別是檢測精度在mAP75指標上獲得較大提升，說明MOD模型比YOLO-V4模型對復雜環(huán)境的目標檢測能力更強。

3）對比原始的YOLO-V4模型，MOD模型適應(yīng)性更強。模型在各類別檢測精度中均有提高，特別是在mAP75指標上最為明顯，說明MOD模型比YOLO-V4模型對各類淺海生物檢測適應(yīng)能力更好。

4）對比同為一階段目標檢測算法的RetinaNet和EfficientDet_D0，MOD模型的檢測效果總體優(yōu)于兩種模型。速度和檢測精度方面達到了很好的平衡，說明MOD模型更適合淺海生物檢測任務(wù)。

由于條件限制，本文的研究和試驗仍有一些需要進一步改進的地方。1）受網(wǎng)絡(luò)傳輸和存儲容量限制，本文使用的原始圖片數(shù)據(jù)只有1 810張，使用數(shù)據(jù)增強技術(shù)來擴充數(shù)據(jù)集容量，擴充后的數(shù)據(jù)圖片達到7 240張，和大部分同類研究文獻的試驗數(shù)據(jù)相當。下一步研究將提升試驗環(huán)境，采集更多的原始數(shù)據(jù)，來豐富數(shù)據(jù)集，提升研究質(zhì)量；2）YOLO系列算法目前已經(jīng)出到第五代，后續(xù)將研究YOLO-V5算法，進一步在淺海生物數(shù)據(jù)集上進行針對性改進。