基于改進(jìn)YOLOv4的蝦苗智能識(shí)別算法研究

于秋玉

摘 要：近年來，蝦類養(yǎng)殖發(fā)展迅速，已經(jīng)成為我國水產(chǎn)養(yǎng)殖中的新型支柱產(chǎn)業(yè)，給國家及養(yǎng)殖企業(yè)帶來了巨大的經(jīng)濟(jì)與社會(huì)價(jià)值。在對(duì)蝦類進(jìn)行養(yǎng)殖的過程中，對(duì)蝦苗進(jìn)行識(shí)別和數(shù)量統(tǒng)計(jì)為蝦苗運(yùn)送銷售、科學(xué)喂養(yǎng)蝦苗、挑選優(yōu)質(zhì)蝦苗等環(huán)節(jié)提供了強(qiáng)力支持。因此，對(duì)蝦苗進(jìn)行智能識(shí)別與統(tǒng)計(jì)對(duì)蝦類養(yǎng)殖業(yè)具有很重要的現(xiàn)實(shí)意義。但是，因蝦苗圖像存在反光、蝦苗個(gè)體較小等特點(diǎn)，對(duì)蝦苗進(jìn)行智能識(shí)別與統(tǒng)計(jì)特別困難。本文針對(duì)蝦苗識(shí)別存在的難點(diǎn)，提出一種基于改進(jìn)的YOLOv4的蝦苗智能識(shí)別算法，在原有的YOLOv4基礎(chǔ)上，通過聚類方法對(duì)蝦苗大小進(jìn)行統(tǒng)計(jì)，獲得蝦苗大小的分布特征?；谠摻y(tǒng)計(jì)結(jié)果，對(duì)YOLOv4模型進(jìn)行優(yōu)化，將預(yù)設(shè)的8個(gè)錨框縮減為4個(gè)。為了讓網(wǎng)絡(luò)更好地關(guān)注重要特征并抑制不必要的特征，在YOLOv4網(wǎng)絡(luò)的輸出階段加入SAM模塊。實(shí)驗(yàn)表明，本文提出的算法在準(zhǔn)確率、召回率、mAP值的評(píng)價(jià)中均取得了最優(yōu)或次優(yōu)的結(jié)果。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);蝦苗識(shí)別;目標(biāo)檢測

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-5168（2021）06-0025-04

Research on Intelligent Recognition and Statistical Algorithm

of Shrimps Based on Improved YOLOv4

YU Qiuyu

（School of Information Engineering， Dalian Ocean University，Dalian Liaoning 116023）

Abstract： In recent years， shrimp culture has developed rapidly， and has become a new pillar industry in China's aquaculture， which has brought great economic and social value to the country and aquaculture enterprises. In the process of shrimp culture， the identification and quantity statistics of shrimps provide strong support for the transportation and sales of shrimps， scientific feeding of shrimps， selection of high-quality shrimps and other links. Therefore， the intelligent identification and statistics of shrimps has a very important practical significance for shrimp breeding industry. However， it is very difficult to recognize and count shrimps intelligently because of the reflection and small size of shrimps. Aiming at the difficulties of shrimp identification， this paper proposed an intelligent shrimp identification algorithm based on improved YOLOv4. Based on the original YOLOv4， the size of shrimp was counted by clustering method， and the distribution characteristics of shrimp size were obtained. Based on the statistical results， the YOLOv4 model was optimized， and the preset 8 anchor frames were reduced to 4. In order to make the network pay more attention to the important features and suppress the unnecessary features， the spatial attention module （SAM） was added to the output stage of the YOLOv4 network. Experimental results show that the proposed algorithm achieves the best or suboptimal results in the evaluation of accuracy， recall and mAP value.

Keywords： convolution neural network;deep learning;shrimp recognition;target detection

由于蝦苗智能檢測在智慧漁業(yè)中具有重要的應(yīng)用，因此許多專家學(xué)者嘗試?yán)糜?jì)算機(jī)視覺技術(shù)來解決蝦苗識(shí)別問題。其中，蝦苗的反光、多尺度等問題嚴(yán)重影響識(shí)別的準(zhǔn)確性。

1 相關(guān)研究

張建強(qiáng)等[1]發(fā)明了一種對(duì)蝦苗種計(jì)數(shù)裝置。該裝置利用重量與電量轉(zhuǎn)換器和微計(jì)算機(jī)或單板機(jī)按照預(yù)先編好的程序自動(dòng)計(jì)數(shù)，不會(huì)影響出苗時(shí)苗種存活率，計(jì)數(shù)成本低，但計(jì)數(shù)誤差受計(jì)數(shù)速度影響大。

胡利華等[2]發(fā)明了一種蝦苗計(jì)數(shù)裝置以及計(jì)數(shù)方法。該方法通過工業(yè)相機(jī)的圖像采集，完成蝦苗圖像數(shù)據(jù)的采集工作，然后通過圖像處理識(shí)別算法，完成對(duì)采集圖像的智能識(shí)別，從而實(shí)現(xiàn)蝦苗的自動(dòng)計(jì)數(shù)和輸出。該裝置可降低人工成本，但智能化程度不高。

范松偉等[3]針對(duì)蝦苗個(gè)體小、密度大、易失活等特點(diǎn)，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的蝦苗自動(dòng)計(jì)數(shù)方法，將訓(xùn)練數(shù)據(jù)集每個(gè)蝦苗進(jìn)行標(biāo)注，制作真實(shí)密度圖，然后放入改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)圖像特征以獲取生成密度圖，最后由密度圖積分求和，從而得到蝦苗數(shù)量，但該方法無法對(duì)蝦苗進(jìn)行識(shí)別。

針對(duì)上述方法存在的識(shí)別與計(jì)數(shù)精度較差、運(yùn)行速度較慢、實(shí)驗(yàn)條件比較復(fù)雜等問題，本文提出了一種基于改進(jìn)的YOLOv4智能識(shí)別與統(tǒng)計(jì)算法。該算法可以有效提升識(shí)別精度，加快識(shí)別速度。

2 本文方法

2.1 YOLOv4網(wǎng)絡(luò)模型優(yōu)化

根據(jù)YOLOv4的算法原理，為了讓網(wǎng)絡(luò)更好地學(xué)習(xí)蝦苗圖像，本文從網(wǎng)絡(luò)模型方面對(duì)算法進(jìn)行改進(jìn)并采用K均值聚類（K-means）算法對(duì)自制數(shù)據(jù)集進(jìn)行聚類分析，從而得到適應(yīng)訓(xùn)練集的聚類數(shù)據(jù)。

圖1為研究者改進(jìn)之后的YOLOv4結(jié)構(gòu)圖。與傳統(tǒng)的YOLOv4目標(biāo)檢測模型相比，研究者在模型的預(yù)測階段前將三列特征圖進(jìn)行融合，然后放入設(shè)計(jì)的空間注意力模塊中，最后進(jìn)行一次預(yù)測。與之前YOLOv4做3個(gè)不同尺度的預(yù)測相比，本研究采用一次預(yù)測的原因是，蝦苗圖像尺寸都特別小，不含有大中尺寸的蝦苗圖像。為了讓網(wǎng)絡(luò)專注于學(xué)習(xí)蝦苗圖片的特征，本研究加入了SAM（Spatial Attention Module）模塊來提升模型的預(yù)測精度（見圖2）。

SAM模塊可以利用不同特征圖之間的空間關(guān)系，使模型關(guān)注特定特征空間位置。具體來說，SAM先在軸的方向?qū)Σ煌卣鲌D的相同位置像素進(jìn)行全局平均池化和最大池化操作，分別得到兩種不同的特征圖，然后將這兩種不同的特征圖連接到一起，這時(shí)特征圖的數(shù)量變?yōu)樵卣鲌D的兩倍;之后，再利用一個(gè)7×7大小的卷積對(duì)生成的特征圖進(jìn)行卷積操作，后接一個(gè)Sigmoid函數(shù)，得到一個(gè)與原特征圖相同但又加上空間注意力機(jī)制權(quán)重的空間矩陣;最后把得到的空間注意力機(jī)制矩陣對(duì)應(yīng)相乘到原特征圖上，得到新的特征圖。

2.2 基于K-means聚類錨框算法

傳統(tǒng)的YOLOv4模型[5]使用錨框來檢測目標(biāo)。在目標(biāo)檢測過程中，錨框的數(shù)量和大小決定了檢測的準(zhǔn)確度和速度，因?yàn)橐粋€(gè)合適的錨框可以使特征學(xué)習(xí)和目標(biāo)檢測更加容易。YOLOv4基于VOC數(shù)據(jù)集對(duì)錨框進(jìn)行聚類，其大小分別是（10，13）、（16，30）、（33，23）、（30，61）、（62，45）、（59，119）、（116，90）、（156，198）、（373，326），這與YOLOv3的錨框選取是相同的。針對(duì)不同數(shù)據(jù)集、不同檢測物體大小和同分辨率的圖像，不能統(tǒng)一使用同樣的先驗(yàn)框，而且VOC數(shù)據(jù)集中的先驗(yàn)框大都是長寬比例相同的框。

在本文創(chuàng)建的蝦苗數(shù)據(jù)集中，蝦苗大多都是偏平的，完全采用基于VOC數(shù)據(jù)集格式的先驗(yàn)框是不符合需求的。因此，系統(tǒng)需要根據(jù)自己的訓(xùn)練集使用K-means算法重新對(duì)先驗(yàn)框的大小進(jìn)行聚類。

K-means聚類是目標(biāo)檢測算法中獲取適合自己數(shù)據(jù)集的常用方法，計(jì)算公式為：

[Jb1，b2=minw1，w2minh1，h2w1h1+w2h2-minw1，w2minh1，h2]? ? ?（1）

[djb1，b2=1-Jb1，b2]? ? ? ? ? ? ? ? ? ? ?（2）

式中，[J（b1，b2）]為蝦苗檢測模型的交并比;[w1]為預(yù)測框的寬;[w2]為真實(shí)框的寬;[h1]為預(yù)測框的高;[h2]為真實(shí)框的高;[djb1，b2]為K-means算法的度量距離。

2.3 損失函數(shù)

本研究基于YOLOv4改進(jìn)的蝦苗檢測算法損失分為3個(gè)部分：類別損失、置信度損失、位置損失。類別損失采用二元交叉熵?fù)p失，即對(duì)每一個(gè)類別計(jì)算交叉熵?fù)p失，進(jìn)行求和;位置損失采用CIoU Loss（Distance-IoU Loss）;置信度損失采用二元交叉熵?fù)p失，具體公式為：

[Llogisticy，y=-ylogy-1-ylog1-y]? ? ? ? ? ? （3）

[LCIoU=1-IoU+ρ2b，bgtc2+αυ]? ? ? ? ? ? ? ? ? ? ? （4）

[LConfidencey，y=-ylogy-1-ylog1-y]? ? ? ? ? ? （5）

[Losssum=Llogisticy，y+LCIoU+LConfidencey，y]? ? ? ? ? ? ? ?（6）

式中：[y]為真實(shí)值，[y∈0，1];[y]為預(yù)測值，其計(jì)算公式為：

[y=σy]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （7）

[σy=11+e-y]? ? ? ? ? ? ? ? ? ? ? ? ? ? （8）

[?σ?y=σ1-σ]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（9）

[y=wx+b=jwjxj+b]? ? ? ? ? ? ? ? ? ? ? ? ? （10）

[?y?wj=xj]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（11）

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文對(duì)目標(biāo)檢測模型評(píng)價(jià)過程中每個(gè)類別的每個(gè)等級(jí)分別進(jìn)行評(píng)價(jià)，使用準(zhǔn)確率（Precision）、召回率（Recall）、平均準(zhǔn)確率（mean Average Precision，mAP）作為衡量模型精度的評(píng)價(jià)標(biāo)準(zhǔn)。同時(shí)，使用P-R曲線直觀地顯示模型性能。目標(biāo)檢測模型的檢測速度使用每秒幀數(shù)（FPS）作為衡量標(biāo)準(zhǔn)。

3.2 蝦苗數(shù)據(jù)集制作及標(biāo)注

本文原始數(shù)據(jù)集包含1 000張帶注釋的圖片。這些圖像一部分是研究者在養(yǎng)殖企業(yè)實(shí)地拍攝的，另一部分是從互聯(lián)網(wǎng)上隨機(jī)抓取的。依據(jù)8.5∶1.5的比例，將數(shù)據(jù)集分成訓(xùn)練集和測試集。本文采用標(biāo)注工具LabelImg對(duì)圖像數(shù)據(jù)進(jìn)行標(biāo)注。LabelImg是一種視覺圖像校準(zhǔn)工具，其標(biāo)注界面如圖3所示。

3.3 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境是Windows 10操作系統(tǒng)，CPU處理器為AMD2600，其主頻是3.4 GHz，GPU為1 060，實(shí)驗(yàn)平臺(tái)是PyCharm（2018版）。所用的深度學(xué)習(xí)框架為Pytorch。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 基于改進(jìn)的YOLOv4實(shí)驗(yàn)結(jié)果。為了驗(yàn)證SAM模塊在改進(jìn)的YOLOv4模型中的有效性，研究者設(shè)計(jì)了一個(gè)不加SAM模塊的變體模型。不加SAM模塊和加SAM模塊的對(duì)比結(jié)果如表1和圖4所示。當(dāng)改進(jìn)的YOLOv4模型未使用SAM模塊時(shí)，模型的性能在蝦苗數(shù)據(jù)集上的各指標(biāo)均有較大程度的回落。這說明，在識(shí)別準(zhǔn)確性和魯棒性上，使用SAM模塊的識(shí)別效果要優(yōu)于不使用SAM模塊的效果，證明了SAM模塊在解決蝦苗識(shí)別問題上的有效性。同時(shí)，從圖4也可以看出，添加SAM模塊后，蝦苗的識(shí)別精度更高。

采用改進(jìn)過的YOLOv4網(wǎng)絡(luò)與傳統(tǒng)YOLOv4、YOLOv3、SSD、MobileNet網(wǎng)絡(luò)作對(duì)比，結(jié)果如表2所示[4-7]。從表2可以看出，與傳統(tǒng)YOLOv4目標(biāo)檢測算法相比，使用改進(jìn)的YOLOv4網(wǎng)絡(luò)，準(zhǔn)確度提升了1.5%，召回率提升了2%，同時(shí)在計(jì)算量和參數(shù)上減少了5%。

3.4.2 K-means算法聚類實(shí)驗(yàn)結(jié)果。研究者對(duì)蝦苗尺寸進(jìn)行聚類之后，當(dāng)[K]=4時(shí)，曲線趨于平滑。因此，選擇[K]=4作為錨框的個(gè)數(shù)，聚類的先驗(yàn)框?yàn)閇（26，65）（30，70）（35，76）（40，80）]。

使用K-means聚類算法前后的mAP結(jié)果如表3所示。從表3可知，在蝦苗數(shù)據(jù)集下，使用聚類算法后，改進(jìn)的YOLOv4的檢測mAP相比之前準(zhǔn)確率提升了1.3%，召回率提升了1.5%，mAP提升了5%。

4 結(jié)論

本文提出一種基于改進(jìn)的YOLOv4的智能識(shí)別與統(tǒng)計(jì)算法，該算法可以提高蝦苗檢測精度，同時(shí)降低運(yùn)行時(shí)間。具體來說，在YOLOv4的網(wǎng)絡(luò)輸出階段，將三個(gè)尺寸的特征圖進(jìn)行融合，然后對(duì)融合之后的特征圖放入SAM注意力機(jī)制模型進(jìn)行學(xué)習(xí)，讓網(wǎng)絡(luò)更好的學(xué)習(xí)蝦苗的細(xì)節(jié)信息。另一方面，針對(duì)蝦苗圖像的尺寸特點(diǎn)，研究者采用K-means算法對(duì)YOLOv4的錨框進(jìn)行重新選擇。結(jié)果表明，本文提出的算法在準(zhǔn)確率、召回率、mAP值的評(píng)價(jià)中均取得了最優(yōu)或次優(yōu)的結(jié)果。

參考文獻(xiàn)：

[1]張建強(qiáng)，周瑋，桑田成.對(duì)蝦苗種計(jì)數(shù)裝置：CN209473350U[P].2019-01-09.

[2]胡利華，閆茂倉，吳佳燕，等.一種蝦苗計(jì)數(shù)裝置及方法：CN111418537A[P].2020-05-13.

[3]范松偉，林翔瑜，周平.基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的蝦苗自動(dòng)計(jì)數(shù)研究[J].漁業(yè)現(xiàn)代化，2020（6）：35-41.

[4] REDMON J，F(xiàn)ARHADI A . YOLOv3： An Incremental Improvement[EB/OL]. （2018-04-08）[2021-02-01]. https：//arxiv.org/abs/1804.02767.

[5] BOCHKOVSKIY A，WANG C Y，LIAO H . YOLOv4： Optimal Speed and Accuracy of Object Detection[EB/OL].（2020-04-23）[2021-02-01]. https：//arxiv.org/abs/2004.10934.

[6]LIU W，ANGUELOV D，ERHAN D ， et al. SSD： Single Shot MultiBox Detector[J]. European Conference on Computer Vision，2016（9）：21-37.

[7]HOWARD A G ，ZHU M ，CHEN B ，et al. MobileNets： Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL].（2017-04-17）[2021-02-01].https：//arxiv.org/abs/1704.04861.