基于改進輕量化YOLOv4 模型的蝦只肉殼辨識方法

陳學深，吳昌鵬，黨佩娜，梁 俊，劉善健，武 濤

（華南農(nóng)業(yè)大學工程學院,廣州 510642）

0 引言

中國蝦產(chǎn)量位居世界第一，近年來增長迅速，年產(chǎn)量漲幅為12.5%[1-2]。機械剝殼是蝦只生產(chǎn)加工的重要環(huán)節(jié)，由于現(xiàn)有技術(shù)和裝備不夠完善，脫殼后裸肉蝦中混雜的帶殼蝦需要進一步人工清選，存在勞動強度大、生產(chǎn)成本高、分選效率低等問題[3-4]。因此，準確辨識裸肉蝦與帶殼蝦實現(xiàn)蝦只自動分選十分必要。

國內(nèi)外學者主要采用機器視覺技術(shù)進行了相關(guān)研究，分為傳統(tǒng)圖像處理和機器學習兩種方法。LEE 等[5]基于大津法（OTSU）提取了蝦只輪廓，結(jié)合快速曲線相似度評價方法，在藍色背景下實現(xiàn)了蝦只識別。羅艷[6]基于Zhang-Suen 細化算法有效去除多余分支，并提取了蝦只主骨架線，實現(xiàn)了蝦只識別。上述方法主要通過設定形狀、姿態(tài)閾值實現(xiàn)蝦只識別，識別方法對蝦只光照和背景有一定要求，抗干擾能力較差。

為提高蝦只肉殼辨識的抗干擾能力，更多學者采用機器學習方法，主要包括人工特征選擇的機器學習和自動特征提取的深度學習兩種方法。HU 等[7]優(yōu)選了蝦只顏色、形狀、紋理特征，構(gòu)建了蝦識別模型。洪辰等[8]基于灰度差異法提取了蝦只骨架線，融合蝦只體長、頭胸甲長、頭胸甲寬等特征，構(gòu)建了蝦只識別模型。上述機器學習方法識別精度高度依賴特征提取的有效性，但不同品種、不同剝殼方式的蝦只特征存在差異，基于選擇特征的機器學習方法泛化能力不理想。

深度學習在圖像識別領(lǐng)域取得了巨大成功，能夠不依賴特定特征，自動學習原始圖像像素數(shù)據(jù)的特征表達，可獲得比原始數(shù)據(jù)表達能力更好的特征描述[9-10]。深度學習識別方法可分為兩類，一類基于區(qū)域推薦的目標檢測方法[11]。龔瑞[12]采用此檢測方法基于Faster R-CNN模型實現(xiàn)蝦只自動識別，準確率為85%。另一類是基于回歸的目標檢測方法，該方法可實現(xiàn)端到端的網(wǎng)絡結(jié)構(gòu)，具有較高的識別精度，目前應用最為廣泛[13-14]。其中，YOLO[15-16]系列最典型。劉雄[17]采用Darknet 作為YOLOv4模型特征提取網(wǎng)絡，對蝦只剝殼效果進行檢測，準確率達90%以上。王淑青等[18]采用CIoU 作為YOLOv4 模型的損失函數(shù)，有效提高了預測框回歸效果，同時引入CBAM 注意力機制增強模型特征抓取能力，模型檢測準確率為97.8%。雖然改進YOLOv4 模型在識別精度方面獲得了較好的效果，但仍存在網(wǎng)絡結(jié)構(gòu)復雜、資源占用多等問題。為此，許多學者針對YOLOv4 主干特征提取網(wǎng)絡進行輕量化處理[19-22]，目前較成熟的輕量級網(wǎng)絡有Google 的MobilenetV3 系列[23]和Efficientnet Lite 系列[24]，曠世的Shufflenet 系列[25]，華為的GhostNet[26]等，上述輕量級網(wǎng)絡在一定程度上提高了模型的檢測效率。

本文根據(jù)蝦只肉殼辨識要求，在YOLOv4 模型基礎上，通過替換主干特征提取網(wǎng)絡、引入輕量級注意力機制、替換損失函數(shù)等改進方法，構(gòu)建了裸肉蝦與帶殼蝦的辨識模型實現(xiàn)蝦只自動分選。

1 數(shù)據(jù)集與預處理

1.1 圖像采集

模型樣本為經(jīng)過去頭處理的中國明對蝦，經(jīng)夾尾、開背、去腸、脫殼等機械剝殼處理，單只對蝦落料在傳送帶上，由蝦只肉殼辨識試驗臺進行裸肉蝦與帶殼蝦辨識分選。圖像采集于華南農(nóng)業(yè)大學工程學院蝦只肉殼辨識試驗臺，如圖1 所示。試驗臺尺寸為190 cm×30 cm×90 cm，傳送帶輸送速度為0.1 m/s。圖像采集設備為HIKVISION 工業(yè)相機，有效像素為1 800 萬。樣本采集時天氣晴朗，分為白天和晚上2 個時段，其中晚上采用人工光源。采集時相機鏡頭與水平方向分別以30°、45°、75°、90°夾角拍攝，圖像分辨率為2 928×3 904（像素），原圖像保存為jpg 格式，總計拍攝1 400 張圖像，人工篩選出質(zhì)量高、畫質(zhì)清晰的1 321 張作為圖像數(shù)據(jù)集。

圖1 蝦只肉殼辨識試驗臺Fig.1 Shrimp meat and shell identification test bench

1.2 圖像預處理

為提高訓練效果、增強模型泛化能力，對采集圖像進行預處理。運用OpenCV 改變原始圖像亮度和對比度以模擬不同光照亮度下的環(huán)境狀況；引入高斯噪聲與椒鹽噪聲，擾亂圖像可觀測信息，提升模型對目標的捕捉能力；進行圖像旋轉(zhuǎn)，增加檢測目標的姿態(tài)。通過圖像預處理增加了裸肉蝦圖像622 張，帶殼蝦圖像699 張，圖像數(shù)據(jù)集增強效果如圖2 所示。為降低信息泄露，更準確反映模型效能，保證模型分辨準確率，將訓練集和測試集按9:1 進行劃分，訓練集為2 387 張，驗證集為264 張。同時使用Labelimg 對處理的蝦只圖像進行標注，生成與圖片名稱相對應的XML 文件。

圖2 蝦只圖像數(shù)據(jù)集增強Fig.2 Shrimp image dataset enhancement

2 YOLOv4 網(wǎng)絡模型改進

2.1 幻象模塊（Ghost Module）引入

YOLOv4 模型由許多基本結(jié)構(gòu)塊組成，但由于大量卷積模塊計算得到的中間特征圖存在高度冗余，導致模型計算量增加[27-29]。本文引入幻象模塊（Ghost Module）使YOLOv4 模型更加緊湊，通過減少冗余特征圖，提升主干特征提取網(wǎng)絡的運算速度。采用幻象模塊對輸入圖像進行處理，流程如圖3 所示，具體實現(xiàn)步驟為：1）輸入圖像經(jīng)標準卷積運算生成原始特征圖；2）原始特征圖經(jīng)低成本深度卷積得特征圖φ；3）特征圖經(jīng)標準卷積運算輸出疊加特征圖。

圖3 幻象模塊示意圖Fig.3 Ghost module diagram

模型引入幻象模塊后，可代替YOLOv4 模型的普通卷積，為主干特征提取網(wǎng)絡替換提供了基礎。

2.2 主干特征提取網(wǎng)絡替換

構(gòu)建特征金字塔時，YOLOv4 主干特征提取網(wǎng)絡CSPDarknet53 會將3 個有效特征層分別傳入到加強特征提取網(wǎng)絡SPP 和PANet 中[30-31]，由于此過程需要進行大量卷積計算，降低了網(wǎng)絡運算速率?；孟笃款i結(jié)構(gòu)通過對圖像特征層“可分離卷積—深度可分離卷積和普通卷積—可分離卷積”處理，實現(xiàn)特征層寬高壓縮，使模型更輕量化。

為減少卷積計算量，在改進YOLOv4 網(wǎng)絡中利用Ghost Module 代替CSPDarknet53 中的普通卷積獲得幻象瓶頸結(jié)構(gòu)(Ghost bottleneck)，如圖4 所示。

圖4 幻象瓶頸結(jié)構(gòu)Fig.4 Ghost bottleneck structure

本文將輸入層的圖像大小調(diào)整為416×416×3，并使用Ghost Module 代替普通卷積，組成輕量化神經(jīng)網(wǎng)絡GhostNet，得到第一有效特征層（尺寸為52×52×40）、第二有效特征層（尺寸為26×26×112）、第三有效特征層（尺寸為13×13×160）3 個有效特征層，模型經(jīng)過改進后減少了儲存容量，改進前和改進后有效特征層尺寸大小如表1 所示。由表1 可知，GhostNet 主干特征提取網(wǎng)絡比原CSPDarknet53 主干特征提取網(wǎng)絡的有效特征層更為輕量化，進而提高了模型的檢測效率。

表1 有效特征層尺寸大小對比Table 1 Comparison of effective feature layer size

2.3 注意力機制嵌入

注意力機制模仿人類大腦視覺注意力機制，通過瀏覽全局圖像對輸入信息進行注意力分配，確定重點關(guān)注區(qū)域，從而快速獲取關(guān)鍵信息[32-34]。為提高改進YOLOv4模型蝦只肉殼辨識準確率，在預測端嵌入典型SE 注意力機制模塊，擬合目標通道相關(guān)特征信息，提高模型抗干擾和特征提取能力。SE 注意力機制處理流程如圖5 所示，具體實現(xiàn)步驟為：

圖5 SE 注意力機制流程圖Fig.5 SE attention mechanism flowchart

1）對輸入特征圖X（h’×w’×l’）進行轉(zhuǎn)換，生成長為h、寬為w、通道為l的通道特征圖像Y；

2）SE 模塊對輸入特征圖X做全局平均池化，將通道特征圖像的長寬求和再取平均值生成空間注意力特征，有效提升對圖像的關(guān)注能力；

3）通過擠壓（Squeeze）操作將h×w×l的特征圖壓縮為1×1×l特征圖，壓縮層操作算法如式（1）所示；

4）通過激勵（Excitation）操作使用兩層全連接自適應學習生成權(quán)重S，激勵操作算法如式（2）所示；

5）將通道注意力的權(quán)重S(1×1×l)、原始輸入特征圖Y(h×w×l)，進行逐通道乘以權(quán)重系數(shù)，輸出具有通道注意力的特征圖(h×w×l)。

式中u(i,j)為特征圖上的單個特征值，Z為通道特征圖的平均特征值，H為特征圖的高度，W為特征圖的寬度。

式中w1、w2分別為兩個全連接層的權(quán)值，δ為連接層的ReLU 激活函數(shù)，σ為Sigmoid 函數(shù)。Sigmoid 函數(shù)歸一化操作構(gòu)建各個注意力特征通道之間的關(guān)系，把每個通道的數(shù)值限制在0～1 之間，抑制無用特征通道信息，激活重點關(guān)注區(qū)域特征通道。

2.4 CIoU 損失函數(shù)設計

合理選擇損失函數(shù)可以使檢測框更適合蝦只尺寸，有助于提高模型收斂速度。YOLOv4 模型中采用GIoU損失函數(shù)作為位置回歸損失的評價指標，計算如式（3）所示。

式中A為預測框，B為真實框，C為包含A和B的最小凸集。

GIoU 損失函數(shù)原理如圖6a 所示，針對檢測框位置或大小不同時，增加了相交尺度的衡量方式，但GIoU 損失函數(shù)無法區(qū)分相對位置關(guān)系，例如檢測框面積相同且在標注框內(nèi)部不同位置時，檢測框和標注框差集D相同，導致模型目標檢測誤差增大。相比較，ZHENG 等[35]提出的CIoU 損失函數(shù)可有效區(qū)分相對位置關(guān)系，減小目標檢測誤差，原理如圖6b 所示，計算式如（4）～（7）所示。

圖6 GIoU 和CIoU 原理圖Fig.6 GIoU and CIoU schematic diagram

式中 ρ2（b,bgt）為預測框和真實框中心點的歐式距離，IoU為交并比，α 為權(quán)衡參數(shù)，v為寬高比度量函數(shù)，w、h和wgt、hgt分別為預測框高寬和真實框高寬，c為能夠同時包含預測框和真實框最小閉包區(qū)域的對角線距離，CIoU為CIoU Loss 函數(shù)。

與GIoU 損失函數(shù)相比，CIoU 損失函數(shù)考慮重疊面積、中心點距離和寬高比，可以直接最小化檢測框和標注框中心點之間距離，使非極大值抑制得到的結(jié)果更為合理有效，模型預測框更為準確。GIoU 和CIoU 損失函數(shù)的框選效果如圖7 所示，由圖7 可知GIoU 損失函數(shù)預測框未能將蝦只完整框選，而CIoU 損失函數(shù)預測框則完整框選了蝦只。

圖7 不同損失函數(shù)的框選效果Fig.7 Effects of frame selection with different loss functions

2.5 改進后的YOLOv4 網(wǎng)絡模型

YOLOv4 模型經(jīng)過主干特征提取網(wǎng)絡替換、SE 注意力機制嵌入、CIoU 損失函數(shù)設計，構(gòu)建的改進YOLOv4網(wǎng)絡模型（GhostNet-YOLOv4）結(jié)構(gòu)如圖8 所示，模型經(jīng)過改進減少了運算量、增強了特征通道間的關(guān)注度、提高了預測框的回歸效果，可有效提升模型檢測準確率和實時性。

圖8 改進YOLOv4 網(wǎng)絡結(jié)構(gòu)圖Fig.8 Improved YOLOv4 network architecture diagram

2.6 評價指標

采用召回率（recall,R,%）、準確率（precision,P,%）、AP值（average precision,AP,%）和mAP（mean average precision,%）4 個指標對模型進行性能評估，計算如式（8）～（11）所示。

式中TP和FP分別表示真實的正樣本和虛假的正樣本，F(xiàn)N為虛假的負樣本，M為檢測目標的類別總數(shù)，AP(k)為第k類AP值。

3 結(jié)果與分析

3.1 不同模型輕量化對比

為檢驗模型改進效果，選擇YOLOv7、EfficientNet Lite3-YOLOv4、ShuffleNetV2-YOLOv4、MobilenetV3-YOLOv4 模型，以及改進YOLOv4 模型進行輕量化對比驗證，結(jié)果如表2 所示，由表2 可知，改進YOLOv4 模型參數(shù)量最少、計算量最小、輕量化程度最高。

表2 不同目標識別模型比較Table 2 Comparison of different target recognition models

3.2 試驗平臺與模型訓練結(jié)果

試驗訓練集包含裸肉蝦圖像為1 064 張，帶殼蝦圖像為1 109 張，兩者共存214 張。采用Pytorch-GPU1.2 深度學習框架，運行的深度學習處理器為Intel Core-i5-12 400，3.20 GHz，顯卡為GeForce RTX 3 080，操作系統(tǒng)為Windows 10，NVIDIA 461.37 驅(qū)動，CUDA11 版本，CUDNN神經(jīng)網(wǎng)絡加速庫版本為7.6.5?；谠囼炂脚_硬件運行性能設置迭代訓練樣本數(shù)為8，根據(jù)擬合效果選擇迭代次數(shù)為500 次。為提高模型穩(wěn)定性避免訓練后期震蕩設置動量因子為0.973，衰減系數(shù)為0.005，初始學習率為0.001，優(yōu)化器選擇sgd，使用Mosaic 數(shù)據(jù)增強與余弦退火算法。訓練完成后根據(jù)后臺日志信息記錄繪制模型訓練損失值變化趨勢圖，如圖9 所示。由圖9 可知，模型隨迭代次數(shù)增加，損失值逐漸減少。GhostNet-YOLOv4模型經(jīng)歷20 次迭代后，模型損失值收斂到2.5 以下，至350 次迭代后損失值趨于平穩(wěn)，趨于穩(wěn)定后GhostNet-YOLOv4 模型損失值為1.2，相比YOLOv4 模型損失值減少了1.2，比YOLOv3 模型損失值減少了1.8，比MobilenetV3-YOLOv4 模型損失值減少了0.2，驗證了GhostNet-YOLOv4 模型識別準確性較優(yōu)。

圖9 模型訓練損失值變化趨勢圖Fig.9 Model training loss value change trend diagram

3.3 蝦只肉殼辨識模型消融試驗

為驗證主干特征提取網(wǎng)絡GhostNet 替換、SE 注意力機制嵌入和CIoU 損失函數(shù)設計的改進效果，采用平均精度均值（mAP）、參數(shù)量、權(quán)重作為模型性能評價指標進行消融試驗，結(jié)果如表3 所示，由表3 可知，模型經(jīng)過GhostNet 替換后mAP 提升了2.9 個百分點，加入SE 注意力機制后mAP 提升了1.8 個百分點，CIoU 損失函數(shù)設計后mAP 提升了1.4 個百分點。改進YOLOv4模型的平均精度均值為92.8%，而YOLOv4 模型平均精度均值為86.7%，提高了6.1 個百分點。模型改進后參數(shù)量和權(quán)重明顯減少。

表3 消融試驗結(jié)果對比Table 3 Comparison of ablation test results

3.4 蝦只肉殼辨識效果

為驗證GhostNet-YOLOv4 模型在不同環(huán)境蝦只肉殼辨識的有效性，選擇陰天及晴天傍晚等光照不足時段，以及在傳送帶速度為0.1 m/s 輸送狀態(tài)下進行辨識效果試驗。本文以相同訓練集、不同模型進行訓練與測試，基于YOLOv3、YOLOv4、MobilenetV3-YOLOv4 和GhostNet-YOLOv4 模型在相同測試集上進行測試，蝦只肉殼辨識測試集共1 000 張照片，部分結(jié)果如圖10 所示。

圖10 不同條件下各模型蝦只肉殼檢測效果Fig.10 The detection effect of shrimp in different models under different conditions

光照充足時，各模型均可完成蝦只肉殼辨識。然而，光照不足時，YOLOv4 和MobilenetV3-YOLOv4 檢測準確率明顯下降，YOLOv3 模型甚至無法辨識或辨識錯誤。與其他模型比較，蝦只輸送時，GhostNet-YOLOv4 的檢測準確率與置信度最高。

GhostNet-YOLOv4、YOLOv3、YOLOv4 和Mobilenet V3-YOLOv4 模型的裸肉蝦和帶殼蝦辨識準確率P、召回率R曲線如圖11 所示，由圖11 可知，GhostNet-YOLOv4的P-R曲線包絡面積最大，說明蝦只肉殼辨識準確率最高。

圖11 準確率-召回率曲線圖Fig.11 Precision-recall curve diagram

不同模型的裸肉蝦和帶殼蝦辨識結(jié)果如表4 所示，與YOLOv3、YOLOv4、MobilenetV3-YOLOv4 模型相比，GhostNet-YOLOv4 模型裸肉蝦識別準確率分別提高了6.9、3.5、1.1 個百分點，帶殼蝦識別準確率分別提高了9.2、3.8、2.7 個百分點，模型總體識別準確率分別提高了8.1、3.7、1.9 個百分點。與其他模型相比，GhostNet-YO LOv4 模型檢測速度最高，為25 幀/s，模型綜合性能最優(yōu)。

表4 不同模型蝦只肉殼檢測結(jié)果Table 4 Results of shrimp meat and shell detection with different training models

3.5 不同剝殼方式蝦只肉殼辨識效果

為驗證不同剝殼方式蝦只肉殼辨識的實際效果，根據(jù)圖12 所示的蝦只不同剝殼方式，進行去尾蝦、深切蝦、帶尾蝦、蝴蝶蝦的辨識性能試驗，測試集共1 815 張圖片，其中去尾蝦422 張、深切蝦464 張、帶尾蝦519 張、蝴蝶蝦410 張。結(jié)果如表5 所示。

表5 不同剝殼方式蝦只肉殼辨識準確率Table 5 Precision of shrimp meat and shell recognition for different shelling methods %

圖12 不同剝殼方式的蝦只Fig.12 Shrimps with different shelling methods

由表5 可知，GhostNet-YOLOv4 模型辨識準確率平均值為90.4%，與YOLOv3、YOLOv4、MobilenetV3-YOLOv4 模型相比，辨識準確率平均值分別提高了10.6、4.5、3.9 個百分點。但受剝殼方式影響，深切蝦和蝴蝶蝦由于蝦體面積大，易造成肉殼相互遮疊，模型辨識準確率較無遮擋的去尾蝦和帶尾蝦略低，但與其他模型相比，GhostNet-YOLOv4 模型辨識準確率降幅最小。

3.6 不同品種蝦只肉殼辨識效果

為驗證蝦只肉殼辨識模型對不同品種蝦的適應性，選擇圖13 所示的黑虎蝦、羅氏蝦、日本對蝦3 種常見蝦只進行辨識性能試驗，測試集共1 432 張圖片，其中羅氏蝦437 張、黑虎蝦477 張、日本對蝦518 張。結(jié)果如表6所示。

表6 不同品種蝦只肉殼辨識準確率Table 6 Precision of shrimp meat and shell recognition for different species %

圖13 不同品種的蝦只Fig.13 Shrimps of different species

由表6 可知，GhostNet-YOLOv4 模型的蝦只肉殼辨識準確率最高，平均值為87.2 %，與YOLOv3、YOLOv4、MobilenetV3-YOLOv4 模型相比，準確率平均值分別提高了22.1、12、8 個百分點。受蝦只品種影響，上述3個品種的蝦只沒有經(jīng)過樣本訓練，但與其他模型相比，GhostNet-YOLOv4 模型辨識準確率降幅最小。

4 結(jié)論

1）構(gòu)建了改進輕量化YOLOv4 模型，與YOLOv7、EfficientNet Lite3-YOLOv4、ShuffleNetV2-YOLOv4、MobilenetV3-YOLOv4 模型對比，改進的模型參數(shù)量最少、計算量最小。消融試驗表明改進的模型平均精度均值為92.8%，比原YOLOv4 模型提升了6.1 個百分點。

2）本文通過GhostNet 主干特征提取網(wǎng)絡替換、SE注意力機制引入、CIoU 損失函數(shù)設計對YOLOv4 網(wǎng)絡模型進行改進，有效提高了蝦只肉殼辨識性能，構(gòu)建的GhostNet-YOLOv4 模型總體平均識別準確率為95.9%，檢測速度為25.0 幀/s。

3）對構(gòu)建的GhostNet-YOLOv4 模型進行性能試驗。結(jié)果表明，不同剝殼方式蝦只肉殼辨識準確率平均值為90.4%，不同品種蝦只肉殼辨識準確率平均值為87.2%。