基于YOLOv5 算法對斑馬魚幼魚的檢測研究

周福歡，柴鑫雨

（上海理工大學(xué) 健康科學(xué)與工程學(xué)院，上海 200093）

0 引言

斑馬魚幼魚作為典型模型動(dòng)物之一，其視覺引導(dǎo)行為，如：視動(dòng)反射、視運(yùn)動(dòng)反應(yīng)、逃避反應(yīng)等；精神疾病引起的行為，如：藥物成癮和戒斷、攻擊性、恐懼和焦慮等得到了廣泛的研究。視頻檢測是研究幼魚行為的基礎(chǔ)步驟。但是，幼魚體積小，身體邊緣透明，與培養(yǎng)皿邊緣對比度低，運(yùn)動(dòng)模型處于近似睡眠或爆發(fā)狀態(tài)，使得識(shí)別難度高。傳統(tǒng)的目標(biāo)檢測算法主要依靠目標(biāo)物體與背景之間的差異來進(jìn)行識(shí)別，比如：物體的灰度、顏色、光流、邊緣、紋理和梯度等特征。但幼魚姿態(tài)變化、不連續(xù)運(yùn)動(dòng)、遮擋、光照強(qiáng)度等環(huán)境的干擾使得檢測精度低。近年來，由于卷積神經(jīng)網(wǎng)絡(luò)對圖像的強(qiáng)大表征能力，也在一定程度上推動(dòng)了目標(biāo)檢測算法的較為快速發(fā)展。

目前，基于深度學(xué)習(xí)的檢測算法一般可分為2類。一類是基于候選框的兩階段檢測算法，具有較高的定位和識(shí)別精度，如R-CNN、Fast R-CNN、Faster R-CNN，Mask R-CNN；另一類是基于回歸的單階段檢測算法，具有較高的檢測速度，如YOLO 系列算法和SSD 算法。其中，YOLO 算法已經(jīng)成為多目標(biāo)檢測領(lǐng)域的研究熱點(diǎn)，現(xiàn)已廣泛應(yīng)用于各個(gè)行業(yè)。YOLO 可以將候選框定位、特征提取和物體分類整合到一個(gè)骨干網(wǎng)絡(luò)中，實(shí)現(xiàn)端到端的檢測。以此為基點(diǎn)，YOLOv2、YOLOv3、YOLOv4 和YOLOv5也緊隨其后相繼問世，其中YOLOv5 具有輕量級架構(gòu)，檢測精度上與YOLOv4 相當(dāng)，但速度優(yōu)于YOLOv4。基于此，本文將使用基于YOLOv5 網(wǎng)絡(luò)對斑馬魚幼魚進(jìn)行檢測。

1 YOLOv5 網(wǎng)絡(luò)模型介紹

YOLOv5 算法根據(jù)網(wǎng)絡(luò)寬度與深度分為4 種模型，依次為 YOLOv5s、YOLOv5m、YOLOv5x 和YOLOv5l，精度逐漸提高，但檢測速度逐漸降低。本文選取YOLOv5m 檢測斑馬魚幼魚，在有限的設(shè)備條件下獲取最好的檢測精度與檢測速度。

YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)可分為4 個(gè)部分，即：輸入（Input）、骨干網(wǎng)絡(luò)（Backbone）、頸部（Neck）和預(yù)測層（Prediction），如圖1 所示。輸入端對圖片進(jìn)行預(yù)處理，主要有自適應(yīng)圖片縮放、自適應(yīng)錨框計(jì)算，并使用Mosaic 來擴(kuò)充數(shù)據(jù)集；骨干網(wǎng)絡(luò)對輸入圖像提取特征信息；頸部的作用是融合從骨干網(wǎng)部分提取的特征信息，發(fā)送到預(yù)測層部分；預(yù)測層由3 個(gè)尺度的特征圖組成，分別用于檢測小、中、大目標(biāo)。例如，當(dāng)輸入分辨率為608×608 的圖像時(shí)，將檢測到分辨率超過8×8 的小目標(biāo)、分辨率超過16×16 的中等目標(biāo)、以及分辨率超過32×32 的大目標(biāo)。故使用K-means++聚類算法獲取數(shù)據(jù)集的錨框（Anchor boxes），得出幼魚的頭部矩形框大小在8～20 像素之間。因此，本文對YOLOv5 刪除大尺度的預(yù)測層部分和其相應(yīng)的頸部組件，保留小、中尺度預(yù)測層部分，得到Y(jié)OLOv5m-sm 模型，去掉大、中尺度預(yù)測層，保留小尺度預(yù)測層，得到Y(jié)OLOv5m-s 模型。

圖1 YOLOv5 結(jié)構(gòu)圖Fig.1 The structure of YOLOv5 model

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)平臺(tái)

本文算法的實(shí)驗(yàn)平臺(tái)配置，見表1。

表1 實(shí)驗(yàn)平臺(tái)配置Tab.1 Experimental platform configuration

2.2 數(shù)據(jù)集

將幼魚放在培養(yǎng)皿中，培養(yǎng)皿底部放置一個(gè)LED 燈光源，手機(jī)以一定高度在室內(nèi)光線下垂直拍攝，具體信息見表2。拍攝的圖像含有雜質(zhì)、排泄物、波紋等來提高數(shù)據(jù)集的多樣性。

表2 幼魚數(shù)據(jù)集Tab.2 The dataset of larvae

本文使用DarkLabel 標(biāo)注軟件以1 fps 將視頻進(jìn)行分幀，選取幼魚眼部進(jìn)行標(biāo)記，由此就得到了Zebradata 數(shù)據(jù)集。每張圖像標(biāo)記后得到一個(gè).txt 文件，主要包括目標(biāo)類別、識(shí)別難度、矩形框的左上角與右下角坐標(biāo)信息。

為了增強(qiáng)數(shù)據(jù)多樣性，提高模型訓(xùn)練時(shí)的泛化能力，使用了數(shù)據(jù)擴(kuò)充方法，如：Mosaic、Mixup 和Cutout。其中，Mosaic 是隨機(jī)選取4 張圖片，按照隨機(jī)縮放、隨機(jī)裁剪和隨機(jī)排布的方式進(jìn)行拼接。Mixup 是將多張圖像像素融合形成一張新的圖像。Cutout 是利用一個(gè)任意大小的矩形框隨機(jī)遮擋原圖像上的任意區(qū)域，模擬目標(biāo)遮擋情況。

2.3 實(shí)驗(yàn)流程

基于YOLOv5 的斑馬魚幼魚多目標(biāo)檢測過程如圖2 所示。這里，將Zebradata 數(shù)據(jù)集的圖像大小歸一化為640×640，批量大小設(shè)為2，初始學(xué)習(xí)率設(shè)為0.003 2，訓(xùn)練50 世代（epochs），可使損失函數(shù)收斂。訓(xùn)練好的模型可對幼魚自動(dòng)識(shí)別與定位，顯示出目標(biāo)類別與置信度。

圖2 基于YOLOv5 算法的幼魚多目標(biāo)檢測過程Fig.2 Multi-target detection process for zebrafish larvae based on YOLOv5

2.4 評價(jià)準(zhǔn)則

為了評估YOLO 模型對幼魚的檢測能力，本文采用準(zhǔn)確率（）、召回率（）和平均精度（）指標(biāo)對模型進(jìn)行評估。對此可做研究分述如下。

（1）準(zhǔn)確率與召回率。計(jì)算公式具體如下：

其中，T表示目標(biāo)被正確預(yù)測出來的數(shù)量；F表示目標(biāo)被誤測出來的數(shù)量、即誤檢； F表示目標(biāo)未被預(yù)測出來的數(shù)量、即漏檢。

（2）平均精度（Average Precision，）：用于評估一個(gè)類別訓(xùn)練的模型，主要是通過計(jì)算模型的PR 曲線下的面積，此時(shí)需用到的數(shù)學(xué)公式為：

其中，為精確率，為召回率。

3 實(shí)驗(yàn)結(jié)果與分析

使用160 張含有23 條幼魚的圖像作為測試集，批量大小為4，置信度閾值為0.5，交并比（）閾值為0.9，圖像輸入大小歸一化為736×736。為了體現(xiàn)本文算法性能的優(yōu)越性，對YOLOv3m、YOLOv5s、YOLOv5m-s、YOLOv5m-sm 和YOLOv5m 模型進(jìn)行精度測試實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果見表3。

從表3 中可以看出，YOLOv3 網(wǎng)絡(luò)檢測精度不及YOLOv5 網(wǎng)絡(luò)，只含有小尺度預(yù)測層的YOLOv5m-s模型性能表現(xiàn)最好，相對于YOLOv5m，準(zhǔn)確度提高19.71%，回收率提高了10.34%，平均精度上提高13.29%，推理速度（Inference）提高13.92%。當(dāng)幼魚處在培養(yǎng)皿邊緣時(shí)，與背景對比度很低的情況下，YOLOv5m-s 模型也可以很好地檢測到幼魚。

表3 檢測結(jié)果Tab.3 The experimental detection results

4 結(jié)束語

對于幼魚單類別小目標(biāo)檢測，本文通過對YOLOv5m 刪減不同尺度的預(yù)測層，得到Y(jié)OLOv5ms 和YOLOv5-sm 模型。為了驗(yàn)證模型精度，對YOLOv3m、YOLOv5s、YOLOv5m-s、YOLOv5-sm 和YOLOv5m 網(wǎng)絡(luò)進(jìn)行識(shí)別精度評估，結(jié)果表明YOLOv5m-s 模型性能最優(yōu)，準(zhǔn)確度為0.923，召回率為0.886，平均精度為0.912，實(shí)現(xiàn)了幼魚檢測的高精度和高速度，滿足實(shí)時(shí)檢測需求。