基于YOLOv5的豬只盤(pán)點(diǎn)方法研究

文常懿 王繼榮 田宏志 李 軍

(1.青島大學(xué)a.機(jī)電工程學(xué)院;b.計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,山東 青島 266071;2.青島大學(xué)威海創(chuàng)新研究院,山東 威海 264200)

20世紀(jì)80年代,以美國(guó)為首的發(fā)達(dá)國(guó)家將計(jì)算機(jī)技術(shù)應(yīng)用到養(yǎng)殖領(lǐng)域[1],近年來(lái)我國(guó)養(yǎng)殖業(yè)發(fā)展迅猛,現(xiàn)代化養(yǎng)殖模式逐漸興起。在大規(guī)模養(yǎng)殖場(chǎng)的日常管理、資產(chǎn)清點(diǎn)和養(yǎng)殖過(guò)程中,對(duì)豬只數(shù)量的盤(pán)點(diǎn)非常關(guān)鍵[2]。傳統(tǒng)飼養(yǎng)模式主要依靠飼養(yǎng)人員肉眼觀察進(jìn)行豬只盤(pán)點(diǎn),耗費(fèi)大量的人力物力,且效率低。隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)廣泛應(yīng)用于圖像處理領(lǐng)域[3],基于深度學(xué)習(xí)計(jì)數(shù)方法的相關(guān)研究也日益增多,逐漸應(yīng)用于豬只識(shí)別及計(jì)數(shù)領(lǐng)域。高云等人[4-5]對(duì)Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),在原網(wǎng)絡(luò)基礎(chǔ)上將網(wǎng)絡(luò)框架加深加寬,得到優(yōu)化的網(wǎng)絡(luò)模型Pig Net,提升了對(duì)存在粘連的豬體識(shí)別效果;高云等人[6]對(duì)高密度豬只計(jì)數(shù)進(jìn)行研究,在人群計(jì)數(shù)網(wǎng)絡(luò)CSRNet[7]中添加金字塔結(jié)構(gòu),建立豬只計(jì)數(shù)網(wǎng)絡(luò)(pig counting net,PCN),在訓(xùn)練與優(yōu)化后得到豬只計(jì)數(shù)模型。與改進(jìn)的計(jì)數(shù)卷積神經(jīng)網(wǎng)絡(luò)(counting CNN)模型相比,PCN 與多層神經(jīng)網(wǎng)絡(luò)[8](multi-column convolutional neural network,MCNN)、CSRNet均擁有較高的魯棒性和準(zhǔn)確性;楊阿慶等人[9]對(duì)母豬的個(gè)體分割進(jìn)行研究,提出一種基于全卷積網(wǎng)絡(luò)[10](fully convolutional networks,FCN)算法,以VGG16為基礎(chǔ)網(wǎng)絡(luò),FCN-8s為跳躍網(wǎng)絡(luò)結(jié)構(gòu),建立FCN-8s-VGG16母豬圖像分割網(wǎng)絡(luò),在形態(tài)學(xué)處理后對(duì)母豬圖像分割準(zhǔn)確率達(dá)99.28%;胡云鴿等人[11]對(duì)Mask R-CNN 網(wǎng)絡(luò)進(jìn)行改進(jìn),修改特征金字塔網(wǎng)絡(luò)[12](feature pyramid networks,FPN),提高了對(duì)模糊邊緣的識(shí)別率,對(duì)12～22只生豬的豬舍計(jì)數(shù)精度達(dá)98%,對(duì)存在80只生豬的豬舍計(jì)數(shù)精度達(dá)86%;王榮等人[13]提出一種通過(guò)識(shí)別豬只臉部特征確定豬只身份的識(shí)別模型,利用圖像均方誤差(mean square erro,MSE)和結(jié)構(gòu)相似性(structural similarity index,SSIM)對(duì)數(shù)據(jù)集進(jìn)行篩選,防止因數(shù)據(jù)集相似而過(guò)擬合;TIAN M 等人[14]根據(jù)ResNet結(jié)構(gòu)修改了Counting CNN 模型,從圖像特征映射到密度圖,通過(guò)集成密度圖獲得整個(gè)圖像中豬的總數(shù);CHEN G 等人[15]通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)豬體的部分關(guān)鍵點(diǎn)對(duì)豬只進(jìn)行識(shí)別,提出一種新的空間感知時(shí)間響應(yīng)濾波(spatial-aware temporal response filtering,STRF)方法預(yù)測(cè)豬的數(shù)量,有效抑制了因豬只、相機(jī)運(yùn)動(dòng)和跟蹤故障引起誤報(bào)。因此,本文提出了一種基于YOLOv5的豬只盤(pán)點(diǎn)方法,以實(shí)驗(yàn)豬場(chǎng)采集的數(shù)據(jù)為基礎(chǔ),添加網(wǎng)絡(luò)收集豬只圖像制作數(shù)據(jù)集,以YOLOv5s為訓(xùn)練框架用數(shù)據(jù)集進(jìn)行訓(xùn)練,將得到的訓(xùn)練模型嵌入Jetson Nano開(kāi)發(fā)板上,通過(guò)對(duì)網(wǎng)絡(luò)攝像頭實(shí)時(shí)采集視頻進(jìn)行識(shí)別,實(shí)現(xiàn)豬只盤(pán)點(diǎn)。該研究經(jīng)濟(jì)高效,具有廣闊的應(yīng)用前景。

1 豬只盤(pán)點(diǎn)系統(tǒng)整體框架

基于YOLOv5s的豬只盤(pán)點(diǎn)系統(tǒng)整體框架如圖1所示。六間豬舍上方分別安裝網(wǎng)絡(luò)攝像頭,采集豬舍圖像制作數(shù)據(jù)集,基于YOLOv5s為訓(xùn)練框架進(jìn)行訓(xùn)練,訓(xùn)練后的YOLOv5模型嵌入Jetson Nano開(kāi)發(fā)板。由于攝像頭采用魚(yú)眼攝像頭,視野范圍較寬,畫(huà)面邊緣還會(huì)出現(xiàn)鄰接豬舍,Jetson Nano開(kāi)發(fā)板在接收到圖像后首先將需要計(jì)數(shù)的豬舍區(qū)域進(jìn)行劃分,再對(duì)區(qū)域內(nèi)的豬只進(jìn)行計(jì)數(shù)。

圖1 基于YOLOv5s的豬只盤(pán)點(diǎn)系統(tǒng)整體框架

2 YOLOv5網(wǎng)絡(luò)模型

2015年,YOLO[17]首次將目標(biāo)檢測(cè)重新定義為回歸問(wèn)題并在單個(gè)神經(jīng)網(wǎng)絡(luò)中執(zhí)行[16],該系列是一種端到端的一階段目標(biāo)檢測(cè)算法,與前代 YOLOv4 相比,YOLOv5的檢測(cè)速度與準(zhǔn)確性都得到了提升。YOLOv5系列包含4種模型,即YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x,其中YOLOv5s模型的深度和特征圖寬度最小。本實(shí)驗(yàn)將最終訓(xùn)練所得模型嵌入jetson nano開(kāi)發(fā)板,考慮到開(kāi)發(fā)板的性能,選用YOLOv5s作為該實(shí)驗(yàn)的網(wǎng)絡(luò)模型,以滿(mǎn)足實(shí)驗(yàn)對(duì)于網(wǎng)絡(luò)模型輕量化和檢測(cè)速度的要求。YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,該網(wǎng)絡(luò)結(jié)構(gòu)由輸入端(Input)、主干網(wǎng)絡(luò)(Backbone)、Neck網(wǎng)絡(luò)和輸出端(Prediction)4部分組成。

圖2 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

2.1 輸入端

YOLOv5輸入端包括Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放3部分。Mosaic數(shù)據(jù)增強(qiáng)將4張圖片進(jìn)行隨機(jī)縮放、裁剪、排布操作后拼接成一幅圖像進(jìn)行訓(xùn)練,此方法豐富了檢測(cè)物體的背景且增加了小目標(biāo),提高了網(wǎng)絡(luò)的魯棒性。自適應(yīng)錨框計(jì)算是指在網(wǎng)絡(luò)訓(xùn)練階段,YOLOv5模型針對(duì)不同的數(shù)據(jù)集,設(shè)定初始長(zhǎng)寬的錨框,在初始錨點(diǎn)框的基礎(chǔ)上輸出對(duì)應(yīng)的預(yù)測(cè)框,再與真實(shí)框?qū)Ρ炔⒂?jì)算兩者之間的交并比(intersection over union,IOU),反向迭代網(wǎng)絡(luò)參數(shù),從而更新整個(gè)網(wǎng)絡(luò)的參數(shù)。由于輸入圖像大小尺寸不同,YOLOv5采用Letterbox自適應(yīng)圖片縮放技術(shù)將輸入圖片縮放至統(tǒng)一大小,常用尺寸有640像素×640像素、416像素×416像素等。

2.2 主干網(wǎng)絡(luò)

YOLOv5的主干網(wǎng)絡(luò)由Focus結(jié)構(gòu)和CSP 結(jié)構(gòu)2部分組成,Focus結(jié)構(gòu)是YOLOv5中的輸入圖片進(jìn)入主干網(wǎng)絡(luò)前通過(guò)切片操作進(jìn)行裁剪,在圖像中每隔一個(gè)像素進(jìn)行取值,得到4個(gè)獨(dú)立的特征層,將其進(jìn)行堆疊,寬高信息集中到通道信息,輸入通道擴(kuò)充4倍,即拼接起來(lái)的圖片由原先的RGB 3通道變成了12通道,再對(duì)圖片進(jìn)行卷積操作,最終得到?jīng)]有信息丟失的二倍下采樣特征圖。YOLOv5使用CSPNet[18](cross stage partial networks)作為Backbone,設(shè)計(jì)了2種CSP結(jié)構(gòu),其中CSP1_X 結(jié)構(gòu)應(yīng)用于Backbone部分,另一種CSP2_X 結(jié)構(gòu)則應(yīng)用于Neck網(wǎng)絡(luò)中。

2.3 Neck網(wǎng)絡(luò)

YOLOv5的Neck網(wǎng)絡(luò)為特征融合網(wǎng)絡(luò),使用了FPN＋PAN 結(jié)構(gòu),YOLOv5的Neck網(wǎng)絡(luò)采用CSP2結(jié)構(gòu),加強(qiáng)了網(wǎng)絡(luò)特征融合能力。FPN 是一種加強(qiáng)主干網(wǎng)絡(luò)CNN 特征表達(dá)的方法,通過(guò)利用常規(guī)CNN 模型內(nèi)部從底至上各個(gè)層對(duì)同一規(guī)格圖片不同維度的特征表達(dá)結(jié)構(gòu)。路徑聚合網(wǎng)絡(luò)(path aggregation network,PAN)是在FPN 上采樣融合特征金字塔之后,又增加了一個(gè)下采樣融合的特征金字塔。

2.4 輸出端

輸出端的作用主要是對(duì)輸入特征圖進(jìn)行預(yù)測(cè)輸出,目標(biāo)檢測(cè)任務(wù)的損失函數(shù)一般由分類(lèi)損失函數(shù)(classification loss)和回歸損失函數(shù)(bounding box regression loss)2部分構(gòu)成,YOLOv5采用CIOU_Loss作為Bounding box的損失函數(shù)。早期使用的IOU_Loss是根據(jù)IOU 的損失函數(shù):

在計(jì)算預(yù)測(cè)框與目標(biāo)框的損失時(shí),當(dāng)預(yù)測(cè)框和目標(biāo)框不相交,即IOU＝0時(shí),IOU_Loss無(wú)法進(jìn)行優(yōu)化,IOU_Loss同時(shí)也無(wú)法區(qū)分2個(gè)數(shù)值相同但相交情況不同的IOU。在IOU 的基礎(chǔ)上,GIOU_Loss增加了相交尺度的衡量方式,解決了邊界框不重合時(shí)的問(wèn)題[19]。DIOU_Loss在IOU 和GIOU 的基礎(chǔ)上,考慮邊界框中心點(diǎn)距離的信息,解決了GIOU 有時(shí)無(wú)法區(qū)分預(yù)測(cè)框和目標(biāo)框相對(duì)位置關(guān)系的問(wèn)題[20]。而CIOU_Loss在DIOU 的基礎(chǔ)上,考慮邊界框?qū)捀弑鹊某叨刃畔?使預(yù)測(cè)框回歸的速度和精度更高。

3 豬只識(shí)別盤(pán)點(diǎn)的實(shí)現(xiàn)

本研究在工作站搭建YOLOv5實(shí)驗(yàn)環(huán)境,采集實(shí)驗(yàn)豬場(chǎng)的豬舍圖像和網(wǎng)絡(luò)收集豬舍圖像,使用vott標(biāo)注工具對(duì)采集圖像進(jìn)行多邊形標(biāo)注,創(chuàng)建數(shù)據(jù)訓(xùn)練集與測(cè)試集,將訓(xùn)練集用于YOLOv5模型,訓(xùn)練得到最佳訓(xùn)練模型,將測(cè)試集用于最佳訓(xùn)練模型的測(cè)試并得到測(cè)試結(jié)果。最后修改YOLOv5檢測(cè)環(huán)節(jié),實(shí)現(xiàn)分區(qū)域識(shí)別和檢測(cè)框,統(tǒng)計(jì)豬只計(jì)數(shù)。

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境配置如表1所示。

表1 實(shí)驗(yàn)環(huán)境配置

3.2 數(shù)據(jù)集制作

采集實(shí)驗(yàn)豬廠豬舍內(nèi)監(jiān)控?cái)z像頭圖像和網(wǎng)絡(luò)收集豬舍圖像制作數(shù)據(jù)集,設(shè)置格式為VOC 數(shù)據(jù)集格式。豬舍內(nèi)監(jiān)控?cái)z像頭為螢石互聯(lián)網(wǎng)云臺(tái)相機(jī),型號(hào)為CS-C6CN-1C2WFR-C,分辨率為1 920像素×1 080像素,采集圖像共計(jì)2 000張,剔除有污跡和豬只重疊的圖像,剩余1 700張;網(wǎng)絡(luò)收集圖像1 300張,與攝像頭采集圖像共計(jì)3 000張組成數(shù)據(jù)集,使用vott標(biāo)注工具對(duì)采集圖像進(jìn)行標(biāo)注。

3.3 模型訓(xùn)練及結(jié)果分析

將輸入圖像的尺寸設(shè)置為640像素×640像素,迭代次數(shù)設(shè)置為300,迭代批量設(shè)置為16,使用數(shù)據(jù)集對(duì)YOLOv5s框架進(jìn)行訓(xùn)練,訓(xùn)練完成后根據(jù)結(jié)果中的數(shù)據(jù)繪制查準(zhǔn)率和召回率曲線,訓(xùn)練模型參數(shù)如圖3所示,根據(jù)實(shí)驗(yàn)結(jié)果繪制精確率曲線和m AP0.5曲線,訓(xùn)練結(jié)果參數(shù)如圖4所示。

圖3 訓(xùn)練模型參數(shù)

圖4 訓(xùn)練結(jié)果參數(shù)

分別使用相同數(shù)據(jù)源對(duì)2組模型進(jìn)行測(cè)試,由添加網(wǎng)絡(luò)圖像組的訓(xùn)練模型能識(shí)別出某些畫(huà)面邊緣的豬只,而未添加組不能識(shí)別,模型測(cè)試結(jié)果如圖5所示。

圖5 模型測(cè)試結(jié)果

使用僅豬場(chǎng)采集圖像作為數(shù)據(jù)集對(duì)YOLOv5s模型進(jìn)行訓(xùn)練,與添加了網(wǎng)絡(luò)圖像作為數(shù)據(jù)集進(jìn)行訓(xùn)練的結(jié)果進(jìn)行對(duì)比,2組模型訓(xùn)練結(jié)果對(duì)比如表2所示。

表2 2組模型訓(xùn)練結(jié)果對(duì)比

實(shí)驗(yàn)結(jié)果表明,添加了網(wǎng)絡(luò)圖像進(jìn)行訓(xùn)練的模型,其m AP＠0.5和查準(zhǔn)率指標(biāo)均優(yōu)于未添加網(wǎng)絡(luò)圖像組訓(xùn)練的模型,對(duì)豬只的識(shí)別效果更優(yōu)。同時(shí),訓(xùn)練模型大小幾乎沒(méi)有增加,保證了訓(xùn)練模型的輕量化,因此采用添加網(wǎng)絡(luò)圖像作為數(shù)據(jù)集的訓(xùn)練模型為最優(yōu)訓(xùn)練模型。

使用上述訓(xùn)練得到的最優(yōu)模型嵌入Jetson Nano開(kāi)發(fā)板,接入實(shí)驗(yàn)豬舍上方攝像頭的視頻流,對(duì)試驗(yàn)豬舍進(jìn)行豬只劃分,兩欄豬舍分別單獨(dú)計(jì)數(shù),每欄9頭生豬,設(shè)置置信度Confidence為0.8盤(pán)點(diǎn),在豬只分散情況下,白天識(shí)別準(zhǔn)確率達(dá)95.8%,白天計(jì)數(shù)實(shí)驗(yàn)圖如圖6所示。同時(shí)進(jìn)行夜間計(jì)數(shù)實(shí)驗(yàn),單欄17頭生豬,設(shè)置置信度為0.8,夜間識(shí)別準(zhǔn)確率達(dá)86%。夜間計(jì)數(shù)實(shí)驗(yàn)圖如圖7所示。

圖6 白天計(jì)數(shù)實(shí)驗(yàn)圖

圖7 夜間計(jì)數(shù)實(shí)驗(yàn)圖

4 結(jié)束語(yǔ)

本文應(yīng)用YOLOv5目標(biāo)檢測(cè)模型,研究了現(xiàn)代化智慧養(yǎng)殖模式中豬只盤(pán)點(diǎn)的實(shí)現(xiàn)方法。采集試驗(yàn)場(chǎng)地豬舍圖像和網(wǎng)絡(luò)豬舍圖像,制作數(shù)據(jù)集作為共同訓(xùn)練模型,與單一試驗(yàn)場(chǎng)地豬舍圖像作為數(shù)據(jù)集相比,該模型擁有更高的識(shí)別率,白天豬只識(shí)別準(zhǔn)確率達(dá)95.8%,夜間識(shí)別準(zhǔn)確率達(dá)86%。選用YOLOv5s進(jìn)行訓(xùn)練,得到大小僅14.058 MB的訓(xùn)練模型,在滿(mǎn)足識(shí)別準(zhǔn)確率的前提下,該模型更加輕量化且檢測(cè)速度更快,平均檢測(cè)速度達(dá)80幀/s。該模型嵌入Jetson Nano開(kāi)發(fā)板,可同時(shí)對(duì)6間豬舍進(jìn)行豬只盤(pán)點(diǎn),相比人工盤(pán)點(diǎn),該方法更加經(jīng)濟(jì)高效,應(yīng)用前景更廣闊。但該算法在豬只被遮擋面積過(guò)大的情況下,識(shí)別率較低,導(dǎo)致計(jì)數(shù)出現(xiàn)偏差,下一步研究重點(diǎn)是在目標(biāo)檢測(cè)的基礎(chǔ)上,增加目標(biāo)追蹤算法,為每頭檢測(cè)出的豬只編號(hào)并追蹤。