基于SNSS-YOLO v7的肉牛行為識別方法

段青玲 趙芷青 蔣 濤 桂小飛 張宇航

(1.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院, 北京 100083; 2.農(nóng)業(yè)農(nóng)村部智慧養(yǎng)殖技術(shù)重點(diǎn)實(shí)驗(yàn)室, 北京 100083;3.北京福通互聯(lián)科技集團(tuán)有限公司, 北京 101300)

0 引言

肉牛是一種以生產(chǎn)牛肉為主的牛,是我國重要的畜禽養(yǎng)殖品種之一。牛肉因富含蛋白質(zhì)和維生素等營養(yǎng)物質(zhì),對人體健康有益而深受消費(fèi)者喜歡[1-2]。在肉牛養(yǎng)殖中,肉?；顒舆^程中所表現(xiàn)出的行為是其健康狀況的綜合體現(xiàn),對疾病防控、自身發(fā)育評估和發(fā)情監(jiān)測有重要意義。快速準(zhǔn)確地識別肉牛爬跨、躺臥、探究、站立、運(yùn)動、舔砥和互斗等常見行為能夠幫助養(yǎng)殖者及時評估肉牛的生理健康狀況,實(shí)現(xiàn)肉牛的精準(zhǔn)化管理。

國內(nèi)外研究學(xué)者開展了肉牛行為識別技術(shù)研究,主要分為基于傳感器的接觸式肉牛行為識別[3-4]和基于計算機(jī)視覺的非接觸式肉牛行為識別[5-6]兩種方式。基于傳感器的接觸式肉牛行為識別方法是在牛只不同部位佩戴傳感器,根據(jù)采集的肉?；顒恿?、溫度和聲音等數(shù)據(jù),判斷肉牛的不同行為[7-8]。該方法容易造成牛只的應(yīng)激反應(yīng),易損壞傳感器,從而影響牛只行為識別的準(zhǔn)確率。

基于計算機(jī)視覺的非接觸式肉牛行為識別方法通過采集視頻圖像,利用機(jī)器學(xué)習(xí)技術(shù)對圖像進(jìn)行處理,實(shí)現(xiàn)肉牛行為識別。該方法成本較低,可以避免接觸式識別方法帶來的肉牛應(yīng)激反應(yīng)問題。GUO等[9]提出了基于圖像區(qū)域幾何和光流特征分析的爬跨行為識別方法,首先使用融合顏色和紋理的背景減法獲得奶牛目標(biāo),然后使用幀間差分法提取奶牛的幾何和光流特征,最后使用支持向量機(jī)(Support vector machine,SVM)算法進(jìn)行特征分類,實(shí)現(xiàn)奶牛爬跨行為的識別,識別準(zhǔn)確率為90.9%。JIANG等[10]提出了基于噪聲和雙向長短期記憶模型的跛行檢測方法,首先采用FLYOLO v3(Fliter layer YOLO v3)算法提取奶牛背部位置坐標(biāo),并獲得奶牛目標(biāo),然后提取奶牛背部曲率,采用噪聲和雙向長短期記憶模型,實(shí)現(xiàn)奶牛跛行的識別,識別準(zhǔn)確率為96.1%。劉月峰等[11]提出了基于改進(jìn)YOLO v3的奶牛進(jìn)食行為識別方法,使用幅值迭代剪枝算法對YOLO v3進(jìn)行優(yōu)化,實(shí)現(xiàn)奶牛進(jìn)食行為的識別,識別準(zhǔn)確率為79.9%。王少華等[12]提出了基于改進(jìn)YOLO v3的奶牛發(fā)情行為識別方法,使用錨點(diǎn)框聚類、DenseBlock和邊框損失函數(shù)對YOLO v3進(jìn)行優(yōu)化,實(shí)現(xiàn)奶牛發(fā)情行為的識別。上述方法僅實(shí)現(xiàn)了牛只單一行為的識別,如果要識別多種行為,需要對多個模型進(jìn)行集成,無法滿足實(shí)際生產(chǎn)的需求。

在多行為識別方面,QIAO等[13]提出了基于C3D(Convolutional 3D)網(wǎng)絡(luò)和ConvLSTM(Convolutional LSTM network)的牛只行為識別方法,實(shí)現(xiàn)了小牛和奶牛的采食、探索、舔砥、行走和站立5種行為的分類,小牛和奶牛分類準(zhǔn)確率分別為90.32%和86.67%。WU等[14]提出了基于卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的奶牛行為識別方法,實(shí)現(xiàn)了單只奶牛的躺臥、站立、行走、飲水和反芻5種行為的識別,識別準(zhǔn)確率為97.6%。YIN等[15]提出了基于EfficientNet-LSTM的奶牛行為識別方法,使用雙向特征金字塔網(wǎng)絡(luò)(Bi-directional feature pyramid network,BiFPN)優(yōu)化EfficientNet實(shí)現(xiàn)特征聚合,并使用注意力機(jī)制優(yōu)化雙向長短期記憶網(wǎng)絡(luò)實(shí)現(xiàn)時間維度的串聯(lián),最后實(shí)現(xiàn)了單只奶牛的行走、站立、躺臥、哺乳和飲水5種行為的識別,識別準(zhǔn)確率為95.2%。MA等[16]提出了基于ReXNet 3D(Rank expansion networks 3D)的奶牛行為識別方法,在ReXNet(Rank expansion networks)中添加時間信息,實(shí)現(xiàn)了單只奶牛的躺臥、站立和行走3種行為的識別,識別準(zhǔn)確率為95%。上述方法僅實(shí)現(xiàn)了單只牛的多種行為識別,無法直接應(yīng)用在規(guī)?；B(yǎng)殖場多只牛的場景中。

綜上所述,基于計算機(jī)視覺的非接觸式牛只行為識別是目前研究熱點(diǎn),已開展了大量的相關(guān)研究,但仍存在以下問題:在實(shí)際養(yǎng)殖環(huán)境中存在多只肉牛且行為多種多樣,現(xiàn)有模型無法適用于養(yǎng)殖場的實(shí)際情況;現(xiàn)有模型存在參數(shù)多和模型大的特點(diǎn),不利于在算力有限的邊緣端設(shè)備上部署應(yīng)用。

針對上述問題,本文提出一種基于SNSS-YOLO v7的肉牛行為識別方法,首先在實(shí)際養(yǎng)殖環(huán)境下采集肉牛行為數(shù)據(jù),構(gòu)建肉牛行為數(shù)據(jù)集;其次在YOLO v7頸部采用Slim-Neck結(jié)構(gòu),以減小模型計算量與參數(shù)量;然后在頭部引入SEAM模塊增強(qiáng)Neck層輸出后的檢測效果;最后使用SimSPPF模塊替換原YOLO v7的SPPCSPC模塊,在增大感受野的同時進(jìn)一步減少參數(shù)量。

1 材料與方法

1.1 試驗(yàn)數(shù)據(jù)

本文試驗(yàn)數(shù)據(jù)通過肉牛養(yǎng)殖基地實(shí)地采集和網(wǎng)絡(luò)抓取兩種渠道獲取。以內(nèi)蒙古錫林郭勒盟正藍(lán)旗鑫源牧場為試驗(yàn)場地,通過視頻攝像設(shè)備(?？低旸S-2CD3T86FWDV2-I3S)采集養(yǎng)殖場的肉牛行為數(shù)據(jù)。通過上述兩種渠道獲取肉牛多天的日?；顒右曨l,人工篩選出具有爬跨、躺臥、探究、站立、運(yùn)動、舔砥和互斗7種行為的視頻片段75條,視頻片段長度不等。按照比例8∶2隨機(jī)選擇60條視頻片段做訓(xùn)練集,15條視頻片段做測試集。為避免圖像相似度過高,對視頻片段采取視頻抽幀的方式,每間隔25幀抽取一幅圖像,共獲得訓(xùn)練集圖像1 959幅,測試集圖像501幅,構(gòu)成本文的行為識別數(shù)據(jù)集。表1給出了肉牛7種行為判定標(biāo)準(zhǔn)和數(shù)據(jù)集信息。

表1 肉牛行為判定標(biāo)準(zhǔn)和數(shù)據(jù)集信息Tab.1 Beef cattle behavior recognition criteria and dataset description

為了模擬實(shí)際生產(chǎn)環(huán)境,保證算法的實(shí)用性,構(gòu)建肉牛行為識別數(shù)據(jù)集時綜合考慮以下因素:①姿態(tài)變化。采集包含肉牛多種姿態(tài)的圖像,以增加樣本的多樣性。②密集程度。采集不同密集程度下的肉牛圖像,每幅圖像中包含多頭肉牛和多種行為,以增加識別算法對不同場景的適應(yīng)性。③光照變化。采集不同自然光照條件下的肉牛圖像,以增加識別算法對不同光照條件的適應(yīng)性。

為了進(jìn)一步增強(qiáng)圖像的復(fù)雜性,本文采用馬賽克增強(qiáng)的方法進(jìn)行數(shù)據(jù)增強(qiáng)。采用LabelImg人工標(biāo)注每幅圖像中肉牛的爬跨、躺臥等7種行為。數(shù)據(jù)集中的部分圖像如圖1所示。其中,圖1a、1d是網(wǎng)絡(luò)抓取的圖像,圖1b、1c、1e、1f是在肉牛養(yǎng)殖基地獲取的圖像。圖中標(biāo)注的目標(biāo)①為爬跨肉牛、目標(biāo)②為躺臥肉牛、目標(biāo)③為探究肉牛、目標(biāo)④為站立肉牛、目標(biāo)⑤為運(yùn)動肉牛、目標(biāo)⑥為舔砥肉牛、目標(biāo)⑦為互斗肉牛。

1.2 肉牛行為識別模型

1.2.1肉牛行為識別模型架構(gòu)

YOLO v7算法是優(yōu)秀的目標(biāo)檢測算法,其網(wǎng)絡(luò)模型主要由CBS模塊、ELAN模塊、MP模塊、SPPCSPC模塊以及Concat模塊構(gòu)成,包含大量的普通卷積,內(nèi)存消耗較大,難以部署在邊緣端設(shè)備上。本文提出基于SNSS-YOLO v7的肉牛行為識別模型,首先在網(wǎng)絡(luò)頸部采用Slim-Neck結(jié)構(gòu)輕量化網(wǎng)絡(luò);其次頭部引入SEAM模塊增強(qiáng)Neck層輸出后的檢測效果;最后使用SimSPPF模塊替換原YOLO v7的SPPCSPC模塊。在保持精度的同時有效減少模型內(nèi)存占用量,從而實(shí)現(xiàn)肉牛行為的準(zhǔn)確識別。

肉牛行為識別模型架構(gòu)如圖2所示。當(dāng)輸入圖像為640像素×640像素時,主干網(wǎng)絡(luò)從輸入圖像中提取80像素×80像素、40像素×40像素和 20像素×20像素共3種特征圖;頸部采用SimSPPF模塊增大感受野,使用Slim-Neck結(jié)構(gòu)對主干網(wǎng)絡(luò)提取的3種不同大小的特征圖進(jìn)行特征融合,且降低網(wǎng)絡(luò)復(fù)雜度;頭部引入SEAM模塊增強(qiáng)Neck層輸出后的檢測效果。通過損失函數(shù)計算訓(xùn)練損失,使用優(yōu)化器調(diào)整參數(shù),獲得肉牛行為識別模型,并對測試集進(jìn)行結(jié)果預(yù)測。

1.2.2SNSS-YOLO v7模型網(wǎng)絡(luò)結(jié)構(gòu)

基于SNSS-YOLO v7的輕量級肉牛行為識別模型網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 SNSS-YOLO v7網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 SNSS-YOLO v7 network structure

采用Slim-Neck結(jié)構(gòu)輕量化頸部網(wǎng)絡(luò),減輕模型的復(fù)雜度同時保持精度;引入SEAM模塊增強(qiáng)Neck層輸出后的檢測效果;使用SimSPPF模塊替換原網(wǎng)絡(luò)的SPPCSPC模塊,增加感受野的同時進(jìn)一步減小參數(shù)量。

(1)Slim-Neck結(jié)構(gòu)輕量化頸部

YOLO v7網(wǎng)絡(luò)使用大量的標(biāo)準(zhǔn)卷積(Standard convolution,SC)提取圖像的特征信息,但是標(biāo)準(zhǔn)卷積會耗費(fèi)大量的時間,輕量化網(wǎng)絡(luò)Xception[17]、MobileNet[18]和ShuffleNet[19]等使用的深度可分離卷積(Depthwise separable convolution,DSC)可以有效地解決標(biāo)準(zhǔn)卷積的耗時問題,但模型的檢測精度也隨之降低。GSConv[20]采用SC、DSC以及Shuffle相結(jié)合的方式,其計算成本僅是標(biāo)準(zhǔn)卷積的60%～70%,但效果與SC不相上下。因此,本文使用GSConv代替原網(wǎng)絡(luò)中Neck層中的標(biāo)準(zhǔn)卷積,并在GSConv的基礎(chǔ)上引入VoV-GSCSP模塊[20]。通過GSConv和VoV-GSCSP模塊所構(gòu)成的Slim-Neck結(jié)構(gòu)對主干網(wǎng)絡(luò)提取的特征進(jìn)行增強(qiáng),在充分提取深層特征和淺層特征信息的同時,既減輕了模型的復(fù)雜度,又保持了模型的精度。GSConv卷積操作和VoV-GSCSP網(wǎng)絡(luò)結(jié)構(gòu)分別如圖4和圖5所示。

圖4 GSConv卷積操作Fig.4 GSConv convolution operation

圖5 VoV-GSCSP網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 VoV-GSCSP structure

(2)SEAM模塊

為進(jìn)一步降低模型復(fù)雜度,本文使用SEAM模塊替換原YOLO v7的Rep結(jié)構(gòu)來增強(qiáng)Neck層輸出部分的響應(yīng)能力。SEAM模塊[21]中使用帶有殘差連接的深度可分離卷積,采用一個兩層的全連接網(wǎng)絡(luò)來融合每個通道的信息,以加強(qiáng)所有通道之間的聯(lián)系。通過上一步學(xué)習(xí)到的被遮擋行為與無遮擋行為的關(guān)系來彌補(bǔ)遮擋場景下的損失,可以有效解決行為之間的遮擋問題。

(3)SimSPPF

空間金字塔池化(Spatial pyramid pooling,SPP)[22]是一種將局部特征映射到不同維度空間并將其融合的池化方法,輸入不同大小的圖像可以產(chǎn)生固定大小的特征向量,進(jìn)而有效提取出不同尺度的特征信息。

YOLO v7中的空間金字塔池化使用的是SPPCSPC模塊(圖6a),將輸入分成2個不同的分支,其中一個進(jìn)行常規(guī)處理,另一個進(jìn)行SPP結(jié)構(gòu)處理,最后將兩部分通過Concat操作合并在一起。其中SPP結(jié)構(gòu)處理將輸入分成4部分,其中3部分分別進(jìn)行尺寸為5×5、9×9和13×13的最大池化操作,第4部分輸入與其他3個經(jīng)過池化操作的輸入通過Concat連接,生成固定尺寸的特征。SPPCSPC模塊雖然有較好的表現(xiàn)效果,但參數(shù)量與計算量過大。

圖6 SPPCSPC結(jié)構(gòu)和SimSPPF結(jié)構(gòu)Fig.6 SPPCSPC structure and SimSPPF structure

本文使用SimSPPF模塊[23](圖6b)將輸入分為2部分,一部分串聯(lián)3個尺寸為5×5的最大池化層(Max Pooling)。其中,串聯(lián)2個5×5的最大池化層和1個9×9的最大池化層計算結(jié)果相同,串聯(lián)3個5×5的最大池化層和1個13×13的最大池化層計算結(jié)果相同。通過串聯(lián)最大池化層對輸入進(jìn)行處理,極大地減少了計算量,提高了速度和效率。另一部分輸入直接與經(jīng)過3個池化操作的輸出通過Concat連接,生成固定尺寸的特征,在很大程度上增加感受野,起到特征增強(qiáng)的作用。在SimSPPF模塊中使用ReLU激活函數(shù),而SPPCSPC模塊使用SiLU激活函數(shù),單個CBL速度比CBS快。

1.3 試驗(yàn)設(shè)計及評價

為驗(yàn)證本文所提方法的有效性,將本文提出的肉牛行為識別方法與YOLO v6m、YOLO v5m、YOLOX-S、TPH-YOLO v5和Faster R-CNN方法進(jìn)行對比;將本文提出的肉牛行為識別原網(wǎng)絡(luò)與各模塊改進(jìn)后的網(wǎng)絡(luò)進(jìn)行對比,驗(yàn)證本文對原算法改進(jìn)的有效性。

采用精確率(Precision)、召回率(Recall)、平均精度均值(mAP@0.5)、模型內(nèi)存占用量、參數(shù)量和浮點(diǎn)運(yùn)算量(GFLOPs)評估肉牛行為識別模型的性能,平均精度(AP)是肉牛各個行為識別的平均精度,mAP是AP的平均值,模型內(nèi)存占用量使用模型所占存儲空間來衡量,GFLOPs表示每秒10億次的浮點(diǎn)運(yùn)算數(shù)。

試驗(yàn)服務(wù)器配置如下:操作系統(tǒng)為Ubuntu 18.04,GPU為GeForce RTX 2080Ti,CPU為Intel(R)Xeon(R) Silver 4114,主頻2.2 GHz,內(nèi)存125 GB,深度學(xué)習(xí)庫為PyTorch 1.7.1,運(yùn)算平臺為CUDA 10.0、CUDNN 7.6.1,編程語言為Python。

模型訓(xùn)練過程中參數(shù)設(shè)置有:輸入圖像尺寸為640像素×640像素、Epoch為300、批量大小為8、初始學(xué)習(xí)率為0.01、動量參數(shù)為0.937、權(quán)重衰減系數(shù)為0.000 5。

2 試驗(yàn)結(jié)果與分析

2.1 肉牛行為識別結(jié)果

為驗(yàn)證本文提出的SNSS-YOLO v7肉牛行為識別方法對肉牛爬跨、躺臥、探究、站立、運(yùn)動、舔砥和互斗7種行為識別效果的優(yōu)越性,將本文方法與原YOLO v7算法進(jìn)行比較,對比結(jié)果如表2所示。

表2 不同目標(biāo)平均精度均值對比結(jié)果Tab.2 Comparison result of mAP@0.5 of different targets

由表2可以看出,本文方法對爬跨行為識別的平均精度均值(mAP@0.5)為99.6%,與YOLO v7相同。本文方法對探究、舔砥和互斗行為的識別平均精度均值(mAP@0.5)分別為92.6%、94.7%和93.4%,較YOLO v7分別提高1.6、0.6、1.8個百分點(diǎn)。

YOLO v7對7種行為的識別中,運(yùn)動行為識別的平均精度均值(mAP@0.5)最低,僅有84.1%,分析其原因是肉牛的站立行為和運(yùn)動行為表現(xiàn)相似,模型容易產(chǎn)生混淆,而誤將運(yùn)動行為識別成站立行為。本文方法對運(yùn)動行為的識別平均精度均值(mAP@0.5)為88.5%,較YOLO v7提高4.4個百分點(diǎn),對肉牛站立行為識別的平均精度均值(mAP@0.5)為97.8%,較YOLO v7提高1個百分點(diǎn)。說明本文方法對肉牛運(yùn)動和站立相似行為識別能力有所提高。

本文提出的肉牛行為識別方法在測試集上的識別結(jié)果如圖7所示。

圖7a、7d中肉牛行為數(shù)量較少,圖7a中的躺臥、探究和站立行為均被正確識別,圖7d中的爬跨行為被正確識別。圖7b、7e為自然光照條件下存在多只肉牛且存在遮擋行為的圖像,圖7b中由于站立與運(yùn)動行為高度相似,導(dǎo)致其中一個運(yùn)動行為被錯誤識別成站立行為,其余站立行為與運(yùn)動行為均被正確識別,圖7e中的躺臥、站立和探究行為均被正確識別。圖7c、7f為在夜晚存在多只肉牛且存在遮擋行為的圖像,夜晚肉牛行為多表現(xiàn)為躺臥行為, 圖7c 中的躺臥和探究行為均全部被正確識別,圖7f中的躺臥行為均被正確識別?？傮w來說,本文方法對肉牛的多種行為均取得較好的識別效果。

2.2 消融試驗(yàn)結(jié)果

為驗(yàn)證提出的基于SNSS-YOLO v7的肉牛行為識別方法對原算法改進(jìn)的有效性,設(shè)計了消融試驗(yàn)。將原網(wǎng)絡(luò)與進(jìn)行各模塊改進(jìn)后的網(wǎng)絡(luò)在測試集上進(jìn)行測試,對比結(jié)果如表3所示。

表3 消融試驗(yàn)結(jié)果Tab.3 Results of ablation experiments

由表3可以看出,本文方法所做的第1個改進(jìn)為使用Slim-Neck輕量化Neck結(jié)構(gòu),使精確率提高0.4個百分點(diǎn),平均精度均值(mAP@0.5)提高0.3個百分點(diǎn),模型內(nèi)存占用量減小14.3%,參數(shù)量減少14.8%,浮點(diǎn)運(yùn)算量減少13.6%;本文方法所做的第2個改進(jìn)為使用SEAM模塊替換Rep結(jié)構(gòu),雖然精確率并未提升,但平均精度均值(mAP@0.5)提高0.1個百分點(diǎn),模型內(nèi)存占用量減小20.4%,參數(shù)量減少18.7%,浮點(diǎn)運(yùn)算量減少12%;本文方法所做的第3個改進(jìn)為使用SimSPPF模塊替換SPPCSPC模塊,精確率提高0.4個百分點(diǎn),平均精度均值(mAP@0.5)提高1個百分點(diǎn),模型內(nèi)存占用量減小23.7%,參數(shù)量減少23.8%,浮點(diǎn)運(yùn)算量減少6.1%。

2.3 不同模型對比試驗(yàn)結(jié)果

為驗(yàn)證本文提出的基于SNSS-YOLO v7的肉牛行為識別方法的有效性,將本文方法與YOLO v6m[23]、YOLO v5m、YOLOX-S[24]、TPH-YOLO v5[25]和Faster R-CNN[26]肉牛行為識別方法進(jìn)行對比。其中,YOLO v6m、YOLO v5m、YOLOX-S方法是當(dāng)前主流的目標(biāo)檢測算法,TPH-YOLO v5和Faster R-CNN是在其他文獻(xiàn)中性能較好的算法。為了驗(yàn)證本文方法的優(yōu)越性,所有模型訓(xùn)練過程中參數(shù)設(shè)置均保持一致。對比結(jié)果如圖8所示。

圖8 不同模型識別效果比較Fig.8 Comparison of recognition effect of different models

由圖8可以看出,本文方法與YOLO v6m、YOLO v5m和TPH-YOLO v5方法相比,精確率分別提高1.1、0.8、1.7個百分點(diǎn),召回率分別提高4.3、1.1、0.4個百分點(diǎn),平均精度均值(mAP@0.5)分別提高2.2、3.1、1.9個百分點(diǎn)。與YOLOX-S方法相比,精確率持平,召回率提高9個百分點(diǎn),平均精度均值(mAP@0.5)提高13.7個百分點(diǎn)。與Faster R-CNN 方法相比,召回率雖有所下降,但精確率提高19.3個百分點(diǎn),平均精度均值(mAP@0.5)提高4.5個百分點(diǎn)。綜上,本文方法在識別效果上優(yōu)于其他方法,驗(yàn)證了本文方法的優(yōu)越性。

為進(jìn)一步驗(yàn)證本文方法是否適合部署在邊緣端設(shè)備上,將本文方法的參數(shù)量和模型內(nèi)存占用量與YOLO v6m、YOLO v5m、YOLOX-S、TPH-YOLO v5、Faster R-CNN模型進(jìn)行對比。對比結(jié)果如表4所示。

表4 不同模型參數(shù)量和模型內(nèi)存占用量比較Tab.4 Comparison of different model parameters and model sizes

由表4可知,本文方法與YOLO v6m方法相比模型內(nèi)存占用量減少45.4%,參數(shù)量減少43.8%;與YOLO v5m方法相比,模型內(nèi)存占用量減少7.6%,參數(shù)量減少7.8%;與YOLOX-S方法相比,參數(shù)量雖然略有提升,但模型內(nèi)存占用量減少43.1%;與TPH-YOLO v5方法相比,模型內(nèi)存占用量減少57.8%,參數(shù)量減少57.6%;與Faster R-CNN方法相比,模型內(nèi)存占用量減少92.5%,參數(shù)量減少了85.9%。綜上,本文方法在識別性能方面優(yōu)于對比方法,驗(yàn)證了本文方法的有效性。

3 討論

3.1 牛只不同密集程度下行為識別效果

為了驗(yàn)證本文提出的基于SNSS-YOLO v7的肉牛行為識別方法在肉牛不同密集程度下的識別效果,分別對輕微、中度和重度3種密集程度進(jìn)行了測試,測試結(jié)果如表5所示。輕微密集程度的肉牛數(shù)量少于5頭,且肉牛行為之間幾乎無遮擋;中度密集程度的肉牛數(shù)量在5～10頭之間,且部分肉牛行為之間存在遮擋;重度密集程度下的肉牛數(shù)量大于10頭,且肉牛行為之間互相遮擋。

表5 不同密集程度下肉牛行為識別效果對比Tab.5 Comparison of behavior recognition effect under different intensities %

由表5可知,輕微密集和中度密集程度下,本文方法可以較準(zhǔn)確地識別出肉牛行為;在重度密集情況下,肉牛行為的識別效果受到了較大的影響,因肉牛行為之間互相遮擋嚴(yán)重,導(dǎo)致精確率和mAP@0.5有所下降。

圖9為不同密集程度的肉牛行為識別結(jié)果。圖9a為輕微密集環(huán)境,肉牛站立行為和運(yùn)動行為均被正確識別。圖9b為中度密集環(huán)境,肉牛站立、舔砥和躺臥行為均被準(zhǔn)確識別。圖9c為重度密集環(huán)境,兩只肉牛因遮擋嚴(yán)重導(dǎo)致躺臥行為被漏檢,其它探究、躺臥、站立、舔砥行為均被正確識別。

圖9 不同密集程度下的肉牛行為識別結(jié)果Fig.9 Results of beef cattle behavior recognition under different intensity levels

3.2 不同光照情況下行為識別效果

為了驗(yàn)證本文提出的基于SNSS-YOLO v7的肉牛行為識別方法的實(shí)用性,對不同光照情況下肉牛行為的識別效果進(jìn)行了測試,測試結(jié)果如圖10所示。

圖10 不同光照情況下肉牛行為識別結(jié)果Fig.10 Recognition results of beef cattle behavior under different lighting conditions

圖10a、10b光照較強(qiáng),圖像中的肉牛行為均被正確識別。圖10c中光線較弱且肉牛重度密集,導(dǎo)致圖像中的兩個站立行為被漏檢。圖10d中光線較暗且肉牛中度密集,圖像中的行為均被正確識別。

3.3 站立、運(yùn)動和探究行為分析

站立、運(yùn)動和探究行為雖然相似,但可以反映肉牛的健康狀況,比如,患病的肉牛運(yùn)動行為減少,這些相似行為對識別精度有一定影響。如果將站立、運(yùn)動和探究行為合并為一類,則肉牛行為可分為爬跨、躺臥、舔砥、互斗及其他5類,測試結(jié)果如表6所示。

表6 不同行為類別數(shù)量識別效果比較Tab.6 Comparison of recognition effect of different behavior categories %

由表6可知,將站立、運(yùn)動和探究3類相似行為歸為一類,精確率大幅提高,但無法準(zhǔn)確識別肉牛行為是站立、運(yùn)動還是探究,導(dǎo)致無法及時掌握肉牛的健康狀況。詳細(xì)區(qū)分站立、運(yùn)動和探究3類相似行為,精確率和mAP@0.5雖然略有下降,但仍然全部在90%以上,可以及時發(fā)現(xiàn)肉牛養(yǎng)殖過程中存在的異常情況,對于肉牛健康養(yǎng)殖具有重要作用。

4 結(jié)論

(1)提出了一種基于SNSS-YOLO v7的肉牛行為識別方法。首先在YOLO v7的Neck部分使用Slim-Neck結(jié)構(gòu),有效降低模型復(fù)雜度;其次在YOLO v7的Head引入SEAM模塊,增強(qiáng)對Neck層輸出的響應(yīng)能力;最后使用SimSPPF模塊替換原YOLO v7的SPPCSPC模塊,在減小參數(shù)的同時進(jìn)一步增大感受野。試驗(yàn)結(jié)果表明,本文方法能有效識別肉牛的爬跨、躺臥、探究、站立、運(yùn)動、舔砥和互斗7種行為,平均精度均值為95.2%,模型內(nèi)存占用量為39 MB,參數(shù)量為1.926×107,識別效果較好。

(2)與YOLO v7、YOLO v6m、YOLO v5m、YOLOX-S、TPH-YOLO v5和Faster R-CNN相比,模型內(nèi)存占用量分別減小47.9%、45.4%、7.6%、43.1%、57.8%和92.5%,平均精度均值分別提高1.4、2.2、3.1、13.7、1.9、4.5個百分點(diǎn)。表明本文方法行為識別效果更好。