改進幀間差分-深度學習識別群養(yǎng)豬只典型行為

曾繁國，朱 君，王海峰，賈 楠，趙宇亮，趙文文，李 斌

改進幀間差分-深度學習識別群養(yǎng)豬只典型行為

曾繁國，朱 君，王海峰，賈 楠，趙宇亮，趙文文，李 斌※

（1. 北京市農(nóng)林科學院智能裝備技術研究中心，北京 100097； 2. 國家農(nóng)業(yè)智能裝備工程技術研究中心，北京 100097）

群養(yǎng)豬行為是評估豬群對環(huán)境適應性的重要指標。豬場環(huán)境中，豬只行為識別易受不同光線和豬只粘連等因素影響，為提高群養(yǎng)豬只行為識別精度與效率，該研究提出一種基于改進幀間差分-深度學習的群養(yǎng)豬只飲食、躺臥、站立和打斗等典型行為識別方法。該研究以18只50～115日齡長白豬為研究對象，采集視頻幀1 117張，經(jīng)圖像增強共得到4 468張圖像作為數(shù)據(jù)集。首先，選取Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5五種典型深度學習模型進行姿態(tài)檢測研究，通過對比分析，確定了最優(yōu)姿態(tài)檢測模型；然后，對傳統(tǒng)幀間差分法進行了改進，改進后幀間差分法能有效提取豬只完整的活動像素特征，使檢測結果接近實際運動豬只目標；最后，引入打斗活動比例（Proportion of Fighting Activities, PFA）和打斗行為比例（Proportion of Fighting Behavior, PFB）2個指標優(yōu)化豬只打斗行為識別模型，并對模型進行評價，確定最優(yōu)行為模型。經(jīng)測試，YOLOv5對群養(yǎng)豬只典型姿態(tài)檢測平均精度均值達93.80%，模型大小為14.40 MB，檢測速度為32.00幀/s，檢測速度滿足姿態(tài)實時檢測需求，與Faster R-CNN、SSD、Retinanet和Detection Transformer模型相比，YOLOv5平均精度均值分別提高了1.10、3.23、4.15和21.20個百分點，模型大小分別減小了87.31%、85.09%、90.15%和97.10%。同時，當兩個優(yōu)化指標PFA和PFB分別設置為10%和40%時，豬只典型行為識別結果最佳，識別準確率均值為94.45%。結果表明，該方法具有準確率高、模型小和識別速度快等優(yōu)點。該研究為群養(yǎng)豬只典型行為精準高效識別提供方法參考。

深度學習；識別；群養(yǎng)豬只；姿態(tài)檢測

0 引 言

近年來，中國生豬養(yǎng)殖規(guī)?；?、集約化趨勢加速，加強信息、智能裝備技術與生豬產(chǎn)業(yè)深度融合，推動養(yǎng)豬智能化發(fā)展是實現(xiàn)綠色、健康、高效養(yǎng)殖的重要支撐[1-2]。豬只個體行為感知與分析是智能養(yǎng)豬的關鍵，行為變化是豬對其生長環(huán)境變化做出的最直接反應。因此，借助群養(yǎng)豬只個體/群體行為實時感知數(shù)據(jù)[3-4]，開展動物健康狀況等信息分析、挖掘，對實現(xiàn)疾病預警具有重要意義[5]。

目前豬只行為識別主要依靠飼養(yǎng)員的直覺和經(jīng)驗。這種方法耗費大量人力與時間，無法在現(xiàn)代規(guī)?；i場中實際應用。隨著傳感器技術的迅速發(fā)展，專家學者利用加速度傳感器開展了豬只行為識別研究。劉龍申等[6]利用加速度傳感器檢測母豬躺臥、站立、采食等行為，正確率為87.93%；閆麗等[7]利用MPU6050傳感器檢測哺乳期母豬姿態(tài)，左側姿、右側姿和立姿正確識別率分別為65.8%、90.1%和75.4%；郝福明[8]基于微慣性傳感器監(jiān)測了豬只站立、坐立、趴臥和側臥姿態(tài)，并結合四類姿態(tài)的持續(xù)時間，判斷豬只是否存在異常行為。然而，這類穿戴式傳感器存在易脫落、導致豬只受傷和應激反應等問題[9]。同時，專家學者也開展了基于圖像識別技術的豬只行為識別方法研究[10]。傳統(tǒng)的圖像識別技術主要基于機器視覺的方式，如謝徵[11]提取豬只二值姿態(tài)圖像圓形度、高寬比和伸長度等11種有效幾何參數(shù)特征后輸入多分類支持向量機，以識別豬只躺臥、側面抬頭站立、側面低頭站立、側面平視站立以及正面站立5種姿態(tài)，平均分類準確度在90%以上；劉冬等[12]提出一種自適應學習率-高斯混合模型方法提取動物活動指數(shù)，構建活動指數(shù)最大值、平均值、方差和標準差特征向量后，采用支持向量機分類器判斷群養(yǎng)豬攻擊行為，正確率為97.6%。然而傳統(tǒng)的機器視覺方式檢測速度較慢，且檢測結果易受環(huán)境影響。

近年來，深度學習快速發(fā)展，因具有從海量信息中自動提取高維特征的優(yōu)勢，達到了遠超傳統(tǒng)機器學習的精確度[13]，被廣泛應用于聲音分類[14]、行為分類[15]和姿態(tài)分類[16]等研究。薛月菊等[17]通過改進Faster R-CNN，以深度視頻圖像為數(shù)據(jù)源對哺乳母豬的站立、坐立、俯臥、腹臥和側臥5類姿態(tài)進行識別，平均準確率分別為96.73%、94.62%、86.28%、89.57%和99.04%，識別速度為17幀/s；高云等[18]提出基于深度學習的3DConvNet網(wǎng)絡識別群養(yǎng)豬侵略性行為，識別準確度為95.70%，識別速度為20幀/s；Zhang等[19]基于SSD和MobileNet構建SBDA-DL網(wǎng)絡模型，識別豬只飲水、排尿和攀爬行為，識別準確度分別為96.5%、91.4%和92.3%，識別速度為7幀/s。YOLO系列算法是2016年興起的智能目標檢測算法，具有檢測精度較高，檢測速度較快等優(yōu)點[20]，在豬只姿態(tài)和行為檢測中取得了良好效果。Sivamani等[21]基于YOLOv3對豬只坐姿、站姿和臥姿進行檢測，識別準確度分別為99%、98%和92%。Kim等[22]基于YOLOv3、YOLOv4和改進YOLOv4對豬只飲食飲水行為進行檢測，識別準確度分別為91.26%、91.69%和91.49%。上述主要是分別針對豬只正常行為（飲食、飲水等）和異常行為（打斗等）的研究，識別結果易受不同光線和豬只粘連等因素的干擾，且未結合兩類行為特征開展同時識別研究。

針對上述問題，本研究構建一種基于改進幀間差分-深度學習的算法模型，選取典型深度學習模型進行姿態(tài)檢測研究，確定最優(yōu)姿態(tài)檢測模型；針對傳統(tǒng)幀間差分法局限，進行4方面改進，并用于豬只活動像素特征提??；引入打斗活動比例（Proportion of Fighting Activities, PFA）和打斗行為比例（Proportion of Fighting Behavior, PFB）2個指標優(yōu)化豬只打斗行為識別模型，并對模型進行評價，確立最優(yōu)行為模型。

1 材料與方法

1.1 豬只典型行為定義

群養(yǎng)豬行為是評估豬群對環(huán)境適應性的重要指標，群養(yǎng)豬只在正常的環(huán)境和生理狀態(tài)下，通常表現(xiàn)為飲食、躺臥和站立等正常行為，當豬只的生存環(huán)境或生理狀態(tài)發(fā)生變化時，豬只通常會通過調節(jié)行為來緩解外界環(huán)境對心理和生理上的壓力，從而表現(xiàn)出打斗等異常行為[18,23]。故本文選取群養(yǎng)豬只飲食、打斗、躺臥和站立4類典型行為進行研究，各行為定義見表1，豬只典型行為圖像如圖1所示。

表1 豬只4類典型行為定義

圖1 豬只典型行為圖像

1.2 數(shù)據(jù)采集

本研究數(shù)據(jù)采集于河北省秦皇島明霞養(yǎng)殖場，時間為2021年9月1日到12月1日?；趦蓚€?？低暎ㄐ吞枺?Q140MY-T）夜視室外攝像頭分別采集兩欄群養(yǎng)長白豬只活動視頻圖像，每欄9只共計18只豬。豬只日齡范圍50～115 d，質量范圍20～110 kg。為抓取豐富的姿態(tài)特征，試驗將攝像頭安裝在豬舍側壁上方，可有效捕捉豬只全身各部位信息。視頻采集圖像分辨率設置為1 280×720像素，幀率設置為30幀/s。

1.3 數(shù)據(jù)預處理

1.3.1 視頻幀圖像獲取

本研究自編寫python腳本對采集視頻進行視頻幀抽取，每隔30幀抽取一張視頻幀圖像，刪除視頻幀圖像中相似度過高、模糊和重影的視頻幀圖像，再對所有圖像進行隨機排序，得到1 117張視頻幀圖像數(shù)據(jù)集。

1.3.2 數(shù)據(jù)增強

本研究分別通過椒鹽噪聲添加、隨機旋轉和隨機亮度調節(jié)三類圖像數(shù)據(jù)增強操作提高復雜環(huán)境泛化性、降低不同視角影響和適應不同光線干擾，最終獲得4 468幅群養(yǎng)豬只圖像，示例如圖2。

圖2 圖像增強示例

1.3.3 圖像標注和數(shù)據(jù)集劃分

本研究采用LabelImg圖像標注工具對數(shù)據(jù)集豬只姿態(tài)進行標注，共獲得4 468張圖像和對應標注文件。將圖像數(shù)據(jù)集以7∶2∶1的比例隨機分成訓練集、驗證集和測試集。其中，訓練集大小為3 127張，驗證集大小為894張，測試集大小為447張。訓練集和驗證集用于模型訓練，測試集用于模型驗證。

1.4 豬只典型行為識別算法

觀察發(fā)現(xiàn)，飲食、躺臥和站立行為可通過豬只單幀姿態(tài)圖像直接判別，而打斗行為是一個連續(xù)過程（常伴隨豬只較快、較激烈運動，持續(xù)時間從數(shù)秒到2 min不等）[24]。針對豬只典型行為特點，本研究設計豬只典型行為識別算法，以識別豬只飲食、躺臥、站立和打斗行為，算法識別流程圖如圖3所示，具體步驟如下：

1）典型姿態(tài)檢測。使用深度學習算法檢測豬只飲食、打斗、躺臥和站立四類典型姿態(tài)。其中，飲食、躺臥和站立行為可通過豬只單幀姿態(tài)圖像直接判別。為有效識別打斗行為，需繼續(xù)執(zhí)行如下2）、3）過程。

2）活動像素特征提取。針對傳統(tǒng)幀間差分法局限性，本研究改進幀間差分法對視頻幀序列中鄰近幀作差分運算，有效提取豬只活動像素特征。

3）打斗行為識別。引入2個指標優(yōu)化豬只打斗行為PFA和PFB，設計豬只打斗行為識別算法，判別豬只是否發(fā)生打斗行為。

4）典型行為輸出。通過步驟1）～3），識別豬只的飲食、打斗、躺臥和站立行為。

1.4.1 基于深度學習的豬只典型姿態(tài)檢測

基于深度學習的豬只典型姿態(tài)檢測如圖4所示，本研究選取4類典型主流卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）模型Faster R-CNN、SSD、Retinanet和YOLOv5，和基于Transformer神經(jīng)網(wǎng)絡模型Detection Transformer用于檢測豬只飲食、躺臥、站立和打斗4類典型姿態(tài)。豬只姿態(tài)檢測流程主要分為訓練和檢測過程兩部分：訓練過程是將預處理數(shù)據(jù)集輸入YOLOv5、Faster R-CNN等深度學習模型中，訓練過程中模型不斷調整每層網(wǎng)絡的權重參數(shù)，訓練完成后獲得最佳權重參數(shù)文件，用于評價訓練模型性能或檢測實際輸入的圖像/視頻姿態(tài)；檢測過程是將待檢測圖像/視頻作為輸入，深度學習模型利用上述訓練后保存的權重文件，沿著網(wǎng)絡輸入層到輸出層的順序依次與模型中的參數(shù)進行運算，從而確定預測豬只姿態(tài)位置和置信度等信息。

圖3 豬只典型行為算法識別流程

圖4 豬只典型姿態(tài)檢測和活動像素特征提取流程

上述深度學習模型采用了遷移學習的思想，將模型在ImageNet等大型數(shù)據(jù)集上充分訓練，學習目標檢測所需大量特征后生成的預訓練模型，用于群養(yǎng)豬只姿態(tài)數(shù)據(jù)集的檢測。相比于全新學習（即隨機初始化網(wǎng)絡所有層的權重參數(shù)，利用訓練數(shù)據(jù)集對網(wǎng)絡從頭開始全新訓練），遷移學習能加快網(wǎng)絡收斂，提高訓練速度[25-26]。其中，F(xiàn)aster R-CNN、SSD、Retinanet和Detection Transformer各有一個預訓練模型版本，YOLOv5有YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個版本，對應參數(shù)量分別為7.30×106、2.14×107、4.71×107和8.78×107。為取得豬只姿態(tài)良好檢測速度，本研究選擇參數(shù)量較少、權重文件較小、實時性較好的YOLOv5s模型開展以下試驗。

1.4.2 基于改進幀間差分法的豬只活動像素特征提取

幀間差分法是連續(xù)兩幀圖像進行差分運算，兩幀對應像素點相減，判斷灰度差絕對值，得到差分圖像[27]。傳統(tǒng)幀間差分法示意如圖5 a，如式（1）所示。

式中D()為差分圖像；為圖像像素點橫坐標值；為圖像像素點縱坐標值；f(,)為第幀圖像；f-1(,)為第-1幀圖像。

幀間差分法運行速度較快，能適應不同豬場復雜環(huán)境，有效提取運動豬只活動像素特征。然而，傳統(tǒng)幀間差分法存在一定局限性：1）運動較慢豬只易出現(xiàn)漏檢現(xiàn)象；2）運動豬只的重疊導致檢測到的活動像素有較多細小孔洞；3）豬只運動過程中，同一豬只活動像素不連續(xù)；4）豬場光線變化對豬只活動像素的提取造成一定影響，導致試驗誤差。

為改善傳統(tǒng)幀間差分法出現(xiàn)的問題，本研究做了如下改進：1）針對豬只運動較慢造成漏檢問題，擴大幀差；2）針對運動豬只重疊導致的孔洞問題，引入形態(tài)學中的開操作，對差分后的圖像進行腐蝕處理后再進行膨脹操作，消除細小孔洞，保留豬只劇烈運動活動像素區(qū)域；3）針對同一豬只運動過程導致的像素不連續(xù)問題，引入Sobel邊緣檢測方法處理，能夠較清晰完整的檢測出豬體邊緣；4）針對豬場光線變化影響活動像素提取問題，引入光線變化系數(shù)降低影響，光線變化系數(shù)受圖像明暗程度影響。改進幀間差法如式（2）所示。

圖5 傳統(tǒng)和改進幀間差分法示意

Fig.5 Schematic diagram of traditional and improved frame difference method

1.4.3 豬只打斗行為識別算法

本文提取豬只活動像素特征后，提出如下算法以優(yōu)化打斗行為識別效果，具體步驟如下：

1）打斗姿態(tài)錨框坐標提取。當幀鄰域連續(xù)幀{f|f=f()∈[1，],∈[2，8]}檢測出打斗姿態(tài)時，提取打斗姿態(tài)錨框坐標。

2）PFA計算。PFA計算。將1）中打斗姿態(tài)錨框坐標映射到對應活動像素特征提取幀，遍歷錨框內圖像像素值，計算打斗錨框內的打斗活動指數(shù)比例，計算如式（3）所示。PFA達到所設閾值時，判定該幀為疑似打斗行為幀，本文通過設置不同PFA閾值，逐漸以5%遞增后測試打斗行為識別結果，以確定最佳PFA閾值。

式中PFA為打斗活動比例，%；N為打斗錨框內活動像素總數(shù)；N為打斗錨框內總像素數(shù)。

3）PFB計算。首先，設置初始疑似打斗行為幀數(shù)fight_num=0，某一幀打斗姿態(tài)錨框內活動指數(shù)比例大于所設PFA閾值時，判定該幀發(fā)生了疑似打斗行為，同時fight_num=fight_num+1，直至識別到最后一幀，然后計算其打斗行為比例，如式（4）所示，PFA設置閾值后，通過調整不同PFB閾值，逐漸以10%遞增后測試打斗行為識別結果，以確定最佳PFB閾值。

式中PFB為打斗行為比例，%；fight_num為連續(xù)幀下疑似打斗行為幀數(shù)；sum_num為連續(xù)幀下總幀數(shù)。

4）打斗行為識別。連續(xù)幀內PFB達到所設閾值時，判定該連續(xù)幀存在打斗行為。

1.5 試驗平臺與訓練參數(shù)

本研究計算平臺環(huán)境為CPU型號Intel Core i9-10900X，GPU型號TITAN RTX，操作系統(tǒng)Ubuntu18.04，RAM大小16 GB。采用Python3.7編程語言，torch1.4.0進行網(wǎng)絡搭建、訓練和測試，設置批量大小為8，學習率為0.001，訓練步數(shù)為1000。采用Adam優(yōu)化，動量設為0.9，權重衰減為0.000 5。

1.6 評價指標

為驗證姿態(tài)檢測模型的有效性，本研究主要采用以下6個評價指標：精確率（Precision）、召回率（Recall）、檢測精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）、檢測速度和模型大小[28]。

精確率是衡量預測的準確度，召回率是衡量所有正樣本的檢測情況，計算如下式所示。

式中TP（True Positive）表示被正確劃分到正樣本的數(shù)量，F(xiàn)P（False Positive）表示被錯誤劃分到正樣本的數(shù)量，F(xiàn)N（False Negative）表示被錯誤劃分到負樣本的數(shù)量。檢測精度AP表示精確率-召回率（Precision-Recall）曲線下方面積，平均檢測精度mAP是多姿態(tài)類別AP平均值。交并比（Intersection over Union，IoU）閾值的選取會直接影響TP與FP的值，AP0.5表示IoU閾值為0.50時檢測精度，mAP0.5表示IoU閾值為0.50時平均檢測精度，mAP0.55表示IoU閾值為0.55時平均檢測精度，mAP0.5～0.95表示IoU閾值0.05為步長在0.50與0.95間選取10個平均檢測精度的平均值，計算如下式所示。

式中表示積分變量，是精確率與召回率乘積的積分，為多姿態(tài)類別總數(shù)。檢測速度是每秒內檢測模型可以處理的圖片數(shù)量；模型大小是模型訓練完后保留的權重文件大小。

為評估行為識別算法，本研究主要用以下3個指標：準確率（Accuracy）、精確率和召回率[29]。其中準確率用于反映算法識別正確行為的程度，計算如下式所示。

式中TN（True Negative）代表被正確劃分到負樣本的數(shù)量。

2 結果與分析

2.1 豬只典型姿態(tài)檢測最優(yōu)模型選擇

本研究對Faster R-CNN、SSD、Retinanet、Detection Transformer和YOLOv5進行訓練，模型收斂后對上述五類模型進行測試評估，表2為5種姿態(tài)檢測模型測試結果。由表2可知，CNN系列模型和Transformer系列模型均能識別豬只姿態(tài)。分析測試結果可得到如下結論：YOLOv5模型mAP0.5達到93.80%，mAP0.5～0.95為74.40%，模型大小為14.40 MB，檢測速度為32.00幀/s，與Faster R-CNN、SSD、Retinanet和Detection Transformer檢測算法相比，YOLOv5檢測算法的mAP0.5分別提高了1.10、3.23、4.15和21.20個百分點，mAP0.5～0.95分別提高了12.00、29.50、14.50和15.90個百分點，模型分別小87.31%、85.09%、90.15%和97.10%，檢測速度雖較SSD低，但已滿足豬只典型姿態(tài)實時檢測需求，故本研究選取YOLOv5作為豬只姿態(tài)最佳檢測模型用于接下來的典型行為識別研究。

表2 5種姿態(tài)檢測模型測試結果

注：“mAP0.5”表示交并比（Intersection over Union，IoU）閾值為0.5時的平均精度均值（mean Average Precision，mAP）；“mAP0.5～0.95”表示IoU閾值以0.05為步長在0.5與0.95間選取10個mAP的平均值。

Note: “mAP0.5” indicates the Mean Average Precision (mAP) size when the Intersection over Union (IoU) threshold is 0.5; "mAP0.5～0.95" indicates that the average value of 10 mAP is selected between 0.5 and 0.95 for IoU threshold in steps of 0.05.

本研究基于YOLOv5模型，對飲食、打斗、躺臥、站立等典型姿態(tài)進行模型訓練，結果如表3，可以發(fā)現(xiàn)，飲食和躺臥姿態(tài)檢測效果較好，AP0.5分別為95.10%和97.00%，原因可能是這兩類姿態(tài)特征較為明顯。打斗和站立姿態(tài)AP0.5較低，原因可能如下：1）訓練集中打斗和站立姿態(tài)數(shù)較少；2）打斗姿態(tài)是兩只具有站立姿態(tài)豬只構成的，兩者具有部分相同的特征。

表3 YOLOv5各姿態(tài)檢測結果

結果表明，基于YOLOv5的群養(yǎng)豬只姿態(tài)檢測算法效果較好，具有準確率高、模型小和識別速度快等優(yōu)點，滿足豬場邊緣計算部署要求，能有效應用于豬場群養(yǎng)豬只飲食、打斗、躺臥和站立姿態(tài)檢測。

2.2 豬只活動像素特征提取結果對比

本研究通過試驗分析最終將傳統(tǒng)幀間差分法（幀差為2）擴大幀差至4，最終改進結果如圖6c所示。由圖6可知，改進后幀間差分法有效消除了運動較慢豬只和光照等干擾產(chǎn)生的細小孔洞（圖6圓圈所示），明顯保留了豬只打斗時的劇烈運動活動像素特征（圖6矩形框所示），且檢測結果完整，接近實際運動目標。

注：“○”表示幀間差分法改進前后消除細小孔洞對比，“￡”表示幀間差分法改進前后活動像素特征提取量對比。

2.3 豬只典型行為識別結果與分析

為驗證本研究提出的豬只打斗行為識別方法的準確性，分別選取100段含/不含打斗行為視頻幀（幀速為30幀/s，持續(xù)時間5～60 s）進行測試和評價研究。一般來講，PFA和PFB閾值的選取對豬只打斗行為識別有較大影響：如果PFA和PFB閾值設置過小，易將不包含打斗行為的連續(xù)幀視頻識別為包含打斗行為的連續(xù)幀視頻；如果設置過大，易將包含打斗行為的連續(xù)幀視頻識別為不包含打斗行為的連續(xù)幀視頻。本研究設置不同的PFA和PFB對識別結果進行判斷，識別結果如表4所示。通過對上述200段視頻幀測試發(fā)現(xiàn)：1）豬只打斗時，打斗劇烈程度影響打斗活動比例PFA大小，PFA設置過大（≥20%）則易漏檢打斗行為，因此本研究選取PFA閾值介于0～20%；2）從表4可知，當PFA=10%時，準確率、精確率和召回率的取值較高，識別效果較好，隨著PFA閾值的增大，精確率有所提高，但是召回率較低，當PFB閾值設置過大（≥60%），識別準確率下降明顯，因此，本研究選取PFB閾值介于20%～60%。經(jīng)過對上述批量視頻幀識別建模統(tǒng)計分析發(fā)現(xiàn)，PFA閾值為10%、PFB閾值為40%時，識別豬只打斗行為的效果最佳，準確率、精確率和召回率分別達到94.50%、96.84%和92.00%。

本研究基于改進幀間差分法-深度學習的算法對群養(yǎng)豬只進行試驗，結果示例如圖7所示。可以發(fā)現(xiàn)，圖7a所示8幀姿態(tài)檢測結果圖，通過檢測豬只飲食、躺臥和站立姿態(tài)可以有效識別相應的行為。針對打斗行為，第7、10、13和22幀檢測到豬只打斗姿態(tài)后（圖中箭頭所示），使用幀間差分法得到豬只活動像素特征（圖7b），然后利用本文豬只打斗行為識別算法計算PFA，結果分別為20.72%、28.65%、21.84%和22.95%，均大于本研究設置PFA閾值（10%）；計算PFB為50%，大于本研究設置PFB閾值（40%），可見本文算法可以有效識別圖像幀存在打斗行為。測試過程中還發(fā)現(xiàn)，兩頭不存在打斗行為豬只相互靠近時，由于兩頭豬只姿態(tài)與打斗姿態(tài)相似，導致易檢測為打斗姿態(tài)，從而錯誤識別存在打斗行為，引入PFA閾值后，由于豬只運動較慢，PFA一般較?。?10%）小于本文所設閾值，降低了誤判率，可見PFA的引入增加了本研究打斗行為識別準確率。

表4 不同F(xiàn)PA和FPB閾值組合下的豬只打斗行為結果

注：檢測框上的信息分為姿態(tài)類別和置信度2部分。其中“feed”表示飲食姿態(tài)（檢測框為淺綠色），“fight”表示打斗姿態(tài)（檢測框為淺藍色），“l(fā)ie”表示躺臥姿態(tài)（檢測框為深綠色），“stand”表示站立姿態(tài)（檢測框為深藍色），姿態(tài)類別后面的數(shù)字表示檢測置信度值。

表5給出了本文所提算法模型的豬只行為識別結果及現(xiàn)有識別方法識別結果對比。文獻[30-31]使用基于深度學習的方法，實現(xiàn)對豬只的多姿態(tài)檢測。文獻[32]使用幀間差分法提取豬只移動像素，然后使用SSD模型檢測移動像素，根據(jù)像素位置的特點實現(xiàn)豬只打斗行為的識別。

從表5中可以看出，本研究的豬只單欄頭數(shù)相比較多，提高了本研究的識別難度。對比文獻[30]和[31]，本研究姿態(tài)準確率更高，姿態(tài)檢測速度更快，在識別豬只多種姿態(tài)基礎上，針對豬只運動特點的不同，設計豬只典型行為識別算法；與文獻[32]相比，本研究打斗行為準確率提高了0.7個百分點，且較比多識別了豬只飲食、站立和躺臥行為。綜上所述，本研究算法能實現(xiàn)豬只多行為識別，且具有準確率高、模型小和識別速度快的優(yōu)勢。

表5 本文方法與現(xiàn)有識別方法結果對比

3 結 論

為有效識別群養(yǎng)豬只的飲食、打斗、躺臥和站立等典型行為，本研究提出了一種基于改進幀間差分-深度學習的群養(yǎng)豬只典型行為識別方法。主要結論如下：

1）豬只典型姿態(tài)檢測方面，基于YOLOv5深度學習檢測算法平均精度均值為93.80%，模型大小為14.40MB，檢測速度為32.00幀/s。與Faster R-CNN、SSD、Retinanet和Detection Transformer檢測算法相比，YOLOv5檢測算法的平均精度均值分別提高了1.10、3.23、4.15和21.20個百分點，且模型大小和檢測速度具有一定優(yōu)勢，有利于豬場邊緣計算部署，可應用于實際群養(yǎng)豬只典型姿態(tài)在線檢測。

2）豬只典型行為識別方面，飲食、躺臥和站立3種行為通過單幀圖像識別，準確率分別達到95.10%、97.00%和91.20%；打斗行為通過豬只典型姿態(tài)檢測、豬只活動像素特征提取和豬只打斗行為識別共同識別，當PFA和PFB閾值分別設置為10%和40%時，群養(yǎng)豬只打斗行為識別效果最佳，準確率為94.50%；此時，四種典型行為識別準確率均值為94.45%，滿足實際群養(yǎng)豬只典型行為識別精度要求，可為群養(yǎng)豬只行為識別提供一定的技術支持。

[1] 何東健，劉冬，趙凱旋. 精準畜牧業(yè)中動物信息智能感知與行為檢測研究進展[J]. 農(nóng)業(yè)機械學報，2016，47(5)：231-244.

He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231-244. (in Chinese with English abstract)

[2] 李丹，陳一飛，李行健，等. 計算機視覺技術在豬行為識別中應用的研究進展[J]. 中國農(nóng)業(yè)科技導報，2019，21(7)：59-69.

Li Dan, Chen Yifei, Li Xingjian, et al. Research advance on computer vision in behavioral analysis of pigs[J]. Journal of Agricultural Science and Technology, 2019, 21(7): 59-69. (in Chinese with English abstract)

[3] Chen C, Zhu W, Norton T. Behaviour recognition of pigs and cattle: Journey from computer vision to deep learning[J]. Computers and Electronics in Agriculture, 2021, 187: 106255.

[4] Nilsson M, Herlin A H, Ard? H, et al. Development of automatic surveillance of animal behaviour and welfare using image analysis and machine learned segmentation technique[J]. Animal, 2015, 9(11): 1859-1865.

[5] 汪開英，趙曉洋，何勇.畜禽行為及生理信息的無損監(jiān)測技術研究進展[J]. 農(nóng)業(yè)工程學報，2017，33(20)：197-209.

Wang Kaiying, Zhao Xiaoyang, He Yong. Review on noninvasive monitoring technology of poultry behavior and physiological information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 197-209. (in Chinese with English abstract)

[6] 劉龍申，沈明霞，姚文，等. 基于加速度傳感器的母豬產(chǎn)前行為特征采集與分析[J]. 農(nóng)業(yè)機械學報，2013，44(3)：192-196.

Liu Longshen, Shen Mingxia, Yao Wen, et al. Acquisition and analysis of sows’ behavior before farrowing based on acceleration sensor[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(3): 192-196. (in Chinese with English abstract)

[7] 閆麗，沈明霞，姚文，等. 基于MPU6050傳感器的哺乳期母豬姿態(tài)識別方法[J]. 農(nóng)業(yè)機械學報，2015，46(5)：279-285.

Yan Li, Shen Mingxia, Yao Wen, et al. Recognition method of lactating sows’ posture based on sensor MPU6050[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(5): 279-285. (in Chinese with English abstract)

[8] 郝福明. 基于微慣性傳感器的生豬異常行為監(jiān)測[D]. 太原：太原理工大學，2018.

Hao Fuming. Abnormal Behavior Monitoring of Pigs Based on Micro Inertial Sensor[D]. Taiyuan: Taiyuan University of Technology, 2018. (in Chinese with English abstract)

[9] 張飛宇，王美麗，王正超. 引入Transformer和尺度融合的動物骨骼關鍵點檢測模型構建[J]. 農(nóng)業(yè)工程學報，2021，37(23)：179-185.

Zhang Feiyu, Wang Meili, Wang Zhengchao. Construction of the animal skeletons keypoint detection model based on transformer and scale fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 179-185. (in Chinese with English abstract)

[10] 施宏，沈明霞，劉龍申，等. 基于Kinect的哺乳期母豬姿態(tài)識別算法的研究[J]. 南京農(nóng)業(yè)大學學報，2019，42(1)：177-183.

Shi Hong, Shen Mingxia, Liu Longshen, et al. Study on recognition method of lactating sows’ posture based on Kinect[J]. Journal of Nanjing Agricultural University, 2019, 42(1): 177-183. (in Chinese with English abstract)

[11] 謝徵. 基于決策樹支持向量機的豬只姿態(tài)分類與異常行為分析[D]. 太原：太原理工大學，2015.

Xie Wei. Pig Posture Classification and Abnormal Behavior Analysis Based on Decision Tree Support Vector Machine[D]. Taiyuan: Taiyuan University of Technology, 2015. (in Chinese with English abstract)

[12] 劉冬，何東健，陳晨，等. 基于ALR-GMM的群養(yǎng)豬攻擊行為識別算法研究[J]. 農(nóng)業(yè)機械學報，2021，52(1)：201-208.

Liu Dong, He Dongjian, Chen Chen, et al. Recognition of aggressive behaviour in group-housed pigs based on ALR-GMM[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(1): 201-208. (in Chinese with English abstract)

[13] Le Cun, Y, Bengio, Y, Hinton, G, et al. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[14] 蒼巖，羅順元，喬玉龍. 基于深層神經(jīng)網(wǎng)絡的豬聲音分類[J]. 農(nóng)業(yè)工程學報，2020，36(9)：195-204.

Cang Yan, Luo Shunyuan, Qiao Yulong. Classification of pig sounds based on deep neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 195-204. (in Chinese with English abstract)

[15] 康飛龍. 基于機器學習的多目標豬只狀態(tài)與個體行為識別研究[D]. 呼和浩特：內蒙古農(nóng)業(yè)大學，2018.

Kang Feilong. Study on the Machine Learning Based Swine Herd State Monitoring and Individual Behaviour Recognition[D]. Huhhot: Inner Mongolia Agricultural University, 2018. (in Chinese with English abstract)

[16] 朱勛沐. 基于計算機視覺的哺乳母豬姿態(tài)識別研究[D]. 廣州：華南農(nóng)業(yè)大學，2019.

Zhu Xunmu. Research on Automatic Recognition of Lactating Sow Postures Based on Computer Vision[D]. Guangzhou: South China Agricultural University, 2019. (in Chinese with English abstract)

[17] 薛月菊，朱勛沐，鄭嬋，等. 基于改進Faster R-CNN識別深度視頻圖像哺乳母豬姿態(tài)[J]. 農(nóng)業(yè)工程學報，2018，34(9)：189-196.

Xue Yueju, Zhu Xunmu, Zheng Chan, et al. Lactating sow postures recognition from depth image of videos based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 189-196. (in Chinese with English abstract)

[18] 高云，陳斌，廖慧敏，等. 群養(yǎng)豬侵略性行為的深度學習識別方法[J]. 農(nóng)業(yè)工程學報，2019，35(23)：192-200.

Gao Yun, Chen Bin, Liao Huimin, et al. Recognition method for aggressive behavior of group pigs based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 192-200. (in Chinese with English abstract)

[19] Zhang Y, Cai J, Xiao D, et al. Real-time sow behavior detection based on deep learning[J]. Computers and Electronics in Agriculture, 2019, 163: 104884.

[20] Hu X, Liu Y, Zhao Z, et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-v4 network[J]. Computers and Electronics in Agriculture, 2021, 185: 106135.

[21] Sivamani S, Choi S H, Lee D H, et al. Automatic posture detection of pigs on real-time using Yolo framework[J]. Int J Res Trends Innov, 2020, 5: 81-88.

[22] Kim M J, Choi Y H, Lee J, et al. A deep learning-based approach for feeding behavior recognition of weanling pigs[J]. Journal of Animal Science and Technology, 2021, 63(6): 1453.

[23] Yang Q, Xiao D, Lin S. Feeding behavior recognition for group-housed pigs with the Faster R-CNN[J]. Computers and Electronics in Agriculture, 2018, 155: 453-460.

[24] McGlone J J. A quantitative ethogram of aggressive and submissive behaviors in recently regrouped pigs[J]. Journal of Animal Science, 1985, 61(3): 556-566.

[25] 樊湘鵬，許燕，周建平，等. 基于遷移學習和改進 CNN 的葡萄葉部病害檢測系統(tǒng)[J]. 農(nóng)業(yè)工程學報，2021，37(6)：151-159.

Fan Xiangpeng, Xu Yan, Zhou Jianping, et al. Detection system for grape leaf diseases based on transfer learning and updated CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 151-159. (in Chinese with English abstract)

[26] 龍滿生，歐陽春娟，劉歡，等. 基于卷積神經(jīng)網(wǎng)絡與遷移學習的油茶病害識圖像識別[J]. 農(nóng)業(yè)工程學報，2018，34(18)：194-201.

Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194-201. (in Chinese with English abstract)

[27] 高海壯，段先華. 基于幀差法和混合高斯的海上運動目標檢測[J]. 計算機與數(shù)字工程，2019，47(5)：1140-1144.

Gao Haizhuang, Duan Xianhua. A method for detecting maritime moving targets based on three-frame difference method and improved hybrid Gaussian background model[J]. Computer & Digital Engineering, 2019, 47(5): 1140-1144. (in Chinese with English abstract)

[28] 房俊龍，胡宇航，戴百生，等. 采用改進CenterNet模型檢測群養(yǎng)生豬目標[J]. 農(nóng)業(yè)工程學報，2021，37(16)：136-144.

Fang Junlong, Hu Yuhang, Dai Baisheng, et al. Detection of group-housed pigs based on improved CenterNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 136-144. (in Chinese with English abstract)

[29] Chen C, Zhu W, Liu D, et al. Detection of aggressive behaviours in pigs using a RealSence depth sensor[J]. Computers and Electronics in Agriculture, 2019, 166: 105003.

[30] Zhang Y, Cai J, Xiao D, et al. Real-time sow behavior detection based on deep learning[J]. Computers and Electronics in Agriculture, 2019, 163: 104884.

[31] 季照潼，李東明，王娟，等. 基于深度學習YOLO v4的舍養(yǎng)育肥豬行為識別[J]. 黑龍江畜牧獸醫(yī)，2021(14)：39-42.

Ji Zhaotong, Li Dongming, Wang Juan, et al. Behavior recognitionof fattening pigs based on deep learning YOLO v4[J]. Heilongjiang Animal Science and veterinary Medicine, 2021(14): 39-42. (in Chinese with English abstract)

[32] 張?zhí)K楠，田建艷，菅壟，等. 基于幀間差分法-單點多框檢測器的圈養(yǎng)生豬打斗行為識別方法[J]. 江蘇農(nóng)業(yè)學報，2021，37(2)：397-404.

Zhang Sunan, Tian Jianyan, Jian Long, et al. Recognition method of aggressive behaviors among pigs in pigpens based on frame difference (FD)-single shot MultiBox detector (SSD)[J]. Jiangsu Journal of Agricultural Sciences, 2021, 37(2): 397-404. (in Chinese with English abstract)

Typical behavior recognition of herd pigs based on improved frame difference and deep learning

Zeng Fanguo, Zhu Jun, Wang Haifeng, Jia Nan, Zhao Yuliang, Zhao Wenwen, Li Bin※

(1.,,100097,;2.,100097,)

Typical behavior of herd pigs is one of the most important indicators to evaluate the adaptability of pigs to the environment. This study aims to improve the accuracy and efficiency of herd behavior recognition. A novel recognition system was proposed for the typical behavior of herd pigs (such as eating, lying, standing, and fighting) using an improved frame differential-deep learning. The video image data was collected from two pens of group-fed Landrace pigs. A total of 18 Landrace pigs aged 50～115 days were selected with nine pigs per pen. 1117 video frames were collected. Then, a total of 4468 images were obtained after image enhancement as the dataset. Firstly, five models of typical deep learning (including Faster-RNN, SSD, Retinanet, Detection Transformer, and YOLOv5) were selected for posture detection. An optimal model of posture was determined after the comparative analysis. Secondly, a pixel feature extraction was implemented on the pig activity to promote the traditional frame differential approach, such as, the slow motion pigs were easy to miss the detection, and more holes were detected in the pigs. Finally, the Proportion of Fighting Activities (PFA) and Proportion of Fighting Behavior (PFB) were used to optimize the pig fighting behavior in the recognition model. An optimal behavior model was determined during this time. The result showed that the average accuracy of YOLOv5 reached 93.80% for the typical posture detection of group-reared pigs. Among them, the model size was 14.40 MB, and the detection speed was 32.00 f/s, indicating that the detection speed fully met the demand for real-time posture detection. Once the Intersection over Union (IoU) threshold was set as 0.50, the mean average accuracy of YOLOv5 increased by 1.10, 3.23, 4.15, and 21.20 percentage points, respectively, and the model size was reduced by 87.31%, 85.09%, 90.15%, and 97.10%, respectively, compared with the Faster-RNN, SSD, Retinanet, and Detection Transformer models. Meanwhile, the original frame difference was expanded from the frame difference of 2, to 4 after experimental analysis. The improved frame difference was utilized to effectively eliminate the fine holes that were produced by the slow-moving pigs and background interference, such as lighting, as well as the outstandingly retained pixel characteristics of vigorous movement activities, when the pigs were fighting. The better performance of detection was achieved close to the actual movement targets. The pig eating, lying, and standing behaviors were directly discriminated by the single-frame posture images of pigs. Furthermore, 100 video frames containing fighting behavior (frame speed of 30 f/s, duration of 5～60s) and video frames without fighting behavior were selected to verify the accuracy of the pig fighting behavior recognition. The reason was that the pig fighting behavior was a continuous process. The test results showed that the best average value of typical behavior recognition accuracy was 94.45%, when the two optimized indexes of PFA and PFB were set as 10% and 40%, respectively. Therefore, the high accuracy, small model size, and fast recognition can provide technical support and strong reference for the accurate and efficient identification of typical behaviors of herd pigs in group breeding.

deep learning; recognition; herd pigs; posture detection

10.11975/j.issn.1002-6819.2022.15.018

TP391.41

A

1002-6819(2022)-15-0170-09

曾繁國，朱君，王海峰，等. 改進幀間差分-深度學習識別群養(yǎng)豬只典型行為 [J]. 農(nóng)業(yè)工程學報，2022，38(15)：170-178.doi：10.11975/j.issn.1002-6819.2022.15.018 http://www.tcsae.org

Zeng Fanguo, Zhu Jun, Wang Haifeng, et al. Typical behavior recognition of herd pigs based on improved frame difference and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(15): 170-178. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.15.018 http://www.tcsae.org

2022-04-17

2022-07-22

國家科技創(chuàng)新2030-“新一代人工智能”重大項目課題（2021ZD0113804）；北京農(nóng)業(yè)智能裝備技術研究中心開放課題（KFZN2020W011）；北京市農(nóng)林科學院改革與發(fā)展項目

曾繁國，研究方向為基于計算機視覺畜禽表型。Email：zengfg9896@163.com

李斌，博士，研究員，研究方向為畜牧智能化裝備應用技術。Email：lib@nercita.org.cn