深度學(xué)習(xí)在畜禽典型行為識(shí)別中的研究進(jìn)展

關(guān)鍵詞：畜禽；深度學(xué)習(xí)；行為識(shí)別

近年來(lái)，我國(guó)畜禽業(yè)持續(xù)發(fā)展，為人民生活提供豐富的肉蛋奶制品。據(jù)國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)，2022年，全國(guó)生豬、牛只、羊只和蛋雞存欄分別約為4.52億頭、1.021萬(wàn)頭、3.26億頭和11.84億只[1]，我國(guó)已成為世界第一畜產(chǎn)大國(guó)。畜禽典型行為主要分為采食飲水、運(yùn)動(dòng)（躺臥、站立、行走等）和社交（性、攻擊、哺乳等）等[2]。畜禽行為直接反映其健康狀況、福利和生產(chǎn)水平，從而影響畜禽產(chǎn)量與經(jīng)濟(jì)效益[3]。因此，通過(guò)識(shí)別畜禽行為可提前發(fā)現(xiàn)威脅畜禽健康的因素，提高精準(zhǔn)養(yǎng)殖管理水平，為動(dòng)物福利提供有力保障。

隨著現(xiàn)代畜牧業(yè)規(guī)?；厔?shì)加速，通過(guò)傳統(tǒng)人工觀察方式識(shí)別和記錄畜禽行為，難以滿足大規(guī)模連續(xù)監(jiān)測(cè)需求。當(dāng)前，農(nóng)業(yè)傳感器種類多樣、技術(shù)逐步成熟，通過(guò)圖像傳感器處理采集的圖像或視頻獲得相應(yīng)場(chǎng)景的信息數(shù)據(jù)，在深度學(xué)習(xí)系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，識(shí)別畜禽行為已成為當(dāng)前研究熱點(diǎn)。目前，基于機(jī)器視覺、人工智能的畜禽行為識(shí)別方法[3-8]已經(jīng)進(jìn)行了廣泛研究。由于難以對(duì)提取的特征數(shù)據(jù)進(jìn)行透徹解析，導(dǎo)致構(gòu)建的畜禽行為識(shí)別模型準(zhǔn)確度不高，制約了實(shí)際應(yīng)用，缺乏對(duì)上述制約因素的系統(tǒng)性研究與分析。

本文系統(tǒng)介紹了深度學(xué)習(xí)發(fā)展歷程，分析了當(dāng)前幾種重要的神經(jīng)網(wǎng)絡(luò)模型，闡述了深度學(xué)習(xí)技術(shù)的特點(diǎn)及其在畜禽行為識(shí)別領(lǐng)域的研究進(jìn)展，歸納了深度學(xué)習(xí)技術(shù)的研究趨勢(shì)，旨在推動(dòng)深度學(xué)習(xí)技術(shù)在畜禽精準(zhǔn)養(yǎng)殖產(chǎn)業(yè)全面感知、透徹解析、精準(zhǔn)建模及決策服務(wù)能力，為畜禽產(chǎn)業(yè)數(shù)字化、信息化、智能化水平提供支撐。

1 深度學(xué)習(xí)技術(shù)的發(fā)展歷程

深度學(xué)習(xí)技術(shù)的發(fā)展可以劃分為3個(gè)階段[9-11]：第一階段是從1940年到1960年，人們通過(guò)模擬人腦工作模式建立了線性神經(jīng)網(wǎng)絡(luò)，盡管其在模擬非線性關(guān)系方面存在一定的限制；第二階段是1980年到1990年，強(qiáng)調(diào)多個(gè)簡(jiǎn)單計(jì)算單元互聯(lián)進(jìn)行復(fù)雜計(jì)算；第三階段是2006年至今，隨著軟硬件性能的提高，深度學(xué)習(xí)逐漸應(yīng)用于各個(gè)領(lǐng)域。

深度學(xué)習(xí)模型的優(yōu)勢(shì)在于能自動(dòng)學(xué)習(xí)和提取數(shù)據(jù)特征[1213]，從而高效地處理和分析畜禽圖像和數(shù)據(jù)。目前，畜禽領(lǐng)域深度學(xué)習(xí)模型廣泛應(yīng)用于疾病診斷、行為監(jiān)測(cè)、品種識(shí)別和性別及年齡鑒定等方面[14-16]。畜禽數(shù)據(jù)集包含圖像數(shù)據(jù)和視頻數(shù)據(jù)2種，用來(lái)獲取畜禽圖像中的視覺特征的神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneural networks，CNN）[1718]、生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）[19]、基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（reginal-convolutional neuralnetworks，R-CNN）[20]和YOLO系列[2122]等。畜禽視頻數(shù)據(jù)中通常包含了大量的時(shí)間序列，故常用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）[23]、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）[24]及其衍生算法[25]提取數(shù)據(jù)中的時(shí)序信息，也可將二者相結(jié)合獲取時(shí)空序列信息，以便準(zhǔn)確、高效地應(yīng)用于畜禽領(lǐng)域中。經(jīng)過(guò)多個(gè)階段的發(fā)展，深度學(xué)習(xí)技術(shù)的發(fā)展將為畜禽養(yǎng)殖和管理提供更好的支持。

2 深度學(xué)習(xí)在畜禽典型行為識(shí)別中的研究進(jìn)展

畜禽典型行為識(shí)別主要依靠傳感器獲取畜禽圖像、聲音和視頻等多模態(tài)數(shù)據(jù)，運(yùn)用深度學(xué)習(xí)進(jìn)行數(shù)據(jù)建模，提取動(dòng)作特征進(jìn)行分析識(shí)別?；谏疃葘W(xué)習(xí)技術(shù)的畜禽行為識(shí)別流程包括數(shù)據(jù)采集、圖像預(yù)處理、目標(biāo)檢測(cè)、特征提取、行為識(shí)別以及結(jié)果可視化（圖1）等。數(shù)據(jù)采集通過(guò)收集反映畜禽行為的2D、3D圖像數(shù)據(jù)；圖像預(yù)處理是對(duì)采集圖像進(jìn)行如增強(qiáng)、水平垂直旋轉(zhuǎn)等操作，以便更好地提取特征；目標(biāo)檢測(cè)使用一階段或二階段目標(biāo)檢測(cè)算法識(shí)別圖像中的畜禽；提取特征則從畜禽圖像中提取如動(dòng)作模式、姿態(tài)、顏色等關(guān)鍵特征；識(shí)別行為利用已訓(xùn)練的模型，將提取的特征與預(yù)先定義的行為模式進(jìn)行比對(duì)與匹配，從而識(shí)別出畜禽的具體行為；結(jié)果可視化將識(shí)別結(jié)果以圖、表等形式直觀展示，幫助農(nóng)場(chǎng)管理者了解畜禽的行為狀況。

2.1 牛典型行為識(shí)別

深度學(xué)習(xí)技術(shù)已廣泛用于牛行為識(shí)別研究，基于深度學(xué)習(xí)的牛典型行為識(shí)別模型及其特性見表1，可分為單行為識(shí)別和多行為識(shí)別，其中單行為識(shí)別包括采食飲水行為、社交行為及運(yùn)動(dòng)行為。

在牛采食飲水行為識(shí)別方面，Achour等[26]以17 頭荷斯坦奶牛頭部圖像作為感興趣區(qū)域（region of interest ， ROI），基于CNN的不同分類器來(lái)識(shí)別其采食行為，準(zhǔn)確率為92%，但無(wú)法統(tǒng)計(jì)牛只采食量。針對(duì)此問(wèn)題，Bezen 等[27]基于Fast RCNN模型和低成本RGB-D相機(jī)設(shè)計(jì)了一種用于識(shí)別奶牛采食行為、測(cè)量奶牛個(gè)體采食量的系統(tǒng)，準(zhǔn)確率達(dá)93.65%。不同于以往在控制照明的封閉式畜棚中進(jìn)行的實(shí)驗(yàn)，該研究首次在開放式牛棚條件下測(cè)量奶牛飼料攝入量，平均絕對(duì)誤差（mean absolute error， MAE）和均方誤差（meansquare error， MSE）分別為0.127 kg 和0.034 kg2。該方法不受場(chǎng)地環(huán)境限制，但在更換飼料品種時(shí)需對(duì)系統(tǒng)重新訓(xùn)練，且無(wú)法測(cè)量損失的飼料量。由于牛舍配備固定的采食飲水裝置，因此往往通過(guò)監(jiān)測(cè)牛只是否位于采食飲水區(qū)域來(lái)識(shí)別采食飲水行為，基于深度學(xué)習(xí)的識(shí)別方法減少了穿戴式設(shè)備對(duì)畜禽的健康及日?；顒?dòng)的影響。

在運(yùn)動(dòng)行為方面，Li 等[28]基于骨架信息和HRNET（high-resolution net），在原本3D卷積之后串聯(lián)2D卷積再添加并行2D卷積，以熱圖形式添加對(duì)應(yīng)幀骨架關(guān)鍵點(diǎn)信息識(shí)別奶牛站立、躺臥及行走三種基本運(yùn)動(dòng)行為，準(zhǔn)確率達(dá)91.8%。由此可見，基于畜禽骨架識(shí)別牛只運(yùn)動(dòng)行為的方法是可行的，在實(shí)際生產(chǎn)過(guò)程中需結(jié)合目標(biāo)檢測(cè)算法進(jìn)行應(yīng)用。

在社交行為方面，王少華等[29]分別采用改進(jìn)的高斯混合模型（gaussian mixture model， GMM）和引入DenseBlock結(jié)構(gòu)的改進(jìn)YOLOv3模型[30]識(shí)別牛只交配行為，準(zhǔn)確率超過(guò)99.15%，在YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)中引入DenseBlock結(jié)構(gòu)可以有效解決數(shù)據(jù)集中奶牛多尺寸導(dǎo)致模型準(zhǔn)確率較低的問(wèn)題，提高模型泛化能力。Wang等[31]在原有YOLOv5網(wǎng)絡(luò)模型中加入改進(jìn)的C3GC3注意力模塊，提高模型特征提取能力；注意力模塊采用空洞空間卷積池化金字塔（atrous spatial pyramid pooling， ASSP）進(jìn)行多尺度優(yōu)化，提高奶牛檢測(cè)準(zhǔn)確性，平均檢測(cè)精度為94.30%。采用深度學(xué)習(xí)識(shí)別奶牛交配行為的方法提高了密集場(chǎng)景中奶牛行為檢測(cè)的準(zhǔn)確性和速度，但上述方法模型較大，耗費(fèi)大量計(jì)算資源，難以滿足實(shí)時(shí)性及模型部署等要求。因此，王政等[32]在YOLOv5n模型中融入通道剪枝算法，構(gòu)建輕量化、高精度、魯棒性強(qiáng)的奶牛發(fā)情行為識(shí)別模型，模型mAP為97.9%，與YOLOv5n模型相比，剪枝后模型的檢測(cè)速度提高33.71%。由此可見，基于深度學(xué)習(xí)技術(shù)的奶牛發(fā)情行為識(shí)別方法提高了特征提取效率和行為檢測(cè)速度，模型泛化性能高，滿足實(shí)時(shí)檢測(cè)的需求。但檢測(cè)過(guò)程中存在漏檢和誤檢情況，未來(lái)可考慮采用紅外相機(jī)、利用圖像增強(qiáng)算法預(yù)處理和融合時(shí)空信息等特提高復(fù)雜環(huán)境中識(shí)別的準(zhǔn)確率，滿足實(shí)際養(yǎng)殖場(chǎng)需求。

在多行為識(shí)別方面，F(xiàn)uentes 等[33] 基于YOLOv3在視頻幀中檢測(cè)并識(shí)別奶牛行走、站立、躺臥，采食、睡覺、梳理，攻擊和交配行為，準(zhǔn)確率為78.8%；通過(guò)幀級(jí)檢測(cè)器提取感興趣區(qū)域，利用3D卷積獲取時(shí)間上下文特征，從光流中提取運(yùn)動(dòng)特征并與感興趣區(qū)域關(guān)聯(lián)，根據(jù)RGB與光流融合特征獲得類別置信度得分與邊界框，具體識(shí)別流程如圖2所示；該實(shí)驗(yàn)數(shù)據(jù)集由單只奶牛運(yùn)動(dòng)圖像或視頻組成，對(duì)于多目標(biāo)牛只行為檢測(cè)具有一定局限性。為識(shí)別養(yǎng)殖場(chǎng)中群體奶牛行為，Yin 等[34] 將EfficientNet 模型與特征金字塔網(wǎng)絡(luò)（bidirectional feature pyramid， BiFPN）相結(jié)合開發(fā)一種新的CNN 架構(gòu)——EfficientNet-LSTM 網(wǎng)絡(luò)，識(shí)別奶牛采食、飲水和躺臥、站立，行走等行為，準(zhǔn)確率達(dá)97.87%。但EfficientNet-BIFPN 模型側(cè)重于單頭奶牛的運(yùn)動(dòng)行為的識(shí)別，本研究仍不能識(shí)別多頭奶牛運(yùn)動(dòng)行為。在現(xiàn)有研究中，牛只多行為識(shí)別模型的識(shí)別種類多、準(zhǔn)確率高，但模型層數(shù)較多、計(jì)算速度慢，且暫未開發(fā)出識(shí)別多頭奶牛的多行為模型，后續(xù)應(yīng)開發(fā)具備高通用性、適用于實(shí)際養(yǎng)殖場(chǎng)的模型識(shí)別多種行為，同時(shí)也要注重平衡模型大小，提高模型泛化能力，保證模型實(shí)時(shí)性。

深度學(xué)習(xí)技術(shù)廣泛應(yīng)用于牛行為識(shí)別，其中，單行為主要包括運(yùn)動(dòng)、采食、社交等行為，需關(guān)注模型大小、計(jì)算速度和實(shí)時(shí)性，未來(lái)可采用紅外相機(jī)、圖像增強(qiáng)算法和融合時(shí)空信息體高識(shí)別準(zhǔn)確率。

2.2 豬典型行為識(shí)別

基于深度學(xué)習(xí)識(shí)別豬典型行為的研究起步較早，行為識(shí)別種類較為全面，識(shí)別準(zhǔn)確率較高，基于深度學(xué)習(xí)的豬典型行為識(shí)別相關(guān)研究見表2，可分為單行為識(shí)別和多行為識(shí)別，單行為包括采食、飲水、社交及運(yùn)動(dòng)行為。

在采食飲水行為方面，Yang 等[35]基于FasterR-CNN 和ZFnet網(wǎng)絡(luò)結(jié)構(gòu)識(shí)別豬只采食行為，準(zhǔn)確率為99.60%，但該方法過(guò)度依賴于實(shí)驗(yàn)中背部標(biāo)記點(diǎn)來(lái)識(shí)別具體豬只采食行為。針對(duì)該問(wèn)題，Chen等[3637]進(jìn)一步提取了豬只采食過(guò)程中的時(shí)空特征，基于CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)來(lái)識(shí)別群養(yǎng)豬的采食與飲水行為，采食行為識(shí)別準(zhǔn)確率為98.40%，飲水行為識(shí)別準(zhǔn)確率為94.10%。楊秋妹等[38]基于GoogLeNet深度學(xué)習(xí)模型在背景較為簡(jiǎn)單的豬圈中精準(zhǔn)識(shí)別豬飲水行為，準(zhǔn)確率為92.11%。上述研究表明，現(xiàn)有大部分研究基于CNN和LSTM模型提取時(shí)空特征，提升模型識(shí)別準(zhǔn)確率與實(shí)用性，但仍存在相似行為識(shí)別錯(cuò)誤的情況（如飲水和玩耍行為[37]），因此下一步應(yīng)研究如何更準(zhǔn)確地識(shí)別生豬采食和飲水行為，減少錯(cuò)檢率，同時(shí)在保證模型精度的情況下，進(jìn)一步減少參數(shù)量和復(fù)雜度，提高模型檢測(cè)速度。

在運(yùn)動(dòng)行為方面，F(xiàn)aster R-CNN 模型具有檢測(cè)多尺度物體高精度的優(yōu)勢(shì)，因此Faster R-CNN及其改進(jìn)模型被用于識(shí)別豬只站立、坐立和側(cè)臥和躺臥等運(yùn)動(dòng)行為，準(zhǔn)確率范圍為93.10%～96.42%[39-43]。相比于2D圖像，深度學(xué)習(xí)模型具有同時(shí)處理時(shí)間和空間信息的能力，深度圖像能夠獲取豬只高度信息，識(shí)別準(zhǔn)確率更高。從實(shí)際應(yīng)用方面考慮，量化了豬1 d內(nèi)各姿勢(shì)所處時(shí)間，可以此確定每頭豬飼喂時(shí)間。

在社交行為方面，Yang等[49]基于全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）分割母豬和仔豬圖像，計(jì)算母豬乳房區(qū)域及提取對(duì)應(yīng)的空間信息，從視頻幀中提取運(yùn)動(dòng)強(qiáng)度和占領(lǐng)指數(shù)以識(shí)別母豬母性哺乳行為，準(zhǔn)確率達(dá)97.60%，但該方法在識(shí)別時(shí)存在30 s延遲，且在哺乳行為發(fā)生前后30～90 s內(nèi)錯(cuò)誤識(shí)別率最高，因此無(wú)法實(shí)時(shí)識(shí)別哺乳行為。攻擊行為影響豬健康與生產(chǎn)[50]，現(xiàn)有豬攻擊行為研究研究大多采用時(shí)空特征進(jìn)行識(shí)別。Chen等[44]基于CNN-LSTM識(shí)別豬攻擊行為，VGG-16提取特征對(duì)檢測(cè)攻擊行為具有更強(qiáng)辨別能力，LSTM 可進(jìn)一步提取時(shí)間信息，準(zhǔn)確率達(dá)97.2%，但隨著批量數(shù)據(jù)的增加，模型會(huì)過(guò)度擬合，需增加數(shù)據(jù)數(shù)量與多樣性。高云等[45]以相同養(yǎng)殖環(huán)境下不同豬、不同視頻段時(shí)長(zhǎng)、不良照明條件等環(huán)境下采集實(shí)驗(yàn)數(shù)據(jù)，基于3DConvNet對(duì)豬的撕咬、撞擊、追逐、踩踏4大類，咬耳、咬尾、咬身、頭撞頭、頭撞身、追逐以及踩踏7類攻擊性行為進(jìn)行識(shí)別，圖像檢測(cè)時(shí)間大幅縮短，準(zhǔn)確率達(dá)97.2%，精度為98.4%。社交行為種類多，一些社交行為仍未能采用深度學(xué)習(xí)技術(shù)進(jìn)行識(shí)別。同時(shí)在制作視頻數(shù)據(jù)集過(guò)程中需人工標(biāo)注大量數(shù)據(jù)，且模型較大，計(jì)算成本高，較難應(yīng)用于實(shí)際生產(chǎn)中，因此，后續(xù)應(yīng)在保證精度的前提下開發(fā)輕量化模型和減少計(jì)算時(shí)間。

在多行為識(shí)別方面，需采用具有較高分類精度與檢測(cè)速度的深度學(xué)習(xí)網(wǎng)絡(luò)模型，Zhang等[46]基于MobileNet分類網(wǎng)絡(luò)和SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)，提出了一種母豬多行為檢測(cè)算法，實(shí)時(shí)識(shí)別母豬檢測(cè)飲水、排尿和交配行為，平均精度分別為96.5%、91.4%和92.3%。但該模型僅提取時(shí)間信息，需在更復(fù)雜場(chǎng)景下檢驗(yàn)。Yang等[47]使用FCN提取了豬頭部區(qū)域以及頭部與飼養(yǎng)區(qū)域重疊部分作為空間特征，識(shí)別群養(yǎng)豬只采食、飲水及哺乳行為，準(zhǔn)確率分別為97.49%、95.36%、90.72%。圖3展示了該研究的豬多行為識(shí)別框架[49]，利用分類網(wǎng)絡(luò)和4個(gè)卷積層生成的特征圖集進(jìn)行分類和檢測(cè)，通過(guò)非極大值抑制算法將檢測(cè)結(jié)果匯集，得到優(yōu)化后的豬行為檢測(cè)框。Li等[48]開發(fā)了一種基于時(shí)空卷積網(wǎng)絡(luò)的豬多行為識(shí)別模型（spatiotemporal convolutionalnetwork for the pig’s multi-behavior recognition，PMB-SCN）識(shí)別豬只采食、躺臥、交配、發(fā)情和攻擊5種行為，準(zhǔn)確率為97.61%。通過(guò)提取畜禽運(yùn)動(dòng)視頻中的時(shí)間與空間特征，可識(shí)別畜禽不同行為，如何提高模型通用性是下一步研究方向。

深度學(xué)習(xí)在豬行為識(shí)別領(lǐng)域取得了進(jìn)展，主要行為包括社交、采食、飲水和運(yùn)動(dòng)行為?；谏疃葘W(xué)習(xí)的方法可處理時(shí)空信息，同時(shí)準(zhǔn)確識(shí)別豬只行為，提高運(yùn)動(dòng)行為的識(shí)別準(zhǔn)確率。通過(guò)圖像分割和空間信息提取技術(shù)可識(shí)別母豬的哺乳行為，也有研究關(guān)注豬只的攻擊行為。多行為識(shí)別方面，深度學(xué)習(xí)網(wǎng)絡(luò)展現(xiàn)了較好的實(shí)時(shí)性。未來(lái)的研究方向包括提高模型通用性及減少計(jì)算用時(shí)。

2.3 羊典型行為識(shí)別

我國(guó)現(xiàn)有大型羊養(yǎng)殖地多為內(nèi)蒙古等地區(qū)的遼闊草原，主要實(shí)行放養(yǎng)管理，環(huán)境較為復(fù)雜，多依據(jù)無(wú)人機(jī)設(shè)備采集視頻數(shù)據(jù)進(jìn)行研究，用于識(shí)別其行為的深度學(xué)習(xí)網(wǎng)絡(luò)模型實(shí)用性要求較高。小型羊只養(yǎng)殖場(chǎng)雖多為圈養(yǎng)，但養(yǎng)殖規(guī)模小，研究的樣本數(shù)據(jù)量少，模型魯棒性較低。同時(shí)圈養(yǎng)羊生長(zhǎng)速度快，若采用大模型識(shí)別速度較慢，無(wú)法及時(shí)依據(jù)行為準(zhǔn)確判斷其健康狀況等。因此，關(guān)于羊行為識(shí)別的研究較少，基于深度學(xué)習(xí)的羊典型行為識(shí)別相關(guān)研究見表3，可分為單行為識(shí)別和多行為識(shí)別，其中單行為識(shí)別包括采食飲水行為、社交行為及運(yùn)動(dòng)行為。

在采食飲水行為識(shí)別方面，Wang等[51]基于特征提取技術(shù)處理羊聲學(xué)數(shù)據(jù)集，采用RNN、CNN、DNN對(duì)羊只采食過(guò)程中的咀嚼聲、撕咬聲、反芻聲、咬斷咀嚼聲和噪音5種聲音進(jìn)行分類，準(zhǔn)確率分別為93.17%、92.53%和79.43%。結(jié)果顯示，在分類性能方面，RNN模型和CNN模型均優(yōu)于DNN模型。在羊頸部佩戴麥克風(fēng)，采集聲音數(shù)據(jù)集識(shí)別羊采食行為的方法能夠區(qū)分采食行為并且不干擾牲畜的自然生活，但穿戴式麥克風(fēng)對(duì)羊行為造成不便，易引起應(yīng)激反應(yīng)。后續(xù)應(yīng)考慮非接觸式方式獲取羊只聲音數(shù)據(jù)，選取最優(yōu)聲音分類模型識(shí)別其采食行為。陸明洲等[52]基于增加目標(biāo)框篩選模塊的EfficientDet 網(wǎng)絡(luò)識(shí)別單只湖羊咀嚼行為，識(shí)別準(zhǔn)確率為91.42%。識(shí)別流程如圖4所示，Bi-FPN（feature pyramid networks）模塊針對(duì)視頻幀圖像第3到7層特征進(jìn)行自上而下和自下而上雙向融合，融合后特征分別輸入類別/目標(biāo)框預(yù)測(cè)網(wǎng)絡(luò)以完成目標(biāo)框篩選及行為識(shí)別。不同于通過(guò)羊只頭部是否位于采食區(qū)域識(shí)別的方法，本研究依據(jù)鳴叫與短時(shí)咀嚼行為在上下頜張合狀態(tài)不同持續(xù)時(shí)間判斷咀嚼行為，降低了分類模型復(fù)雜度。在羊群飼養(yǎng)應(yīng)用中，需研究羊嘴狀態(tài)檢測(cè)網(wǎng)絡(luò)輸出多目標(biāo)框的方法，并結(jié)合目標(biāo)檢測(cè)算法，在連續(xù)視頻中檢測(cè)同一羊嘴目標(biāo)，以此實(shí)現(xiàn)羊群采食量的估計(jì)。

在多行為識(shí)別方面，李小迪等[53]基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別羊采食、站立和躺臥等行為，準(zhǔn)確率分別為90.13%，94.16%和91.90%。Jiang等[54]結(jié)合羊只時(shí)空位置特征，基于YOLOv4算法從視頻序列中識(shí)別羊群采食行為、飲水行為、活動(dòng)與非活動(dòng)行為，準(zhǔn)確率分別為97.87%、98.27%、96.86%和96.92%。為豐富實(shí)驗(yàn)數(shù)據(jù)集，提高算法魯棒性，Cheng等[55]將相機(jī)放置不同角度、方位和高度下采集圖像，構(gòu)建不同規(guī)模的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，提出了基于YOLOv5算法自動(dòng)識(shí)別綿羊站立、躺臥、采食和飲水行為的方法，多尺度訓(xùn)練集行為識(shí)別準(zhǔn)確率高于96.00%。目前，識(shí)別羊只行為多采用基于CNN的YOLO系列模型，行為識(shí)別準(zhǔn)確率達(dá)93%以上，但當(dāng)前研究中的模型網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，應(yīng)進(jìn)行進(jìn)一步改進(jìn)和簡(jiǎn)化，提高算法魯棒性以增加模型實(shí)用性。

我國(guó)大型羊養(yǎng)殖地主要位于內(nèi)蒙古等草原地區(qū)，采用放養(yǎng)管理。目前研究多使用無(wú)人機(jī)采集視頻數(shù)據(jù)，對(duì)深度學(xué)習(xí)模型的實(shí)用性要求較高。相比之下，圈養(yǎng)養(yǎng)殖規(guī)模小、樣本數(shù)據(jù)量小、模型魯棒性低。研究發(fā)現(xiàn)，聲學(xué)數(shù)據(jù)可識(shí)別采食飲水行為，EfficientDet網(wǎng)絡(luò)可用于識(shí)別湖羊的咀嚼行為。此外，改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)和YOLOv4算法可識(shí)別羊只的采食、站立、躺臥等行為。當(dāng)前研究中，模型網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，需要進(jìn)行改進(jìn)和簡(jiǎn)化，提高算法的使用性和魯棒性。

2.4 雞典型行為識(shí)別

目前，我國(guó)雞養(yǎng)殖范圍密集、環(huán)境封閉且本身目標(biāo)較小，識(shí)別較為困難，利用深度學(xué)習(xí)識(shí)別雞行為的研究較少，基于深度學(xué)習(xí)的雞典型行為識(shí)別相關(guān)研究見表4，可分為單行為識(shí)別和多行為識(shí)別，其中單行為識(shí)別包括采食飲水、社交及運(yùn)動(dòng)行為。

在雞多行為識(shí)別方面，Cheng等[56]依據(jù)雞骨架狀態(tài)識(shí)別雞只行為。圖5展示了肉雞姿態(tài)估計(jì)流程，首先采用DNN 構(gòu)建肉雞骨骼模型，依據(jù)DeepLabCut 算法跟蹤其骨骼關(guān)鍵點(diǎn)從而判斷肉雞所處的運(yùn)動(dòng)狀態(tài)，再使用樸素貝葉斯法（NaiveBayes model， NBS）對(duì)其運(yùn)動(dòng)行為進(jìn)行分類，站立、跑步、行走、采食、休息和梳羽行為識(shí)別，精度分別為75.11%、62.70%、51.35%、96.23%、93.61% 和92.58%。其中，雞跑步行為識(shí)別精度較低，其原因在于行為分割閾值取值精度不高，只在地面跑步時(shí)會(huì)被誤識(shí)別為行走。李娜等[57]使用FCN提取主干網(wǎng)絡(luò)圖像特征，采用YOLOv4預(yù)測(cè)雞只位置識(shí)別群養(yǎng)雞采食、梳羽、啄羽、打架，站立和趴臥行為，AP 分別為96.67%、82.01%、63.38%、67.14%、90.34%、78.46%。多行為識(shí)別中包含行為種類較多，僅采用圖像識(shí)別準(zhǔn)確率較低，后續(xù)應(yīng)制作視頻數(shù)據(jù)集識(shí)別雞只多行為，同時(shí)提高復(fù)雜環(huán)境下行為識(shí)別準(zhǔn)確率。

3 深度學(xué)習(xí)在畜禽行為識(shí)別中的發(fā)展建議

近年來(lái)，深度學(xué)習(xí)技術(shù)發(fā)展迅速，已開展了較多基于深度學(xué)習(xí)技術(shù)的畜禽典型行為識(shí)別研究，取得了較好的識(shí)別結(jié)果，但仍存在一些問(wèn)題制約其發(fā)展和應(yīng)用，應(yīng)從以下3個(gè)方面加強(qiáng)深入研究。

3.1 提高深度學(xué)習(xí)模型的通用性

目前，基于深度學(xué)習(xí)技術(shù)的畜禽行為研究主要側(cè)重于識(shí)別某一種類或特定生長(zhǎng)階段（如哺乳期[39]、保育期[41]、育肥期[50]等）的典型行為，缺乏通用性。當(dāng)該算法用于研究不同生長(zhǎng)階段同一行為時(shí)，由于畜禽大小和所處空間密度不同會(huì)影響算法識(shí)別準(zhǔn)確性。且現(xiàn)有研究模型多適用于室內(nèi)場(chǎng)景，無(wú)法實(shí)現(xiàn)同一模型同時(shí)滿足不同場(chǎng)景的識(shí)別需求，在實(shí)際應(yīng)用中需結(jié)合養(yǎng)殖場(chǎng)環(huán)境進(jìn)行改進(jìn)。因此，未來(lái)的深度學(xué)習(xí)模型向著多種模態(tài)融合發(fā)展，結(jié)合分布式平臺(tái)的計(jì)算能力，實(shí)現(xiàn)更高精度的場(chǎng)景構(gòu)建，和對(duì)動(dòng)態(tài)場(chǎng)景的處理能力。同時(shí)開發(fā)用于商業(yè)模式的具有通用性和穩(wěn)定性的深度學(xué)習(xí)模型識(shí)別畜禽行為。

3.2 加強(qiáng)復(fù)雜場(chǎng)景數(shù)據(jù)集的多樣性

采集畜禽圖像及視頻數(shù)據(jù)時(shí)，由于場(chǎng)景較為單一，模型訓(xùn)練后易出現(xiàn)過(guò)擬合的情況。在實(shí)際應(yīng)用中，養(yǎng)殖場(chǎng)環(huán)境、光照條件相對(duì)復(fù)雜，畜禽之間相互遮擋，都會(huì)影響識(shí)別準(zhǔn)確率。目前常見的樣本擴(kuò)充方法為圖像增強(qiáng)和遷移等，但與真實(shí)飼養(yǎng)環(huán)境之間存在差異，單純地通過(guò)圖像處理擴(kuò)充數(shù)據(jù)集地方法并不能解決采集環(huán)境單一的問(wèn)題。因此，需要增加訓(xùn)練數(shù)據(jù)的多樣性，添加不同品種、不同生長(zhǎng)階段、不同光照環(huán)境和飼養(yǎng)密度的畜禽行為作為數(shù)據(jù)集，以提高模型的魯棒性和泛化性。

3.3 推動(dòng)畜禽行為數(shù)字化表征的全面性

目前，基于深度學(xué)習(xí)技術(shù)的畜禽行為研究主要集中于典型行為（如采食飲水、打斗和交配行為）以及多種行為分類。依據(jù)畜禽典型行為的持續(xù)時(shí)間可判斷其健康狀況，例如，畜禽進(jìn)食量和進(jìn)食時(shí)間變化與周圍環(huán)境變化與其健康狀況密切相關(guān)；畜禽若長(zhǎng)時(shí)間處于躺臥狀態(tài)，其患有跛足等疾病的風(fēng)險(xiǎn)增加；畜禽社交距離和頻次可反映畜禽親密程度，依據(jù)親密程度劃分畜禽生長(zhǎng)區(qū)域，可提高養(yǎng)殖場(chǎng)育種效率、畜產(chǎn)品以及乳制品產(chǎn)量。因此，在未來(lái)研究中可全面數(shù)字化畜禽行為識(shí)別結(jié)果，有助于提高畜禽生長(zhǎng)、生產(chǎn)性能，預(yù)防相關(guān)疾病。

4 結(jié)語(yǔ)

本文簡(jiǎn)要介紹了深度學(xué)習(xí)的發(fā)展歷程，主要分析了深度學(xué)習(xí)在牛、豬、羊和雞等畜禽典型行為識(shí)別方面的研究進(jìn)展，提出了深度學(xué)習(xí)在畜禽典型行為識(shí)別中的發(fā)展建議。總體來(lái)說(shuō)，國(guó)內(nèi)外學(xué)者已利用深度學(xué)習(xí)技術(shù)開展了行為識(shí)別方面研究，算法識(shí)別準(zhǔn)確率高、處理速度快，但數(shù)據(jù)采集環(huán)境單一，缺少多模態(tài)、通用性模型的開發(fā)。因此，在未來(lái)研究中，應(yīng)提高深度學(xué)習(xí)模型的通用性，增加數(shù)據(jù)集多樣性，全面數(shù)字化行為識(shí)別結(jié)果。另外，應(yīng)結(jié)合養(yǎng)殖場(chǎng)實(shí)際環(huán)境因素，開發(fā)適用于商業(yè)性畜牧業(yè)的深度學(xué)習(xí)模型，實(shí)現(xiàn)畜禽養(yǎng)殖的自動(dòng)化與智能化。