基于3D 卷積視頻分析的豬步態(tài)評分方法

摘要： 【目的】豬肢蹄病是種豬淘汰的重要原因之一，給養(yǎng)殖場帶來巨大的經濟損失。豬蹄疾病判斷通常依賴人工肉眼觀察豬只步態(tài)進行排查，存在效率低、人力成本高等問題。本文旨在實現自動化豬步態(tài)評分，高效判斷豬只肢蹄健康狀況?！痉椒ā勘疚奶岢鲆环N“端到端”的豬步態(tài)評分方法，在單頭種豬經過測定通道時采集視頻，并制作四分制步態(tài)數據集。采用深度學習技術分析視頻，設計了一種基于3D 卷積網絡的時間注意力模塊（Timeattention module，TAM），有效提取視頻幀圖像之間的特征信息。將TAM 與殘差結構結合，構建豬步態(tài)評分模型TA3D，對步態(tài)視頻進行特征提取與步態(tài)分類評分。為進一步提升模型性能并實現自動化處理，本文設計了步態(tài)關注模塊（Gait focus module，GFM），能夠自動從實時視頻流中提取有效信息并合成高質量步態(tài)視頻，在提高模型性能的同時降低計算成本?！窘Y果】試驗結果表明，GFM 可以實時運行，步態(tài)視頻大小可以減少90% 以上，顯著降低存儲成本，TA3D 模型步態(tài)評分準確率達到96.43%。與其他經典的視頻分析模型的對比測試結果表明，TA3D 的準確率和推理速度均達到最佳水平?！窘Y論】本文提出的方案可應用于豬只步態(tài)自動評分，為豬肢蹄病的自動檢測提供參考。

關鍵詞： 圖像處理；深度學習；豬；步態(tài)評分；注意力機制；視頻分析；肢蹄病

中圖分類號： TP391.4；S828 文獻標志碼： A 文章編號： 1001-411X（2024）05-0743-11

豬肢蹄病是由于疾病、營養(yǎng)、管理等因素導致的豬腿部疾病，不同因素導致的發(fā)病可能存在遺傳和傳染的風險[1-4]。根據調查[5]，一般患有肢蹄病的公豬種用年限僅為28.9 個月，遠低于因年齡淘汰的公豬種用時間（50.7 個月），且因肢蹄病被淘汰的公豬比例達到了32.15%，是造成公豬淘汰的主要原因。豬肢蹄病會嚴重影響豬的健康和養(yǎng)殖效益，造成經濟損失，故及時發(fā)現存在發(fā)病風險的豬并且進行干預十分必要。步態(tài)是能夠直觀反映豬肢蹄健康情況的關鍵因素，工作人員主要通過觀察豬的步態(tài)來判斷是否存在肢蹄疾病，這樣評判存在較高的主觀性且工作量較大。因此，開展豬步態(tài)分析研究對豬肢蹄病的早期檢測具有重要意義。

四足牲畜的肢蹄疾病自動檢測是牲畜飼養(yǎng)過程中的一項難題。近年來傳感器技術及人工智能技術的快速發(fā)展給牲畜飼養(yǎng)智能化發(fā)展帶來新的解決方案，其中深度學習技術已經在豬只健康監(jiān)測中得到了廣泛應用[6]。劉波等[7] 使用Kinect 攝像機采集生豬運動深度圖像序列，構建生豬前后肢端點運動模型并且提取步頻特征，對異常步態(tài)檢測具有重要意義。朱家驥等[8] 提出基于星狀骨架模型的豬步態(tài)分析方法，從圖像中提取豬輪廓，由輪廓及質心確定關鍵輪廓點，以此獲得運動規(guī)律，并使用頻譜分析法計算豬前肢步態(tài)頻率。李前等[9] 總結了當前奶牛跛行自動識別的主要研究方法并進行分析比對。Zhao 等[10] 提出了一種分析奶牛行走過程中腿部運動的方法，通過分析奶牛腿的擺動來提取步態(tài)特征，證明對奶牛跛行退化進行量化是可行的?？滴醯萚11] 提出基于熱紅外視頻的奶牛跛行運動特征獲取與檢測的方法，利用弓背曲率對奶牛進行跛行檢測，達到90% 的平均精度。Jiang 等[ 1 2 ] 利用FLYOLOv3 算法構建奶牛背部位置提取模型，提取奶牛背部曲率數據。最后，使用噪聲+雙側長短期記憶模型來預測曲率數據，并匹配奶牛跛行的彎曲特征，從而對奶牛跛行進行分類和檢測。Poursaberi 等[13]提出了一種基于背部姿態(tài)分析的奶牛跛行實時檢測方法，他們使用圖像處理方法獲取奶牛背部輪廓并且自動提取出3 個關鍵點，根據關鍵點計算奶牛背部曲率特征，由此評估奶牛跛行程度。

目前對牲畜異常步態(tài)的自動檢測大部分采用圖像處理技術進行圖像特征提取和分類。這類方法需提前設定特征，采用圖像處理或深度學習方法從圖像中找出對應的特征部位，如背、蹄等，再分析統(tǒng)計特定部位的變化構成行為特征，如弓背、步態(tài)對稱性等，最后使用分類算法如SVM、KNN 等獲得分類結果。而這類方法可能存在2 個方面問題，一是將視頻轉化成多張連續(xù)圖像的集合，專注于單張圖像的特定部位特征提取，可能會忽略非特定部位以及視頻幀圖像之間的特征關系的影響；另一方面這類方法預處理繁瑣，手工標注特征消耗時間，人力成本高。針對以上問題，本文提出一種“端到端”的解決方案，即采用基于深度學習的視頻分析算法，使用3D 卷積神經網絡（3D convolutionalneural network，3D CNN）[14] 直接對步態(tài)視頻自動進行特征提取以及自動分類評分。本文提出一種專注于提取步態(tài)視頻時空特征的注意力模塊，將其與3D CNN 結合，構成基于3D CNN 的豬步態(tài)評分模型T A 3 D （ T i m e - a t t e n t i o n 3 D c o n v o l u t i o n a lnetwork）。為了提高模型準確率與實現方案自動化，本文設計了一個步態(tài)關注模塊（Gait focusmodule，GFM） 用于從視頻流中自動提取有效信息并合成高質量的步態(tài)視頻。

1 試驗方法

在當前規(guī)?；B(yǎng)豬的背景下，養(yǎng)殖場為了及時調整飼養(yǎng)策略，必須定期對每頭生豬進行表型測定以獲取其各項身體數據，這為本試驗創(chuàng)造了良好的前置條件。本文在豬進入測定欄前布置一條測定通道和相關的拍攝設備，視頻采集時盡量在無外力驅趕的前提下讓豬只依次通過通道，采集系統(tǒng)自動捕獲豬只行進視頻并完成步態(tài)評分，若發(fā)現異常，則會及時發(fā)出警告。本文將方案主要分為2 個部分——合成高質量步態(tài)視頻和豬步態(tài)評分，技術路線如圖1 所示。在合成高質量步態(tài)視頻部分中，本文設計GFM 模塊，其作用是將目標的步態(tài)變化從視頻流中自動提取出來合成個體步態(tài)視頻用于評分；在豬步態(tài)評分部分中，本文提出一種基于3D卷積的豬步態(tài)評分模型，用于對步態(tài)視頻進行評分。

1.1 高質量豬步態(tài)視頻合成

從實時視頻流中采集個體步態(tài)視頻，獲取其步態(tài)信息，存在兩大問題：一是由于豬的習性或肢蹄病等原因，它們的行走規(guī)律存在較大的不確定性，經常出現在通道內移動緩慢甚至停止不前的情況，這將導致源步態(tài)視頻存在大量的冗余內容；二是采集到的源步態(tài)視頻中包含大量無效的背景信息。這2 個問題不僅對預測結果的準確性有影響，還會顯著地增加計算成本。為了解決以上問題，本文設計了GFM 模塊，該模塊通過以下3 步來實現高質量步態(tài)視頻自動提取與合成：檢測目標主體、去除冗余目標和保留有效目標。通過這種方法，能夠有效提高步態(tài)視頻的質量和系統(tǒng)實用性。

1.1.1 檢測目標主體

為保證試驗方法客觀性與便捷性，首先要自動識別出待檢測目標主體，確定幀圖像中目標的位置、大小信息。本方案選擇的目標檢測器為YOLOv8，其改進于YOLOv5，是目前YOLO 算法系列最新成果，具備高實時性與高準確率等特點。為了滿足不同場景的需求，YOLOv8提供了多種體量的模型，考慮到本文的試驗對象特征明顯、易于檢測，因此選擇體量最小的模型YOLOv8n作為目標檢測器。

YOLOv8 由骨干網絡（Backbone）、頸部網絡（Neck） 和頭部網絡（Head）3 個部分組成。其中Head 作用是根據Neck 提供的特征信息來預測目標邊界框和類別概率。為了檢測出不同大小的目標，Head 被設計成擁有3 種尺度的檢測頭，用于檢測大、中、小3 種尺度的目標。由于本文試驗對象都屬于大目標且不存遮擋現象，因此對YOLOv8n 網絡的Head 進行改進，使其僅保留大目標檢測頭，在保證檢測精度的前提下，盡可能減少計算量，其網絡結構如圖2 所示。

1.1.2 去除冗余目標

無外力驅趕時，豬經過通道的速度與其肢蹄狀態(tài)并不存在強關聯關系。例如跛腳豬雖行動緩慢，但健康豬因低頭覓食的習性導致行動緩慢的情況也很常見，這使得視頻中存在高度重復的冗余幀圖像。由于輸入網絡幀數是固定的，冗余的幀圖像不僅會降低視頻有效信息密度，還會增加存儲和計算成本。因此，本文采用相鄰幀目標檢測框的交并比（Intersection over union，IoU） 計算前后兩幀內目標的重合度，以此判斷幀圖像是否冗余。經過反復試驗對比，閾值為0.96 時的效果最好。當前后兩幀目標檢測框的IoU 大于0.96 時，后幀被判定為冗余幀圖像，作丟棄處理，隨后順位計算下一幀，重新計算兩幀的目標檢測框的IoU，以此類推，直至完成整個視頻的檢測。

1.1.3 保留有效目標

對視頻進行逐幀檢測時，包含目標的每一幀都會得到目標位置和大小信息。顯然，每一幀獲得的結果無論位置和大小都會不斷變化，并且目標在進入畫面和退出畫面時只出現頭部或臀部，這些都屬于不包含步態(tài)信息的無效幀。若簡單地將檢測框統(tǒng)一大小后進行拼接將不僅會導致視頻幀的劇烈抖動，而且還會因包含大量無效信息而影響結果和增加計算成本。因此需要給視頻輸入端添加一個有效區(qū)域，盡量降低由于目標大小變化造成的影響。本文將有效區(qū)域設為畫面中間的三分之一，當目標與有效區(qū)域接觸時才算是有效目標。判定有效目標的示意圖如圖3 所示。當某幀圖像被認定為非冗余且有效時，對其目標檢測框進行裁切，以長邊為長度裁切正方形范圍，若超出圖像范圍則使用邊緣像素補齊。然后將獲得的圖像調整為224 像素×224 像素保存。最終，將所有圖像順序合并成高質量豬步態(tài)視頻。GFM 合成高質量步態(tài)視頻的示例圖如圖4 所示。根據圖4可見，經過GFM 處理后，目標主體信息被完整保留，而大部分背景信息被去除。在示例圖中，源視頻序列共有7 幀，首尾兩幀由于被判定為無效目標而被刪除，第4 幀因為與第3 幀重合度過高而被認為是冗余目標被刪除。

1.2 豬步態(tài)評分網絡模型設計

1.2.1 時間注意力模塊設計

眾多基于3D 卷積網絡的研究[15-16] 表明，3D 卷積不僅能夠有效提取到圖像空間維度上的特征，也能提取到圖像序列之間時間維度上的特征，是一種十分適合處理視頻的方法。受卷積塊注意力模塊（Convolutional block attentionmodule，CBAM）[ 1 7 ] 的啟發(fā)，本文提出一種基于3D 卷積網絡的時間注意力模塊（Time attentionmodule， TAM）。CBAM 專注于提取圖像的通道特征和空間特征，而視頻是由多幀圖像組成，因此本文設計了一種TAM，使網絡關注到視頻幀之間的特征關系，更有利于網絡理解視頻。TAM 采取“壓縮?激勵”的模式[18]，“壓縮”即通過全局平均池化層或全局最大池化層將輸入特征圖的空間維度壓縮，得到一個全局描述；“激勵”即將全局描述映射到一個較小的維度，然后再通過一個激勵函數產生注意力權重。TAM 結構如圖5 所示，3D 卷積中特征圖的數據格式通常為C×T×H×W，其中C 表示通道數，T 表示時間維度，H 和W 分別表示高度和寬度。為了加強模塊在時間維度上進行特征提取能力，TAM 首先對輸入特征圖進行臨時的維度變換，將C 與T 進行交換，獲得T×C×H×W 的數據格式，以便于3D 卷積在時間維度T 間融合特征信息。TAM 通過多個1×1×1 卷積操作[19]，在降低模型復雜度的同時，融合時間維度上的特征，提高模型的泛化能力。隨后通過3D 全局平均池化和3D 全局最大池化操作分別獲得特征圖在時間維度上的特征分布和最顯著特征。將兩者結合后使用Relu 函數進行激活，得到輸入特征在時間維度上的權重向量，最后將該權重向量與輸入特征圖進行逐元相乘并還原為C×T×H×W 的格式。TAM 結構能夠精準地提取和加權視頻序列中的關鍵特征，為模型提供了對動態(tài)時序信息的強化處理能力，從而對應用場景中的復雜時空動態(tài)變化具有更強的建模能力。

1.2.2 TA3D 網絡結構整體設計

TA3D 是本文提出的一個基于3D 卷積的端到端的視頻分析網絡模型，用于直接對豬步態(tài)視頻進行特征提取并自動評分。其中，TAM 作為TA3D 的關鍵組件，能夠關注視頻中的時間維度，幫助網絡更好地捕捉和理解動態(tài)時空變化，從而提高網絡對復雜場景下步態(tài)變化的建模能力。為了提高網絡的泛化能力，輸入網絡的幀圖像有50% 的概率被鏡像翻轉，TA3D 網絡的整體結構如圖6 所示。

網絡引入了殘差結構[20]，殘差結構將有效解決梯度消失問題，達到加深網絡和避免網絡丟失特征信息的目的，有效提高網絡的特征表達能力。本文殘差結構TABlock 由TAM 與3D 卷積層組成，將輸入特征與輸出特征進行逐元相加保證特征信息不丟失，最后使用Relu 函數進行激活。網絡最后使用3 個全連接層將提取到的高級特征映射到具體的類別上，并且在3 個全連接層中使用Dropout 操作[21]。Dropout 采用正則化技術用于減少深度神經網絡的過擬合現象，它在訓練過程中將隨機丟棄一部分神經元輸出，來降低神經網絡的復雜性和容量，從而提高模型的泛化能力。

網絡使用交叉熵損失函數（Cross entropy lossfunction， LossCE） 計算訓練時預測結果與真實值之間的差異，其計算公式如下：

式中， N表示該批次的樣本量，M表示類別數量，如果樣本i的真實類別等于c則yiic為 1 ，否則yic為0。pic表示樣本i屬于類別c的預測概率。

2 數據與試驗

2.1 數據采集

視頻數據于2022 年12 月至2023 年2 月采集自廣東省清遠溫氏種豬科技有限公司養(yǎng)殖場，試驗視頻數據于2022 年12 月至2023 年2 月采集自廣東省清遠溫氏種豬科技有限公司養(yǎng)殖場，試驗對象為日齡在180 d 左右的杜洛克豬和長白豬。測定通道長約2.0 m，寬約0.6 m，高約0.6 m，攝像機布設于通道側方，高度約0.4 m。采集數據時，讓豬在自然狀態(tài)下通過通道并對其進行錄像，通過時間約為2～9 s。采用的攝像機為通用的光學攝像機，采集幀率為25 幀/s，分辨率為1 920 像素×1 080 像素。本文共采集162 頭豬，每頭豬采集2～3 次，共采集406 段源步態(tài)視頻。

2.2 數據集構建

本文視頻數據由3 位畜牧專家共同評定并給出評分。畜牧專家根據豬行走的整體情況進行評分，評分標準如表1 所示。專家們按照四分制進行評分，對應4 個步態(tài)級別，評分越低表示肢蹄問題越嚴重，數據集的最終構成如表2 所示。將這些視頻按照8∶2 的比例進行切分構建步態(tài)數據集。此外，從這些視頻中隨機抽取了3 082 張圖像，使用Labelimg 工具進行標注，按照8∶2 的比例構建目標檢測數據集。

2.3 試驗平臺及訓練參數

本文試驗均在Ubuntu22.04 系統(tǒng)上完成，處理器為AMD Ryzen Threadripper PRO 3945WX，內存32 G，顯卡型號為NVIDIA GeForce RTX 3090。使用Pytorch 深度學習框架構建所有模型并進行訓練和驗證，所有參與訓練的模型均達到最佳效果，訓練過程完全收斂。

YOLOv8n 網絡模型訓練使用AdamW 優(yōu)化器，Batch-size 為533，共迭代150 回合。TA3D 網絡模型使用SGD 優(yōu)化器，Batch-size 為12，共迭代80 回合。

2.4 評價指標

YOLOv8n 模型需從視頻中檢測出豬只主體，使用精確率（Precision） 和召回率（Recall） 作為評價指標。計算公式如下：

式中，TP表示將正類預測為正類的樣本數目，FP示將負類預測為正類的樣本數目，FN表示將正類預測為負類的樣本數目，本文將預測框與真實框的IoU 大于0.5 的情況認定為正類，其余為負類。

TA3D 網絡模型需對步態(tài)視頻進行分類評分，使用精確率、召回率和準確率（Accuracy） 等作為評價指標，精確率和召回率的計算公式與式（2） 和式（3） 相同，準確率計算公式如下：

式中，TP表示正確預測為該步態(tài)評分的樣本數目，TN表示正確預測為其他步態(tài)評分的樣本數目，FP表示其他步態(tài)評分被錯誤預測為該步態(tài)評分的樣本數目，FN表示該步態(tài)評分被錯誤預測為其他步態(tài)評分的樣本數量?？傊琓P和TN表示預測正確的樣本數目，FN和FP表示預測錯誤的樣本數目。

2.5 試驗結果與分析

2.5.1 豬只檢測試驗結果

為了驗證本文使用改進YOLOv8n 模型的方法，對包含不同檢測頭的YOLOv8n 模型進行測試，在本文數據集上的測試結果如表3 所示。分析表3 可知，3 種模型均在本文的數據集上有著優(yōu)越的性能，精確率和召回率基本一致且都在99% 以上。在保持高精度的情況下，YOLOv8-1h 的浮點運算量分別比YOLOv8n 和YOLOv8n-2h 減少了24.39% 和10.14%，幀率提高了17.3% 和8.5%，檢測幀率遠遠超過視頻幀率（25 幀/s）。由此驗證了本文中僅使用單個大尺度檢測頭的YOLOv8n 模型在有同樣檢測精度的同時有效降低了浮點運算量。

2.5.2 GFM 試驗結果

本文設計GFM 模塊用于從視頻流中自動提取有效信息合成高質量步態(tài)視頻，實現方案的自動化。GFM 通過計算前后幀目標交并比，有效去除冗余目標，并且在保留目標主體等有效信息的同時消除無效背景信息。視頻分辨率從1920 像素×1 080 像素降低為224 像素×224 像素，幀圖像像素數量直接減少97%，最終獲得包含高密度信息的高質量步態(tài)視頻。本文統(tǒng)計了使用GFM 前后視頻時長對比和視頻大小對比，結果如圖7 所示。根據圖中數據可知，在使用GFM 合成高質量步態(tài)視頻后，各級別步態(tài)視頻時長分別縮短了70.40%、52.48%、47.96% 和27.38%，各級別步態(tài)視頻大小分別減少了97.53%、95.01%、91.04% 和94.04%。由此可知，GFM 有效縮短了視頻長度，使視頻時長相對統(tǒng)一并且大幅提高了視頻中有效信息的密度。另外，GFM 使得視頻大小減少90% 以上，極大地減小了內存占用，有效降低了存儲成本。

2.5.3 步態(tài)評分試驗結果

本文隨機選擇了4 個級別共84 段步態(tài)視頻對步態(tài)評分模型TA3D 進行測試，并將預測結果與真實級別進行對比，獲得評分測試結果混淆矩陣如表4 所示。根據表內數據可知，本文方案在84 段測試視頻上的預測正確樣本的數目為81，準確率達到96.43%。進一步分析發(fā)現，預測錯誤的樣本全部為“及格”級別?！凹案瘛奔墑e共計12 個樣本，其中9 個樣本正確預測為2 分步態(tài)，2 個樣本錯誤預測為3 分步態(tài)，1 個樣本錯誤預測為4 分步態(tài)?！凹案瘛奔墑e召回率為75%，其余召回率均達到100%。

為了進一步驗證TA3D 的性能以及GFM 的作用，在相同條件下將其與近年來4 種優(yōu)秀的視頻分析模型[22-25] 進行對比。試驗結果如表5 所示。根據表格數據可知，TA3D 與GFM 結合后在測試集上的準確率達到96.43%，與不使用GFM 的情況相比提高2.38 個百分點。對于基礎模型，TA3D 的準確率與I3D、Slowfast 和TANet 相比分別提高了11.91、 2.29 和1.19 個百分點，與VideoSwin 持平。在加入G F M 后， T A 3 D 的準確率與I 3 D 、Slowfast 和TANet 相比分別提高了4.76、9.53 和3.57 個百分點。這4 種視頻分析模型的實現原理各有不同 ：VideoSwin 基于Swin Transform[26] 架構，I 3 D 、S l o w f a s t 和T A 3 D 基于3 D 卷積網絡，TANet 基于2D 卷積網絡。其中，TANet 與本文的TA3D 在特征提取模塊的設計上呈現相似之處：兩者均采用了“壓縮?激勵”的特征提取方式。同時，兩者在設計思路和對輸入特征圖的處理維度上存在差異。對于兩者的特征提取模塊，TANet 設計的時序自適應模塊（Temporal adaptive module） 憑借其雙分支設計，動態(tài)生成視頻相關的自適應卷積核，同時兼顧時間和空間維度的特征提取能力，能夠有效捕獲視頻中的時空信息。相較之下，本文設計的TAM 對特征圖的時間維度處理更為激進，更適用于處理時長較短、動作較為激烈的時間敏感型視頻，例如本文中的步態(tài)視頻。從結果上看，TA3D與VideoSwin 均為效果最佳的模型，但是在使用GFM 后，TA3D 的推理時間僅為VideoSwin 的60.47%，因此可以認為與GFM 結合后的TA3D 為最佳模型。從表格中可以發(fā)現，GFM 在識別效果上并非對所有不同原理的視頻分析算法有積極作用：對于I3D，GFM 使其準確率提升9.62 個百分點；對于Slowfast，GFM 則起著相反的作用，使其準確率降低了4.77 個百分點。

為了進一步分析模型對不同級別步態(tài)的識別情況，本文繼續(xù)統(tǒng)計了各模型在使用GFM 前后對各級別步態(tài)識別的精確率與召回率，結果分別如表6 和表7 所示。精確率表示測試集中預測各類別正確的比率，分析各模型的精確率對比可知，各模型對于“良好”和“優(yōu)秀”步態(tài)有著較好的識別效果，并且GFM 對于“不及格”步態(tài)有較明顯的積極作用。使用GFM 后，TA3D 對于“不及格”步態(tài)的精確率分別提高了16.67 個百分點，達到了100.00%，說明GFM 有效地提取到了這個級別步態(tài)的特征。召回率表示測試集中各類別被正確檢出的比率，根據各模型的召回率對比可知，“及格”步態(tài)召回率明顯低于其他級別的步態(tài)，這意味著識別錯誤的樣本主要為“及格”級別，這與表4 得到的結論相同。

本文繼續(xù)探究了各個模型運行效率以及GFM對它們運行效率的影響，圖8 展示了各個模型單回合平均訓練時間和單視頻平均推理時間，以及GFM 對他們的影響。根據圖8 可知，使用GFM 后I3D、Slowfast、VideoSwin、TANet 和TA3D 的單回合平均訓練時間分別降低了87.9%、76.8%、69.0%、69.2% 和56.0%，單視頻平均推理時間分別降低了80.2%、79.2%、66.4%、79.0% 和78.0%。由此證明，GFM 在消耗少量算力的情況下，有效地從源步態(tài)視頻中提取到了重要信息，大幅降低了輸入幀圖像的分辨率，以此顯著降低了計算成本。

試驗結果表明，各模型識別錯誤的樣本主要為“及格”步態(tài)，分析出現這種情況的可能原因如下：

1） “及格”步態(tài)與相鄰2 類步態(tài)的區(qū)別特征不明顯?！凹案瘛辈綉B(tài)同時包含了“不及格”步態(tài)和“良好”步態(tài)的部分特征，這對模型的特征提取過程造成了阻礙。處于這個步態(tài)級別的豬是判定的主要矛盾點，在進行人工判定時也常常出現不一致的情況。

2） “及格”步態(tài)數據較少，與其他級別步態(tài)樣本數量比例不均衡。試驗數據采集過程中，我們盡量保證各個級別的樣本均衡采集，而實際中處于“及格”步態(tài)級別的豬只明顯少于其他級別?！凹案瘛辈綉B(tài)級別處于“健康”與“非健康”的中間界限，是一種不穩(wěn)定的級別。處于這個級別的豬只已經存在一定的肢蹄損傷，可能隨時向相鄰的步態(tài)級別轉化，因此處于這個級別的豬只數量明顯少于其他級別。

3 結論

能夠有效地避免經濟損失，而步態(tài)是能夠直觀反映豬只肢蹄情況的關鍵因素。為了解決該問題，本文引入基于深度學習的視頻分析技術對豬只進行步態(tài)評分，所取得的結論如下：

1） 本文設計了一種步態(tài)關注模塊（GFM），該模塊可以自動從視頻流中剝離目標，并且通過刪除無效信息和冗余目標來合成高質量的步態(tài)視頻。在保證識別效果的情況下，有效地降低存儲和計算成本。試驗證明，GFM 在不降低識別效果前提下，將數據存儲成本大幅減少90% 以上，并顯著減少了各模型的訓練時間和推理時間，具有重要的實際應用意義。

2） 本文采用了“壓縮?激勵”的設計思路，構建了一種時間注意力模塊（TAM），并將其與3D 卷積和殘差結構相結合，形成了一種“端到端”的視頻分析模型TA3D 用于豬步態(tài)評分。TA3D 采用線性結構的簡約設計，使其具有較快的推理速度；TAM 在時間維度上提取更深層次的特征，而殘差結構的設計保證了在加深網絡的情況下不丟失特征信息。試驗結果表明，與其他優(yōu)秀的視頻分析模型相比，TA3D 在推理速度和準確率方面均達到了最佳效果。

參考文獻：

[1]黃建平. 種豬肢蹄病的常見原因分析[J]. 豬業(yè)科學， 2020，37（5）： 106-107.

[2]J?RGENSEN B. Influence of floor type and stockingdensity on leg weakness， osteochondrosis and claw disordersin slaughter pigs[J]. Animal Science， 2003， 77（3）：439-449.

[3]劉瑞玲. 豬群肢蹄病發(fā)病癥狀、病因及防治措施[J]. 國外畜牧學（豬與禽）， 2011， 31（1）： 88-90.

[4]王懷中， 張印， 孫海濤. 豬肢蹄病的預防[J]. 養(yǎng)豬， 2010（2）： 39-40.

[5]王超， 魏宏逵， 彭健. 廣西公豬站公豬淘汰原因及在群豬肢蹄病發(fā)病規(guī)律調查研究[C]//中國畜牧獸醫(yī)學會動物營養(yǎng)學分會. 第七屆中國飼料營養(yǎng)學術研討會論文集. 鄭州： 中國農業(yè)大學出版社， 2014： 1.

[6]楊亮， 王輝， 陳睿鵬， 等. 智能養(yǎng)豬工廠的研究進展與展望[J]. 華南農業(yè)大學學報， 2023， 44（1）： 13-23.

[7]劉波， 朱偉興， 楊建軍， 等. 基于深度圖像和生豬骨架端點分析的生豬步頻特征提取[J]. 農業(yè)工程學報， 2014，30（10）： 131-137.

[8]朱家驥， 朱偉興. 基于星狀骨架模型的豬步態(tài)分析[J].江蘇農業(yè)科學， 2015（12）： 453-457.

[9]李前， 初夢苑， 康熙， 等. 基于計算機視覺的奶牛跛行識別技術研究進展[J]. 農業(yè)工程學報， 2022， 38（15）： 159-169.

[10]ZHAO K， BEWLEY J M， HE D， et al. Automatic lamenessdetection in dairy cattle based on leg swing analysiswith an image processing technique[J]. Computers andElectronics in Agriculture， 2018， 148： 226-236.

[11]康熙， 李樹東， 張旭東， 等. 基于熱紅外視頻的奶牛跛行運動特征提取與檢測[J]. 農業(yè)工程學報， 2021， 37（23）：169-178.

[12]JIANG B， SONG H， WANG H， et al. Dairy cow lamenessdetection using a back curvature feature[J]. Computersand Electronics in Agriculture， 2022， 194： 106729.

[13]POURSABERI A， BAHR C， PLUK A， et al. Onlinelameness detection in dairy cattle using Body MovementPattern （BMP）[C]//IEEE. 2011 11th International Conferenceon Intelligent Systems Design and Applications.Cordoba， Spain： IEEE， 2011： 732-736.

[14]TRAN D， BOURDEV L， FERGUS R， et al. Learningspatiotemporal features with 3d convolutional networks[C]//IEEE. Proceedings of the IEEE International Conferenceon Computer Vision （ICCV）. Santiago， Chile： IEEE，2015： 4489-4497.

[15]YANG K， QIAO P， LI D， et al. Exploring temporal preservationnetworks for precise temporal action localization[C]//AAAI. Proceedings of the AAAI Conference onArtificial Intelligence. Palo Alto， California， USA：AAAI， 2018： 7477-7484.

[16]WANG X， GIRSHICK R， GUPTA A， et al. Non-localneural networks[C]//IEEE. Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR）. Salt Lake City， UT， USA： IEEE， 2018： 7794-7803.

[17]WOO S， PARK J， LEE J Y， et al. CBAM： Convolutionalblock attention module[C]//Springer. Proceedings of theEuropean Conference on Computer Vision （ECCV）. Munich，Germany： Springer， 2018： 3-19.

[18]HU J， SHEN L， SUN G. Squeeze-and-excitation networks[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. SaltLake City， UT， USA： IEEE， 2018： 7132-7141.

[19]ZHANG X， ZHOU X， LIN M， et al. Shufflenet： An extremelyefficient convolutional neural network for mobiledevices[C]//IEEE. Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition （CVPR）.Salt Lake City， UT， USA： IEEE， 2018： 6848-6856.

[20]HE K， ZHANG X， REN S， et al. Deep residual learningfor image recognition[C]//IEEE. Proceedings of the IEEEConference on Computer Vision and Pattern Recognition（CVPR）. Las Vegas， NV， USA： IEEE， 2016： 770-778.

[21]SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al.Dropout： A simple way to prevent neural networks fromoverfitting[J]. Journal of Machine Learning Research，2014， 15（1）： 1929-1958.

[22]CARREIRA J， ZISSERMAN A. Quo vadis， action recognition？a new model and the kinetics dataset[C]//IEEE.Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition （CVPR）. Honolulu， HI，USA： IEEE， 2017： 6299-6308.

[23]LIU Z， NING J， CAO Y， et al. Video swin transformer[C]//IEEE/CVF. Proceedings of the IEEE/CVF Conferenceon Computer Vision and Pattern Recognition （CVPR）.New Orleans， LA， USA： IEEE， 2022： 3202-3211.

[24]FEICHTENHOFER C， FAN H， MALIK J， et al. Slowfastnetworks for video recognition[C]//IEEE/CVF. Proceedingsof the IEEE/CVF International Conference onComputer Vision （ICCV）. Seoul， Korea （South）： IEEE，2019： 6202-6211.

[25]LIU Z， WANG L， WU W， et al. TAM： Temporal adaptivemodule for video recognition[C]//IEEE/CVF. Proceedingsof the IEEE/CVF International Conference onComputer Vision （ICCV）. Montreal， QC， Canada： IEEE，2021： 13688-13698.

[26]LIU Z， LIN Y， CAO Y， et al. Swin transformer： Hierarchicalvision transformer using shifted windows[C]//IEEE/CVF. Proceedings of the IEEE/CVF InternationalConference on Computer Vision （ICCV）. Montreal，QC， Canada： IEEE， 2021： 10012-10022.

【責任編輯 莊 延】

基金項目：國家自然科學基金（32172780）