基于雙路徑網(wǎng)絡(luò)的四足動(dòng)物運(yùn)動(dòng)參數(shù)提取方法

田澤薇　張?jiān)苽ァ￡惉?/p>

摘要：為了實(shí)現(xiàn)畜牧業(yè)集約化、規(guī)模化、精準(zhǔn)化管理中及時(shí)分析動(dòng)物的運(yùn)動(dòng)姿態(tài)，針對(duì)不同環(huán)境中動(dòng)物關(guān)節(jié)點(diǎn)識(shí)別準(zhǔn)確率較低的問(wèn)題，提出了一種雙路徑網(wǎng)絡(luò)（Dual path net，Dpnet）特征提取方法。首先，在HRnet（High resolution net）網(wǎng)絡(luò)輸出分支后面添加混合空洞卷積層（Hybrid dilated convolution，HDC）和并行注意力模塊（Parallel attention module，PAM）以識(shí)別關(guān)鍵點(diǎn)坐標(biāo)。然后，利用模型生成的熱力圖與本研究設(shè)定的精確圈進(jìn)一步精準(zhǔn)定位關(guān)鍵點(diǎn)位置，通過(guò)斜率法區(qū)分并匹配動(dòng)物四肢的關(guān)節(jié)點(diǎn)歸屬，從而獲取正確的骨架結(jié)構(gòu)。最后，模型通過(guò)骨架結(jié)構(gòu)提取并分析了不同速度下動(dòng)物的同側(cè)步距、步頻、關(guān)節(jié)角度與步態(tài)占空比4種運(yùn)動(dòng)參數(shù)。試驗(yàn)結(jié)果表明，該方法中模型識(shí)別分類動(dòng)物5類關(guān)鍵點(diǎn)的精確率為91.1%，召回率為91.0%，5類關(guān)鍵點(diǎn)的平均相似度為87.0%，可有效監(jiān)測(cè)農(nóng)場(chǎng)或牧場(chǎng)犬類、牛群、羊群等個(gè)體的健康狀況。

關(guān)鍵詞：四足動(dòng)物;Dpnet;斜率法;骨架結(jié)構(gòu);運(yùn)動(dòng)參數(shù)

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1000-4440（2022）02-0403-11

Extraction of quadruped motion parameters based on dual path network

TIAN Ze-wei ZHANG Yun-wei CHEN Yao

Abstract：In order to achieve more intensive， large-scale and precise management of the animal husbandry， timely analysis of animal movement posture is a key link in animal breeding. Aiming at the problem of low recognition accuracy of animal joint points in different environments， a feature extraction method based on dual path network （Dpnet） was proposed. Firstly， the hybrid dilated convolution （HDC） and the parallel attention module （PAM） were added after the output branches of the high-resolution network （HRnet） to identify the coordinates of key points. Secondly， the heat map generated by the model and the precise circle set in this study were used to further accurately locate the positions of key points， the slope method was used to distinguish and match the joint points of the animal limbs， so as to obtain the correct skeleton structure. Finally， four motion parameters of animals （ipsilateral stride， stride frequency， joint angle and gait duty cycle） were extracted and analyzed by the model at different speeds through the skeleton structure. The experimental results showed that the accuracy rate of the model to identify and classify the key points of the animal was 91.1%， the recall rate was 91.0%， and the average similarity of the five key points was 87.0%， indicating that this method could effectively monitor the health status of dogs， cattle， sheep and other individuals on farms or ranches.

Key words：quadruped;dual path network （Dpnet）;slope method;skeleton structure;motion parameters

江蘇農(nóng)業(yè)學(xué)報(bào)2022年第38卷第2期

田澤薇等：基于雙路徑網(wǎng)絡(luò)的四足動(dòng)物運(yùn)動(dòng)參數(shù)提取方法

在大型農(nóng)場(chǎng)犬類活動(dòng)時(shí)或牧場(chǎng)放牧?xí)r為了能夠及時(shí)發(fā)現(xiàn)動(dòng)物的健康隱患，通常有員工負(fù)責(zé)定期查看動(dòng)物的活動(dòng)情況，但人工觀察具有主觀性且實(shí)時(shí)性不高，并且具有人力消耗過(guò)大和效率較低的缺點(diǎn)，故精確識(shí)別動(dòng)物的步態(tài)狀況對(duì)于農(nóng)場(chǎng)和牧場(chǎng)養(yǎng)殖有重要意義。

在動(dòng)物個(gè)體或行為識(shí)別中大致分為基于模型和基于非模型的2種方法。在基于模型的方法中，Nasirahmadi等[1]和Chen等[2]構(gòu)建橢圓和矩形模型區(qū)分豬的行為，利用模型質(zhì)點(diǎn)之間的距離判斷各種行為。朱家驥等[3]把人體星狀圖模型引入到動(dòng)物上，采用頻譜分析方法計(jì)算求得豬的前肢頻率參數(shù)。在基于非模型的方法中，Ding等[4]定義了一個(gè)包括角度特征和距離特征的219維向量，將規(guī)則學(xué)習(xí)方法與Bagging和隨機(jī)子空間方法一起使用，提高關(guān)節(jié)點(diǎn)識(shí)別準(zhǔn)確率。Jiang等[5]提出了FLYOLOv3網(wǎng)絡(luò)，通過(guò)標(biāo)記母牛的身體部分邊界作為樣本，測(cè)試不同關(guān)鍵部位。Juan等[6]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的系統(tǒng)來(lái)改善總體身體狀況評(píng)分（BCS）的自動(dòng)估計(jì)方法，對(duì)奶牛健康進(jìn)行整體評(píng)價(jià)。王浩等[7]通過(guò)改進(jìn)的Faster-CNN識(shí)別豬圈內(nèi)位置，采用PNPool方法判斷豬所在區(qū)域。

在動(dòng)物步態(tài)分析方面，錢(qián)建軒[8]用微軟Kinect 相機(jī)采集豬只行走的深度圖像，二值化提取豬骨架并對(duì)端點(diǎn)進(jìn)行排序，使用最近鄰分類器識(shí)別豬正常步態(tài)和跛行步態(tài)。張滿囤等[9]對(duì)奶牛視頻序列進(jìn)行前景提取，細(xì)化步態(tài)序列得到奶牛骨架圖，然后對(duì)生成的步態(tài)能量圖提取特征。Song等[10]通過(guò)NBSM模型分割奶牛目標(biāo)區(qū)域，再利用LCCCT 模型擬合頭頸部的直線斜率，用最近鄰分類技術(shù)對(duì)奶牛跛行程度進(jìn)行分類。Gutierrez-Galan等[11]建立了嵌入式前饋神經(jīng)網(wǎng)絡(luò)，通過(guò)無(wú)線網(wǎng)絡(luò)和智能項(xiàng)圈分類馬的三種步態(tài)。Zhao等[12]通過(guò)形狀匹配方法計(jì)算奶牛四肢距離從而分析步態(tài)順序、速度等參數(shù)，使用決策樹(shù)分類器將3種跛行類別用箱型圖表示。在動(dòng)物行為識(shí)別方面，張?zhí)K楠等[13]利用幀差法獲取生豬移動(dòng)像素，再對(duì)一次性多類物體檢測(cè)器（SSD）進(jìn)行改進(jìn)，檢測(cè)劇烈運(yùn)動(dòng)的個(gè)體。Yang等[14]基于光流幀中提取的空間時(shí)間信息對(duì)豬只在不同體型下的飼養(yǎng)行為進(jìn)行識(shí)別。Zheng等[15]建立了檢測(cè)器Faster R-CNN用以識(shí)別母豬哺乳期的母性行為。Wu 等[16]通過(guò)視覺(jué)幾何群網(wǎng)絡(luò)（AGG16）提取特征序列，提出Bi-LSTM分類模型提取語(yǔ)義信息，識(shí)別分類奶牛5種行為。Yang等[17]建立了自動(dòng)識(shí)別母豬行為的框架，并基于光流和時(shí)空視頻技術(shù)獲取時(shí)間和空間信息特征，輸入到分層分類器。Guo等[18]提出顏色和紋理特征的背景提取（BSCTF）方法進(jìn)行奶牛區(qū)域檢測(cè)，再通過(guò)光流特征分析法識(shí)別奶牛坐騎行為。

目前動(dòng)物行為識(shí)別研究較為成熟，但對(duì)于動(dòng)物具體步態(tài)的分析還存在以下問(wèn)題：自然環(huán)境中不同光照、場(chǎng)景變換與拍攝不同角度造成的干擾，以及研究對(duì)象本身四肢皮毛的相似性與多目標(biāo)遮擋帶來(lái)的關(guān)鍵點(diǎn)定位誤差。本研究基于Dpnet網(wǎng)絡(luò)提取四足動(dòng)物的骨架模型，在此基礎(chǔ)上進(jìn)行空間參數(shù)與時(shí)間參數(shù)分析，以實(shí)現(xiàn)步態(tài)特征提取，為無(wú)人養(yǎng)殖場(chǎng)的監(jiān)控提供一種有效方法。

1材料與方法

1.1試驗(yàn)數(shù)據(jù)集

1.1.1試驗(yàn)數(shù)據(jù)采集與預(yù)處理使用Kaggle網(wǎng)站上公共dataset中的animals-6圖片集做遷移學(xué)習(xí)，在其中選取象（elephant）、羊（sheep）、馬（horse）、奶牛（cow）、狗（dog）、貓（cat）共6種四足動(dòng)物的樣本，同時(shí)使用金乾象科技的雙目相機(jī)KS4A418-D拍攝貓、犬類與羊奔跑運(yùn)動(dòng)狀態(tài)的視頻，視頻中圖片分辨率為1 270×720，相機(jī)與所拍攝對(duì)象基本持平且距離5～8 m，拍攝角度在±270°之間。在早上8∶00-12∶00、下午13∶00-18∶00共拍攝10段1 min左右的視頻，為期7 d，包含不同的街道環(huán)境和路面環(huán)境，隨機(jī)截取并組合成2 min視頻樣本，通過(guò)幀分解技術(shù)得到2 920張?jiān)紙D像。為增強(qiáng)試驗(yàn)魯棒性和模型泛化能力，對(duì)原始圖像做空間翻轉(zhuǎn)并在隨機(jī)方向旋轉(zhuǎn)35°、95°與155°，進(jìn)行灰度變換并增加部分方差為0.02的高斯噪聲使視頻樣本圖像擴(kuò)張到4 000幅，以實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)的目的。將上述animals-6樣本與視頻樣本共同組成試驗(yàn)數(shù)據(jù)集，按照訓(xùn)練集、測(cè)試集、驗(yàn)證集3∶1∶1的比例進(jìn)行分配用于后面網(wǎng)絡(luò)模型的測(cè)試與改進(jìn)。數(shù)據(jù)集的組成與分配如表1所示。

1.1.2數(shù)據(jù)集標(biāo)簽制作使用開(kāi)源工具labelme對(duì)數(shù)據(jù)集進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，基于四足動(dòng)物奔跑狀態(tài)時(shí)四肢與脊柱的變化幅度比較大這一特點(diǎn)，本研究共標(biāo)注與該狀態(tài)相關(guān)聯(lián)的14個(gè)點(diǎn)進(jìn)而對(duì)運(yùn)動(dòng)參數(shù)進(jìn)行分析。標(biāo)注的圖像如圖1所示，對(duì)應(yīng)圖2中13個(gè)關(guān)鍵點(diǎn)。標(biāo)注的關(guān)鍵點(diǎn)中Group ID分為3類：數(shù)字0，沒(méi)有被遮擋但不在圖中顯示的點(diǎn);數(shù)字1，在圖中顯示但被遮擋住的點(diǎn);數(shù)字2，在圖中既顯示又沒(méi)有被遮擋的點(diǎn)。對(duì)于第一類情況對(duì)應(yīng)點(diǎn)會(huì)自動(dòng)置為零，對(duì)于后2種情況會(huì)得到標(biāo)注點(diǎn)的坐標(biāo)。關(guān)鍵點(diǎn)按序相連的骨架結(jié)構(gòu)如圖2所示，標(biāo)注完成后關(guān)鍵點(diǎn)的信息保存在.json格式文件中，通過(guò)對(duì)該文件中存取的標(biāo)簽數(shù)據(jù)進(jìn)行處理轉(zhuǎn)換為一行數(shù)組，完成后續(xù)對(duì)標(biāo)注關(guān)鍵點(diǎn)的檢測(cè)。

1.2模型結(jié)構(gòu)

1.2.1HRnet高分辨率基礎(chǔ)網(wǎng)絡(luò)基于提取運(yùn)動(dòng)目標(biāo)特征參數(shù)需要精準(zhǔn)定位關(guān)節(jié)點(diǎn)的特點(diǎn)，選擇自下而上的方法，即先獲得四足動(dòng)物的關(guān)節(jié)點(diǎn)位置再逐次連接形成骨架模型。其中為了解決網(wǎng)絡(luò)層數(shù)加深伴隨下采樣后分辨率大幅降低的缺點(diǎn)，以HRnet[19]作為基礎(chǔ)網(wǎng)絡(luò)，將原始圖片預(yù)處理為256×256統(tǒng)一大小輸入網(wǎng)絡(luò)，該網(wǎng)絡(luò)中包含4個(gè)模塊，每個(gè)模塊的殘差單元從1往上依次增加一個(gè)，其中模塊3和模塊4分別在網(wǎng)絡(luò)中重復(fù)4次和3次，HRnet網(wǎng)絡(luò)各模塊信息如表2所示?？梢钥闯?，高分辨率網(wǎng)絡(luò)的4個(gè)模塊分辨率逐漸降低的同時(shí)通道數(shù)逐漸增多，此網(wǎng)絡(luò)后一支路的輸出融合前一對(duì)應(yīng)支路的輸入與前面所有輸入的特征信息，使得圖像特征分辨率始終維持在高水平上，確保模型獲取較多的深層信息從而提高最終識(shí)別效果。

1.2.2Dpnet雙路徑網(wǎng)絡(luò)基于HRnet網(wǎng)絡(luò)在保持高分辨率的情況下使用常規(guī)卷積核3×3操作提取特征這一設(shè)計(jì)，重復(fù)大量的相同尺寸卷積操作會(huì)減弱圖片像素點(diǎn)之間的空間關(guān)聯(lián)性。針對(duì)HRnet模型獲取的感受野片面并有固定性的情況，在HRnet基礎(chǔ)上進(jìn)行改進(jìn)，考慮到網(wǎng)絡(luò)中各層低分辨率逐次交替融合為最終高分辨率的完整性與連貫性，選擇在HRnet輸出的最后4個(gè)分支后面添加2條路徑，第1條路徑設(shè)置為3層混合空洞卷積，第2條路徑設(shè)置為含有通道和空間2種注意力機(jī)制的模塊。

1.2.2.1混合空洞卷積（HDC）[20]基于第1分支與第2分支通道數(shù)較少且上下文全局信息較多的表現(xiàn)，選擇在前2個(gè)輸出分支后面添加混合空洞卷積（HDC）層，前2分支分辨率較高故含有的淺層特征較多，因此適合改進(jìn)卷積操作來(lái)豐富感受野提取的背景輪廓等信息。在第1條路徑中共由3層卷積操作組成，假設(shè)空洞卷積率（Dilation rate）為d，網(wǎng)絡(luò)中原始卷積核尺寸為k×k，那么空洞卷積核大小n為

由于空洞卷積在擴(kuò)大特征信息感受野的同時(shí)會(huì)出現(xiàn)特征像素讀取失去連續(xù)性的現(xiàn)象，參與卷積運(yùn)算的像素點(diǎn)均為膨脹后卷積核的有效權(quán)重位置，這樣會(huì)引起柵格效應(yīng)，丟失部分有價(jià)值的特征信息從而影響到最終網(wǎng)絡(luò)分類預(yù)測(cè)的準(zhǔn)確性。因此采用不同膨脹系數(shù)的空洞卷積并將3層卷積操作結(jié)合為一條路徑，其中為了最大限度地填充丟失部分的像素點(diǎn)從而確保信息表征的全面性，d的選擇尤為重要，需滿足在當(dāng)前層的空洞卷積率不大于網(wǎng)絡(luò)原始卷積核尺寸，即滿足條件

式（3）中Mi為第i層的最大膨脹系數(shù)，di為第i層的空洞卷積率，Max為取3層中的最大值。令中間層M2≤3，可得到各層的空洞卷積率d1=1，d2=2，d3=5。由此可改進(jìn)前2個(gè)分支中普通常規(guī)卷積層帶來(lái)的特征表征能力較弱與信息全局性較差兩方面。HDC層的結(jié)構(gòu)如圖3所示。

1.2.2.2并行注意力模塊（PAM）在網(wǎng)絡(luò)前兩分支上下文語(yǔ)義信息得到增強(qiáng)的同時(shí)保證感受野的特征提取范圍，從而有利于網(wǎng)絡(luò)全局信息中淺層特征的獲取。同時(shí)在網(wǎng)絡(luò)第3分支與第4分支的輸出后面添加PAM，基于后2分支通道數(shù)較多所攜帶的圖像細(xì)節(jié)信息較全面的特點(diǎn)，設(shè)置通道注意力機(jī)制與空間注意力機(jī)制相融合，從而為不同通道的表征和像素的位置分配相應(yīng)的權(quán)重，使得與分類有關(guān)的像素點(diǎn)信息在網(wǎng)絡(luò)訓(xùn)練中更加突出，PAM的組成圖如圖4所示。

圖4中后2分支的輸出特征經(jīng)過(guò)最大池化、平均池化與中值池化的操作后將得到的特征向量進(jìn)行通道和空間的權(quán)值計(jì)算。先采用1×1的卷積調(diào)整通道數(shù)為256并進(jìn)行數(shù)據(jù)批標(biāo)準(zhǔn)化，在2種注意力機(jī)制組合輸出的特征向量后降低維度，最后通過(guò)sigmoid激活獲取并分配2個(gè)分支0～1的權(quán)重值，生成的通道與空間注意力圖計(jì)算如下：

式中Outchannel為通道注意力圖，Outspatial為空間注意力圖，W為sigmoid激活函數(shù)，MLP為多層感知機(jī)（multilayer perception）用以共享權(quán)值，f為3×3的卷積操作，in表示后兩分支的輸出特征，Outbranch為通道權(quán)重和空間權(quán)重分別與輸出特征對(duì)位相乘再相加得到的最終分支特征。

第1條路徑改進(jìn)了特征表征的固定性，同時(shí)第2條路徑增強(qiáng)了不同特征提取的針對(duì)性。2條路徑經(jīng)過(guò)特征融合將低級(jí)特征彌補(bǔ)上語(yǔ)義信息同時(shí)把高級(jí)特征增添上空間信息，從而提高模型輸出準(zhǔn)確度，Dpnet網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。

1.2.3關(guān)鍵點(diǎn)定位模型最終輸出的熱力圖是基于關(guān)鍵點(diǎn)高斯響應(yīng)峰值的位置決定的，因此每個(gè)關(guān)鍵點(diǎn)置信度的計(jì)算對(duì)該點(diǎn)的坐標(biāo)產(chǎn)生極大的影響。對(duì)標(biāo)注動(dòng)物的14個(gè)關(guān)節(jié)點(diǎn)設(shè)置精確圈來(lái)約束熱力圖中的關(guān)鍵點(diǎn)所在位置，即判斷熱力圖中對(duì)應(yīng)每一類關(guān)鍵點(diǎn)的像素位置是否在精確圈內(nèi)，即滿足條件

式中xi表示熱力圖上第i個(gè)關(guān)鍵點(diǎn)的像素位置坐標(biāo)，xk表示屬于第k類的關(guān)節(jié)點(diǎn)實(shí)際應(yīng)在的位置坐標(biāo)，r設(shè)置精確圈的半徑大小為20像素，若生成熱力圖上的關(guān)節(jié)點(diǎn)與實(shí)際位置坐標(biāo)的距離在r=20以內(nèi)，則第i個(gè)像素符合精確圈范圍。將檢測(cè)出的關(guān)鍵點(diǎn)高斯響應(yīng)最大值與精確圈結(jié)合生成定位準(zhǔn)確度更高的熱力圖，計(jì)算式為

式中j=（1，2，…，n）為生成熱力圖上關(guān)鍵點(diǎn)所在像素位置的序號(hào)，xkj為j像素位置屬于第k類關(guān)節(jié)點(diǎn)的高斯響應(yīng)峰值，G（xkj+xi-xk）為雙線性插值的核，1πr2的相乘系數(shù)為確保以r為半徑的精確圈外label是0。通過(guò)計(jì)算每類關(guān)節(jié)點(diǎn)所在像素位置2個(gè)方向的插值聚合為更精準(zhǔn)的坐標(biāo)，過(guò)程如圖6所示。

1.3四肢區(qū)分與匹配

在一個(gè)運(yùn)動(dòng)周期中，由于四足動(dòng)物四肢的有序交替擺動(dòng)特征，會(huì)產(chǎn)生關(guān)節(jié)坐標(biāo)丟失的現(xiàn)象，即前雙腿、后雙腿、同側(cè)雙腿間有關(guān)節(jié)相互遮擋的現(xiàn)象。模型由此提取出的骨架結(jié)構(gòu)會(huì)形成空間交叉的誤判，從而影響后續(xù)運(yùn)動(dòng)特征參數(shù)的提取。故本研究提出一種斜率法來(lái)解決四肢同側(cè)區(qū)分與異側(cè)匹配的問(wèn)題。

假設(shè)Si1（i=1，2，3，4）表示第i拍步態(tài)時(shí)第1肢踝關(guān)節(jié)與圖像原點(diǎn)之間的斜率，隨著一個(gè)步態(tài)周期的完成，Si1、Si2、Si3、Si4四肢的斜率也完成一次周期變化。以動(dòng)物四肢編號(hào)按左前肢LF（left forelimb） -右前肢RF（right forelimb） -左后肢LH（left hindlimb） -右后肢RH（right hindlimb）的順序?yàn)榍疤岱治?，?duì)應(yīng)的四肢為L(zhǎng)i1、Li2、Li3、Li4。具體分析包括以下步驟：

Step1： when dmin（Li1，Li3） && dmin（Li1，Li4）

if|Si1-Si3|<|Si1-Si4|， then Li1 and Li3 are on the same side

else， Li1 and Li3 are on the same side

Step2： if|Si1-Si2|→0， then Li1=LF and Li2=RF， Li3=LH and Li4=RH

else， Li1=LF， and Li4=RF， Li3=LH and Li2=RH

if|Si3-Si4|→0， then Li3=LH and Li4=RH， Li1=LF and Li2=RF

else， Li3=LH， and Li2=RH， Li1=LF and Li4=RF

其中step1是判斷四肢中的兩肢是否同側(cè)匹配，step2則在step1基礎(chǔ)上區(qū)分同側(cè)兩肢的前后關(guān)系，完成四肢的歸屬。通過(guò)分析四肢踝關(guān)節(jié)-原點(diǎn)的斜率變化對(duì)缺失的關(guān)節(jié)坐標(biāo)分配到相應(yīng)四肢，可以正確區(qū)分同異側(cè)肢并匹配四肢關(guān)節(jié)點(diǎn)，得到的關(guān)鍵點(diǎn)匹配效果如圖7所示。

2結(jié)果與分析

使用Windows 10操作系統(tǒng)進(jìn)行試驗(yàn)的配置與優(yōu)化，試驗(yàn)硬件條件為AMD銳龍R5 3700x CPU處理器和NVIDIA RTX2080TI 顯卡。軟件條件為Python3.5，框架為T(mén)ensorflow1.4，編輯器為Pycharm。對(duì)網(wǎng)絡(luò)模型設(shè)置100個(gè)訓(xùn)練周期，batch_size=30，網(wǎng)絡(luò)初始學(xué)習(xí)率為1×10-3，網(wǎng)絡(luò)訓(xùn)練采用Adam優(yōu)化方法。

2.1模型預(yù)測(cè)分類結(jié)果

為進(jìn)一步驗(yàn)證模型分類性能，將設(shè)定網(wǎng)絡(luò)輸出的14個(gè)關(guān)鍵點(diǎn)概括劃分為5大類，分別是嘴、頸、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)，并在測(cè)試集中隨機(jī)選出800張單目標(biāo)、100張多目標(biāo)無(wú)遮擋、100張多目標(biāo)有遮擋的圖片。通過(guò)3個(gè)評(píng)價(jià)指標(biāo)[關(guān)鍵點(diǎn)相似度（OKS）、精確率、召回率]來(lái)分析每類關(guān)鍵點(diǎn)的預(yù)測(cè)值與真值之間的相似度和準(zhǔn)確度，并通過(guò)混淆矩陣可視化模型分類正確與錯(cuò)誤的圖片數(shù)量。其中3個(gè)評(píng)價(jià)指標(biāo)的計(jì)算式為

式（9）中di為模型預(yù)測(cè)點(diǎn)與實(shí)際關(guān)鍵點(diǎn)間的歐氏距離，s為四足動(dòng)物的圖像所占像素面積，σi為關(guān)鍵點(diǎn)預(yù)測(cè)值與真實(shí)值的標(biāo)準(zhǔn)差;δ的作用是保證標(biāo)注了的關(guān)鍵點(diǎn)才能參與計(jì)算，δ=0表示關(guān)鍵點(diǎn)不可見(jiàn)未遮擋，δ=1表示關(guān)鍵點(diǎn)不可見(jiàn)被遮擋，δ=2表示關(guān)鍵點(diǎn)可見(jiàn)未遮擋。式（10）和（11）中TP為實(shí)例中在屬于5種類別的情況下預(yù)測(cè)類別正確的數(shù)量，F(xiàn)P為把不屬于某一類的實(shí)例預(yù)測(cè)為該類的數(shù)量，F(xiàn)N為把屬于某一類的實(shí)例預(yù)測(cè)為其他類的數(shù)量。模型分類預(yù)測(cè)的混淆矩陣如圖8所示。

通過(guò)混淆矩陣對(duì)模型最后softmax歸一化輸出的結(jié)果進(jìn)行統(tǒng)計(jì)與分析，由圖8可看出在矩陣中對(duì)角線上的數(shù)值最大且顏色最深，對(duì)角線上的顏色越深說(shuō)明分類結(jié)果越準(zhǔn)確，體現(xiàn)了模型預(yù)測(cè)的有效性。對(duì)比各類關(guān)鍵點(diǎn)分類的精確率與召回率（表3）可看出對(duì)于圖片中特征明顯度較高的關(guān)節(jié)位置分類精確率較高，如標(biāo)注嘴部和頸部的關(guān)鍵點(diǎn)由于±270°間兩類關(guān)鍵點(diǎn)始終處于較易于觀察的情況，故模型預(yù)測(cè)的效果也比較好;而髖關(guān)節(jié)、膝關(guān)節(jié)這類關(guān)鍵點(diǎn)易受多目標(biāo)的遮擋影響和背景環(huán)境的干擾，故模型識(shí)別準(zhǔn)確度較低。由此得到的骨架圖如圖9所示。

本研究模型最終的參數(shù)總量為28.69 M，參數(shù)利用率為98%。為驗(yàn)證雙路徑網(wǎng)絡(luò)的優(yōu)越性，本研究將只設(shè)置四分支的HDC層或AM注意力模塊與兩大分支加權(quán)融合的方法作對(duì)比，結(jié)果如表4所示。

2.2四足動(dòng)物步態(tài)特征參數(shù)

選取貓、狗、羊分別以20 km/h、30 km/h、40 km/h速度奔跑的運(yùn)動(dòng)視頻進(jìn)行測(cè)試。

2.2.1同側(cè)步距參數(shù)在模型中獲取研究對(duì)象一個(gè)步態(tài)周期內(nèi)4個(gè)角點(diǎn)的坐標(biāo)位置后，通過(guò)定位每一肢踝關(guān)節(jié)離圖像原點(diǎn)距離最遠(yuǎn)和最近時(shí)的2關(guān)節(jié)坐標(biāo)歐氏距離變化，計(jì)算四肢踝關(guān)節(jié)相對(duì)本身邁步距離的平均值，假設(shè)（xLFfi，yLFfi）、（xLFfi+1，yLFfi+1）分別為第fi幀和第fi+1幀圖像中動(dòng)物左前肢踝關(guān)節(jié)坐標(biāo)，則步距計(jì)算式為：

式中hH為圖片像素與實(shí)際距離的轉(zhuǎn)換系數(shù)，將動(dòng)物四肢在一個(gè)周期內(nèi)前進(jìn)的距離求和并取平均值，得到的結(jié)果如表5所示。由表5可知貓?jiān)诒寂苓^(guò)程中的步距小于犬的同側(cè)前進(jìn)距離，由于貓的體型較小且四肢較短，運(yùn)動(dòng)起來(lái)時(shí)步態(tài)輕盈故與犬身體的延展性相比較弱，對(duì)于其他大型四足動(dòng)物如羊等同側(cè)步距參數(shù)較犬類等小中型動(dòng)物要多出1 m左右。

2.2.2步幅頻率參數(shù)四足動(dòng)物的步頻可通過(guò)同側(cè)肢踝關(guān)節(jié)的相對(duì)距離變化來(lái)計(jì)算。本研究選取2對(duì)踝關(guān)節(jié)的標(biāo)注點(diǎn)，分別是4、10與7、13，分析一個(gè)周期內(nèi)動(dòng)物四肢同側(cè)運(yùn)動(dòng)一次的幀數(shù)范圍，得到四足動(dòng)物同側(cè)雙腿距離變化（圖10）。

通過(guò)圖10（a）可看出速度在20 km/h時(shí)貓的運(yùn)動(dòng)步態(tài)接近于對(duì)角小跑的運(yùn)動(dòng)形式，從同側(cè)兩肢距離變化曲線上能看出四肢的交替規(guī)律性，貓同側(cè)步距的相鄰幀數(shù)范圍在9～29和19～40兩段。由圖10（b）可以發(fā)現(xiàn)狗運(yùn)動(dòng)過(guò)程中左側(cè)雙腿跨距先達(dá)到最大，接著變?yōu)樽钚『笥衷龃蟮皆嚯x的2/3處，而右側(cè)雙腿距離先增至最大后縮至最小符合正常奔跑情況，由此可見(jiàn)狗在10～20幀時(shí)可能有上臺(tái)階或遇到坑洼跳躍的情況，狗同側(cè)的兩段步態(tài)周期幀數(shù)分別為7～32和10～28。由圖10（c）可見(jiàn)羊同側(cè)兩肢的距離同步變化且相差較小，與貓和狗的步距相比多了大約300個(gè)像素，由此可見(jiàn)奔跑速度在40 km/h時(shí)動(dòng)物的身體基本延展開(kāi)且前兩肢與后兩肢同步開(kāi)始運(yùn)動(dòng)，羊的同側(cè)兩肢距離周期分別為10～15幀與11～16幀。假設(shè)fi為當(dāng)前踝關(guān)節(jié)距離最小時(shí)對(duì)應(yīng)的幀數(shù)，則fi+8為踝關(guān)節(jié)第2次距離最小時(shí)對(duì)應(yīng)的幀數(shù)，故步頻的計(jì)算式為：

式中fli+8-fli為左側(cè)兩肢擺動(dòng)一個(gè)周期內(nèi)的幀數(shù)間隔，fri+8-fri為右側(cè)兩肢擺動(dòng)一個(gè)周期內(nèi)的幀數(shù)間隔，F(xiàn)為攝像機(jī)幀率（1 s 30幀）。故由前一周期和相鄰后一周期的平均幀數(shù)時(shí)長(zhǎng)與幀率可計(jì)算得到四足動(dòng)物的步頻參數(shù)（表6）。

2.2.3關(guān)節(jié)角度參數(shù)選取標(biāo)注的關(guān)鍵點(diǎn)3即左前肢膝關(guān)節(jié)點(diǎn)，將3種動(dòng)物在連續(xù)運(yùn)動(dòng)周期內(nèi)膝關(guān)節(jié)的變化進(jìn)行對(duì)比分析（圖11）。膝關(guān)節(jié)角度（）計(jì)算式為：

式中，向量CkCh、CkCa分別是膝關(guān)節(jié)指向髖關(guān)節(jié)、踝關(guān)節(jié)的向量。通過(guò)式（14）計(jì)算得到動(dòng)物的關(guān)節(jié)角度變化（圖12）。

由圖12可知在20 km/h時(shí)貓的左前膝關(guān)節(jié)先由100°變?yōu)榫植孔畲?40°，體現(xiàn)向前跨步的過(guò)程，接著在第8幀降為85°以下，此時(shí)為膝關(guān)節(jié)彎曲度最大即后肢向前接地且身體壓縮的過(guò)程，第15幀時(shí)角度增到最大148°左右，該階段是前腿由彎曲到邁進(jìn)即身體拉伸的過(guò)程，到第19幀時(shí)角度變小體現(xiàn)后腳向前躍進(jìn)且前腳恢復(fù)初始狀態(tài)的過(guò)程。在30 km/h和40 km/h的運(yùn)動(dòng)狀態(tài)下動(dòng)物四肢彎曲的程度比較接近，其中羊的最大膝關(guān)節(jié)角度較犬類小約30°且后半周期運(yùn)動(dòng)幀數(shù)比犬類多2幀左右，這是由于在奔跑步態(tài)中羊的體型較大故需彎曲膝關(guān)節(jié)以獲取落地后的減震平衡同時(shí)受羊四肢較長(zhǎng)的影響，而相比于犬類，由于其體態(tài)輕盈故運(yùn)動(dòng)速度恒定時(shí)膝關(guān)節(jié)可以完全展開(kāi)至180°，即前肢完全伸展以給后肢足夠的動(dòng)力邁進(jìn)從而完成奔跑動(dòng)作。以上運(yùn)動(dòng)過(guò)程與實(shí)際觀察效果是一致的，可見(jiàn)本研究算法是可行的。

2.2.4步態(tài)占空比參數(shù)在一個(gè)步態(tài)周期序列內(nèi)，包括支撐相和擺動(dòng)相2種序列相位，2種相位按照研究對(duì)象速度的不同占空比也不同。假設(shè)ti、ti+4（i=1，2，3，4）分別為第i肢腿的抬起與落地時(shí)刻，則一個(gè)八拍周期序列T為

式中f為前雙腿分別落地的時(shí)間差，h為后雙腿分別落地的時(shí)間差，p為同側(cè)雙腿分別落地的時(shí)間差，β為負(fù)荷系數(shù)，即一個(gè)周期序列中四肢交替著地時(shí)間總和與周期總時(shí)間的比值。由式（15）至式（18）計(jì)算得到四足動(dòng)物步態(tài)占空比如圖13所示。將圖13量化得到表7。

由圖13可知3種動(dòng)物的步態(tài)順序隨周期序列循環(huán)更替。貓的四肢步態(tài)順序?yàn)長(zhǎng)F→RF→LH→RH，在t2和t3時(shí)RF和LH兩肢幾乎同時(shí)運(yùn)動(dòng)，通過(guò)對(duì)角線前進(jìn)使身體處于一個(gè)穩(wěn)定的三角裕態(tài)中。狗的步態(tài)順序?yàn)長(zhǎng)F→RF→RH→LH，在犬類運(yùn)動(dòng)過(guò)程中犬前肢的髖關(guān)節(jié)處實(shí)質(zhì)是肩帶肌，前肢處于擺動(dòng)最大相位時(shí)肩帶肌完全拉伸有助于后肢膝關(guān)節(jié)彎曲，完成下一周期序列的運(yùn)動(dòng)。羊的步態(tài)順序?yàn)镽F→LF→RH→LH，與狗相比兩者的初始擺動(dòng)相不同，羊在t2和t3時(shí)先LF作擺動(dòng)相，再RH作擺動(dòng)相，這種順序有助于羊在奔跑時(shí)后肢接替前肢的位置，使得支撐相的時(shí)間最短，故β最小。通過(guò)分析占空比參數(shù)驗(yàn)證了本研究算法與實(shí)際場(chǎng)合的一致性。

3結(jié)論

本研究選用貓、狗、羊3種四足動(dòng)物作為研究對(duì)象，得到的結(jié)論如下：（1）提出了Dpnet雙路徑網(wǎng)絡(luò)，通過(guò)添加的HDC與PAM路徑提高模型在不同場(chǎng)景下動(dòng)物關(guān)鍵點(diǎn)識(shí)別的準(zhǔn)確率，使用1 000張測(cè)試集驗(yàn)證各類關(guān)鍵點(diǎn)平均相似度為0.87，識(shí)別精確率達(dá)到91.1%。（2）為了獲取正確且精度更高的骨架結(jié)構(gòu)，本研究將熱力圖與精確圈結(jié)合限制關(guān)鍵點(diǎn)像素位置，同時(shí)提出斜率法實(shí)現(xiàn)四肢關(guān)節(jié)點(diǎn)的區(qū)分與歸屬。（3）通過(guò)模型提取的骨架結(jié)構(gòu)計(jì)算動(dòng)物的運(yùn)動(dòng)參數(shù)，包括步距、步頻、關(guān)節(jié)角度變化與步態(tài)占空比，試驗(yàn)證明添加雙路徑模型的識(shí)別精確率分別比并行注意力模塊的單路徑和混合空洞卷積的單路徑提高了0.9個(gè)百分點(diǎn)與1.7個(gè)百分點(diǎn)，驗(yàn)證了模型的有效性，故本方法可用于大型農(nóng)場(chǎng)、牧場(chǎng)動(dòng)物的智能監(jiān)測(cè)工作中。

參考文獻(xiàn)：

[1]NASIRAHMADI A， EDWARDS S A， STURM B. Implementation of machine vision for detecting behaviour of cattle and pigs[J]. Livestock Science， 2017，202：25-38.

[2]CHEN C， ZHU W， MA C， et al. Image motion feature extraction for recognition of aggressive behaviors among group-housed pigs[J]. Computers and Electronics in Agriculture， 2017， 142：380-387.

[3]朱家驥，朱偉興. 基于星狀骨架模型的豬步態(tài)分析[J].江蘇農(nóng)業(yè)科學(xué)，2015，43（12）：453-457.

[4]DING W， HU B， LIU H，et al. Human posture recognition based on multiple features and rule learning[J]. International Journal of Machine Learning and Cybernetics， 2020， 11（11）：2529-2540.

[5]JIANG B， WU Q， YIN X，et al. FLYOLOv3 deep learning for key parts of dairy cow body detection[J]. Computers and Electronics in Agriculture， 2019， 166：104982.

[6]ALVAREZ J R， ARROQUI M， MANGUDO P，et al. Body condition estimation on cows from depth images using Convolutional Neural Networks[J]. Computers and Electronics in Agriculture， 2018， 155：12-22.

[7]王浩，曾雅瓊，裴宏亮，等. 改進(jìn)Faster R-CNN的群養(yǎng)豬只圈內(nèi)位置識(shí)別與應(yīng)用[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（21）：201-209.

[8]錢(qián)建軒. 基于骨架分析和步態(tài)能量圖的豬的步態(tài)識(shí)別[D].鎮(zhèn)江：江蘇大學(xué)，2018.

[9]張滿囤，王萌萌，劉天鶴，等. 基于骨架能量圖的奶牛步態(tài)識(shí)別[J].江蘇農(nóng)業(yè)科學(xué)，2020，48（19）：257-262.

[10]SONG H B， JIANG B， WU Q，et al. Detection of dairy cow lameness based on fitting line slope feature of head and neck outline[J].Transactions of the Chinese Society of Agricultural Engineering （Transactions of the CSAE），2018，34（15）：190-199.

[11]GUTIERREZ-GALAN D， DOMINGUEZ-MORALES J P， CEREZUELA-ESCUDERO E，et al. Embedded neural network for real-time animal behavior classification[J]. Neurocomputing， 2017， 272（jan.10）：17-26.

[12]ZHAO K， BEWLEY J M， HE D，et al. Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique[J]. Computers and Electronics in Agriculture， 2018， 148：226-236.

[13]張?zhí)K楠，田建艷，菅壟，等. 基于幀間差分法-單點(diǎn)多框檢測(cè)器的圈養(yǎng)生豬打斗行為識(shí)別方法[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2021，37（2）：397-404.

[14]YANG A， HUANG H， ZHU X，et al. Automatic recognition of sow nursing behaviour using deep learning-based segmentation and spatial and temporal features[J]. Biosystems Engineering， 2018， 175：133-145.

[15]ZHENG C， ZHU X M， YANG X F， et al. Automatic recognition of lactating sow postures from depth images by deep learning detector[J]. Computers and Electronics in Agriculture，2018，147：51-63.

[16]WU D， WANG Y， HAN M，et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment[J]. Computers and Electronics in Agriculture， 2021，182：1-12.

[17]YANG A， HUANG H， ZHENG B，et al. An automatic recognition framework for sow daily behaviours based on motion and image analyses[J]. Biosystems Engineering， 2020， 192：56-71.

[18]GUO Y Y， ZHANG Z， HE D J， et al. Detection of cow mounting behavior using region geometry and optical flow characteristics [J]. Computers & Electronics in Agriculture， 2019， 163（8）：34-45.

[19]SUN K， XIAO B， LIU D. Deep high-resolution representation learning for human pose estimation[C]//IEEE. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. Long Beach，USA：IEEE， 2019： 5693-5703.

[20]CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

（責(zé)任編輯：張震林）

收稿日期：2021-06-19

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（51365019）

作者簡(jiǎn)介：田澤薇（1997-），女，黑龍江大慶人，碩士研究生，主要從事計(jì)算機(jī)視覺(jué)、智能化研究。（E-mail）1537341112@qq.com

通訊作者：張?jiān)苽?，（E-mail）zhangyunwei72@gmail.com