基于CenterNet搭配優(yōu)化DeepSORT算法的斷奶仔豬目標(biāo)跟蹤方法研究

張偉,沈明霞,劉龍申,孫玉文,楊運(yùn)南,許志強(qiáng)

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院,江蘇 南京 210031;2. 南京農(nóng)業(yè)大學(xué)人工智能學(xué)院/江蘇智慧牧業(yè)裝備科技創(chuàng)新中心,江蘇 南京 210031;3.南京農(nóng)業(yè)大學(xué)動(dòng)物科技學(xué)院,江蘇 南京 210095)

斷奶仔豬是生豬養(yǎng)殖業(yè)中的重點(diǎn)關(guān)注對(duì)象,對(duì)其運(yùn)動(dòng)、采食及飲水等行為的監(jiān)測(cè),有助于評(píng)判斷奶仔豬的健康狀況。在仔豬行為分析研究中,準(zhǔn)確跟蹤仔豬目標(biāo)、保證其身份的唯一性是一個(gè)技術(shù)難點(diǎn)。在目前的養(yǎng)殖生產(chǎn)實(shí)踐中,對(duì)仔豬個(gè)體的跟蹤并確定其身份主要是通過(guò)人為長(zhǎng)時(shí)間觀察的方式實(shí)現(xiàn)的,該方式工作量大且難以實(shí)現(xiàn)長(zhǎng)期跟蹤。隨著射頻識(shí)別RFID技術(shù)的發(fā)展,規(guī)?；i場(chǎng)借助電子耳標(biāo)確定仔豬身份,但安裝電子耳標(biāo)時(shí)易造成仔豬短時(shí)的應(yīng)激反應(yīng),且需借助外部閱讀器識(shí)別目標(biāo)身份,經(jīng)濟(jì)成本較高。在產(chǎn)業(yè)需求與福利養(yǎng)殖概念的同步驅(qū)動(dòng)下,亟需研發(fā)無(wú)接觸式的自動(dòng)跟蹤仔豬目標(biāo)的技術(shù)方法,實(shí)現(xiàn)斷奶仔豬生理生長(zhǎng)信息無(wú)應(yīng)激觀測(cè)。

國(guó)內(nèi)外專(zhuān)家學(xué)者在豬目標(biāo)跟蹤研究領(lǐng)域已進(jìn)行了大量的探索研究,部分學(xué)者通過(guò)人工標(biāo)記設(shè)計(jì)底層特征實(shí)現(xiàn)豬跟蹤。如Tillett等[1]取豬背部邊緣的6個(gè)特征點(diǎn)坐標(biāo)構(gòu)成搜索框并在其中檢測(cè)標(biāo)記黑點(diǎn)位置,通過(guò)黑點(diǎn)位置對(duì)豬移動(dòng)位置追蹤。Lind等[2]通過(guò)改進(jìn)不包含動(dòng)物的參考幀的自動(dòng)閾值檢測(cè)跟蹤算法,實(shí)現(xiàn)對(duì)小型豬在空曠環(huán)境下的跟蹤。Navarro-Jover等[3]通過(guò)豬背部顏色標(biāo)記進(jìn)行追蹤。Xiao等[4]通過(guò)顏色信息在自然環(huán)境中識(shí)別豬,并在分析二值圖像中連接區(qū)域的基礎(chǔ)上去除噪聲,根據(jù)一組具有約束項(xiàng)的關(guān)聯(lián)規(guī)則(DT-ACR)對(duì)豬進(jìn)行跟蹤。Sun等[5]提出一種多通道彩色特征自適應(yīng)融合算法,并對(duì)豬的目標(biāo)尺度進(jìn)行更新,實(shí)時(shí)利用目標(biāo)的輪廓信息,滿(mǎn)足目標(biāo)跟蹤的精度和實(shí)時(shí)性要求。上述方法設(shè)計(jì)底層特征工作量大,同時(shí)對(duì)跟蹤環(huán)境要求嚴(yán)格,缺少一定的普適性。

基于人工標(biāo)記特征的豬跟蹤方法難以應(yīng)用于規(guī)?；B(yǎng)殖的豬群,因此引入深度學(xué)習(xí)方法實(shí)現(xiàn)豬的跟蹤任務(wù),利用卷積神經(jīng)網(wǎng)絡(luò)通過(guò)層級(jí)映射,可以同時(shí)提取從邊緣、紋理等底層特征到抽象語(yǔ)義特征等高層特征[6]。張?zhí)K楠[7]為了解決目標(biāo)軌跡跟蹤過(guò)程中軌跡跟蹤交錯(cuò)與目標(biāo)跟蹤交錯(cuò)的問(wèn)題,提出結(jié)合粒子濾波與逐幀檢測(cè)的豬目標(biāo)跟蹤方法。Zhang等[8]基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)器和相關(guān)濾波器的跟蹤器,通過(guò)分層數(shù)據(jù)關(guān)聯(lián)算法耦合實(shí)現(xiàn)對(duì)單個(gè)育肥豬的檢測(cè)跟蹤,對(duì)于多個(gè)豬目標(biāo)跟蹤有待進(jìn)一步研究。Cowton等[9]結(jié)合深層卷積神經(jīng)網(wǎng)絡(luò)對(duì)象定位方法,基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(R-CNN),創(chuàng)建1個(gè)可以自動(dòng)定位和跟蹤單個(gè)豬的完整系統(tǒng),但跟蹤精度僅達(dá)到73.4%。上述研究盡管取得了一些成果,但在跟蹤性能上仍需進(jìn)一步優(yōu)化。

本文利用深度學(xué)習(xí)在自然特征提取上的優(yōu)勢(shì)[10],借鑒行人跟蹤思路,設(shè)計(jì)1種基于深度學(xué)習(xí)的斷奶仔豬目標(biāo)跟蹤算法[11]。構(gòu)建斷奶仔豬的目標(biāo)檢測(cè)模型[12-13],將生成的檢測(cè)結(jié)果作為跟蹤模型的輸入內(nèi)容,搭配優(yōu)化后的DeepSORT[14-15]算法融合斷奶仔豬運(yùn)動(dòng)和外觀信息關(guān)聯(lián)度量,完成斷奶仔豬目標(biāo)跟蹤方法的研究。

1 試驗(yàn)數(shù)據(jù)采集與處理

1.1 數(shù)據(jù)采集

試驗(yàn)數(shù)據(jù)于2019年3月19日至4月23日在安徽省亳州市譙城區(qū)生豬個(gè)體養(yǎng)殖戶(hù)采集。選取一圈 12 頭品種為長(zhǎng)白和大白的斷奶仔豬(3月20日斷奶,28日齡)作為試驗(yàn)對(duì)象。豬欄大小為3.2 m×3.0 m,選用?？低旸S-2CD3346WD-I型號(hào)的紅外夜視攝像頭安裝在豬舍的上方約 2.25 m 進(jìn)行視頻采集,鏡頭焦距2.8 mm,監(jiān)控范圍約 3.0 m×1.7 m,圖像分辨率2 560像素×1 440像素,視頻數(shù)據(jù)利用?？低旸S-7916N-K4/16P型號(hào)的網(wǎng)絡(luò)硬盤(pán)錄像機(jī)存儲(chǔ)。圖1為豬舍試驗(yàn)區(qū)視頻采集示意圖。

圖1 豬舍試驗(yàn)區(qū)視頻采集示意圖Fig.1 Schematic diagram of video collection in the piggery experimental area

豬舍試驗(yàn)區(qū)監(jiān)控視頻連續(xù) 24 h 錄制,選取白天斷奶仔豬活動(dòng)頻繁時(shí)段的視頻數(shù)據(jù)作為原始數(shù)據(jù),區(qū)內(nèi)白天光線充足,采集的視頻幀為 3 通道RGB圖像,采集幀率為25 fps。

1.2 數(shù)據(jù)集制作

從視頻數(shù)據(jù)中提取圖片數(shù)據(jù),經(jīng)過(guò)數(shù)據(jù)清洗得到理想圖片8 835張,使用開(kāi)源軟件精靈標(biāo)注助手進(jìn)行標(biāo)注,得到相同文件名的xml文件,按約 8∶1∶1 的比例得到訓(xùn)練集圖片7 155張,測(cè)試集884張,驗(yàn)證集796張;制作VOC和COCO標(biāo)準(zhǔn)格式數(shù)據(jù)集,用于檢測(cè)模型訓(xùn)練和預(yù)測(cè),制作MOT格式數(shù)據(jù)集,用于跟蹤性能的評(píng)估。

2 基于優(yōu)化DeepSORT算法的斷奶仔豬目標(biāo)跟蹤

DeepSORT多目標(biāo)跟蹤算法最初應(yīng)用于行人跟蹤,通過(guò)目標(biāo)檢測(cè)算法檢測(cè)每一幀的行人目標(biāo),引入行人重識(shí)別模型,利用外觀信息計(jì)算余弦距離,改善跟蹤效果。本文通過(guò)優(yōu)化DeepSORT算法的檢測(cè)部分和重識(shí)別模型使其適用于斷奶仔豬目標(biāo)跟蹤應(yīng)用場(chǎng)景。

2.1 斷奶仔豬目標(biāo)檢測(cè)模型的優(yōu)化

良好的目標(biāo)檢測(cè)結(jié)果對(duì)于跟蹤效果具有較大的提升作用,以基于錨框的YOLOv4[16]目標(biāo)檢測(cè)算法和基于中心點(diǎn)的CenterNet[17]檢測(cè)算法為基礎(chǔ),設(shè)計(jì)斷奶仔豬目標(biāo)檢測(cè)模型,分別記為YOLOv4-det模型和CenterNet-det模型,比較2種模型的優(yōu)劣,為后續(xù)的斷奶仔豬目標(biāo)跟蹤研究提供良好的檢測(cè)結(jié)果。

2.1.1 基于YOLOv4的斷奶仔豬目標(biāo)檢測(cè)模型YOLOv4-det模型以CSPDarknet53作為骨干網(wǎng)絡(luò),CSP(cross stage partial)[18]增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,金字塔注意力模型(path aggregation network,PAN)[19]和空間金字塔池化(spatial pyramid pooling,SPP)[20]作為特征融合模塊和附加模塊,以原先YOLOv3[21]作為頭部,輕量化的同時(shí)保證準(zhǔn)確性,降低計(jì)算瓶頸和存儲(chǔ)開(kāi)銷(xiāo)。

將標(biāo)注好的圖片數(shù)據(jù)輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中,在Darknet框架下經(jīng)過(guò)離線迭代訓(xùn)練得到模型權(quán)重文件,利用生成的模型檢測(cè)斷奶仔豬目標(biāo)。網(wǎng)絡(luò)模型訓(xùn)練流程如圖2所示。

圖2 模型訓(xùn)練流程圖Fig.2 Model training flowchart

圖3 YOLOv4-det網(wǎng)絡(luò)損失值的變化曲線Fig.3 The change curve of the loss value of the YOLOv4-det network

模型訓(xùn)練共迭代30 000次,采用批處理(batch)值為64的隨機(jī)梯度下降法訓(xùn)練。本文研究網(wǎng)絡(luò)的輸入圖像寬和高為416像素×416像素,初始化學(xué)習(xí)率為 0.001。分別在迭代訓(xùn)練24 000次和27 000次時(shí)將學(xué)習(xí)率設(shè)置為0.000 1和0.000 01,實(shí)現(xiàn)步進(jìn)式學(xué)習(xí)。動(dòng)量(momentum)設(shè)為 0.9,權(quán)值衰減速率(decay)設(shè)為 0.000 5。

訓(xùn)練過(guò)程中損失函數(shù)值隨迭代次數(shù)的變化趨勢(shì)(圖3)表明:損失值在0～1 000次迭代過(guò)程中收斂至1.31,在1 001～20 000次迭代過(guò)程中損失值下降至0.42,從25 000～30 000次迭代中Loss曲線趨于穩(wěn)定,最終損失值維持在0.7附近,模型收斂效果良好,停止訓(xùn)練。

2.1.2 基于CenterNet的斷奶仔豬目標(biāo)檢測(cè)模型將特征提取網(wǎng)絡(luò)Hourglass-104更換為全卷積網(wǎng)絡(luò)DLA-34,得到CenterNet-det模型,通過(guò)預(yù)估關(guān)鍵點(diǎn)找到仔豬目標(biāo)的中心點(diǎn),回歸到仔豬目標(biāo)的尺寸、位置等屬性,同時(shí)不采用非極大值抑制(non-maximum suppression,NMS)進(jìn)行候選框篩選,以減少網(wǎng)絡(luò)參數(shù)及計(jì)算量,有效提升檢測(cè)速度和精度。

將標(biāo)注好的文件輸入神經(jīng)網(wǎng)絡(luò),在PyTorch框架下經(jīng)過(guò)離線迭代訓(xùn)練得到模型權(quán)重文件,通過(guò)級(jí)聯(lián)角點(diǎn)池化和中心點(diǎn)池化,提供更多中心區(qū)域的識(shí)別信息,訓(xùn)練流程如圖4所示。

圖4 CenterNet訓(xùn)練流程圖Fig.4 CenterNet training flowchart

模型所有樣本迭代訓(xùn)練共迭代280個(gè)周期(epoch),采用隨機(jī)梯度下降法訓(xùn)練,初始化學(xué)習(xí)率為 0.000 1。在訓(xùn)練5個(gè)epoch后損失值由1.15下降至0.70,根據(jù)驗(yàn)證集測(cè)試,在訓(xùn)練105個(gè)epoch得到最優(yōu)模型,后續(xù)隨著學(xué)習(xí)率在所有樣本迭代訓(xùn)練180和240個(gè)epoch時(shí)分別設(shè)置為0.000 01和0.000 001,損失值穩(wěn)定在0.39左右,模型收斂良好。

2.2 斷奶仔豬目標(biāo)跟蹤部分優(yōu)化

把仔豬目標(biāo)檢測(cè)框和跟蹤框的交并比作為輸入,同時(shí)結(jié)合馬氏距離(Mahalanobis distance)和余弦距離(cosine distance)分別考慮運(yùn)動(dòng)信息和外觀信息的關(guān)聯(lián)度量,通過(guò)融合度量的方式計(jì)算檢測(cè)和跟蹤軌跡之間的匹配程度,輸出匹配結(jié)果。

1)斷奶仔豬目標(biāo)運(yùn)動(dòng)信息的關(guān)聯(lián)程度通過(guò)檢測(cè)框與跟蹤框之間的馬氏距離來(lái)描述,其計(jì)算公式如式(1)所示:

(1)

式中:dj表示第j個(gè)仔豬目標(biāo)檢測(cè)框的位置;yi表示第i個(gè)跟蹤器對(duì)仔豬目標(biāo)的預(yù)測(cè)位置;Si表示仔豬目標(biāo)檢測(cè)位置與平均跟蹤位置之間的協(xié)方差矩陣。馬氏距離通過(guò)計(jì)算檢測(cè)位置和平均跟蹤位置之間的標(biāo)準(zhǔn)差將狀態(tài)預(yù)測(cè)的不確定性進(jìn)行考慮。圖5所示為斷奶仔豬目標(biāo)檢測(cè)框與跟蹤框之間的馬氏距離。

圖5 馬氏距離示意圖Fig.5 Schematic diagram of Mahalanobis distance藍(lán)色框?yàn)闄z測(cè)框,白色框?yàn)楦櫩?。The blue box is the detection box,and the white box is the tracking box.

對(duì)應(yīng)的馬氏閾值為t(1)取逆卡方分布的95%置信區(qū)間的值 9.487 7作為閾值,若某一次關(guān)聯(lián)的馬氏距離小于指定的閾值則設(shè)置的運(yùn)動(dòng)狀態(tài)關(guān)聯(lián)成功。

2)當(dāng)仔豬目標(biāo)出現(xiàn)快速位移和遮擋情況下跟蹤時(shí),運(yùn)動(dòng)信息缺失,純粹使用運(yùn)動(dòng)信息關(guān)聯(lián)容易造成仔豬目標(biāo)身份轉(zhuǎn)換頻繁的情況,而通過(guò)仔豬運(yùn)動(dòng)信息關(guān)聯(lián)再結(jié)合外觀信息的關(guān)聯(lián),能有效改善仔豬目標(biāo)ID轉(zhuǎn)換頻繁的問(wèn)題。

對(duì)DeepSORT算法中基于Mars數(shù)據(jù)集[22]訓(xùn)練的ReID重識(shí)別模型進(jìn)行了優(yōu)化,選擇目前公開(kāi)的 Market1501 數(shù)據(jù)集[23],重新訓(xùn)練目標(biāo)跟蹤中提取外觀特征的模型,得到1個(gè)深層卷積神經(jīng)網(wǎng)絡(luò),對(duì)每個(gè)仔豬目標(biāo)檢測(cè)框dj提取128維特征向量rj,且滿(mǎn)足‖rj‖=1,網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。軌跡太長(zhǎng)會(huì)導(dǎo)致表觀產(chǎn)生變化,因此針對(duì)每個(gè)跟蹤軌跡只保留最新的關(guān)聯(lián)外觀信息的特征向量。

表1 深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Deep convolutional neural network structure

計(jì)算當(dāng)前幀第i檢測(cè)目標(biāo)與歷史追蹤第j目標(biāo)特征向量之間的余弦距離來(lái)確定外觀信息的關(guān)聯(lián)情況。本研究參考行人跟蹤,閾值取0.70。如果上述的距離小于指定的閾值,此外觀信息成功關(guān)聯(lián)。計(jì)算公式如式(2)所示。

(2)

當(dāng)仔豬目標(biāo)出現(xiàn)遮擋情況后,隨后的卡爾曼濾波預(yù)測(cè)會(huì)增加與仔豬目標(biāo)位置相關(guān)的不確定性,利用級(jí)聯(lián)匹配改善由仔豬目標(biāo)表觀突變或者遮擋導(dǎo)致的仔豬目標(biāo)跟蹤錯(cuò)誤。

2.3 整體算法框架

采用目標(biāo)檢測(cè)算法結(jié)合優(yōu)化后的DeepSORT跟蹤算法實(shí)現(xiàn)斷奶仔豬目標(biāo)跟蹤研究。將檢測(cè)結(jié)果作為跟蹤算法的輸入,卡爾曼濾波(Kalman filter)[24]可以預(yù)測(cè)當(dāng)前時(shí)刻的位置;涉及目標(biāo)位置發(fā)生變化后的關(guān)聯(lián)匹配[25]問(wèn)題,匈牙利匹配算法(Hungarian algorithm)[26]可以判定當(dāng)前幀的某個(gè)仔豬目標(biāo)是否與前一幀的某個(gè)仔豬目標(biāo)相同。其主要跟蹤過(guò)程如圖6所示。

圖6 斷奶仔豬目標(biāo)跟蹤過(guò)程示意圖Fig.6 Schematic diagram of target tracking process of weaned piglets

3 結(jié)果與分析

3.1 斷奶仔豬目標(biāo)檢測(cè)模型性能與結(jié)果分析

3.1.1 斷奶仔豬目標(biāo)檢測(cè)模型性能分析選擇平均精度均值(mAP)和召回率(recall)2個(gè)指標(biāo),結(jié)合交并比(IoU)來(lái)評(píng)判檢測(cè)模型性能。平均精度均值是對(duì)檢測(cè)的類(lèi)別對(duì)應(yīng)的精度均值取平均,可用來(lái)衡量模型的檢測(cè)性能;召回率是衡量模型對(duì)斷奶仔豬目標(biāo)檢測(cè)的覆蓋能力,是從圖片中識(shí)別出的仔豬目標(biāo)的比例;交并比一般指模型的預(yù)測(cè)框與實(shí)際邊框之間的交集和并集的比值。

訓(xùn)練過(guò)程中每隔1 000次迭代保存1個(gè)模型,取每隔5 000次生成的模型,利用測(cè)試集884張圖片對(duì)模型性能進(jìn)行評(píng)估,同時(shí)與利用相同數(shù)據(jù)集訓(xùn)練的基于YOLOv3設(shè)計(jì)的目標(biāo)檢測(cè)模型進(jìn)行性能對(duì)比,得到指標(biāo)參數(shù)如表2所示。

表2 目標(biāo)檢測(cè)模型性能參數(shù)對(duì)比Table 2 Comparison of performance parameters of target detection models

從表2可以發(fā)現(xiàn),YOLOv4-det模型性能更優(yōu),其平均精度均值比YOLOv3模型高約8%,召回率高2%左右,交并比高10%左右。此外迭代訓(xùn)練30 000次的檢測(cè)模型,平均精度均值、召回率和交并比分別為98.53%、98.63%和84.84%,其生成的檢測(cè)結(jié)果最優(yōu)。

根據(jù)訓(xùn)練過(guò)程中驗(yàn)證集對(duì)指標(biāo)進(jìn)行測(cè)試,CenterNet-det最優(yōu)檢測(cè)模型為訓(xùn)練105個(gè)epoch產(chǎn)生的模型權(quán)重,其平均準(zhǔn)確率(AP)在IoU為0.5和0.75時(shí)能達(dá)到99.0%和88.8%,平均召回率在IoU=0.5∶0.95且area=all | maxDets=100時(shí)達(dá)到78.6%,性能參數(shù)如表3所示。

表3 CenterNet-det檢測(cè)模型性能參數(shù)Table 3 Performance parameter of CenterNet-det detection model

3.1.2 斷奶仔豬目標(biāo)檢測(cè)模型檢測(cè)結(jié)果分析根據(jù)平均精度均值和召回率的結(jié)果,選取上述最優(yōu)模型檢測(cè)測(cè)試集884張圖片,測(cè)試集目標(biāo)總數(shù)為10 608個(gè),YOLOv4-det模型檢測(cè)出的目標(biāo)總數(shù)為10 244個(gè),CenterNet-det模型檢測(cè)總數(shù)為10 585個(gè)。從測(cè)試結(jié)果發(fā)現(xiàn),YOLOv4-det模型針對(duì)仔豬目標(biāo)黏連、遮擋情況檢測(cè)效果不佳。從測(cè)試集中隨機(jī)選擇1幅圖片,圖7為迭代30 000次的YOLOv4-det模型和迭代105次的CenterNet-det模型的檢測(cè)結(jié)果。

圖7 斷奶仔豬目標(biāo)檢測(cè)結(jié)果Fig.7 Target detection results of weaned piglets

對(duì)圖7分析發(fā)現(xiàn),YOLOv4-det模型對(duì)于畫(huà)框區(qū)域仔豬黏連情況存在漏檢情況,同時(shí)目標(biāo)檢測(cè)坐標(biāo)與標(biāo)注坐標(biāo)的重合度也低于CenterNet-det模型檢測(cè)結(jié)果。由于檢測(cè)結(jié)果的優(yōu)良影響后續(xù)跟蹤效果,故選擇CenterNet-det模型作為跟蹤算法的檢測(cè)部分,其生成的檢測(cè)結(jié)果作為斷奶仔豬目標(biāo)跟蹤模型的最優(yōu)輸入。

3.2 斷奶仔豬目標(biāo)跟蹤結(jié)果與分析

3.2.1 斷奶仔豬目標(biāo)跟蹤模型評(píng)價(jià)指標(biāo)選擇多目標(biāo)跟蹤算法的評(píng)價(jià)指標(biāo)包括多目標(biāo)跟蹤精度MOTA(multiple object tracking accuracy)和MOTP(multiple object tracking precision)[27]。其中MOTA是假陽(yáng)性、假陰性和ID變換等方面的總體跟蹤精度概述,MOTP是所有跟蹤目標(biāo)的平均邊框重疊率的跟蹤精度匯總。

此外,還參考了其他相關(guān)指標(biāo)如誤報(bào)總數(shù)(false positive,FP)、丟失目標(biāo)的數(shù)量(false negative,FN)、真實(shí)軌跡被打斷的次數(shù)(fragmentation,FM)、目標(biāo)大部分被跟蹤到的軌跡比例大于80%(mostly tracked,MT)、目標(biāo)大部分被跟丟的軌跡比例小于20%(mostly lost,ML)、目標(biāo)部分被跟蹤到的軌跡比例(partially tracked,PT)及1條跟蹤軌跡改變目標(biāo)ID的數(shù)量(identity switches,IDS)。

MOTA和MOTP的計(jì)算公式分別如式(3)和式(4)所示。

(3)

式中:FP為在第t幀中該目標(biāo)丟失總數(shù);FN為在第t幀中給出的假設(shè)位置沒(méi)有跟蹤目標(biāo)與其匹配;IDS為在第t幀中跟蹤目標(biāo)發(fā)生ID切換的次數(shù),多發(fā)生在遮擋情況下;gt是t時(shí)刻觀測(cè)目標(biāo)的數(shù)量。

(4)

本文對(duì)斷奶仔豬目標(biāo)跟蹤模型性能的分析選擇MOTA和MOTP作為主要評(píng)價(jià)指標(biāo),輔助以FP、FN、FM、IDS、MT、ML等指標(biāo)進(jìn)行跟蹤模型的性能評(píng)估。其中MOTA、MOTP和MT數(shù)值越高模型評(píng)價(jià)越好,反之FP、FN、FM、IDS和ML數(shù)值越低模型評(píng)價(jià)越好。

3.2.2 斷奶仔豬目標(biāo)跟蹤模型性能評(píng)價(jià)隨機(jī)選取4段視頻數(shù)據(jù),參照MOT16數(shù)據(jù)集[28]的格式來(lái)制作測(cè)試數(shù)據(jù)集,包含檢測(cè)文件即斷奶仔豬目標(biāo)檢測(cè)模型生成的檢測(cè)結(jié)果、標(biāo)注文件、原始圖片及Seqinfo.ini文件,記4段測(cè)試數(shù)據(jù)集名為MOT01、MOT02、MOT03、MOT04。將4個(gè)測(cè)試數(shù)據(jù)集輸入跟蹤模型,得到的跟蹤結(jié)果選用MOTchallenge評(píng)測(cè)工具計(jì)算得出指標(biāo)數(shù)據(jù),分析斷奶仔豬目標(biāo)跟蹤模型性能,結(jié)果見(jiàn)表4。

對(duì)比發(fā)現(xiàn),YOLOv4-det+優(yōu)化DeepSORT跟蹤模型多目標(biāo)跟蹤精度MOTA和MOTP分別為95.1%和81.3%;而CenterNet-det+優(yōu)化DeepSORT跟蹤模型的MOTA和MOTP分別為96.8%和81.8%?？傮w來(lái)說(shuō),CenterNet-det+優(yōu)化DeepSORT跟蹤模型性能指標(biāo)MOTA、MOTP、FP、FN、FM、IDS的數(shù)值總體都優(yōu)于YOLOv4-det+優(yōu)化DeepSORT的跟蹤模型指標(biāo)數(shù)據(jù)。

DeepSORT方法中重識(shí)別模型優(yōu)化后,由于跟蹤目標(biāo)有12頭仔豬,跟蹤空間有限,總體跟蹤效果良好。

表4 斷奶仔豬目標(biāo)跟蹤的評(píng)價(jià)指標(biāo)Table 4 Evaluation indicators for target tracking of weaned piglets

4 結(jié)論

1)本文設(shè)計(jì)的CenterNet-det斷奶仔豬目標(biāo)檢測(cè)模型,通過(guò)仔豬目標(biāo)的中心點(diǎn),回歸到目標(biāo)的尺寸,準(zhǔn)確快速地檢測(cè)仔豬目標(biāo),有效改善基于錨框的YOLOv4-det檢測(cè)模型對(duì)于黏連、遮擋情況檢測(cè)結(jié)果不佳的問(wèn)題。試驗(yàn)結(jié)果表明,CenterNet-det檢測(cè)模型的精度高、速度快,平均精度均值和召回率為99.0%和 78.6%。選擇CenterNet-det模型作為跟蹤算法的檢測(cè)部分,其生成的檢測(cè)結(jié)果可作為斷奶仔豬目標(biāo)跟蹤模型的最優(yōu)輸入。

2)由于缺少關(guān)于仔豬重識(shí)別的大規(guī)模數(shù)據(jù)集,斷奶仔豬目標(biāo)跟蹤模型的重識(shí)別部分對(duì)于斷奶仔豬目標(biāo)的外觀特征提取效果仍有提升空間,仔豬目標(biāo)跟蹤精度MOTA和MOTP值分別達(dá)到96.8%和81.8%。后續(xù)將針對(duì)仔豬目標(biāo)重識(shí)別進(jìn)一步研究,改善ID跳變的情況,提高跟蹤精度。

3)由于本研究在非洲豬瘟蔓延的背景下開(kāi)展,養(yǎng)殖場(chǎng)防疫措施極為嚴(yán)格,難以獲取多種養(yǎng)殖場(chǎng)景下的數(shù)據(jù)。為進(jìn)一步提高本研究的實(shí)際應(yīng)用效果,需要采集更多、更復(fù)雜養(yǎng)殖場(chǎng)景下的數(shù)據(jù),用以提高模型的泛化性和魯棒性,進(jìn)一步研究斷奶仔豬目標(biāo)跟蹤。