基于深度學(xué)習(xí)的羊只計(jì)數(shù)系統(tǒng)研究*

張譯文，李琦

(內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010)

目前，內(nèi)蒙古畜牧業(yè)正處于快速發(fā)展和轉(zhuǎn)型升級(jí)的關(guān)鍵時(shí)期，牛羊養(yǎng)殖產(chǎn)業(yè)的自動(dòng)化能夠有效降低養(yǎng)殖成本、減小勞動(dòng)力、增強(qiáng)科技水平，有效解決養(yǎng)殖過(guò)程中出現(xiàn)的常見難題.如何解決羊群自動(dòng)計(jì)數(shù)問(wèn)題便成為養(yǎng)殖場(chǎng)減少人力、提高效率的重要課題[1-3].傳統(tǒng)的基于RFID的羊只計(jì)數(shù)方法受到場(chǎng)地和讀寫距離的限制.田磊等[4]采用YOLO目標(biāo)檢測(cè)算法，獲得圖像中羊的位置信息，通過(guò)統(tǒng)計(jì)檢測(cè)框的個(gè)數(shù)對(duì)羊只計(jì)數(shù)；李琦等[5]利用YOLOv3目標(biāo)檢測(cè)算法檢測(cè)圖像中牛和羊的位置信息，結(jié)合DeepSORT目標(biāo)跟蹤算法控制云臺(tái)對(duì)牛群進(jìn)行跟蹤.以上方案在實(shí)際應(yīng)用中效果并不理想.

為克服上述問(wèn)題，并實(shí)現(xiàn)對(duì)羊只目標(biāo)快速穩(wěn)定地跟蹤和計(jì)數(shù)，文章提出一種將CenterNet目標(biāo)檢測(cè)與DeepSORT跟蹤相結(jié)合的羊只計(jì)數(shù)方法.首先，建立CenterNet目標(biāo)檢測(cè)模型，通過(guò)訓(xùn)練數(shù)據(jù)集對(duì)標(biāo)注的羊只頭部圖像數(shù)據(jù)集進(jìn)行模型訓(xùn)練并得到權(quán)重，再將CenterNet訓(xùn)練出來(lái)的權(quán)重與DeepSORT目標(biāo)跟蹤模型相結(jié)合，最后利用單線計(jì)數(shù)算法進(jìn)行羊只跟蹤實(shí)時(shí)計(jì)數(shù).

1 總體研究方案

羊只計(jì)數(shù)系統(tǒng)總體設(shè)計(jì)方案見圖1，包括數(shù)據(jù)集制作、目標(biāo)檢測(cè)模型設(shè)計(jì)、目標(biāo)跟蹤和單線計(jì)數(shù)4個(gè)部分.

圖1 羊只計(jì)數(shù)系統(tǒng)整體研究方案

原始數(shù)據(jù)集的羊只圖像數(shù)據(jù)來(lái)源于內(nèi)蒙古自治區(qū)呼倫貝爾盟和錫林郭勒盟2個(gè)自然放牧牧場(chǎng).將?？禂z像機(jī)置于羊只進(jìn)出棚圈的通道前上方，采集得到羊只進(jìn)出羊圈通道的視頻，用Labelimg對(duì)羊只進(jìn)行標(biāo)注，并得到標(biāo)注圖像，將多次采集的視頻整理挑選出3 060張圖片，其中2 460張作為訓(xùn)練集，600張作為測(cè)試集.首先將2 460張訓(xùn)練集輸入CenterNet目標(biāo)檢測(cè)模型，經(jīng)訓(xùn)練得到權(quán)重參數(shù)，利用600張測(cè)試集對(duì)訓(xùn)練權(quán)重進(jìn)行測(cè)試，然后將CenterNet目標(biāo)檢測(cè)模型與DeepSORT目標(biāo)跟蹤模型相結(jié)合，經(jīng)過(guò)單線計(jì)數(shù)算法對(duì)羊通道出口的羊只進(jìn)行計(jì)數(shù).

2 CenterNet羊只頭部檢測(cè)模型

CornerNet[6]是通過(guò)提取檢測(cè)物體的左上角點(diǎn)和右下角點(diǎn)的位置信息來(lái)確定目標(biāo)，而在此過(guò)程中，CornerNet使用corner pooling僅僅能夠提取到目標(biāo)邊緣的特征，導(dǎo)致CornerNet產(chǎn)生誤檢，基于此，CenterNet[7]在CornerNet的基礎(chǔ)上增加了中心預(yù)測(cè)點(diǎn)，減少了網(wǎng)絡(luò)的誤檢，文章采用CenterNet算法對(duì)羊只頭部進(jìn)行目標(biāo)檢測(cè)[8].首先通過(guò)中心點(diǎn)位置得到目標(biāo)屬性，將圖像傳入全卷積網(wǎng)絡(luò)生成熱力圖；其次，確定熱力圖的峰值點(diǎn)；每個(gè)特征圖的峰值點(diǎn)位置預(yù)測(cè)了目標(biāo)的寬高信息，最后生成目標(biāo)框.目標(biāo)中心點(diǎn)見圖2.

圖2 CenterNet目標(biāo)中心點(diǎn)預(yù)測(cè)

CenterNet算法的流程如下：首先，將羊只頭部圖像輸入完全卷積網(wǎng)絡(luò)生成熱力圖；其次，將輸出熱力圖上的所有點(diǎn)與其相連8個(gè)臨近像素點(diǎn)比較，若該點(diǎn)的值不小于其8個(gè)臨近像素點(diǎn),則該點(diǎn)保留，保留滿足所有要求的前100個(gè)峰值點(diǎn).對(duì)每個(gè)峰值處的圖像特征預(yù)測(cè)得到目標(biāo)框的高度和寬度信息.CenterNet整體架構(gòu)見圖3.

圖3 CenterNet整體架構(gòu)

3 DeepSORT羊只跟蹤與計(jì)數(shù)

3.1 羊只跟蹤

SORT是一種基于檢測(cè)實(shí)現(xiàn)的多目標(biāo)追蹤框架，逐幀進(jìn)行目標(biāo)檢測(cè)，將目標(biāo)當(dāng)前幀的位置信息傳遞到預(yù)測(cè)幀、當(dāng)前檢測(cè)框與已存在的目標(biāo)進(jìn)行關(guān)聯(lián)，以Bounding box展現(xiàn)檢測(cè)結(jié)果，SORT算法的跟蹤精度和準(zhǔn)確率比較高，但其使用的關(guān)聯(lián)指標(biāo)只有在狀態(tài)估計(jì)不確定性比較低的時(shí)候才精確，容易導(dǎo)致遮擋的ID丟失，DeepSORT算法在SORT算法基礎(chǔ)上增加了級(jí)聯(lián)匹配，使遮擋物體的ID能夠重新匹配.文章采用DeepSORT[9]跟蹤算法實(shí)現(xiàn)對(duì)羊只的跟蹤與計(jì)數(shù).DeepSORT跟蹤模型使用Torch版本對(duì)MARS數(shù)據(jù)集進(jìn)行ReID訓(xùn)練，并得到模型.

當(dāng)運(yùn)動(dòng)狀態(tài)軌跡規(guī)律時(shí)，利用卡爾曼濾波預(yù)測(cè)結(jié)果與檢測(cè)結(jié)果之間的馬氏距離對(duì)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行計(jì)算，計(jì)算公式為：

(1)

式中：T為第條軌跡，S為第個(gè)檢測(cè)，d(1)(i,j)為運(yùn)動(dòng)匹配度，Si表示由卡爾曼濾波預(yù)測(cè)得到目標(biāo)軌跡的檢測(cè)位置與預(yù)測(cè)位置的協(xié)方差矩陣，yi為第個(gè)追蹤器對(duì)羊只頭部檢測(cè)的目標(biāo)預(yù)測(cè)位置，di為第個(gè)對(duì)羊只頭部目標(biāo)檢測(cè)的位置框.當(dāng)關(guān)聯(lián)的馬氏距離小于閾值，則設(shè)置目標(biāo)運(yùn)動(dòng)狀態(tài)關(guān)聯(lián)成功.

當(dāng)運(yùn)動(dòng)狀態(tài)出現(xiàn)不確定軌跡時(shí)，在圖像空間中使用卡爾曼濾波進(jìn)行運(yùn)動(dòng)狀態(tài)預(yù)測(cè)時(shí)，其結(jié)果與實(shí)際目標(biāo)數(shù)量相差較大，出現(xiàn)目標(biāo)框ID跳變的現(xiàn)象，對(duì)預(yù)測(cè)結(jié)果造成很大影響，因此引入第二種關(guān)聯(lián)方法，每一個(gè)特征向量ri是由對(duì)應(yīng)的檢測(cè)塊di得到的，定義最小余弦距離為當(dāng)前幀第j個(gè)檢測(cè)結(jié)果的特征向量和距離第i個(gè)追蹤器最近的100個(gè)成功關(guān)聯(lián)羊只頭部的特征集的最小余弦距離，計(jì)算公式為：

(2)

3.2 羊只計(jì)數(shù)

根據(jù)羊只頭部目標(biāo)跟蹤結(jié)果，羊只計(jì)數(shù)采用單線計(jì)數(shù)的方法，首先在羊通道出口的位置對(duì)應(yīng)的視頻圖像定義一條紅色標(biāo)記虛擬線，根據(jù)羊只頭部目標(biāo)跟蹤的結(jié)果，當(dāng)跟蹤目標(biāo)框的中心點(diǎn)經(jīng)過(guò)紅線，計(jì)數(shù)開始，中心點(diǎn)離開紅線，計(jì)數(shù)結(jié)束.首先設(shè)置集合A和B，其中A記錄所有與計(jì)數(shù)線相交過(guò)的目標(biāo)ID集合，B記錄所有與計(jì)數(shù)線相交之后，再離開線的目標(biāo)ID集合.單線計(jì)數(shù)示意圖見圖4.

圖4 單線計(jì)數(shù)示意

時(shí)刻1：目標(biāo)從左到右出現(xiàn)在視場(chǎng)內(nèi)，假定跟蹤器將其ID設(shè)置為“1”.此時(shí)集合A和B中皆沒(méi)有任何元素.時(shí)刻2：目標(biāo)“1”繼續(xù)往右移動(dòng)直到和線相交的時(shí)刻，此時(shí)“1”這個(gè)ID將被添加到集合A中.這個(gè)相交時(shí)刻就不存在目標(biāo)離開線的情況，故此時(shí)集合B依然不包含任何元素.時(shí)刻3：目標(biāo)“1”繼續(xù)往右移動(dòng)直到整體與線脫離的時(shí)刻，此時(shí)計(jì)數(shù)器發(fā)現(xiàn)目標(biāo)“1”在集合A內(nèi)，并且已經(jīng)離開計(jì)數(shù)線，則將“1”這個(gè)ID添加到集合B中.最終，所有目標(biāo)都經(jīng)歷上述目標(biāo)“1”的過(guò)程之后，集合B中所有元素的個(gè)數(shù)就表示計(jì)數(shù)個(gè)數(shù).

4 結(jié)果與分析

訓(xùn)練數(shù)據(jù)集的試驗(yàn)運(yùn)行環(huán)境為Intel Xeon E5-2680 CPU，128 G內(nèi)存，英偉達(dá)1080Ti顯卡，CUDA版本為10.0，Python 版本為3.6，Pytorch版本為0.4.1，操作系統(tǒng)為Ubuntu16.04.

4.1 CenterNet訓(xùn)練模型試驗(yàn)結(jié)果分析

在羊只檢測(cè)方面，用制作的2 460張圖像測(cè)試集對(duì)CenterNet模型訓(xùn)練進(jìn)行了評(píng)估測(cè)試，以epochs(迭代次數(shù))作為橫坐標(biāo),以Loss(損失)作為縱坐標(biāo)，繪制Loss曲線.紅線為L(zhǎng)oss總體水平；藍(lán)線hm_Loss為熱力圖Loss曲線；黑線wh_Loss為檢測(cè)框?qū)捀週oss曲線；綠線off_Loss為偏移Loss曲線.經(jīng)過(guò)200多次迭代，可以看出Loss基本平穩(wěn)，達(dá)到0.6，模型訓(xùn)練良好，Loss曲線如圖5所示.

圖5 Loss曲線

在羊只檢測(cè)方面，根據(jù)文章制作的600張測(cè)試集對(duì)CenterNet檢測(cè)算法和DeepSORT跟蹤算法進(jìn)行精度測(cè)試，以羊只的召回率(Recall)作為橫坐標(biāo)，以羊只的精確率(Precision)作為縱坐標(biāo)，繪制精確率(PR)曲線，通過(guò)對(duì)比檢測(cè)算法的平均精度(AP)和每秒檢測(cè)幀數(shù)(FPS).C75表示在交并比(IoU)=0.75的PR對(duì)應(yīng)平均準(zhǔn)確率(APIoU)=0.75度量曲線下的面積，mm2；C50表示在IoU=0.50的PR對(duì)應(yīng)APIoU=0.50度量曲線下的面積，mm2；Loc表示IoU=0.10的PR定位誤差；Sim表示超類別誤報(bào)被移除后的PR值；Oth表示為所有類型混亂被移除后的PR值；BG表示為所有背景誤報(bào)被移除后的PR值；FN表示在所有剩余錯(cuò)誤都被刪除后的PR值.一般以IoU=C50為平均召回率.可以看出，召回率為80%，CenterNet算法訓(xùn)練出的模型和檢測(cè)準(zhǔn)確率都較為理想.PR曲線如圖6所示.

圖6 PR曲線

4.2 羊只計(jì)數(shù)試驗(yàn)結(jié)果分析

在計(jì)數(shù)方面，視頻圖像中設(shè)定縱坐標(biāo)為500像素的一條紅色虛擬線，將紅色虛擬線作為計(jì)數(shù)線并進(jìn)行計(jì)數(shù)，由于羊群密集，目標(biāo)被部分遮擋，導(dǎo)致漏計(jì).為控制羊群密度，文章設(shè)計(jì)寬度為1.5 m的羊通道，對(duì)羊通道出口的羊只進(jìn)行檢測(cè)與計(jì)數(shù)，羊只計(jì)數(shù)過(guò)程如圖7所示.

將截取視頻分為4個(gè)片段1～20 s，20～40 s，40～60 s，60～80 s，對(duì)實(shí)際通過(guò)紅線的羊只數(shù)量進(jìn)行計(jì)數(shù)，計(jì)數(shù)情況見表2.將實(shí)際羊只數(shù)量與算法羊只數(shù)量精度進(jìn)行對(duì)比，精度(CenterNet算法/實(shí)際羊只數(shù)量)分別可達(dá)100%，97.3%，96.2%，95.3%.羊只真實(shí)值與檢測(cè)值對(duì)比結(jié)果見表1.

圖7 單線計(jì)數(shù)過(guò)程

表1 羊只真實(shí)值與檢測(cè)值對(duì)比結(jié)果表

在測(cè)試視頻中，每個(gè)時(shí)間段檢測(cè)通過(guò)紅線的羊只數(shù)量跟實(shí)際通過(guò)的羊只數(shù)量基本一致，精確率可達(dá)95.3%.其中，CenterNet算法的羊只數(shù)量少于實(shí)際羊只數(shù)量，其原因?yàn)檠蛑煌ㄟ^(guò)羊通道時(shí)因擁堵產(chǎn)生互相遮擋，導(dǎo)致目標(biāo)框ID丟失，以上問(wèn)題可以通過(guò)將羊通道出口收窄改善，文章算法能夠基本實(shí)現(xiàn)羊只計(jì)數(shù).

5 結(jié)論

第一部分是羊只頭部目標(biāo)檢測(cè)，文章采用CenterNet目標(biāo)檢測(cè)算法對(duì)羊只頭部進(jìn)行檢測(cè)，介紹了羊只頭部中心點(diǎn)預(yù)測(cè)和CenterNet整體結(jié)構(gòu)，并對(duì)羊只檢測(cè)實(shí)驗(yàn)結(jié)果進(jìn)行分析，精確度可達(dá)80%，可作為羊只目標(biāo)檢測(cè)的應(yīng)用算法.

第二部分是羊只頭部跟蹤與計(jì)數(shù)，文章采用DeepSORT目標(biāo)跟蹤算法對(duì)羊只ID進(jìn)行跟蹤，介紹了DeepSORT目標(biāo)跟蹤算法以及單線計(jì)數(shù)算法，并對(duì)計(jì)數(shù)結(jié)果進(jìn)行實(shí)驗(yàn)分析，精確度可達(dá)95.3%，可作為羊只目標(biāo)跟蹤的應(yīng)用算法.

以上實(shí)驗(yàn)表明，文章算法可以實(shí)現(xiàn)牧場(chǎng)中羊只自動(dòng)計(jì)數(shù)，為接下來(lái)系統(tǒng)推廣應(yīng)用奠定了基礎(chǔ).