基于時(shí)空特征的奶牛視頻行為識別

王克儉 孫奕飛 司永勝 韓憲忠 何振學(xué)

(1.河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院, 保定 071001;2.河北農(nóng)業(yè)大學(xué)河北省農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室, 保定 071001)

0 引言

隨著奶牛養(yǎng)殖業(yè)的高速發(fā)展以及集約化程度的迅速擴(kuò)大,奶牛的健康管理問題面臨著巨大的挑戰(zhàn)。將計(jì)算機(jī)視覺應(yīng)用到奶牛行為識別領(lǐng)域,是當(dāng)前研究的熱點(diǎn)問題[1]。奶牛在其生活中有特定的行為方式和生理習(xí)慣,在奶牛養(yǎng)殖過程中,對奶牛日常行為進(jìn)行高精度檢測,是實(shí)現(xiàn)奶牛健康管理的關(guān)鍵前提[2]。奶牛行為識別一方面有助于監(jiān)測奶牛的健康,發(fā)現(xiàn)異常行為并及時(shí)做出處理,另一方面也給養(yǎng)殖人員的飼養(yǎng)和管理工作帶來了便捷。隨著養(yǎng)殖規(guī)模的不斷擴(kuò)大,傳統(tǒng)的人工方法難以適應(yīng)更密集的奶牛群體。而計(jì)算機(jī)視覺具有實(shí)時(shí)、成本低、無接觸等優(yōu)點(diǎn)。因此,用計(jì)算機(jī)視覺技術(shù)來識別奶牛行為在奶牛繁殖、疾病診斷等方面有更大發(fā)展?jié)摿3]。

目前的識別方式主要為物聯(lián)網(wǎng)監(jiān)測[4-7]和計(jì)算機(jī)視覺識別[8-10]。物聯(lián)網(wǎng)監(jiān)測通過佩戴在動物身上的傳感器收集不同行為產(chǎn)生的運(yùn)動數(shù)值,并根據(jù)數(shù)值的差異進(jìn)行識別[11]。王俊等[12]和PENG等[13]通過固定傳感器接收運(yùn)動數(shù)值,完成了對奶牛行為的分類識別。隨著技術(shù)不斷提高,計(jì)算機(jī)視覺逐漸進(jìn)入人們的視線。卷積網(wǎng)絡(luò)[14]作為奶牛行為識別的高效計(jì)算方法被廣泛應(yīng)用。王少華等[15]使用高斯模型實(shí)現(xiàn)了奶牛爬跨行為的自動檢測。YIN等[16]和CHEN等[17-18]使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取奶牛視頻特征并結(jié)合LSTM獲取時(shí)間特征,已達(dá)到對奶牛行為識別的目的。GUO等[19]通過去除不相關(guān)背景,結(jié)合幾何和光流,對奶牛區(qū)域進(jìn)行檢測,訓(xùn)練SVM并分類。ZHANG等[20]和FUENTES等[21]將雙流網(wǎng)絡(luò)引入行為識別,該網(wǎng)絡(luò)分別提取視頻的時(shí)間和空間特征,以此達(dá)到識別奶牛行為的目的。

雖然穿戴式傳感器具有較高識別精度,但隨著使用次數(shù)增加,傳感器會產(chǎn)生老化或水分滲透等問題,影響數(shù)值的記錄,從而對行為產(chǎn)生誤判。而在計(jì)算機(jī)視覺方法中,雖然避免了物聯(lián)網(wǎng)監(jiān)測的弊端,但基于圖像的奶牛識別方法沒有考慮運(yùn)動的連續(xù)性,實(shí)驗(yàn)條件受限,環(huán)境單一,行為識別準(zhǔn)確性較低。

針對上述問題,本文提出TFL-TSN識別模型。以奶牛各時(shí)段行為作為監(jiān)控對象,使用高清攝像頭實(shí)時(shí)捕捉奶牛在牛棚中的運(yùn)動行為。通過構(gòu)建一個(gè)包含時(shí)間和空間的雙流結(jié)構(gòu),分別提取奶牛運(yùn)動特征以及奶牛主體、背景信息,從而提高較依賴時(shí)序的行為識別準(zhǔn)確率。

1 數(shù)據(jù)集構(gòu)建

原始數(shù)據(jù)集由河北省保定市滿城縣宏達(dá)牧場提供,使用安裝在牛棚棚頂并通過互聯(lián)網(wǎng)控制的攝像頭進(jìn)行視頻采集,所有視頻均從視頻收集平臺獲取,在實(shí)驗(yàn)過程中未對視頻本身做任何修改。采集的視頻包括白天和夜間,旨在研究不同時(shí)間的行為變化。圖1為實(shí)驗(yàn)所用數(shù)據(jù)集中不同行為圖像,其中從左到右依次為進(jìn)食、躺臥、站立、行走。奶牛行為具有多樣性,本文選取躺臥、站立、行走、進(jìn)食4種行為進(jìn)行研究,表1為基本行為定義。對采集的視頻進(jìn)行篩選,消除因拍攝角度或其他因素引起的視頻模糊和無奶牛主體片段,針對每個(gè)視頻,截取包含同一行為的視頻。為了證明該方法具有普遍性,從不同視頻中截取具有不同體態(tài)的相同行為,以避免不同行為包含相同姿勢。考慮到光照會對識別結(jié)果產(chǎn)生影響,因此每個(gè)行為的視頻均包括白天和夜間采集的視頻,共截取996個(gè)視頻,每個(gè)視頻時(shí)長3～7 s,每秒保存50幀。

表1 奶牛基本行為定義

圖1 奶牛不同行為示例

此外,每個(gè)視頻均只有一個(gè)行為標(biāo)簽,視頻由“行為名稱_編號”命名,將白天和夜間時(shí)間比為7∶3的650個(gè)視頻按8∶2的比例分為訓(xùn)練集和測試集。考慮到不同光照對結(jié)果的影響,在保證訓(xùn)練集一致的情況下,添加一些新的視頻數(shù)據(jù)作為補(bǔ)充測試集,將其余346個(gè)視頻作為不同光照下的數(shù)據(jù)集,以研究該方法在不同條件下的魯棒性,該補(bǔ)充測試集白天和夜間視頻各占50%。為解決類間不平衡的問題,通過增加視頻片段擴(kuò)充數(shù)據(jù)集,使每個(gè)行為的樣本數(shù)據(jù)集相對平衡。

2 研究方法

奶牛行為識別可定義為測試視頻與預(yù)先校準(zhǔn)的行為參考特征間的匹配度,通過跟蹤觀察奶牛行為,挖掘各行為規(guī)范[22-23]。由于奶牛的行為具有連續(xù)的動態(tài)特征,本文提出了融合時(shí)空特征的TFL-TSN識別模型,該模型在時(shí)域段網(wǎng)絡(luò)(TSN)的基礎(chǔ)上融合了時(shí)態(tài)移位模塊(TSM)、特征注意單元(FAU)和長短期記憶(LSTM)網(wǎng)絡(luò)。識別流程如圖2所示,分為時(shí)態(tài)移位、視頻特征提取及融合與行為識別3部分。

圖2 奶牛行為識別流程

首先視頻經(jīng)過TSM的移位操作,將原相鄰幀的特征進(jìn)行混合處理,同時(shí)融合部分信道的時(shí)間信息,此時(shí)當(dāng)前幀既有本幀信息又有未來幀的部分信息,以此完成對時(shí)序的建模;然后利用稀疏采樣[24]的思想,將輸入視頻分為若干個(gè)子視頻,依次從每個(gè)子視頻中隨機(jī)抽取一幀作為訓(xùn)練樣本輸入主干網(wǎng)絡(luò)ResNet50,上述稀疏采樣模塊和ResNet50構(gòu)成了TSN,并通過FAU提取時(shí)間和空間的關(guān)鍵特征;最后將融合后的特征輸入LSTM,捕捉當(dāng)前和過去的隱含信息得到最終識別結(jié)果。

2.1 時(shí)態(tài)移位模塊

由于進(jìn)食、行走等行為較依賴時(shí)序,但是二維卷積在時(shí)間通道上獨(dú)立工作,并不具備建模時(shí)序的能力,而且視頻的時(shí)間維度描述了運(yùn)動的變化,提供了大量的信息,因此在二維卷積的基礎(chǔ)上引入TSM[25]。該模塊可以提高模型的時(shí)序建模能力,但隨之產(chǎn)生了學(xué)習(xí)空間特征能力下降的問題。TSM將卷積過程分為兩步,第1步是數(shù)據(jù)融合,如圖3,在時(shí)間維度上通過+1、-1、0移動部分通道,使來自相鄰幀的信息與當(dāng)前幀融合,提高時(shí)序建模能力,其數(shù)學(xué)表達(dá)式為

(1)

(2)

(3)

Xi-1——時(shí)刻i-1時(shí)信息

Xi——時(shí)刻i時(shí)信息

Xi+1——時(shí)刻i+1時(shí)信息

第2步是乘法累加,對融合后的信息分配相應(yīng)權(quán)重再相加。

Y=ω1X(-1)+ω2X(0)+ω3X(+1)

(4)

式中Y——卷積運(yùn)算結(jié)果

ω1、ω2、ω3——權(quán)重系數(shù)

X(-1)——后向移動后通道

X(0)——未移動通道

X(+1)——正向移動后通道

移位比過大時(shí),空間特征建模能力會被削弱;移位比太小時(shí),時(shí)序建模能力會降低,有研究表明較為合理的移位比為1/8[25],本文將前1/8的通道進(jìn)行正移(+1),隨后1/8通道進(jìn)行后移(-1),其余通道不移動(0)。沿著時(shí)間維度移動特征圖的部分通道,交換相鄰幀信息,使此幀圖像融合部分未來和過去的信息,此時(shí)可以更好地提取有關(guān)時(shí)序信息的外觀和運(yùn)動特征,提高行為識別準(zhǔn)確率。

2.2 視頻特征提取及融合

2.2.1奶牛視頻特征提取

與圖像識別不同,行為識別是通過一系列連續(xù)變化的圖像來識別不同的行為。一方面,視頻中的行為包含運(yùn)動軌跡和視角的變化;另一方面,目前卷積網(wǎng)絡(luò)以空間為主導(dǎo),無法利用視頻本身的時(shí)間信息。針對卷積網(wǎng)絡(luò)無法較好地識別長時(shí)間行為的問題,本文利用固定分段和稀疏采樣的思想達(dá)到學(xué)習(xí)長時(shí)間視頻的目的[26-28]。

本文提出的改進(jìn)時(shí)域段網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。首先將視頻進(jìn)行拆分,將抽幀后得到的視頻幀和一組低灰度圖像(差分RGB)輸入TFL-TSN模型得到空間和時(shí)間信息。具體地,將視頻分為k段{S1,S2,…,Sk},然后對每個(gè)視頻片段進(jìn)行建模

圖4 改進(jìn)時(shí)域段網(wǎng)絡(luò)

Pα=G(F(T1;W),F(T2;W),…,F(Tk;W))

(5)

Pβ=G(F(T1;W),F(T2;W),…,F(Tk;W))

(6)

TSN(T1,T2,…,Tk)=MAX(σ(λPα+μPβ))

(7)

式中Pα——RGB模態(tài)

Pβ——差分RGB模態(tài)

TSN(T1,T2,…,Tk)——預(yù)測結(jié)果

T1、T2、…、Tk——抽取的視頻幀

G——聚合函數(shù)

W——網(wǎng)絡(luò)參數(shù)

F(Tk;W)——視頻識別結(jié)果

λ、μ——比例系數(shù)

σ——Softmax函數(shù)

MAX——最大值函數(shù)

2.2.2奶牛視頻特征融合

為保證發(fā)送到LSTM的特征豐富性,同時(shí)彌補(bǔ)因加入TSM而損失的空間特征學(xué)習(xí)能力,并針對拍攝角度引起的部分奶牛主體較小,存在誤將奶牛推理為背景的問題,對視頻特征進(jìn)行融合處理,特征金字塔可以自上而下聚合多個(gè)維度,在較低分辨率特征圖上具有較強(qiáng)語義信息提取能力,能夠提高小目標(biāo)物體檢測能力。但其存在較明顯的缺陷:單向信息流無法充分聚焦重要信息。因此,在網(wǎng)絡(luò)提取特征時(shí),本文采用如圖5所示的特征注意單元。該單元通過增加特征映射的分辨率提取小目標(biāo)物體的特征,獲取更多有關(guān)小目標(biāo)物體的有效信息。實(shí)驗(yàn)使用卷積注意力(CBAM),通過在通道和空間維度應(yīng)用注意力,使網(wǎng)絡(luò)更好地抑制無效特征,并根據(jù)當(dāng)前行為提取更為突出的主要特征,從而增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)和表達(dá)能力[29]。

圖5 特征注意單元

針對每層提取的特征,使用通道注意力提取視頻幀中主體及背景信息,使用空間注意力提取目標(biāo)的位置信息,再經(jīng)過下采樣壓縮無用信息并與上層特征圖融合,逐步生成頂層特征圖;隨后將頂層特征圖經(jīng)過上采樣融合每層特征圖,著重利用低分辨率語義信息加強(qiáng)局部的學(xué)習(xí)能力,同時(shí)融合高分辨率空間信息豐富的特征圖,最終合并3個(gè)結(jié)果作為下一階段輸入。

FAU的計(jì)算公式為

(8)

(9)

Q5=P2+P3+P4

(10)

式中Ci——第i層提取的特征圖

Pi——Ci提取的特征并融合經(jīng)注意力機(jī)制提取的第i+1層特征圖

Q5——最終融合特征圖

Conv——卷積操作

Resizedown——下采樣

2.3 奶牛行為識別

奶牛的行為與時(shí)間序列密切相關(guān),使用一般的卷積網(wǎng)絡(luò)很難處理帶有時(shí)間序列的數(shù)據(jù),因此需要一種循環(huán)記憶式網(wǎng)絡(luò)來幫助卷積記憶前后幀信息。如圖6所示,LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的一種,其內(nèi)部通過門控機(jī)制解決了因?qū)W習(xí)長序列數(shù)據(jù)導(dǎo)致的梯度消失和爆炸問題[30-31]。LSTM通過遺忘門、記憶門和輸出門控制信息狀態(tài)。首先通過遺忘門判斷需要丟棄的信息,然后通過記憶門融合對當(dāng)前任務(wù)有用的信息,最后通過輸出門輸出信息,以此解決信息的長期依賴問題。

圖6 長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)

對于視頻中的行為,不能僅根據(jù)空間信息或時(shí)間信息來完成判斷,針對提取的奶牛運(yùn)動趨勢、背景等信息相互不具有通用性的問題,只有將其組合才能構(gòu)建出魯棒性更好和更有效的特征。在提取視頻的時(shí)間和空間特征后,構(gòu)建一個(gè)LSTM分類器來識別奶牛行為。首先利用LSTM從向量序列中提取特征,把過去的信息與當(dāng)前任務(wù)相連接,利用之前視頻幀的狀態(tài)判斷當(dāng)前幀的行為,能夠?qū)﹂L時(shí)視頻的時(shí)間維度建立依賴關(guān)系。其次將學(xué)習(xí)到的特征作為全連接層的輸入,最后通過SoftMax層分類并輸出4類行為的預(yù)測結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在Ubuntu 18.04系統(tǒng)下,基于PyTorch 1.7.1 + CUDA 11.0 + CuDNN 8.0實(shí)現(xiàn)。計(jì)算機(jī)配置為CPU 6×XeonE5-2678 v3,NVIDA GeForce2080Ti顯卡。采用隨機(jī)梯度下降(SGD),動量為0.9,批量大小為4,使用交叉熵?fù)p失,激活函數(shù)為ReLU函數(shù),初始學(xué)習(xí)率設(shè)為0.005,當(dāng)測試精度在5個(gè)迭代周期內(nèi)無增加時(shí),學(xué)習(xí)率進(jìn)行衰減,衰減率為0.2?？紤]到視頻中的連續(xù)視頻幀是高度冗余的,存在較為相似的空間以及時(shí)間信息特征,在訓(xùn)練和測試時(shí)通過利用稀疏采樣消除相鄰幀的冗余信息來加快推理速度。

3.2 消融實(shí)驗(yàn)

利用該方法對建立的奶牛行為數(shù)據(jù)集進(jìn)行識別,在控制變量法的思想下,保證學(xué)習(xí)率、優(yōu)化器等參數(shù)一致,結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果

對比加入TSM前后可知,依靠時(shí)序建模的行為識別準(zhǔn)確率上升,但站立行為下降。原因在于TSN網(wǎng)絡(luò)雖能更好地利用時(shí)間信息,但損失了一些空間特征學(xué)習(xí)能力。由于融合時(shí)間信息所附帶的空間信息,在空間建模時(shí)摻雜一些本不屬于此幀的信息,從而導(dǎo)致識別錯(cuò)誤,但對于進(jìn)食或行走識別準(zhǔn)確率的提升證明引入TSM是可行的。對比加入FAU前后,進(jìn)食、躺臥、站立行為識別準(zhǔn)確率均有提升,這是由于FAU下采樣時(shí)可以注意到一些微小的變化,FAU增加了TSN網(wǎng)絡(luò)學(xué)習(xí)細(xì)化特征的能力。分析部分躺臥分類錯(cuò)誤的視頻數(shù)據(jù),都是將躺臥狀態(tài)反芻的奶牛錯(cuò)誤分類為進(jìn)食。進(jìn)食和躺臥時(shí)反芻行為類似,都有嘴部動作,在FAU下采樣時(shí),過于關(guān)注嘴部變化,而忽略了時(shí)間信息的重要性。TSN網(wǎng)絡(luò)通過逐層添加注意機(jī)制并融合下層特征,逐漸聚焦當(dāng)前行為的重要特征,如圖7所示。

圖7 添加注意機(jī)制效果可視化

進(jìn)食行為逐漸集中到學(xué)習(xí)頭部信息,站立及行走行為逐步關(guān)注腿部特征,而躺臥聚焦到腹部貼近地面部分。對比加入LSTM前后,依賴時(shí)間關(guān)系建模的行為如進(jìn)食,行為識別準(zhǔn)確率有所增加。對于其他以空間結(jié)構(gòu)建模就可識別的行為,準(zhǔn)確率增加不明顯,對于進(jìn)食這種復(fù)合行為,需要依靠時(shí)間來判斷是躺臥或站立中的進(jìn)食還是僅是躺臥或站立行為。由融合各模塊結(jié)果可知,行走行為與原模型相同,躺臥和站立行為均增加4個(gè)百分點(diǎn),進(jìn)食行為識別準(zhǔn)確率增加最為明顯,提升26.7個(gè)百分點(diǎn)?？傮w結(jié)果表明,本文方法可以實(shí)現(xiàn)高精度奶牛基本行為識別。此外,通過消融實(shí)驗(yàn)發(fā)現(xiàn),ResNet50+FAU也有較高的平均行為識別準(zhǔn)確率。

3.3 模型對比

將本文提出的TFL-TSN模型與C3D、I3D、CNN-LSTM模型進(jìn)行對比實(shí)驗(yàn),以驗(yàn)證本文模型的有效性。

由表3可知,本文模型與C3D、I3D、CNN-LSTM模型相比,平均行為識別準(zhǔn)確率分別提升7.9、9.2、9.6個(gè)百分點(diǎn),較現(xiàn)有行為識別模型具有一定優(yōu)勢,其原因在于文中提出的TFL-TSN能有效利用TSM融合的時(shí)間關(guān)系并進(jìn)行建模,以及增強(qiáng)了學(xué)習(xí)局部特征的能力,通過結(jié)合高、低分辨率下的不同信息,提高相似動作的辨識度,從而提升識別準(zhǔn)確率。

表3 不同模型結(jié)果對比 Tab.3 Comparison of different model results %

3.4 復(fù)雜場景下模型魯棒性

考慮到奶牛養(yǎng)殖場環(huán)境復(fù)雜,存在諸多干擾因素,為驗(yàn)證該方法在不同條件下的魯棒性,本文分析了在不同光照下該方法的實(shí)用性。

選取10:00—03:00拍攝的視頻,時(shí)間跨度從日出到深夜,以確保選取的視頻照明條件存在較大差異。為進(jìn)一步探討不同光照對該模型識別結(jié)果的影響,在保證訓(xùn)練集一致的前提下,添加了一些新視頻數(shù)據(jù),將夜間視頻數(shù)據(jù)的比例由30%提高到50%,以驗(yàn)證模型的魯棒性。為對比分析,將消融實(shí)驗(yàn)中平均行為識別準(zhǔn)確率較高的ResNet50+FAU也進(jìn)行驗(yàn)證。因在夜間奶牛進(jìn)食行為發(fā)生較少,夜間僅對其余3種行為進(jìn)行識別。

驗(yàn)證結(jié)果如表4所示,其中兩種模型白天的平均行為識別準(zhǔn)確率相差較小,本文模型比ResNet50+FAU高0.8個(gè)百分點(diǎn);本文模型夜間的平均行為識別準(zhǔn)確率比ResNet50+FAU高2.3個(gè)百分點(diǎn)。為評估模型在不同光照下的表現(xiàn)差異,分別計(jì)算兩種模型白天和夜間各種行為識別準(zhǔn)確率的歐氏距離,本文模型的歐氏距離較小,說明本文模型受光照影響較小,原因在于LSTM具有貫穿整個(gè)網(wǎng)絡(luò)的長期記憶單元,可以融合之前所有時(shí)刻的模塊的光照信息并傳遞給下一時(shí)刻的模塊,因此更能適應(yīng)不同光照條件。兩種模型夜間的平均行為識別準(zhǔn)確率均高于白天,可能原因是白天不同時(shí)段光照強(qiáng)度變化較為明顯,而夜間采用日光燈照明,光照強(qiáng)度較為恒定。實(shí)驗(yàn)結(jié)果表明光照變化會對奶牛行為識別準(zhǔn)確率產(chǎn)生一定影響,但本文模型受光照影響相對較小。

表4 不同光照結(jié)果對比

4 結(jié)論

(1)為實(shí)現(xiàn)牛棚內(nèi)奶牛的行為識別,在TSN模型的基礎(chǔ)上,通過引入時(shí)態(tài)移位模塊(TSM)、特征注意單元(FAU)、長短期記憶(LSTM),提出了一種雙流網(wǎng)絡(luò)結(jié)構(gòu)且融合時(shí)間和空間信息的奶牛行為識別模型。

(2)實(shí)驗(yàn)結(jié)果表明,TFL-TSN模型對進(jìn)食、行走、躺臥、站立行為識別準(zhǔn)確率分別為76.7%、90.0%、68.0%、96.0%。該模型相較C3D、I3D、CNN-LSTM平均行為識別準(zhǔn)確率分別提高7.9、9.2、9.6個(gè)百分點(diǎn)。

(3)不同光照條件下的實(shí)驗(yàn)結(jié)果表明,光照變化會對奶牛行為識別準(zhǔn)確率產(chǎn)生一定影響,但本文模型受光照影響相對較小。所構(gòu)建的奶牛行為識別模型可以滿足養(yǎng)殖環(huán)境中奶牛行為識別的需要,可為感知奶牛健康和疾病預(yù)防提供技術(shù)支持。