基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的羊行為識(shí)別

李小迪，王天一

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025）

0 引言

近年來(lái)，國(guó)內(nèi)羊養(yǎng)殖行業(yè)發(fā)展迅猛，羊養(yǎng)殖已然占據(jù)國(guó)內(nèi)畜牧產(chǎn)業(yè)較大比重。為了滿足市場(chǎng)需求，羊養(yǎng)殖的規(guī)模不斷擴(kuò)大，養(yǎng)殖方式從散養(yǎng)模式、牧場(chǎng)養(yǎng)殖向智能化、規(guī)?；姆绞睫D(zhuǎn)變。智能化的養(yǎng)殖技術(shù)使得畜牧產(chǎn)業(yè)從注重羊養(yǎng)殖數(shù)量變?yōu)樽⒅仞B(yǎng)殖質(zhì)量，經(jīng)營(yíng)方式從粗獷式經(jīng)營(yíng)轉(zhuǎn)變?yōu)楣S化、集約化。這樣的轉(zhuǎn)變不僅提高了養(yǎng)殖的水平，更使得養(yǎng)殖產(chǎn)品的安全性得到改善，同時(shí)也大大減少了由于不良養(yǎng)殖帶來(lái)的環(huán)境污染，提高了養(yǎng)殖的社會(huì)效益。此外，智能化養(yǎng)殖減少了用工量，改善了養(yǎng)殖場(chǎng)管理模式，提升了養(yǎng)殖產(chǎn)品質(zhì)量，降低了養(yǎng)殖的用人成本，從而提高了養(yǎng)殖的經(jīng)營(yíng)效益［1-5］。

羊的不同行為反映了羊個(gè)體的整體狀況，可以作為羊健康狀況的重要參考。因此，高效準(zhǔn)確地識(shí)別羊的行為，對(duì)羊的智能化養(yǎng)殖有重要意義。目前，動(dòng)物識(shí)別方法包括：人工監(jiān)測(cè)法、基于可穿戴設(shè)備的方法、基于深度學(xué)習(xí)的方法等。Marchioro 等人［6］利用三軸加速度傳感器采集不同行為的母豬數(shù)據(jù)集，并通過(guò)分析不同行為的特征進(jìn)行母豬行為識(shí)別，實(shí)驗(yàn)證明，該方法對(duì)母豬產(chǎn)仔行為識(shí)別的準(zhǔn)確率最高達(dá)到90%。Dutta 等人［7］使用三軸磁力計(jì)和三軸加速度傳感器穿戴在奶牛脖頸處，記錄奶牛的不同行為，首先提取出奶牛不同行為的特征，其次做歸一化處理，最后使用決策樹、KNN 等不同算法對(duì)奶牛的不同行為進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明，不同算法的識(shí)別準(zhǔn)確率相近，其中決策樹算法最優(yōu)。郭冬冬［8］使用三軸加速度傳感器獲取山羊不同行為數(shù)據(jù)集，然后使用k-means算法識(shí)別山羊不同行為，最終識(shí)別率達(dá)到87%左右。何東健等人［9］從監(jiān)控視頻中獲取牦牛的行為信息，首先對(duì)牦牛進(jìn)行目標(biāo)檢測(cè)，再使用k-means算法識(shí)別牦牛不同行為，實(shí)驗(yàn)證明，該方法識(shí)別準(zhǔn)確率較高。

與人工監(jiān)測(cè)法和可穿戴設(shè)備的方法相比，深度學(xué)習(xí)對(duì)于輸入圖像要求較低，對(duì)于有噪聲的圖像，無(wú)需對(duì)圖像進(jìn)行復(fù)雜的去噪處理，且能夠從大量數(shù)據(jù)中自動(dòng)地學(xué)習(xí)圖像特征，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）［10-13］可以實(shí)現(xiàn)圖像特征的自動(dòng)提取，使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行行為識(shí)別，不僅提高了識(shí)別效率，也提升了識(shí)別的準(zhǔn)確率。目前已成功應(yīng)用于個(gè)體識(shí)別［14］、圖像分類［15-16］、掌紋識(shí)別［17-18］、行為識(shí)別［19-22］等領(lǐng)域。

為了實(shí)現(xiàn)低成本，非接觸式的羊行為識(shí)別，本文采集了大量養(yǎng)殖場(chǎng)環(huán)境下羊的行為視頻，通過(guò)分析羊不同行為的特征，提出了基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的羊行為識(shí)別方法，構(gòu)建卷積核尺寸為3×3 的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)比分析不同激活函數(shù)和不同丟棄率對(duì)模型性能的影響，使用余弦退火學(xué)習(xí)率對(duì)網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)微調(diào)，分析有無(wú)遮擋情況下羊不同行為的識(shí)別準(zhǔn)確率，實(shí)驗(yàn)結(jié)果顯示，本文提出的方法識(shí)別速度較快，可達(dá)到28 fps，對(duì)于羊的進(jìn)食、站立、坐臥等行為識(shí)別準(zhǔn)確率均達(dá)到90%以上。

1 網(wǎng)絡(luò)構(gòu)建

1.1 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)是一種包含了卷積運(yùn)算的人工神經(jīng)網(wǎng)絡(luò)，包含輸入層、卷積層、池化層、輸出層等部分。在羊行為識(shí)別的任務(wù)場(chǎng)景中，通過(guò)對(duì)羊不同行為視頻逐幀分析發(fā)現(xiàn)：羊只的進(jìn)食行為，進(jìn)食位置在畫面中隨機(jī)出現(xiàn)，且羊在進(jìn)食時(shí)羊頭伸出羊圈，身體也不同程度地向下彎曲；羊只的坐臥行為，羊只腿部蜷縮，頭部大多低下或緊貼地面，這2 種行為都會(huì)導(dǎo)致羊只有不同程度的扭曲變形使得識(shí)別難度加大?；诖嗽?，構(gòu)建適合羊只不同行為的卷積神經(jīng)網(wǎng)絡(luò)，模型結(jié)構(gòu)設(shè)計(jì)如圖1 所示。對(duì)此擬做探討分述如下。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Structure of convolutional neural network

（1）輸入層。由于養(yǎng)殖場(chǎng)中，羊的種類相同，羊的顏色和花紋都相近，且羊的外形、顏色并不影響羊行為的識(shí)別，因此輸入的羊只不同行為的圖像大小為32×32×1，輸入網(wǎng)絡(luò)中進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

（2）卷積層。羊的不同行為均有不同的特征，為了能夠較準(zhǔn)確地提取出羊不同行為的圖像特征，本文構(gòu)建了3 個(gè)卷積層，分別為C1、C2、C3。由于，2 個(gè)3×3 卷積的感受野可代替一個(gè)5×5 卷積的感受野，3 個(gè)3×3 卷積的感受野可代替一個(gè)7×7 卷積的感受野，且3×3 卷積網(wǎng)絡(luò)的參數(shù)少，非線性更多，網(wǎng)絡(luò)更深，使得模型的學(xué)習(xí)能力更強(qiáng)，且養(yǎng)殖場(chǎng)背景環(huán)境較為復(fù)雜，為了提取出更多的特征，本文構(gòu)建的網(wǎng)絡(luò)中卷積核的大小均為3×3。3 個(gè)卷積層的卷積核個(gè)數(shù)分別為：30 個(gè)、60 個(gè)、100 個(gè)。

（3）池化層。池化的過(guò)程也就是下采樣的過(guò)程，在卷積神經(jīng)網(wǎng)絡(luò)中，需要通過(guò)池化層給得到的特征圖降維，將特征進(jìn)行壓縮可有效縮小特征圖的尺寸，從而減少計(jì)算量，防止網(wǎng)絡(luò)的過(guò)擬合。本文采用max -pooling作為下采樣的方法，選圖像區(qū)域的最大值作為該區(qū)域池化后的值，池化層濾波器的尺寸為2×2。

（4）輸出層。以全連接層和softmax［23］層作為網(wǎng)絡(luò)的輸出層對(duì)網(wǎng)絡(luò)提取的特征進(jìn)行計(jì)算。全連接能夠?qū)⑤敵龅亩S特征圖轉(zhuǎn)化為一維的特征向量，全連接層在卷積神經(jīng)網(wǎng)絡(luò)中可以作為“分類器”使用，本文在全連接層中加入丟棄操作，降低全連接層中各神經(jīng)元之間的依賴性，以此提高網(wǎng)絡(luò)的泛化能力。此外，使用softmax分類函數(shù)計(jì)算羊只不同行為的發(fā)生概率，公式如下：

通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)主干層的分析，搭建出適合羊行為識(shí)別的網(wǎng)絡(luò)，網(wǎng)絡(luò)訓(xùn)練集分為進(jìn)食行為、站立行為和坐臥行為三個(gè)類別。

1.2 SeLU 激活函數(shù)

在卷積神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)是必不可少的，使用激活函數(shù)，使得網(wǎng)絡(luò)上一層的輸入與下一層的輸出呈現(xiàn)非線性的關(guān)系，并且可以對(duì)任意函數(shù)進(jìn)行逼近，使得網(wǎng)絡(luò)具備更強(qiáng)大的表達(dá)能力。目前，大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)都使用ReLU作為激活函數(shù)，但當(dāng)ReLU激活函數(shù)的輸入值小于0 時(shí)，會(huì)造成梯度消失，使得部分神經(jīng)元無(wú)法被激活。為解決這一問題，本文算法采用SeLU激活函數(shù)配合lecun-normal 權(quán)重初始化方式。SeLU激活函數(shù)的優(yōu)點(diǎn)包括能夠使神經(jīng)網(wǎng)絡(luò)自歸一化、避免了梯度爆炸、梯度消失等問題、輸出有正值和負(fù)值，能更好地控制均值等，其表達(dá)式如下：

在文獻(xiàn)［24］中已證明λ≈1.67，a≈1.05。

1.3 丟棄操作

在模型訓(xùn)練過(guò)程中，由于羊的行為多樣，使得少量羊的不同行為的圖像較為相似，導(dǎo)致網(wǎng)絡(luò)模型容易出現(xiàn)過(guò)擬合現(xiàn)象。因此，在訓(xùn)練網(wǎng)絡(luò)時(shí)采用丟棄操作，讓卷積神經(jīng)網(wǎng)絡(luò)的全連接層神經(jīng)元按照一定的概率p隨機(jī)置零，從而使得神經(jīng)元之間的依賴性降低，提高模型的泛化能力。Alpha dropout［24］是丟棄操作中的一種，常規(guī)的丟棄操作會(huì)破壞網(wǎng)絡(luò)的自歸一化功能，而Alpha dropout以概率p將部分神經(jīng)元置零時(shí)，保留下來(lái)的神經(jīng)元會(huì)進(jìn)行縮放和移位使得輸出是零均值和單位方差，保證了數(shù)據(jù)的規(guī)范性，其原理如圖2 所示。

圖2 丟棄操作原理Fig. 2 Alpha dropout operation principle

2 余弦退火動(dòng)態(tài)學(xué)習(xí)率

在訓(xùn)練網(wǎng)絡(luò)的過(guò)程中，學(xué)習(xí)率需要根據(jù)網(wǎng)絡(luò)的訓(xùn)練情況進(jìn)行動(dòng)態(tài)調(diào)整。在網(wǎng)絡(luò)訓(xùn)練初期，對(duì)于輸入圖像的像素信息完全未知，不恰當(dāng)?shù)膶W(xué)習(xí)率容易使模型陷入過(guò)擬合，在訓(xùn)練后期，過(guò)大學(xué)習(xí)率則會(huì)造成損失的大幅度震蕩。因此，本文采用余弦退火動(dòng)態(tài)學(xué)習(xí)率［25-26］，使學(xué)習(xí)率的變化符合余弦函數(shù)的變化方式，讓模型輕松跳出局部最優(yōu)解。其表達(dá)式如下：

其中，i表示運(yùn)行輪次；表示學(xué)習(xí)率最大值；表示學(xué)習(xí)率最小值，這2 個(gè)值使得學(xué)習(xí)率在一定范圍內(nèi)衰減；Ti表示第i次運(yùn)行時(shí)總的epoch數(shù)；Tcur表示當(dāng)前執(zhí)行了多少個(gè)epoch。本文的初始學(xué)習(xí)率設(shè)置為0.001，隨著epoch的增加，學(xué)習(xí)率按照余弦規(guī)律減少，當(dāng)訓(xùn)練到第50 個(gè)epoch時(shí)，學(xué)習(xí)率下降速度達(dá)到最快，最終大小為10-5。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集的構(gòu)建

實(shí)驗(yàn)視頻在貴州省某羊只養(yǎng)殖場(chǎng)中采集，每段視頻的平均時(shí)長(zhǎng)為3 min，格式為mp4，幀寬度為1 920像素，幀高度為1 080 像素，幀速率50 幀／s。視頻均在白天光線充足的條件下進(jìn)行采集。

在預(yù)處理過(guò)程中，首先對(duì)采集的羊只行為視頻進(jìn)行人工篩選，篩選出進(jìn)食行為視頻394 段，站立行為視頻312 段，坐臥行為視頻318 段。通過(guò)對(duì)關(guān)鍵幀的提取，手動(dòng)刪除關(guān)鍵幀中羊只肢體不全、遮擋嚴(yán)重、無(wú)羊只等無(wú)效圖像，選擇不同姿態(tài)、不同角度的羊只進(jìn)食行為圖像3 500 張；羊只站立行為圖像2 800張，羊只坐臥行為圖像3 100張。共計(jì)9 400張羊只不同行為圖像構(gòu)成實(shí)驗(yàn)所用數(shù)據(jù)集。在此基礎(chǔ)上，按照8 ∶2 的方式劃分訓(xùn)練集和測(cè)試集。

3.2 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)使用的操作系統(tǒng)為Ubuntu18.04.4LTS，Python3.7，深度學(xué)習(xí)框架：Tensorflow2.0，Graphics card：RTX 2080Ti，CPU：i7-9700，總共5 500 張圖片，按照8：2 的比例劃分為訓(xùn)練集和測(cè)試集。

3.3 丟棄率對(duì)網(wǎng)絡(luò)模型性能的影響

丟棄操作會(huì)使卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)元按照一定的丟棄率p被置零，從而失去活性。當(dāng)丟棄率p設(shè)置過(guò)高時(shí)，失活的神經(jīng)元過(guò)多，容易導(dǎo)致模型欠學(xué)習(xí)，影響模型的識(shí)別準(zhǔn)確率；當(dāng)丟棄率p設(shè)置過(guò)低時(shí)，難以達(dá)到丟棄操作的效果。因此，本文將丟棄率分別設(shè)置為0.2，0.3，0.4，0.5，0.6，0.7。不同丟棄率下網(wǎng)絡(luò)的識(shí)別效果如圖3 所示。

圖3 不同丟棄率下網(wǎng)絡(luò)識(shí)別效果Fig. 3 Network recognition effect under different discarding rates

由圖3 可知，當(dāng)丟棄率p為0.5 時(shí)，卷積神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率達(dá)到最高，因此，本文丟棄率設(shè)置為0.5。

3.4 ReLU 激活函數(shù)和SeLU 激活函數(shù)的比較

在卷積神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)至關(guān)重要，本文使用ReLU激活函數(shù)的變體SeLU激活函數(shù)，實(shí)驗(yàn)結(jié)果如圖4 所示。由圖4 可知，在丟棄率設(shè)置為0.5 的情況下，使用SeLU激活函數(shù)，模型的準(zhǔn)確率由89%左右提升至92%左右，損失值Loss降低為0.24 左右。

圖4 ReLU 激活函數(shù)和SeLU 激活函數(shù)精確率和Loss 的比較Fig. 4 Comparison of Accuracy and Loss of ReLU activation function and SeLU activation function

3.5 有無(wú)遮擋情況下羊只行為識(shí)別效果

由于羊只在養(yǎng)殖場(chǎng)內(nèi)活動(dòng)，存在有、無(wú)欄桿遮擋的情況，如圖5、圖6 所示。因此本文對(duì)比有無(wú)遮擋情況下羊只行為識(shí)別結(jié)果，見表1。

圖5 無(wú)遮擋羊進(jìn)食、站立、坐臥行為Fig. 5 Behaviors of eating，standing，sitting and lying of sheep without sheltering

圖6 有遮擋羊進(jìn)食、站立、坐臥行為Fig. 6 Behaviors of sheltering sheep from eating，standing，sitting and lying

表1 有無(wú)遮擋情況下羊只行為識(shí)別效果Tab.1 Effect of sheep behaviors recognition with or without occlusion

由于3×3 的卷積核能提取出較多的羊不同行為特征；SeLU激活函數(shù)使得網(wǎng)絡(luò)具有自歸一化功能且避免了梯度爆炸和梯度消失的問題；Alpha dropout降低了全連接層各神經(jīng)元的依賴性，提高了網(wǎng)絡(luò)的泛化能力；余弦退火動(dòng)態(tài)學(xué)習(xí)率避免了網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象，使得本文算法的識(shí)別率較高。由表1 可知，在無(wú)遮擋情況下，羊的進(jìn)食、站立、坐臥行為的識(shí)別率均達(dá)到90%以上，在有遮擋的情況下也能達(dá)到85%以上，有遮擋羊只行為識(shí)別的準(zhǔn)確率稍低的原因是羊只行為部分遮擋嚴(yán)重，造成羊行為的特征發(fā)生扭曲變化，因此被網(wǎng)絡(luò)識(shí)別錯(cuò)誤。實(shí)驗(yàn)結(jié)果表明，本文方法能夠完成羊只不同行為的識(shí)別，且識(shí)別結(jié)果較為可靠。

3.6 不同算法對(duì)羊只行為識(shí)別效果對(duì)比

表2 為不同算法對(duì)羊只行為識(shí)別效果對(duì)比，表2 中列舉了3 個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)對(duì)羊只行為的識(shí)別。由表2 可知，ResNet18 由于網(wǎng)絡(luò)中存在殘差結(jié)構(gòu)，對(duì)單張圖像的識(shí)別速度最快，達(dá)到31 fps。而本文提出的方法對(duì)單張圖像識(shí)別的速度位居第二，達(dá)到28 fps。從識(shí)別精度方面考慮，本文提出的算法識(shí)別效果最優(yōu)?；谝陨蠈?shí)驗(yàn)結(jié)果可知，本文提出的方法能較好地完成羊只行為識(shí)別任務(wù)。

表2 不同算法下羊只行為識(shí)別效果Tab.2 Sheep behaviors recognition effect under different algorithms

4 結(jié)束語(yǔ)

本文根據(jù)羊只進(jìn)食、坐臥、站立等不同行為特征，提出了基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的羊行為識(shí)別方法。通過(guò)構(gòu)建卷積核尺寸為3×3 的卷積神經(jīng)網(wǎng)絡(luò)，采用SeLU激活函數(shù)增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，通過(guò)設(shè)置丟棄率為0.5 的Alpha dropout丟棄方式降低神經(jīng)元之間的依賴性，并使用余弦退火學(xué)習(xí)率對(duì)網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)微調(diào)。實(shí)驗(yàn)結(jié)果表明，在養(yǎng)殖場(chǎng)環(huán)境下，本文構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)對(duì)羊不同行為的識(shí)別準(zhǔn)確率均達(dá)到90%以上。該模型可以較高質(zhì)量地完成羊不同行為的識(shí)別，有助于提高畜牧管理效率和養(yǎng)殖智能化水平。