基于知識(shí)蒸餾的疊層籠養(yǎng)蛋雞行為識(shí)別模型研究

方 鵬 郝宏運(yùn) 王紅英

(中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083)

0 引言

動(dòng)物行為直接反映動(dòng)物機(jī)體對(duì)環(huán)境的適應(yīng)程度，不同的行為方式反映動(dòng)物自身的不同狀態(tài)，是動(dòng)物福利評(píng)估的重要指標(biāo)[1-2]，而畜禽生產(chǎn)中動(dòng)物行為的突然改變往往是動(dòng)物機(jī)體發(fā)出的預(yù)警信號(hào)[3]。因此，實(shí)現(xiàn)對(duì)動(dòng)物行為的識(shí)別檢測(cè)對(duì)于評(píng)估動(dòng)物福利及健康狀態(tài)具有重要意義。

相比于奶牛、豬等大體型動(dòng)物，蛋雞養(yǎng)殖具有群體大、養(yǎng)殖密度高的特點(diǎn)，其個(gè)體行為的識(shí)別相對(duì)困難[4]。目前，人們主要基于機(jī)器視覺技術(shù)對(duì)蛋雞行為的識(shí)別、分類進(jìn)行了研究。LEROY等[5]對(duì)蛋雞輪廓圖像進(jìn)行橢圓擬合，建立點(diǎn)分布模型，可對(duì)單只蛋雞的站立、行走和抓撓行為進(jìn)行識(shí)別。勞鳳丹等[2,6]針對(duì)雞只的RGB圖像和深度圖像，基于貝葉斯分類方法實(shí)現(xiàn)了對(duì)單只蛋雞行為的識(shí)別檢測(cè)，可對(duì)雞只的采食、運(yùn)動(dòng)、飲水等10種行為進(jìn)行有效識(shí)別,大多數(shù)行為的識(shí)別準(zhǔn)確率在90%以上。MEHADIZADEH等[7]對(duì)雞只采食過(guò)程中的頭部位移、喙部張開速度及閉合速度、喙部張開加速度和閉合加速度等參數(shù)的自動(dòng)檢測(cè)進(jìn)行了研究，對(duì)雞只采食行為進(jìn)行了深入的生物力學(xué)研究。上述基于機(jī)器學(xué)習(xí)技術(shù)的家禽行為識(shí)別技術(shù)雖然能達(dá)到較高的準(zhǔn)確率，但由于需人工提取圖像的特征參數(shù)，存在模型泛化性、魯棒性差，特征提取困難的缺點(diǎn)。

深層卷積神經(jīng)網(wǎng)絡(luò)的興起為動(dòng)物行為的精確識(shí)別提供了新思路。由于深層卷積神經(jīng)網(wǎng)絡(luò)能夠通過(guò)大量樣本對(duì)數(shù)據(jù)特征進(jìn)行自主學(xué)習(xí)，尤其對(duì)圖像具有極強(qiáng)的表征能力，可以自動(dòng)提取圖像特征，在目標(biāo)檢測(cè)和分類領(lǐng)域均有優(yōu)異表現(xiàn)，在動(dòng)物行為檢測(cè)方面也有相關(guān)研究。文獻(xiàn)[8-11]通過(guò)深層卷積神經(jīng)網(wǎng)絡(luò)對(duì)雞只的行為檢測(cè)和分類技術(shù)進(jìn)行了研究并取得較高的檢測(cè)準(zhǔn)確率。然而，深層卷積神經(jīng)網(wǎng)絡(luò)的高準(zhǔn)確率是基于更深、更廣和更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)的，網(wǎng)絡(luò)性能不斷提升的同時(shí)網(wǎng)絡(luò)模型的復(fù)雜度和參數(shù)量呈幾何級(jí)數(shù)增加，復(fù)雜的模型對(duì)設(shè)備性能要求太高，模型的實(shí)時(shí)性無(wú)法保證，限制了深度學(xué)習(xí)技術(shù)在畜禽生產(chǎn)實(shí)際中的應(yīng)用，因此需在保證模型性能的前提下盡量減少模型參數(shù)，對(duì)模型進(jìn)行壓縮。

HINTON等[12]提出的知識(shí)蒸餾理論表明，通過(guò)用一個(gè)或多個(gè)復(fù)雜、準(zhǔn)確的大型網(wǎng)絡(luò)來(lái)指導(dǎo)簡(jiǎn)單、小型網(wǎng)絡(luò)訓(xùn)練的方式可以顯著提升小型網(wǎng)絡(luò)的性能。為實(shí)現(xiàn)疊層籠養(yǎng)環(huán)境下蛋雞行為的識(shí)別分類，本文以Faster R-CNN[13]深度學(xué)習(xí)模型為基礎(chǔ)，基于知識(shí)蒸餾理論，構(gòu)建一種基于多教師模型融合的知識(shí)蒸餾蛋雞行為識(shí)別模型，用較簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)獲得較高的性能，降低網(wǎng)絡(luò)對(duì)設(shè)備性能的要求，為模型的在線實(shí)時(shí)部署應(yīng)用提供可能。

1 圖像采集與數(shù)據(jù)集建立

選擇北京德青源農(nóng)業(yè)科技股份有限公司的蛋雞養(yǎng)殖場(chǎng)作為圖像采集地點(diǎn)，該養(yǎng)殖場(chǎng)為全封閉的8層疊層籠養(yǎng)蛋雞舍，每籠飼養(yǎng)“京紅”蛋雞6只左右，每棟雞舍飼養(yǎng)11萬(wàn)只蛋雞，蛋雞周齡為34周。

蛋雞圖像的采集由立式三腳架搭載彩色數(shù)字相機(jī)完成，相機(jī)型號(hào)為Sony XCG-240C，分辨率為1 920像素×1 200像素，匹配焦距6 mm的Ricoh FL-CC0614A-2M型定焦鏡頭，拍攝時(shí)相機(jī)曝光時(shí)間設(shè)置為100 ms。將工業(yè)相機(jī)正對(duì)籠門位置拍攝，攝像頭視野范圍正好覆蓋兩個(gè)籠位，對(duì)舍內(nèi)200個(gè)籠位的雞只進(jìn)行圖像采集。采集的圖像如圖1所示。

圖像經(jīng)過(guò)隨機(jī)旋轉(zhuǎn)、顏色變換、添加高斯噪聲的方式增強(qiáng)后，人工挑選出1 000幅蛋雞圖像建立樣本集。隨后，在Labelme圖像標(biāo)注工具中用矩形工具將雞只標(biāo)注為“feeding(采食)”和“resting(休息)”兩類，制作成COCO(Common objects in context)格式的數(shù)據(jù)集。頭部伸入食槽或者有靠近食槽動(dòng)作的雞只，標(biāo)注為“feeding”，頭部仰起呈站立姿態(tài)的雞只則標(biāo)注為“resting”。隨機(jī)選取70%樣本集圖像(700幅)作為訓(xùn)練集，用于模型的訓(xùn)練，選取20%(200幅)作為驗(yàn)證集，用于模型參數(shù)調(diào)優(yōu)，選取10%(100幅)圖像作為測(cè)試集，用于評(píng)估最終模型的識(shí)別能力。在訓(xùn)練集圖像中，共有4 552個(gè)標(biāo)注樣本，其中雞只采食行為的標(biāo)注樣本為2 134個(gè)，雞只休息行為的標(biāo)注樣本為2 418個(gè)，二者之間比例接近1∶1，樣本分類較均衡。

2 基于Faster R-CNN的蛋雞行為識(shí)別網(wǎng)絡(luò)建立

本文選擇在Faster R-CNN框架上構(gòu)建蛋雞行為識(shí)別網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。Faster R-CNN網(wǎng)絡(luò)是目標(biāo)檢測(cè)領(lǐng)域運(yùn)用最廣泛的模型之一，網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)及區(qū)域卷積神經(jīng)網(wǎng)絡(luò)3部分組成。特征提取網(wǎng)絡(luò)主要負(fù)責(zé)提取輸入圖像特征并共享給后續(xù)的區(qū)域生成網(wǎng)絡(luò)和區(qū)域卷積神經(jīng)網(wǎng)絡(luò)；區(qū)域生成網(wǎng)絡(luò)通過(guò)對(duì)特征提取網(wǎng)絡(luò)輸入的特征圖做進(jìn)一步處理，輸出若干可能存在待檢測(cè)目標(biāo)的區(qū)域，并輸入后續(xù)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)判定目標(biāo)類別，實(shí)現(xiàn)目標(biāo)的定位和分類。

知識(shí)蒸餾是模型壓縮的一種手段，其核心思想是利用一個(gè)或多個(gè)復(fù)雜、參數(shù)多、準(zhǔn)確的大型網(wǎng)絡(luò)來(lái)指導(dǎo)訓(xùn)練一個(gè)簡(jiǎn)單、參數(shù)較少的小型網(wǎng)絡(luò)，將大型網(wǎng)絡(luò)學(xué)習(xí)到的“知識(shí)”傳遞給小型網(wǎng)絡(luò)[14-15]，其中復(fù)雜、參數(shù)多的大型網(wǎng)絡(luò)稱為教師網(wǎng)絡(luò)，精度高但參數(shù)量大，對(duì)設(shè)備性能要求高，很難在嵌入式小型設(shè)備中部署；簡(jiǎn)單、參數(shù)較少的小型網(wǎng)絡(luò)稱為學(xué)生網(wǎng)絡(luò)，參數(shù)少，容易部署，但單獨(dú)訓(xùn)練時(shí)模型精確度不高，很難滿足實(shí)際應(yīng)用需求。通過(guò)知識(shí)蒸餾，可以顯著提升小型網(wǎng)絡(luò)的性能，在參數(shù)量較少的情況下使其擁有和復(fù)雜網(wǎng)絡(luò)相近或超越復(fù)雜網(wǎng)絡(luò)的性能。

以圖像分類任務(wù)為例，神經(jīng)網(wǎng)絡(luò)通常會(huì)在全連接層之后連接一個(gè)Softmax輸出層，將全連接層的輸出向量轉(zhuǎn)化為一個(gè)概率向量[16]，該概率向量表示當(dāng)前樣本分別屬于每一類的概率，每類的概率pi計(jì)算公式為

(1)

式中j——分類的總類別數(shù)

zj——全連接層輸出的每類的logit值

zi——當(dāng)前類的logit值

而知識(shí)蒸餾理論通過(guò)引入一個(gè)參數(shù)T，使Softmax層輸出一個(gè)更加平緩的概率分布，得到一個(gè)軟化后的概率向量q，每類的概率qi計(jì)算公式為

(2)

式中，T為溫度系數(shù)，T越大，對(duì)應(yīng)的概率分布越平緩，則意味著更多“暗知識(shí)”被蒸餾出來(lái)，當(dāng)T=1時(shí)，輸出的是沒有經(jīng)過(guò)軟化的概率分布。知識(shí)蒸餾通過(guò)引入軟標(biāo)簽(Soft label)，將數(shù)據(jù)集中離散的標(biāo)簽屬性轉(zhuǎn)換成連續(xù)的概率分布，提取教師網(wǎng)絡(luò)中的“暗知識(shí)”，并將其傳遞給學(xué)生網(wǎng)絡(luò)，從而提升學(xué)生網(wǎng)絡(luò)模型性能[17]。

3 多教師模型融合的知識(shí)蒸餾蛋雞行為識(shí)別模型構(gòu)建

本文對(duì)Faster R-CNN網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)利用知識(shí)蒸餾進(jìn)行壓縮，利用教師網(wǎng)絡(luò)指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練，通過(guò)“暗知識(shí)”的傳遞，提升學(xué)生網(wǎng)絡(luò)性能。現(xiàn)有研究表明，采用多個(gè)教師模型誘導(dǎo)訓(xùn)練的方式可以更有效提升學(xué)生網(wǎng)絡(luò)性能，且當(dāng)教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)較相似時(shí)，往往能使學(xué)生模型獲得較大的性能提升[18-20]。因此，本文以參數(shù)量大，較復(fù)雜的ResNeXt[21]、Res2Net[22]、HRNet[23]網(wǎng)絡(luò)為教師網(wǎng)絡(luò)，以結(jié)構(gòu)較簡(jiǎn)單的ResNet 34為學(xué)生網(wǎng)絡(luò)，通過(guò)知識(shí)蒸餾訓(xùn)練蛋雞行為識(shí)別網(wǎng)絡(luò)。

首先對(duì)教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練。與普通神經(jīng)網(wǎng)絡(luò)訓(xùn)練方式相同，利用蛋雞行為數(shù)據(jù)樣本和相應(yīng)的樣本標(biāo)簽分別對(duì)3個(gè)教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到3個(gè)性能強(qiáng)大的復(fù)雜模型。隨后，訓(xùn)練好的教師模型中的logits輸出后除以T并做Softmax計(jì)算，得到軟化后的預(yù)測(cè)概率，3個(gè)教師模型的軟化預(yù)測(cè)概率取平均值后作為最終的軟標(biāo)簽值。最后對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練。學(xué)生網(wǎng)絡(luò)的訓(xùn)練分兩部分，一是采用正常的訓(xùn)練方式得到logits輸出，做Softmax計(jì)算后得到預(yù)測(cè)值，將此預(yù)測(cè)值與樣本真實(shí)標(biāo)簽比較，用交叉熵?fù)p失函數(shù)衡量二者之間的差異；二是將輸出的logits值除以T后做Softmax計(jì)算得到軟化的預(yù)測(cè)概率向量，將此預(yù)測(cè)概率向量與教師網(wǎng)絡(luò)輸出的軟標(biāo)簽值比較，采用相對(duì)熵?fù)p失函數(shù)衡量?jī)蓚€(gè)概率分布的差異。因此，采用混合損失函數(shù)[16,24]來(lái)表征知識(shí)蒸餾過(guò)程中的損失，其計(jì)算公式為

L=λT2KL(n1,n2)+(1-λ)CE(m,gtrue)

(3)

式中 KL——相對(duì)熵函數(shù)

CE——交叉熵函數(shù)

n1——3個(gè)教師網(wǎng)絡(luò)經(jīng)過(guò)蒸餾后的平均輸出

n2——學(xué)生網(wǎng)絡(luò)蒸餾后的輸出

m——學(xué)生網(wǎng)絡(luò)未經(jīng)過(guò)蒸餾的輸出

gtrue——數(shù)據(jù)集的真實(shí)標(biāo)簽

λ——比例系數(shù)，當(dāng)λ為0時(shí)，相當(dāng)于網(wǎng)絡(luò)沒有經(jīng)過(guò)蒸餾

本文選擇T=2、λ=0.7作為知識(shí)蒸餾網(wǎng)絡(luò)的超參數(shù)配置。知識(shí)蒸餾訓(xùn)練架構(gòu)圖如圖3所示。圖中t為任意常數(shù)。

4 結(jié)果與分析

4.1 試驗(yàn)條件及參數(shù)設(shè)置

試驗(yàn)在Ubuntu 18.04系統(tǒng)中進(jìn)行，試驗(yàn)用計(jì)算機(jī)處理器為Intel(R) Core(TM) i7-9700K，主頻3.6 GHz，內(nèi)存16 GB，顯卡為NVIDIA GeForce RTX 2080(16 GB)，使用GPU加速計(jì)算，在Python語(yǔ)言環(huán)境中選擇Pytorch框架實(shí)現(xiàn)網(wǎng)絡(luò)模型的搭建、訓(xùn)練和調(diào)試，使用OpenMMLab開放的預(yù)訓(xùn)練模型作為初始輸入權(quán)重，按表1對(duì)模型參數(shù)進(jìn)行初始化，采用隨機(jī)梯度下降法對(duì)蛋雞行為識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練迭代120個(gè)周期，每10個(gè)周期保存一次權(quán)重參數(shù)，取精度最高的權(quán)重為最終模型。

表1 Faster R-CNN初始化訓(xùn)練參數(shù)Tab.1 Training parameters for Faster R-CNN

4.2 模型測(cè)試結(jié)果分析

采用不同的圖像特征提取網(wǎng)絡(luò)進(jìn)行蛋雞行為檢測(cè)試驗(yàn)，分別為3個(gè)教師網(wǎng)絡(luò)(ResNeXt、Res2Net、HRNet)、由3個(gè)教師網(wǎng)絡(luò)融合蒸餾的ResNet 34網(wǎng)絡(luò)(KD ResNet 34)及未經(jīng)知識(shí)蒸餾的ResNet 34網(wǎng)絡(luò)。模型訓(xùn)練完成后以準(zhǔn)確率、平均精確度、召回率、模型參數(shù)量、浮點(diǎn)運(yùn)算次數(shù)及單幅圖像檢測(cè)耗時(shí)作為評(píng)價(jià)模型性能的指標(biāo)，對(duì)比結(jié)果如表2所示。結(jié)果表明，知識(shí)蒸餾顯著提升了蛋雞行為識(shí)別模型的性能。3個(gè)教師網(wǎng)絡(luò)具有相似的模型性能，模型平均準(zhǔn)確率為95.93%，平均精確度為89.2%，平均召回率為94.10%。未經(jīng)過(guò)知識(shí)蒸餾的ResNet 34模型準(zhǔn)確率(A)、平均精確度(P)和召回率(R)分別為93.6%、78.7%和86.2%，而KD ResNet 34模型的準(zhǔn)確率、平均精確度和召回率分別為96.6%、89.9%和94.6%，相較于未經(jīng)過(guò)蒸餾的網(wǎng)絡(luò)，3個(gè)指標(biāo)均有較大幅度的提高，尤其是平均精確度和召回率，分別提高了11.2、8.2個(gè)百分點(diǎn)。學(xué)生網(wǎng)絡(luò)經(jīng)過(guò)3個(gè)教師網(wǎng)絡(luò)的指導(dǎo)訓(xùn)練，學(xué)習(xí)到了教師網(wǎng)絡(luò)提取的“暗知識(shí)”，性能得到很大提升，學(xué)生網(wǎng)絡(luò)性能基本達(dá)到甚至超越了教師網(wǎng)絡(luò)的性能。

模型參數(shù)量、模型計(jì)算量衡量的是模型的復(fù)雜程度，模型越復(fù)雜，則其部署應(yīng)用的難度越大，所需的設(shè)備性能要求越高。由表2可知，3個(gè)教師網(wǎng)絡(luò)模型復(fù)雜程度相似，模型平均參數(shù)量為5.58×107，模型平均浮點(diǎn)運(yùn)算次數(shù)達(dá)2.88×1011。KD ResNet 34模型性能基本達(dá)到了教師網(wǎng)絡(luò)的性能水平，而其模型復(fù)雜程度卻大大降低，模型參數(shù)量為3.816×107，模型浮點(diǎn)運(yùn)算次數(shù)為1.916 9×1011，與教師網(wǎng)絡(luò)相比，分別降低了32%和33%。模型復(fù)雜程度降低意味著模型對(duì)設(shè)備性能的依賴程度降低，模型將有可能在一些小型的嵌入式設(shè)備中部署運(yùn)用。同時(shí)，與教師網(wǎng)絡(luò)相比，由于學(xué)生網(wǎng)絡(luò)有更簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)和更少的參數(shù)，模型的推理時(shí)間大大降低，在相同的測(cè)試環(huán)境中，經(jīng)過(guò)知識(shí)蒸餾的學(xué)生網(wǎng)絡(luò)單幅圖像的檢測(cè)耗時(shí)為0.068 s，顯著低于教師網(wǎng)絡(luò)，模型推理時(shí)間降低了66%。模型推理時(shí)間的降低增加了模型在邊緣設(shè)備在線實(shí)時(shí)部署的可能性。

表2 不同模型性能對(duì)比Tab.2 Performance comparison of different models

圖4為特征提取網(wǎng)絡(luò)經(jīng)過(guò)知識(shí)蒸餾和未經(jīng)過(guò)知識(shí)蒸餾的蛋雞行為識(shí)別模型對(duì)同一幅圖像的檢測(cè)結(jié)果對(duì)比。由圖可知，經(jīng)過(guò)知識(shí)蒸餾的蛋雞行為識(shí)別模型基本能對(duì)雞只行為作出準(zhǔn)確判斷，目標(biāo)定位和分類均較為準(zhǔn)確，而未經(jīng)過(guò)知識(shí)蒸餾的模型存在較多誤檢測(cè)、重復(fù)檢測(cè)及漏檢測(cè)的情況，模型的精度和泛化性均不如經(jīng)過(guò)知識(shí)蒸餾的模型。顯然，知識(shí)蒸餾顯著提升了檢測(cè)模型的性能。

網(wǎng)絡(luò)在訓(xùn)練過(guò)程中損失函數(shù)的變化情況可以在一定程度上反映訓(xùn)練完成的模型性能。圖5為經(jīng)過(guò)知識(shí)蒸餾和未經(jīng)過(guò)知識(shí)蒸餾網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的損失值變化曲線。由圖5可知，兩個(gè)網(wǎng)絡(luò)損失值均在訓(xùn)練開始后很短時(shí)間內(nèi)下降到較低值。隨著訓(xùn)練的繼續(xù)，網(wǎng)絡(luò)損失持續(xù)降低，當(dāng)訓(xùn)練迭代到一定次數(shù)后，損失開始隨迭代次數(shù)的增加而緩慢下降，經(jīng)過(guò)16 000次左右的迭代后，損失值變化趨于平緩，幾乎不再下降，網(wǎng)絡(luò)實(shí)現(xiàn)收斂?？梢钥吹剑W(wǎng)絡(luò)收斂后，經(jīng)過(guò)知識(shí)蒸餾的識(shí)別模型最終損失值穩(wěn)定在0.3左右，而未經(jīng)過(guò)蒸餾的模型最終損失值在0.5左右，知識(shí)蒸餾降低了網(wǎng)絡(luò)的訓(xùn)練損失。

圖6為模型經(jīng)過(guò)測(cè)試后得到的P-R曲線圖。曲線與橫、縱坐標(biāo)圍成的區(qū)域越大，則說(shuō)明網(wǎng)絡(luò)性能越好，由圖6可知，在不同交并比下，KD ResNet 34網(wǎng)絡(luò)的P-R曲線幾乎將ResNet 34網(wǎng)絡(luò)的P-R曲線完全包圍，說(shuō)明經(jīng)過(guò)知識(shí)蒸餾的網(wǎng)絡(luò)的性能顯著優(yōu)于未經(jīng)過(guò)蒸餾的ResNet 34網(wǎng)絡(luò)。

4.3 類激活熱力圖可視化分析

GRAD-CAM算法[25]可以用來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行可視化分析，直觀展示網(wǎng)絡(luò)在進(jìn)行預(yù)測(cè)時(shí)重點(diǎn)關(guān)注的圖像區(qū)域，從而對(duì)不同網(wǎng)絡(luò)的性能作出直觀判斷，更加清晰地展現(xiàn)知識(shí)蒸餾對(duì)模型性能帶來(lái)的提升。對(duì)Faster R-CNN的不同特征提取網(wǎng)絡(luò)的輸出進(jìn)行可視化，本文研究中涉及的Res2Net、HRNet、ResNeXt及ResNet網(wǎng)絡(luò)均有4個(gè)階段的輸出特征圖進(jìn)入后續(xù)FPN網(wǎng)絡(luò)進(jìn)行融合，因此輸出了主干網(wǎng)絡(luò)4個(gè)階段的特征類激活熱力圖。

圖7為不同網(wǎng)絡(luò)4個(gè)階段輸出特征的熱力圖。圖中紅色、黃色覆蓋的區(qū)域即為卷積層提取特征時(shí)關(guān)注的重點(diǎn)區(qū)域，可以看出在網(wǎng)絡(luò)的第1階段和第2階段，網(wǎng)絡(luò)提取的特征沒有針對(duì)性，只是對(duì)整個(gè)圖像的全部特征進(jìn)行提取，隨著卷積層的加深，網(wǎng)絡(luò)提取特征的重點(diǎn)開始傾向于雞只輪廓區(qū)域，尤其集中在雞頭部位，最后一個(gè)階段的特征熱力圖表明，網(wǎng)絡(luò)已經(jīng)基本實(shí)現(xiàn)了背景和目標(biāo)的區(qū)分，提取特征的重點(diǎn)幾乎全部集中在雞只頭部和頸部位置。對(duì)比不同的網(wǎng)絡(luò)特征熱力圖可以發(fā)現(xiàn)，經(jīng)過(guò)知識(shí)蒸餾的模型(KD ResNet 34)與3個(gè)教師網(wǎng)絡(luò)的特征檢測(cè)結(jié)果相似，提取的特征均能很好地覆蓋雞只輪廓部位，而未經(jīng)過(guò)蒸餾的網(wǎng)絡(luò)，熱力值高的區(qū)域均集中在圖像上、下部區(qū)域的食槽部位，說(shuō)明網(wǎng)絡(luò)沒有很好地提取到雞只的特征，最終模型的識(shí)別效果較差。

5 結(jié)論

(1)為實(shí)現(xiàn)疊層籠養(yǎng)環(huán)境下蛋雞行為的識(shí)別分類，本文以Faster R-CNN深度學(xué)習(xí)模型為基礎(chǔ)，構(gòu)建了蛋雞行為識(shí)別模型。同時(shí)，針對(duì)模型參數(shù)量大、結(jié)構(gòu)復(fù)雜、對(duì)設(shè)備性能要求高、無(wú)法在線實(shí)時(shí)部署的缺陷，基于知識(shí)蒸餾理論，對(duì)模型進(jìn)行了壓縮，構(gòu)建了一種基于多教師模型融合的知識(shí)蒸餾蛋雞行為識(shí)別模型。

(2)特征提取網(wǎng)絡(luò)(ResNet 34)經(jīng)過(guò)知識(shí)蒸餾后，基于Faster R-CNN框架的蛋雞行為識(shí)別模型性能得到顯著提升，模型準(zhǔn)確率、平均精確度、召回率分別為96.6%、89.9%、94.6%，與未經(jīng)過(guò)知識(shí)蒸餾的模型相比，分別提高了3.0、11.2、8.4個(gè)百分點(diǎn)。

(3)經(jīng)過(guò)知識(shí)蒸餾后，模型性能基本達(dá)到了教師模型的性能水平，而模型復(fù)雜程度卻大大降低，與教師模型相比，模型參數(shù)量和模型計(jì)算量分別降低了32%和33%，模型推理時(shí)間減少了66%。