基于BS-ResNeXt-50 的密云地區(qū)野生動(dòng)物圖像識(shí)別

齊建東 馬鐘添 張德懷 田 赟

（1. 北京林業(yè)大學(xué)信息學(xué)院 北京 100083；2. 國(guó)家林業(yè)和草原局林業(yè)智能信息處理工程技術(shù)研究中心 北京 100083；3. 北京霧靈山保護(hù)區(qū)管理處 北京 101506；4. 北京林業(yè)大學(xué)水土保持學(xué)院 北京 10083）

近年來(lái)，在氣候變化、人為活動(dòng)干擾等壓力下，一些自然保護(hù)地面臨生物多樣性下降、棲息地喪失等嚴(yán)重威脅（束祖飛等，2021）。物種多樣性是生物多樣性的關(guān)鍵，野生動(dòng)物物種減少，生物多樣銳減，最終危害的是人類(lèi)的幸福和健康（于莉莉，2017）。因此，野生動(dòng)物保護(hù)工作越來(lái)越受到關(guān)注，調(diào)查、追蹤野生動(dòng)物生活習(xí)性是生物多樣性保護(hù)的重要部分之一。野外環(huán)境條件復(fù)雜、天氣多變，僅靠人工采集野生動(dòng)物的圖像較為困難，目前較常用的收集野生動(dòng)物活動(dòng)圖像的方式是野外布設(shè)紅外相機(jī)，對(duì)出現(xiàn)的野生動(dòng)物自動(dòng)抓拍。這種方式的優(yōu)點(diǎn)是可在不影響野生動(dòng)物活動(dòng)的前提下對(duì)野生動(dòng)物個(gè)體及種群信息進(jìn)行收集、分析。在實(shí)際工作場(chǎng)景中，一方面，紅外相機(jī)拍攝的照片中有大量不包含野生動(dòng)物的廢片，單純依靠人工從大量相片中挑選包含野生動(dòng)物的相片，費(fèi)時(shí)費(fèi)力；另一方面，在包含動(dòng)物的照片中，經(jīng)常出現(xiàn)動(dòng)物特別靠近相機(jī)或只拍攝到動(dòng)物身體一部分、動(dòng)物被周?chē)h(huán)境遮擋、光照變化、一張照片里出現(xiàn)多個(gè)動(dòng)物等情況（Gomezet al.，2017，Norouzzadehet al.，2018），給圖像的識(shí)別和分類(lèi)造成了很大干擾。

傳統(tǒng)的圖像識(shí)別問(wèn)題主要使用k 近鄰、支持向量機(jī)、最大似然法等方式。這些方式都依靠人工進(jìn)行特征提取，提取出的特征通常只針對(duì)特定數(shù)據(jù)集有效，識(shí)別準(zhǔn)確率有限，在實(shí)際應(yīng)用中表現(xiàn)欠佳（張毓等，2021）。近年來(lái)，隨著計(jì)算能力及數(shù)據(jù)量的提升，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法在圖像分類(lèi)、圖像識(shí)別、語(yǔ)義分割等細(xì)分領(lǐng)域中取得了較大進(jìn)展。具有代表性的有AlexNet（Krizhevskyet al.，2012）、VGG（Simonyanet al.， 2014）、 GoogLeNet（Szegedyet al.，2015）、ResNet（Heet al.，2016）、DenseNet（Huanget al.，2017）、EfficientNet（Tanet al.，2019）等。在專門(mén)針對(duì)野生動(dòng)物圖像識(shí)別的研究中，Gomez 等（2017）對(duì)Snapshot Serengeti 數(shù)據(jù)集中的26 種常見(jiàn)動(dòng)物圖像制作成了4 個(gè)不同的數(shù)據(jù)集，測(cè)試了AlexNet、VGGNet、GoogLeNet 以及不同層數(shù)的ResNet 網(wǎng)絡(luò)，并在最壞情況下達(dá)到了35.4%的準(zhǔn)確率，最好情況下達(dá)到了88.9%的準(zhǔn)確率。劉文定等（2018）提出了全局—局部的雙通道VGG16 卷積，將數(shù)據(jù)集中的動(dòng)物圖像利用目標(biāo)檢測(cè)模型裁剪出來(lái)，將全局和局部圖像同時(shí)傳入到網(wǎng)絡(luò)中最后再對(duì)預(yù)測(cè)結(jié)果取均值，結(jié)果表明和VGG16 相比，5 種動(dòng)物的預(yù)測(cè)準(zhǔn)確率平均高了20%。Timm 等（2018）利用ImageNet 和iNaturalist 數(shù)據(jù)集對(duì)InceptionV3（Szegedyet al.，2016）模型進(jìn)行預(yù)訓(xùn)練，在2 000 張野生動(dòng)物圖像上進(jìn)行遷移學(xué)習(xí)，2 個(gè)訓(xùn)練集訓(xùn)練出的預(yù)訓(xùn)練模型最終都達(dá)到了75%的準(zhǔn)確率。Willi 等（2019）使用Snapshot Serengeti 數(shù)據(jù)集作為預(yù)訓(xùn)練數(shù)據(jù)集在ResNet-18 上進(jìn)行訓(xùn)練，使模型在單一類(lèi)別的準(zhǔn)確率最高達(dá)到了92.7%。Xie 等（2019）使用SENet 進(jìn)行增強(qiáng)特征提取，并與ResNet 的殘差模塊進(jìn)行拼接構(gòu)造出了SE-ResNet，在Snapshot Serengeti 數(shù)據(jù)集上SEResNet-101 比ResNet-101 平均準(zhǔn)確率提升了6.4%。王柯力等（2018）針對(duì)傳統(tǒng)的水產(chǎn)動(dòng)物識(shí)別問(wèn)題中識(shí)別方式復(fù)雜、 準(zhǔn)確率低等問(wèn)題， 使用VGG16、InceptionV3、ResNet-50 網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)后凍結(jié)前幾個(gè)卷積層參數(shù)，單獨(dú)對(duì)后幾層進(jìn)行微調(diào)，并測(cè)試不同可訓(xùn)練參數(shù)對(duì)模型的影響，使得3 個(gè)模型對(duì)水產(chǎn)品圖像的最高分類(lèi)準(zhǔn)確率達(dá)到97.4%。楊國(guó)國(guó)等（2017）結(jié)合GrabCut 算法對(duì)圖像中的昆蟲(chóng)進(jìn)行定位和分割，將AlexNet 進(jìn)行優(yōu)化，并利用優(yōu)化后的AlexNet 結(jié)合顯著性分析對(duì)23 種茶園的主要害蟲(chóng)進(jìn)行識(shí)別，其比原始的AlexNet 識(shí)別準(zhǔn)確率提高了至少3.2%。Guo 等（2019）構(gòu)建出一種改進(jìn)的Faster-RCNN（Renet al.，2015）網(wǎng)絡(luò)VCRPCN，使用RPN 中動(dòng)物圖像和背景圖像提取圖像中動(dòng)物位置的區(qū)域候選，將動(dòng)物圖像與分類(lèi)子網(wǎng)中的區(qū)域候選相結(jié)合來(lái)識(shí)別區(qū)域的類(lèi)別。不僅解決了由于動(dòng)物出現(xiàn)所造成的背景變化，還識(shí)別了圖像中潛在的動(dòng)物區(qū)域并提取局部特征進(jìn)行分類(lèi)。何嘉（2019）應(yīng)用了CycleGAN 技術(shù)將紅外相機(jī)夜間拍攝的黑白野生動(dòng)物圖像進(jìn)行上色處理，使模型對(duì)夜間野生動(dòng)物圖像單一類(lèi)別的識(shí)別準(zhǔn)確率最高提升16%。邱志斌等（2021）建立了一種多卷積融合的神經(jīng)網(wǎng)絡(luò)。利用遷移學(xué)習(xí)對(duì)AlexNet、ResNet、VGG16、InceptionV3共4 個(gè)模型進(jìn)行訓(xùn)練，再將分類(lèi)的結(jié)果按不同權(quán)重系數(shù)進(jìn)行加權(quán)，對(duì)88 種鳥(niǎo)類(lèi)的識(shí)別準(zhǔn)確率達(dá)到91.21%。

既有研究中已做了大量工作，但仍存在一些問(wèn)題：其一，深度學(xué)習(xí)識(shí)別動(dòng)物圖像需要大量的標(biāo)記圖像，小規(guī)模數(shù)據(jù)集訓(xùn)練的模型準(zhǔn)確率不高。其二，公開(kāi)的野生動(dòng)物數(shù)據(jù)集大多都來(lái)自國(guó)外，數(shù)據(jù)集中包含的動(dòng)物種類(lèi)與國(guó)內(nèi)常見(jiàn)動(dòng)物存在差異，訓(xùn)練出的模型無(wú)法很好地反映出對(duì)國(guó)內(nèi)特定地區(qū)野生動(dòng)物圖像的識(shí)別效果?；谏鲜鰡?wèn)題，本研究采集并構(gòu)建了北京市密云區(qū)的北京市級(jí)霧靈山自然保護(hù)區(qū)的野生動(dòng)物圖像數(shù)據(jù)作為模型訓(xùn)練、測(cè)試數(shù)據(jù)集，使模型輔助密云地區(qū)的國(guó)家級(jí)和北京市級(jí)野生動(dòng)物保護(hù)及物種多樣性的研究。建立一種基于ResNeXt（Xieet al.，2017）的改進(jìn)模型，通過(guò)修改殘差模塊，結(jié)合BlurPool（Zhang,2019）減少因動(dòng)物出現(xiàn)在不同位置引發(fā)平移不變性丟失造成的誤判，再引入注意力機(jī)制SENet（Huet al.，2018）進(jìn)一步提升模型對(duì)動(dòng)物的特征提取能力，增強(qiáng)模型的分類(lèi)準(zhǔn)確率，改進(jìn)模型可以對(duì)野生動(dòng)物圖像進(jìn)行高效、準(zhǔn)確、快速的識(shí)別。

1 數(shù)據(jù)源

1.1 自建數(shù)據(jù)集

數(shù)據(jù)是由布設(shè)在北京市密云區(qū)的北京市級(jí)霧靈山自然保護(hù)區(qū)的30 個(gè)紅外相機(jī)于2014—2015 年拍攝的，在相關(guān)專家協(xié)助下，分為狍（Capreolus）、鳥(niǎo)、山羊（Capra）、松鼠（Sciurus）、豬獾（Arctonyx）、兔（Lepus）、豹貓（Prionailurus）、野豬（Sus）共8 個(gè)類(lèi)別，圖像分辨率均為2 560×1 920。拍攝到的野生動(dòng)物圖像中有國(guó)家二級(jí)保護(hù)動(dòng)物豹貓，北京市一級(jí)保護(hù)鳥(niǎo)類(lèi)紅嘴藍(lán)鵲（Urocissa erythrorhyncha）等。圖1 為紅外相機(jī)拍攝到的各類(lèi)別野生動(dòng)物圖片，圖2 為使用的紅外相機(jī)型號(hào)為獵科Ltl-6511，圖3 為紅外相機(jī)的布設(shè)位置。由于數(shù)據(jù)集中各類(lèi)別圖像的數(shù)量差距較大，對(duì)數(shù)據(jù)集進(jìn)行類(lèi)別平衡調(diào)整。對(duì)于數(shù)量多的類(lèi)別進(jìn)行隨機(jī)抽樣，抽取出部分?jǐn)?shù)據(jù)；數(shù)量少的類(lèi)別使用平移、旋轉(zhuǎn)、翻轉(zhuǎn)、隨機(jī)噪聲、隨機(jī)擦除的方式將圖像數(shù)量擴(kuò)充5 倍，調(diào)整后的數(shù)據(jù)集有2 172 張野生動(dòng)物圖像，表1 為自建數(shù)據(jù)集各類(lèi)別動(dòng)物圖像的分布狀況。

表1 調(diào)整后的自建數(shù)據(jù)集各物種類(lèi)別數(shù)量Tab. 1 Number of species in the adjusted self-built dataset

圖1 各類(lèi)別野生動(dòng)物圖像Fig. 1 Wildlife images of each category

圖2 ltl-6511 紅外相機(jī)Fig. 2 ltl-6511 camera trap

圖3 紅外相機(jī)布設(shè)位置Fig. 3 The location of camera traps

1.2 CCT 數(shù)據(jù)集

CCT（Caltech Camera Traps）數(shù)據(jù)集由布設(shè)在美國(guó)西南部的140 個(gè)紅外相機(jī)拍攝，數(shù)據(jù)集中圖像分為21 個(gè)類(lèi)別。選取其中常見(jiàn)的14 個(gè)類(lèi)別，所選類(lèi)別有110 843張圖像，其中部分類(lèi)別與自建數(shù)據(jù)集有重合，可用于檢驗(yàn)?zāi)Ｐ偷姆夯芰Α１? 為CCT 數(shù)據(jù)集中各類(lèi)動(dòng)物圖像分布，其中嚙齒類(lèi)動(dòng)物圖像中不含松鼠。

表2 CCT 數(shù)據(jù)集各物種類(lèi)別數(shù)量Tab. 2 Set of species selected from CCT dataset

2 模型與訓(xùn)練策略

2.1 ResNeXt 網(wǎng)絡(luò)

ResNeXt 是以ResNet 為基礎(chǔ)的改進(jìn)網(wǎng)絡(luò)，其特點(diǎn)是將分組卷積引入ResNet 中，在做卷積操作時(shí)將卷積分為n個(gè)組，每一組都與輸入的特征圖做卷積，最后再將卷積的結(jié)果進(jìn)行拼接。ResNeXt 的一個(gè)基本模塊如圖4 所示，對(duì)于輸入的特征圖將卷積核分為32 個(gè)組，每一組將輸入進(jìn)1×1 的卷積將特征圖降至4 通道，之后使用3×3 卷積進(jìn)行處理，最后用1×1 卷積將每一組特征圖的通道數(shù)升至256，再對(duì)每個(gè)組的結(jié)果進(jìn)行拼接，得到的結(jié)果與殘差連接進(jìn)行相加。

2.2 BlurPool

在神經(jīng)網(wǎng)絡(luò)架構(gòu)中，若輸入的圖像出現(xiàn)了平移，在最大池化下采樣和步長(zhǎng)大于1 的卷積之后也會(huì)得到一個(gè)和之前差別很大的輸出，在很大程度上影響了模型判別的準(zhǔn)確性。在野生動(dòng)物圖像中，動(dòng)物會(huì)出現(xiàn)在圖像中的不同位置，這種偏移給模型的判別增加困難。

為了度量圖像偏移的程度，引入了平移不變性（shift-invariance）的概念（Zhang, 2019），即輸入平移之后仍等于輸入，其定義如下：

對(duì)于步長(zhǎng)為2 的最大池化（maxpooling）操作，將其分解為首先進(jìn)行步長(zhǎng)為1 的取最大值（max）操作，再進(jìn)行步長(zhǎng)為2 的下采樣（subsampling）操作。對(duì)拆分后的最大池化操作，中間增加了一層步長(zhǎng)為1 的抗鋸齒操作（antialiasing）。如圖5 所示，抗鋸齒操作和下采樣操作在一起被稱為BlurPool。

圖5 抗鋸齒下采樣層Fig. 5 Antialiasing subsampling layer

在步長(zhǎng)為2 的卷積中同樣可以使用BluePool 操作來(lái)維持平移不變性，就是將卷積（s=2）到激活函數(shù)的操作變?yōu)榫矸e（s=1）到激活函數(shù)，再將結(jié)果送入BluePool 中。

2.3 SENet

SENet 是一個(gè)能夠獲取到更多空間融合信息的結(jié)構(gòu)。普通的卷積操作獲取到的特征是融合了感受野內(nèi)的空間和通道信息的，而SENet 通過(guò)構(gòu)建通道間的依賴關(guān)系，使其能夠獲取到野生動(dòng)物圖像中不同通道的信息。圖6 是SENet 的模型結(jié)構(gòu)。

圖6 SENet 結(jié)構(gòu)Fig. 6 Structure of SENet

SENet 由Squeeze 過(guò)程和Excitation 過(guò)程組成。Squeeze 過(guò)程的主要目的是獲取全局特征，將輸入的特征圖進(jìn)行全局平均池化，對(duì)每個(gè)通道進(jìn)行壓縮。

Excitation 過(guò)程使用了2 個(gè)全連接層以及ReLU和Sigmoid 激活函數(shù)獲取到每個(gè)通道上的特征權(quán)值。最后將得到的通道上的權(quán)重與輸入的特征矩陣對(duì)應(yīng)的通道進(jìn)行相乘。

2.4 BS-ResNeXt 網(wǎng)絡(luò)設(shè)計(jì)

在拍攝到的野生動(dòng)物圖片中經(jīng)常會(huì)出現(xiàn)同一動(dòng)物在圖片中不同位置的情況（圖7），但網(wǎng)絡(luò)對(duì)這種移動(dòng)較為敏感，會(huì)破壞卷積的平移不變性。將圖像向下平移一個(gè)像素，卷積結(jié)果有30%的可能性發(fā)生變化，導(dǎo)致模型魯棒性不強(qiáng)（Azulayet al.，2018）?；谏衔奶岬降慕Y(jié)構(gòu)，構(gòu)建出一種改進(jìn)的ResNeXt 網(wǎng)絡(luò)，增強(qiáng)對(duì)野生動(dòng)物圖像的識(shí)別。通過(guò)在ResNeXt 的參殘差模塊中加入BlurPool 層來(lái)維持卷積的平移不變性，可以增加模型對(duì)移動(dòng)中的動(dòng)物的識(shí)別準(zhǔn)確率，減少誤判，加強(qiáng)模型的魯棒性。之后在殘差模塊中嵌入SENet加強(qiáng)模型對(duì)各個(gè)通道的特征提取，模型可以更充分的學(xué)習(xí)到動(dòng)物特征，使模型識(shí)別準(zhǔn)確率繼續(xù)提升。

圖7 一個(gè)動(dòng)物出現(xiàn)在圖像不同位置Fig. 7 An animal appears in different positions of image

圖8是BS-ResNeXt 的殘差模塊結(jié)構(gòu)圖。輸入特征圖首先經(jīng)過(guò)分組卷積進(jìn)行特征提取，輸入BlurPool層進(jìn)行抗鋸齒操作，維持卷積的平移不變性，之后進(jìn)行Squeeze 過(guò)程也就是全局平均池化操作，再經(jīng)過(guò)2個(gè)全連接層即Excitation 操作，將輸入特征圖與每個(gè)通道的激活值相乘使模型完成了對(duì)各個(gè)通道的權(quán)重的學(xué)習(xí)，最后再將殘差連接與SENet 的輸出相加。

圖8 BS-ResNeXt 殘差模塊結(jié)構(gòu)Fig. 8 Structure of BS-ResNeXt block

根據(jù)上述分析，本研究改進(jìn)的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖9。在每個(gè)殘差結(jié)構(gòu)中，首先利用BlurPool 對(duì)照片中不同位置上的野生動(dòng)物進(jìn)行學(xué)習(xí)，再加入SENet 增強(qiáng)網(wǎng)絡(luò)對(duì)動(dòng)野生物的特征提取能力，改進(jìn)后的BSResNeXt-50 可以提取到更豐富的動(dòng)物特征。

圖9 BS-ResNeXt-50 整體結(jié)構(gòu)Fig. 9 Structure of BS-ResNeXt-50

2.5 訓(xùn)練策略

2.5.1 余弦退火衰減 訓(xùn)練模型時(shí)不同的學(xué)習(xí)率會(huì)影響模型收斂速度和識(shí)別準(zhǔn)確率，不合適的學(xué)習(xí)率有一定概率使模型陷入局部最優(yōu)解，動(dòng)態(tài)調(diào)整學(xué)習(xí)率可使模型跳出局部最優(yōu)解。余弦退火學(xué)習(xí)率（Loshchilovet al.，2016）采用熱重啟的方式，在學(xué)習(xí)率衰減到最小值后會(huì)突然增加再繼續(xù)衰減，讓模型跳出局部最優(yōu)解。

余弦退火學(xué)習(xí)率公式如下：

式中，?max和?max是學(xué)習(xí)率的范圍，i表示第幾次重啟，Tcur是當(dāng)自上一次重后前迭代的epoch 次數(shù)，Ti是第i次時(shí)的epoch 次數(shù)。

2.5.2 隨機(jī)增強(qiáng)策略 數(shù)據(jù)增強(qiáng)在提升模型的魯棒性上很有幫助，本文使用隨機(jī)增強(qiáng)（rand augment）（Cubuket al.，2020）策略進(jìn)行數(shù)據(jù)增強(qiáng)。如圖10 所示，隨機(jī)增強(qiáng)使用了恒等變換（identity）、自動(dòng)對(duì)比度（autoContrast)、平衡（equalize)、旋轉(zhuǎn)（rotate)、曝光（solarize)、顏色（color)、色彩分離（posterize）、對(duì)比度（contrast）、亮度（brightness）、銳化（sharpness）、X 方向錯(cuò)切（shearX）、Y 方向錯(cuò)切（shearY）、X 方向平移（translateX）、Y 方向平移（translateY）共14 種變換，訓(xùn)練時(shí)隨機(jī)選擇其中的N 種方式對(duì)圖像進(jìn)行變換。

圖10 14 種變換策略Fig. 10 14 transformation strategies

3 結(jié)果與分析

3.1 試驗(yàn)環(huán)境及數(shù)據(jù)處理

本研究的試驗(yàn)環(huán)境為：E5-2678 處理器、32GB 內(nèi)存、RTX2080super 顯卡、Ubuntu20.04 系統(tǒng)、Python3.8環(huán)境，PyTorch1.8.1 框架。

試驗(yàn)所使用的CCT 數(shù)據(jù)集和自建數(shù)據(jù)集均使用9∶1 分割訓(xùn)練集和驗(yàn)證集。使用隨機(jī)增強(qiáng)策略對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)。訓(xùn)練時(shí)使用Adam 優(yōu)化器進(jìn)行優(yōu)化，批量大小為32。

3.2 不同模型改進(jìn)方案的研究

試驗(yàn)選擇ResNeXt-50 作為基礎(chǔ)網(wǎng)絡(luò)，設(shè)計(jì)3 種改進(jìn)方案。第一種方案在原有的網(wǎng)絡(luò)中加入SENet，改進(jìn)為SE-ResNeXt-50，增強(qiáng)模型特征提取能力。方案二將ResNeXt-50 中的最大池化層以及步長(zhǎng)大于1 的卷積層使用BlurPool 改進(jìn)為BP-ResNeXt-50，維持卷積的平移不變性。方案三同時(shí)加入SENet 和BlurPool，替換殘差模塊，構(gòu)建出BS-ResNeXt50。試驗(yàn)中4 個(gè)模型使用的數(shù)據(jù)集為自建數(shù)據(jù)集，使用10 折交叉驗(yàn)證方式，選擇其中3 組數(shù)據(jù)進(jìn)行試驗(yàn)，迭代次數(shù)為50，學(xué)習(xí)率為0.000 2。

在3 次試驗(yàn)過(guò)程中，ResNeXt-50 網(wǎng)絡(luò)的準(zhǔn)確率達(dá)71.91%±0.15%，方案一SE-ResNeXt-50 及方案二BPResNeXt50 的準(zhǔn)確率分別為75.16%±0.14%和73.74%±0.13%，方案三中聯(lián)合使用BlurPool 和SENet 的BSResNeXt-50 使準(zhǔn)確率達(dá)78.04%±0.11%。此外3 組試驗(yàn)結(jié)果偏差不大，說(shuō)明數(shù)據(jù)集劃分較為合理。

表3為其中一次試驗(yàn)結(jié)果，從表中可知，SE-NeXt-50 對(duì)于每個(gè)類(lèi)別動(dòng)物的識(shí)別準(zhǔn)確率均有提升，但對(duì)于體型較大的野生動(dòng)物識(shí)別準(zhǔn)確率的提升更高，說(shuō)明SENeXt-50 的增強(qiáng)特征提取對(duì)于體型較大的野生動(dòng)物的效果更好。BP-ResNeXt-50 對(duì)于豬獾、鳥(niǎo)、狍、山羊類(lèi)別的識(shí)別準(zhǔn)確率提升超過(guò)2%。上述類(lèi)別中，同種動(dòng)物出現(xiàn)在相同場(chǎng)景的不同位置上的樣本較多，BPResNeXt-50 更擅長(zhǎng)此類(lèi)樣本的學(xué)習(xí)。BS-ResNeXt-50不但對(duì)于狍、山羊等體型較大動(dòng)物的識(shí)別準(zhǔn)確率有所增加，對(duì)于鳥(niǎo)、豬獾等中小類(lèi)別的動(dòng)物識(shí)別準(zhǔn)確率也有明顯提升。

表3 不同改進(jìn)方案對(duì)自建數(shù)據(jù)集各物種識(shí)別結(jié)果Tab. 3 Results of different enhancement schemes in self-built dataset

圖11是類(lèi)激活特征熱力圖，從中可以看出ResNeXt-50 網(wǎng)絡(luò)可以提取出動(dòng)物的特征，但獲取到的大多是局部特征，且有提取到無(wú)用信息的情況。使用BlurPool 改進(jìn)的網(wǎng)絡(luò)其特征提取能力和ResNeXt-50網(wǎng)絡(luò)相差不大，但是b 組圖像中提取出了更多樹(shù)的特征，查看數(shù)據(jù)集發(fā)現(xiàn)該測(cè)試圖像在訓(xùn)練集存在近似圖像，在學(xué)習(xí)時(shí)網(wǎng)絡(luò)誤認(rèn)為樹(shù)和鳥(niǎo)為一體，由此可看出BlurPool 對(duì)于近似圖像的特征提取能力有增強(qiáng)，但容易學(xué)習(xí)到無(wú)用特征。使用SENet 改進(jìn)的網(wǎng)絡(luò)增強(qiáng)了有效特征的提取能力，同時(shí)抑制了部分無(wú)效特征。同時(shí)使用BlurPool 和SENet 的改進(jìn)網(wǎng)絡(luò)結(jié)合了二者的優(yōu)勢(shì)，不但強(qiáng)化對(duì)動(dòng)物整體的特征提取能力，同時(shí)也抑制無(wú)效特征部分的提取。

圖11 類(lèi)激活特征熱力圖Fig. 11 Class activation feature heat map

3.3 不同學(xué)習(xí)率對(duì)模型的影響

為了使模型獲取更合適的學(xué)習(xí)率以達(dá)到更高的準(zhǔn)確率，試驗(yàn)采用了0.002、0.000 2 的固定學(xué)習(xí)率、起始為0.000 2 而每過(guò)15 輪學(xué)習(xí)率降低為原來(lái)一半的分段學(xué)習(xí)率、起始為0.000 2 的余弦退火學(xué)習(xí)率，探究不同學(xué)習(xí)率對(duì)BS-ResNeXt-50 的影響。

由圖12 可知，學(xué)習(xí)率為0.002 時(shí)，模型的準(zhǔn)確率為73.67%，與0.000 2 的學(xué)習(xí)率相差4.37%。學(xué)習(xí)率為0.000 2 時(shí)最終準(zhǔn)確率達(dá)到78.04%，且準(zhǔn)確率曲線一直高于學(xué)習(xí)率為0.002 時(shí)的準(zhǔn)確率曲線，0.000 2 學(xué)習(xí)率比0.002 學(xué)習(xí)率更適合數(shù)據(jù)集。使用初始學(xué)習(xí)率為0.000 2的余弦退火學(xué)習(xí)率時(shí)，26 輪之前與固定0.000 2 學(xué)習(xí)率的準(zhǔn)確率近似，但是在26 輪之后準(zhǔn)確率上升的幅度更大，最終準(zhǔn)確率達(dá)到了81.54%，比固定的0.000 2學(xué)習(xí)率高了3.5%。在20 輪之后，固定學(xué)習(xí)率模型的準(zhǔn)確率上升遲緩，使用分段學(xué)習(xí)率后可以使模型準(zhǔn)確率進(jìn)一步上升，但由于學(xué)習(xí)率下降不夠靈活，導(dǎo)致分段學(xué)習(xí)率模型的最終準(zhǔn)確率仍低于余弦退火模型。

圖12 不同學(xué)習(xí)率下的BS-ResNeXt-50 的準(zhǔn)確率變化Fig. 12 Accuracy variation curves of BS-ResNeXt-50 of different learning rate

不同的學(xué)習(xí)率對(duì)模型的預(yù)測(cè)準(zhǔn)確率影響很大，分段學(xué)習(xí)率相比固定學(xué)習(xí)率會(huì)提高模型準(zhǔn)確率，但效果有限。起始為0.000 2 的余弦退火學(xué)習(xí)率比固定0.002的學(xué)習(xí)率最終準(zhǔn)確率提高7.87%，使用余弦退火學(xué)習(xí)率可以使模型在后期的準(zhǔn)確率進(jìn)一步提升，讓模型可以達(dá)到更好的效果。

3.4 不同數(shù)據(jù)集下的不同模型結(jié)果分析

為了探究模型在不同數(shù)據(jù)集上的泛化效果，選擇CCT 數(shù)據(jù)集作為訓(xùn)練和測(cè)試的數(shù)據(jù)集，使用BSResNeXt-50、 ResNeXt-50、 VGG16、 EfficientNet-B0、InceptionV3、DenseNet-121 進(jìn)行試驗(yàn)。所有的模型均迭代100 個(gè)epoch，優(yōu)化器使用Adam，學(xué)習(xí)率采用起始為0.000 2 的余弦退火學(xué)習(xí)率。

4 個(gè)模型的準(zhǔn)確率曲線如圖13 所示，VGG16 的準(zhǔn)確率達(dá)到85.5%，即便使用余弦退火學(xué)習(xí)率，后期準(zhǔn)確率也上升較平緩，說(shuō)明模型的特征提取能力已飽和。EfficientNet-B0 的準(zhǔn)確率最終為90.23%，學(xué)習(xí)率曲線一直無(wú)明顯震蕩，說(shuō)明模型各項(xiàng)參數(shù)的選取都較合適。InceptionV3、 ResNeXt-50、 DenseNet-121 和 BSResNeXt-50 分別達(dá)到91.38%、93.12%、93.3%和95.07%的準(zhǔn)確率。InceptionV3、ResNeXt-50 和BS-ResNeXt-50 在前期震蕩較明顯，而DenseNet-121 準(zhǔn)確率在第10 輪到50 輪上下波動(dòng)，且無(wú)明顯上升趨勢(shì)，都說(shuō)明了學(xué)習(xí)率對(duì)模型有較大影響。隨著迭代次數(shù)增加，學(xué)習(xí)率逐漸變化，模型趨于收斂。

圖13 不同模型的準(zhǔn)確率變化曲線Fig. 13 Accuracy variation curves of different models

6 個(gè)模型預(yù)測(cè)各物種的準(zhǔn)確率見(jiàn)表4，BSResNeXt-50 在2 個(gè)數(shù)據(jù)集中的表現(xiàn)均優(yōu)于其他對(duì)比的模型。在“鹿”類(lèi)別的識(shí)別準(zhǔn)確率最高，達(dá)到了98.6%，而“臭鼬”類(lèi)別的識(shí)別準(zhǔn)確率最低，僅達(dá)到了88.9%。結(jié)合數(shù)據(jù)集分析可知，“鹿”類(lèi)別不但數(shù)據(jù)量較大，且物種體積也較大，在6 個(gè)模型上的準(zhǔn)確率都較高，而“臭鼬”類(lèi)別不但照片數(shù)量較少，且該物種體積也比較小，給模型的準(zhǔn)確判斷造成了困難，在4 種模型上的識(shí)別準(zhǔn)確率都偏低。雖然“負(fù)鼠”類(lèi)別照片數(shù)量是最多的，但是其在各個(gè)模型的準(zhǔn)確率都不是最高的，在BS-ResNeXt-50 上的準(zhǔn)確率不及“奶?！?、“貓”等數(shù)量少于它的類(lèi)別，說(shuō)明除了照片數(shù)量，物種體積對(duì)模型的學(xué)習(xí)有較大影響。

表4 不同模型對(duì)CCT 數(shù)據(jù)集各物種的識(shí)別結(jié)果Tab. 4 Classification results of various species by different models in CCT dataset

4 討論

本研究根據(jù)野生動(dòng)物圖像環(huán)境信息復(fù)雜、相同動(dòng)物在同一地區(qū)出沒(méi)等特點(diǎn)，使用SENet 以及BlurPool對(duì)ResNeXt-50 進(jìn)行改進(jìn)。ResNeXt-50 與SENet 相結(jié)合，讓網(wǎng)絡(luò)學(xué)習(xí)到了更多的野生動(dòng)物體態(tài)特征，使網(wǎng)絡(luò)對(duì)野生動(dòng)物圖像識(shí)別的準(zhǔn)確率有明顯的提升，Xie等（2019）也得出了相似的結(jié)果。此外，使用BlurPool后也使得ResNeXt-50 更好地維持了卷積的平移不變性，對(duì)野生動(dòng)物圖像識(shí)別的效果更好。

相比于ResNeXt-50，改進(jìn)后的BS-ResNeXt-50 提取到的特征更加完整、準(zhǔn)確，對(duì)于密云地區(qū)野生動(dòng)物識(shí)別準(zhǔn)確率提升明顯，可以應(yīng)對(duì)密云地區(qū)日益增長(zhǎng)的野生動(dòng)物圖像自動(dòng)識(shí)別需求，輔助密云地區(qū)物種多樣性研究。在公開(kāi)數(shù)據(jù)的測(cè)試中，ResNeXt-50 的識(shí)別準(zhǔn)確率也高于InceptionV3、DenseNet-121 等通用模型，說(shuō)明ResNeXt-50 有較好的泛化能力，可滿足未來(lái)更多地區(qū)、更多類(lèi)別野生動(dòng)物圖像的自動(dòng)識(shí)別工作。

本研究中自建數(shù)據(jù)集目前只收集了8 種野生動(dòng)物，且有數(shù)據(jù)傾斜現(xiàn)象，部分種類(lèi)的圖像數(shù)量較少，相比于其他大規(guī)模數(shù)據(jù)集的數(shù)據(jù)量還遠(yuǎn)遠(yuǎn)不夠。應(yīng)更有針對(duì)性的將紅外相機(jī)布設(shè)在動(dòng)物常出沒(méi)的地區(qū)，獲取更多野生動(dòng)物圖像。

5 結(jié)論

本研究建立了包含8 種野生動(dòng)物圖像的數(shù)據(jù)集，構(gòu)建了ResNeXt-50 及3 種改進(jìn)模型SE-ResNeXt-50、Blur-ResNeXt-50、BS-ResNeXt-50 對(duì)自建數(shù)據(jù)集進(jìn)行識(shí)別，BS-ResNeXt-50 的準(zhǔn)確率可達(dá)到78.04%±0.11%。測(cè)試了不同學(xué)習(xí)率情況下對(duì)模型的影響，最終在自建數(shù)據(jù)集上達(dá)到了81.54%的準(zhǔn)確率，說(shuō)明了余弦退火學(xué)習(xí)率的有效性。在CCT 數(shù)據(jù)集上對(duì)比了VGG16、EfficientNet-B0、InceptionV3、DenseNet-121、ResNeXt-50、BS-ResNeXt-50 模型，BS-ResNeXt-50 得到了95.07%的準(zhǔn)確率，且在每個(gè)類(lèi)別上的準(zhǔn)確率也均高于其他模型。BS-ResNeXt-50 可以快速準(zhǔn)確的對(duì)野生動(dòng)物圖像進(jìn)行識(shí)別，在不同野生動(dòng)物圖像數(shù)據(jù)集上也有很好表現(xiàn)，泛化能力較好，結(jié)合紅外相機(jī)自動(dòng)上傳的數(shù)據(jù)，可以有效地對(duì)其進(jìn)行識(shí)別。BS-ResNeXt-50 還可對(duì)保護(hù)區(qū)內(nèi)動(dòng)物圖像進(jìn)行監(jiān)控和管理，輔助動(dòng)物數(shù)據(jù)庫(kù)的構(gòu)建和維護(hù)，最終服務(wù)于生物多樣性保護(hù)。

現(xiàn)實(shí)世界中的動(dòng)物種類(lèi)龐大，不同地區(qū)的動(dòng)物種類(lèi)也不相同，部分動(dòng)物種間區(qū)別也很大。所以需要繼續(xù)收集更多地區(qū)的野生動(dòng)物圖像數(shù)據(jù)，進(jìn)一步對(duì)野生動(dòng)物種間進(jìn)行識(shí)別，使訓(xùn)練出的模型有更大應(yīng)用價(jià)值。