應(yīng)用改進優(yōu)魯模型對機載熱成像中野生動物種類的識別方法1)

蔣玨澤 謝永華

(東北林業(yè)大學(xué)，哈爾濱，150040)

監(jiān)測、保護、拯救瀕危珍稀野生動物，已成為當今社會持續(xù)性關(guān)注的熱點問題，并且許多研究者對無人機技術(shù)在森林資源調(diào)查、野生動物實時監(jiān)測方面進行了研究[1-6]，也有研究者對野生動物種類識別進行了研究[7-12]，這些研究成果為野外監(jiān)測野生動物提供了技術(shù)支撐。但是，隨著人工智能技術(shù)的不斷發(fā)展，工業(yè)要求不斷提高，已有技術(shù)在工程應(yīng)用上存在不足，比如，識別率較低，已有研究成果網(wǎng)絡(luò)識別率在70%～80%之間，難以滿足目前工業(yè)上的要求；舊網(wǎng)絡(luò)結(jié)構(gòu)冗余，參數(shù)數(shù)量多，過于依托硬件性能，識別速度慢。為此，本研究在研究區(qū)域黑龍江東北虎林園、吉林汪清國家級自然保護區(qū)、吉林琿春東北虎國家級自然保護區(qū)、內(nèi)蒙古大興安嶺汗馬國家級自然保護區(qū)內(nèi)，利用M300RTK型無人機并配套H20T紅外熱成像機，重點監(jiān)測了東北虎及其主要獵物(馬鹿、狍、梅花鹿、馴鹿)的生態(tài)行為，獲取不同季節(jié)的野生動物影像，構(gòu)建了野生動物監(jiān)測影像數(shù)據(jù)庫；采用優(yōu)魯模型對機載熱成像中野生動物種類進行識別，分析改進前、后優(yōu)魯模型識別效果的差異，構(gòu)建一種輕量化的用于機載設(shè)備的快速物種識別算法。旨在為實時監(jiān)測不同種類野生動物的生態(tài)行為提供參考。

1 研究方法

1.1 目標檢測算法選擇

目標檢測算法主要分為兩類，依據(jù)區(qū)域的雙階段方法和依據(jù)回歸的單階段方法。雙階段算法，需要先生成候選框再通過網(wǎng)絡(luò)進行分類，代表算法有Girshick et al.[13]提出的依據(jù)區(qū)域提取的區(qū)域卷積網(wǎng)絡(luò)算法。其首先獲取輸入圖像，然后利用選擇性搜索算法提取約2 000個自下而上的區(qū)域。使用大型卷積神經(jīng)網(wǎng)絡(luò)計算逐一提取區(qū)域的特征，最后使用特定的類線性支持向量機對每個區(qū)域進行分類。單階段算法，直接對整張圖像進行預(yù)測，實現(xiàn)分類和定位，代表算法有Redmon et al.[14]提出的優(yōu)魯(YOLO)算法。與依據(jù)區(qū)域的雙階段目標檢測方法不同，優(yōu)魯算法將目標檢測看作空間上的回歸問題，單個神經(jīng)網(wǎng)絡(luò)可經(jīng)過一次運算從完整圖像上得到邊界框和類別概率的預(yù)測，有利于對檢測性能進行端到端的優(yōu)化。單階段算法進行的是端到端回歸，檢測速度比雙階段有明顯提高，模型權(quán)重大小比雙階段算法縮小5～10倍，依托硬件性能較少。因此，本研究采用單階段優(yōu)魯系列算法進行試驗，不考慮雙階段算法。

1.2 優(yōu)魯算法介紹

(1)優(yōu)魯V3是目標檢測優(yōu)魯系列非常經(jīng)典且實用的算法，比V1、V2在識別精度和速度上大幅度提升，并且優(yōu)化了很多缺陷，網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 優(yōu)魯V3網(wǎng)絡(luò)結(jié)構(gòu)

(2)優(yōu)魯V3-SPP是優(yōu)魯V3的改進版(見圖2)，是在優(yōu)魯V3模型的第五、六層中增加了一個由不同池化操作組成的空間金字塔池化結(jié)構(gòu)模塊(SPP)，實現(xiàn)了局部特征和全局特征的融合，豐富了特征圖的表達能力，使準確率有了小幅度提升。

圖2 優(yōu)魯V3-SPP網(wǎng)絡(luò)結(jié)構(gòu)

(3)優(yōu)魯V5按照網(wǎng)絡(luò)的寬度與深度不同分為4個版本，分別是s、m、l、x，這4種型號的網(wǎng)絡(luò)只在卷積層與卷積核數(shù)量上做了區(qū)分，其網(wǎng)絡(luò)結(jié)構(gòu)圖相同，所以本研究只介紹優(yōu)魯V5s的網(wǎng)絡(luò)結(jié)構(gòu)(見圖3)。

1.3 數(shù)據(jù)集的獲取

2019、2020年，項目組多次在黑龍江東北虎林園、吉林汪清國家級自然保護區(qū)、吉林省琿春東北虎國家級自然保護區(qū)、內(nèi)蒙古大興安嶺汗馬國家級自然保護區(qū)等地，利用無人機紅外熱成像監(jiān)測野生動物，并在高度、速度、噪音、成像質(zhì)量中找出了最佳飛行參數(shù)，獲取了長達數(shù)十小時的不同季節(jié)的野生動物影像。重點監(jiān)測了東北虎及其主要獵物(馬鹿、狍、梅花鹿)的生態(tài)行為，構(gòu)建了野生動物監(jiān)測影像數(shù)據(jù)庫。

試驗配備大疆的M300RTK型無人機，并配套H20T紅外熱成像機(視頻分辨率為640×512，照片分辨率為640×512，最低工作溫度-40 ℃)；在相同飛行高度下經(jīng)多次試驗，當鏡頭中心線與水平夾角為45°時，拍攝的圖像更有利于后期處理。無人機飛行高度范圍為25～120 m，以最低不驚擾拍攝目標為有效拍攝高度。

圖3 優(yōu)魯V5s網(wǎng)絡(luò)結(jié)構(gòu)

2019年10月26日，于黑龍江東北虎林園拍攝東北虎。由于拍攝目標為園內(nèi)飼養(yǎng)，拍攝目標對噪音及外部干擾適應(yīng)能力強；低空45°飛行、距離地面25～30 m拍攝、地面環(huán)境噪音134 dB、飛行速度7 m/s。

2020年11月23日至27日，于吉林省延吉市的汪清保護區(qū)拍攝梅花鹿、狍。梅花鹿、狍為野生，對無人機和噪音十分敏感；低空45°飛行、距離地面69 m拍攝、地面環(huán)境噪音63 dB、飛行速度7 m/s。

2020年12月22日至25日，于內(nèi)蒙古自治區(qū)根河市的汗馬保護區(qū)拍攝野生馴鹿、馬鹿；低空45°飛行、距離地面53 m拍攝、地面環(huán)境噪音83 dB、飛行速度7 m/s。

獲取的視頻以50幀每幅處理，剪輯出有效圖片2 000幅，其中狍419幅、馴鹿401幅、馬鹿378幅、梅花鹿381幅、東北虎421幅。本研究引入驗證樣本數(shù)據(jù)對模型構(gòu)建過程中的參數(shù)進行調(diào)整，n(訓(xùn)練樣本)∶n(驗證樣本)∶n(測試樣本)為6∶2∶2[15]，部分圖像如下圖所示。

圖4 5種野生動物生態(tài)行為的紅外熱成像監(jiān)測影像截圖

1.4 數(shù)據(jù)集預(yù)處理

考慮樣本數(shù)量相對較少，為減少過擬合，提高模型的魯棒性，對2 000幅有效樣本數(shù)據(jù)進行數(shù)據(jù)增強。對樣本數(shù)據(jù)進行隨機裁剪、色調(diào)改變、隨機翻轉(zhuǎn)[16]，將原樣本2 000幅增強至8 000幅，并對每幅圖像進行歸一化處理，使訓(xùn)練模型時有更好的效果。在優(yōu)魯V5s網(wǎng)絡(luò)中，對數(shù)據(jù)集加入拼圖(Mosaic)操作處理，降低內(nèi)存、提高效率。

2 結(jié)果與分析

2.1 優(yōu)魯網(wǎng)絡(luò)模型的結(jié)構(gòu)選擇

本試驗中的硬件環(huán)境為AMD Ryzen 7 4800H with Radeon Graphics的中央處理器與NVIDIA GeForce RTX 2060的圖像處理器，軟件環(huán)境為python3.8，操作系統(tǒng)為Ubuntu18.04。試驗中使用視頻剪輯軟件對源文件進行裁剪，并對標注好后的數(shù)據(jù)進行預(yù)處理后，訓(xùn)練網(wǎng)絡(luò)模型，以單張訓(xùn)練時間、準確率、模型權(quán)重大小、參數(shù)數(shù)量、占用內(nèi)存5種指標為模型優(yōu)化程度評定參數(shù)。模型訓(xùn)練參數(shù)：學(xué)習(xí)率為0.01；檢測損失函數(shù)為G型損失函數(shù)(G_IOU Loss)；分類損失函數(shù)為C型損失函數(shù)(C_IOU Loss)；迭代次數(shù)為300。

應(yīng)用優(yōu)魯網(wǎng)絡(luò)模型6種結(jié)構(gòu)進行分類，其分類準確率見圖5、模型性能參數(shù)見表1。

圖5 優(yōu)魯網(wǎng)絡(luò)模型6種結(jié)構(gòu)分類準確率

表1 6種網(wǎng)絡(luò)模型性能參數(shù)

由表1可見：6種網(wǎng)絡(luò)模型中，檢測時間最短的是優(yōu)魯V5s網(wǎng)絡(luò)，識別每張圖片僅需0.032 s；準確率最高的是優(yōu)魯V5x網(wǎng)絡(luò)，為95.2%；模型權(quán)重最小的是優(yōu)魯V5s網(wǎng)絡(luò)，為14.8 MB；參數(shù)數(shù)量最少的為優(yōu)魯V5s網(wǎng)絡(luò)，為77萬；占用內(nèi)存空間最少的是優(yōu)魯V5s網(wǎng)絡(luò)，為4.58 GB。由于本研究主要以輕量化系統(tǒng)在線識別為主要目的，對比表1數(shù)據(jù)，以優(yōu)魯V5s網(wǎng)絡(luò)進行模型輕量化改進。

2.2 優(yōu)魯V5s模型改進方案

在一個訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，通常會包含豐富甚至冗余的特征圖，以保證對輸入數(shù)據(jù)有全面的理解，但這也會使模型變得過于龐大。使用輕量化模塊(Ghost)替換原卷積層，對其進行優(yōu)化(見圖6)，該模塊原理是通過對原始特征圖使用不同于傳統(tǒng)卷積的線性變換，以較低的計算成本獲取大量目標特征信息相關(guān)的特征圖。目的是使用更少的參數(shù)生成更多特征圖，從而減小模型參數(shù)數(shù)量，降低模型權(quán)重。

圖6 改進后的優(yōu)魯V5s網(wǎng)絡(luò)模型結(jié)構(gòu)

2.3 改進后網(wǎng)絡(luò)模型識別結(jié)果

模型改進后，用較少的卷積核生成原始特征圖，用效率更高的變換操作生產(chǎn)更多幻影特征圖，改進后的網(wǎng)絡(luò)模型準確率見圖7、模型性能參數(shù)見表2。

圖7 改進后網(wǎng)絡(luò)模型準確率

表2 優(yōu)魯網(wǎng)絡(luò)模型改進前、后的性能參數(shù)

改進后模型，單張檢測時間、權(quán)重、參數(shù)數(shù)量、內(nèi)存等參數(shù)，均優(yōu)于改進前模型。將模型應(yīng)用于測試集分類中，并以物種種類、統(tǒng)計序號、識別置信度為目標標注，部分識別結(jié)果樣本數(shù)據(jù)見圖8、9。

圖8 改進后模型對東北虎生態(tài)行為的識別結(jié)果

圖9 改進后模型對馴鹿生態(tài)行為的識別結(jié)果

3 結(jié)束語

本研究以東北虎及其食物鏈為研究對象，在對比了單階段目標識別代表性優(yōu)魯系列模型后，以優(yōu)魯V5s為主要識別算法進行了分類研究，并對其網(wǎng)絡(luò)結(jié)構(gòu)進行改進；通過將其卷積層部分替換成輕量模(Ghost)塊后，模型參數(shù)更少，模型權(quán)重減小48%，檢測時間降低53%，盡管準確率下降0.9%，但其模型輕量化后更適用于無人機載系統(tǒng)邊緣計算。本研究結(jié)果，可為野生動物在線調(diào)查方法提供參考。