摘 要 借助無人機邊緣計算技術(shù)監(jiān)測野生動物的運動狀態(tài)和種群發(fā)展變化已成為科研工作者廣泛使用的技術(shù)手段。傳統(tǒng)跟蹤算法算力高,機載邊緣設(shè)備硬件資源算力不足,在戶外復(fù)雜的自然環(huán)境下難以實現(xiàn)實時跟蹤。為解決野外環(huán)境中無人機跟蹤野生動物時遇到樹木遮擋和背景干擾導(dǎo)致無法準(zhǔn)確實時跟蹤的問題,選取東北地區(qū)東北虎(Panthera tigris altaica)、狍(Capreolus pygargus mantschuricus)和馴鹿(Rangifer taran?dus phylarchus)為研究對象,以YOLOv7-Tiny+Bot-SORT作為檢測跟蹤的基礎(chǔ)框架,提出了一種輕量化的無人機跟蹤算法。首先,采用FasterNet網(wǎng)絡(luò)減少模型冗余計算,增強特征圖中目標(biāo)區(qū)域關(guān)注度;其次,采用高效通道注意力機制實現(xiàn)局部跨通道交流,降低復(fù)雜環(huán)境對檢測網(wǎng)絡(luò)的影響,提升網(wǎng)絡(luò)檢測能力;最后,為降低計算成本,替換重識別網(wǎng)絡(luò),提高無人機跟蹤速度。結(jié)果顯示:提出的實時跟蹤方法準(zhǔn)確度(MOTA)和精確度(MOTP)分別達(dá)到79. 93%和73. 48%,跟蹤速度從3. 4幀/s提升到43. 4幀/s。研究表明,提出的算法不僅在提升跟蹤精度和速度方面表現(xiàn)出色,而且更適用于算力有限的邊緣設(shè)備,為保護(hù)野生動物的多樣性和群體行為研究提供了強大的技術(shù)支持。
關(guān)鍵詞:多目標(biāo)跟蹤;YOLOv7-Tiny算法;野生動物;無人機;輕量化
中圖分類號:Q958. 1;TP391. 4 文獻(xiàn)標(biāo)識碼:A 文章編號:2310 - 1490(2024)- 02 - 0251 - 11
DOI:10.12375/ysdwxb.20240203
野生動物監(jiān)測手段主要分為接觸式和非接觸式兩大類。接觸式包括人工調(diào)查法和全球定位系統(tǒng)(GPS)項圈技術(shù)[1],非接觸式則主要包括基于聲音檢測和影像分析[2]的兩種技術(shù)方法。由于動物行為的復(fù)雜性,人工調(diào)查法通常需要投入大量人力資源,同時會對野生動物的正常生活造成干擾。相較之下,基于影像技術(shù)的非接觸式監(jiān)測法則表現(xiàn)出低干擾性、低成本以及信息量豐富等優(yōu)勢。當(dāng)前,人工智能和無人機的結(jié)合應(yīng)用越來越廣泛,利用視頻數(shù)據(jù)對瀕危野生動物的行為和軌跡進(jìn)行回顧性分析和監(jiān)測已成趨勢。
隨著深度學(xué)習(xí)目標(biāo)跟蹤算法的不斷發(fā)展,越來越多的研究人員運用深度學(xué)習(xí)技術(shù)進(jìn)行動物研究[3]。郭子豪等[4]提出了結(jié)合有監(jiān)督的注意力機制與Faster RCNN,以解決節(jié)肢動物目標(biāo)遮擋和背景復(fù)雜等問題。趙濤濤[5]提出使用基于多尺度特征融合的SSD 小目標(biāo)檢測模型,用于統(tǒng)計高原鼠兔(Ochotona curzoniae)的種群數(shù)量和種群動態(tài)變化。Xie等[6]提出使用YOLOX算法結(jié)合CBAM-E和CIoU損失函數(shù),部署在檢測終端設(shè)備上,將人工智能與智能感知設(shè)備相結(jié)合,為遠(yuǎn)程采集東北虎(Panthera ti?gris altaica)相關(guān)圖像信息提供了研究方向。黃元濤[7]以改進(jìn)的ResNet 檢測算法作為DeepSORT[8]的輸入,應(yīng)用于藏羚(Pantholops hodgsonii)的多目標(biāo)跟蹤任務(wù)中,有效解決目標(biāo)身份跳變的問題,同時保持跟蹤速度在2幀/s??琢铌溃?]從智能保護(hù)動物的角度出發(fā),使用改進(jìn)后的YOLOv5檢測網(wǎng)絡(luò)結(jié)合Deep?SORT跟蹤算法對動物進(jìn)行跟蹤,有效改善了跟蹤過程中動物軌跡丟失的問題。馬光凱等[10]采用輕量化的重識別模型GhostNet和DeepSORT跟蹤算法,結(jié)合YOLOv5檢測算法對圈養(yǎng)東北虎幼崽進(jìn)行目標(biāo)跟蹤,不僅提升了跟蹤精度,也優(yōu)化了內(nèi)存空間。張偉等[11]使用基于中心點的CenterNet 檢測算法結(jié)合DeepSORT 跟蹤算法對斷奶仔豬進(jìn)行目標(biāo)跟蹤,有效改善斷奶仔豬外表相似度高和黏連遮擋導(dǎo)致的追蹤困難問題。上述研究在動物識別和跟蹤方面雖取得了一些成果,但其所采用的算法要求計算機的算力較高,且模塊占用的空間內(nèi)存相對較大,不適用于算力有限的機載邊緣設(shè)備。因此,需要一種輕量化的檢測跟蹤算法,以實現(xiàn)在無人機上的實時群體跟蹤。
東北虎、馴鹿(Rangifer tarandus phylarchus)和狍(Capreolus pygargus mantschuricus)等野生動物是東北地區(qū)生態(tài)系統(tǒng)中重要的成員。東北虎作為食肉動物,在驅(qū)動食物鏈層次結(jié)構(gòu)和調(diào)控食草動物種群數(shù)量方面發(fā)揮著關(guān)鍵性作用。馴鹿和狍作為食草動物,對維持植被結(jié)構(gòu)和生態(tài)平衡具有積極影響。本研究以東北虎、狍和馴鹿為研究對象,利用輕量化YOLOv7-Tiny[12]算法,結(jié)合Bot-SORT[13]骨干網(wǎng)絡(luò),對3種野生動物進(jìn)行實時監(jiān)測和跟蹤,旨在提出一種輕量化的無人機跟蹤算法,以解決野外環(huán)境中無人機跟蹤野生動物時遇到樹木遮擋和背景干擾導(dǎo)致無法準(zhǔn)確實時跟蹤的問題。研究結(jié)果可為保護(hù)野生動物多樣性,了解東北地區(qū)野生動物之間的相互關(guān)系,維護(hù)生態(tài)系統(tǒng)平衡提供實際有效的科技手段。
1 研究方法
1. 1 數(shù)據(jù)集介紹
1. 1. 1 視頻采集
實驗配備為DJI M300RTK 無人機,搭載禪思Z30鏡頭,以最低不驚擾拍攝目標(biāo)為有效拍攝高度。篩選、保留并剪輯88個含目標(biāo)動物的有效視頻,視頻為MP4格式,分辨率為1 920 P×1 080 P,視頻幀率為30 幀/s,樣張見圖1。
1. 1. 2 數(shù)據(jù)集的構(gòu)建
使用DarkLabel 軟件對88 個視頻進(jìn)行數(shù)據(jù)標(biāo)注,構(gòu)建目標(biāo)檢測數(shù)據(jù)集和跟蹤數(shù)據(jù)集。選取7個視頻作為跟蹤數(shù)據(jù)集,包括3個東北虎、2個狍和2個馴鹿的視頻,其余81個視頻按照每隔15幀提取1幀圖像的方法,制作檢測數(shù)據(jù)集,共計4 392張圖像(圖2)。按照8∶2的比例劃分為訓(xùn)練集和驗證集,訓(xùn)練集包含3 514張圖像,驗證集包含878張圖像。在進(jìn)行重識別工作時,構(gòu)建野生動物重識別數(shù)據(jù)集,包含14 302張圖像,訓(xùn)練集包含11 441張圖像,驗證集包含2 861張圖像,數(shù)據(jù)集樣例如圖3所示。
1. 2 YOLOv7-Tiny 與Bot-SORT 算法分析
YOLOv7-Tiny是由Wang等[12]提出的YOLO系列算法,相比于YOLOv5s,該算法在相同體量下表現(xiàn)出更高的精度和更快的速度,在速度和精度方面均超越了2022年已知的輕量化檢測器。YOLOv7-Tiny算法是具有CSP結(jié)構(gòu)的SPP模塊,該模塊具有不同大小的最大池化層,可以使網(wǎng)絡(luò)從不同的感受領(lǐng)域?qū)W習(xí)野生動物更有效的特征,使深度卷積網(wǎng)絡(luò)能夠克服復(fù)雜的野外環(huán)境提取野生動物更豐富的語義信息。YOLOv7-Tiny算法采用了重參數(shù)化技術(shù),其中同一層包含不同的網(wǎng)絡(luò)分支,具有不同的卷積內(nèi)核大小。在推理過程中,不同分支的卷積核被等效地替換為相同大小的卷積核,然后融合成單個分支,這提高了計算的并行性,降低了在GPU上進(jìn)行推理時的存儲需求和推理速度,使其更適用于無人機等算力有限的邊緣設(shè)備。
Bot-SORT 提出采用運動相機補償和卡爾曼濾波直接輸出的方式進(jìn)行跟蹤[13]。首先提取野生動物圖像的關(guān)鍵點,隨后使用稀疏光流并采用基于平移的局部異常值排除的方法進(jìn)行特征跟蹤,接著使用RANSAC[14]計算放射變換矩陣,將在k-1幀坐標(biāo)中預(yù)測的野生動物邊界框變換到其下一幀第k 幀的坐標(biāo),從而實現(xiàn)精準(zhǔn)的動態(tài)跟蹤。
1. 3 算法改進(jìn)
在目標(biāo)檢測任務(wù)中,YOLOv7-Tiny表現(xiàn)優(yōu)異,但面對無人機這種內(nèi)存量小的邊緣設(shè)備,模型的推理速度還是無法滿足需求,因此,為了提高在復(fù)雜環(huán)境中對野生動物的檢測精度并減小檢測模型的權(quán)重,對檢測算法提出兩個改進(jìn):一是將原本的骨干網(wǎng)絡(luò)替換為檢測速度更快的FasterNet[15]網(wǎng)絡(luò);二是在檢測的頸部網(wǎng)絡(luò)中引入高效通道注意力機制ECANet[16],實現(xiàn)局部的跨通道交流,減輕復(fù)雜環(huán)境對檢測網(wǎng)絡(luò)的影響,提升檢測精度。
Bot-SORT 跟蹤算法采用SBS+ResNeSt-50[17]作為重識別網(wǎng)絡(luò),然而由于該重識別模塊權(quán)重過大,無法滿足無人機實時跟蹤的要求,因此選擇更為輕量化的MobileNetV3[18]算法作為重識別網(wǎng)絡(luò),算法改進(jìn)的整體結(jié)構(gòu)如圖4所示。
1. 3. 1 FasterNet輕量化
在追求更快的神經(jīng)網(wǎng)絡(luò)設(shè)計中,大多數(shù)工作都集中在減少浮點運算次數(shù)(floating point operations,F(xiàn)LOPs)上,但FLOPs的減少不一定會提高網(wǎng)絡(luò)的推理速度。為了實現(xiàn)更快的網(wǎng)絡(luò),香港科技大學(xué)證明每秒低浮點運算FLOPS效率低下是由于運算符頻繁內(nèi)存訪問,由此提出了新的部分卷積(partical convo?lution,PConv)和FasterNet網(wǎng)絡(luò)[15]。FasterNet塊的基本結(jié)構(gòu)由部分卷積和深度可分離卷積(pointwiseconvolution,PWConv)構(gòu)成。部分卷積被設(shè)計用于處理輸入中可能存在的遮擋部分,以確保模型對不完整輸入的魯棒性;深度可分離卷積則被用于有效的特征提取和信息融合,從而提高模型的性能和效率。這種基于部分卷積和深度可分離卷積的結(jié)構(gòu)設(shè)計使得FasterNet 塊在處理具有遮擋等復(fù)雜場景時表現(xiàn)出色。
1. 3. 2 高效通道注意力機制ECA-Net
SENet網(wǎng)絡(luò)結(jié)構(gòu)通過全局池之后進(jìn)行完全連接來縮小和升級,以增強通道相關(guān)性。全連接層主要是將全局特征圖與權(quán)重矩陣相結(jié)合來計算,不利于野外復(fù)雜的環(huán)境背景和野生動物的區(qū)分。ECA-Net是基于SENet的高效信道注意力模型,它使用卷積核大小為k 的一維卷積代替全連接層,對k 個鄰近范圍進(jìn)行信道加權(quán),實現(xiàn)局部交叉和信道交互,從而增強網(wǎng)絡(luò)對局部特征的關(guān)注,減少復(fù)雜環(huán)境背景對野生動物檢測的干擾。
1. 3. 3 MobileNetV3重識別網(wǎng)絡(luò)
野生動物的重識別過程是指對輸入的指定目標(biāo)圖像提取外觀特征,在野生動物的圖像數(shù)據(jù)庫中檢索與輸入圖像具有相似特征的圖像,并匹配同一個ID號碼,確保再次出現(xiàn)時能準(zhǔn)確識別其身份。
MobileNetV3在前兩代的基礎(chǔ)上積累了經(jīng)驗,性能和速度都表現(xiàn)優(yōu)異。MobileNetV3 使用NetAdapt算法獲得卷積核和通道的最佳數(shù)量,并延續(xù)了V1版本的深度可分離卷積和V2版本的具有線性瓶頸的殘差結(jié)構(gòu)。因此MobileNetV3網(wǎng)絡(luò)以較低的計算成本在復(fù)雜的任務(wù)中提取圖像特征,并取得令人滿意的精度。模型結(jié)構(gòu)如圖5所示。
2 算法訓(xùn)練結(jié)果與分析
2. 1 實驗平臺參數(shù)設(shè)置
硬件平臺設(shè)備是NVIDIA GeForce RTX 3060的GPU和12th Gen Intel Core i5-12400F的CPU;軟件平臺是Windows 操作系統(tǒng)、CUDA 11. 3、Python 3. 8 和PyTorch 1. 12. 1。
2. 2 模型性能評估指標(biāo)
目標(biāo)檢測的主要評價指標(biāo)選擇平均精度均值(mean average precision,mAP)、模型參數(shù)量(param?eters,Params)、浮點運算次數(shù)和模型權(quán)重(weights),其中,平均精度均值用來測評模型對野生動物的檢測能力;模型參數(shù)量用來衡量模型的大小;浮點運算次數(shù)用來衡量模型的復(fù)雜度,表示計算量;模型權(quán)重用來衡量模型復(fù)雜度和大小,與儲存空間和計算成本密切相關(guān)。
野生動物多目標(biāo)跟蹤算法的性能評估指標(biāo)選擇多目標(biāo)跟蹤準(zhǔn)確度(multiple object tracking accuracy,MOTA)和多目標(biāo)跟蹤精確度(multiple object track?ing precision,MOTP),將誤檢數(shù)(1 positive,F(xiàn)P)、丟失目標(biāo)數(shù)(1 negative,F(xiàn)N)、平均數(shù)比率(ID F1score,IDF1)、目標(biāo)ID 轉(zhuǎn)變數(shù)(identity switches,IDS)和每秒處理圖片數(shù)(frames per second,F(xiàn)PS)作為輔助指標(biāo)進(jìn)行性能評估。
重識別算法的性能評估選擇平均精度均值和平均逆置負(fù)樣本懲罰率(mean inverse negative penalty,mINP)。mINP 用來衡量模型在最難匹配的野生動物樣本上的性能,數(shù)值越高代表性能越好。
2. 3 跟蹤算法比較
隨機選取7 個未被用于訓(xùn)練的視頻作為測試集,用于跟蹤評估模型性能,將這7個視頻分別命名為MOT01、MOT02、……、MOT07。
選擇當(dāng)前流行的7 種跟蹤算法(UAVMOT[19]、StrongSORT[20] 、DeepMOT[21] 、ByteTrack[22] 、Deep?SORT、SORT[23]和Bot-SORT)進(jìn)行試驗對比,結(jié)果所示:Bot-SORT的跟蹤準(zhǔn)確度和精確度均最高,丟失目標(biāo)和目標(biāo)ID轉(zhuǎn)變數(shù)均最低(表1)。Bot-SORT算法通過采用運動相機補償和卡爾曼濾波直接輸出的方式顯著提高了算法的跟蹤性能。因此,選用Bot-SORT作為跟蹤器。
2. 4 YOLOv7-Tiny 改進(jìn)模型訓(xùn)練
為驗證檢測部分的改進(jìn)方法是否有效,設(shè)計一組消融實驗進(jìn)行對比分析,同時為保證實驗的準(zhǔn)確性,訓(xùn)練過程中均采用相同參數(shù),使用自建的野生動物數(shù)據(jù)集進(jìn)行實驗。野生動物的目標(biāo)檢測消融實驗對比曲線如圖6所示,消融實驗結(jié)果如表2所示。
與未改進(jìn)的YOLOv7-Tiny 網(wǎng)絡(luò)相比,將Faster?Net 替換為YOLOv7-Tiny 的主干網(wǎng)絡(luò),同時將ECANet注意力模塊加入到Y(jié)OLOv7-Tiny網(wǎng)絡(luò)的頸部后,0. 50 閾值準(zhǔn)確率從95. 3% 提升到96. 2%,提升0. 9%,0. 50~0. 95 閾值準(zhǔn)確率從71. 3% 提升到73. 9%,提升2. 6%。在網(wǎng)絡(luò)中單獨加ECA-Net注意力模塊的0. 50閾值準(zhǔn)確率為96. 5%,雖然改進(jìn)模型與單獨加ECA-Net 模塊相比0. 5 閾值準(zhǔn)確率下降0. 3%,但改進(jìn)模型的權(quán)重與單獨加ECA-Net模塊相比從10. 21 MB下降到9. 53 MB,縮減了0. 68 MB(表2)。改進(jìn)模型與未改進(jìn)的YOLOv7-Tiny網(wǎng)絡(luò)相比在檢測準(zhǔn)確率上有明顯提升,參數(shù)量和計算量上均有更明顯的下降,模型占用內(nèi)存從11. 71 MB 縮減到9. 53 MB,節(jié)省了約18. 62%的內(nèi)存空間。
綜上所述,改進(jìn)后的YOLOv7-Tiny網(wǎng)絡(luò)能克服復(fù)雜的環(huán)境背景影響,在提升野生動物檢測準(zhǔn)確度的同時降低了模型推理計算量和模型權(quán)重,有效地平衡了精度和輕量化。
2. 5 重識別模型訓(xùn)練
在野外環(huán)境中,邊緣設(shè)備如無人機面臨諸多挑戰(zhàn),包括電量不足、網(wǎng)絡(luò)不穩(wěn)定和計算資源受限等問題。這些挑戰(zhàn)對于重識別算法的部署提出了更高的要求。首先,無人機的電量有限,復(fù)雜的算法會消耗更多的能量,可能導(dǎo)致飛行時間縮短,從而降低長時間跟蹤的能力;其次,由于無人機經(jīng)常在邊緣環(huán)境中操作,會出現(xiàn)網(wǎng)絡(luò)連接不穩(wěn)定或無法訪問云端服務(wù)器的情況,因此需要在設(shè)備端部署輕量化算法,減少對網(wǎng)絡(luò)帶寬和延遲的依賴;最后,由于無人機的計算資源有限,較大規(guī)模的模型可能無法在設(shè)備上實時運行,因此需要采用輕量化的算法,以保證跟蹤的實時性和效率。
將重識別模型ResNeSt-50、MobileNetV3-Large和MobileNetV3-Small 進(jìn)行實驗對比,結(jié)果如表3所示。
ResNeSt-50重識別模型大小為300. 10 MB,如果使用Bot-SORT原定的ResNeSt-50網(wǎng)絡(luò),野生動物的跟蹤速度會較慢,無法滿足架設(shè)在無人機上的需求;而若使用MobileNetV3-Small作為重識別網(wǎng)絡(luò),雖然平均精度均值降低3. 29%,但其模型大小為20. 06 MB,內(nèi)存減小約93. 32%,極大降低了內(nèi)存占用,大幅度提高了跟蹤速度。由于研究的目的是將跟蹤算法架設(shè)在無人機設(shè)備上,要求在保證準(zhǔn)確率的情況下使用內(nèi)存占用更小的重識別模型,故使用Mobile?NetV3-Small作為重識別算法。
2. 6 多目標(biāo)跟蹤算法實驗
成像高度、戶外遮擋、目標(biāo)重疊遮擋和動物保護(hù)色等都會影響檢測精度,本研究將改進(jìn)的檢測模型權(quán)重和重識別權(quán)重應(yīng)用到Bot-SORT骨干網(wǎng)絡(luò)上,對野生動物進(jìn)行多目標(biāo)跟蹤,取得較好成果,算法評估對比如表4所示,解決復(fù)雜環(huán)境跟蹤成像問題如圖7所示。
與基本算法相比,本研究算法在跟蹤準(zhǔn)確度方面提升了7. 81%;在丟失目標(biāo)數(shù)、誤檢數(shù)和目標(biāo)ID轉(zhuǎn)變數(shù)方面均有大幅下降;在跟蹤精確度方面下降了0. 40%,導(dǎo)致跟蹤精確度下降的原因主要是重識別模型的替換,MobileNetV3-Small重識別網(wǎng)絡(luò)比基本算法使用的ResNeSt-50 的平均精度均值減少了3. 29%,但替換的輕量化MobileNetV3-Small 重識別網(wǎng)絡(luò)的權(quán)重模型僅占基本算法ResNeSt-50 網(wǎng)絡(luò)權(quán)重模型的6. 68%,可大幅度提升跟蹤網(wǎng)絡(luò)的運行速度。在檢測部分替換FasterNet 骨干網(wǎng)絡(luò)和添加ECA-Net注意力機制,在提高檢測精度的同時又降低了模型權(quán)重,基本算法使用的檢測和重識別模塊權(quán)重分別為11. 71 MB 和300. 10 MB,本研究算法的檢測和重識別模塊權(quán)重分別為9. 53 MB 和20. 06 MB,模型權(quán)重分別減少了18. 62%和93. 32%,因此本研究算法在跟蹤速度上有大幅度提升,每秒處理圖片數(shù)從3. 4幀/s提升到43. 4幀/s。通過算法改進(jìn),實現(xiàn)了理論上實時跟蹤的可能,更適用于將算法模型架設(shè)在邊緣設(shè)備上,實現(xiàn)無人機的實時跟蹤。
本研究算法在視頻MOT01的第213幀成功標(biāo)記出基本算法未能標(biāo)記出的左下角和右上角的2只馴鹿,視頻中能夠觀察到2只馴鹿正常行走的姿態(tài)(圖7A)。由于視頻MOT02受樹木高度和樹叢的影響,以及較高的飛行角度和小目標(biāo)個體等因素的影響,基本算法在第225 幀中錯誤地將樹枝陰影識別為狍,但本研究算法在同一幀成功地識別出2只狍(圖7B)。MOT04和MOT05視頻以無人機視角拍攝了東北虎的活動畫面,由于背景環(huán)境顏色與東北虎外表顏色相似,增加了準(zhǔn)確識別目標(biāo)的難度。受草地和光影的影響,在MOT04視頻的第7幀,基本算法未能在跟蹤過程中識別出左下角行走的東北虎(圖7C);在MOT05視頻的第462幀,基本算法在跟蹤過程中丟失了中下部行走的東北虎(圖7D),而本研究算法在這些復(fù)雜情況下仍能成功識別目標(biāo)。MOT06視頻是在野外環(huán)境中對狍進(jìn)行的跟蹤,在第151幀,本研究算法克服了繁密樹木的遮擋,準(zhǔn)確識別了3只正在移動的狍(圖7E)。MOT07視頻展示了6只東北虎的活動畫面,在第40幀,5只東北虎呈趴臥狀態(tài),1只東北虎處于行走狀態(tài),趴臥中的東北虎由于距離較近而出現(xiàn)一部分的身體重疊,基本算法未能準(zhǔn)確識別出左下角和中間趴臥的2只東北虎,而本研究算法依然能準(zhǔn)確識別出全部東北虎(圖7F)。綜上所述,本研究算法在面對樹木遮擋、相似物較多、環(huán)境保護(hù)色和光線干擾等復(fù)雜情況時依然能實現(xiàn)野生動物的精確定位和群體跟蹤。
3 討論
在監(jiān)測野生動物時,研究人員通常使用紅外相機法,通過篩選相機拍攝畫面,進(jìn)而確定野生動物的生理活動狀態(tài)。由于紅外相機容易受到自然因素的影響,導(dǎo)致誤拍的情況,使得人工辨認(rèn)難度加大,從而對野生動物的行為和軌跡分析產(chǎn)生較大影響。本研究以東北虎、狍和馴鹿為研究對象,構(gòu)建了3種野生動物多目標(biāo)無人機跟蹤數(shù)據(jù)集,初步探索了使用無人機結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)對東北地區(qū)野生動物進(jìn)行實時群體跟蹤的方法。
從最終跟蹤結(jié)果看,在面對野外樹枝遮擋、相似物較多時,仍存在一定程度的錯誤識別和遺漏,為此,模型性能需要進(jìn)一步提升。目前,深度學(xué)習(xí)在野生動物保護(hù)領(lǐng)域的動物識別分類上已有大量研究,如Liu等[24]提出的新型輕量級深度學(xué)習(xí)網(wǎng)絡(luò)用在移動和資源受限的環(huán)境中實時檢測東北虎;Shi等[25]采集了40只東北虎圖像,提出DCNN網(wǎng)絡(luò)實現(xiàn)東北虎的自動檢測和識別;Surya等[26]提出使用DCNN進(jìn)行動物檢測和區(qū)分的實時圖像處理,通過物聯(lián)網(wǎng)監(jiān)測野生動物,一旦檢測到野生動物,會立即通過短信將野生動物的GPS位置發(fā)送給護(hù)林員。在動物跟蹤領(lǐng)域,關(guān)鍵的挑戰(zhàn)在于解決目標(biāo)遮擋、實時性和環(huán)境變化等,野生動物相互遮擋或被環(huán)境完全遮擋會導(dǎo)致算法難以正確估計目標(biāo)的位置和運動,光照變換也會影響相機中動物的外觀,對多目標(biāo)跟蹤造成影響,因此,需要算法具有一定的魯棒性。
目前基于視頻的野生動物跟蹤研究相對較少,盡管本研究取得了一些成果,但仍存在局限性,如數(shù)據(jù)集物種數(shù)量相對較少,在某種程度上限制了研究的廣度和適用性。未來的研究方向之一是擴充數(shù)據(jù)集,涵蓋更多種類的野生動物。通過引入更多物種,可以更全面地評估算法的普適性和魯棒性,這將有助于驗證算法在處理多樣性動物群體時的性能。同時可將無人機邊緣計算技術(shù)更深入地融入野生動物保護(hù)的研究中,通過進(jìn)一步優(yōu)化邊緣計算,可以提高無人機系統(tǒng)對實時數(shù)據(jù)處理和分析的能力,進(jìn)一步加強野生動物群體的跟蹤效果。
4 結(jié)論
無人機邊緣計算技術(shù)在野生動物監(jiān)測中發(fā)揮關(guān)鍵作用,對野生動物的保護(hù)具有重要意義。本研究提出一種基于深度學(xué)習(xí)的輕量化無人機跟蹤方法,以實現(xiàn)對野生動物的群體實時跟蹤。在檢測方面,通過引入輕量化FasterNet模塊替代YOLOv7-Tiny網(wǎng)絡(luò)主干,成功降低了網(wǎng)絡(luò)計算量,同時增強了特征圖對野生動物區(qū)域的關(guān)注度。采用高效通道注意力機制與頸部網(wǎng)絡(luò)卷積模塊相結(jié)合的方法,實現(xiàn)了局部跨通道的交流,有效降低了復(fù)雜環(huán)境對檢測網(wǎng)絡(luò)的干擾。在跟蹤方面,研究采用了輕量化重識別網(wǎng)絡(luò),結(jié)合Bot-SORT跟蹤算法,進(jìn)一步降低模型占用內(nèi)存的同時,提高了模型的跟蹤速度。研究結(jié)果表明:在野外復(fù)雜環(huán)境下,該跟蹤模型有效提高了野生動物的跟蹤效果,達(dá)到79. 93%的跟蹤準(zhǔn)確度和43. 4 幀/s的跟蹤速度。本研究算法更適用于在野外復(fù)雜環(huán)境下,通過無人機邊緣設(shè)備實現(xiàn)多目標(biāo)跟蹤,為保護(hù)野生動物的多樣性研究提供了新的途徑和技術(shù)手段。
參考文獻(xiàn):
[1] 王靜軒. 基于GPS追蹤技術(shù)的小興安嶺南部野豬季節(jié)性家域及棲息地選擇研究[D]. 哈爾濱: 東北林業(yè)大學(xué), 2020.
WANG J X. Study on seasonal home range and habitat selection ofwild boar in southern Lesser Khingan Mountains based on GPStracking technology[D]. Harbin: Northeast Forestry University,2020.
[2] 李晟, 王大軍, 肖治術(shù), 等. 紅外相機技術(shù)在我國野生動物研究與保護(hù)中的應(yīng)用與前景[J]. 生物多樣性, 2014, 22(6):685-695.
LI S, WANG D J, XIAO Z S, et al. Camera-trapping in wildliferesearch and conservation in China: review and outlook[J]. Biodi?versity Science, 2014, 22(6): 685-695.
[3] XIE J J, LI A Q, ZHANG J G, et al. An integrated wildlife recog?nition model based on multi-branch aggregation and squeeze-andexcitationnetwork[J]. Applied Sciences, 2019, 9(14): 2794.
[4] 郭子豪, 董樂樂, 曲志堅. 基于改進(jìn)Faster RCNN的節(jié)肢動物目標(biāo)檢測方法[J]. 計算機應(yīng)用, 2023, 43(1): 88-97.
GUO Z H, DONG L L, QU Z J. Arthropod object detectionmethod based on improved Faster RCNN[J]. Journal of ComputerApplications, 2023, 43(1): 88-97.
[5] 趙濤濤. 基于多尺度特征融合的SSD高原鼠兔目標(biāo)檢測[D].蘭州: 蘭州理工大學(xué), 2023.
ZHAO T T. SSD for Ochotona curzoniae object detection based onmulti-scale feature fusion[D]. Lanzhou: Lanzhou University ofTechnology, 2023.
[6] XIE Y H, YU W H. Remote monitoring of Amur tigers in forestecosystems using improved YOLOX algorithm[J]. Forests, 2023,14(10): 2000.
[7] 黃元濤. 基于深度學(xué)習(xí)的藏羚羊檢測與跟蹤[D]. 西安: 西安電子科技大學(xué), 2020.
HUANG Y T. Detection and tracking of Tibetan antelope based ondeep learning[D]. Xi’an: Xidian University, 2020.
[8] WOJKE N, BEWLEY A, PAULUS D. Simple online and real?time tracking with a deep association metric[C]//2017 IEEE Inter?national Conference on Image Processing (ICIP). Beijing,China. IEEE, 2017: 3645-3649.
[9] 孔令昀. 基于深度學(xué)習(xí)的動物目標(biāo)識別與跟蹤方法研究[D].成都: 電子科技大學(xué), 2023.
KONG L Y. Research on animal target recognition and trackingmethod based on deep learning[D]. Chengdu: University of Elec?tronic Science and Technology of China, 2023.
[10] 馬光凱, 吳偉, 劉丹, 等. 圈養(yǎng)東北虎幼崽群體活動的自動跟蹤方法研究[J]. 野生動物學(xué)報, 2022, 43(3): 605-613.
MA G K, WU W, LIU D, et al. Automatic tracking method ofgroup activities of captive Panthera tigris altaica cubs[J]. Chi?nese Journal of Wildlife, 2022, 43(3): 605-613.
[11] 張偉, 沈明霞, 劉龍申, 等. 基于CenterNet 搭配優(yōu)化Deep?SORT算法的斷奶仔豬目標(biāo)跟蹤方法研究[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報, 2021, 44(5): 973-981.
ZHANG W, SHEN M X, LIU L S, et al. Research on weanedpiglet target tracking method based on CenterNet collocation opti?mized DeepSORT algorithm[J]. Journal of Nanjing AgriculturalUniversity, 2021, 44(5): 973-981.
[12] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7:trainable bag-of-freebies sets new state-of-the-art for real-time ob?ject detectors[C]//2023 IEEE/CVF Conference on Computer Vi?sion and Pattern Recognition( CVPR). Vancouver, BC, Canada.IEEE, 2023: 7464-7475.
[13] AHARON N, ORFAIG R, BOBROVSKY B Z. BoT-SORT: ro?bust associations multi-pedestrian tracking[EB/OL]. 2022:arXiv: 2206. 14651. http://arxiv. org/abs/2206. 14651.
[14] 趙向陽, 杜利民. 一種全自動穩(wěn)健的圖像拼接融合算法[J].中國圖象圖形學(xué)報, 2004, 9(4): 417-422.
ZHAO X Y, DU L M. An automatic and robust image mosaic al?gorithm[J]. Journal of Image and Graphics, 2004, 9(4):417-422.
[15] CHEN J R, KAO S H, HE H, et al. Run, don’t walk: chasinghigher FLOPS for faster neural networks[C]//2023 IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR). Vancouver, BC, Canada. IEEE, 2023: 12021-12031.
[16] WANG Q L, WU B G, ZHU P F, et al. ECA-Net: efficientchannel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and PatternRecognition( CVPR). IEEE, 2020: 11531-11539.
[17] ZHANG H, WU C R, ZHANG Z Y, et al. ResNeSt: splitattentionnetworks[C]//2022 IEEE/CVF Conference on ComputerVision and Pattern Recognition Workshops (CVPRW). New Or?leans, LA, USA. IEEE, 2022: 2735-2745.
[18] HOWARD A, SANDLER M, CHEN B, et al. Searching for Mo?bileNetV3[C]//2019 IEEE/CVF International Conference onComputer Vision (ICCV). Seoul, Korea (South). IEEE, 2019:1314-1324.
[19] LIU S, LI X, LU H C, et al. Multi-object tracking meets movingUAV[C]//2022 IEEE/CVF Conference on Computer Vision andPattern Recognition (CVPR). New Orleans, LA, USA. IEEE,2022: 8866-8875.
[20] DU Y H, ZHAO Z C, SONG Y, et al. StrongSORT: make Deep?SORT great again[J]. IEEE Transactions on Multimedia, 2023,25: 8725-8737.
[21] XU Y H, O?EP A, BAN Y T, et al. How to train your deepmulti-object tracker[C]//2020 IEEE/CVF Conference on Com?puter Vision and Pattern Recognition (CVPR). IEEE, 2020:6786-6795.
[22] ZHANG Y F, SUN P Z, JIANG Y, et al. ByteTrack: multiobjecttracking by associating every detection box[C]//AVIDANS, BROSTOW G, CISSé M, et al. European Conference onComputer Vision. Cham: Springer, 2022: 1-21.
[23] BEWLEY A, GE Z Y, OTT L, et al. Simple online and realtimetracking[C]//2016 IEEE International Conference on Image Pro?cessing( ICIP). Phoenix, AZ, USA. IEEE, 2016: 3464-3468.
[24] LIU B H, QU Z L. AF-TigerNet: a lightweight anchor-free net?work for real-time Amur tiger (Panthera tigris altaica) detection[J]. Wildlife Letters, 2023, 1(1): 32-41.
[25] SHI C M, LIU D, CUI Y L, et al. Amur tiger stripes: individualidentification based on deep convolutional neural network[J]. In?tegrative Zoology, 2020, 15(6): 461-470.
[26] SURYA T, CHITRA SELVI S, SELVAPERUMAL S. The IoTbasedreal-time image processing for animal recognition and clas?sification using deep convolutional neural network (DCNN)[J].Microprocessors and Microsystems, 2022, 95: 104693.
基金項目:黑龍江省自然科學(xué)基金項目(LH2020C034)