深度學(xué)習(xí)在蜜蜂研究中的應(yīng)用

孫逸飛,丁桂玲,路運才,劉振虎,黃家興*

(1. 黑龍江大學(xué)現(xiàn)代農(nóng)業(yè)與生態(tài)環(huán)境學(xué)院,哈爾濱 150006;2. 中國農(nóng)業(yè)科學(xué)院蜜蜂研究所,資源昆蟲高效養(yǎng)殖與利用全國重點實驗室,北京 100093;3. 中國農(nóng)業(yè)科學(xué)院蜜蜂研究所,農(nóng)業(yè)農(nóng)村部授粉昆蟲生物學(xué)重點實驗室,北京 100093)

蜜蜂是一類重要的傳粉昆蟲,為多種蟲媒植物的主要傳粉者,對維持生態(tài)系統(tǒng)的平衡起著重要作用(Huang and An, 2018; Bjergeetal., 2019)。全球氣候的急劇變化以及人類行為的干預(yù),導(dǎo)致蜜蜂棲息環(huán)境逐漸惡化,棲息地喪失或呈碎片化(Xuetal.,2021)。環(huán)境污染、病蟲害等問題也給養(yǎng)蜂業(yè)的發(fā)展帶來了巨大挑戰(zhàn)。因此,保護蜜蜂,維持養(yǎng)蜂業(yè)可持續(xù)發(fā)展迫在眉睫。而傳統(tǒng)養(yǎng)蜂業(yè)生產(chǎn)效率低,蜂農(nóng)缺乏專業(yè)養(yǎng)蜂技術(shù)培訓(xùn),不利于大規(guī)模養(yǎng)蜂管理。隨著現(xiàn)代技術(shù)與傳統(tǒng)養(yǎng)蜂業(yè)的不斷融合,研究人員利用射頻識別(Radio Frequency Identification,RFID)、光電傳感器、紅外傳感器、物聯(lián)網(wǎng)(Internet of Things,IoT)和邏輯回歸、支持向量機(Support Vector Machine, SVM)、深度學(xué)習(xí)(Deep Learning, DL)等機器學(xué)習(xí)(Machine Learning, ML)方法對蜂群行為進行監(jiān)測(Heidingeretal.,2014; Jiangetal.,2016; Bragaetal.,2020; Voudiotisetal.,2021),代替了傳統(tǒng)養(yǎng)蜂業(yè)中大量重復(fù)、低效的勞動,提高了對蜂群信息數(shù)據(jù)的獲取和處理能力。

隨著精準養(yǎng)蜂(Precise beekeeping, PB)概念的提出,基于人工智能大數(shù)據(jù)的養(yǎng)蜂系統(tǒng)逐漸開發(fā),極大的促進了養(yǎng)蜂業(yè)的數(shù)字化與智能化(Zhangetal.,2021; Hadjuretal.,2022)。深度學(xué)習(xí)作為人工智能的一種新的研究方向,具有多種優(yōu)勢,如特征提取能力強,學(xué)習(xí)能力強,適應(yīng)性、可遷移性強(Wainbergetal.,2018),能夠?qū)崿F(xiàn)端到端的學(xué)習(xí)等,在生物圖像分類(Affonsoetal.,2017)、計算機視覺(Abbasetal.,2019)、語音識別(Nodaetal.,2015)、自然語言處理(Collobertetal.,2011)、醫(yī)療檢測(Loh and Then,2017)、人臉識別(Taigmanetal.,2014)、遙感(Yuetal.,2017)等許多領(lǐng)域發(fā)揮著重要的作用。同時,深度學(xué)習(xí)技術(shù)在蜜蜂領(lǐng)域的應(yīng)用研究中也得到了快速的發(fā)展,取得了許多突出的研究成果。

目前,在蜜蜂領(lǐng)域,利用深度學(xué)習(xí)技術(shù)可以輕松的識別攜帶花粉的蜜蜂、區(qū)分蜜蜂的不同亞種、對出入蜂箱的蜜蜂計數(shù)、對蜂群異常情況以及蜂巢內(nèi)部蜜蜂健康和蜂群崩潰失調(diào)等問題進行檢測。隨著深度學(xué)習(xí)技術(shù)應(yīng)用于蜜蜂領(lǐng)域的研究成果不斷涌現(xiàn),研究人員在現(xiàn)有網(wǎng)絡(luò)模型的基礎(chǔ)上,通過數(shù)據(jù)預(yù)處理、參數(shù)優(yōu)化和網(wǎng)絡(luò)模型對比與開發(fā)等方式,不斷提高深度學(xué)習(xí)網(wǎng)絡(luò)模型的識別準確率與檢測效率,為實現(xiàn)智能化養(yǎng)蜂提供了可能。本文針對深度學(xué)習(xí)技術(shù)在蜜蜂領(lǐng)域中的不同應(yīng)用,尤其是在蜜蜂的物種識別、行為跟蹤監(jiān)測、蜂群健康監(jiān)測和蜂巢監(jiān)測等方面,通過對相關(guān)研究進展和成果進行梳理和總結(jié)分析,為深度學(xué)習(xí)技術(shù)在蜜蜂領(lǐng)域的進一步發(fā)展提供重要參考。

1 深度學(xué)習(xí)概述

在人工智能領(lǐng)域中,深度學(xué)習(xí)是研究的重點,其開端可以追溯到2006年,Hinton等人(2006)提出深度學(xué)習(xí)的概念,它是由輸入層(Input Layer)、隱藏層(Hidden Layer)和輸出層(Output Layer)組成的多層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò),使用多階段非線性信息處理單元處理復(fù)雜的非線性問題,能更抽象、更深層次的描述物體的屬性和特征,進而實現(xiàn)特征學(xué)習(xí)和模式分類(LeCunetal.,2015; Schmidhuber, 2015)。典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、深度置信網(wǎng)絡(luò)(Deep Belief Network, DBN)和遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks, RNN)等。隨著卷積神經(jīng)網(wǎng)絡(luò)的不斷改進,基于CNN的AlexNet、VGGNet、ResNet(深度殘差網(wǎng)絡(luò))、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN等網(wǎng)絡(luò)的出現(xiàn)顯著提升了深度學(xué)習(xí)效果,使深度學(xué)習(xí)技術(shù)更好的應(yīng)用于計算機視覺和語音識別等相關(guān)研究(圖1)。

圖1 CNN的發(fā)展歷程(改自曹家樂等, 2022)

深度學(xué)習(xí)的過程由訓(xùn)練階段和測試階段組成(如圖2所示),訓(xùn)練階段的主要目的是利用大量標注訓(xùn)練數(shù)據(jù)集進行檢測網(wǎng)絡(luò)的參數(shù)學(xué)習(xí),基于訓(xùn)練階段學(xué)習(xí)的檢測網(wǎng)絡(luò),在測試階段輸出給定圖像中存在物體的類別以及位置信息(Caoetal., 2022)。

圖2 以SSD網(wǎng)絡(luò)結(jié)構(gòu)為例的深度學(xué)習(xí)檢測方法基本架構(gòu)

2 物種分類與識別

物種分類是基于深度學(xué)習(xí)技術(shù)的計算機視覺常見應(yīng)用。目前,深度學(xué)習(xí)技術(shù)基于蜜蜂形態(tài)測定法(Ruttner, 1988; Andereetal., 2008),通過對蜜蜂前翅翅脈角的特征和個體蜜蜂形態(tài)的識別,對蜜蜂亞種以及不同種屬蜜蜂如熊蜂、無刺蜂等進行識別與分類。深度學(xué)習(xí)在蜜蜂物種分類與識別的應(yīng)用,不依賴于已知特征集的輸入,而是通過模型訓(xùn)練從一組標記圖像中學(xué)習(xí),開發(fā)用于物種識別的特征集。這種方式彌補了傳統(tǒng)鑒定過程耗時和對采集樣本的消耗等不足(Drew, 2011; Portmanetal., 2020),促進了蜜蜂物種多樣性和蜜蜂物種地理分布的進一步研究。與此同時,基于深度學(xué)習(xí)的蜜蜂自動識別軟件和監(jiān)測系統(tǒng)也迅速發(fā)展(Nawrockaetal., 2018; Buschbacheretal., 2020)。

深度學(xué)習(xí)自我學(xué)習(xí)辨別特征集的能力,適用于蜜蜂物種的分類與識別,研究人員訓(xùn)練不同的網(wǎng)絡(luò)模型,評估深度學(xué)習(xí)從圖像中識別蜜蜂物種的潛力,不斷提升檢測的準確率和檢測速度。Liu等(2021)利用經(jīng)過兩次卷積與池化的淺層卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN),使用二元交叉熵(Binary Cross Entropy, BCE)損失函數(shù),對亞洲地區(qū)的熊蜂和胡蜂種類進行圖像檢測,精度達到99.55%。Mohd-Isa等(2019)使用區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network, RPN)生成候選檢測框的Faster R-CNN網(wǎng)絡(luò)對馬來西亞的無刺蜂種類進行檢測,準確率達到73.75%,但由于無刺蜂較小且與背景對比不強烈,使檢測較為困難。Cai等(2021)使用包含RPN的Faster R-CNN和ResNet組成的深度學(xué)習(xí)網(wǎng)絡(luò)來完成檢測識別和預(yù)測任務(wù),比較了主干網(wǎng)絡(luò)ResNet 34與ResNet 101的檢測準確率隨著迭代輪次增多的變化,結(jié)果顯示:隨著訓(xùn)練次數(shù)的增加,使用包含殘差模塊的ResNet 101網(wǎng)絡(luò)對熊蜂種類的識別準確性更高。Spiesman等(2021)比較了ResNet 101、Wide ResNet 101、Inception V3和MnasNet A1 4種卷積神經(jīng)網(wǎng)絡(luò)的性能,經(jīng)過訓(xùn)練對36種北美熊蜂進行分類,發(fā)現(xiàn)Inception V3以其相對較小的尺寸和復(fù)雜的架構(gòu),呈現(xiàn)出速度和準確性的良好融合。在訓(xùn)練檢測的過程中,蜜蜂物種較小、訓(xùn)練數(shù)據(jù)集缺少等都會影響模型泛化能力和檢測準確性。

蜜蜂前翅翅脈角含有較多物種分類信息,對鑒定蜜蜂亞種具有重要價值,這種基于蜜蜂前翅幾何形狀的分析,被稱為蜜蜂前翅幾何形態(tài)測量學(xué),可廣泛應(yīng)用于蜜蜂物種和蜜蜂亞種的分類與識別。Rodrigues等(2022)利用U-Net網(wǎng)絡(luò)提取和分類前翅翅脈角檢測特征,同時,結(jié)合最佳參數(shù)檢測半徑為4 px、卷積內(nèi)核為5×5時,特征提取的精度達到91.8%;與手動注釋的標志特征進行比較,19個提取特征的平均精度為0.943±0.020;同時U-Net還能夠?qū)酥咎卣髀?lián)系起來,從而能夠推斷出缺失的標志特征,在處理新的和視覺上損壞的圖像時表現(xiàn)出了精確的能力和魯棒性。Liu等(2020)利用LeNet-5、AlexNet、VGG-16、VGG-19、ResNet 50、Inception V3和Inception Residue V2七種網(wǎng)絡(luò)對蜜蜂前翅數(shù)據(jù)集進行分類,其中Inception Residue V2分類準確率相比Inception V3和ResNet 50等其他網(wǎng)絡(luò)都要高,體現(xiàn)出初始殘差塊的特征提取能力。De Nart等(2022)使用卷積神經(jīng)網(wǎng)絡(luò)CNN開發(fā)用于圖像識別的端到端的解決方案。使用ResNet 50、MobileNet V2、InceptionNet V3、Inception ResNet V2四種不同網(wǎng)絡(luò)對蜜蜂8個亞種進行分類,訓(xùn)練過程中對數(shù)據(jù)集采用分層交叉驗證的方法,以解決過擬合和統(tǒng)計偏差的問題。InceptionNet V3與Inception ResNet V2在不同子集間精度差異較小,其中Inception ResNet V2錯誤識別更低。但這種方法僅限于對7個蜜蜂亞種進行分類,并且沒有應(yīng)用于養(yǎng)蜂業(yè)。Buschbacher等(2020)為將深度學(xué)習(xí)算法應(yīng)用于移動設(shè)備與云端,選擇占用的空間更少,需要更少計算的MobileNets、MobileNets V2網(wǎng)絡(luò),與傳統(tǒng)卷積相比,他們應(yīng)用深度可分離卷積來設(shè)計卷積層。訓(xùn)練過程中通過類加權(quán)調(diào)整權(quán)重,與B-CNN、Inception ResNet網(wǎng)絡(luò)比較,最終經(jīng)預(yù)訓(xùn)練的MobileNet模型從使用類權(quán)重中獲益最多,總體準確度提高了1.06%。

隨著深度學(xué)習(xí)網(wǎng)絡(luò)識別精度和速度的不斷提高,用于蜜蜂物種識別與分類的計算機軟件也不斷涌現(xiàn),且逐漸向著移動應(yīng)用程序的方向發(fā)展,以完全自動、快速、簡便和免費的方式幫助蜂農(nóng)和研究人員通過圖像或翅膀的幾何形態(tài)測量來識別蜜蜂。Buschbacher等(2020)提出了基于自動蜜蜂識別系統(tǒng)(the Automated Bee Identification System, ABIS)概念的DeepABIS系統(tǒng),在兼顧精度與速度的同時,實現(xiàn)參與式傳輸方式,采用移動智能手機和基于云的平臺進行數(shù)據(jù)收集和通信。Spiesman等(2021)創(chuàng)建了名為BeeMachine的Web應(yīng)用程序,用戶可以上傳圖像識別熊蜂,并獲取可能性最大的3個結(jié)果及概率。Rodrigues等(2022)開發(fā)了一個全自動的通過翅膀幾何形態(tài)測量法識別蜜蜂的軟件DeepWings,可通過翅膀?qū)?6個蜜蜂亞種進行分類識別,該軟件在識別準確率和識別速率上有良好的表現(xiàn),填補了蜜蜂幾何形態(tài)學(xué)識別方面的空白,為使用經(jīng)典識別方法和替代分析工具的研究小組提供便利。

深度學(xué)習(xí)技術(shù)的迅速發(fā)展,為蜜蜂物種分類識別帶來了極大的便利。當(dāng)數(shù)據(jù)集較少或分類任務(wù)中不同類別的訓(xùn)練樣例數(shù)目差別很大導(dǎo)致類不平衡時,可通過數(shù)據(jù)增強、類加權(quán)和分層交叉驗證的方式,提高數(shù)據(jù)集的可用性。在數(shù)據(jù)集充足的情況下,U-Net網(wǎng)絡(luò)標志特征檢測較精確;包含初始殘差模塊的Inception Residue V2網(wǎng)絡(luò)分類精度更高。而相比傳統(tǒng)發(fā)展的卷積神經(jīng)網(wǎng)絡(luò),MobileNet以其占用空間小而檢測分類速度快、準確率高的特點更適應(yīng)于移動端和云端的應(yīng)用研究。目前模型與軟件的使用尚存在預(yù)測不準確的可能性,因此需要探索新的數(shù)據(jù)生成方式與網(wǎng)絡(luò)結(jié)構(gòu)增強模型。結(jié)合樣本數(shù)據(jù)的地理位置排除錯誤的預(yù)測提高分類精度。將現(xiàn)有檢測識別方法應(yīng)用于可移動或現(xiàn)場的設(shè)備上,以實現(xiàn)實時大空間尺度的數(shù)據(jù)捕獲和蜜蜂監(jiān)測計劃。

3 行為跟蹤監(jiān)測

蜜蜂行為軌跡揭示了重要的個體行為,對蜜蜂行為的跟蹤檢測有助于驗證和解決蜜蜂生物學(xué)、神經(jīng)學(xué)和進化中的科學(xué)問題(Huangetal., 2022)。然而,收集精細、準確的行為數(shù)據(jù)十分困難,隨著自動化檢測手段不斷發(fā)展強化,RFID系統(tǒng)、光電傳感器、電容傳感器和基于人工智能的計算機視覺等技術(shù)手段逐漸彌補了直接觀察法耗時長、存在注意力偏差等不足(Simons and Chabris, 1999; Odemer, 2022)。其中,RFID系統(tǒng)通過在蜜蜂胸部背板處放置大小合適的電子標簽,在蜜蜂進入讀寫器覆蓋區(qū)域時接收射頻信號,產(chǎn)生感應(yīng)電流,將自身編碼信息通過內(nèi)置天線發(fā)射,同時讀寫器接受天線接收信息并記錄,用于監(jiān)測蜜蜂飛行行為(Nunes-Silvaetal., 2019; Alburakietal.,2021)。田柳青等(2014)使用RFID系統(tǒng)對蜜蜂飛行活動進行監(jiān)測,探究蜂群中的輪休現(xiàn)象及輪休對蜜蜂工作量和壽命的影響。Beyaert等(2012)每天24 h自動監(jiān)控單個蜜蜂的飛行活動,對飛行行為監(jiān)測的準確率顯著高于直接觀察法。Heidinger等(2014)將RFID芯片安裝在蜂王身上,用于研究觀察蜂王的交配行為,并監(jiān)測婚飛的頻率和持續(xù)時間。Alburaki等(2021)詳細介紹了構(gòu)建和操作RFID系統(tǒng)的全部材料、軟件等,并用于監(jiān)控各種蜜蜂行為,如覓食行為、蜂王交配行為等。蜜蜂的行為跟蹤監(jiān)測,不僅可以加深對社會性勞動分工的理解,還可以進一步研究蜜蜂對各種生物和非生物應(yīng)激源的生理反應(yīng)(de Guzmanetal., 2017; Bordieretal., 2018; Colinetal., 2021)。Hesselbach等(2020)使用RFID系統(tǒng)研究新煙堿類藥物亞致死濃度對野生蜜蜂覓食性能和死亡率的影響。Lach等(2015)使用RFID標記喂食一定濃度的蜜蜂微孢子蟲溶液以監(jiān)測其覓食行為是否會受到影響,研究證明喂食低劑量的蜜蜂微孢子蟲溶液會對蜜蜂的授粉能力產(chǎn)生不利影響。雖然RFID標簽可以在更廣闊的區(qū)域跟蹤蜜蜂個體,但由于蜂群數(shù)量龐大、生存周期短且標簽易脫落等問題導(dǎo)致收集大型數(shù)據(jù)集較為困難(Colinetal., 2022),同時RFID標簽給蜜蜂帶來的不可逆?zhèn)ν瑯訒绊懨鄯湔５娘w行、覓食和授粉行為,甚至導(dǎo)致蜜蜂死亡(Colinetal., 2022)。因此非侵入式行為監(jiān)測對于推進蜜蜂行為監(jiān)測研究至關(guān)重要,計算機視覺和深度學(xué)習(xí)的發(fā)展為蜜蜂行為的無標記跟蹤提供了可能。研究表明在高分辨率影像跟蹤基礎(chǔ)上,深度學(xué)習(xí)技術(shù)已成功應(yīng)用于研究蜜蜂行為特征、覓食行為和姿勢量化等問題(Rodríguezetal., 2018; Ngoetal., 2021; Knaueretal., 2022; Pereiraetal., 2022)。

對蜜蜂行為的跟蹤檢測主要包括檢測與跟蹤兩部分。Yang和Collins(2019)采用以VGG-16為核心的Faster R-CNN網(wǎng)絡(luò)模型來檢測和測量蜜蜂監(jiān)測視頻上的花粉,實驗結(jié)果表明使用深度學(xué)習(xí)的花粉檢測模型測量誤差為7%,相比傳統(tǒng)圖像處理方法提高了26%。Ratnayake等(2021)提出了一種混合檢測和跟蹤的算法(HyDaT)檢測蜜蜂的覓食行為,從蜜蜂第1次出現(xiàn)到離開視野,包括物體遮擋時的軌跡,將一系列位置組合成一個連貫的軌跡跟蹤蜜蜂。但這種算法只能按順序跟蹤一頭蜜蜂,且必須重新啟動才能跟蹤視頻中的后續(xù)蜜蜂。監(jiān)測效率較低,不適合多頭蜜蜂軌跡的同時檢測。Bjerge等(2021)使用帶有中央處理器(CPU)、圖形處理單元(GPU)、網(wǎng)絡(luò)攝像頭、SSD磁盤和自動冷卻系統(tǒng)的便攜式計算機視覺系統(tǒng),用于實時監(jiān)測傳粉昆蟲,并將檢測信息通過4G網(wǎng)絡(luò)傳輸?shù)娇蛻舳擞嬎銠C,便于對每天的檢測結(jié)果進行分析;同時,開發(fā)了一種或多種昆蟲包括蜜蜂的分類和跟蹤(ICT)的計算機視覺算法,使用DarkNet 53(YOLOv3)對蜜蜂檢測分類,并結(jié)合過濾器、多目標跟蹤算法實現(xiàn)對蜜蜂的過濾和跟蹤。該算法實現(xiàn)了對單頭蜜蜂的自動化實時跟蹤,并且可以在下雨、強風(fēng)和夏季高溫期間使用,便于對蜜蜂行為的季節(jié)性和晝夜動態(tài)進行檢測。Ratnayake等(2021)提出了一種能夠同時跟蹤多頭蜜蜂的新型算法Polytrack。Polytrack算法使用基于卷積神經(jīng)網(wǎng)絡(luò)的YOLOv4對象檢測算法,識別和記錄幀中花朵的位置和昆蟲物種位置,當(dāng)檢測到昆蟲時,Polytrack算法會由低分辨率切換到高分辨率處理以提高準確性,再使用深度學(xué)習(xí)的前景和背景分割來檢測和跟蹤昆蟲軌跡。算法實現(xiàn)了97.5%的精確率和97.2%的召回率,可用于多頭蜜蜂行為的跟蹤監(jiān)測。

對動物運動的定量測量是研究動物行為的基礎(chǔ)。在密集的蜂群環(huán)境下,對蜜蜂個體的姿勢變化和行為軌跡進行跟蹤,有助于促進對蜜蜂行為開展研究。Bozek等(2021)使用U-Net分割網(wǎng)絡(luò)來自動識別蜜蜂和新巢房的位置、身體方向和巢房內(nèi)狀態(tài),在5 min時間內(nèi)從5個觀察蜂群中恢復(fù)約79%的蜜蜂軌跡,實現(xiàn)對整個蜜蜂蜂群的無標記跟蹤。后續(xù)可以根據(jù)蜜蜂的行為軌跡來監(jiān)測蜜蜂的搖擺舞、睡眠(Klein and Busby, 2020)、交哺行為和翅膀扇動(Petersetal., 2017)等行為。Pereira等(2022)介紹了一種基于U-Net網(wǎng)絡(luò)用于多動物姿勢跟蹤(Multi-animal tracking, MAT)的通用深度學(xué)習(xí)系統(tǒng)SLEAP(Social LEAP)。SLEAP具有可訪問的圖形用戶界面,標準化數(shù)據(jù)模型,可重復(fù)的配置系統(tǒng),30多種模型架構(gòu),兩種身體部位分類方法和兩種姿勢跟蹤方法,這種方法推進了動物姿勢估計的最新技術(shù),可以應(yīng)用于蜜蜂、蒼蠅等多個數(shù)據(jù)集,為較高精度和速度的蜜蜂姿勢跟蹤提供技術(shù)支持。

4 蜂群健康監(jiān)測

蜂群崩潰失調(diào)癥(Colony Collapse Disorder, CCD)和病蟲害問題,給全球西方蜜蜂Apismellifera的養(yǎng)殖造成了巨大損失,因此定期檢查蜂群健康狀態(tài),及時發(fā)現(xiàn)和預(yù)防病毒、螨蟲和細菌等病蟲害是至關(guān)重要的。深度學(xué)習(xí)在蜂群健康監(jiān)測中的應(yīng)用,包括病蟲害檢測、蜜蜂流量自動監(jiān)測和基于音頻的蜂王監(jiān)測,使蜂農(nóng)在不中斷蜂群生命周期和減少人力資源浪費的情況下,獲取大量有關(guān)蜜蜂行為的關(guān)鍵信息,有助于判斷蜂群的健康狀態(tài)。

4.1 蜂群病蟲害

提前預(yù)判和早期及時發(fā)現(xiàn)蜂群的異常情況,包括寄生蟲、螞蟻、蜂巢甲蟲、盜蜂和蜂王飛逃等,采取適當(dāng)?shù)墓芾泶胧?可以防止蜂群崩潰失調(diào)情況的發(fā)生(Berkayaetal., 2021)。傳統(tǒng)的蜂巢病害檢測方法是用糖粉或烤大豆粉測試蜜蜂是否受到瓦螨的侵害,或目視觀察蜂巢中是否有甲蟲(No?letal.,2020; Ogiharaetal.,2020)。這些傳統(tǒng)方法耗時且效率不高,無法對受侵害蜜蜂進行準確計數(shù)?；谏疃葘W(xué)習(xí)的分類模型對蜂群中的病蟲害進行檢測,可以高效快速的判別蜜蜂的健康狀況和病蟲害發(fā)生情況。

üzen等(2019)使用深度學(xué)習(xí)技術(shù)對獲取的圖像中的蜜蜂進行分類,開發(fā)了5種用于蜜蜂病害檢測的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。Karthiga等(2021)基于卷積神經(jīng)網(wǎng)絡(luò),采用綜合采樣人工合成數(shù)據(jù)算法(Synthetic Minority Over-sampling Technique, SMOTE)技術(shù)進行增強數(shù)據(jù),對數(shù)據(jù)集中的俄羅斯遠東地區(qū)的蜜蜂、意大利蜜蜂ApismelliferaligusticaSpinola、卡尼鄂拉蜂ApismelliferacarnicaPollman、東方蜜蜂ApisceranaFabricius、瓦螨敏感(Varroa Sensitive Hygiene, VSH)的意大利蜜蜂、混合本地蜂和一些其他未知蜜蜂物種進行分類,對健康的蜜蜂、無王群、盜蜂群、被螞蟻侵擾的蜜蜂和被瓦螨侵擾的不同健康狀態(tài)的蜜蜂進行分類。最終,在蜜蜂亞種的分類中準確率為86%,在蜜蜂健康鑒定方面準確率為84%。Braga等(2021)開發(fā)了用于蜜蜂健康分類的超參數(shù)優(yōu)化方法DCNN架構(gòu),對健康的蜜蜂、無王群、盜蜂群、被螞蟻侵擾的蜜蜂和被不同程度瓦螨侵擾的蜜蜂健康狀況以及蜜蜂是否攜帶花粉進行檢測分類。其中,蜜蜂健康情況分類的準確率為95%。Berkaya等(2021)提出了4種不同的基于深度學(xué)習(xí)的分類模型,對獲取的蜜蜂圖像進行分類,并識別不同的條件,包括健康的蜜蜂、攜帶花粉的蜜蜂和病害情況,如寄生蟲、螞蟻、蜂群盜蜂和小型蜂巢甲蟲等,最終識別不同條件的準確率高達99.07%?；谏疃葘W(xué)習(xí)的蜜蜂健康狀況檢測,時間短精度高,隨著卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化,識別準確率也不斷提高,有助于智能養(yǎng)蜂中對蜂群健康情況的監(jiān)測。

瓦螨是對世界養(yǎng)蜂業(yè)威脅最大的蜜蜂病蟲害,因此對于瓦螨的檢測和定位對蜂群健康狀態(tài)監(jiān)測有重要意義。Chazette等(2016)描述了如何識別蜜蜂上的瓦螨,在受侵染的蜜蜂進入巢門口時用激光將其殺死。評估了用于檢測和定位螨蟲的不同算法,包括Caffe深度學(xué)習(xí)框架,對實時圖像數(shù)據(jù)檢測獲得了93%的準確率。Bjerge等(2019)提出了一種基于深度學(xué)習(xí)的新型計算機視覺系統(tǒng)“侵擾水平估計器”,通過記錄視頻中健康蜜蜂與攜帶瓦螨的蜜蜂監(jiān)測蜂巢中螨蟲的侵擾水平。Schurischuster和Kampel等(2020)利用深度學(xué)習(xí)技術(shù),評估了AlexNet、ImageNet、經(jīng)預(yù)訓(xùn)練的ResNet 101、基于DeepLabv3和遷移學(xué)習(xí)的語義分割用于檢測蜜蜂上是否存在瓦螨,并將蜜蜂圖像分為“健康蜜蜂”和“受感染蜜蜂”。其中以ResNet 101為主干網(wǎng)絡(luò)的DeepLabv3模型F1分數(shù)最高,每類識別準確率至少為90%。深度學(xué)習(xí)技術(shù)大大提高了瓦螨檢測的效率,但仍有較大進步空間。目前對瓦螨的檢測中,拍攝角度的單一性使檢測情況與實際瓦螨感染水平相去甚遠。因此需改變機械設(shè)置,利用3D相機獲取三維信息對蜂群進行更多角度的視頻記錄,以提高監(jiān)測結(jié)果的準確性。

4.2 蜂群流量自動監(jiān)測

蜜蜂流量在一定程度上代表了蜂群的強弱和生產(chǎn)力,是監(jiān)測蜂群健康的重要指標之一。利用深度學(xué)習(xí)技術(shù)對蜜蜂流量自動監(jiān)測可應(yīng)用于蜜蜂覓食行為、蜜蜂病蟲害的檢測以及對蜂巢中蜜蜂個數(shù)、溫度、濕度、重量和聲學(xué)等精準養(yǎng)蜂的核心數(shù)據(jù)進行綜合監(jiān)測(Odemer, 2022)。通過高效自動化蜜蜂計數(shù),可遠程監(jiān)測食物供應(yīng)、蜂群健康狀態(tài)和生長狀態(tài),及時干預(yù),改善不良情況,最大限度地減少蜂農(nóng)的資源浪費,提高蜂蜜產(chǎn)量。Ngo等(2021)提出將YOLOv3-tiny網(wǎng)絡(luò)應(yīng)用于蜂巢進出入蜜蜂檢測和計數(shù),并調(diào)整YOLOv3-tiny用于對進入蜂箱中攜帶花粉與沒有攜帶花粉的蜜蜂進行檢測計數(shù)。使用混淆矩陣評估訓(xùn)練模型的識別性能,精度和召回率分別為0.91和0.99,F1得分為0.94。Kulyukin等(2019)通過設(shè)計和評估不同的ConvNet架構(gòu)對運動檢測算法識別的候選區(qū)域進行分類,并通過蜜蜂運動計數(shù)來估計全向蜜蜂流量水平,其中他們設(shè)計的ConvNet 1和ResNet 32的驗證準確率達到了99.48%。Bjerge等(2019)利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合匈牙利算法(Hungarian Algorithm)檢測受瓦螨侵染的蜜蜂并計數(shù),結(jié)果顯示在計數(shù)蜜蜂方面該方法F1得分較高,為0.97。Nguyen等(2022)采用YOLOv5神經(jīng)網(wǎng)絡(luò)來預(yù)測蜜蜂在圖像上的位置,獲得蜜蜂的坐標和每幀中的蜜蜂數(shù)量,后使用均值移動聚類算法(Mean Shift Clustering)確定潛在高密度區(qū)域的中心,并在高密度區(qū)域使用實現(xiàn)最佳計數(shù)性能的小樣本適應(yīng)和匹配網(wǎng)絡(luò)(Few Shot Adaptation and Matching Network, FAMNET),最終這種方法的監(jiān)測結(jié)果與單獨的網(wǎng)絡(luò)相比平均絕對誤差(MAE)和均方根誤差(RMSE)更低,計算結(jié)果更好。

隨著對蜜蜂計數(shù)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不斷探索,高密度蜜蜂計數(shù)的準確率不斷提高。為了進一步減小蜜蜂計數(shù)的誤差和提高蜜蜂計數(shù)網(wǎng)絡(luò)結(jié)構(gòu)在實際養(yǎng)蜂中的應(yīng)用,應(yīng)繼續(xù)提高蜜蜂計數(shù)檢測的速率和不同網(wǎng)絡(luò)模型的性能,為蜂群采集蜂計數(shù)和蜜蜂聚集事件檢測提供參考。

4.3 蜂王檢測

蜂王是蜂群中唯一雌性生殖器官發(fā)育完全的個體,是維持蜂群存續(xù)的關(guān)鍵,蜂王質(zhì)量決定了蜂群的群勢以及生產(chǎn)性能,對蜂群的發(fā)展和存活至關(guān)重要。而尋找蜂王對蜂農(nóng)來說是一項艱巨的任務(wù),這不僅會擾亂蜂群的秩序分工,還有可能感染巢蟲影響蜂群的健康狀態(tài)。已有研究表明,深度學(xué)習(xí)可以通過對蜜蜂嗡嗡聲進行分析,提取蜂群音頻信號中的特征參數(shù)進行分類識別,檢測蜂王是否存在、判斷蜂群的聚集事件和蜂群的健康狀態(tài)(Kimetal., 2021; Zgank, 2021)。聲學(xué)監(jiān)測設(shè)備麥克風(fēng)相比基于計算機視覺的圖像或視頻獲取設(shè)備攝像頭對蜂巢內(nèi)蜂群的影響更小,從而更好的對蜂群健康進行檢測。Nolasco等(2019)使用SVM和CNN模型從蜂群聲音中提取的Mel頻率倒譜系數(shù)(MFCC)、Mel頻譜圖(Mel-spectrogram)確定蜂群中是否有蜂王。但深度學(xué)習(xí)方法會導(dǎo)致高維描述符和很高的計算成本。Sousa等(2022)探索特征提取和選擇技術(shù),以獲得高效和緊湊的描述符,從而在實時監(jiān)測的情況下對蜂巢中的音頻分類。結(jié)果表明,將倒譜、時間和頻率特征相結(jié)合的31個MFCC描述符提供了一個準確和低維度的蜂王存在特征,確度、kappa、曲線下面積、特異性和敏感性指標達到0.99,相比深度學(xué)方法使用ResNet 50、VGG-16、VGG-19、Inception V3四種CNN架構(gòu)從音頻頻譜圖中提取特征,能更好的區(qū)分蜂王是否存在。但由于蜂巢狀態(tài)監(jiān)測是動態(tài)和間歇性的,在蜂群中捕獲音頻時麥克風(fēng)位置、麥克風(fēng)類型和聲學(xué)傳播空間也影響著公共數(shù)據(jù)集的可用性,因此目前只有一個關(guān)于蜂王存在的數(shù)據(jù)集可供公眾訪問,由于缺乏蜜蜂聲音數(shù)據(jù)集,極大的限制了研究的進一步發(fā)展。

5 蜂巢監(jiān)測

蜂農(nóng)通過檢查巢房的花粉、花蜜、卵孵化數(shù)量以及是否有病蟲害來監(jiān)控蜂群。而對蜂箱內(nèi)蜂群健康狀態(tài)的把握,需要打開蜂箱進行目視檢查。這項檢查需要豐富的養(yǎng)蜂技能和知識,非常耗時且容易打亂蜂群的生活節(jié)律,影響蜂蜜產(chǎn)量?；谏疃葘W(xué)習(xí)的高精度分類模型,通過提取蜂群聲音、圖像、溫濕度、重量等特征信息,能夠更準確地獲取到蜂群的分蜂行為、蜂群群勢變化、蜂王活動情況等信息,找到蜂群活動規(guī)律,從而實現(xiàn)對蜂群狀態(tài)及時、準確的掌控,輔助蜂農(nóng)高效管理蜂群(Liuetal., 2020)。

采用圖像監(jiān)測技術(shù)對巢內(nèi)蜂群進行監(jiān)測,可以通過非接觸式、不開箱的手段獲取巢內(nèi)蜂群圖像,實現(xiàn)蜜蜂健康狀況的檢查和判斷。Bozek等(2018)提取了大量蜂脾影像,使用卷積神經(jīng)網(wǎng)絡(luò)對影像中的蜜蜂個體進行識別,在375 000頭標記的蜜蜂個體數(shù)據(jù)集中,檢測正確率為96%,基于影像的密集蜜蜂個體識別跟蹤可以對巢內(nèi)蜂群數(shù)量動態(tài)變化實施有效監(jiān)測。Alves等(2020)對巢脾中幼蟲區(qū)、儲蜜區(qū)、蜂糧區(qū)的巢房計數(shù)并統(tǒng)計面積,用于評估蜂群群勢,建立蜂群動態(tài)模型。他們開發(fā)了一種基于深度學(xué)習(xí)的模型,使用CLAHE方法、Circle Hough變換和語義分割,巢房檢測的準確率為98.7%。同時訓(xùn)練并評估了13種不同的CNN架構(gòu),包括DenseNet(121、169和201)、Inception ResNet V2、Inception V3、MobileNet、MobileNet V2、NasNet、NasNetMobile、ResNet 50、VGG(16和19)和Xception。其中MobileNet在訓(xùn)練速度和準確性均較高,可以自動檢測巢脾的巢房并將其分類為卵、幼蟲、蛹、花粉、花蜜、蜂蜜等,準確率為94.31%。Voudiotis等(2021)提出了一個基于深度學(xué)習(xí)的Swarm-engine蜜蜂狀態(tài)監(jiān)測系統(tǒng),用于檢測蜂群狀態(tài)。系統(tǒng)由蜂巢監(jiān)控設(shè)備、BeeQ RMS(The Quality Resource Management System)系統(tǒng)和終端應(yīng)用程序三部分組成,基于CNN的蜜蜂檢測算法分別在云端和嵌入式ARM處理器進行檢測,當(dāng)監(jiān)測到巢框上方和副蓋下方的蜜蜂超過50頭蜜蜂時,定義為蜜蜂聚集(一種由外來入侵者導(dǎo)致的蜂群防御行為機制)事件,并及時向養(yǎng)蜂人發(fā)出通知。Marstaller等(2019)構(gòu)建了一個基于卷積神經(jīng)網(wǎng)絡(luò)MultiNet V2的DeepBees系統(tǒng),對蜜蜂蜂箱進行持續(xù)、低成本的監(jiān)測,獲取蜂群健康情況,該系統(tǒng)由一個共享特征提取器和多個模塊組成的多網(wǎng)架構(gòu),用于蜜蜂識別、花粉檢測、姿勢估計和對是否攜帶花粉的蜜蜂、雄蜂和死蜂進行分類?；贒eepBees系統(tǒng)的多任務(wù)學(xué)習(xí)方法除花粉檢測外均高于單任務(wù)檢測性能,平均精度為73.08%。對各種蜂巢數(shù)據(jù)的大規(guī)模收集,可進一步擴展DeepBees系統(tǒng),實現(xiàn)蜂群狀況的可視化監(jiān)測。

巢內(nèi)蜂群聲音監(jiān)測能夠有效幫助蜂農(nóng)識別蜂群健康性、蜂群群勢,還可以預(yù)測分蜂、盜蜂、蜂王死亡等蜂群異常行為,是實現(xiàn)精準管理蜂群的重要手段之一(Struyeetal., 1994)。Kulyukin等(2018)通過電子蜂箱監(jiān)測提取蜂群行為和物候?qū)W方面的關(guān)鍵信息,比較了深度學(xué)習(xí)中SpectConvNet、RawConvNet、用于評估RawConvNet不同卷積層作用效果的ConvNet1、ConvNet2、ConvNet3網(wǎng)絡(luò)和4種機器學(xué)習(xí)方法在區(qū)分蜜蜂的嗡嗡聲、蟋蟀叫聲和環(huán)境噪聲方面的表現(xiàn)。試驗表明,RawConvNet在BUZZ1驗證數(shù)據(jù)集上的分類精度為95.21%,在BUZZ2驗證數(shù)據(jù)集上的分類精度為96.53%,均高于4種機器學(xué)習(xí)模型,且相比于SpectConvNet必須將原始音頻信號轉(zhuǎn)換為圖像,而RawConvNet可以直接對未修改的原始音頻信號進行分類,因此,RawConvNet訓(xùn)練和分類速度更快。在特征工程的處理上,機器學(xué)習(xí)方法需要大約80 h的研究和試驗才獲得4種機器學(xué)習(xí)方法的最終特征集,而卷積神經(jīng)網(wǎng)絡(luò)不需要特征工程,且在更加復(fù)雜的數(shù)據(jù)集中有更好的泛化效果。但深度學(xué)習(xí)方法輸入的原始音頻信號和訓(xùn)練時間都顯著高于機器學(xué)習(xí)方法,機器學(xué)習(xí)方法輸入大小僅為193的特征向量,而CNN的輸入向量大小為20 000,相比于機器學(xué)習(xí)方法提取特征向量后訓(xùn)練僅需大約5 min,深度學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)模型時間高達80 h。Kim等(2021)對蜂箱內(nèi)的聲音進行分類來檢測蜂箱中的異常狀況。使用更深層的卷積神經(jīng)網(wǎng)絡(luò)模型,研究了機器學(xué)習(xí)方法(SVM、Random Forest和XGBoost)和兩個CNN模型(淺層CNN和VGG-13)用于區(qū)分蜜蜂和非蜜蜂聲音的性能。通過使用來自O(shè)SBH項目的蜂巢聲音數(shù)據(jù),并利用VGG-13架構(gòu)與MFCC預(yù)處理結(jié)合作為輸入數(shù)據(jù),實現(xiàn)了91.93%的準確率。此外,研究還發(fā)現(xiàn)VGG-13架構(gòu)最適合檢測非蜜蜂的聲音,然而,這個結(jié)構(gòu)會生成一個具有32 768個深層特征的高維描述符,并且沒有應(yīng)用任何特征選擇或降維技術(shù)。盡管深度學(xué)習(xí)技術(shù)對生物聲學(xué)中特征提取和分類有顯著成效,但卷積神經(jīng)網(wǎng)絡(luò)輸出的高維描述符和完成任務(wù)的時間限制,意味著在實時監(jiān)控的情況下會導(dǎo)致信息丟失。因此,在進一步減小高維描述符和時間的同時,應(yīng)進一步探索高性能卷積神經(jīng)網(wǎng)絡(luò)分類模型,用于檢測蜂群音頻信號以構(gòu)建自動監(jiān)控系統(tǒng)。

除音頻、圖像外,蜂巢溫濕度、外部環(huán)境數(shù)據(jù)等也會影響蜂群健康狀態(tài)。Braga等(2020)通過挖掘內(nèi)部溫度和蜂巢重量以及天氣數(shù)據(jù)(溫度、露點、風(fēng)向、風(fēng)速、降雨和日光)結(jié)合蜂巢檢查,提出了一種高精度的分類模型,該模型可以自動預(yù)測蜂群健康狀態(tài)。Ngo等(2021)展示了環(huán)境數(shù)據(jù)與蜂群覓食行為活動之間的相關(guān)性。結(jié)果強調(diào)溫度、相對濕度、風(fēng)速、雨量和光照強度會影響覓食行為。例如,大雨或微風(fēng)會對覓食行為產(chǎn)生負面影響。

然而,對蜂巢的整體監(jiān)測僅僅采集蜂巢內(nèi)部音頻、影像、溫濕度、重量以及外部的天氣數(shù)據(jù)是不夠的,還需與蜂巢內(nèi)部病蟲害監(jiān)測、蜜蜂姿勢和行為跟蹤等數(shù)據(jù)相結(jié)合,進行多類信息聯(lián)合分析監(jiān)測,提高對蜂巢整體狀態(tài)監(jiān)測的準確度和群體適用性。而多類信息聯(lián)合分析監(jiān)測需要較先進的信息處理系統(tǒng),因此需進一步開發(fā)便攜的、易于推廣使用的蜂巢監(jiān)測系統(tǒng)。同時,應(yīng)建立蜂群健康評估標準,量化蜂群不同的健康程度,利用蜂群數(shù)據(jù)收集與分析的巨大潛力,促進養(yǎng)蜂業(yè)的發(fā)展。

6 討論與展望

近年來,基于深度學(xué)習(xí)技術(shù)的蜜蜂蜂群監(jiān)測,利用大量的蜂群監(jiān)測數(shù)據(jù)為蜜蜂行為分析、蜂群監(jiān)測等帶來了巨大的發(fā)展?jié)摿ΑＥc傳統(tǒng)的目視檢查等蜂群檢測方法相比,減少人力物力損耗的同時大大提高了蜂群監(jiān)測的效率和精度,是未來蜂業(yè)發(fā)展的大趨勢,但仍面臨著諸多挑戰(zhàn)。

首先,數(shù)據(jù)集的質(zhì)量與數(shù)量直接影響模型分類檢測的性能,尤其是在數(shù)據(jù)較難收集的方面,如蜂王的音頻與圖像信息數(shù)據(jù)、稀有蜜蜂亞種的圖像及地理數(shù)據(jù)等。應(yīng)該進一步對現(xiàn)有高質(zhì)量數(shù)據(jù)集進行分類和整理,同時不斷豐富高質(zhì)量數(shù)據(jù)集較少的研究方向的數(shù)據(jù)。精確地標記采集到的高質(zhì)量數(shù)據(jù),使用更復(fù)雜的、更高質(zhì)量的數(shù)據(jù)集來開發(fā)蜜蜂蜂群檢測領(lǐng)域的其他網(wǎng)絡(luò)模型和應(yīng)用程序。

其次,在目前的研究中尚缺少便攜、價格合適、便于蜂農(nóng)使用的應(yīng)用支持系統(tǒng),實際養(yǎng)蜂適用性差。智能養(yǎng)蜂需解決深度學(xué)習(xí)技術(shù)的耗能問題,實現(xiàn)集成、高效、自動化和易操作的深度學(xué)習(xí)分析應(yīng)用系統(tǒng)。加強端到端系統(tǒng)的研究,減少人工預(yù)處理和后續(xù)處理,盡可能使模型從原始輸入到最終輸出,增加模型的整體契合度,使系統(tǒng)能夠自主的實現(xiàn)一個完整的解決方案。結(jié)合各項蜂群檢測技術(shù)構(gòu)建智能養(yǎng)蜂系統(tǒng),將現(xiàn)有檢測識別方法應(yīng)用于可移動或現(xiàn)場的設(shè)備上,以實現(xiàn)實時和大空間尺度的數(shù)據(jù)捕獲和蜜蜂檢測計劃。

深度學(xué)習(xí)技術(shù)應(yīng)用多種深層神經(jīng)網(wǎng)絡(luò),能夠?qū)鹘y(tǒng)算法難以處理的抽象材料(如圖片、音頻等)進行特征提取與識別,從而降低傳統(tǒng)蜂群信息獲取所消耗的人力、物力與時間成本,提高養(yǎng)蜂的智能化水平。隨著深度學(xué)習(xí)技術(shù)更加廣泛地用于蜜蜂研究,構(gòu)建高效自動化的蜂群監(jiān)測與管理系統(tǒng),實現(xiàn)智能化養(yǎng)蜂,將是未來養(yǎng)蜂業(yè)發(fā)展的新方向。

致謝：浙江省農(nóng)業(yè)科學(xué)院畜牧獸醫(yī)研究所董捷博士對本文提出修改意見,在此表示感謝。