鉆蛀性害蟲取食聲音的人工智能早期識別*

劉璇昕 孫 鈺 崔 劍 蔣 琦 陳志泊 駱有慶

(1.北京林業(yè)大學(xué)信息學(xué)院 北京 100083； 2.北京航空航天大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 北京 100191； 3.北京林業(yè)大學(xué)林學(xué)院 北京 100083； 4.國家林業(yè)和草原局林業(yè)智能信息處理工程技術(shù)研究中心 北京 100083)

林業(yè)有害生物導(dǎo)致的林業(yè)生物災(zāi)害是威脅我國林業(yè)的重大自然災(zāi)害之一，其對森林資源和生態(tài)系統(tǒng)的破壞，每年均造成大量的直接或間接經(jīng)濟損失(李娟等， 2019)。在林業(yè)有害生物中，林木蛀干害蟲生活隱蔽、防治困難，是生態(tài)安全的重大隱患。蛀干害蟲大部分齡期均生活在寄主林木的木質(zhì)部或韌皮部，蛀食樹干，破壞樹木的分生組織和輸導(dǎo)組織，嚴重時危害樹勢甚至導(dǎo)致樹木死亡(黃志平等， 2013； 呂飛等， 2015)。蛀干害蟲高隱蔽性的生活習性導(dǎo)致其在危害早期難以發(fā)現(xiàn)，人工樣地觀察(Floweretal.， 2013)、成蟲誘集技術(shù)(Mcculloughetal.， 2011)、遙感監(jiān)測(Zhangetal.， 2014)等常用的監(jiān)測手段難以實現(xiàn)早期預(yù)警。隨著聲音監(jiān)測技術(shù)在害蟲識別領(lǐng)域的應(yīng)用，林木蛀干害蟲的早期預(yù)警有了新的研究方向(韋雪青等， 2010)。

聲學(xué)技術(shù)在害蟲監(jiān)測領(lǐng)域的應(yīng)用始于20世紀20年代，但由于技術(shù)的局限性，未能取得有效成果，隨著計算機技術(shù)和微電子技術(shù)的進步，害蟲聲音監(jiān)測技術(shù)有了新的發(fā)展(韋雪青等， 2010)。害蟲聲音監(jiān)測技術(shù)的研究對象主要包括倉儲害蟲(李玥等， 2018)、木材檢疫害蟲(婁定風等， 2013)、土壤害蟲(Mankinetal.， 2007)、林木鉆蛀害蟲(Mankinetal.， 2018)等。在害蟲聲音監(jiān)測中，對于有發(fā)聲器官的成蟲或隔音環(huán)境下的幼蟲，可采用麥克風作為傳感器，偵聽傳導(dǎo)至空氣中的振動(羅茜等， 2011)。但麥克風僅能接收空氣中的振動，且易受環(huán)境噪聲干擾，難以采集蛀干害蟲在樹木內(nèi)部的活動信號。對于土壤害蟲和蛀干害蟲的活動信號，通常利用壓電傳感器采集害蟲在土壤或樹干內(nèi)爬行或蛀食時產(chǎn)生的振動信號，以提高監(jiān)測靈敏度并減少環(huán)境噪聲對信號的干擾(Mankinetal.， 2003)。

害蟲活動信號識別的研究大致可分為2種。其一是對害蟲活動信號的時頻特性進行人工分析，如統(tǒng)計脈沖信號數(shù)量和強度(趙源吉等， 2009； Dosunmuetal.， 2014)、分析脈沖時域圖和功率譜密度(卜宇飛等， 2017； Jalinasetal.， 2019)等。其二是利用算法對采集到的害蟲聲信號進行自動識別。美國農(nóng)業(yè)部Mankin課題組利用Raven篩選出包含害蟲聲音的音頻后利用DAVIS軟件進行最小二乘匹配以區(qū)分蟲聲和噪聲或不同蟲聲(Inyangetal.， 2019； Mankinetal.， 2016)； 國內(nèi)的研究學(xué)者大都借助語音識別的原理實現(xiàn)害蟲聲信號的識別，首先提取信號的梅爾倒譜系數(shù)，然后利用LBG(Linde, Buzo, Gray)矢量量化算法(竺樂慶等， 2010)、高斯混合模型(Gaussian mixture model，GMM)(竺樂慶等， 2012)或BP(Back propagation)神經(jīng)網(wǎng)絡(luò)(羅茜等， 2011)進一步提取特征，最后通過最鄰近搜索(竺樂慶等， 2010)、概率統(tǒng)計(羅茜等， 2011； 竺樂慶等， 2012)等實現(xiàn)分類。近年來，也有研究學(xué)者利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端的害蟲識別(孫鈺等， 2020)。

害蟲的取食聲經(jīng)傳感器處理后通常轉(zhuǎn)化為音頻格式，與語音識別的數(shù)據(jù)格式及頻率范圍較為一致，因此，可借助語音識別領(lǐng)域的關(guān)鍵詞檢測技術(shù)實現(xiàn)取食聲音的識別。關(guān)鍵詞檢測用于語音信號中關(guān)鍵單詞或短語的識別(Warden， 2018)。早期的關(guān)鍵詞檢測通常采用隱馬爾科夫模型(hidden Markov model，HMM)(Wilponetal.， 1991)，隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習的關(guān)鍵詞檢測模型取得新的進展(LeCunetal.， 2015)。近年來的研究中，在關(guān)鍵詞檢測中應(yīng)用的深度學(xué)習模型主要有深度神經(jīng)網(wǎng)絡(luò)(deep neural network，DNN)模型(Chenetal.， 2014)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型(Tangetal.， 2018)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)模型(Heetal.， 2017)、卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(convolutional recurrent neural network，CRNN)模型、時延神經(jīng)網(wǎng)絡(luò)(time delay neural network， TDNN)模型(Sunetal.， 2017)等，為了強化模型的學(xué)習能力，部分模型中還引入了注意力機制(Shanetal.， 2018)。

相較人工監(jiān)測、誘捕器監(jiān)測、遙感監(jiān)測等監(jiān)測技術(shù)，聲音監(jiān)測技術(shù)具有在蟲害發(fā)生早期及時預(yù)警的能力，近年來，受到越來越多研究人員的關(guān)注。但是，國外的研究學(xué)者大都借助Raven和DAVIS軟件進行半自動的特征提取及蟲害聲音匹配，識別結(jié)果依賴主觀分析，沒有數(shù)值化的精度評價。國內(nèi)的研究學(xué)者借助語音識別技術(shù)針對害蟲活動或取食聲設(shè)計模型，實現(xiàn)自動化的害蟲聲音識別，但研究所采用的數(shù)據(jù)均為隔音箱或室內(nèi)環(huán)境中采集的純凈蟲聲數(shù)據(jù)，缺乏對含噪蟲聲數(shù)據(jù)的研究，難以實現(xiàn)鉆蛀性害蟲聲音監(jiān)測的實際應(yīng)用。因此，本研究在校園、馬路邊等戶外開放環(huán)境下采集噪聲音頻，一方面作為鉆蛀性害蟲取食聲的負樣本，另一方面也作為噪聲數(shù)據(jù)，通過和鉆蛀性害蟲取食聲進行混音，進行噪聲強度可控的含噪取食聲識別研究。

本研究以雙條杉天牛(Semanotusbifasciatus)為研究對象。雙條杉天牛是危害柏科(Cupressaceae)樹木的蛀干害蟲，屬我國林業(yè)有害生物檢疫對象(耿涌鑫等， 2018)。本文利用壓電傳感器采集其咬食木段的聲音，同時采集噪聲數(shù)據(jù)作為干擾，參考基于深度學(xué)習的人工智能語音識別技術(shù)，設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型識別雙條杉天牛的取食聲，同時對識別模型的抗噪性能進行測試，驗證模型在野外嘈雜環(huán)境下的可用性，為隱蔽蛀干害蟲的早期預(yù)警提供抗噪技術(shù)支撐。

1 數(shù)據(jù)材料

1.1 數(shù)據(jù)采集

本研究主要采集了2類數(shù)據(jù)，一類是雙條杉天牛取食聲，另一類是在開放環(huán)境下采集的噪聲音頻。

從林場采集直徑約為10 cm長度約為30 cm的側(cè)柏(Platycladusorientalis)木段，并在木段中部鉆孔(孔深3 cm左右)，于3月中下旬向木段中接入雙條杉天牛成蟲，等待成蟲在木段中進行交配、產(chǎn)卵。5月上旬開始，每隔3～5 天使用SP-1 L探頭連接NI 9215電壓采集卡采集木段中雙條杉天牛幼蟲的取食聲(圖 1)，采集到的取食聲中基本無環(huán)境噪聲。同時，利用相同的數(shù)據(jù)采集設(shè)備，在校園、馬路邊等戶外開放環(huán)境下使用相同儀器錄制的噪聲音頻，其中包含行人腳步聲、人與人交談聲、鳥鳴聲、風聲、汽車行駛聲、鳴笛聲等明顯環(huán)境噪聲，但不含雙條杉天牛的取食聲。

圖1 數(shù)據(jù)采集設(shè)備

選取130段雙條杉天牛取食聲和83段噪聲音頻用于后續(xù)試驗，單段音頻時長為5 min，采樣率為44.1 kHz。利用SoX(Sound eXchange)音頻處理工具將音頻的采樣位數(shù)轉(zhuǎn)換為16 bit，同時將音頻的采樣率統(tǒng)一為16.0 kHz。

1.2 數(shù)據(jù)劃分

為了對模型的抗噪性能進行測試，從采集到的83段噪聲音頻中隨機選擇加噪音頻，其中8段加入訓(xùn)練集和簡單測試集，5段加入抗噪測試集，剩余70段作為噪聲類用于識別模型的訓(xùn)練及簡單測試； 同時，從采集到的130段雙條杉天牛取食聲中隨機選取60段加入抗噪測試集，剩余70段加入訓(xùn)練集和簡單測試集。數(shù)據(jù)集劃分情況如表 1所示。

表1 數(shù)據(jù)集劃分情況

1.3 音頻加噪

為了訓(xùn)練識別模型，對數(shù)據(jù)進行切分，切分方式如圖 2所示，切片長度為1 s，每段音頻可得到300段切片。為了測試模型的訓(xùn)練效果，訓(xùn)練集/簡單測試集中的音頻切分得到的各類切片按7∶3的比例劃分為訓(xùn)練集和簡單測試集。

圖2 數(shù)據(jù)切片方式

為了使模型適應(yīng)噪聲環(huán)境，從而增加模型的抗噪能力，訓(xùn)練階段，在保留一定量不混音的雙條杉天牛取食聲切片的基礎(chǔ)上，對雙條杉天牛取食聲切片和加噪音頻切片進行混音(Ephratetal.， 2018)，混音前后的時域波形圖和頻域聲譜圖如圖 3所示?；煲魰r的噪聲強度通過信噪比(signal-noise ratio，SNR)(Barkeretal.， 2013)衡量，信噪比的計算公式為：

圖3 不同信噪比下的波形和聲譜

(1)

式中，LS表示取食聲音頻，NS表示加噪音頻，P表示音頻能量，Ai表示音頻在第i個采樣點處的振幅，n表示音頻采樣點數(shù)。

在對訓(xùn)練集和簡單測試集混音時為每段加噪音頻切片設(shè)置7種信噪比(-3～3 dB，間隔1 dB)，將7種信噪比下的加噪音頻切片和不同雙條杉天牛取食聲切片混合，得到用于訓(xùn)練和測試的雙條杉天牛取食聲數(shù)據(jù)。訓(xùn)練集中共有取食聲切片14 700段，其中，7種信噪比的取食聲切片各有1 680段，不加噪的取食聲切片有2 940段； 簡單測試集中共有取食聲切片6 300段，其中，7種信噪比的取食聲切片各有720段，不加噪的取食聲切片有1 260段。同時，在訓(xùn)練集和簡單測試集中加入與雙條杉天牛取食聲切片數(shù)量一致的噪聲切片作為負樣本。

為了測試模型的抗噪性能，利用抗噪測試集中的雙條杉天牛取食聲切片和加噪音頻切片生成獨立的雙條杉天牛取食聲混音數(shù)據(jù)作為抗噪測試集，抗噪測試集中不包含噪聲切片，但相較訓(xùn)練集和簡單測試集，設(shè)置了更大的信噪比區(qū)間(-7～3 dB，間隔1 dB)，在低信噪比上，擴展了4 dB，每種信噪比的取食聲切片各有1 500段，同時包含相同數(shù)量的不加噪的取食聲切片。利用公式(1)可推知：

(2)

式中，NS表示加噪音頻，LS表示取食聲音頻，SNR表示信噪比。

將信噪比代入公式(2)可知，信噪比為-3 dB時，噪聲音頻的音頻能量約為取食聲的音頻能量的2倍，信噪比為-7 dB時，噪聲音頻的音頻能量約為取食聲的音頻能量的5倍。已有研究人員的測試表明，信噪比為9 dB時，人的聽覺對字母的識別準確率約為97%，當信噪比下降至-6 dB時，人的聽覺對字母的識別準確率僅有83%左右(Barkeretal.， 2013)，可以看出，音頻的信噪比強度會對聲音識別的準確率造成明顯影響。

2 模型設(shè)計

2.1 頻譜特征提取

提取平均對數(shù)譜(average log spectrum)作為音頻的特征用于取食聲識別。平均對數(shù)頻譜的計算主要包括短時傅里葉變換(short-time Fourier transform，STFT)、對數(shù)計算、平均池化(average pooling)3步。

為了增加音頻的復(fù)雜度，避免訓(xùn)練中的過擬合現(xiàn)象，在計算頻譜之前對音頻進行-5 ms至5 ms的隨機平移，平移后用0填充至1 s時長。對于平移后的音頻，以30 ms的窗長及20 ms的重疊率進行逐段的傅里葉變換，傅里葉變換的點數(shù)設(shè)置為512。通過短時傅里葉變換，每個1 s長的音頻均可得到98×257的聲譜圖(圖4a)。為了放大頻譜特征的波動，增加區(qū)分度，對頻譜特征進行對數(shù)計算(圖4b)。為了綜合頻譜特征，將對數(shù)計算后的頻譜特征進行平均池化，平均池化的窗大小為1×6，2個方向的步長分別為1和6。經(jīng)過平均池化，每個1 s長的音頻可得到98×43的平均對數(shù)譜用于后續(xù)的卷積計算(圖4c)。

圖4 頻譜特征提取逐步結(jié)果

2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型進行取食聲的識別，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)主要由2層二維卷積、一層最大池化和一層全連接構(gòu)成。卷積層包括權(quán)重和偏置2組參數(shù)，其中權(quán)重通過標準差為0.01的截段正態(tài)分布隨機初始化，偏置初始化為0。為保證卷積操作前后特征圖大小的一致性，卷積操作前對特征圖進行補0操作，2層卷積的卷積核個數(shù)均為64，卷積步長均為1，卷積核大小分別為20×8和10×4，卷積操作后網(wǎng)絡(luò)利用ReLU(Rectified Linear Unit)激活函數(shù)提高模型的非線性映射能力，同時為了避免網(wǎng)絡(luò)過擬合，在激活函數(shù)后利用dropout層隨機忽略網(wǎng)絡(luò)層中50%的神經(jīng)元。在第1次卷積操作之后，網(wǎng)絡(luò)通過步長為2的最大池化操作，在實現(xiàn)特征降維的同時，更好地保留特征中的紋理信息。在第2次卷積操作之后，網(wǎng)絡(luò)通過特征展開得到68 992維特征，然后利用全連接層綜合特征信息，并借助softmax函數(shù)實現(xiàn)各類識別概率的計算。

3 結(jié)果與分析

3.1 試驗環(huán)境

基于卷積網(wǎng)絡(luò)的識別模型的實現(xiàn)基于TensorFlow深度學(xué)習框架，硬件平臺采用Intel Core i7-6700 CPU(64 GB內(nèi)存)和NVIDIA TITAN RTX GPU(24 GB顯存)。

模型訓(xùn)練階段批處理大小為128，損失函數(shù)為多分類交叉熵損失。模型利用梯度下降算法(Gradient Descent Optimizer)進行參數(shù)更新，一共迭代6 000次，前3 000次學(xué)習率為0.005，后3 000次學(xué)習率為0.001。

3.2 簡單測試集

以音頻切片的識別準確率作為模型性能的評價指標，試驗的簡單測試集包括雙條杉天牛取食聲、噪聲2類，各類的切片數(shù)為6 300?；诰矸e神經(jīng)網(wǎng)絡(luò)的識別模型在簡單測試集上的整體準確率為98.80%。其中，雙條杉天牛取食聲切片的準確率為98.95%，噪聲切片的識別準確率為98.63%，簡單測試集識別結(jié)果的混淆矩陣如圖 6a所示。為了對比基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的識別效果，利用相同的訓(xùn)練集訓(xùn)練了昆蟲聲音識別中常用的高斯混合模型(郭敏等， 2012； 竺樂慶等， 2012)并在簡單測試集上進行測試，高斯混合模型在簡單測試集上的整體準確率為99.68%，其中，雙條杉天牛取食聲切片的準確率為99.49%，噪聲切片的識別準確率為99.87%，識別結(jié)果的混淆矩陣如圖 6(b)所示。

圖6 基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型(a)高斯混合模型(b)在簡單測試集的混淆矩陣

3.3 抗噪測試集

為了驗證模型的抗噪性能，利用抗噪測試集測試2種模型在更多信噪比下對雙條杉天牛取食聲切片的識別效果，識別準確率如圖 7所示。在測試集上，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的平均準確率為97.37%，高斯混合模型的平均準確率為90.61%； 在信噪比為-6 dB時，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的識別準確率為92.1%，而高斯混合模型的識別準確率只有86.5%。

圖7 抗噪測試集不同信噪比下雙條杉天牛取食聲的識別準確率

3.4 綜合分析

對比基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型和高斯混合模型在簡單測試集上的結(jié)果，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的識別準確率為98.80%，高斯混合模型的識別準確率為99.68%，2種模型均能有效識別無噪及低噪雙條杉天牛取食聲，準確率差距不足1%。對比基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型和高斯混合模型在抗噪測試集上的結(jié)果，對于不加噪的雙條杉天牛取食聲，2個模型的識別準確率均為100%； 除此之外，在各信噪比下，高斯混合模型的識別準確率均低于基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型。信噪比為-3 dB時，高斯混合模型的識別準確率已經(jīng)低于90%，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的準確率仍能達到98.1%； 信噪比為-4、-5 dB時，高斯混合模型的識別準確率已低于88%，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的準確率仍高于95%； 信噪比-6 dB時，高斯混合模型的識別準確率為86.5%，而基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型仍有92.1%的準確率； 信噪比為-7 dB時，2種模型的識別準確率均低于90%，但基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的準確率仍比高斯混合模型高4.8%。

4 討論

當前國內(nèi)外對昆蟲聲音識別的研究對象中，缺乏含噪蟲聲數(shù)據(jù)。因此，本研究設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型，同時選擇昆蟲聲音識別中常用的高斯混合模型作為對比模型，對含噪雙條杉天牛取食聲進行識別并利用含較強噪聲干擾的雙條杉天牛取食聲對2種模型的抗噪能力進行了測試。

高斯混合模型通過期望最大化實現(xiàn)對各類數(shù)據(jù)的擬合。由試驗結(jié)果可知，在與訓(xùn)練集數(shù)據(jù)相似度較高的簡單測試集上，高斯混合模型的識別準確率接近100%，但對于與訓(xùn)練集區(qū)別較大的抗噪測試集，隨著噪聲強度的增加，高斯混合模型的識別準確率下降較為明顯。對比訓(xùn)練集和簡單測試集，二者的雙條杉天牛取食聲和噪聲音頻的相似度較高且含噪雙條杉天牛取食聲的噪聲強度一致，高斯混合模型通過對訓(xùn)練集的迭代，有效提取訓(xùn)練集的數(shù)據(jù)特征，在簡單測試集上的表現(xiàn)較好； 對比訓(xùn)練集和抗噪測試集，二者的雙條杉天牛取食聲和噪聲音頻是不同時間錄制的音頻段，數(shù)據(jù)存在較大差異，且抗噪測試集中的含噪雙條杉天牛取食聲具有更高的噪聲強度，高斯混合模型在數(shù)據(jù)差異較大的抗噪測試集上的識別結(jié)果下降明顯，表明模型的泛化能力較差，難以滿足應(yīng)用需求。

基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型通過卷積操作提取特征，池化操作放大局部特征，激活函數(shù)映射非線性特征，經(jīng)過訓(xùn)練，簡單測試集識別準確率接近100%。同時，在與訓(xùn)練集區(qū)別較大的抗噪測試集上，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型仍能取得較好的識別準確率，表明卷積神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力。根據(jù)公式(2)，信噪比為-6 dB時，噪聲能量約為雙條杉天牛取食聲頻能量的4倍，在此噪聲干擾下，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型的識別準確率為92.1%，表明卷積神經(jīng)網(wǎng)絡(luò)具有良好的抗噪性能，更能有效應(yīng)對實際應(yīng)用時可能出現(xiàn)的噪聲干擾。

5 結(jié)論

本研究使用壓電傳感器采集雙條杉天牛咬食木段的取食聲，同時采集典型戶外環(huán)境下的噪聲音頻，設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型進行雙條杉天牛取食聲的識別，對比研究卷積神經(jīng)網(wǎng)絡(luò)和高斯混合模型的抗噪識別能力。通過提取音頻的平均對數(shù)譜，設(shè)計卷積神經(jīng)網(wǎng)絡(luò)進行特征提取及分類，實現(xiàn)雙條杉天牛的取食聲識別。為了驗證模型的抗噪性能，向雙條杉天牛取食聲中混入更廣信噪比的噪聲，測試模型對含噪雙條杉天牛取食聲的識別準確率。研究結(jié)果表明，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型能有效綜合頻譜特征，準確識別無噪及低噪的雙條杉天牛取食聲； 同時，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型還具有良好的泛化能力，在-6 dB信噪比下仍能保證雙條杉天牛取食聲92.1%的識別準確率。因此，基于卷積神經(jīng)網(wǎng)絡(luò)的識別模型能夠適應(yīng)林木蛀干害蟲的野外監(jiān)測環(huán)境，為林木蛀干害蟲的自動化監(jiān)測和早期預(yù)警提供技術(shù)支撐。未來將從林區(qū)活立木上采集雙條杉天牛取食聲，進一步驗證人工智能識別模型的抗噪性和可行性。