融合聲紋信息的能量譜圖在鳥類識別中的研究

楊春勇 祁宏達 彭焱秋 尹 濱 侯 金 舒振宇 陳少平

(1 智能無線通信湖北省重點實驗室 武漢 430074)

(2 中南民族大學(xué)電子信息工程學(xué)院 武漢 430074)

0 引言

隨著國家生態(tài)文明建設(shè)加速推進，高效快捷評估生態(tài)環(huán)境質(zhì)量的方法和技術(shù)亟待研究和開發(fā)。鳥類在生態(tài)系統(tǒng)中扮演著重要角色，其群落是環(huán)境質(zhì)量的重要指標，有效監(jiān)測與識別其分布對保護和評估生態(tài)系統(tǒng)都具有重要意義[1]。

目前，鳥類識別(Birds recognition,BR)一般依靠人工望遠觀測法，該法受限于鳥類移動高度不確定性、移動范圍大、識別目標難捕捉等特點，效率較低。鳴聲作為鳥類的重要生物學(xué)特征，已被證明可以用于鳥類自動識別[2-3]。2010 年，Cheng等[4]通過提取4種雀形目鳥類的梅爾倒譜系數(shù)(Mel-frequency cepstral coefficients,MFCC)結(jié)合高斯混合模型(Gaussian mixture model,GMM)進行了雀形目鳥類聲音識別，但其采用的實驗樣本數(shù)偏少，且在噪聲環(huán)境下的識別性能劣化較為嚴重。2014 年，王恩澤等[5]進一步提出一種基于MFCC的新型特征參數(shù)MFCCA 和雙重GMM 模型，識別率有明顯提升，但其未討論該模型在噪聲環(huán)境下的適應(yīng)效果。2015年，Ptacek等[6]著重討論了噪聲背景下的識別問題，提出一種基于GMM 和通用背景模型(Universal background model,UBM)的鳥個體識別系統(tǒng)，但其識別率并不高。2017 年，程龍等[7]提出一種基于經(jīng)驗?zāi)B(tài)分解改進的MFCC 算法，但仍屬于MFCC+GMM識別方法，且提升后的識別率增益不大，識別率為70.09%。Chakraborty等[8]使用支持向量機與深度學(xué)習(xí)技術(shù)相結(jié)合，但是復(fù)雜度較高，識別率沒有較大提升。2018年，Sevilla等[9]提出了針對解決生物聲學(xué)分類問題的深度卷技術(shù)網(wǎng)絡(luò)Inception-V4 的改良版Soundception，并使用數(shù)據(jù)增強策略和兩種注意力模型，平均識別準確率(Mean average precision,MAP)得分達到71.4%，在模型訓(xùn)練階段依賴較高的硬件支持，耗時長且存在各種可拓展的優(yōu)化空間。因此，綜合可查閱的一些典型文獻來看，目前關(guān)于鳥類鳴聲自動識別技術(shù)的研究大多采用MFCC+GMM 識別方法，且集中在提高識別率上，鮮有針對噪聲環(huán)境應(yīng)用和識別耗時的討論，而抗噪和耗時問題又是識別技術(shù)能否獲得推廣應(yīng)用所面臨的重要挑戰(zhàn)。

鳥類語譜圖是研究鳥的生物種類屬性的重要途徑[10-12]，但是由于種類間譜圖特征重合度較高，難以直接用語譜圖進行鳥類準確識別。而鳴聲能量譜圖(Voice-power spectrogram,VPS)由鳥類語譜圖間接生成，使用Librosa庫可以提取Mel標度譜圖、色度圖、光譜對比度和色調(diào)質(zhì)心等特征，最終使用這些方法生成能量譜圖的相關(guān)信息。因鳴聲能量譜圖兼具頻譜分布和時域波形的特點，可較清楚地顯示鳴聲能量隨時間變化的關(guān)系，時頻域演化將為鳥鳴聲識別提供較為顯著的判別信息，且能形成每種鳥類對應(yīng)的鳴聲模式，這種特征提取技術(shù)屬于信號特征提取，主要目的是擴展和隔離每個樣本的重要特征。在能量譜圖中，亮度越高表示此段時間內(nèi)鳥鳴聲能量越高，不同的鳥鳴聲會形成該種類特有的鳴聲模式，而圖像背景亮度較低的地方為環(huán)境噪聲與信道噪聲。對于單幅圖像而言，圖像上的噪聲部分與鳴聲主體能量差異大，邊緣特征尤其明顯，使得噪聲在鳴聲識別過程中整體影響較??；對整個鳥類鳴聲特征圖譜鳴聲模式而言，雖然不同個體鳥鳴聲具有差異性，但是與整個鳥類群的鳴聲模式上只存在一定合理范圍上閾值偏差，即鳥個體的鳴聲與整個鳥類群的鳴聲模式差異較小，從而使得單幅鳴聲譜圖不偏離整個鳥類鳴聲模式圖像。因此，本文提出的融合聲紋信息的能量譜圖的鳥類識別方法(VPS-BR)考慮到噪聲環(huán)境和識別耗時的應(yīng)用需要，并結(jié)合聲紋特征在計算機視覺領(lǐng)域的應(yīng)用[13-15]，具有較大的研究意義與價值。在計算機視覺的邊緣特征識別領(lǐng)域，主要有具有良好容噪性能的方向梯度直方圖(Histogram of oriented gradient,HOG)[16-17]與在計算收斂方面表現(xiàn)出較快速度的局部二值模式(Local binary pattern,LBP)[18]算子兩類。本文使用這兩種算子對模型進行測試，實驗表明VPS-BR 方法識別速度快，魯棒性高且模型訓(xùn)練部分易于收斂。并且對LBP 算子在本文中的應(yīng)用，本文提出一種改進的多尺度塊中心對稱(Multi-scale block center symmetric,MBCS)局部二值模式(MBCS-LBP)。MBCS-LBP 特征融合了多尺度塊局部二值模式(MB-LBP)[19]算子與中心對稱局部二值模式(CS-LBP)特征算子的特性，以進一步降低計算復(fù)雜度。而由于大多數(shù)鳥類語音識別研究所使用的都是經(jīng)過篩選的質(zhì)量好的實驗室錄音，或者經(jīng)過濾波等技術(shù)手段進行降噪處理后的干凈語音，且數(shù)據(jù)量較少，對于現(xiàn)實世界中所具有的不同類型的自然噪聲、信道噪聲和失真等信息缺失，難以得到有效的模擬。而針對數(shù)據(jù)集的問題，本文引入生成對抗網(wǎng)絡(luò)(Generated-adversarialnetwork,GAN)進行圖譜特征數(shù)據(jù)增強，由于GAN能夠?qū)τ趫D像數(shù)據(jù)分布進行有效的學(xué)習(xí)，對鳥類鳴聲譜圖而言，不僅保留整體的鳴聲能量模式，并且會有細節(jié)上的變化，如背景環(huán)境噪聲的變化，或者鳴聲邊緣聲紋的細微變化，這些都能夠更好地模擬現(xiàn)實世界中每一鳴聲都不盡相同的情況，在引入GAN之后再次進行實驗，實驗結(jié)果表明GAN 確實學(xué)習(xí)到了有效信息。

1 基本原理與模型

1.1 識別原理

VPS-BR 的識別原理如圖1所示，主要步驟包括數(shù)據(jù)采集、特征提取和鳥類識別3部分。

圖1 VPS-BR 原理Fig.1 The principle of VPS-BR

圖1 中，采集的樣本數(shù)據(jù)分為訓(xùn)練樣本與測試樣本。兩類不同的樣本數(shù)據(jù)分別經(jīng)由如圖2所示的信號采樣、Mel 濾波、色譜圖計算、對數(shù)能量和分貝轉(zhuǎn)換步驟生成相應(yīng)的VPS。在特征提取步驟中，分別采用MBCS-LBP 特征和HOG 特征進行計算，將來自訓(xùn)練樣本處理路徑①→②→③→④所獲得的特征參數(shù)預(yù)置入?yún)?shù)庫，測試樣本經(jīng)處理路徑⑥→⑦→⑧獲得對應(yīng)VPS 特征。VPS特征分別用MBCS-LBP和HOG特征進行計算。用MBCS-LBP 特征經(jīng)過分塊計算，再將中心對稱化計算得到的結(jié)果，經(jīng)組合以直方圖形式呈現(xiàn)。用HOG 特征經(jīng)過分塊計算梯度值，組合所有塊向量的梯度值后以梯度矩陣形式呈現(xiàn)，具有不同頻域或時域變化的鳥鳴聲的VPS 特征將會差異明顯。在鳥類識別步驟中，將特征提取步驟所提取的VPS特征，經(jīng)由處理路徑④→⑨→⑤→④對輸入的測試樣本進行識別。分類器④主要可由常規(guī)支持向量機(Support vector machine,SVM)、K 最近鄰(K nearest neighbor,KNN)、隨機森林(Random forest,RF)分類算法實現(xiàn)。識別結(jié)果通過自適應(yīng)判決反饋算法完成鳥鳴聲特征向量等參數(shù)的自動優(yōu)化，并回置參數(shù)庫，替換原訓(xùn)練所得參數(shù)。在此過程中，后續(xù)的特征提取及識別都建立能量圖譜的生成基礎(chǔ)之上。參數(shù)入庫步驟引入人為的糾正與管理，體現(xiàn)了半監(jiān)督學(xué)習(xí)的特性。

圖2 能量譜圖生成步驟Fig.2 Steps of generating energy spectra

據(jù)上述可知，特征提取作為VPS-BR 鳥類鳴聲識別中的重要內(nèi)容，接下來將詳細描述本文所用MBCS-LBP和HOG特征提取算法原理。

1.2 MBCS-LBP特征提取

本文設(shè)計的MBCS-LBP 特征提取流程如圖3所示。生成的VPS分別經(jīng)由灰度圖像轉(zhuǎn)換、Gamma標準化、檢測窗口掃描、二值量化、直方圖統(tǒng)計和、中心對稱統(tǒng)計與直方圖拼接步驟生成相應(yīng)的MBCS-LBP 特征。在檢測窗口掃描前，所進行的操作是對VPS 的預(yù)處理。在對檢測窗口進行逐個掃描的步驟中，分別對每個窗口所對應(yīng)的掃描圖塊進行轉(zhuǎn)換進制的灰度值計算，經(jīng)中心對稱處理后拼接統(tǒng)計直方圖，最后綜合所有掃描窗口的統(tǒng)計值，獲得MBCS-LBP特征。

圖3 MBCS-LBP 特征提取流程Fig.3 Flows of MBCS-LBP feature extraction

MBCS-LBP 特征采用鄰域多像素灰度均值替換傳統(tǒng)單像素灰度[20]，進而根據(jù)多像素均值步進到多像素塊LBP 特征的計算來表達鳥類鳴聲聲紋特征。以N×N的鄰域為例，對整幅能量譜圖進行計算時，相應(yīng)的MBCS-LBP特征計算如下：

式(1)中，“2j”是LBP 中的卷積運算，其中Bj表示鄰域內(nèi)第j個像素塊的灰度均值，計算方法如式(2)所示；(Bj-Bj+N/2)表示互為中心對稱的兩個像素塊灰度均值之差；S(x)為單位階躍函數(shù)，計算方法如式(3)所示：

式(2)中，gi表示第j個像素塊內(nèi)第i個像素的灰度值。

MBCS-LBP 特征計算示意圖如圖4所示，在LBP 特征提取步驟上進一步優(yōu)化，使得編碼更短、傳輸識別速度更快。

圖4 MBCS-LBP 特征提取示意圖Fig.4 Diagram of MBCS-LBP feature extraction

1.3 HOG特征提取

由文獻[21]，HOG特征提取示意圖如圖5所示。生成的VPS 分別經(jīng)由灰度圖像轉(zhuǎn)換、Gamma 標準化、單元格梯度計算、空間直方圖計算、累加直方圖投影、對比度標準化與塊向量拼接步驟生成相應(yīng)的HOG特征。在預(yù)處理環(huán)節(jié)，首先對從原始鳴聲譜圖轉(zhuǎn)換得到的灰度圖像進行Gamma 標準化，然后設(shè)置步長、掃描窗口大小等參數(shù)，最后啟動HOG 特征提取。在掃描步驟中，對每一個掃描窗口中的單元格進行梯度計算，并將不同權(quán)重的梯度信息進行累加直方圖投影，然后將所有單元格在像素塊上再次進行歸一化，最后組合檢測空間所有像素塊的HOG特征。

圖5 HOG 特征提取流程Fig.5 Steps of HOG feature extraction

2 實驗結(jié)果分析與討論

2.1 樣本選取

本文樣本采自于鳥類識別領(lǐng)域引用較多且較為權(quán)威的網(wǎng)站Xeno-Canto。該網(wǎng)站收錄了世界各地上千種鳥類的幾十萬條語音樣本。通過分析從該網(wǎng)站下載的部分樣本，發(fā)現(xiàn)有些鳥類的記錄數(shù)量較少，也有些鳥類的鳴唱復(fù)雜多變，不利于識別驗證。為了減小這些情況對識別實驗的影響，本文選取樣本時按照“同種異域，鳴叫優(yōu)先”原則，采集了不含鳴唱的鳥鳴叫聲片段進行實驗。不失一般性，為有利于開展實驗，本文選取了淡眉柳鶯、華西柳鶯、黃腹柳鶯、寬尾樹鶯、四聲杜鵑、北方中杜鵑、美洲旋木雀、太平洋鷦鷯、白頭鵯、烏鶇、中華鷓鴣、棕北伯勞、麻雀、鸊鷉、花尾榛雞共15種帶標簽的鳥鳴聲樣本。對每一種鳥，均取100 個WAV 格式片段，每個片段用時5 s，共計125 min，每種樣本含噪類型及程度不同，與純凈場景下的鳴聲識別對比，體現(xiàn)了本文算法的普適性及魯棒性。

2.2 特征分析

淡眉柳鶯與寬尾樹鶯同屬鶯科，因其種群的地理分布范圍相近，而且體態(tài)較小，難以從遠距離進行人工辨識。據(jù)前述原理，若將二者的鳴聲信號轉(zhuǎn)為能量譜圖，特征差異將較為明顯，易于區(qū)分。因此，本文以淡眉柳鶯與寬尾樹鶯兩種鳥類為例，在圖6中展示了對二者鳴聲進行LBP特征提取的效果，以及相應(yīng)的聲能譜圖特征對比。

在計算機視覺中，圖像邊緣特征、平坦特征和拐角特征對識別性能有重要作用。借此，將淡眉柳鶯VPS的邊緣特征、平坦特征和拐角特征分別展示在圖6中的子圖(a1)、(a2)、(a3)中，并用紅色像素點標示；作為對比，將寬尾樹鶯VPS的3個特征分別展示在圖6 中的子圖(b1)、(b2)、(b3)中，也用紅色像素點標示。從能譜圖直觀對比看，淡眉柳鶯與寬尾樹鶯的鳴聲譜圖形狀有明顯差異。將能量譜圖作進一步直方圖量化，如子圖(a4)、(a5)、(a6)分別對應(yīng)淡眉柳鶯VPS 邊緣特征、平坦特征和拐角特征這3種像素點的LBP直方圖。從LBP直方圖(b4)、(b5)、(b6)中可以較為明顯地觀察到，根據(jù)不同特征像素點量化灰度分別在相應(yīng)能量譜圖(a1)、(a2)、(a3)中所占的百分比權(quán)重分布，即可確定出此鳥鳴聲來自淡眉柳鶯。同理，子圖(b4)、(b5)、(b6)分別對應(yīng)子圖(b1)、(b2)、(b3)特征像素點的LBP直方圖，可看出，3 種特征像素點量化灰度百分比權(quán)重分布較為明顯地表征了此鳥鳴聲與淡眉柳鶯鳴聲的差別，可以確定為來自寬尾樹鶯。因此，鑒于VPS 中特征灰度在整幅譜圖中所占的百分比權(quán)重有較大的區(qū)別，結(jié)合LBP 直方圖，這種差異特征可以用于科屬相近鳥類識別的量化辨識。

聲能譜圖中鳥鳴聲的邊緣特征對識別結(jié)果影響較大。根據(jù)文獻[22—23]，HOG特征提取精度與圖像聲紋特征描述精細度呈正相關(guān)。如對特征提取精度越高，則對譜圖的描述程度更好，對圖像邊緣的擬合度也越好，識別率就越高。圖7 分別展示了對9 s 淡眉柳鶯鳴聲譜圖進行8×8 像素、16×16 像素、32×32 像素的HOG 特征提取實驗，相比而言，8×8像素提取精度具有更好的圖像聲紋特征表述效果。因此綜合考慮計算量，在后續(xù)的特征對比實驗中，將掃描塊大小設(shè)置為3×3 個單元格，其中每一單元格大小設(shè)定為8×8 像素，對每個掃描塊的直方圖投影設(shè)置為9個方向進行實驗。

中華鷓鴣與花尾榛雞科屬不同但同屬亞鳥綱，其種群分布范圍相近，生活習(xí)性也相近。圖8展示了淡眉柳鶯、中華鷓鴣和花尾榛雞這3 種鳥類鳴聲的HOG 特征提取效果及其聲能譜圖特征對比。子圖(a1)、(b1)、(c1)分別為淡眉柳鶯、中華鷓鴣和花尾榛雞這3種鳥類原始VPS；子圖(a2)、(b2)、(c2)為8×8像素精度的HOG 特征提取形式，圖中白色標識的梯度基本擬合了鳴聲譜邊緣；子圖(a3)、(b3)、(c3)進一步展示了對每個掃描塊求梯度值，并進行直方圖投影所得到的HOG 特征三維圖，由此可看出不同鳥類在HOG 特征上有較好區(qū)分度，證明HOG特征描述具有較好的識別效果，也可用于鳥類鳴聲識別。

圖6 淡眉柳鶯與寬尾樹鶯鳴聲譜圖特征對比Fig.6 the feature contrast of Phylloscopus humei and Cettia cetti’s spectrogram

圖7 不同精度HOG 特征提取Fig.7 HOG feature extraction with different accuracy

圖8 淡眉柳鶯、中華鷓鴣和花尾榛雞的VPS 特征對比Fig.8 VPS feature contrast between Phylloscopus humei,Francolinus pintadeanus and Bonasa bonasia

2.3 識別率與識別時間

本文VPS-BR 算法實現(xiàn)所采用的硬件平臺為TITAN X GPU、8 G 內(nèi)存，軟件環(huán)境為MATLAB 7.0、Python 3.6 以及相關(guān)工具包。為了進一步評估VPS-BR 的性能，對照文獻[5]所研究的MFCC 與GMM 組合模型，將提取的LBP、HOG 特征分別與SVM、KNN、RF分類器算法進行兩兩組合實驗。在實驗中，依次選擇2 種、5種、10種、15種鳥的鳴聲進行特征提取與種數(shù)識別。為便于比較，各算法按照識別率從低到高的順序依次列于表1。

表1 識別率對比Table 1 Comparison table of recognition rate

觀察并分析表1 中的數(shù)據(jù)，VPS-BR算法下的6種組合模型平均識別率為80.9%，較MFCC+GMM組合模型高出11.3%，證明VPS-BR識別算法(即從VPS提取LBP與HOG兩類特征，再與SVM、KNN、RF 三種分類器兩兩組合)比MFCC+GMM 的組合模型具有更高的識別率。其主要原因是鳥鳴聲一維波形信號被轉(zhuǎn)換為二維能量譜圖，通過增加維度引入更多高性能的多特征提取及識別算法對識別增益有直接貢獻。為更好地比較不同模型的識別性能，再將表1 中的7 種模型對2 種～15 種鳥類的識別情況示于圖9。

如圖9(a)所示，盡管每一波形樣本所含噪聲不盡相同，各模型識別變化趨勢也略有波動，但總體看，隨著識別種數(shù)增加，這7 種模型的識別率均逐漸減小，而且圖9(b)箱線圖顯示VPS-BR 算法各模型識別率比較穩(wěn)定，多數(shù)優(yōu)于MFCC+GMM。還可看出，在種數(shù)較少情況下，SVM和KNN分類器性能表現(xiàn)較好；在種數(shù)較多情況下，KNN 分類器性能仍然較為突出，RF 分類器識別率略高于MFCC+GMM組合模型。圖9 中還顯示LBP+SVM 組合模型較MFCC+GMM 模型以及其他5 種VPS-BR 算法中的模型，表現(xiàn)出較明顯的性能劣勢。這是因為SVM分類器難以適應(yīng)大于2 的多分類，而且其LBP 直方圖操作因二值化隱去了特征細節(jié)，因此這兩方面因素疊加，導(dǎo)致LBP+SVM組合模型識別率最低。

為便于對比，設(shè)定鳥的種數(shù)為15，將聲能譜圖大小統(tǒng)一調(diào)整為180×180像素，然后依次用N×N分別為1×1、3×3、5×5、7×7、9×9 的像素塊大小進行測試。MB-LBP 和MBCS-LBP 特征提取方法在不同分塊情形下的識別性能如圖10所示。

圖9 MFCC+GMM 模型與VPS-BR 算法各模型識別性能對比Fig.9 Comparison of recognition performance between MFCC+GMM model and VPS-BR algorithm

由圖10 可以看出，隨著分塊維度N增加，識別耗時均逐漸減少。相比于前文提到的HOG+KNN模型，識別耗時縮短了91.1%。對于相同分塊維度，采用MBCS-LBP 方法在識別時間上的開銷比MB-LBP 方法少，其原因在于提取聲能譜圖特征時，MBCS-LBP 方法采用鄰域多像素灰度均值較MB-LBP 采用的單像素灰度方法大幅度降低了計算量。但分塊維度的持續(xù)增大并不能換取持續(xù)增加的識別率。隨著分塊維度N增大，這兩種方法所獲識別率均表現(xiàn)為先逐漸升高后逐漸降低的趨勢。而且均在分塊維度為5×5 時，這兩種方法的識別率達到各自性能頂點，其中MBCS-LBP 識別率最大值92%，比MB-LBP 方法高出2.32%。如分塊維度大于5×5，則因為譜圖微觀特征信息出現(xiàn)相對較大的損失，識別率會發(fā)生大幅降低。因此，分塊維度對基于LBP 特征提取的識別影響較大；若兼顧聲能譜圖微觀和宏觀特性，適當(dāng)?shù)貙ζ溥M行分塊，不僅可提高識別效率，還可以提高識別質(zhì)量。

圖10 LBP 特征分塊維度對識別率及識別時間的影響Fig.10 The influence of LBP feature block dimension on recognition rate and recognition time

3 生成式對抗網(wǎng)絡(luò)進行數(shù)據(jù)增強

針對自然復(fù)雜聲學(xué)環(huán)境下鳥鳴聲數(shù)據(jù)采集難度大、背景噪聲高、質(zhì)量難以保障等問題，本文應(yīng)用GAN 對原有的鳥鳴聲數(shù)據(jù)集進行數(shù)據(jù)增強以解決鳴聲數(shù)據(jù)不平衡的問題。

3.1 圖譜數(shù)據(jù)生成

參考文獻[24—26]使用深度卷積生成對抗網(wǎng)絡(luò)(Deep convolutional generated-adversarialnetwork,DCGAN)在禽鳥鳴聲特征譜圖數(shù)據(jù)上進行的實驗，本文在判別器上和生成器上分別使用步幅卷積和微步幅卷積代替池化，這種卷積結(jié)構(gòu)能夠?qū)⒋蟛糠中畔鬟f給下一層，以保證生成圖譜的準確程度；其次引入批規(guī)范化操作，解決了梯度消失的問題；最后移除了全連接層并使用不同的激活函數(shù)，具體超參數(shù)包括Adam 優(yōu)化、生成器使用ReLU激活函數(shù)、判別器使用leakyReLU 激活函數(shù)、學(xué)習(xí)率設(shè)為0.0002、每個批次32 個樣本。實驗證明圖譜生成效果較好，譜圖生成前后對比圖如圖11和圖12所示。

圖11 單物種-麻雀鳴聲原始譜圖Fig.11 Original spectrum of single sparrow song

圖12 單物種-麻雀鳴聲生成譜圖Fig.12 Generated spectrum of single sparrow song

圖11 和圖12 展示了部分以麻雀鳴聲為樣本的GAN 網(wǎng)絡(luò)生成案例。因為譜圖顏色表示能量高低，可以看出雖然背景噪聲各不相同，但是生成的語音與原始語音邊緣特征近似，表明GAN 生成網(wǎng)絡(luò)生成再進行訓(xùn)練后生成的譜圖能夠反映原始鳴聲特征譜圖所描述的信息；而且譜圖形狀、結(jié)構(gòu)差異性較小，表明在GAN 網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)到的知識是可以被使用的，若將迭代次數(shù)增加，更進一步得到更好的擬合譜圖。

3.2 實驗驗證

在實驗中將鳴聲數(shù)據(jù)分為三組：第一組為訓(xùn)練集，第二組為數(shù)據(jù)增強后的“訓(xùn)練集”，第三組為測試集，可以有效地防止過擬合造成的識別率虛高情況。依次選擇2種、3種、4種、5種鳥的鳴聲進行特征提取與種數(shù)識別。為便于比較，各算法按照識別率從低到高的順序依次列于表2。

表2 識別率對比Table 2 Comparison table of recognition rate

觀察并分析表2 中的數(shù)據(jù)，在5 種鳥類鳴聲數(shù)據(jù)參與識別的情況下，原始VPS-BR 算法下的6 種組合模型平均識別率為90.47%，而加入GAN 生成的圖片之后，VPS-BR 算法的識別率為91.95%，比之原來提升1.48%。其主要原因一是可用于訓(xùn)練和識別的樣本數(shù)增多，二是增多的數(shù)據(jù)能夠較好地擬合出原有鳥類語音的信息，對訓(xùn)練和識別過程起到正向作用，表明GAN 網(wǎng)絡(luò)確實起到了數(shù)據(jù)增強的效果。

4 結(jié)論

針對鳥鳴聲識別的容噪性能差、高復(fù)雜度及收斂困難問題，提出一種融合聲紋信息的能量譜圖鳥類識別方法(VPS-BR)，通過描述鳥類鳴聲特征譜圖的聲紋特征并進行分類識別。通過LBP 和HOG特征分別與SVM、KNN、RF 分類器算法兩兩組合進行帶噪鳥鳴聲識別實驗，在15種鳥類參與分類的情況下，最高識別率可達92%，驗證了VPS-BR 方法兼具良好的容噪性能與識別魯棒性，且易于收斂。同時表明VPS-BR 方法不僅對噪聲環(huán)境有較強的適應(yīng)性，而且具有較好的識別性能，這是利用圖像方法識別鳴聲的初步嘗試，而基于深度學(xué)習(xí)以及多種類的特征提取和模型驗證是下一階段的努力方向。GAN網(wǎng)絡(luò)的增強處理能夠進一步增強其識別性能，對VPS-BR 中所使用的模型進行改進，實驗效果還可以進一步提高，后續(xù)工作將進一步研究如何在整個模型網(wǎng)絡(luò)中引入鳥類相關(guān)先驗知識。本文可為鳥類識別與保護、濕地生態(tài)環(huán)境監(jiān)測和動物行為學(xué)研究等領(lǐng)域提供應(yīng)用方法上的理論參考，也為計算機語音與圖形搭建了聯(lián)系的橋梁。