基于移動端的嵌入式鳥類識別系統(tǒng)設(shè)計與開發(fā)

馮郁茜　謝將劍　李星光

摘要：針對基于深度學習的識別方法對數(shù)據(jù)量要求較高、應用比較困難，對于鳥類數(shù)據(jù)有限的情況，本文開發(fā)一種基于深度學習的移動端嵌入式鳥類識別系統(tǒng)，利用單通道盲源分離對鳴聲進行預處理，輸入到遷移學習VGG-16模型進圖像特征提取實現(xiàn)烏類物種的分類。采用基于MFCC的雙模態(tài)決策級特征并訓練Mobilenet輕量化模型，將算法移植到Android客戶端，以18種鳥類為研究對象進行測試，實驗結(jié)果表明，該方法在識別準確率達到99%以上，軟件推動了鳥類個體自動識別在鳥類調(diào)查和監(jiān)測領(lǐng)域的廣泛應用。

[關(guān)鍵詞]深度學習鳥類物種識別特征融合嵌入式軟件開發(fā)

鳥類是野生動物最具代表性的類群之一，其種類、數(shù)量是反應生態(tài)系統(tǒng)變化和環(huán)境質(zhì)量的重要指示因子。鳴聲具有物種鑒別性和個體差異性，是識別鳥類的重要依據(jù)，通過調(diào)查研究鳥類種群分布與數(shù)量的變化，對科學保護野生鳥類具有重要意義。

國內(nèi)外圍繞基于鳴聲的鳥類自動識別的相關(guān)問題在有效鳴聲信號提取、特征參數(shù)計算、分類決策等方面展開了大量的研究。采用信號分離技術(shù)分離出純凈鳴聲，為后續(xù)的鳴聲識別提供高信噪比的鳴聲信號，有利于提高識別準確率。盲源分離技術(shù)可以不需要先驗知識，從音頻信號中分離出不同鳴聲信號以及其他干擾噪聲，可以解決自然環(huán)境下多只朱鸚同時鳴叫識別效果差的問題?；谠摲椒ǎ琇.J.Zhang[1]提出改進的子空間投影法實現(xiàn)信號分離，可以提高計算效率。C.J.Li[2]提出基于K均值的聚類方法，并引入蟻群算法估計出源信號，對含噪信號的分離效果較好。隨著深度學習的推廣，充分利用神經(jīng)網(wǎng)絡(luò)強大的信息抽取能力，依次使用時間卷積層和頻率卷積層提取原始音頻信號的特征，將其輸入深度學習分類模型。訓練時，特征提取和分類的模型參數(shù)同時參與更新。訓練得到的特征提取模型可以提取到最適合于分類的差異特征。但是分類效果相比基于梅爾頻率倒譜特征，優(yōu)勢并不明顯。提取鳴聲信號的差異特征后，需要對不同的差異特征進行分類完成個體識別。目前，國內(nèi)外用于鳥類個體自動識別的分類方法包括：

（1）基于模板匹配的分類方法，最具代表性的就是動態(tài)時間規(guī)整算法，該方法雖然識別精度較高，但是運算量太大，影響識別效率。

（2）通過建立基于特征的分類模型實現(xiàn)分類，常用的模型或方法有隱馬爾可夫模型、高斯混合模型、支持向量機、隨機森林、自主神經(jīng)網(wǎng)絡(luò)、K最近鄰以及集成學習等;

（3）基于深度學習的分類方法，包括

深度神經(jīng)網(wǎng)絡(luò)（DNN），深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）以及卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（CRNN）等，該類方法通過選擇合適的網(wǎng)絡(luò)架構(gòu)及訓練參數(shù)，得到了比第二類基于特征的分類模型更好的性能。盡管鳥類物種分類識別方法的研究已取得了很大進步，但是依然存在很多問題。設(shè)計合理的特征表達方法提取最優(yōu)的差異特征和構(gòu)建準確率高、魯棒性強的野生朱鸚個體自動識別方法仍是亟待解決的難題之一。

本文提出一種基于深度學習的嵌入式鳥類物種識別算法，利用VGG-16進行同構(gòu)空間下的特征遷移，用ImageNet數(shù)據(jù)集遷移到鳥類物種識別問題上。為了提高識別率，將鳴聲信號和梅爾頻譜兩種雙模態(tài)特征進行融合，搭建一種改進的CLSTM模型進行鳴聲差異特征提取，與傳統(tǒng)的淺層機器學習方法進行分析對比。并將輕量化Mobilenet模型嵌入到安卓平臺來驗證算法的有效性。

1基于EDA和ICA的單通道盲源分離算法

1.1集合經(jīng)驗模態(tài)分解EEDA和FastICA的信號分離

實際環(huán)境中采集的音頻信號存在多種噪聲，噪聲的存在會降低識別的準確度，非有效信號的存在會降低識別的效率和分類器的精度，因此必須對有效鳴聲信號進行提取。盲源分離技術(shù)僅由觀測信號估計出混合矩陣，進而恢復出源信號，利用該技術(shù)從音頻信號中分離出純凈的鳴聲信號以及干擾噪聲，張文霞[4]提出一種基于FastICA的欠定盲源信號分離方法，引入基于密度的聚類算法估計混合矩陣，將估計得到的混合矩陣作為壓縮感知的測量矩陣，最后利用壓縮感知重構(gòu)算法求出信號的稀疏系數(shù)進而實現(xiàn)源信號的重構(gòu)。本文利用基于EEDA和ICA提取背景噪聲環(huán)境下的有效鳥叫聲，對鳴聲信號進行前期預處理輸入到深度學習模型中實現(xiàn)種類識別。

集合經(jīng)驗模態(tài)分解（EnsembleEMD）利用白噪聲作為輔助，可以對異常擾動以及因本征模態(tài)函數(shù)（IMF）不連續(xù)引起的模態(tài)混疊進行有效的抑制。先利用EEMD將混合信號分解出和信號源數(shù)相同個數(shù)的分量，進而等效成正定盲源分離的問題，對觀測信號進行EEMD分解，可以實現(xiàn)將觀測信號到高維空間的映射。IMF分量具有統(tǒng)計獨立性，選擇分離效率高的快速獨立成分分析法（FastICA）作為正定盲源分離算法完成信號重構(gòu)。利用IMF和源信號的相關(guān)性等量化參數(shù)，準確區(qū)分并去除虛假分量實現(xiàn)降維。從而提升信號分離的準確率，而且輸入信號數(shù)量變少，可以減小FastICA迭代的次數(shù)，進一步提高分離的效率，其算法原理如圖1所示。

單通道混合信號表示如公式1所示，其中s.（），<.一..表示的是源信號向量，a為混合系數(shù)，y（t）代表分離估計信號。圖2所示即為原始信號、分離信號及提取出的有效鳴聲信號時頻域結(jié)果，時域圖代表時變信息，只能反應信號隨時間的大幅度變化，為了反應時變的頻譜信息和能量分布，去除背景噪聲對后續(xù)識別精度的影響計算其時頻聲譜圖像，而且更能直觀地反應每個物種的紋理邊緣等圖像特征。

1.2VGG-16遷移學習

遷移學習是一種針對小數(shù)據(jù)集的深度學習技術(shù)，首先獲得預訓練好的卷積神經(jīng)網(wǎng)絡(luò)CNN，通過參數(shù)遷移獲得五層卷積層模型參數(shù)，接利用圖像對第五層卷積層進行微調(diào)獲得一個特征提取器。將特征提取器用于提取訓練集的深度特征，訓練物種檢測識別模型。VGGNet模型具有很好的泛化能力，本文采用VGG-16模型，該模型包含5個卷積層，2個FC全連接特征提取層，1個分類層。通過3x3固定大小的卷積核及2*2固定大小的Maxpool交替疊加連接。

本文獲取的鳥類音頻文件均來自XenoCanto世界野生鳥類聲音公開數(shù)據(jù)集（ttps：//www.xeno-canto.org）和北京市松山國家級自然保護區(qū)采集的鳥類音頻。研究對象選取了朱鸚、大山雀等多種國家二級以上保護動物的鳥類物種，表1列出了實驗音頻數(shù)據(jù)的具體參數(shù)。搭建window系統(tǒng)下的Keras框架并設(shè)置訓練參數(shù)，采用ReLu作為非線性激活函數(shù)，最大池化的方式提取卷積層特征進行降維，參數(shù)隱退Dropout為0.5，選擇Cross_entropy交叉熵函數(shù)作為損失函數(shù)并用隨機梯度下降SGD優(yōu)化過程。將計算的聲譜圖輸入到搭建的卷積網(wǎng)絡(luò)進行樣本訓練和測試，實驗結(jié)果表明該算法測試集分類準確率達到97.6%，損失率為0.12。

2基于雙模態(tài)決策級特征融合

2.1MFCC梅爾頻譜特征

基于鳴聲的鳥類個體識別可以由人類語音識別類推得到，語音識別中常用的特征參數(shù)梅爾倒譜系數(shù)（MFCC）在鳥類鳴聲特征描述中也得到了廣泛的應用。梅爾頻譜是一種基于人耳的聽覺特性的非線性頻率，是最常用的音頻特征之一，當信噪比較低時仍然具有較好的識別性能。對鳥鳴聲信號進行預加重、分幀加窗等預處理，利用人聽覺的臨界帶效應，在聲音頻譜范圍內(nèi)設(shè)置若干個帶通濾波器，每個濾波器具有三角形或正弦形濾波特性。將聲音能量譜通過該濾波器組，求各個濾波器輸出，對其取對數(shù)，并作離散余弦變換（DCT），即可得到梅爾特征系數(shù)，如公式1所示。把時域卷積替換為信號的疊加進行倒譜分析。特征提取技術(shù)需要從音頻信號中提取有效的、具有代表性的特征參數(shù)，原始的鳥叫聲語音特征參數(shù)依據(jù)N維MFCC參數(shù)=N/3MFCC系數(shù)+N/3-階差分參數(shù)+N/3二階差分參數(shù)（倒頻譜系數(shù)）原理，標準的倒譜系數(shù)表示了語音參數(shù)的靜態(tài)特征，圖3結(jié)合一階差分和二階差分描述符表征了鳴聲信號的動態(tài)性能。

2.2CLSTM網(wǎng)絡(luò)優(yōu)化

LSTM（LongShort-TermMemory）是一種長短時記憶序列網(wǎng)絡(luò)，該時間遞歸神經(jīng)網(wǎng)絡(luò)適合于處理和預測時間序列鳥叫聲信號。本文提出優(yōu)化的CLSTM特征提取模型，將分離后得到的原始鳴聲信號通過時間卷積層和頻率卷積層得到時頻特征，池化降維后輸入到3層LSTM提取音節(jié)的時序特征，最后輸出鳴聲信號的差異特征。為了得到模型參數(shù)，將特征提取模型連接到含有2層全連接層和1層Softmax層的DNN模型構(gòu)成分類模型。時間卷積層和頻率卷積層的初始參數(shù)通過梅爾頻譜變換得到，通過對比分類效果選擇最終的初始化方法，其他參數(shù)采用隨機初始化。然后利用已經(jīng)標記好的個體鳴聲對該分類模型進行參數(shù)訓練，得到差異特征提取模型的最終參數(shù)。

2.3實驗結(jié)果與分析

服務器端實現(xiàn)識別功能后將其進行算法移植，訓練mobilenet模型，保存模型生成h5文件，再轉(zhuǎn)換生成基于tf的pb文件，得以在移動設(shè)備端使用。本文采用基于MVC架構(gòu)模式，分為數(shù)據(jù)模塊、View圖像模塊、控制模塊，因為音頻文件數(shù)據(jù)量大，生成過程較繁瑣，需在服務器端生成原始數(shù)據(jù)，客戶端進行調(diào)用，通過服務器訓練Mobilenet輕量化模型，將權(quán)重文件遷移到用戶端，安裝apk文件即可以完成測試;Mobilenet是一種可應用于移動和嵌入式視覺應用的輕量級識別模型。本文采用mobilenet-v1網(wǎng)絡(luò)結(jié)構(gòu)，通過將標準化卷積分解為深度卷積和1x1卷積減少模型參數(shù)，用1x1卷積來組合不同深度卷積的輸出，最后將一個標準的卷積過程組合成一組新的輸出。深度可分離卷積將其分成兩層，一層用于濾波，一層用于組合。這種分解過程能極大減少計算量和模型大小。如表2所示。

為了比較系統(tǒng)在單個物種上的分類性能，本次實驗選用北京市松山國家級自然保護區(qū)采集的18種鳥類音頻進行測試，驗證本文提出方法的有效性，對比各個鳥類的實驗結(jié)果。人機交互界面APP設(shè)計如圖4所示，Birdiden頁面顯示識別結(jié)果，控件模塊包含選定圖片（默認來源于相機或相冊）、上傳圖片、圖像表示等。系統(tǒng)可供選擇的聲譜圖像可用梅爾頻譜圖、線性調(diào)頻小波譜圖及傅里葉譜圖。圖片顯示模塊顯示物種識別結(jié)果、物種信息、準確率及測試時間功能。從圖中可以看出，選用物種5鶴頭山雀的傅里葉頻譜，其精度高達99.88%，測試一張圖像的時間為73ms，物種14杜鵑的線性調(diào)頻譜準確度為99.85%，測試時間為93ms，中杜鵑的線性調(diào)頻譜準確度為99.97%，測試時間為150ms，前者相比后者節(jié)約了測試時間，后者雖耗時較長，但分類準確率更好。說明本文設(shè)計的軟件具有較高的魯棒性能，實現(xiàn)了基于安卓的鳥類個體的自動識別，推動鳥類資源調(diào)查和監(jiān)測的自動化。

3結(jié)語

自然環(huán)境中的采集的鳴聲存在干擾噪聲影響識別效果、手動提取差異特征困難以及鳴叫時無法全面識別的問題，然而針對現(xiàn)有的鳥類識別問題，本文提出基于深度學習的嵌入式鳥類物種識別方法，搭建卷積一長短期記憶網(wǎng)絡(luò)的特征提取方法，自動提取鳴聲的個體差異特征，實現(xiàn)安卓系統(tǒng)端的算法移植，在不同物種測試集的識別準確率和訓練時間上均有較大的改進和提升，該軟件對鳥類物種識別具有理論和工程應用價值。

參考文獻

[1]L.J. Zhang， J. Yang， K.W. Lu，et al.Modified subspace method based on convex model for under determined blind speech separation [J ] .IEEE Transact ions on ConsumerElectronics， 2014， 60 （2）： 225-232.

[2]C.J. Li，L.D. Zhu， A.H. Xie， et al.A novel blind source separation algorithm and performance analysis of weak signal against strong interference in passive radar system[J]. International Journal ofAntennas and Propagation， 2016： 1-10.[3]T.N. Sainath， R.J. Weiss， A. Senior，et al. Learning the speech front-end with raw waveform CLDNNs [C] .Interspeech， 2015： 1-5.

[4]張文霞。欠定盲源分離混合矩陣估計及源信號恢復方法研究[D].燕山大學，2016.

[5]劉昊天，姜海燕，舒欣，基于特征遷移的多物種鳥聲識別方法[J].數(shù)據(jù)采集與處理，2017，32（06）.

[6]張義德，胡長雨，胡春育?；诰矸e神經(jīng)網(wǎng)絡(luò)的遙感圖像飛機檢測[J].光電子技術(shù)，2017（01）：68.