基于欠定盲源分離理論與深度學(xué)習(xí)的聲音樣本集獲取與分類(lèi)方法

律方成， 潘亦睿， 郭佳熠， 趙曉宇， 耿江海

(1.華北電力大學(xué) 新能源電力系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 102206； 2.華北電力大學(xué) 河北省輸變電設(shè)備安全防御重點(diǎn)實(shí)驗(yàn)室，河北 保定 071003; 3.中國(guó)電力科學(xué)研究院有限公司，北京 100192)

0 引 言

隨著工業(yè)水平的不斷提高，工業(yè)噪聲問(wèn)題日益嚴(yán)重，噪聲污染和治理迫在眉睫。進(jìn)行噪聲治理的前提是對(duì)噪聲進(jìn)行分類(lèi)，例如城市噪聲需要確定其在不同地點(diǎn)的分布和種類(lèi)，有利于對(duì)其治理。盲源分離(Blind source separation algorithm，BSS)作為近些年迅速發(fā)展的信號(hào)分離技術(shù)，在聲源識(shí)別、信號(hào)處理等領(lǐng)域的使用已成為噪聲治理領(lǐng)域發(fā)展的重要手段[1-2]。盲源分離算法能夠在源信號(hào)數(shù)量和傳輸過(guò)程未知的情況下，僅依靠觀(guān)測(cè)信號(hào)恢復(fù)源信號(hào)的過(guò)程。通過(guò)對(duì)比觀(guān)測(cè)信號(hào)數(shù)量(M)和源信號(hào)(N)的數(shù)目可以把盲源分離算法分為三類(lèi)，即超定盲源分離(M>N)、正定盲源分離(M=N)和欠定盲源分離(M

目前，國(guó)內(nèi)外在欠定盲源分離領(lǐng)域取得了一系列的進(jìn)展，在語(yǔ)音處理、數(shù)據(jù)分析和圖像解混等領(lǐng)域獲得了許多有價(jià)值的成果[3-4]。文獻(xiàn)[5-6]主要通過(guò)增加支持向量機(jī)(SVM)的辦法提高混合估計(jì)矩陣的精度。文獻(xiàn)[7-8]以聯(lián)合盲源分離算法(J-BSS)為工程背景，提出一種基于耦合秩檢測(cè)的代數(shù)DC-CPD算法，該算法把欠定問(wèn)題轉(zhuǎn)換成一組超定的CPD問(wèn)題，可在無(wú)噪聲的情況下返回精確解。上述文獻(xiàn)所提的欠定盲源分離算法主要從算法精度的角度出發(fā)，對(duì)含有噪聲的聲音信號(hào)處理以及稀疏性問(wèn)題方面的研究則較少。

近年來(lái)，隨著人工智能的發(fā)展，深度學(xué)習(xí)算法在目標(biāo)識(shí)別、故障定位和圖像分類(lèi)等領(lǐng)域廣泛應(yīng)用[9-10]。卷積神經(jīng)網(wǎng)絡(luò)(CNN)目前作為深度學(xué)習(xí)領(lǐng)域中最具有代表性的神經(jīng)網(wǎng)絡(luò)之一，在圖像處理和識(shí)別等方面發(fā)揮著極為重要的作用。文獻(xiàn)[11-12]分別以局部放電的超聲信號(hào)圖和配電網(wǎng)故障電流數(shù)據(jù)圖作為訓(xùn)練樣本，采用CNN實(shí)現(xiàn)深度學(xué)習(xí)的訓(xùn)練和識(shí)別，獲得了很高的識(shí)別準(zhǔn)確率。文獻(xiàn)[13]通過(guò)增加判別目標(biāo)函數(shù)的方法優(yōu)化CNN模型，使得遙感圖像場(chǎng)景分類(lèi)的性能得到了顯著的提高。由此可見(jiàn)，CNN在圖像識(shí)別、分類(lèi)方面具有獨(dú)特的優(yōu)勢(shì)。然而，對(duì)于聲音信號(hào)的時(shí)頻譜圖訓(xùn)練和識(shí)別分類(lèi)方面的研究則較少。

針對(duì)上述問(wèn)題，本文結(jié)合欠定盲源分離算法和深度學(xué)習(xí)理論，提出了一種基于混合估計(jì)矩陣的聲音時(shí)頻譜圖特征學(xué)習(xí)實(shí)現(xiàn)聲源識(shí)別分類(lèi)的方法。論文的主要貢獻(xiàn)如下：1)針對(duì)現(xiàn)有的UBSS算法進(jìn)行了改進(jìn)，提升了其在處理稀疏性較差的聲音信號(hào)時(shí)的效果。2)提出了一種基于混合估計(jì)矩陣的聲音時(shí)頻譜圖獲取方法，通過(guò)設(shè)定基準(zhǔn)矩陣，調(diào)整合適步長(zhǎng)，在進(jìn)行少量UBSS運(yùn)算后便可獲得大量的聲音時(shí)頻譜圖，解決了深度學(xué)習(xí)樣本不足的問(wèn)題。3)利用已有的CNN模型驗(yàn)證了時(shí)頻譜圖在識(shí)別分類(lèi)時(shí)具有較高的準(zhǔn)確性。

1 K-UBSS算法

本文首先從信號(hào)的稀疏性角度出發(fā)，通過(guò)改進(jìn)現(xiàn)有UBSS算法提出了一種新的單源點(diǎn)檢測(cè)和K-DPC聚類(lèi)算法結(jié)合的稀疏K-UBSS算法。

UBSS的線(xiàn)性混合模型為x(t)=As(t)，其中x(t)=[x1(t),x2(t),…,xN(t)]T為觀(guān)測(cè)信號(hào)，s(t)=[s1(t),s2(t),…,sM(t)]T為源信號(hào)，A為N×M的混合矩陣。

1.1 基于單源點(diǎn)檢測(cè)及改進(jìn)歸一化稀疏算法

UBSS分為兩個(gè)部分，即單源點(diǎn)檢測(cè)和基于混合矩陣估計(jì)的聚類(lèi)分析算法。該算法首先進(jìn)行短時(shí)傅里葉變換(Short-time Fourier transform，STFT)，并對(duì)時(shí)頻支撐點(diǎn)進(jìn)行SSP單源點(diǎn)檢測(cè)和K-DPC聚類(lèi)分析，在此基礎(chǔ)上完成混合矩陣的估計(jì)。

1.1.1 短時(shí)傅立葉變換

通過(guò)傳感器采集的聲音一般為時(shí)域信號(hào)，而時(shí)域信號(hào)稀疏性不是很強(qiáng)，因此需要對(duì)聲音信號(hào)進(jìn)行短時(shí)傅立葉變換(STFT)[14]。通過(guò)添加漢寧(Hanning)窗可以減小頻譜泄露，獲得較好的時(shí)頻分辨率。STFT得到的時(shí)頻域(t,f)信號(hào)可以由式(1)和(2)來(lái)表示

X(t,f)=AS(t,f)

(1)

(2)

式中：X(t,f)和S(t,f)分別為x(t)和s(t)在時(shí)頻域(t,f)下的STFT的系數(shù)；ai為混合矩陣A的第i列向量。

1.1.2 基于SSP的單源點(diǎn)檢測(cè)

SSP單源點(diǎn)檢測(cè)算法在處理非稀疏性信號(hào)上效果顯著，該算法通過(guò)特征子空間投影發(fā)展而來(lái)，具有稀疏性好、魯棒性強(qiáng)和計(jì)算簡(jiǎn)便等優(yōu)點(diǎn)[15]。

對(duì)于任意一種源信號(hào)來(lái)說(shuō)，至少存在多個(gè)時(shí)頻觀(guān)測(cè)點(diǎn)，假設(shè)觀(guān)測(cè)點(diǎn)數(shù)量為S，則混合信號(hào)的時(shí)頻支撐點(diǎn)集合是

(3)

通過(guò)STFT的物理意義可知，對(duì)于任意一個(gè)時(shí)頻觀(guān)測(cè)點(diǎn)X(t,f)均可分為實(shí)部和虛部，分別用Re和Im進(jìn)行表示，通過(guò)定義觀(guān)測(cè)點(diǎn)X(t,f)實(shí)部和虛部?jī)烧邐A角θ：

(4)

假設(shè)觀(guān)測(cè)信號(hào)中僅存在單源點(diǎn)時(shí)，可得cosθ=1，此時(shí)θ的取值為0°或180°。然而，對(duì)于實(shí)際的聲音信號(hào)來(lái)說(shuō)，混合聲源的數(shù)量越多，滿(mǎn)足θ=0°的時(shí)頻單源點(diǎn)越少。因此，需要在計(jì)算前設(shè)定一角度限定值Δφ，時(shí)頻點(diǎn)(t,f)實(shí)部和虛部的絕對(duì)方向上夾角小于該值時(shí)，則該點(diǎn)為SSP[16]。可得

(5)

其中，‖X‖=(XTX)1/2表示矢量絕對(duì)值大小，Δφ根據(jù)源信號(hào)特征分布進(jìn)行選擇。

觀(guān)測(cè)信號(hào)歸一化通過(guò)把線(xiàn)性聚類(lèi)變換為球形聚類(lèi)，處于負(fù)半球的向量乘以-1，此時(shí)所有觀(guān)測(cè)點(diǎn)便映射到正半球上，變換公式為[17]

(6)

(7)

如此可以保證每條直線(xiàn)僅由唯一方向向量表示，消除聚類(lèi)分析時(shí)異常信號(hào)產(chǎn)生的影響。

1.2 基于K-DPC算法的聚類(lèi)分析

本文提出一種基于K鄰域的密度峰值聚類(lèi)算法(K-DPC)。該算法通過(guò)對(duì)樣本點(diǎn)構(gòu)造ρi和δi的決策圖，形成中心點(diǎn)領(lǐng)域(類(lèi)簇)和密度峰值點(diǎn)(類(lèi)簇中心)，并將數(shù)據(jù)進(jìn)行噪聲點(diǎn)剔除和樣本點(diǎn)分類(lèi)，實(shí)現(xiàn)最后的快速高效聚類(lèi)。具體步驟如下：

(1)初始化：選取觀(guān)測(cè)點(diǎn)yi和yj，設(shè)觀(guān)測(cè)點(diǎn)個(gè)數(shù)為N，1≤i,j≤N,i≠j,兩點(diǎn)之間距離滿(mǎn)足歐幾里得度量，即dij=‖yi-yj‖2。

(2)首先定義兩個(gè)概念：局部密度值ρi和局部高密度點(diǎn)的距離δi

(8)

(9)

其中，K(i)為樣本i的k個(gè)鄰近域的集合。通過(guò)式(11)將樣本點(diǎn)局部密度的計(jì)算從整體縮短到k個(gè)近鄰，樣本點(diǎn)距離k近鄰越近，局部密度越大。δi表示樣本i到距離最近的樣本j且ρj>ρi的距離。

通過(guò)對(duì)比ρi和δi的大小，將ρi和δi都比較大的點(diǎn)定義為類(lèi)簇中心。

(3)將數(shù)據(jù)集中的所有樣本的k個(gè)鄰近域進(jìn)行歸類(lèi)和標(biāo)簽，定義式為

kl(i)=maxj∈K(i){dij}

(10)

(11)

式中：kl(i)為樣本i的K距離，thres為判定門(mén)限值。當(dāng)kl(i)>thres時(shí)，認(rèn)為該點(diǎn)即為離群點(diǎn)。

剔除離群點(diǎn)以后，需要把其余樣本點(diǎn)進(jìn)行分配，分配原則如下：將樣本點(diǎn)m分配給距離最近且ρn>ρm的第n類(lèi)簇，最后得到有關(guān)ρ和δ的相關(guān)決策圖。

(4)混合估計(jì)矩陣獲取：將每一類(lèi)簇中得到的N個(gè)樣本點(diǎn)進(jìn)行排序，排序點(diǎn)順序?yàn)棣?,φ2,…φN，則該類(lèi)簇對(duì)應(yīng)的單源點(diǎn)被定義為

(12)

(13)

2 基于混合估計(jì)矩陣的CNN聲音信號(hào)分類(lèi)

近年來(lái)，深度學(xué)習(xí)算法在圖像識(shí)別和特征提取等方面應(yīng)用廣泛。目前，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)算法在圖像分類(lèi)領(lǐng)域取得了很大的進(jìn)展，相比于傳統(tǒng)的圖像分類(lèi)，該算法具有自身獨(dú)特的學(xué)習(xí)框架，能夠提取更為抽象、適合計(jì)算機(jī)環(huán)境的圖像特征[18]。

根據(jù)UBSS的分析，本文提出了一種基于混合估計(jì)矩陣獲得大量時(shí)頻譜圖的方法，通過(guò)構(gòu)建訓(xùn)練和測(cè)試樣本，對(duì)訓(xùn)練集進(jìn)行預(yù)處理，經(jīng)過(guò)訓(xùn)練模型，完成混合時(shí)頻譜圖的分類(lèi)。

2.1 基于混合估計(jì)矩陣的訓(xùn)練集和測(cè)試集的獲取

由UBSS算法可知，不同的混合估計(jì)矩陣得到的時(shí)頻譜圖在源信號(hào)種類(lèi)和占比等方面存在一定差異，所以選擇更多的訓(xùn)練樣本，有利于神經(jīng)網(wǎng)絡(luò)模型提取更多、更深層的局部特征[19]，因此，本文提出了一種基于混合估計(jì)矩陣的樣本獲取方法，具體步驟如下：

(3)將所有源信號(hào)通過(guò)Ci進(jìn)行混合，得到新的混合時(shí)域波形圖。

(4)對(duì)所有混合時(shí)域波形圖進(jìn)行STFT變換，將得到的時(shí)頻譜圖作為訓(xùn)練樣本，根據(jù)混合矩陣大小隨機(jī)生成測(cè)試樣本，分別得到訓(xùn)練集和測(cè)試集。

2.2 訓(xùn)練集的預(yù)處理和測(cè)試集的獲取

為了確保訓(xùn)練及測(cè)試效果，對(duì)含有相同源信號(hào)，不同混合矩陣得到的訓(xùn)練樣本進(jìn)行源信號(hào)種類(lèi)標(biāo)記，并通過(guò)設(shè)置python腳本，隨機(jī)生成混合矩陣，對(duì)源信號(hào)進(jìn)行混合。

2.3 卷積神經(jīng)網(wǎng)絡(luò)模型

CNN主要由輸入層、隱藏層和輸出層組成，隱藏層又可分為卷積層、池化層、RELU層和全連接層，當(dāng)隱藏層超過(guò)兩層時(shí)屬于深度卷積神經(jīng)網(wǎng)絡(luò)。

為了對(duì)比測(cè)試集在不同卷積神經(jīng)網(wǎng)絡(luò)模型下的識(shí)別分類(lèi)結(jié)果，驗(yàn)證本文提出的算法對(duì)時(shí)頻譜圖具有較高的識(shí)別準(zhǔn)確率。選取了2種模型進(jìn)行驗(yàn)證，分別是VGGNet-16[20]網(wǎng)絡(luò)和ResNet-50[21]網(wǎng)絡(luò)。

2.4 測(cè)試樣本分類(lèi)

對(duì)測(cè)試樣本進(jìn)行和訓(xùn)練樣本相同的預(yù)處理，將其應(yīng)用于已經(jīng)訓(xùn)練完成的模型中進(jìn)行分類(lèi)，不同的神經(jīng)網(wǎng)絡(luò)模型的分類(lèi)正確率會(huì)有一定的差異，通過(guò)對(duì)比訓(xùn)練集在不同模型下的分類(lèi)速度，驗(yàn)證本文所提算法的高效性。

3 仿真與分析

本文硬件環(huán)境為Intel(R) Core(TM) i5-6500 CPU @ 3.20 GHz 及GeForce GTX 1080 Ti的64位計(jì)算機(jī)，系統(tǒng)環(huán)境為Ubuntu 16.04.6 LTS操作系統(tǒng)，Python 3.6.9 (64位)及Tensorflow1.12.0深度學(xué)習(xí)框架。環(huán)境管理使用Anaconda3進(jìn)行環(huán)境管理。在訓(xùn)練深度學(xué)習(xí)模型時(shí)使用Tensorflow的GPU版本，利用GPU進(jìn)行硬件加速。

3.1 UBSS仿真驗(yàn)證

(1)源信號(hào)及混合矩陣的選擇

為了證明本文UBSS算法具有普適性，隨機(jī)選取了聲音庫(kù)5種稀疏性較差的音頻作為源信號(hào)，分別記為s1(t)、s2(t)、s3(t)、s4(t)、s5(t)，其中s1(t)、s2(t)、s3(t)分別來(lái)在三段不同的演講，s4(t)和s5(t)分別為葫蘆絲和小提琴演奏時(shí)的聲音，采樣率為48 kHz，采樣長(zhǎng)度為0.2 s，源信號(hào)的時(shí)域波形如圖1所示。

圖1 五類(lèi)音頻源信號(hào)的時(shí)域波形Fig.1 Time domain wave forms of five audio source signals

因混合矩陣的估計(jì)在時(shí)頻域中完成的，為了分析和驗(yàn)證算法歸一化后的準(zhǔn)確性，本文構(gòu)造單一混合矩陣B為隨機(jī)生成，矩陣中元素正負(fù)值均需體現(xiàn)，該混合矩陣為

由混合矩陣的性質(zhì)可知，該矩陣代表源信號(hào)數(shù)目M=4，觀(guān)測(cè)信號(hào)數(shù)目N=3，通過(guò)B得到兩組觀(guān)測(cè)信號(hào),分別記作x′(t)=[x1(t),x2(t),x3(t)]和x′(t)=[x4(t),x5(t),x6(t)]，對(duì)應(yīng)的時(shí)域信號(hào)分別為s′(t)=[s1(t),s2(t),s3(t),s4(t)]和s″(t)=[s2(t),s3(t),s4(t),s5(t)]，觀(guān)測(cè)信號(hào)的時(shí)域波形如圖2所示。

圖2 兩組觀(guān)測(cè)信號(hào)的時(shí)域波形Fig.2 Time domain waveforms of two groups of observed signals

(2)性能仿真與分析

通過(guò)引入三維散點(diǎn)圖可以確定時(shí)頻觀(guān)測(cè)點(diǎn)在坐標(biāo)系中的位置和分布，可以直觀(guān)的反應(yīng)K-UBSS算法的聚類(lèi)效果。x、y、z軸分別代表每組觀(guān)測(cè)信號(hào)中三路通道的時(shí)頻散點(diǎn)圖。圖3(a)為x′(t)的時(shí)頻域散點(diǎn)圖，圖3(b)為x″(t)的時(shí)頻域散點(diǎn)圖。

顯然得，從圖3可以看出，僅僅經(jīng)過(guò)STFT得到的時(shí)頻散點(diǎn)圖的稀疏性很差，這是因?yàn)榇藭r(shí)的時(shí)頻觀(guān)測(cè)點(diǎn)分散性較強(qiáng)，聚類(lèi)特性較弱。

圖3 兩組觀(guān)測(cè)信號(hào)的時(shí)頻散點(diǎn)圖Fig.3 Time-frequency scatter plot of real and imaginary parts of two groups of observed signals

圖4 兩組觀(guān)測(cè)信號(hào)單源點(diǎn)檢測(cè)后時(shí)頻域散點(diǎn)圖Fig.4 Time-frequency domain scatter plot after single source point detection of two groups of observed signals

采用SSP單源點(diǎn)檢測(cè)因涉及角度限定值Δφ的選擇和觀(guān)測(cè)信號(hào)的歸一化，所以在進(jìn)行單源點(diǎn)檢測(cè)時(shí)需要將實(shí)部和虛部協(xié)同考慮。通過(guò)對(duì)比不同Δφ下的標(biāo)準(zhǔn)誤差，選擇Δφ=0.8°[22]。圖4分別給出了x′(t)和x″(t)完成單源點(diǎn)檢測(cè)后的時(shí)頻散點(diǎn)圖，從圖中可以看出，觀(guān)測(cè)信號(hào)已充分稀疏，呈現(xiàn)了明顯的“直線(xiàn)”聚類(lèi)特性，這是由于采樣點(diǎn)數(shù)足夠多使其單源點(diǎn)檢測(cè)具有較高的精度。

由圖5為經(jīng)歸一化后x′(t)和x″(t)的時(shí)頻散點(diǎn)圖可以看出，通過(guò)歸一化后的觀(guān)測(cè)信號(hào)均形成了4類(lèi)明顯的密集數(shù)據(jù)簇。由此可知，本文所提的歸一化方法有利于K-DPC時(shí)的聚類(lèi)。

圖5 兩組觀(guān)測(cè)信號(hào)單歸一化后時(shí)頻域散點(diǎn)圖Fig.5 Time-frequency domain scatter plot after single normalization of two groups of observation signals

圖6 K-DPC后兩組觀(guān)測(cè)信號(hào)的決策圖Fig.6 Decision chart of two groups of observed signals after K-DPC

為了評(píng)價(jià)不同聚類(lèi)算法下的混合估計(jì)矩陣的精度，通過(guò)引入歸一化均方誤差(NMSE)和偏差角(deviation angle)進(jìn)行評(píng)價(jià)[25]，其數(shù)學(xué)形式為

(14)

(15)

表1 不同聚類(lèi)算法的歸一化均方誤差和偏差角對(duì)比

最后，本文利用文獻(xiàn)[26]提出的最小二乘法對(duì)混合估計(jì)矩陣進(jìn)行計(jì)算，完成源信號(hào)的恢復(fù)，如圖7所示。

圖7 恢復(fù)后的源信號(hào)時(shí)域波形Fig.7 Time domain waveform of the recovered source signal

綜上可見(jiàn)，本文所提出的UBSS算法能有效增強(qiáng)聲音信號(hào)的稀疏性，得到準(zhǔn)確的聚類(lèi)中心和混合估計(jì)矩陣。

3.2 深度學(xué)習(xí)仿真驗(yàn)證

(1)訓(xùn)練與測(cè)試時(shí)頻譜圖樣本生成

由于深度學(xué)習(xí)需要大量數(shù)據(jù)作為支撐，而在仿真過(guò)程中，通過(guò)手動(dòng)改變?chǔ)说拇笮o(wú)法完成樣本集的獲取，因此本文利用Python腳本改變參數(shù)大小。

本文設(shè)置λ=0.2，共產(chǎn)生104=10 000個(gè)1×n的混合矩陣Ci，5路源信號(hào)可混合成5種包含有4路源信號(hào)的混合聲紋圖，共產(chǎn)生50 000個(gè)樣本，設(shè)置為測(cè)試集，隨機(jī)矩陣產(chǎn)生的訓(xùn)練集共5 000個(gè)樣本。將所有樣本進(jìn)行STFT變換，得到對(duì)應(yīng)的時(shí)頻譜圖。

所有訓(xùn)練樣本均經(jīng)過(guò)2.2節(jié)所述的數(shù)據(jù)預(yù)處理后，每個(gè)訓(xùn)練樣本均包括所含源信號(hào)種類(lèi)。

(2)分類(lèi)算法評(píng)估與分析

針對(duì)2.3節(jié)的2種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較，其中VGGNet-16共迭代40萬(wàn)次，ResNet-50共訓(xùn)練10個(gè)epoch，學(xué)習(xí)率LR=0.001，分別從訓(xùn)練誤差、訓(xùn)練準(zhǔn)確率、測(cè)試誤差和訓(xùn)練準(zhǔn)確率進(jìn)行評(píng)價(jià)，測(cè)評(píng)結(jié)果如表2所示。從表2中可以直觀(guān)的看出，VGGNet-16的測(cè)試準(zhǔn)確率達(dá)到93.75%，而ResNet-50的準(zhǔn)確率高達(dá)99.92%，證明兩種模型均可以滿(mǎn)足分類(lèi)要求，ResNet-50的分類(lèi)效果更佳。

表2 不同CNN模型下的性能比較

4 結(jié) 論

本文基于欠定盲源分離算法和深度學(xué)習(xí)理論提出了一種大量獲得混合時(shí)頻譜圖的方法，通過(guò)仿真進(jìn)行驗(yàn)證，得到以下結(jié)論：

(1)采用改進(jìn)后的UBSS算法可以實(shí)現(xiàn)混合矩陣的精確估計(jì)，展示了該算法應(yīng)用于實(shí)際情況的可行性。仿真運(yùn)行表明，本文提出的K-DPC算法的歸一化均方誤差和偏差角均小于其他聚類(lèi)算法，具有精度高、計(jì)算簡(jiǎn)便等優(yōu)點(diǎn)。

(2)通過(guò)設(shè)置步長(zhǎng)λ能快速得到大量混合矩陣，通過(guò)不同的混合矩陣得到的時(shí)頻譜圖對(duì)比可知，圖像特征有所差異，有利于時(shí)頻譜圖的特征提取。在不同CNN模型下的分類(lèi)性能表明，本文提出的獲得樣本的方法能有效的進(jìn)行分類(lèi)，解決了聲紋圖分類(lèi)時(shí)樣本不足的問(wèn)題。

(3)針對(duì)實(shí)際情況至少需要兩個(gè)傳感器獲得的聲音信號(hào)才可滿(mǎn)足UBSS算法，本文提出的基于深度學(xué)習(xí)的聲音信號(hào)分類(lèi)，可實(shí)現(xiàn)僅有單一傳感器下的聲音信號(hào)的分類(lèi)，在真實(shí)場(chǎng)景下具有一定價(jià)值。

(4)本文選擇的聲音信號(hào)均來(lái)源于已有的聲音庫(kù)，對(duì)于現(xiàn)場(chǎng)實(shí)驗(yàn)數(shù)據(jù)的采集和處理是接下來(lái)需要考慮的問(wèn)題；如何保證實(shí)驗(yàn)獲得的聲源包含所有種類(lèi)；以及不同混合矩陣下步長(zhǎng)和訓(xùn)練模型的選擇等問(wèn)題值得進(jìn)一步深入研究。