基于深度學(xué)習(xí)聲譜圖分類的“聽聲識風(fēng)”

楊昊巖， 欒 濤*， 韓仲志， 倪建功， 高霽月

(1. 青島農(nóng)業(yè)大學(xué)動漫與傳媒學(xué)院， 青島 266109； 2. 青島農(nóng)業(yè)大學(xué)理學(xué)與信息科學(xué)學(xué)院， 青島 266109)

風(fēng)作為一種常見的自然現(xiàn)象，是由太陽輻射熱促使空氣流動引起的. 風(fēng)的大小用風(fēng)級來表示，風(fēng)級是重要的氣象信息. 及時準確地獲取風(fēng)級信息在預(yù)防自然災(zāi)害[1]、保障農(nóng)業(yè)生產(chǎn)、開發(fā)清潔能源等方面具有重要意義，是人們?nèi)粘Ｉ畹幕A(chǔ)、國家發(fā)展的重要保障. 傳統(tǒng)的風(fēng)級識別儀器和方法：自動氣象站、探空氣球、激光雷達[2]、L波段二次測風(fēng)雷達、風(fēng)廓線雷達[3]、光學(xué)經(jīng)緯儀、無線電經(jīng)緯儀、GTS1型探空儀[4]、雷達回波信噪比(SNR)測風(fēng)[5]、多普勒天氣雷達[6]、專用風(fēng)速計[7]等. 傳統(tǒng)風(fēng)級識別方法具有對精密設(shè)備的依賴性、設(shè)備昂貴、不易攜帶等不足，雖然常被應(yīng)用于氣象觀測領(lǐng)域，但很難實現(xiàn)按需進行多元化、智能化的應(yīng)用. 因此，迫切需要開發(fā)一種智能化、便捷化的風(fēng)級識別方法.

國內(nèi)外研究者針對一些多元性的風(fēng)級識別要求展開了一系列研究，CADENAS等[8]使用單變量求合自回歸滑動平均(Auto-regressive Integrated Moving Average,ARIMA)模型和多元非線性自回歸外衍(Nonlinear Auto-regressive exogenous,NARX)模型預(yù)測風(fēng)速，每小時數(shù)據(jù)庫的平均絕對誤差和均方誤差分別為5.5%和10.6%，10 min數(shù)據(jù)庫的平均絕對誤差和均方誤差分別為2.3%和12.8%. 顏曉娟等[9]將傳統(tǒng)的機器學(xué)習(xí)算法支持向量機(SVM)應(yīng)用于短期風(fēng)速預(yù)測，獲得了較高的預(yù)測精度和收斂速度. GUO等[10]提出了一種基于混沌時間序列建模技術(shù)和Apriori算法的風(fēng)速預(yù)測策略. TIAN[11]分析了短期風(fēng)速時間序列的混沌特性，探討了其對風(fēng)速預(yù)測和風(fēng)速控制的意義. 研究者多將研究方向集中于風(fēng)速的預(yù)測領(lǐng)域，很少有人關(guān)注研究新的實時風(fēng)級識別方法，所以探尋一種新型的風(fēng)級識別方法，是目前的創(chuàng)新領(lǐng)域.

深度學(xué)習(xí)是最近幾年發(fā)展迅速的一種機器學(xué)習(xí)方法，自誕生以來就受到眾多研究者的青睞，現(xiàn)已廣泛應(yīng)用于食品檢測[12]、醫(yī)學(xué)檢測[13]、人臉識別[14]、情感識別[15]、作物識別[16]、圖像增強[17]、機器控制[18]等眾多領(lǐng)域中，而且也開始有研究者將其應(yīng)用于風(fēng)級識別領(lǐng)域. AK等[19]利用神經(jīng)網(wǎng)絡(luò)對以區(qū)間形式表示的不確定輸入數(shù)據(jù)進行預(yù)測，目的是將預(yù)測中輸入數(shù)據(jù)和預(yù)測模型產(chǎn)生的不確定性量化，最終訓(xùn)練出高性能的多層感知器神經(jīng)網(wǎng)絡(luò)，從而實現(xiàn)對風(fēng)速的短期預(yù)測. KHODAYAR等[20]應(yīng)用深度學(xué)習(xí)自編碼器進行短期的風(fēng)速預(yù)測，所提出的粗略卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)模型在較低的均方根誤差和平均絕對誤差測量方面優(yōu)于經(jīng)典的DNN模型和采用淺結(jié)構(gòu)的DNN模型. CHEN等[21]基于深度學(xué)習(xí)時間序列預(yù)測與極值優(yōu)化的非線性學(xué)習(xí)進行風(fēng)速預(yù)測. LIU等[22]基于經(jīng)驗小波變換、長短期記憶神經(jīng)網(wǎng)絡(luò)和Elman神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法進行風(fēng)級識別，結(jié)果表明該模型在高精度風(fēng)速預(yù)報中具有良好的性能. 盡管越來越多的研究者意識到深度學(xué)習(xí)技術(shù)在風(fēng)級識別領(lǐng)域中的重要性，但尚未發(fā)現(xiàn)將深度學(xué)習(xí)技術(shù)與聲譜圖相結(jié)合，通過處理風(fēng)的聲音進行風(fēng)級識別的研究.

聲譜圖是一種可以反映聲音本質(zhì)的二維圖像，可以充分反映聲音的時域和頻域信息，不同聲音的聲譜圖特征存在差異性，這是用深度學(xué)習(xí)圖像處理方法進行聲音識別的前提. 不同風(fēng)級風(fēng)聲的時域和頻域信息存在差異，該差異會在一定程度上反映在其聲譜圖中. 風(fēng)吹到不同障礙物時會產(chǎn)生不同特性的風(fēng)聲，人們總是會在一些麥克風(fēng)或戶外音頻中聽到一些呼呼的風(fēng)聲，在實驗室環(huán)境下模擬這些風(fēng)聲，并將其轉(zhuǎn)換成聲譜圖像，即可通過圖像識別的方法來判斷風(fēng)級. 該研究將深度學(xué)習(xí)與聲譜圖相結(jié)合，提出了一種新型風(fēng)級識別方法——“聽聲識風(fēng)”. 通過構(gòu)建風(fēng)聲的聲譜圖數(shù)據(jù)集并將其導(dǎo)入深度學(xué)習(xí)模型中進行訓(xùn)練，驗證“聽聲識風(fēng)”方法的可行性，為風(fēng)級識別研究尋找一種新型的、智能的方法.

1 研究方法

1.1 數(shù)據(jù)采集

由于實驗要獲取不同風(fēng)級的風(fēng)聲音頻，為了避免自然風(fēng)與噪音干擾，實驗選取密閉無風(fēng)且隔音的實驗室進行. 在實驗室通過風(fēng)扇模擬出中國氣象局于2001年發(fā)布的《臺風(fēng)業(yè)務(wù)和服務(wù)規(guī)定》中定義的1～4級風(fēng)，并用手機錄音機分別錄制每級風(fēng)的音頻30 min. 表1為《臺風(fēng)業(yè)務(wù)和服務(wù)規(guī)定》中關(guān)于1～4級風(fēng)級的標準風(fēng)速及本實驗?zāi)M風(fēng)速. 圖1為不同風(fēng)級對應(yīng)聲波圖，聲波圖可將聲音信號可視化.

表1 1～4級風(fēng)級Table 1 The level 1～4 wind

圖1 風(fēng)聲聲波圖

1.2 數(shù)據(jù)預(yù)處理

實驗將1～4級風(fēng)的音頻分別轉(zhuǎn)換成對應(yīng)的聲譜圖以構(gòu)建數(shù)據(jù)集. 聲譜圖是一種可以充分反映聲音本質(zhì)的彩色或灰度變化二維圖像，可將聲音的一維信號轉(zhuǎn)換成二維信號并可視化，聲譜圖可以同時體現(xiàn)聲音的時域信息和頻域信息，且具有很強的直觀性，不同聲音的聲譜圖特征存在一定的差異. 將音頻轉(zhuǎn)換成聲譜圖，函數(shù)所用參數(shù)：采樣頻率fs、重疊長度(Lo)、傅里葉變換的漢明窗(w)、傅里葉變換的點數(shù)N. 建立輸入信號x的短時傅里葉變換函數(shù)

specgram(x(∶,1),N,fs,w,Lo).

(1)

以時間為橫軸，橫軸數(shù)據(jù)的大小k采用輸入數(shù)據(jù)的維度Nx、傅里葉變換時的漢明窗長度l(w)、窗重疊長度(Lo)來計算：

(2)

以頻率為縱軸，頻率的大小t由傅里葉變換的點數(shù)N決定：

(3)

實驗按照分割時長3 s且不重疊時長3 s的比例分割1～4級風(fēng)的每段音頻，通過聲譜圖的生成函數(shù)生成了1級風(fēng)聲譜圖668幅、2級風(fēng)聲譜圖632幅、3級風(fēng)聲譜圖649幅、4級風(fēng)聲譜圖659幅. 圖2為不同風(fēng)級對應(yīng)的聲譜圖.

圖2 風(fēng)聲聲譜圖

在完成數(shù)據(jù)采集后，共獲得2 608幅聲譜圖，將所有聲譜圖按8∶1∶1的數(shù)量比例隨機分為訓(xùn)練集、驗證集和測試集，且每類均勻分布，得到最終實驗數(shù)據(jù)集，最終制作完成的聲譜圖數(shù)據(jù)集(表2).

表2 聲譜圖數(shù)據(jù)集Table 2 The spectrogram data set

1.3 卷積神經(jīng)網(wǎng)絡(luò)

CNN的網(wǎng)絡(luò)結(jié)構(gòu)主要包括卷積層、池化層和全連接層. 卷積層由多個卷積單元組成，卷積單元的參數(shù)由反向傳播算法最佳化獲得，卷積層可以有效提取輸入圖像的特征；池化層是對數(shù)據(jù)進行降采樣處理，即降低待處理數(shù)據(jù)的數(shù)量，預(yù)防網(wǎng)絡(luò)的過擬合；全連接層的特點是每個神經(jīng)元與其前一層的所有神經(jīng)元進行全連接，全連接層可以將卷積層和池化層的有效信息進行整合.

GoogLeNet網(wǎng)絡(luò)模型[23]是2014年ILSVRC圖像分類算法的優(yōu)勝者，其核心架構(gòu)為9個Inception 模塊，GoogLeNet是首個以Inception模塊進行堆疊形成的大規(guī)模卷積神經(jīng)網(wǎng)絡(luò). GoogLeNet模型一般先通過1×1卷積降低通道數(shù)，在聚合信息之后進行計算，有效地利用了計算力，在控制計算量和參數(shù)的同時，獲得了好的分類性能. 用多個小卷積核替代大卷積核，可以起到節(jié)約參數(shù)、加速運算、減輕過擬合的效果. 融合不同尺度的卷積以及池化操作，進行多維特征的融合，進一步提升識別和分類效果. GoogLeNet網(wǎng)絡(luò)模型能夠融合多尺度特征并獲得良好的分類效果，因此，本實驗將其應(yīng)用于本次風(fēng)級識別任務(wù)中.

1.4 網(wǎng)絡(luò)訓(xùn)練

在Windows10系統(tǒng)下使用Matlab2020a軟件進行訓(xùn)練測試實驗，GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)見圖3. 將采集的1～4級模擬風(fēng)級聲譜(共計2 086幅圖像)作為訓(xùn)練數(shù)據(jù)，以261幅圖像作為測試數(shù)據(jù). 實驗所采用的GoogLeNet網(wǎng)絡(luò)已經(jīng)過ImageNet的預(yù)訓(xùn)練并存有預(yù)訓(xùn)練權(quán)重. 將本實驗的訓(xùn)練數(shù)據(jù)導(dǎo)入預(yù)訓(xùn)練的GoogLeNet網(wǎng)絡(luò)中，所有圖像都滿足GoogLeNet網(wǎng)絡(luò)的輸入圖像尺寸要求(224 px×224 px，RGB)，設(shè)置好參數(shù)之后開始訓(xùn)練，在訓(xùn)練20個Epochs(迭代周期)之后訓(xùn)練準確率趨于平穩(wěn)，訓(xùn)練完成后得到Validation Accuracy訓(xùn)練圖、Loss誤差訓(xùn)練圖與混淆矩陣.

圖3 GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)圖

為進一步驗證實驗的可靠性，將聲譜圖數(shù)據(jù)集分別導(dǎo)入預(yù)訓(xùn)練過的ResNet18、ShuffleNet中進行訓(xùn)練. ResNet18引入深度殘差模塊來解決隨著網(wǎng)絡(luò)層數(shù)加深而出現(xiàn)的梯度消失問題，在卷積操作之后添加1個跳躍連接，在網(wǎng)絡(luò)層數(shù)加深導(dǎo)致準確率下降時，可以返回淺層網(wǎng)絡(luò)，從而解決梯度消失問題. 雖然ResNet18憑借殘差模塊在分類任務(wù)中占有優(yōu)勢，但是其網(wǎng)絡(luò)相對較深，參數(shù)量大. ShuffleNet是主流的輕量級網(wǎng)絡(luò)模型之一，ShuffleNet的核心操作主要是對不同的通道進行通道混洗，從而更好地發(fā)揮組卷積的優(yōu)勢，進一步實現(xiàn)模型輕量化與模型性能提升之間的平衡.

本實驗將ResNet18與ShuffleNet引入風(fēng)級識別任務(wù)以驗證實驗的可靠性，并將GoogLeNet的識別效果與大型模型ResNet18以及輕量級模型ShuffleNet進行對比. 將數(shù)據(jù)分別導(dǎo)入ResNet18、ShuffleNet，經(jīng)過20個Epochs的訓(xùn)練得到相應(yīng)的Validation Accuracy訓(xùn)練圖、Loss誤差訓(xùn)練圖與混淆矩陣.

3個網(wǎng)絡(luò)具體訓(xùn)練參數(shù)：最小批次64次，最大迭代20次，初始學(xué)習(xí)率1×10-4，驗證頻率為36 Hz，圖像輸入尺寸224 px×224 px，采用RGB色.

2 結(jié)果與討論

2.1 網(wǎng)絡(luò)驗證結(jié)果

Validation Accuracy訓(xùn)練與驗證的準確率曲線如圖4所示，3種網(wǎng)絡(luò)模型GoogLeNet、ResNet18、ShuffleNet的驗證準確率分別為99.60%、99.20%、98.85%，均獲得較高的分類準確率，其中GoogLeNet的準確率最高.

圖4 3種模型訓(xùn)練結(jié)果對比

GoogLeNet模型訓(xùn)練過程在第20個Epochs后趨于平穩(wěn)，最終得到99.60%的準確率，說明本文的“聽聲識風(fēng)”方法可以有效地進行風(fēng)級識別. 準確率從20%提升到90%僅需2個Epochs，這說明模型具有很高的收斂速率. 模型訓(xùn)練準確率曲線與驗證準確率曲線趨于一致，同時損失率Loss在第二個Epochs后趨近于0，這說明模型訓(xùn)練中未出現(xiàn)過擬合或欠擬合現(xiàn)象，驗證了實驗數(shù)據(jù)的可靠性.

2.2 網(wǎng)絡(luò)測試結(jié)果

3種網(wǎng)絡(luò)模型測試結(jié)果的混淆矩陣如表3所示. 混淆矩陣的每一行之和表示該類別的真實樣本數(shù)量，如 GoogLeNet混淆矩陣第一行樣本數(shù)量之和表示4級風(fēng)的真實樣本數(shù)量為66，混淆矩陣的每一列之和表示被預(yù)測為該類別的樣本數(shù)量，如GoogLeNet混淆矩陣第一列表示有65個樣本被預(yù)測為4級風(fēng). 從混淆矩陣的數(shù)據(jù)可以計算出，GoogLeNet模型測試獲得了99.60%的高準確率. 只有1個4級風(fēng)的樣本被錯誤預(yù)測為3級風(fēng)，引起這個錯誤估計是由于風(fēng)扇電壓不穩(wěn)導(dǎo)致風(fēng)速變化引起的.

表3 混淆矩陣Table 3 The confusion matrix

3種網(wǎng)絡(luò)模型測試結(jié)果的靈敏度(Sensitivity)、特異性(Specificity)和準確率(Precision)等指標如表4所示，通過分析靈敏度、特異度和準確率等模型性能評價指標，發(fā)現(xiàn)所有模型的性能指標均在97%以上，這表示該實驗采用的網(wǎng)絡(luò)模型性能較好，本文的“聽聲識風(fēng)”這一新型風(fēng)級識別方法具有可行性.

表4 模型性能評價指標Table 4 The model performance evaluation

Kappa系數(shù)又稱一致性檢驗系數(shù)，在分類工作中用來衡量模型的分類精度. Kappa系數(shù)在-1～1之間，在實際工作中，Kappa系數(shù)通常落在0～1間. Kappa系數(shù)衡量不同級別的一致性：0.21～0.40為“可接受”的一致性，0.41～0.60為“中等”的一致性，0.61～0.80為“較大”的一致性，0.81以上為“幾乎完美”的一致性[24].

Kappa系數(shù)K：

(4)

其中，Ao為觀測精度，Ae為預(yù)期精度. 根據(jù)式(4)，GoogLeNet模型測試結(jié)果的K=0.995，可以看出該模型預(yù)測結(jié)果和實際分類結(jié)果一致.

圖5為 GoogLeNet測試結(jié)果的ROC曲線[25]，ROC曲線又稱感受性曲線, 是一項反映敏感性和特異性連續(xù)變量的綜合指標. ROC曲線可以將連續(xù)變量設(shè)定為多個不同的臨界值，計算出敏感性和特異性. 以ROC曲線的縱坐標反映敏感性，橫坐標反映“特異性”. 最靠近曲線圖左上方的點其敏感性和特異性最高. 根據(jù)ROC曲線分析可得 GoogLeNet測試結(jié)果的準確率高，網(wǎng)絡(luò)模型性能較好.

圖5 ROC曲線

2.3 3種網(wǎng)絡(luò)的分類結(jié)果對比

為了進一步說明GoogLeNet模型的優(yōu)越性，對比分析ResNet18、ShuffleNet對聲譜圖數(shù)據(jù)集的分類結(jié)果與GoogLeNet模型的分類結(jié)果(表5). GoogLeNet的分類識別準確率最高(99.6%)，ResNet18和ShuffleNet分類準確率均低于GoogLeNet模型，但也獲得了99.2%的高準確率. 這一結(jié)果在說明GoogLeNet模型優(yōu)越性的同時，也再一次驗證了“聽風(fēng)識聲”這一方法的可行性.

表5 3種網(wǎng)絡(luò)分類結(jié)果的對比Table 5 The comparison of three network classification results

3 結(jié)論

提出了一種新型風(fēng)級識別方法——“聽聲識風(fēng)”. 首先將實驗室模擬的1～4級風(fēng)聲轉(zhuǎn)換為聲譜圖像，得到包含2 608幅聲譜圖像的數(shù)據(jù)集，然后將數(shù)據(jù)集分別導(dǎo)入深度卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet、ResNet18、ShuffleNet進行分類識別，獲得了99.6%、99.2%、99.2%的測試準確率. 實驗結(jié)果表明：數(shù)據(jù)集質(zhì)量較高且GoogLeNet模型分類效果較好.

“聽聲識風(fēng)”方法可有效識別風(fēng)級. “聽風(fēng)識聲”作為一種新型的智能風(fēng)級識別方法，擁有極具創(chuàng)新性的應(yīng)用領(lǐng)域，例如：機器人模擬人類聽覺進行風(fēng)級識別、根據(jù)音頻資料識別特定時間風(fēng)級、自動駕駛汽車的風(fēng)級信息收集、微型無人機飛行時的實時風(fēng)級識別等. 本文首次通過深度學(xué)習(xí)聲譜圖分類實現(xiàn)了“聽聲識風(fēng)”風(fēng)級識別，這是一種智能的、快速的風(fēng)級識別新方法，為風(fēng)級識別領(lǐng)域的創(chuàng)新發(fā)展提供了一條新思路.