基于VGGish 網(wǎng)絡(luò)的音頻信息情感智能識別算法

張志超，李曉燕

（1.延安大學魯迅藝術(shù)學院，陜西延安 716000；2.延安大學數(shù)學與計算機科學學院，陜西延安 716000）

音樂是人類情感交流的一種方式，移動互聯(lián)網(wǎng)的普及，使得人們能夠隨時隨地享受音樂。音樂中蘊藏著豐富的情感，作為人類精神生活的重要部分，借助計算機和人工智能技術(shù)實現(xiàn)對音樂所表達的情感進行智能化分析、識別及分類，對音樂數(shù)據(jù)的深度應用具有重要意義[1-3]。然而目前對音頻情感的研究仍相對較少，缺乏一套完整的體系對其進行智能化處理。

針對上述問題，文中設(shè)計了一種對音樂情感自動分析和識別的算法，該算法主要由音頻信息采集、數(shù)據(jù)標注、數(shù)據(jù)轉(zhuǎn)換等模塊組成。其中，音頻信息采集模塊主要用于獲取原始的音頻信息；數(shù)據(jù)標注模塊用于對獲取到的音頻信息進行二次情感劃分；數(shù)據(jù)轉(zhuǎn)換模塊則是將原始數(shù)據(jù)轉(zhuǎn)換為VGGish 網(wǎng)絡(luò)可用的數(shù)據(jù)。該算法可用于對海量音頻數(shù)據(jù)的智能化自動分類，并形成音頻數(shù)據(jù)庫。同時，可以將各類音頻文件片段分類存儲，用于輔助創(chuàng)作。

1 VGGish網(wǎng)絡(luò)

VGG（Visual Geometry Group）網(wǎng)絡(luò)是英國牛津大學提出的一系列以VGG 開頭的卷積網(wǎng)絡(luò)模型，也稱為VGGish 網(wǎng)絡(luò)[4]。目前已被廣泛應用于圖像識別等人工智能領(lǐng)域，在音頻情感分析領(lǐng)域仍應用較少。但有研究表明，VGGish 網(wǎng)絡(luò)能夠提取到數(shù)據(jù)更全面、復雜的特征，這能為智能分析音頻信息情感奠定良好的基礎(chǔ)[5]。

截至目前，VGGish網(wǎng)絡(luò)共推出了6種網(wǎng)絡(luò)結(jié)構(gòu)[6-8]，分別是VGG11(A)、VGG11(ALRN)、VGG13(B)、VGG16(C)、VGG16(D)和VGG19(E)。VGG16(D)是其中應用最為廣泛的網(wǎng)絡(luò)結(jié)構(gòu)，也是被認為架構(gòu)層次最深的一種網(wǎng)絡(luò)結(jié)構(gòu)，但是在加深卷積網(wǎng)絡(luò)深度的同時，算法所涉及的參數(shù)也會相應增加。VGGish 網(wǎng)絡(luò)模型為了降低這一問題帶來的影響，在卷積層采用多個小的卷積核代替大卷積核，同時將卷積步長設(shè)置為1。這樣不但有效減少了網(wǎng)絡(luò)訓練所需的參數(shù)，而且等效于在網(wǎng)絡(luò)中增加了非線性映射，可以有效提高網(wǎng)絡(luò)的綜合性能[9]。6 種VGGish 網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1 所示。

圖1 VGGish網(wǎng)絡(luò)結(jié)構(gòu)

VGGish 網(wǎng)絡(luò)根據(jù)不同的層數(shù)進行區(qū)分（層數(shù)=卷積層數(shù)+全連接層數(shù)），以VGG19（E）為例，該網(wǎng)絡(luò)由16 個卷積層和3 個全連接層組成。每種網(wǎng)絡(luò)均包含了5 個池化層（maxpool），并合理置于卷積層之間。但是，并非所有的卷積層都需要搭配池化層，具體位置也要根據(jù)實際情況來確定[10]。在圖1中，C3-64 的全稱是Conv3-64，表示該卷積層有64個大小為3×3 的卷積核。FC 代表全連接層，后面的4096 表示該全連接層的大小。但無論是哪種網(wǎng)絡(luò)模型，其最后一層均為soft-max 層[11]。該層是實現(xiàn)分類功能的關(guān)鍵，通常被置于網(wǎng)絡(luò)的最后，起到歸一化的作用。在VGGish 網(wǎng)絡(luò)的訓練過程中，通過對訓練集的學習，不斷對該層中的損失函數(shù)（代價函數(shù)）進行求導。同時，對卷積層中的相關(guān)參數(shù)進行微調(diào)，從而得到使損失函數(shù)達到最小值的最優(yōu)解，因此該過程也可看作是對損失函數(shù)不斷擬合的過程。

得益于上文所述小卷積核的設(shè)計，雖然6 種網(wǎng)絡(luò)結(jié)構(gòu)的深度不同，但其所包含參數(shù)數(shù)量的差異卻不大，具體如表1 所示。

表1 VGGish網(wǎng)絡(luò)參數(shù)數(shù)量

雖然VGGish 網(wǎng)絡(luò)解決了卷積神經(jīng)網(wǎng)絡(luò)深度不能超過10 層的問題，但其深度也不能無限加深，在超過一定的閾值后會出現(xiàn)梯度爆炸、模型訓練效果急劇降低等問題。因此在加深網(wǎng)絡(luò)深度的同時，也需要兼顧模型的應用效果。

VGGish 網(wǎng)絡(luò)所具有的特點主要包括：

1）結(jié)構(gòu)簡單、層次分明：整個結(jié)構(gòu)只有較小的卷積核，連續(xù)的卷積層通過5 個池化層隔開，雖然層數(shù)較多但功能明確；

2）小卷積核：卷積層中用較小的卷積核來代替大核，這樣做的優(yōu)勢在于減少訓練所需參數(shù)，增加非線性映射的強度[12]，同時還能夠降低感受野；

3）通道數(shù)更多、特征度更寬：通道代表著特征，VGG 網(wǎng)絡(luò)最多提供512 個通道，可以挖掘出數(shù)據(jù)中更多的深層次特征，增強結(jié)果的準確度。

2 識別算法設(shè)計

2.1 算法架構(gòu)

該文利用VGGish 網(wǎng)絡(luò)所設(shè)計的音頻信息情感智能識別算法，用于實現(xiàn)對海量音頻數(shù)據(jù)的智能化分類。算法設(shè)計結(jié)構(gòu)及算法工作流程如圖2 所示。

圖2 算法設(shè)計結(jié)構(gòu)及工作流程

該算法流程：首先是音頻信息收集，收集的內(nèi)容除了最重要的音頻數(shù)據(jù)之外，還包括其平臺原有的情感化劃分信息，便于該文進行初步篩選；然后是數(shù)據(jù)標注，其是對獲取到的音頻信息進行二次情感劃分，由于原有的劃分種類有一定的重合與包含關(guān)系存在，因此還需要進一步調(diào)整；接下來是數(shù)據(jù)轉(zhuǎn)換，音頻初始信息不能直接輸入VGGish 網(wǎng)絡(luò)，需要對原始數(shù)據(jù)進行處理，通常采用梅爾頻率倒譜頻率（MFCC）對信息進行轉(zhuǎn)換，得到符合網(wǎng)絡(luò)模型要求的輸入數(shù)據(jù)[13]；VGGish 網(wǎng)絡(luò)通過不斷學習與訓練可以得到音頻數(shù)據(jù)的Embedding 特征；此外，為了避免人為標注帶來的誤差還需要將提取到的音頻特征進行降維可視化，不斷調(diào)整不同情感音樂數(shù)據(jù)集分布，從而達到縮小組內(nèi)差異，增加組間差異的目的，使得模型更加準確；最終經(jīng)支持向量機（SVM）[14]和長短記憶模型（LSTM）[15]兩種方式對Embedding特征進行分類，得到最為符合該首音樂的情感。下面將對其中涉及到的關(guān)鍵過程進行進一步深入分析。

2.2 算法關(guān)鍵過程

1）數(shù)據(jù)標注

文中采用的音頻信息來源于國內(nèi)某音樂網(wǎng)站，選取了9 個大類共計1 442 首音頻數(shù)據(jù)，具體數(shù)據(jù)集如表2 所示。

表2 音頻數(shù)據(jù)原始數(shù)據(jù)集

可以發(fā)現(xiàn)，原始的情感分類有些界限比較模糊，有些則是籠統(tǒng)地包含了其他分類，例如懷舊。因此需要將原始數(shù)據(jù)進行重新分類，使其具有相對明確的界限，分類標準：第一類為激動興奮類，主要為氣勢磅礴、令人慷慨激昂、節(jié)奏感強的音頻；第二類為快樂類，主要是小清新、令人高興快樂、節(jié)奏輕快的音頻；第三類為輕松類，是令人心情放松舒暢、節(jié)奏舒緩的音頻；第四類為傷感類，以令人傷感、節(jié)奏沉悶的音頻為主；第五類為恐懼類，以奇怪詭異和令人感到不適的音頻為主。經(jīng)重新調(diào)整后，各類別對應的音頻數(shù)量如表3 所示，同時按6∶2∶2 的比例將數(shù)據(jù)集分為訓練集、測試集和驗證集。

表3 經(jīng)調(diào)整后的各類情感音頻數(shù)據(jù)集

2）數(shù)據(jù)轉(zhuǎn)換

該文利用MFCC 方法對數(shù)據(jù)進行轉(zhuǎn)換，具體步驟如下[16]：

①預處理：將原始音頻數(shù)據(jù)重新采樣為16 kHz的數(shù)據(jù)格式；

②加窗：將每一幀數(shù)據(jù)乘以漢明窗，以增加連續(xù)性；

③快速傅里葉變換（FFT）：對每20 ms 的數(shù)據(jù)片段進行FFT，得到頻譜數(shù)據(jù)；

④頻譜映射：將得到的頻譜數(shù)據(jù)映射到75～7 500 Hz窗口區(qū)間；

⑤分幀：將音頻信息按照每480 ms 為一幀，幀內(nèi)再以每10 ms 進行細分，從而得到48×64 的MFCC 特征數(shù)據(jù)。

3）VGGish 網(wǎng)絡(luò)

該文采用VGG11（A）網(wǎng)絡(luò)進行模型的訓練，具體設(shè)計結(jié)構(gòu)如圖3 所示。

圖3 VGG11（A）設(shè)計結(jié)構(gòu)

該模型的作用是將輸入到模型中的48×64 MFCC特征數(shù)據(jù)轉(zhuǎn)換為128 維的Embedding 特征。

4）降維可視化

目前對數(shù)據(jù)進行降維可視化的方法主要包括鄰接圖法、LDA法、PCA法、基于切空間法和t-SNE法等，該文選用其中處理效果最優(yōu)的t-SNE 法進行處理。t-SNE(t-distributed Stochastic Neighbor Embedding)由傳統(tǒng)的SNE 發(fā)展而來，適用于將高維數(shù)據(jù)降為二維或三維，再進行可視化展示。

3 算法測試

為了測試該文所提算法在音頻信息情感智能識別中的表現(xiàn)，在完成對VGGish 網(wǎng)絡(luò)模型的訓練后，利用測試集對算法性能進行測試。測試分為兩組，兩組的區(qū)別在于分類器的選擇，第一組采用傳統(tǒng)的支持向量機（SVM），第二組采用長短記憶模型（LSTM）。

首先，利用傳統(tǒng)的SVM 算法對VGGish 網(wǎng)絡(luò)所得到的Embedding 特征進行分類，SVM 算法的各參數(shù)設(shè)置如表4 所示。

表4 SVM參數(shù)設(shè)置

其中，C代表懲罰系數(shù)，用來對損失函數(shù)進行一定控制，通常取值范圍為[0.000 1，10 000]，C值越大，雖然可以使訓練出的模型在對訓練集進行測試時的準確度有所提高，但對測試集進行測試時的準確度不足，因此僅適用于特定數(shù)據(jù)集，其泛化能力欠缺，容易形成過擬合；C值過小則會增強模型的容錯率，因此泛化能力較強，但容易形成欠擬合，所以文中將C值設(shè)置為1；根據(jù)可視化的結(jié)果確定核函數(shù)Kernel為RBF 高斯核，同時在將Gamma 設(shè)置為0.02 時得到的模型效果最優(yōu)，文中選用了一對一的OVO 方法。最終的試驗結(jié)果如表5 所示。

表5 SVM分類試驗結(jié)果

從結(jié)果可以看出，傳統(tǒng)的SVM 方法總體表現(xiàn)良好，能夠達到82.46%的平均準確率。從單一類別來看，對第一類（激動興奮類）的情感分類效果是最優(yōu)的，準確率能夠達到86.4%。但對于第四類（傷感類）的準確率卻較低，僅為76.4%。

然后采用LSTM對VGGish網(wǎng)絡(luò)得到的Embedding特征進行分類，分類試驗結(jié)果如表6 所示。

表6 LSTM分類試驗結(jié)果

從結(jié)果可以看出，LSTM 分類方法總體表現(xiàn)優(yōu)秀，平均準確率能夠達到90.12%。同時，從單個類別來看，對第五類（恐懼類）的情感分類效果最優(yōu)，準確率可達92.7%；而對于第三類（輕松類）的處理效果相對較差，但仍能達到88.4%。由上述結(jié)果可知，該文所提算法能夠進行音頻信息情感的智能識別。尤其是當采用LSTM 分類方法時，其分類的平均準確率可達到90%以上，具有良好的識別效果。

4 結(jié)束語

該文通過介紹和分析VGGish 網(wǎng)絡(luò)，提出了基于VGGish 網(wǎng)絡(luò)的音頻信息情感智能識別算法。算法主要由音頻信息采集、數(shù)據(jù)標注、數(shù)據(jù)轉(zhuǎn)換、VGGish模型訓練、降維可視化、分類等模塊組成，各模塊之間相互配合共同完成對音頻信息情感的智能識別。兩項算法測試結(jié)果充分驗證了文中所提算法的可行性與有效性，兩種分類方法中，SVM 方法表現(xiàn)良好，平均準確率能夠達到82.46%；LSTM 分類方法則表現(xiàn)優(yōu)秀，平均準確率可達90.12%。為海量音頻信息的智能化分析與情感識別分類提供了解決方案。