基于生成對(duì)抗網(wǎng)絡(luò)與特征融合的多尺度音頻序列生成方法

許華杰 張勃

摘 要：音頻數(shù)據(jù)規(guī)模不足是語(yǔ)音識(shí)別過(guò)程中的一個(gè)常見問(wèn)題，通過(guò)較少的訓(xùn)練數(shù)據(jù)訓(xùn)練得到的語(yǔ)音識(shí)別模型效果難以得到保證。因此，提出一種基于生成對(duì)抗網(wǎng)絡(luò)與特征融合的多尺度音頻序列生成方法（multi-scale audio sequence GAN，MAS-GAN），包含多尺度音頻序列生成器和真?zhèn)巍悇e判別器。生成器通過(guò)3個(gè)上采樣子網(wǎng)絡(luò)學(xué)習(xí)音頻序列不同時(shí)域和頻域的特征，再將不同尺度的特征融合成偽音頻序列；判別器通過(guò)輔助分類器將生成的偽數(shù)據(jù)和真實(shí)數(shù)據(jù)區(qū)分開，同時(shí)指導(dǎo)生成器生成各類別的數(shù)據(jù)。實(shí)驗(yàn)表明，與目前主流的音頻序列生成方法相比，所提方法的IS和FID分?jǐn)?shù)分別提高了6.78%和3.75%，可以生成更高質(zhì)量的音頻序列；同時(shí)通過(guò)在SC09數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)來(lái)評(píng)估生成音頻序列的質(zhì)量，所提方法的分類準(zhǔn)確率比其他方法高2.3%。

關(guān)鍵詞：音頻序列生成； 生成對(duì)抗網(wǎng)絡(luò)； 半監(jiān)督學(xué)習(xí)； 特征融合

中圖分類號(hào)：TP391.1?? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）09-032-2770-05

doi：10.19734/j.issn.1001-3695.2023.01.0018

Multi-scale audio sequence generation method based on

generative adversarial networks and feature fusion

Xu Huajiea，b，c，d， Zhang Boa

（a.College of Computer & Electronic Information， b.Guangxi Key Laboratory of Multimedia Communications & Network Technology， c.Key Laboratory of Parallel， Distributed & Intelligent Computing， d.Guangxi Intelligent Digital Services Research Center of Engineering Technology， Guangxi University， Nanning 530004， China）

Abstract：Insufficient audio data scale is a common problem in the speech recognition process， and it is difficult to guarantee the effect of the speech recognition model trained with less training data. Therefore， this paper proposed a multi-scale audio sequence generation method based on generative confrontation network and feature fusion（MAS-GAN） ， which consisted of a multi-scale audio sequence generator and a real/fake-category discriminator. The generator learnt the features of audio sequences in different time and frequency domains through three up-sampling sub-networks， and then fused the features of different scales into pseudo audio sequence. The discriminator distinguished the generated fake data from the real data though the auxiliary classifier， and guided the generator to generate data of various categories. Experiment shows that the IS and FID scores are increased by 6.78% and 3.75% respectively compared with the current mainstream audio sequence generation methods， the proposed method can generate higher quality audio sequences; at the same time， it evaluated the quality of the generated audio sequences by performing classification experiments on the SC09 dataset， the classification accuracy is about 2.3% higher than other methods.

Key words：audio sequence generation; generative adversarial network; semi-supervised learning; feature fusion

0 引言

語(yǔ)音識(shí)別是當(dāng)前計(jì)算機(jī)聲學(xué)領(lǐng)域的熱點(diǎn)研究問(wèn)題之一，而音頻數(shù)據(jù)規(guī)模不足嚴(yán)重制約了該領(lǐng)域的相關(guān)研究工作的展開［1］。通過(guò)合成音頻數(shù)據(jù)擴(kuò)充音頻數(shù)據(jù)集來(lái)提高語(yǔ)音識(shí)別的效果，是解決這一問(wèn)題的有效方案之一［2］，在人機(jī)交互、智慧醫(yī)療、安全生產(chǎn)、災(zāi)害預(yù)警等多各方面具有重要意義。

音頻信號(hào)具有很高的時(shí)間分辨率，學(xué)習(xí)音頻信號(hào)的方法必須能在高維空間上有效執(zhí)行，生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）是一種將低維潛在向量映射到高維數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)方法［3］。隨著研究的深入，一些半監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)也被提出，如ACGAN［4］在生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上增加了輔助分類器，使GAN獲得了分類功能從而可以生成特定類別的樣本，學(xué)習(xí)方式由無(wú)監(jiān)督學(xué)習(xí)變成半監(jiān)督學(xué)習(xí)，進(jìn)而提高生成樣本的質(zhì)量。近年來(lái)，生成對(duì)抗網(wǎng)絡(luò)已經(jīng)成功地應(yīng)用于各種計(jì)算機(jī)視覺任務(wù)，如超分辨率任務(wù)、語(yǔ)義分割等，并且已經(jīng)被證明在圖像生成方面是有效的。而將GAN拓展到音頻領(lǐng)域解決數(shù)據(jù)規(guī)模不足問(wèn)題也是當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱點(diǎn)，如Sahu等人［5］使用合成特征向量來(lái)提高分類器在情緒任務(wù)上的性能；Chatziagapi等人［6］通過(guò)GAN合成聲譜圖，達(dá)到了平衡數(shù)據(jù)集的目的，與一系列如時(shí)域、頻域變換的傳統(tǒng)數(shù)據(jù)增強(qiáng)方法相比有較大的性能提升。

目前，使用生成對(duì)抗網(wǎng)絡(luò)來(lái)生成音頻數(shù)據(jù)一般有兩種做法。一種做法如MelNet［7］等是對(duì)音頻的時(shí)頻表示（聲譜圖）進(jìn)行操作，這種做法存在不足：由于生成聲譜圖的分辨率依賴于不同的參數(shù)，存在因參數(shù)原因?qū)е绿卣鱽G失的問(wèn)題［8］；同時(shí)，因?yàn)楦兄畔⒆钬S富的聲譜圖是不可逆的，要將聲譜圖轉(zhuǎn)換為原始音頻序列，必須通過(guò)反演模型，而在這一過(guò)程中，會(huì)丟失大量的音頻信息，導(dǎo)致生成的音頻序列效果較差［9］。另一種做法是直接采用原始序列進(jìn)行建模，如WaveGAN［10］是一種將生成對(duì)抗網(wǎng)絡(luò)用于原始波形音頻的經(jīng)典無(wú)監(jiān)督合成方法，能夠合成較高質(zhì)量的且具有全局相關(guān)性的音頻片段。通過(guò)原始音頻序列進(jìn)行建模，直接從原始音頻序列中提取特征，減少了由于參數(shù)原因?qū)е碌奶卣鱽G失；同時(shí)由于沒有從聲譜圖轉(zhuǎn)換為原始音頻序列的過(guò)程，所以丟失的音頻信息更少，但是這種原始序列的音頻生成方法也存在不足：由于音頻信號(hào)同時(shí)包含時(shí)域和頻域的特征，比圖像信號(hào)更有可能表現(xiàn)出強(qiáng)周期性，而這種做法通常情況下更關(guān)注音頻數(shù)據(jù)的時(shí)域特征，忽視了音頻數(shù)據(jù)在頻域上的分布情況［11］。

由于采用原始序列進(jìn)行建模比采用聲譜圖建模的方式減少了音頻特征的丟失，同時(shí)WaveGAN是采用原始序列建模的經(jīng)典無(wú)監(jiān)督學(xué)習(xí)方法，可以合成較高質(zhì)量的且具有全局相關(guān)性的音頻片段，所以本文方法以WaveGAN為基礎(chǔ)架構(gòu)。但是WaveGAN存在只關(guān)注時(shí)域特征而忽略頻域特征的問(wèn)題。在采樣環(huán)節(jié)，本文借鑒多尺度上采樣塊的做法，通過(guò)不同大小的卷積核提取音頻信號(hào)時(shí)域和頻域的不同特征，解決Wave-GAN不能兼顧音頻信號(hào)時(shí)域和頻域特征的問(wèn)題，提升網(wǎng)絡(luò)對(duì)于音頻信號(hào)的特征提取能力；同時(shí)，在音頻序列生成環(huán)節(jié)，本文借鑒輔助分類器的做法，通過(guò)構(gòu)造輔助任務(wù)將無(wú)監(jiān)督學(xué)習(xí)轉(zhuǎn)換為半監(jiān)督學(xué)習(xí)以提高生成音頻數(shù)據(jù)的性能，進(jìn)一步提升生成音頻序列的質(zhì)量。

1 相關(guān)工作

生成對(duì)抗網(wǎng)絡(luò)（GAN）能直接生成“以假亂真”的與訓(xùn)練數(shù)據(jù)非常接近的新數(shù)據(jù)［12］。ACGAN是GAN的一種拓展，采用輔助分類器（auxiliary classifier）來(lái)判斷輸入圖像所屬的類別，它不僅在很大程度上解決了GAN模型崩潰的問(wèn)題，而且有助于生成高分辨率的圖像［4］。GAN只有隨機(jī)噪聲z（noise）作為輸入變量，而ACGAN與GAN不同的是多了一個(gè)分類變量；同時(shí)GAN只對(duì)數(shù)據(jù)的真?zhèn)巫雠袛?，而ACGAN除了對(duì)數(shù)據(jù)的真?zhèn)巫鞒雠袛啵€增加了類別判斷。ACGAN將鑒別器與輔助部分結(jié)合，使得改進(jìn)后的鑒別器不僅可以識(shí)別數(shù)據(jù)的真?zhèn)?，還可以區(qū)分不同的類別，進(jìn)一步提高了生成的偽樣本的質(zhì)量。WaveGAN基于深度卷積生成對(duì)抗網(wǎng)絡(luò)（deep convolution gene-rative adversarial network，DCGAN）改進(jìn)而來(lái)［13］。DCGAN是在GAN的基礎(chǔ)上設(shè)計(jì)的架構(gòu)，可以實(shí)現(xiàn)高質(zhì)量的圖像生成，在DCGAN中，生成器使用轉(zhuǎn)置卷積操作迭代地將低分辨率特征映射到高分辨率的圖像中，但是由于音頻序列本身是一種一維序列數(shù)據(jù)，并且比圖像信號(hào)表現(xiàn)出更強(qiáng)的周期性，所以Wave-GAN通過(guò)將DCGAN生成器的二維轉(zhuǎn)置卷積修改為一維轉(zhuǎn)置卷積來(lái)適應(yīng)音頻信號(hào)的特點(diǎn)。

在多尺度上采樣塊進(jìn)行采樣，再用融合塊進(jìn)行堆疊的做法，最早出現(xiàn)在圖像領(lǐng)域，在Google于2014年提出的GoogLeNet［14］中采用，其引入inception模塊對(duì)圖像特征進(jìn)行采集，利用不同大小的卷積核提取不同尺度的特征，最后將所有輸出結(jié)果進(jìn)行融合并拼接為一個(gè)深度特征圖，以獲取多樣化的特征。除此之外，研究人員還基于GoogLeNet提出了Xception［15］等改進(jìn)，進(jìn)一步提升網(wǎng)絡(luò)的性能。在音頻領(lǐng)域，Vasquez等人［7］提出的音頻生成模型MelNet中使用了多尺度的方法，首先生成低分辨率的聲譜圖用于捕捉高層特征，通過(guò)反復(fù)迭代生成高分辨率的聲譜圖，再通過(guò)反演模型將聲譜圖轉(zhuǎn)換為音頻序列。

ACGAN通過(guò)輔助分類器的做法，將GAN從無(wú)監(jiān)督學(xué)習(xí)轉(zhuǎn)變成半監(jiān)督學(xué)習(xí)，可以學(xué)習(xí)到更具特異性的特征；WaveGAN基于音頻信號(hào)的特點(diǎn)，使用原始音頻序列進(jìn)行建模，減少了網(wǎng)絡(luò)在特征提取過(guò)程中損失的音頻信息；多尺度上采樣塊，適應(yīng)音頻信號(hào)的特點(diǎn)，可以獲取多樣化的特征。本文針對(duì)WaveGAN網(wǎng)絡(luò)存在的問(wèn)題，結(jié)合上述方法，提出了一種基于生成對(duì)抗網(wǎng)絡(luò)與特征融合的多尺度音頻序列生成方法，提升生成音頻序列的質(zhì)量。

2 基于生成對(duì)抗網(wǎng)絡(luò)與特征融合的音頻生成方法MAS-GAN

本文提出的MAS-GAN旨在結(jié)合GAN對(duì)抗學(xué)習(xí)的思想，通過(guò)博弈訓(xùn)練生成更多特定標(biāo)簽的音頻序列數(shù)據(jù)。如圖1所示，MAS-GAN由多尺度音頻序列生成器MASG（multi-scale audio sequence generator）和真/偽—類別判別器RFCD（real/fake-category discriminator）組成。MASG首先通過(guò)嵌入塊將100維噪聲向量與標(biāo)簽label進(jìn)行融合，融合后的向量經(jīng)過(guò)多尺度上采樣塊和融合塊擴(kuò)張到與真實(shí)樣本相同的尺寸，合成偽音頻MASG（z，label）；判別器RFCD的輸入是帶標(biāo)簽的真實(shí)音頻數(shù)據(jù)（x，label）和帶標(biāo)簽的MASG合成的偽音頻數(shù)據(jù)MASG（z，label），通過(guò)特征提取塊提取音頻數(shù)據(jù)的特征，然后通過(guò)分類模塊將真實(shí)音頻數(shù)據(jù)和偽音頻數(shù)據(jù)區(qū)分開來(lái)，同時(shí)對(duì)類別作出判斷。在這個(gè)過(guò)程中，生成器試圖通過(guò)生成趨近于真實(shí)數(shù)據(jù)分布的偽數(shù)據(jù)來(lái)欺騙判別器，判別器則希望更準(zhǔn)確地區(qū)別真實(shí)數(shù)據(jù)和偽數(shù)據(jù)。

2.1 多尺度音頻序列生成器

多尺度音頻序列生成器MASG使用原始序列進(jìn)行建模，如圖2（a）所示。輸入（input）包含一個(gè)100維的噪聲向量z和一個(gè)類別標(biāo)簽label；嵌入塊（embedding block）首先將類別標(biāo)簽label映射到多維空間，使其維度與噪聲向量z的維度相同，然后再將噪聲向量z與類別標(biāo)簽向量組合起來(lái)；多尺度上采樣塊（multi-scale up-sample block）包含三個(gè)不同尺度的上采樣子網(wǎng)絡(luò)，分別以不同大小的卷積核對(duì)嵌入類別標(biāo)簽之后的噪聲向量進(jìn)行上采樣，得到不同尺度的上采樣結(jié)果；融合塊（fusion block）首先將上采樣塊得到的結(jié)果在維度上堆疊起來(lái)，最后經(jīng)過(guò)一個(gè)same卷積層將維度壓縮到1維，得到偽音頻序列樣本。

由于音頻序列信號(hào)在時(shí)域上表現(xiàn)為幅值隨時(shí)間的變化，在頻域上表現(xiàn)為幅值隨頻率的變化，不同的音頻序列信號(hào)在時(shí)域上和頻域上差別較大，所以增強(qiáng)網(wǎng)絡(luò)對(duì)音頻信號(hào)時(shí)域和頻域的理解對(duì)生成更真實(shí)的偽樣本有十分重要的作用。通常在特征提取過(guò)程中，可以通過(guò)增加卷積核尺寸的方式獲得更多的信息量。根據(jù)音頻序列的特性，本文提出了一種多尺度上采樣塊作為多尺度音頻序列生成器的核心模塊，多尺度上采樣塊中的三個(gè)上采樣子網(wǎng)絡(luò)采用不同的網(wǎng)絡(luò)長(zhǎng)度和卷積核，使得網(wǎng)絡(luò)可以表達(dá)音頻序列的多尺度信息，提高網(wǎng)絡(luò)的學(xué)習(xí)和表達(dá)能力。

表1給出了多尺度上采樣塊中的小尺度、中尺度、大尺度三個(gè)不同尺度上采樣子網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)。其中d是一個(gè)控制網(wǎng)絡(luò)寬度的參數(shù)，當(dāng)d的值變大時(shí)，網(wǎng)絡(luò)寬度增加，訓(xùn)練網(wǎng)絡(luò)的時(shí)間成本增加；反之，則提取到的特征會(huì)減少，導(dǎo)致生成的偽樣本質(zhì)量下降。在質(zhì)量和效率之間權(quán)衡，本文中d的大小設(shè)置為8。以大尺度上采樣子網(wǎng)絡(luò)為例，如圖2（b）和表1所示，首先將嵌入塊輸出的1×100維向量經(jīng)過(guò)一個(gè)線性層（linear）擴(kuò)大到1×512d，再將其維度變換為32d×16，經(jīng)過(guò)卷積核大小為24、步長(zhǎng)為4的deConv1層后，輸出16d×64維特征矩陣，然后經(jīng)過(guò)四個(gè)同樣參數(shù)的deConv層之后，最終輸出維度為1×16 384，除最后一層使用tanh激活函數(shù)外，其他層均使用ReLU作為激活函數(shù)。

將多尺度上采樣塊三個(gè)尺度的輸出作為融合塊（fusion bock）的輸入，首先將多尺度上采樣塊輸出的三個(gè)尺度的結(jié)果在通道上堆疊起來(lái)，得到的矩陣維度為3×16 384，該矩陣經(jīng)過(guò)一個(gè)same卷積層將維度壓縮到1維，得到最終生成的偽音頻樣本進(jìn)行輸出。多尺度音頻序列生成器所涉及的計(jì)算過(guò)程為

MASG（z，label）=φ（SameConv（SU（F）⊕MU（F）⊕LU（F）））（1）

其中：MASG（z，label）表示多尺度音頻序列生成器生成的偽音頻樣本，φ表示tanh激活函數(shù)，SameConv表示same卷積層操作符，SU、MU、LU分別表示多尺度上采樣塊中小尺度、中尺度和大尺度上采樣子網(wǎng)絡(luò)操作符，F(xiàn)表示嵌入塊（embedding block）輸出的向量。

2.2 真/偽—類別判別器

受ACGAN的啟發(fā)，真/偽—類別判別器RFCD采取了帶輔助分類器的做法，如圖3所示。這樣的做法使得GAN從原本的無(wú)監(jiān)督學(xué)習(xí)變?yōu)榘氡O(jiān)督學(xué)習(xí)，判別器負(fù)責(zé)指導(dǎo)生成器生成逼真數(shù)據(jù)，又通過(guò)類別標(biāo)簽將不同類別的數(shù)據(jù)區(qū)分開來(lái)，指導(dǎo)生成器生成各類別的數(shù)據(jù)。通過(guò)真/偽—類別判別器，可以使得多尺度音頻序列生成器生成的偽音頻樣本MASG（z，label）相比無(wú)監(jiān)督學(xué)習(xí)生成的樣本更具有特異性。

真/偽—類別判別器的輸入（input）包含音頻樣本及其所對(duì)應(yīng)的類別標(biāo)簽label，輸入的音頻樣本是真實(shí)的音頻樣本（x，label）或者由多尺度音頻序列生成器生成的偽音頻樣本MASG（z，label），特征提取塊（feature extraction block）負(fù)責(zé)對(duì)真/偽音頻樣本進(jìn)行特征提取，得到真/偽樣本的全局特征向量，進(jìn)而得到預(yù)測(cè)結(jié)果。預(yù)測(cè)結(jié)果包含分別為真/偽標(biāo)簽和類別標(biāo)簽兩部分，目的是將真實(shí)音頻數(shù)據(jù)和偽音頻數(shù)據(jù)區(qū)分開來(lái)，同時(shí)對(duì)類別作出判斷。表2給出了真/偽—類別判別器的相關(guān)參數(shù)。輸入（input）的一維音頻序列維度為1×16 384維，經(jīng)過(guò)卷積核大小為25，步長(zhǎng)為4的Conv1層后，輸出維度為d×4 096維，再經(jīng)過(guò)四個(gè)卷積核與步長(zhǎng)相同的Conv層之后，輸出維度分別為2d×1024、4d×256、8d×64、16d×16維，這五個(gè)Conv層的激活函數(shù)均為L(zhǎng)eaky_ReLU，將16d×16維的輸出特征向量維度變換為256d×1，然后輸入一個(gè)線性層linear，得到32d×1維度的特征向量。由于真/偽—類別判別器包含樣本的真/偽判斷和類別判斷，所以網(wǎng)絡(luò)最后的全連接層包含的神經(jīng)元個(gè)數(shù)為（1+C），其中C代表數(shù)據(jù)集中類別的數(shù)量（本文中C設(shè)置為10），第一個(gè)神經(jīng)元的輸出采用sigmoid作為激活函數(shù)，定義為真/預(yù)測(cè)向量，后面C個(gè)神經(jīng)元的輸出采用softmax作為激活函數(shù)，定義為類別標(biāo)簽預(yù)測(cè)向量。

2.3 方法實(shí)現(xiàn)流程

本文提出的多尺度原始序列音頻生成方法MAS-GAN具體通過(guò)MASG與RFCD的博弈訓(xùn)練實(shí)現(xiàn)，其訓(xùn)練過(guò)程可分為兩個(gè)步驟：訓(xùn)練真/偽—類別判別器RFCD和訓(xùn)練多尺度音頻序列生成器MASG。通過(guò)MASG與RFCD之間的博弈，當(dāng)MASG生成的偽數(shù)據(jù)的概率分布和真實(shí)數(shù)據(jù)的分布接近時(shí)，MASG生成的偽樣本接近真實(shí)樣本，博弈訓(xùn)練結(jié)束。

算法1 MAS-GAN model training

輸入：帶標(biāo)簽的真實(shí)音頻樣本D={x，label}。

輸出：多尺度音頻序列生成器MASG。

1 for number of training iterations do

2? for k steps do

3?? sample minibatch of m samples{（z，label）} from noise prior pg（z） and random sampling label from 0 to C;

4?? sample m samples {（x，label）} from D;

5?? calculate the loss of RFCD LRFCD;

6?? update the parameters of RFCD by LRFCD;

7? end for

8? sample minibatch of m samples {（z，label）} from noise prior pg（z） and random sampling label from 0 to C;

9? calculate loss of MASG LMASG;

10update the parameters of MASG by LMASG;

11 end for

算法1主要包括以下兩個(gè)步驟：

a）訓(xùn)練真/偽—類別判別器RFCD，對(duì)應(yīng)于算法1中的第2～7行。首先將真實(shí)的音頻樣本（x，label）和多尺度音頻序列生成器生成的偽音頻樣本MASG（z，label）輸入到真/偽—類別判別器，模型中的特征提取塊對(duì)輸入的音頻樣本進(jìn)行特征提取，得到真/偽預(yù)測(cè)向量和類別標(biāo)簽向量yc，根據(jù)式（2）計(jì)算損失函數(shù)LRFCD，對(duì)真/偽—類別判別器進(jìn)行優(yōu)化。

LRFCD=-［Eyc［label*log（yc）］+Ex～Pr［log（RFCD（x））］+Ez～Pf［log（1-RFCD（MASG（z，label）））］］（2）

其中：Pr和Pf分別代表真實(shí)數(shù)據(jù)（real data）和偽數(shù)據(jù)（fake data）的概率分布；RFCD（x）表示x來(lái)自訓(xùn)練數(shù)據(jù)（real data）的概率；z為輸入到生成器的隨機(jī)噪聲；label表示輸入到網(wǎng)絡(luò)中的類別標(biāo)簽；yc表示判別器RFCD輸出的類別標(biāo)簽預(yù)測(cè)向量。

b）訓(xùn)練多尺度音頻序列生成器MASG，對(duì)應(yīng)于算法1中的第8～11行。首先將步驟a）中訓(xùn)練得到的真?zhèn)巍悇e判別器RFCD的參數(shù)固定，然后將隨機(jī)生成的帶標(biāo)簽的噪聲數(shù)據(jù)（z，label）輸入到MASG中，生成對(duì)應(yīng)的偽音頻樣本數(shù)據(jù)MASG（z，label），根據(jù)式（3）計(jì)算損失函數(shù)LMASG，對(duì)多尺度音頻序列生成器進(jìn)行優(yōu)化。

LMASG=-［Eyc［label*log（yc）］+Ez～Pf［log RFCD（MASG（z，label））+13LML］］（3）

其中：LML表示多尺度上采樣子網(wǎng)絡(luò)損失，如式（4）所示。

LML=13［Ez～Pf［log RFCD（SU（z，label））］+ Ez～Pf［log RFCD（MU（z，label））］+Ez～Pf［log RFCD（LU（z，label））］］（4）

其中：SU、MU、LU分別表示多尺度上采樣塊中小尺度、中尺度和大尺度上采樣子網(wǎng)絡(luò)得到的數(shù)據(jù)。

訓(xùn)練的過(guò)程中MASG和RFCD交替訓(xùn)練，保證每k個(gè)batch訓(xùn)練一次MASG，每一個(gè)batch訓(xùn)練一次RFCD，本文中k設(shè)置為2，網(wǎng)絡(luò)在通過(guò)交替訓(xùn)練優(yōu)化后，生成器和判別器之間達(dá)到平衡，得到最終的MAS-GAN模型。

3 實(shí)驗(yàn)及其結(jié)果分析

通過(guò)開展兩方面的實(shí)驗(yàn)測(cè)試所提出的MAS-GAN的性能：實(shí)驗(yàn)1使用IS、FID等客觀評(píng)價(jià)標(biāo)準(zhǔn)將所提出的方法與其他音頻序列生成方法進(jìn)行性能比較，驗(yàn)證所提出方法的有效性；實(shí)驗(yàn)2進(jìn)一步將所提出的方法作為數(shù)據(jù)增強(qiáng)方法，通過(guò)分類任務(wù)評(píng)估生成音頻序列的質(zhì)量，與其他方法進(jìn)行對(duì)比。

3.1 實(shí)驗(yàn)數(shù)據(jù)和參數(shù)

實(shí)驗(yàn)采用的數(shù)據(jù)集為SC09（speech commands zero through nine dataset）語(yǔ)音數(shù)據(jù)集［11］，該數(shù)據(jù)集包含18 620個(gè)音頻樣本，分為10類，分別為不同的人朗讀0～9（zero-nine）共10個(gè)數(shù)字的音頻，每個(gè)音頻樣本的長(zhǎng)度為1 s，采樣率均為16 kHz，數(shù)據(jù)集已劃分好訓(xùn)練集、驗(yàn)證集和測(cè)試集。借鑒相關(guān)文獻(xiàn)［4，10］的經(jīng)驗(yàn)，訓(xùn)練過(guò)程都使用Adam優(yōu)化器，betas設(shè)置為0.5和0.9，學(xué)習(xí)率設(shè)置為0.000 5，batch-size設(shè)置為64，通過(guò)上述策略對(duì)MAS-GAN訓(xùn)練3 000個(gè)輪次。實(shí)驗(yàn)在PyTorch框架下實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境如下：Windows 10 64位操作系統(tǒng)，8核心AMD Ryzen7 3700X CPU（3.6 GHz），NVIDIA GeForce RTX2070 Super顯卡（GPU），32 GB內(nèi)存。

3.2 實(shí)驗(yàn)結(jié)果及分析

本文所提出的MAS-GAN是基于原始序列直接建模的音頻合成算法，因此實(shí)驗(yàn)部分主要與同類型的WaveGAN作對(duì)比，同時(shí)為了進(jìn)一步測(cè)試方法的有效性和性能，實(shí)驗(yàn)還加入了近年來(lái)主流的基于聲譜圖的生成對(duì)抗網(wǎng)絡(luò)音頻合成算法MelGAN［16］、VocGAN［17］和MB-MelGAN［18］作對(duì)比。

3.2.1 采用標(biāo)準(zhǔn)IS和FID的評(píng)價(jià)結(jié)果及分析

實(shí)驗(yàn)1通過(guò)IS（inception score）和FID（Fréchet inception distance）［19］兩種客觀評(píng)價(jià)標(biāo)準(zhǔn)分別從生成樣本的質(zhì)量和多樣性兩個(gè)角度對(duì)MAS-GAN的性能進(jìn)行評(píng)估，IS和FID都是通過(guò)Inception v3模型輸出的樣本屬于某個(gè)類別的概率來(lái)判斷生成樣本的質(zhì)量，通常被用來(lái)衡量GAN生成數(shù)據(jù)的質(zhì)量。

1. IS結(jié)果比較 采用IS作為各網(wǎng)絡(luò)合成的音頻質(zhì)量評(píng)估標(biāo)準(zhǔn)，將生成的樣本送入訓(xùn)練好的Inception模型，通過(guò)輸出樣本屬于某個(gè)類別的概率來(lái)評(píng)價(jià)生成的樣本質(zhì)量，IS的數(shù)值越大，代表生成的音頻樣本質(zhì)量越接近真實(shí)樣本。IS評(píng)價(jià)結(jié)果如表3所示，其中SR代表音頻表示方法（Mel表示網(wǎng)絡(luò)從聲譜圖中提取特征進(jìn)行建模，z表示網(wǎng)絡(luò)直接從原始序列中提取特征進(jìn)行建模），ground truth代表真實(shí)樣本的分布。由表3可知，本文提出的MAS-GAN生成的偽音頻序列樣本的質(zhì)量?jī)?yōu)于WaveGAN、MelGAN、VocGAN和MB-MelGAN。通過(guò)IS對(duì)幾種音頻序列生成網(wǎng)絡(luò)生成的偽音頻序列樣本的質(zhì)量進(jìn)行分析，結(jié)果可知，MAS-GAN的性能相比WaveGAN、MelGAN、VocGAN和MB-MelGAN分別提升了33.74%、17.99%、6.78%和9.54%，這說(shuō)明本文提出的MAS-GAN在生成的音頻樣本質(zhì)量上更接近真實(shí)樣本。

2）FID結(jié)果比較 FID標(biāo)準(zhǔn)基于IS改進(jìn)而來(lái)，F(xiàn)ID計(jì)算真實(shí)樣本、生成樣本在特征空間中的距離，本文采用FID作為各網(wǎng)絡(luò)合成的音頻多樣性評(píng)估標(biāo)準(zhǔn)。首先利用Inception網(wǎng)絡(luò)來(lái)提取特征，然后使用高斯模型對(duì)特征空間進(jìn)行建模，通過(guò)求解兩個(gè)特征之間的距離作為FID，F(xiàn)ID的值越小，代表生成樣本與真實(shí)樣本的分布越接近。FID評(píng)價(jià)結(jié)果如表4所示。由表4可知，與WaveGAN、MelGAN、VocGAN和MB-MelGAN相比，所提出的MAS-GAN的性能明顯更好。具體而言，通過(guò)FID對(duì)幾種音頻序列生成網(wǎng)絡(luò)生成的偽音頻序列樣本的多樣性分析，利用本文提出的MAS-GAN合成的音頻樣本與真實(shí)樣本在特征空間的距離小于WaveGAN、MelGAN、VocGAN和MB-MelGAN，分別提升了約31.05%、14.55%、5.93%和3.75%，說(shuō)明本文提出的MAS-GAN在生成的偽音頻序列樣本多樣性上更接近真實(shí)樣本。

3）音頻頻譜分析 為了進(jìn)一步探討所提出的音頻序列增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)（MAS-GAN）產(chǎn)生效果背后的原因，將多尺度音頻序列生成器的三個(gè)尺度上采樣子網(wǎng)絡(luò)輸出的序列和最終生成的音頻樣本分別做短時(shí)傅里葉變換計(jì)算，并根據(jù)計(jì)算結(jié)果繪制聲譜圖，橫坐標(biāo)代表時(shí)間，縱坐標(biāo)代表頻率，如圖4所示。

由圖5可以看出，大尺度上采樣子網(wǎng)絡(luò)主要關(guān)注于5～7 kHz的頻率，中尺度上采樣子網(wǎng)絡(luò)主要關(guān)注于2～3.2 kHz的頻率，小尺度上采樣子網(wǎng)絡(luò)主要關(guān)注于0.5～1 kHz的頻率；同時(shí)，三個(gè)不同尺度的子網(wǎng)絡(luò)在時(shí)域上關(guān)注的點(diǎn)也有所區(qū)別，三個(gè)子網(wǎng)絡(luò)的輸出結(jié)果融合成最終結(jié)果，形成偽音頻樣本。這說(shuō)明本文提出的三個(gè)不同尺度的上采樣子網(wǎng)絡(luò)可以適應(yīng)音頻信號(hào)的特點(diǎn)，提取到不同頻段的音頻信號(hào)的特征，同時(shí)又兼顧到了音頻信號(hào)的時(shí)域特征。

通過(guò)上述實(shí)驗(yàn)與分析可知，本文方法在生成樣本的質(zhì)量和多樣性上優(yōu)于其他方法，造成這一結(jié)果的原因可能有：a）MAS-GAN采取一維卷積對(duì)音頻序列進(jìn)行處理，比二維卷積的做法更適合處理音頻一維序列；b）多尺度音頻序列生成器中的多尺度上采樣子網(wǎng)絡(luò)通過(guò)采用大小不同的卷積核，使得網(wǎng)絡(luò)不僅能夠?qū)W習(xí)音頻序列的時(shí)域特征，而且能夠?qū)W習(xí)音頻序列的頻域特征；c）特征融合模塊將不同尺度的音頻信息從時(shí)域和頻域上結(jié)合起來(lái)，使得最終生成的偽音頻樣本相比其他音頻生成方法生成的特征更為豐富。

3.2.2 分類任務(wù)結(jié)果及分析

為了進(jìn)一步測(cè)試MAS-GAN的性能，本文分別使用WaveGAN、MelGAN、VocGAN、MB-MelGAN和MAS-GAN生成的音頻序列樣本擴(kuò)充樣本數(shù)量有限的訓(xùn)練集，然后進(jìn)行分類實(shí)驗(yàn)，通過(guò)分類效果評(píng)估生成音頻序列的質(zhì)量。從SC09數(shù)據(jù)集10類數(shù)據(jù)的每個(gè)類中隨機(jī)選取30個(gè)樣本作為分類任務(wù)的訓(xùn)練集，然后分別使用WaveGAN、MelGAN、VocGAN、MB-MelGAN和MAS-GAN生成的偽音頻序列樣本對(duì)訓(xùn)練集進(jìn)行擴(kuò)充，擴(kuò)充的數(shù)量分別為訓(xùn)練集的50%、100%和200%，用于對(duì)在ImageNet上經(jīng)過(guò)預(yù)訓(xùn)練的ShuffleNet模型進(jìn)行訓(xùn)練并進(jìn)行分類實(shí)驗(yàn)，結(jié)果如圖5所示，其中baseline表示未對(duì)訓(xùn)練集進(jìn)行擴(kuò)充的分類實(shí)驗(yàn)結(jié)果。

由圖5可以看出，使用經(jīng)過(guò)WaveGAN、MelGAN、VocGAN、MB-MelGAN和MAS-GAN擴(kuò)充的訓(xùn)練集訓(xùn)練分類模型，獲得的分類準(zhǔn)確率對(duì)比baseline都有較為明顯的提升，其中本文提出的MAS-GAN取得了最高的分類準(zhǔn)確率，在擴(kuò)充數(shù)據(jù)集200%的情況下達(dá)到了84.5%，比其他四種方法高出4.1%、2.7%、2.3%和2.4%。導(dǎo)致這一結(jié)果的可能原因有兩個(gè)方面：首先，真?zhèn)巍悇e判別器中添加對(duì)于類別的判斷，指導(dǎo)多尺度音頻序列生成器生成序列，通過(guò)半監(jiān)督學(xué)習(xí)使得生成器生成的音頻樣本更具特異性；其次，特征融合的引入有助于生成器學(xué)習(xí)到多尺度的音頻信息，包含的音頻序列信息比其他音頻合成方法更多，使得生成器生成的音頻數(shù)據(jù)的分布更接近于真實(shí)樣本的分布，因此以這些樣本擴(kuò)充訓(xùn)練集得出的模型整體分類準(zhǔn)確率比其他方法更高。

4 結(jié)束語(yǔ)

針對(duì)語(yǔ)音識(shí)別過(guò)程中通常數(shù)據(jù)集規(guī)模不足導(dǎo)致的識(shí)別效果差的問(wèn)題，基于無(wú)監(jiān)督原始序列音頻生成方法，提出一種基于生成對(duì)抗網(wǎng)絡(luò)和特征融合的多尺度原始序列音頻生成方法。以多尺度音頻序列生成器MAS-GAN為核心，利用三個(gè)不同尺度的上采樣子網(wǎng)絡(luò)來(lái)表達(dá)音頻序列時(shí)域和頻域上不同尺度的信息；同時(shí)在判別器中增加對(duì)于音頻類別的判斷，將原始GAN的無(wú)監(jiān)督學(xué)習(xí)方式轉(zhuǎn)換為半監(jiān)督學(xué)習(xí)，實(shí)現(xiàn)了高質(zhì)量的音頻序列樣本生成。在SC09音頻數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法生成的樣本的IS分?jǐn)?shù)（反映樣本質(zhì)量）和FID分?jǐn)?shù)（反映樣本多樣性）比同類其他主流方法高出6.78%和3.75%，同時(shí)通過(guò)在SC09數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)來(lái)評(píng)估生成音頻序列的質(zhì)量，采用所提方法進(jìn)行數(shù)據(jù)增強(qiáng)后的分類準(zhǔn)確率比同類主流方法高2.3%，驗(yàn)證了該方法的有效性。本文方法可以合成高質(zhì)量的偽音頻片段，可以廣泛應(yīng)用于小樣本音頻分類和語(yǔ)音識(shí)別等領(lǐng)域，通過(guò)本文方法生成的偽音頻數(shù)據(jù)擴(kuò)充數(shù)據(jù)集，從而達(dá)到以少量音頻訓(xùn)練樣本獲得較高分類或識(shí)別準(zhǔn)確率的目的。

本文方法采用的多尺度特征融合策略雖然在客觀評(píng)價(jià)標(biāo)準(zhǔn)和分類結(jié)果上優(yōu)于其他方法，但是僅采取三個(gè)尺度的上采樣子網(wǎng)絡(luò)來(lái)構(gòu)建生成網(wǎng)絡(luò)，并不能完整地反映音頻序列的時(shí)域和頻域特征，如何使網(wǎng)絡(luò)自適應(yīng)地對(duì)音頻樣本進(jìn)行建模，是下一步的研究方向。

參考文獻(xiàn)：

［1］Yu Jianbo， Zhou Xingkang. One-dimensional residual convolutional autoencoder based feature learning for gearbox fault diagnosis［J］. IEEE Trans on Industrial Informatics， 2020，16（10）： 6347-6358.

［2］Mirheidari B， Blackburn D， OMalley R， et al. Improving cognitive impairment classification by generative neural network-based feature augmentation［C］//Proc of InterSpeech. 2020： 2527-2531.

［3］Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets［C］//Proc of International Conference on Neural Information Processing Systems Volume-2. Cambridge， MA： MIT Press， 2014： 2672-2680.

［4］Odena A， Olah C， Shlens J. Conditional image synthesis with auxiliary classifier GANS［C］//Proc of International Conference on Machine Learning. New York： ACM Press， 2017： 2642-2651.

［5］Sahu S， Gupta R， Espy-Wilson C. On enhancing speech emotion re-cognition using generative adversarial networks［EB/OL］. （2018-6-18） . https：//arxiv.org/abs/1806.06626.

［6］Chatziagapi A， Paraskevopoulos G， Sgouropoulos D， et al. Data augmentation using GANs for speech emotion recognition［C］//Proc of InterSpeech. 2019： 171-175.

［7］Vasquez S， Lewis M. MelNet： a generative model for audio in the frequency domain［EB/OL］. （2019-06-04） . https：//arxiv.org/abs/1906.01083.

［8］Engel J， Agrawal K K， Chen Shuo， et al. GANSynth： adversarial neural audio synthesis［EB/OL］. （2019-02-23） . https：//arxiv.org/abs/1902.08710.

［9］尹文兵， 高戈， 曾邦， 等. 基于時(shí)頻域生成對(duì)抗網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)算法［J］. 計(jì)算機(jī)科學(xué)， 2022，49（6）： 187-192. （Yin Wenbing， Gao Ge， Zeng Bang， et al. Speech enhancement based on time-frequency domain GAN［J］. Computer Science， 2022，49（6）：187-192.）

［10］Donahue C， McAuley J， Puckette M. Adversarial audio synthesis［C］//Proc of International Conference on Learning Representations. 2019.

［11］Shao Siyu， Wang Pu， Yan Ruqiang. Generative adversarial networks for data augmentation in machine fault diagnosis［J］. Computers in Industry， 2019，106： 85-93.

［12］Zhu Junyan， Park T， Isola P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2017： 2223-2232.

［13］Radford A， Metz L， Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks［EB/OL］. （2015-11-19） . https：//arxiv.org/abs/1511.06434.

［14］Szegedy C， Liu Wei， Jia Yangqing， et al. Going deeper with convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2015： 1-9.

［15］Chollet F. Xception： deep learning with depthwise separable convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2017： 1251-1258.

［16］Kumar K， Kumar R， De Boissiere T， et al. MelGAN： generative adversarial networks for conditional waveform synthesis［C］//Proc of the 33rd International Conference on Neural Information Processing Systems. 2019： 14910-14921.

［17］Yang J， Lee J， Kim Y， et al. VocGAN： a high-fidelity real-time vocoder with a hierarchically-nested adversarial network［EB/OL］. （2020-7-30） . https：//arxiv.org/abs/2007.15256.

［18］Yang Geng， Yang Shan， Liu Kai， et al. Multi-band MelGAN： faster waveform generation for high-quality text-to-speech［C］//Proc of IEEE Spoken Language Technology Workshop. Piscataway， NJ： IEEE Press， 2021： 492-498.

［19］Kong Zhifeng， Ping Wei， Huang Jiaji， et al. DiffWave： a versatile diffusion model for audio synthesis［EB/OL］. （2020-09-21） . https：//arxiv.org/abs/2009.09761.

收稿日期：2023-01-16；修回日期：2023-03-12? 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（71963001）；廣西壯族自治區(qū)科技計(jì)劃資助項(xiàng)目（2017AB15008）；崇左市科技計(jì)劃資助項(xiàng)目（FB2018001）

作者簡(jiǎn)介：許華杰（1974-），男（通信作者），廣西南寧人，副教授，碩導(dǎo)，博士，主要研究方向?yàn)槿斯ぶ悄?、聲音信?hào)識(shí)別和機(jī)器視覺（hjxu2009@163.com）；張勃（1998-），男，陜西西安人，碩士研究生，主要研究方向?yàn)槿斯ぶ悄芎吐曇粜盘?hào)處理與分析．