基于全相位濾波器組頻帶鑒別的生成對抗網(wǎng)絡(luò)聲碼器設(shè)計

黃翔東，王俊芹，馬金英，張烜溢

基于全相位濾波器組頻帶鑒別的生成對抗網(wǎng)絡(luò)聲碼器設(shè)計

黃翔東1，王俊芹1，馬金英2，張烜溢3

(1. 天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072；2. 天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津 300222；3. 天津大學(xué)佐治亞理工深圳學(xué)院，深圳 518067)

為實現(xiàn)高質(zhì)量、高效率、低成本的語音合成，設(shè)計開發(fā)了一種基于全相位濾波器組頻帶鑒別的生成對抗網(wǎng)絡(luò)聲碼器APFB-GAN. 該聲碼器以現(xiàn)有的 HiFi-GAN 為參考，在生成器中，削減了 HiFi-GAN 多感受野融合模塊約60%的參數(shù). 在鑒別器中做了兩點改進(jìn)：一是將 HiFi-GAN 中多尺度鑒別器與多周期鑒別器替換為基于全相位濾波器組的鑒別器，克服了原有模型無法依據(jù)語音能量非均勻頻帶分布，靈活進(jìn)行特征特征提取的缺點；二是提出基于頻帶加權(quán)的多窗長的短時傅里葉變換譜損失函數(shù)，配合鑒別器更好地穩(wěn)定訓(xùn)練. 實驗結(jié)果表明：APFB-GAN 聲碼器合成的語音質(zhì)量可與 HiFi-GAN 相媲美，且其高頻細(xì)節(jié)特征更為突出，模型參數(shù)只為HiFi-GAN的28.78%，在GPU 上的合成速度是 HiFi-GAN 的2.4倍.

語音合成；聲碼器；生成對抗網(wǎng)絡(luò)；全相位濾波器組

文本轉(zhuǎn)語音(text-to-speech，TTS)[1]是當(dāng)前人工智能領(lǐng)域的熱門研究課題，旨在實現(xiàn)機(jī)器像人一樣流利自然地說話，該項技術(shù)可用在智能個人助理、機(jī)器人、游戲等語音交互等應(yīng)用場景中．

基于神經(jīng)網(wǎng)絡(luò)的TTS語音合成分為兩個階段：第1階段將文本轉(zhuǎn)化為與語義相關(guān)聯(lián)的低數(shù)據(jù)流中間表示(例如梅爾譜或各種言語特征)；第2階段通過聲碼器將該中間表示轉(zhuǎn)化為合成語音波形．

近年來業(yè)內(nèi)所提出的各類TTS聲碼器存在合成語音波形細(xì)節(jié)模糊、耗費資源大、合成效率不高的問題.例如，2016年，van den Oord等[2]提出的WaveNet聲碼器，采用了自回歸卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，在合成單樣點時需要所有歷史樣點信息，效率和合成語音質(zhì)量均較差；2019年，Neekhara等[3]提出使用生成對抗網(wǎng)絡(luò)[4-5](generative adversarial network，GAN)學(xué)習(xí)從梅爾譜到簡單幅度譜的映射，并與相位估計結(jié)合來恢復(fù)語音波形；同年，Kumar等[6]提出一種基于GAN的聲碼器模型MelGAN，合成語音效率大大提升，然而該模型僅采用了單一的多尺度鑒別器[7](multi-scale discriminator，MSD)，合成語音質(zhì)量仍有較大提升空間；2020年，Yamamoto等[8]提出Parallel Wave-GAN，該聲碼器將多分辨率頻譜差異納入損失函數(shù)中，生成波形的質(zhì)量有所改善；為進(jìn)一步提升GAN聲碼器的語音生成質(zhì)量，同年，Kong等[9]提出高保真度生成對抗網(wǎng)絡(luò)(high fidelity generative adversarial network，HiFi-GAN)，一方面在生成器設(shè)計中引入多感受野融合模塊，另一方面提出多周期鑒別器(multi-period discriminator，MPD)與原有MSD進(jìn)行融合，取得了高質(zhì)量的語音合成效果，但是模型參數(shù)量大，合成語音也存在高頻混疊問題．

鑒于以上現(xiàn)有聲碼器的不足，本文提出了基于全相位濾波器組的GAN(all-phase filter bank-GAN，APFB-GAN)模型，相比于HiFi-GAN，該網(wǎng)絡(luò)可在減少模型參數(shù)量、縮短訓(xùn)練時間的同時提高合成語音質(zhì)量、提升合成速度．APFB-GAN性能提升主要源于以下3方面：①在生成器設(shè)計中，適度裁剪了冗余的增強(qiáng)感受野的殘差模塊；②在鑒別器設(shè)計中，抓住MPD和MSD均為從多個頻段比較真實語音和合成語音差異的本質(zhì)，進(jìn)而提出頻帶區(qū)分性更強(qiáng)的全相位濾波器組的鑒別器模型取代原有MPD和MSD的組合；③在鑒別器損失函數(shù)的設(shè)計中，提出附加時頻變換頻譜損失函數(shù)，提升對恢復(fù)語音的高頻細(xì)節(jié)信息的保護(hù)．本文通過實驗證明，以上3點改進(jìn)措施的效果是顯著的．

1?整體模型結(jié)構(gòu)

圖1?APFB-GAN模型結(jié)構(gòu)

2?高度裁剪的生成器設(shè)計

APFB-GAN的生成器主要由3個級聯(lián)的上采樣處理模塊(upsampling processing module，UPM)組成．UPM是由基于轉(zhuǎn)置卷積(transposed convolutional)的上采樣單元和基于擴(kuò)張卷積的殘差塊組成，其中前兩個UPM對輸入點的上采樣倍數(shù)為8倍，第3個UPM輸入采樣點的上采樣倍數(shù)為4倍．模型參數(shù)見表1所示，其中，輸入尺寸和輸出尺寸均記錄了隱藏狀態(tài)數(shù)和幀長的變化，為初始輸入樣點序列的幀長．

表1?生成器模型參數(shù)

Tab.1?Generator model parameters

APFB-GAN的生成器延續(xù)了文獻(xiàn)[9]中HiFi-GAN的生成器結(jié)構(gòu)，區(qū)別在于：HiFi-GAN的生成器由4個UPM級聯(lián)而成，其中前兩個UPM由8倍上采樣單元和包含3個并聯(lián)通道的殘差塊組成，后兩個UPM由2倍上采樣單元和包含3個并聯(lián)通道的殘差塊組成．因而APFB-GAN的生成器裁剪了1個UPM，且剩下的每個UPM裁剪了兩個并聯(lián)的殘差塊，因而所耗費的網(wǎng)絡(luò)資源得以大幅度降低(降低70%以上，詳見后面實驗分析)．

深層次而言，APFB-GAN中生成器的資源得以高度裁剪的原因是：APFB-GAN對鑒別器模型結(jié)構(gòu)和損失函數(shù)做了根本性的改進(jìn)，從而降低了訓(xùn)練過程中生成器模型參數(shù)更新的盲目性，使得輕量級模型生成高質(zhì)量語音波形成為可能．

3?基于全相位濾波器組的鑒別器設(shè)計

3.1?現(xiàn)有基于GAN的聲碼器鑒別器的本質(zhì)

MelGAN的鑒別器為多尺度鑒別器MSD，HiFi-GAN在保留MSD的基礎(chǔ)上增加了多周期鑒別器MPD，進(jìn)一步提升了語音質(zhì)量．

MSD通過合并樣本進(jìn)行池化操作使得信號尺度發(fā)生改變，MPD通過抽取樣本使得信號周期發(fā)生改變，就這兩者的本質(zhì)而言，都是信號在不同頻率觀測范圍的區(qū)分反映．然而，MSD和MPD都只能設(shè)置有限的幾個尺度因子和周期因子，一方面，從頻帶分割的角度來看，這些因子之間的鑒別信息是存在冗余的；另一方面，因為只能嘗試有限的因子，因此所鑒別的信息必然是不完備的．

鑒于以上不足，本文提出基于全相位濾波器組的鑒別器來代替MSD和MPD．如圖1所示，APFB的鑒別器由個子FIR濾波器組成，將這些子濾波器與簡單的CNN進(jìn)行級聯(lián)，即可構(gòu)成個子鑒別器．

3.2?全相位濾波器組的設(shè)計

筆者在文獻(xiàn)[10]中提出單個的全相位濾波器設(shè)計法，其基本步驟如下．

3.3?全相位濾波器組的參數(shù)設(shè)置

3.4?用于特征提取的CNN網(wǎng)絡(luò)設(shè)計

APFB-GAN各子鑒別器中的CNN網(wǎng)絡(luò)由6個一維卷積層和1個全連接層構(gòu)成．對于每個卷積層，涉及數(shù)據(jù)并行分流(分流因子由輸入、輸出尺寸決定)、卷積核濾波(涉及濾波器長度、步長和數(shù)據(jù)填充3個超參數(shù))操作，全連接層旨在實現(xiàn)數(shù)據(jù)降維．其模型參數(shù)如表2所示．

表2?子鑒別器CNN網(wǎng)絡(luò)參數(shù)

Tab.2?CNN model parameters of a subdiscriminator

3.5?APFB鑒別器的優(yōu)勢

與HiFi-GAN的鑒別器MSD和MPD相比，由于全相位濾波器具備邊界頻率位置易于控制、通帶波紋小、阻帶衰減大的優(yōu)點[10]，基于APFB的鑒別器具有以下優(yōu)勢．

4?損失函數(shù)

HiFi-GAN的損失函數(shù)設(shè)計包括3部分：GAN固有損失、特征匹配損失和Mel譜損失，本文提出用語音的時頻譜損失替換Mel譜損失．

4.1?GAN固有損失

4.2?特征匹配損失

4.3?時頻譜損失

4.4?整體損失函數(shù)構(gòu)造

5?實?驗

實驗擬檢驗本文所提出APFF-GAN聲碼器3方面性能：APFF-GAN合成單說話人語音的性能；APFF-GAN合成多說話人語音的泛化能力；APFF-GAN用于端到端 TTS系統(tǒng)中的性能．對以上每個任務(wù)，都將APFF-GAN與現(xiàn)有其他4種高質(zhì)量聲碼器模型做對比：WaveNet[12]、Fre-GAN[13]的開源實現(xiàn)、HiFi-GAN[14]、WaveGlow[15]的官方實現(xiàn)．此外，就子鑒別器中APFB對語音信號的頻段劃分方案進(jìn)行實驗對比，從而選定最佳方案．

實驗硬件環(huán)境如下：單個NVIDIA GeForce RTX 3080GPU和單個AMD Ryzen 73700X 3.07GHz CPU．所有模型均使用32位浮點運(yùn)算．

5.1?單說話人的語音合成質(zhì)量及模型參數(shù)、合成速度的對比

選用LJSpeech語音數(shù)據(jù)集[16](包含單說話人的13100條短語音片段，總時長約為24h，16位PCM，采樣頻率22kHz)，從中選取50條作為驗證集，50條作為測試集，其余作為訓(xùn)練集．

對合成語音質(zhì)量分別進(jìn)行主觀評測和客觀評測．主觀評測通過邀請專業(yè)聽音測評人進(jìn)行MOS評分，評分置信區(qū)間為95%；客觀評測選用梅爾倒譜失真[17](Mel-cepstral distortion，MCD)．梅爾倒譜失真計算真實語音與模型生成語音之間的相似度．MCD越大，兩者差別越大，合成語音的效果就越差．

表3列出了5種聲碼器合成語音的主、客觀評分及其在CPU、GPU上的合成速度及模型參數(shù)對比．

從表3實驗數(shù)據(jù)可得出如下結(jié)論：

表3?5種聲碼器模型的對比結(jié)果

Tab.3?Comparison results of the five vocoder models

(1)在MOS評分方面，APFB-GAN與HiFi-GAN相比降低了0.01，這是因為APFB-GAN的生?成器是由HiFi-GAN的生成器經(jīng)過剪裁得到，因而?合成語音質(zhì)量有所下降；而在MCD值方面APFB-GAN表現(xiàn)最好，得益于鑒別器中對于語音信號進(jìn)?行分頻段鑒別的根本性改進(jìn)，使得合成語音在頻域?方面更接近真實語音，從而具有更小的梅爾倒譜??失真．

(2)在合成速度方面，APFB-GAN的CPU合成速度和GPU合成速度分別是實時語速的5.20倍、307.49倍，遠(yuǎn)高于其他對比模型；正是因為APFB-GAN模型參數(shù)遠(yuǎn)遠(yuǎn)低于其他模型，僅是HiFi-GAN1模型參數(shù)約28.78%的參數(shù)量，實現(xiàn)了輕量級語音合成．

以上結(jié)果反映出本文所提出的3方面技術(shù)改進(jìn)是有效的．

5.2?聲碼器對未知說話人的推廣能力測試

為測試APFB-GAN在多說話人中的推廣能力，選用Hi-Fi TTS多說話人語音數(shù)據(jù)集[18](由10個不同英語口音的人所錄制，包括4名男性、6名女性，總時長為296.1h，16位PCM格式，采樣頻率為44.1kHz)．挑選其中3個人(2名女性，1名男性)的100條數(shù)據(jù)作為測試集，再挑選另外5個人(3名女性，2名男性)的200條數(shù)據(jù)作為驗證集，20000條數(shù)據(jù)作為訓(xùn)練集．最終5種聲碼器對于未知說話人的合成語音質(zhì)量如表4所示．

從表4可看出，APFB-GAN MOS得分為3.87，雖比HiFi-GAN低0.07，但是MCD值最低，證明了APFB-GAN可以提升合成語音的頻域質(zhì)量．

表4?對于未知說話人合成語音質(zhì)量對比結(jié)果

Tab.4 Comparison results of synthesis quality for un-known speakers

5.3?端到端的TTS語音合成

該部分實驗旨在驗證APFB-GAN應(yīng)用于端到端的TTS系統(tǒng)時的表現(xiàn)．如前所述，TTS分為前端(實現(xiàn)文本轉(zhuǎn)梅爾譜)和后端(實現(xiàn)梅爾譜轉(zhuǎn)語音)兩個階段．在實驗中，一致選FastSpeech[19]作為前端，使用其開源實現(xiàn)[20]，F(xiàn)astSpeech提供梅爾譜輸入到5種聲碼器中進(jìn)行語音合成．最終APFB-GAN應(yīng)用于端到端時合成語音質(zhì)量比較結(jié)果如表5所示．

表5?對于端到端的合成語音質(zhì)量對比結(jié)果

Tab.5 Comparison results of synthesis quality for end-to-end

從表5可看出，APFB-GAN的MOS得分為4.19，與HiFi-GAN作為聲碼器相差0.04分，MCD值最低，表現(xiàn)最好．具體地，給定文本內(nèi)容“，”，圖2～圖4分別給出了真實語音、APFB-GAN和HiFi-GAN的TTS合成語音的梅爾譜對比，并且對局部片段細(xì)節(jié)進(jìn)行了放大展示．

圖2?真實語音的梅爾譜

圖3?APFB-GAN恢復(fù)語音的梅爾譜

圖4?HiFi-GAN恢復(fù)語音的梅爾譜

由此可以看出，圖3的APFB-GAN的梅爾譜細(xì)節(jié)明顯比圖4的HiFi-GAN恢復(fù)細(xì)節(jié)更清晰，基本接近于圖2中真實語音的梅爾譜．這反映了APFB的分頻鑒別和所提出的時頻譜損失函數(shù)的有效性，可以消除HiFi-GAN的高頻混疊以致高頻成分有所損失的問題．在頻段劃分中雖然在高頻段的劃分較為粗糙，但完整地保留了高頻信息，在對應(yīng)子鑒別器中可以有效獲取高頻特性，因而合成語音的高頻部分更接近真實語音，從而梅爾譜的高頻細(xì)節(jié)更為突出．

5.4?全相位濾波器組的設(shè)定

本節(jié)實驗給出3種具有代表性的頻段劃分方案，驗證不同全相位濾波器組的設(shè)定對于模型訓(xùn)練結(jié)果的影響．具體的方案如下：

方案1 10個頻段：(0，200]Hz、(200，300]Hz、(300，350]Hz、(350，500]Hz、(500，600]Hz、(600，700]Hz、(700，800]Hz、(800，1000]Hz、(1000，1500]Hz、(1500，3400]Hz；

方案2 10個頻段：(0，125]Hz、(125，250]Hz、(250，375]Hz、(375，500]Hz、(500，625]Hz、(625，750]Hz、(750，875]Hz、(875，1000]Hz、(1000，2200]Hz、(2200，3400]Hz；

方案3 7個頻段：(0，250]Hz、(250，300]Hz、(300，450]Hz、(450，500]Hz、(500，750]Hz、(750，1000]Hz、(1000，3400]Hz．

這3種不同的全相位濾波器組對應(yīng)的子鑒別器個數(shù)分別為10個、10個和7個．具有3種不同鑒別器方案的模型在訓(xùn)練后合成語音的MOS得分如圖5所示．

從圖中可以看出方案1的頻段劃分方案效果最好，方案2的線性劃分會導(dǎo)致MOS分的下降，方案3頻段劃分個數(shù)少，存在頻段信息丟失因而會對合成語音的質(zhì)量造成損失．

圖5?不同方案MOS得分對比

6?結(jié)?語

本文提出了基于APFB-GAN的聲碼器設(shè)計，其特色在于將基于全相位濾波器組的頻帶鑒別器完全取代了現(xiàn)有的多周期鑒別器和多尺度鑒別器，并且對損失函數(shù)做了有助于提升高頻細(xì)節(jié)恢復(fù)的時頻譜內(nèi)容的補(bǔ)充，不僅提升了合成語音在頻域中的質(zhì)量，而且大大減少了生成器的模型參數(shù)．因而在同聲翻譯、網(wǎng)絡(luò)資訊播放、有聲閱讀等智能語音合成的場合具有廣泛應(yīng)用前景．

本文研究結(jié)果表明，在深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計中融入解釋性高的信號處理模塊(如全相位濾波器組)，不僅可避免模型參數(shù)在收斂過程的盲目性，而且有助于真正實現(xiàn)高質(zhì)量設(shè)計和輕量級設(shè)計的有效統(tǒng)一．

［1］ Shen J，Pang R，Weiss R J，et al. Natural TTS synthesis by conditioning wavenet on Mel spectrogram predictions[C]//IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP). Piscataway，USA，2018：4779-4783.

［2］ Van den Oord A，Dieleman S，Zen H，et al. Wavenet：A generative model for raw audio[EB/OL]. https://arxiv. org/pdf/1609. 03499. pdf，2016-09-19.

［3］ Neekhara P，Donahue C，Puckette M，et al. Expedit-ing TTS synthesis with adversarial vocoding[EB/OL]. https://arxiv.org/pdf/1904.07944.pdf，2019-07-26.

［4］ Goodfellow I，Pouget-Abadie J，Mirza M，et al. Gen-erative adversarial networks[J]. Communications of the ACM，2020，63(11)：139-144.

［5］ 張淑芳，王沁宇. 基于生成對抗網(wǎng)絡(luò)的虛擬試穿方法[J]. 天津大學(xué)學(xué)報(自然科學(xué)與工程技術(shù)版)，2021，54(9)：925-933.

Zhang Shufang，Wang Qinyu. Generative-adversarial-network-based virtual try-on method[J]. Journal of Tian-jin University(Science and Technology)，2021，54(9)：925-933(in Chinese).

［6］ Kumar K，Kumar R，de Boissiere T，et al. Melgan：Generative adversarial networks for conditional wave-form synthesis[J]. Advances in Neural Information Proc-essing Systems，2019，32：1-12.

［7］ Wang T C，Liu M Y，Zhu J Y，et al. High-resolution image synthesis and semantic manipulation with condi-tional gans[C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，USA，2018：8798-8807.

［8］ Yamamoto R，Song E，Kim J M. Parallel WaveGAN：A fast waveform generation model based on generative adversarial networks with multi-resolution spectrogram [C] //ICASSP 2020-2020 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP). Piscataway，USA，2020：6199-6203.

［9］ Kong J，Kim J，Bae J. Hifi-gan：Generative adversar-ial networks for efficient and high fidelity speech synthe-sis[J]. Advances in Neural Information Processing Sys-tems，2020，33：17022-17033.

［10］ 王兆華，黃翔東. 數(shù)字信號全相位譜分析與濾波技術(shù)[M]. 北京：科學(xué)出版社，2009.

Wang Zhaohua，Huang Xiangdong. All-Phase Digital Spectral Analysis Method[M]. Beijing：Science Press，2009(in Chinese).

［11］ Mao X D，Li Q，Xie H，et al. Least squares generative adversarial networks[C]//Proceedings of the IEEE In-ternational Conference on Computer Vision. Venice，Italy，2017：2794-2802.

［12］ Yamamoto R. Wavenet vocoder[EB/OL]. https://github. com/r9y9/wavenet_vocoder，2020-11-02.

［13］ Kim J-H. Fre-GAN-pytorch[EB/OL]. https://github.com/ rishikksh20/Fre-GAN-pytorch，2021-08-27.

［14］ Kong J. HiFi-GAN[EB/OL]. https://github.com/jik876/ hifi-gan，2020-12-02.

［15］ Prenger R. Waveglow[EB/OL]. https://github.com/ NVIDIA/waveglow，2020-09-03.

［16］ Ito K. The LJ speech dataset[EB/OL]. https://keithito. com/LJ-Speech-Dataset/，2017-10-17.

［17］ Kubichek R. Mel-cepstral distance measure for objective speech quality assessment[C]//Proceedings of IEEE Pa-cific Rim Conference on Communications Computers and Signal Processing. Victoria，Canada，1993：125-128.

［18］ Bakhturina E，Lavrukhin V J，Ginsburg B，et al. Hi-Fi multi-speaker English TTS dataset[EB/OL]. https：//arxiv. org/pdf/2104. 01497. pdf，2021-06-14.

［19］ Ren Y，Ruan Y J，Tan X，et al. Fastspeech：Fast，robust and controllable text to speech[J]. Advances in Neural Information Processing Systems，2019，32：1-13.

［20］ Ren Y. FastSpeech[EB/OL]. https://github.com/xcmyz/ FastSpeech，2022-09-16.

Design of Generative Adversarial Network Vocoder Based on All-Phase Filter Bank Discrimination

Huang Xiangdong1，Wang Junqin1，Ma Jinying2，Zhang Xuanyi3

(1. School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China；2. School of Electronic Engineering，Tianjin University of Technology and Education，Tianjin 300222，China；3. Georgia Tech Shenzhen Institute(GTSI)，Tianjin University，Shenzhen 518067，China)

To achieve high-quality，high-efficiency，and low-cost speech synthesis，a generative adversarial network(GAN)vocoder based on all-phase filter bank discrimination(APFB-GAN)is designed and developed herein. The vocoder uses an existing high fidelity generative adversarial network(HiFi-GAN)as a reference and cuts the parameters of the HiFi-GAN multi-receptive field fusion module by about 60%. Furthermore，two innovations are made in the discriminator. First，the multi-scale discriminator and multi-period discriminator in HiFi-GAN are replaced with a discriminator based on an all-phase filter bank，which essentially overcomes the shortcomings of the original model that cannot flexibly extract features based on the nonuniform band distribution of speech energy. Second，a short-time Fourier transform spectral loss function based on frequency band weighted multiwindow length is proposed，and the discriminator is used to increase the stability of training. Experimental results show that the speech quality synthesized by the APFB-GAN vocoder is comparable to that synthesized by HiFi-GAN，and its high-frequency detail characteristics are highly prominent. The parameters of the proposed model are only 28.78% compared to those of HiFi-GAN，and the synthesis speed on the GPU is 2.4 times that of HiFi-GAN.

speech synthesis；vocoder；generative adversarial network(GAN)；all-phase filter bank(APFB)

10.11784/tdxbz202207049

TN912.33

A

0493-2137(2023)08-0815-08

2022-07-31；

2022-12-02.

黃翔東（1979—??），男，博士，教授，xdhuang@tju.edu.cn.Email：m_bigm@tju.edu.cn

馬金英，majinying@tju.edu.cn.

青海省基礎(chǔ)研究計劃面上資助項目(2021-ZJ-910).

the General Program of Foundation Research Plan of Qinghai Province，China(No. 2021-ZJ-910).

(責(zé)任編輯：孫立華)