資源匱乏多語(yǔ)言的語(yǔ)種辨識(shí)技術(shù)研究

毛雪麗，米吉提·阿不里米提，艾斯卡爾·艾木都拉

(新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046)

1 引言

語(yǔ)種識(shí)別，是通過(guò)計(jì)算機(jī)對(duì)給定的語(yǔ)音信號(hào)進(jìn)行分析處理、自動(dòng)識(shí)別其所屬語(yǔ)言種類的過(guò)程[1]。作為語(yǔ)音識(shí)別及相關(guān)領(lǐng)域的一個(gè)前端技術(shù)，語(yǔ)種識(shí)別也被稱為語(yǔ)言辨識(shí)。隨著全球化的發(fā)展，跨國(guó)語(yǔ)言交流日益增多，導(dǎo)致多語(yǔ)言共生的現(xiàn)象頻繁出現(xiàn)，許多領(lǐng)域?qū)φZ(yǔ)種識(shí)別及相關(guān)技術(shù)的需求也愈加迫切，進(jìn)而推動(dòng)了語(yǔ)種識(shí)別在多語(yǔ)言語(yǔ)音處理方面的發(fā)展。國(guó)際上和國(guó)內(nèi)的眾多研究機(jī)構(gòu)，如MIT林肯實(shí)驗(yàn)室，卡耐基梅隆大學(xué)，國(guó)內(nèi)的中科院自動(dòng)化所、中科院聲學(xué)所、中科大等，對(duì)語(yǔ)種識(shí)別技術(shù)進(jìn)行了廣泛的研究[2]。但國(guó)內(nèi)外的研究主要集中在英語(yǔ)，法語(yǔ)，西班牙語(yǔ)、德語(yǔ)、阿拉伯語(yǔ)等通用語(yǔ)言上，而對(duì)資源匱乏語(yǔ)言的研究相對(duì)較少，尤其是資源匱乏的同語(yǔ)系語(yǔ)言的語(yǔ)種識(shí)別。一是由于語(yǔ)料資源的缺少，主要表現(xiàn)在語(yǔ)音數(shù)據(jù)、文本數(shù)據(jù)、音素集、發(fā)音詞典等方面。二是由于語(yǔ)言的復(fù)雜性和個(gè)異性較強(qiáng)，使得不同語(yǔ)言在語(yǔ)音和語(yǔ)法層次有較大的差異性，使得該類語(yǔ)言的語(yǔ)種識(shí)別研究面臨極大的挑戰(zhàn)。

2 相關(guān)工作

早期的語(yǔ)種識(shí)別屬于傳統(tǒng)方法，主要是基于音素特征和基于聲學(xué)特征的語(yǔ)種識(shí)別等。基于音素特征的語(yǔ)種識(shí)別利用不同語(yǔ)種的音素搭配關(guān)系作為差異特征。利用音素識(shí)別器，得到語(yǔ)音信號(hào)的最優(yōu)音素序列，根據(jù)這個(gè)序列為每個(gè)語(yǔ)種建立N-Gram模型?；诼晫W(xué)特征的語(yǔ)種識(shí)別，通過(guò)提取語(yǔ)音信號(hào)的聲學(xué)特征，采用概率統(tǒng)計(jì)對(duì)其進(jìn)行建模。常用的聲學(xué)特征有梅爾頻率倒譜系數(shù)(Mel-Frequency Cepstral Coefficient，MFCC)[3]、感知線性預(yù)測(cè)系數(shù)(Perceptual Linear Predictive，PLP)[4]、移位差分倒譜系數(shù)(Shifted Delta Cepstrum，SDC)[5]等。主流的語(yǔ)種識(shí)別系統(tǒng)主要有高斯混合模型-全局背景模型(Gaussian Mixture Model-Universal Background Model，GMM-UBM)[6]、高斯超向量-支持向量機(jī)(GMM SuperVector-SupportVector Machines，GSV-SVM)[7]和基于全差異空間(Total Tariability，TV)[8]的i-vector 系統(tǒng)等。

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，DNNs)[9]模型被應(yīng)用于語(yǔ)種識(shí)別，并取得了良好的發(fā)展。一方面是從特征提取出發(fā)，文獻(xiàn)[10]利用DNN提取了深度瓶頸特征(Deep Bottleneck Feature，DBF)；另一方面是從模型出發(fā)，文獻(xiàn)[11]提出了基于深度神經(jīng)網(wǎng)絡(luò)的全差異空間(Total Varaibility，TV)建模方法 進(jìn)行了語(yǔ)種識(shí)別。此外，也出現(xiàn)了深度學(xué)習(xí)端到端語(yǔ)種識(shí)別系統(tǒng)。2014年Google的研究人員將特征提取、特征變換和分類結(jié)合到一個(gè)神經(jīng)網(wǎng)絡(luò)模型中，這是端到端系統(tǒng)首次應(yīng)用于語(yǔ)種識(shí)別任務(wù)中[12]。在這之后，研究者開(kāi)始采用不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行語(yǔ)種識(shí)別的研究，包括時(shí)延神經(jīng)網(wǎng)絡(luò)(Time-Delay Neural Network，TDNN)[13]，長(zhǎng)短時(shí)記憶遞歸神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory-Recurrent Neural Network，LSTM-RNN)[14]等。2016年，Geng等人[15]將注意力機(jī)制模型(Attention-based model)引入到語(yǔ)種識(shí)別系統(tǒng)中。2017年，Bartz等人[16]利用混合卷積遞歸神經(jīng)網(wǎng)絡(luò)(CRNN)進(jìn)行語(yǔ)種識(shí)別。

在文獻(xiàn)[16]的工作基礎(chǔ)上，本文利用CNN-BiGRU模型對(duì)同語(yǔ)系(阿爾泰語(yǔ)系的哈薩克語(yǔ)和維吾爾語(yǔ)、漢藏語(yǔ)系的漢語(yǔ)和藏語(yǔ))和跨語(yǔ)系(哈薩克語(yǔ)、維吾爾語(yǔ)、漢語(yǔ)和藏語(yǔ))語(yǔ)言進(jìn)行了研究。首先將語(yǔ)音數(shù)據(jù)轉(zhuǎn)化為相應(yīng)的灰度語(yǔ)譜圖，其次利用CNN提取語(yǔ)譜圖的空間特征，之后運(yùn)用BiGRU提取語(yǔ)譜圖的時(shí)間序列信息，最終輸出語(yǔ)種的分類結(jié)果。本文結(jié)構(gòu)安排如下：第三部分介紹采用的的方法，第四部分介紹實(shí)驗(yàn)設(shè)置，第五部分描述實(shí)驗(yàn)并分析結(jié)果，第六部分進(jìn)行總結(jié)。

3 本文方法

3.1 語(yǔ)譜圖生成

語(yǔ)譜圖是語(yǔ)音信號(hào)在圖像域的一種表示方法，它能夠表示語(yǔ)音信號(hào)不同頻段的強(qiáng)度，可以通過(guò)傅里葉變換從語(yǔ)音信號(hào)中產(chǎn)生。語(yǔ)譜圖的橫坐標(biāo)表示時(shí)間，縱坐標(biāo)表示頻率，同時(shí)語(yǔ)譜圖中顯示了大量與語(yǔ)音特性有關(guān)的重要信息。圖1為語(yǔ)音波形及語(yǔ)譜圖示例。其中(a)、(b)分別為維吾爾語(yǔ)(Uyghur)的語(yǔ)音波形和語(yǔ)譜圖；(c)、(d)分別為哈薩克語(yǔ)(Kazakh)的語(yǔ)音波形和語(yǔ)譜圖。語(yǔ)音信號(hào)的語(yǔ)譜圖特征的提取流程如圖2所示。

圖1 語(yǔ)音波形及語(yǔ)譜圖示例

圖2 語(yǔ)譜圖特征的提取流程

在提取特征之前，通常要對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、分幀和加窗。語(yǔ)譜圖特征提取的具體步驟如下所示：

1)預(yù)加重：將原始語(yǔ)音通過(guò)一個(gè)高通濾波器，其濾波器函數(shù)如式(1)所示。

H(Z)=1-μ/z

(1)

其中，μ值通常介于0.9-1之間，一般選μ值為0.97。

2)分幀：語(yǔ)音信號(hào)具有短時(shí)平穩(wěn)性。因此，要進(jìn)行短時(shí)分析，需要進(jìn)行分幀。分幀時(shí)，相鄰兩幀之間存在重疊部分，是幀移，可以使得相鄰兩幀可以平滑過(guò)渡。常用的幀長(zhǎng)為25ms，幀移為10ms。

3)加窗：為了避免頻譜的混疊。常見(jiàn)的窗函數(shù)有漢明窗(Hamming)、漢寧窗(Hanning)等。漢明窗函數(shù)如式(2)所示。

(2)

4)快速傅里葉變換：語(yǔ)音信號(hào)完成預(yù)處理后，采用快速傅里葉變換(fast Fourier transform，F(xiàn)FT)將語(yǔ)音信號(hào)從時(shí)域轉(zhuǎn)換到頻域，計(jì)算過(guò)程如式(3)所示

(3)

其中，x(n)是離散時(shí)域的語(yǔ)音信號(hào)，X(k)是頻域的語(yǔ)音信號(hào)，N表示傅里葉變換的點(diǎn)數(shù)，N=0，1，…，n-1。

5)取功率譜：將語(yǔ)音信號(hào)的頻譜取模的平方，得到語(yǔ)音信號(hào)的功率譜。

(4)

其中，X(k)是頻域的語(yǔ)音信號(hào)，S(k)是語(yǔ)音信號(hào)的功率譜，N表示傅里葉變換的點(diǎn)數(shù)。

6)取對(duì)數(shù)：對(duì)功率譜進(jìn)行取對(duì)數(shù)運(yùn)算，得到語(yǔ)譜圖特征。

3.2 雙向門(mén)控循環(huán)單元

卷積網(wǎng)絡(luò)對(duì)圖像進(jìn)行處理時(shí)，是把圖像整體送入網(wǎng)絡(luò)，進(jìn)行一層一層的卷積運(yùn)算，因而卷積網(wǎng)絡(luò)對(duì)圖片的分類有較好的效果。但是，對(duì)于與時(shí)間序列相關(guān)的任務(wù)，卷積網(wǎng)絡(luò)的表現(xiàn)會(huì)相對(duì)遜色一些。因此，采用了循環(huán)網(wǎng)絡(luò)，它可以很好的處理時(shí)間序列任務(wù)。Cho等人[17]提出門(mén)控循環(huán)單元(Gated Recurrent Units，GRU)，雙向門(mén)控循環(huán)單元(Bidirectional GRU，BiGRU)是由前向和后向的GRU構(gòu)成，是一種雙向的網(wǎng)絡(luò)結(jié)構(gòu)。其中，前向GRU學(xué)習(xí)當(dāng)前時(shí)刻之前的信息，而后向GRU學(xué)習(xí)當(dāng)前時(shí)刻以后的信息，因此該網(wǎng)絡(luò)能夠?qū)W習(xí)到時(shí)間上下文信息，從而彌補(bǔ)卷積網(wǎng)絡(luò)的不足。BiGRU網(wǎng)絡(luò)由輸入層、前向GRU和后向GRU以及輸出層等四部分組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 BiGRU網(wǎng)絡(luò)結(jié)構(gòu)

圖5 基于CNN-BiGRU的語(yǔ)種識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

其中，inputt-1、inputt、inputt+1分別表示t-1、t、t+1時(shí)刻所對(duì)應(yīng)的輸入，outputt-1、outputt、outputt+1分別表示t-1、t、t+1時(shí)刻對(duì)應(yīng)的輸出。前向GRU，是指沿著時(shí)刻的正向順序，計(jì)算其輸出。后向GRU，指沿著時(shí)刻的反向順序，計(jì)算其輸出，最后在相應(yīng)的時(shí)刻將二者的輸出一起作為最后的輸出。與LSTM相比，GRU少了存儲(chǔ)單元的設(shè)置，它通過(guò)隱藏狀態(tài)來(lái)信息傳遞，從而使其網(wǎng)絡(luò)中的學(xué)習(xí)參數(shù)量減少。GRU有更新門(mén)和重置門(mén)，其中，更新門(mén)能夠抑制被遺忘的信息和被添加的新信息；重置門(mén)可以反映了對(duì)先前信息的遺忘程度。通過(guò)更新門(mén)和重置門(mén)，GRU可以實(shí)現(xiàn)對(duì)輸入值、記憶值和輸出值的控制，GRU的結(jié)構(gòu)如圖4所示。

圖4 GRU網(wǎng)絡(luò)結(jié)構(gòu)

在t時(shí)刻，GRU更新的過(guò)程如以下的計(jì)算公式所示

rt=σ(Wr·[ht-1，xt])

(5)

zt=σ(Wz·[ht-1，xt])

(6)

(7)

(8)

3.3 基于CNN-BiGRU的語(yǔ)種識(shí)別模型

本文采用CNN-BiGRU網(wǎng)絡(luò)進(jìn)行語(yǔ)種識(shí)別，該網(wǎng)絡(luò)主要包括兩個(gè)部分。第一部分為卷積網(wǎng)絡(luò)，能夠提取語(yǔ)譜圖的局部特征；第二部分是雙向門(mén)控循環(huán)單元網(wǎng)絡(luò)，可以更好地捕捉語(yǔ)譜圖中的時(shí)序信息。卷積網(wǎng)絡(luò)使用4個(gè)卷積層和4個(gè)最大池化層。其中，卷積層中卷積核的大小和數(shù)目分別為(7*7，16)，(5*5，32)，(3*3，32)，(3*3，32)。每個(gè)最大池化層中卷積核的大小為3*3，步長(zhǎng)為2。BiGRU中含有1024個(gè)神經(jīng)元(前向和后向的GRU各有512個(gè)神經(jīng)元)，之后送入全連接層，實(shí)現(xiàn)分類?；贑NN-BiGRU的語(yǔ)種識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，該網(wǎng)絡(luò)各層的參數(shù)信息如表1所示。

表1 CNN-BiGRU網(wǎng)絡(luò)各層的參數(shù)信息

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)集

東方語(yǔ)種識(shí)別比賽(AP17 Oriental Language Recognition)的任務(wù)是識(shí)別漢語(yǔ)、粵語(yǔ)、維吾爾語(yǔ)、哈薩克語(yǔ)等東方語(yǔ)言[18]。本文在該比賽提供的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含由M2ASR NSFC[19]項(xiàng)目提供的維吾爾語(yǔ)，哈薩克語(yǔ)和藏語(yǔ)三種少數(shù)民族語(yǔ)言。本文從東方語(yǔ)種數(shù)據(jù)集中抽取維吾爾語(yǔ)、哈薩克語(yǔ)、漢語(yǔ)、藏語(yǔ)等4種語(yǔ)言，每種語(yǔ)言各1800條語(yǔ)音數(shù)據(jù)，按照70% (訓(xùn)練集)、20% (驗(yàn)證集)、10% (測(cè)試集)的比例進(jìn)行劃分，數(shù)據(jù)集結(jié)構(gòu)如表2所示。

表2 數(shù)據(jù)集結(jié)構(gòu)

4.2 實(shí)驗(yàn)設(shè)置

本文利用pytorch框架，在NVIDIA GeForce GTX 1080GPU上搭建語(yǔ)種識(shí)別模型進(jìn)行實(shí)驗(yàn)。將語(yǔ)音數(shù)據(jù)經(jīng)過(guò)預(yù)處理和特征提取后輸入到語(yǔ)種識(shí)別模型，訓(xùn)練和驗(yàn)證網(wǎng)絡(luò)模型時(shí)，其輸入為224*224的灰度語(yǔ)譜圖，批量大小為32*32(batch size)，采用Adam優(yōu)化器，學(xué)習(xí)率為0.002，損失函數(shù)采用交叉熵函數(shù)。采用的性能評(píng)估指標(biāo)有精確率、召回率、準(zhǔn)確率和F1值。精確率(Precision，P)是指模型預(yù)測(cè)正確的正例數(shù)占預(yù)測(cè)為正例總樣本的比例。召回率(Recall，R)是指模型預(yù)測(cè)正確的正例數(shù)占真正的正例樣本的比例。準(zhǔn)確率指(Accuracy，acc)是指模型正確分類的樣本占總樣本的比例，F(xiàn)1是一個(gè)綜合評(píng)價(jià)指標(biāo)，是精確率和召回率的調(diào)和平均值。準(zhǔn)確率和F1值越高，則表明模型的識(shí)別效果越好。

5 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)分為兩部分，第一部分是采用本文研究的模型(CNN-BiGRU)對(duì)不同的語(yǔ)音特征進(jìn)行實(shí)驗(yàn)，第二部分是采用不同的模型對(duì)最好的特征進(jìn)行實(shí)驗(yàn)。使用相同的數(shù)據(jù)集，不斷訓(xùn)練學(xué)習(xí)，調(diào)整參數(shù)優(yōu)化結(jié)果，選取最優(yōu)的結(jié)果進(jìn)行對(duì)比。

5.1 不同特征對(duì)比實(shí)驗(yàn)

選取語(yǔ)譜圖特征、FBank特征、MFCC特征等三種不同的特征提取方式，使用本文研究的模型分別對(duì)同語(yǔ)系語(yǔ)言(阿爾泰語(yǔ)系的維吾爾語(yǔ)和哈薩克語(yǔ)、漢藏語(yǔ)系的漢語(yǔ)和藏語(yǔ))以及跨語(yǔ)系語(yǔ)言(維吾爾語(yǔ)、哈薩克語(yǔ)、漢語(yǔ)和藏語(yǔ))進(jìn)行實(shí)驗(yàn)，分析模型CNN-BiGRU在不同特征下的效果。實(shí)驗(yàn)結(jié)果如表3、4、5所示。

表3 特征對(duì)比實(shí)驗(yàn)結(jié)果(維吾爾語(yǔ)和哈薩克語(yǔ)數(shù)據(jù)集)

表4 特征對(duì)比實(shí)驗(yàn)(漢語(yǔ)和藏語(yǔ)數(shù)據(jù)集)

表5 特征對(duì)比實(shí)驗(yàn)結(jié)果(維吾爾語(yǔ)、哈薩克語(yǔ)、漢語(yǔ)和藏語(yǔ)數(shù)據(jù)集)

從表3、4、5中可以看出，在語(yǔ)譜圖特征、FBank特征、MFCC特征等三種特征之中，使用語(yǔ)譜圖特征進(jìn)行實(shí)驗(yàn)的效果最好，而使用MFCC特征進(jìn)行實(shí)驗(yàn)的效果最差，這是由于語(yǔ)譜圖特征是語(yǔ)音數(shù)據(jù)的頻域表示，包含的語(yǔ)音信息最為豐富，而FBank、MFCC特征是在語(yǔ)譜圖基礎(chǔ)上進(jìn)行一系列變換生成的，會(huì)導(dǎo)致部分語(yǔ)音信息丟失，從而影響實(shí)驗(yàn)效果。同時(shí)可以看出在同語(yǔ)系(阿爾泰語(yǔ)系、漢藏語(yǔ)系)語(yǔ)種識(shí)別中，漢藏語(yǔ)系的漢語(yǔ)和藏語(yǔ)的識(shí)別效果要優(yōu)于阿爾泰語(yǔ)系的維語(yǔ)和哈薩克語(yǔ)，這是由于漢語(yǔ)和藏語(yǔ)之間的發(fā)音差異遠(yuǎn)比維吾爾語(yǔ)和哈薩克語(yǔ)大，使得網(wǎng)絡(luò)提取和學(xué)習(xí)特征更容易，識(shí)別效果更好。

5.2 不同模型對(duì)照實(shí)驗(yàn)

設(shè)置CNN、GRU、LSTM、CNN-BiLSTM、CNN-BiGRU等五種模型作為對(duì)照實(shí)驗(yàn)，分別對(duì)同語(yǔ)系語(yǔ)言 (阿爾泰語(yǔ)系的維吾爾語(yǔ)和哈薩克語(yǔ)、漢藏語(yǔ)系的漢語(yǔ)和藏語(yǔ)) 以及跨語(yǔ)系語(yǔ)言 (維吾爾語(yǔ)、哈薩克語(yǔ)、漢語(yǔ)和藏語(yǔ)) 的語(yǔ)譜圖特征進(jìn)行實(shí)驗(yàn)，分析不同模型在語(yǔ)譜圖特征下的性能。實(shí)驗(yàn)結(jié)果如表6、7、8所示。

表6 模型對(duì)比實(shí)驗(yàn)結(jié)果(維吾爾語(yǔ)和哈薩克語(yǔ)數(shù)據(jù)集)

表7 模型對(duì)比實(shí)驗(yàn)結(jié)果(漢語(yǔ)和藏語(yǔ)數(shù)據(jù)集)

表8 模型對(duì)比實(shí)驗(yàn)結(jié)果(維吾爾語(yǔ)、哈薩克語(yǔ)、漢語(yǔ)和藏語(yǔ)數(shù)據(jù)集)

從表6-8可看出，LSTM模型的的F1和Acc均為幾種模型中最低的，這是由于LSTM主要關(guān)注的是時(shí)序信息，無(wú)法像卷積網(wǎng)絡(luò)一樣很好地捕捉到語(yǔ)譜圖的圖像特征。對(duì)比幾種不同的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，可以看出，GRU模型作為L(zhǎng)STM模型的優(yōu)化，兩者的性能非常接近，但是GRU模型的性能比LSTM模型略好。同時(shí)CNN與GRU/LSTM兩種模型融合后的網(wǎng)絡(luò)性能均優(yōu)于CNN、GRU和LSTM模型。其中CNN-BiGRU的準(zhǔn)確率相對(duì)CNN、GRU有所提升，CNN-BiLSTM的準(zhǔn)確率相對(duì)CNN、LSTM亦是如此，說(shuō)明融合后的網(wǎng)絡(luò)能夠更好地利用語(yǔ)譜圖圖像特征和時(shí)序信息，從而提升語(yǔ)種識(shí)別的準(zhǔn)確率和F1值，獲得較好的結(jié)果。

6 總結(jié)

本文構(gòu)建了CNN-BiGRU網(wǎng)絡(luò)語(yǔ)種識(shí)別模型，對(duì)兩個(gè)同語(yǔ)系語(yǔ)言(阿爾泰語(yǔ)系的維吾爾語(yǔ)、哈薩克語(yǔ)，漢藏語(yǔ)系的漢語(yǔ)和藏語(yǔ))和跨語(yǔ)系語(yǔ)言(維吾爾語(yǔ)、哈薩克語(yǔ)、漢語(yǔ)和藏語(yǔ))進(jìn)行了語(yǔ)種識(shí)別。通過(guò)提取不同的特征和設(shè)置不同模型的比較實(shí)驗(yàn)，進(jìn)行了結(jié)果分析。實(shí)驗(yàn)發(fā)現(xiàn)，最有效的特征是語(yǔ)譜圖特征，表現(xiàn)最好的模型是CNN-BiGRU網(wǎng)絡(luò)。實(shí)驗(yàn)提取語(yǔ)音數(shù)據(jù)的有效特征，并提取語(yǔ)譜圖的視覺(jué)特征和時(shí)序信息特征，將其送入神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練學(xué)習(xí)，最終分類輸出語(yǔ)言類別。通過(guò)實(shí)驗(yàn)可以表明，本文提出的方法在同語(yǔ)系語(yǔ)言及跨語(yǔ)系語(yǔ)言的語(yǔ)種識(shí)別上都取得了較好的結(jié)果，但是本文涉及的語(yǔ)種較少，語(yǔ)料數(shù)據(jù)也比較少。在接下來(lái)的工作中，將會(huì)繼續(xù)在較大語(yǔ)料以及其它語(yǔ)種、方言上進(jìn)行語(yǔ)種識(shí)別的探索，進(jìn)一步開(kāi)展相關(guān)研究。