基于鏈接時序分類的日語語音識別

孫 健， 郭 武

(中國科學技術大學 語音及語言信息處理國家工程實驗室， 合肥 230027)

1 引 言

隨著深度學習的快速發(fā)展，神經(jīng)網(wǎng)絡取代混合高斯模型[1](Gaussian Mixture Model，GMM) ，并與隱馬爾可夫模型[2](Hidden Markov Model，HMM)相結合，對狀態(tài)進行建模，使得大規(guī)模連續(xù)語音識別的性能獲得了顯著的提高.近年來，循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks，RNN)及其變體--長短時記憶網(wǎng)絡[3](Long Short-Term Memory，LSTM)成功應用于語音識別，解決了普通的深度神經(jīng)網(wǎng)絡[4](Deep Neural Network, DNN)無法對語音信號時序特性建模的缺點，語音識別性能進一步提升.但是以HMM為框架的識別算法對語言學知識的要求較高，包括上下文相關音素狀態(tài)綁定，發(fā)音字典的準備等等，開發(fā)難度較大.另外訓練過程中，需要通過強制對齊，獲得幀級標注，任務復雜程度較高，且忽略了語音序列內(nèi)在特性，無法全局優(yōu)化整個語音序列.

為解決上述問題，A.Graves等人提出鏈接時序分類技術[5,6](Connectionist Temporal Classification，CTC)和端到端的識別系統(tǒng)，解決了輸入和輸出標簽對應關系未知情況下的序列分類問題，全局優(yōu)化語音序列.與之前提到的混合模型不同，CTC不需要隱馬爾可夫模型，僅需要單獨的神經(jīng)網(wǎng)絡即可完成整個語音識別任務.在基于CTC的端到端系統(tǒng)中，將語音序列直接映射到標注序列所在的空間，消減了發(fā)音詞典，語言模型等成分，極大地簡化了語音識別的步驟[7,8].

本文探討了日語語音識別的相關問題.日語是日本國的官方語言，日語中主要使用的文字包括平假名(例如："あ")，片假名(例如："テ")，和日語漢字(例如："日本語").平假名包含了日語中所有的發(fā)音[9]，片假名用于書寫外來詞，擬聲詞，擬態(tài)詞和一部分動、植物的名稱，日語漢字用于表示實物的名稱或動作.日語中一般混合使用三種字體，其中平假名和片假名一一對應，由于假名同音歧義的現(xiàn)象比較嚴重，因此日語中漢字使用十分廣泛，常用漢字有2000多個，而且所有的漢字均可通過假名表達.雖然日語中的發(fā)音單元并不多，但書寫單元種類繁多，表現(xiàn)形式復雜，因此以CTC技術為核心的端到端語音識別系統(tǒng)中，選擇合適的建模單元能夠?qū)ψR別性能進一步優(yōu)化.本文首先采用字型(gra-phoneme)即全部的假名和常用漢字共2795個單元進行建模，實驗結果與雙向長短時記憶網(wǎng)絡(BiLSTM-HMM)系統(tǒng)差距較大.進一步，在已經(jīng)知道日語語音學知識的情況下，將其結合到端到端識別系統(tǒng)中.選擇以音素為建模單元訓練任務，系統(tǒng)性能得到提升.

在進行CTC的實驗中，我們發(fā)現(xiàn)字型作為建模單元的神經(jīng)網(wǎng)絡輸出的后驗概率比較尖銳，隨機初始化的網(wǎng)絡容易陷入局部最優(yōu)解，因此本文把以音素為建模單元的訓練模型作為初始網(wǎng)絡以提升前者模型的魯棒性，使得識別性能大幅提高，此外我們將傳統(tǒng)的語言模型與CTC相結合，系統(tǒng)效果獲得明顯的提升，超過當前主流的BiLSTM-HMM系統(tǒng).

2 基于深度神經(jīng)網(wǎng)絡的聲學模型

當前語音識別的主要方法是采用循環(huán)神經(jīng)網(wǎng)絡(RNN)及其變體和隱馬爾可夫模型相結合進行聲學模型的訓練.循環(huán)神經(jīng)網(wǎng)絡利用過去的信息，將上一時刻隱層輸出輸入到當前時刻的隱層中，保留了之前的信息，如圖1所示.語音信號作為一個時間序列，上下文依賴性較強，因此循環(huán)神經(jīng)網(wǎng)絡很快被應用于語音識別.理論上RNN可以處理任意長的序列，但是由于梯度消失，導致RNN無法利用較遠時刻的信息.

圖1 RNN時間展開圖 Fig.1 Unfolded RNN structure

為解決這一問題，RNN衍生出一種變體--長短時記憶網(wǎng)絡[10](LSTM).原始的RNN網(wǎng)絡中，隱藏層只有一個狀態(tài)，無法解決序列的長時依賴問題，所以在隱藏層節(jié)點中額外引入一個cell單元，cell單元利用了門的概念，通過門的控制保留長時信息.Cell單元包含"輸入門"，"輸出門"和"遺忘門"，其中輸入門決定當前語音信號如何保存到cell單元中，輸出門決定cell單元狀態(tài)如何作為隱藏層的輸出，遺忘門決定上一時刻的cell單元狀態(tài)如何保存到當前時刻的cell單元中.

圖2展示了cell單元的工作原理，輸入信號包括當前輸入信息xt，上一時刻隱藏層的輸出ht-1，以及上一時刻的cell單元狀態(tài)Ct，cell單元的輸出包括隱藏層當前狀態(tài)ht，以及Cell單元的當前狀態(tài)Ct.

圖2 cell結構 Fig.2 Architecture of memory cell

具體計算見式(1)到式(6)，其中ft，it，ot分別表示遺忘門，輸入門和輸出門，° 表示按元素乘運算.

ft=σ(Wf[ht-1,xt]+bf)

(1)

it=σ(Wi[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo[ht-1,xt]+bo)

(5)

ht=ot°tanh(Ct)

(6)

長短時記憶網(wǎng)絡利用cell結構解決了時間序列的長時依賴問題，有效使用了當前時刻之前的信息，然而在一些任務中，除了過去的信息，未來信息也很重要，因此雙向長短時記憶網(wǎng)絡[11]登上舞臺.本文在后續(xù)實驗中，采用雙向長短時記憶網(wǎng)絡完成CTC系統(tǒng)的搭建.

3 鏈接時序分類

3.1 鏈接時序分類簡介

鏈接時序分類(CTC)主要用于處理時序分類任務，尤其是輸入信號與目標標簽對齊結果未知的情況.鏈接時序分類技術在整個輸入序列的任何一點都可以進行標簽預測，解決了傳統(tǒng)語音識別中需要強制對齊的問題.通過鏈接時序分類技術進行神經(jīng)網(wǎng)絡訓練的準則稱為CTC準則.

(7)

基于集合A′得到序列l(wèi)，需要映射到集合A所對應的空間，因此定義函數(shù)F:A′T→A

(8)

O=-lnP(L|x)

(9)

3.2 目標函數(shù)計算

(10)

根據(jù)上述公式，目標函數(shù)可表示為時刻T輸出blank或者沒有輸出blank的前向概率之和，即：

P(L|x)=α(T,2M+1)+α(T,2M)

(11)

所有正確的路徑必須起始于blank，或者是L的第一個輸出標簽.

(12)

(13)

α(1,m)=0,?m>2

(14)

故前向概率的迭代形式如下：

(15)

其中

(16)

在每一個時間點都要考慮是否有足夠的時長來完成剩余序列，故前向概率需要滿足下式：

α(t,m)=0 ?m<2M-2(T-t)

(17)

同理定義后向概率β(t,m)表示滿足前向概率α(t,m)，且從t+1時刻開始到輸出序列L結束的所有可能路徑的概率之和，計算過程與前向概率類似，不再贅述.

因此，在訓練樣本集合S={x,L}上的神經(jīng)網(wǎng)絡的損失函數(shù)可表示為：

(18)

(19)

3.3 基于CTC的日語識別單元選擇

日語擁有復雜的書寫系統(tǒng)，主要包括平假名、片假名和日語漢字三種文字系統(tǒng)，同時也可以以日語羅馬字轉(zhuǎn)寫為拉丁字母.日語漢字的讀音復雜，大多包含音讀(音読)和訓讀(訓読)兩類，音讀將古代漢語讀音日語化，訓讀保留漢字含義，采用日語固有讀音方法，通常使用平假名和片假名為日語漢字注音(見圖3).羅馬字多用于商標和招牌，文章中一般很少使用.

圖3 假名注音方式 Fig.3 Pronunciation in kana

現(xiàn)在語音識別有發(fā)音字典，在圖4中，左邊是我們圖3中的假名以及漢字分詞后的詞單元，右側則是在經(jīng)典的語音識別中用到的所謂音素，根據(jù)每個字的發(fā)音組成進行處理.

圖4 發(fā)音字典 左側是假名，漢字以及兩者構成的詞語，右側是音素組成 Fig.4 Pronunciation dictionary on the left side of the pronunciation dictionary are kana, kanji and the words formed by the two. The right side is composed of phonemes

在經(jīng)典的DNN-HMM或者LSTM-HMM框架下，將圖4中的音素的綁定三音子單元(tri-phone)中的狀態(tài)作為神經(jīng)網(wǎng)絡的建模單元.另一方面，采用CTC建模的策略下，可以直接忽略圖4所示的詞典，直接采用圖3所示的標注來進行模型訓練.本文中，采用兩種策略實現(xiàn)CTC的日語識別，首先是直接采用假名(平假名、片假名)和漢字作為聲學建模的輸出單元，也就是最常用的日語分詞都不再采用，直接根據(jù)字型(gra-phoneme)來做輸出單元，而不考慮這些字到底是單音節(jié)還是多音節(jié)，或者根本都無法組成一個音節(jié)，本文的策略對非拉丁字母的端對端識別具有一定的參考；第二種策略是，既然有日語分詞和日語詞典，我們將其應用到CTC的聲學建模中，也就是把一句話的gra-phoneme拆解成以單音素(mono-phone)為單元的音素串，但是采用CTC的優(yōu)化準則來訓練聲學模型，從訓練語句一句話的角度來優(yōu)化模型參數(shù).

3.4 CTC模型訓練參數(shù)初始化

相對英語和漢語這兩種世界廣泛應用的語言而言，日語識別語料還是相對較少，如何在語料較少的情況下訓練一個穩(wěn)健的聲學模型也是一個很重要的研究點.對于深度學習而言，首先采用相對好的參數(shù)來初始化模型參數(shù)，避免陷入局部最優(yōu)解，是目前最常用的一種策略.最常用的初始化策略是采用大語種(如英漢)的模型參數(shù)作為初始值.故本文在搭建BiLSTM-HMM系統(tǒng)時，采用300小時的switchboard英語數(shù)據(jù)集的訓練結果作為初始網(wǎng)絡，增強系統(tǒng)魯棒性.

正像漢語一樣，日語中也存在著多發(fā)音字現(xiàn)象，而直接把字形拿來建模是無法考慮這種情況的；另外，不同字的字頻分布也很不均勻，在基于日語字的CTC系統(tǒng)的訓練過程中，我們發(fā)現(xiàn)隨機初始化的CTC相較于傳統(tǒng)的HMM模型，神經(jīng)網(wǎng)絡輸出的后驗概率比較尖銳，訓練過程不穩(wěn)定，容易過早收斂，陷入局部最優(yōu)解.考慮到已經(jīng)有日語的音素信息的詞典，而這種音素信息相對而言比較可靠，以音素為建模單元的模型相對而言穩(wěn)健性更好，將其作為以字為建模單元的初始網(wǎng)絡，從而可以避免陷入局部最優(yōu)解的不足.

4 實驗結果及分析

4.1 實驗數(shù)據(jù)集和實驗平臺

本文在King-ASR-117日語數(shù)據(jù)集上進行實驗.該數(shù)據(jù)庫收集了安靜環(huán)境下122945條語音數(shù)據(jù)，長達145.2小時，所有語音數(shù)據(jù)均為16KHz采樣率、16bit、單通道的格式.在實驗中我們挑選了～106.2k條語音數(shù)據(jù)(～123h)作為訓練集，～5.4k條語音數(shù)據(jù)(～6.21h)作為開發(fā)集，～2.5k條語音數(shù)據(jù)(～2.88h)作為測試集.本文以Kaldi[12]和Eesen[13]作為實驗平臺，比較了基于隱馬爾可夫模型的語音識別系統(tǒng)和基于鏈接分類技術的端到端系統(tǒng)的識別效果.

4.2 基于HMM的語音識別系統(tǒng)

實驗中將39維梅爾頻率倒譜系數(shù) (MFCC特征)作為GMM-HMM混合系統(tǒng)的輸入信號，在GMM-HMM系統(tǒng)中，通過高斯分裂和決策樹聚類最終綁定狀態(tài)數(shù)目為12970，用得到的模型對訓練數(shù)據(jù)做強制對齊得到幀級標簽，作為后續(xù)神經(jīng)網(wǎng)絡的訓練數(shù)據(jù).

在LSTM-HMM訓練中，采用108維filterbank特征進行訓練.當前幀利用之前發(fā)生的40幀信號獲得過去信息，同時在輸入語音幀和輸出標簽中加入一定時延得到一部分之后的信息.網(wǎng)絡共有3層隱藏層，隱層節(jié)點為1024，輸出維度仍然是12970.

為更好地利用上下文信息，我們采用雙向長短時記憶網(wǎng)絡，BiLSTM-HMM系統(tǒng)與LSTM-HMM結構基本一致，只是在當前幀的前后各使用了40幀語音數(shù)據(jù).另外，我們采用英語的SwitchBoard作為初始網(wǎng)絡來提高系統(tǒng)的識別正確率.

4.3 基于CTC的語音識別系統(tǒng)

基于鏈接時序分類的語音識別系統(tǒng)，擯棄了隱馬爾可夫模型，直接從輸入序列映射到輸出序列.本實驗中采取3層隱藏層，每層1024個隱藏節(jié)點的BiLSTM網(wǎng)絡，和108維filterbank特征進行聲學模型的訓練.我們訓練了兩個CTC的基本系統(tǒng)，一個是以字作為神經(jīng)網(wǎng)絡輸出節(jié)點，也就是基于gra-phoneme的系統(tǒng)，另外一個是以音素為神經(jīng)網(wǎng)絡輸出節(jié)點，也就是基于phoneme的系統(tǒng).在這兩個基本系統(tǒng)的基礎上，用后者的訓練得到的網(wǎng)絡來作為初始網(wǎng)絡，再重新優(yōu)化以字作為輸出節(jié)點的系統(tǒng)，得到識別性能更優(yōu)的系統(tǒng).

在搭建以日字為建模單元的CTC系統(tǒng)時，經(jīng)統(tǒng)計，數(shù)據(jù)集中假名、漢字共有2794個單元，測試集中包含少量的集外英語詞匯，故添加1個blank單元，利用2795個建模單元進行實驗.實驗采取多句并行的方法，利用GPU，加快訓練速度.在實驗過程中，我們發(fā)現(xiàn)了不同單元詞頻差異很大，如圖5.這種字頻差異很大會導致模型相對魯棒性較差.

圖5 以字為建模單元，以頻率對不同建模單元分類Fig.5 Gra-phoneme as modeling unit, frequency of different modeling unit

考慮到資源稀疏性對實驗結果的影響，我們利用發(fā)音詞典，以音素為建模單元進行實驗，數(shù)據(jù)集中共有音素237個，加入blank后，網(wǎng)絡的輸出節(jié)點為238，統(tǒng)計各個音素出現(xiàn)的頻率如圖6所示，相對均衡性更好，訓練得到的模型理應更穩(wěn)健.

圖6 以音素為建模單元，以頻率對不同建模單元分類Fig.6 Phoneme as modeling unit, frequency of different modeling unit

得到以音素為建模單元的CTC網(wǎng)絡后，將其作為日字CTC訓練系統(tǒng)的初始網(wǎng)絡，增強系統(tǒng)的魯棒性，避免訓練過程陷入局部最優(yōu)解.

由于基本的CTC方法不考慮語言學知識，嚴重影響識別效果[14-16]，因此本文采用加權有限狀態(tài)轉(zhuǎn)換機[17](Weighted Finite-State Transducer, WFST)的方法，將語言模型，詞典，標注符號打包在一起生成龐大的搜索網(wǎng)絡進行解碼，提高了解碼效率和識別的準確率.

以上描述的多個系統(tǒng)的識別詞錯誤率如表1所示.

4.4 實驗分析

在隱馬爾可夫模型的框架下，LSTM的實驗結果相較于GMM提高了6.57個百分點，可見神經(jīng)網(wǎng)絡對人類認知世界的擬合能力非常強大.將LSTM替換為BiLSTM，神經(jīng)網(wǎng)絡高效地利用上下文的信息，最終我們的基線系統(tǒng)詞錯誤率為16.22%.

表1 實驗結果 Table 1 Experimental results

在基于鏈接時序分類的語音識別系統(tǒng)，我們首先以日字作為建模單元(CTC-Gra-phoneme)，隨機初始化網(wǎng)絡模型，詞錯誤率為17.80%.降低建模單元的顆粒度之后，利用音素作為建模單元(CTC-Phoneme)，實驗性能得到進一步提升，詞錯誤率為17.37%，但相對于BiLSTM-HMM仍有差距，這主要是傳統(tǒng)的HMM建模單元采用的是三音子單元(tri-phone)，而CTC采用的是單音子(mono-phone)，區(qū)分性差一些.但是，將CTC-Phoneme系統(tǒng)得到的網(wǎng)絡作為初始模型添加到日字CTC系統(tǒng)中，最終詞錯誤率為15.53%，這也證明了將音素初始信息加入后，模型參數(shù)更加可靠穩(wěn)健.

基于CTC的日字識別系統(tǒng)對日字進行建模，能夠從語音空間直接映射到手寫空間，針對日語中存在大量的同音歧義字，有比較好的建模能力.在下例中，標注為日語漢字，括號中是日語漢字對應的假名，表明其發(fā)音，其中"次官"和"時間"假名注解相同.可以看到CTC系統(tǒng)和HMM系統(tǒng)的識別結果發(fā)音相同，但是HMM系統(tǒng)的識別結果卻不同于標注.因此選擇端到端的方式針對日語語音識別具有一定的合理性.

例：

標注：次官(じかん) 空(から)

CTC識別結果：次官 空

HMM識別結果：時間(じかん) から

5 實驗總結

本文研究了基于鏈接時序分類的端到端技術，在日語數(shù)據(jù)集上，根據(jù)日語文字的特點，搭建了完整的語音識別系統(tǒng)，通過實驗比較了不同顆粒度建模單元對識別性能的影響，最終基于CTC的語音識別系統(tǒng)性能超越BiLSTM-HMM系統(tǒng)，證明了CTC技術在日語語音識別上的有效性，也驗證了如果能夠?qū)⒁羲匦畔⒔Y合到模型訓練中，可以進一步提升性能.