DTZH1505：大規(guī)模開源中文普通話語音庫

王 東，王麗媛，王大亮，齊紅威

1.西藏民族大學 信息工程學院，陜西 咸陽 712082

2.數(shù)據(jù)堂（北京）科技股份有限公司，北京 100192

語音識別技術作為人工智能技術中的重要組成部分，是人機交互的核心組件之一。語音識別技術的發(fā)展具有很長的歷史，其演變過程歷經(jīng)了以下幾個階段：從1990年至2010年，統(tǒng)計學習模型（主要是GMM-HMM模型）長期占據(jù)主流地位；從2011年至2014年，深度學習開始滲入到語音識別技術中；從2015年至今，端到端的深度學習模型在語音識別研究中廣為使用?，F(xiàn)在，幾乎所有的語音技術研究都直接或間接采用神經(jīng)網(wǎng)絡模型[1-3]，語音識別準確率得到了明顯提升，這得益于算法、算力、數(shù)據(jù)的飛速進步。不同于統(tǒng)計學習模型，神經(jīng)網(wǎng)絡模型的訓練需要更大規(guī)模的數(shù)據(jù)來驅動。然而，絕大多數(shù)中文語音數(shù)據(jù)集是商用的，其費用之昂貴使許多對中文語音識別感興趣的研究人員望而卻步，導致許多創(chuàng)新的想法得不到很好的驗證。

“數(shù)據(jù)開源”活動極大地緩解了因數(shù)據(jù)集過于昂貴而無法獲取的問題，同時吸引了越來越多的人員進行中文語音識別相關方面的研究。其中，openslr（http：//www.openslr.org/）是支持這一活動的一個平臺。表1列舉目前主流的開源中文語音數(shù)據(jù)集。其中，最早開源的中文語音數(shù)據(jù)集是清華大學發(fā)布的thchs30[4]，它極大地推動了中文語音識別研究的發(fā)展。其創(chuàng)建的最初目的是為了彌補863CSL數(shù)據(jù)集中音素不均衡的缺點[5]，所以在設計語料時，它旨在尋求句子數(shù)量與音素覆蓋率之間的平衡，選擇的語料內(nèi)容多為從新聞中獲取的長文本。接著，希爾貝殼也發(fā)布了兩個語音數(shù)據(jù)集aishell1[6]和aishell2[7]，上海原語公開了primewords_set1，沖浪科技發(fā)布了ST-CMDS語音數(shù)據(jù)集。

作為全球使用最廣泛的語言之一，中文相比于其他語言具有更豐富的詞匯、特殊的聲調(diào)表示、獨特的聲韻母結構等特性，這使得中文語音識別研究更加具有挑戰(zhàn)性。然而，相較于工業(yè)級別的英文開源語音數(shù)據(jù)集如librispeech[8]和tedlium[9-11]，中文開源語音數(shù)據(jù)規(guī)模仍太小。此外，中文普通話口語語料庫的建設仍相對滯后，口語中經(jīng)常出現(xiàn)語誤，對語音的文字轉寫和標注費時費力，要求較高，這些因素均制約了口語語料庫的建設，這已成為目前語音識別逐漸滲透實際應用（比如智能客服、語音交互）的一大羈絆。

為緩解以上問題，本文向學術界開源目前規(guī)模最大的中文普通話語音數(shù)據(jù)集DTZH1505。它記錄了6 408位來自中國八大方言地域、33個省份的說話人的自然語言語音，時長達1 505 h，語料內(nèi)容涵蓋社交聊天、人機交互、智能客服以及車載命令等。該數(shù)據(jù)集可應用于多個領域，比如在語言學與社會學領域，可用于語料庫語言學、會話分析、二語習得、語言類型學以及方言學等學科的研究；在計算機科學領域，可用于語音識別、說話人識別、說話人質(zhì)量評估、情感識別等應用的研究。

1 數(shù)據(jù)集構建

1.1 文本語料設計

語料的設計取決于其服務的目標任務，如連續(xù)語句更適用于連續(xù)語音識別任務，而說話人識別任務只需要孤立詞[12]。理想情況下，一個標準的語料庫應該同時適用于上述兩種情景。國內(nèi)的許多語音識別研究人員在這方面做了很多努力，比如社會科學院語言研究所創(chuàng)建的“863連續(xù)語音數(shù)據(jù)庫”863CSL[13]包含了1 500句文本，加上thchs30數(shù)據(jù)集中的1 000句文本，二音子、三音子的覆蓋率可分別達到73.4%、16.8%，然而這些語料多為從新聞中摘取的長文本，絕大多數(shù)內(nèi)容為政治、經(jīng)濟、文化等方面的書面用語。

現(xiàn)在，隨著語音識別技術的逐漸成熟，語音識別應用也越來越深入到人們的日常生活中，其中，人機交互、智能客服等應用已成為語音識別技術的主要涉足領域。本文聚焦于目前最新的語音識別需求，通過一系列的設計與制作生成了大規(guī)模的音素平衡自然語料庫，詳細制作過程如圖1所示。

圖1 文本語料設計流程圖Fig.1 Text corpus design flow chart

1.1.1 文本語料采集

本文通過互聯(lián)網(wǎng)抓取技術，從論壇、微博、問答社區(qū)、交互機器人等開放網(wǎng)站或平臺，搜集大量來自不同社會場景中的自然文本語料，初步構建了自然語境下的中文口語化原始語料庫，其所涵蓋的場景如表2所示。

表2 原始語料文本分類統(tǒng)計表Table 2 Social scenes coverage of original text corpus

1.1.2 文本語料清洗

按照標點符號切割文本，過濾長度在5～30之外的句子，并進一步進行拼寫糾錯、語義完整度檢測、語義濾重、文本脫敏等一系列文本清洗，生成待篩選的干凈語料集。

首先，本文采用n元語法模型，即N-Gram語言模型來消除大部分中文拼寫錯誤。使用自有語料訓練3-gram語言模型，并利用模型對語句中的詞打分，將得分低的位置視為待糾錯位置，基于SIGHAN 2013 CSC語料構建候選集，從中選擇困惑度最高的句子。

其次，本文基于語義分析算法，對語料中文本的語義完整度進行打分，認定得分較低的文本為語義不完整，并去除該文本。同時，本文根據(jù)語義框架的相似度計算，去除語義相同的文本，從而實現(xiàn)文本的語義濾重。

最后，本文基于關鍵字匹配的過濾算法，識別出語料中可能影響到個人隱私、財產(chǎn)、企業(yè)信息、國家安全的敏感信息以及反動、色情、暴力等不良內(nèi)容，并剔除含有敏感信息和不良內(nèi)容的句子。拼寫糾錯及語義分析、文本脫敏的實現(xiàn)效果如表3所示。

表3 語料清洗效果演示表Table 3 Presentations of text corpus cleaning

1.1.3 文本語料評分

語料評選是語料庫設計的重要環(huán)節(jié)，自然語境下的平衡語料庫的構建則需要考慮多種因素。一方面，語音流中的協(xié)同發(fā)音現(xiàn)象對連續(xù)語音識別具有重要影響，而對中文來說，單個音素具有不穩(wěn)定性，因此，本文選取二音子及三音子作為反映協(xié)同發(fā)音的聲學基元。

在語音學層面，以基本音子為基礎，考慮兩個相鄰音子，即形成一個二音子（也稱雙音子）；同時考慮左、右相鄰音子，即形成三音子。對應到聲學層面，二音子描述了兩個相鄰音子間的穩(wěn)定階段，而三音子描述了一個音子的穩(wěn)定階段及左、右兩邊音子的過渡階段。因此，二音子和三音子對于連續(xù)語音流中的協(xié)同發(fā)音現(xiàn)象具有更好的描述能力。普通話含有37個基本音子[14]，按照音子在音節(jié)中的位置，又可細分為表4中的三類音子。表5列出了部分音節(jié)及對應的音子、二音子、三音子形式。

表4 音子分類表Table 4 Categories of Phones

表5 音節(jié)、音子、二音子、三音子部分對應表Table 5 Correspondence of syallables，phones，diphones，triphones

另一方面，中文的音節(jié)具有獨特的聲韻母結構，因此，本文也選擇音節(jié)作為衡量語料庫平衡性的標準之一，此外，在人們的日常用語中，聲調(diào)也具有特別的意義，因此，有調(diào)音節(jié)也被考慮在內(nèi)。表6為對文本進行分析的示例，包括原始文本、文本分詞、文本詞性、文本中字詞的有調(diào)音節(jié)、文本中的二音子序列及三音子序列共6層結構。

表6 文本分析結構表Table 6 Text analysis structure table

本文將無調(diào)音節(jié)、有調(diào)音節(jié)、二音子和三音子作為聲學基元，對每條句子計算其貢獻分數(shù)，即含有出現(xiàn)次數(shù)越少的聲學基元的句子的貢獻分數(shù)越高。最后，分數(shù)靠前的句子優(yōu)先被選出來。本文著重研究口語中的語音協(xié)同發(fā)音現(xiàn)象，因此設置無調(diào)音節(jié)、有調(diào)音節(jié)、二音子、三音子的權重分別為0.2、0.2、0.3、0.3。各聲學基元的貢獻分數(shù)計算方法見公式（1），整句文本的計算方法見公式（2），其中，s是該句文本中對應聲學基元的貢獻分數(shù)，I是當前已選語料集中含有的對應聲學基元的個數(shù)，n代表聲學基元的種類，wn是指對應聲學基元的權重，s n是指對應聲學基元的貢獻分數(shù)，S即該句文本所具有的貢獻總分數(shù)。

1.1.4 文本語料配平

為避免語料集在不同場景中的分布出現(xiàn)失衡，本文對打分后的語料集再次進行文本分類，按照在語料采集階段中設定的各場景文本占比率由領域專家補充配平語料，調(diào)整語料的場景類別和音素分布的傾斜性。本文最終得到30萬條文本，使得在保留語料自然性的基礎上，最大限度地實現(xiàn)音素平衡，詳情請見表7。

表7 DTZH1505文本語料庫音素覆蓋情況Table 7 Phonetic coverage of DTZH1505

1.2 語音采集場景

語音采集場景是由錄音設備、錄音軟件、環(huán)境布置、朗讀腳本和被采集人構成。本文通過分布式的眾包模式，進行大規(guī)模語音數(shù)據(jù)采集。

語音采集環(huán)境均為底噪介于10～40 dB、混響時間小于1 s的安靜室內(nèi)。為避免出現(xiàn)回聲及混響，錄制室內(nèi)被要求放置一定量的填充物，比如日常家具。在正式錄制語音數(shù)據(jù)之前，自主研發(fā)的一款手機終端錄音軟件可以測試錄制環(huán)境的底噪是否滿足上述要求，并且只有當說話人的語音樣例數(shù)據(jù)達到檢測標準后，才可開展正式的語音錄制。

在數(shù)據(jù)錄制過程中，本文采用Android手機、iOS手機、錄制啟?？刂破骷疤嵩~器搭建了一個綜合錄制平臺，說話人被要求采用正常語速朗讀提詞器的文本內(nèi)容，說話人與手機之間的距離被嚴格控制在20～30 cm，如圖2所示。不管是Android手機還是iOS手機，采集的語音均是16 kHz，16 bit的單通道wav格式。錄制所用設備的詳情如下：

圖2 錄制環(huán)境示意圖Fig.2 Map of recording environment

Android手機：基于Android系統(tǒng)的移動通訊設備，包括華為、中興、三星、聯(lián)想、HTC、酷派、小米等機型。

iOS手機：基于iOS系統(tǒng)的移動通訊設備，包括iPhone8、iPhone7、iPhone6、iPhone5等機型。

啟停控制器：語音錄制平臺控制終端，用于檢測環(huán)境噪音，控制多設備同步采集。

提詞器：語音錄制輔助工具，用于自動顯示待朗讀文本，并提供計時提醒和語速檢測功能。

1.3 錄制人員

數(shù)據(jù)庫服務的目標任務同樣決定了說話者的數(shù)量，例如，語音識別任務對說話者的數(shù)量沒有過多要求，但說話者身份識別任務則要求有更多的說話者[15]。本文建立數(shù)據(jù)集的目標在于為更多領域的研究提供數(shù)據(jù)支撐。在本數(shù)據(jù)集中，共采集了6 408位來自中國八大方言地域、33個省份的說話人，說話人分布詳情見圖3。由圖3可看出，說話人的性別分布均衡（男為2 999，女為3 301），年齡涵蓋了各個層次段。

圖3 說話人分布詳情圖Fig.3 Details of speakers’distributions

1.4 語音標注

為確保語音標注的準確度，本文采取了多輪次的數(shù)據(jù)標定工藝過程，具體包括以下步驟：

第一步，由專業(yè)人員在標注平臺對每句音頻轉寫其真實的發(fā)音文本，在該階段，標注人員負責核查音頻的真實內(nèi)容，并判斷音頻的有效性。如圖4所示，圖中的右半部分顯示了每段音頻的元數(shù)據(jù)，包括文件名稱、預設朗讀內(nèi)容及說話人信息。圖中的左半部分為音頻的語音轉寫及質(zhì)檢工作區(qū)，最上面一行為該段音頻的時域波形圖，緊接著下面為標注人員轉寫的語音真實文本及是否是有效語音的判定。所有的音頻均按照詳細的標注規(guī)范進行統(tǒng)一的標注，具體包括：

嚴格化：若音頻含有嚴重噴麥、語音失真、噪音明顯、口齒不清等問題，則視為無效語音。

全面化：標記有效語音段內(nèi)的即時噪音，如笑聲、咳嗽、打噴嚏等。

規(guī)范化：比如根據(jù)說話內(nèi)容區(qū)分標注漢字“幺”和“一”，英文單詞間留有空格，但與漢字之間不留空格，英文縮略詞的字母之間不留空格，但全大寫。

口語化：細化到兒化音，比如下班兒、一點兒。

真實化：所聽即所寫，比如網(wǎng)址www.bbb.com標注為“三W點兒BBB點兒COM”。

第二步，由專業(yè)質(zhì)檢人員對標注語音分別按照100%、50%、10%的比例進行多輪抽樣質(zhì)檢，以檢查人工轉寫的正確率。圖4中的左下部分為語音質(zhì)檢的工作區(qū)，質(zhì)檢人員再次檢查語音轉寫的正確性，判斷其中是否包含噪音、突發(fā)噪音、背景噪音、噴麥、空曠回音、電流干擾、文本錯誤、非本土人等錯誤。

圖4 語音標注及質(zhì)檢一體化平臺Fig.4 Integrated speech annotation and quality inspection platform

經(jīng)過嚴格的語音標注及質(zhì)檢，本文從最初采集得到的原始音頻數(shù)據(jù)中篩選出了大約1/2的合格語音數(shù)據(jù)，這些合格數(shù)據(jù)達到了98%的轉寫準確率。

1.5 數(shù)據(jù)開源

經(jīng)過大規(guī)模的錄制及后期嚴格的語音轉寫，本文最終構建含有1 505 h語音時長的大規(guī)模中文普通話語音數(shù)據(jù)集——DTZH1505，該數(shù)據(jù)集含有以下文件：

音頻數(shù)據(jù)：記錄說話人的發(fā)音內(nèi)容，格式為16 kHz 16 bit單通道的wav文件。

標注文本：記錄每條語音的轉寫文本。

標簽文本：記錄與每段音頻相關的音頻格式、說話人信息、采集設備等元數(shù)據(jù)信息。

目前，該數(shù)據(jù)集已經(jīng)面向學術研究開放，可通過官方網(wǎng)址https：//www.datatang.com/opensource獲取該數(shù)據(jù)集。

1.6 中文通用語言模型

現(xiàn)在主流的基于深度學習的語音識別模型可分為兩大類，一種是利用深度學習模型取代原來的GMM部分，即DNN-HMM模型；另一種是端到端的深度學習模型。盡管目前端到端的語音識別系統(tǒng)嘗試以單個系統(tǒng)的方式聯(lián)合學習聲學模型及語言模型，但語言模型具有對模型輸出文本進行解碼和修正的作用，因此仍是目前提升語音識別效果的關鍵因素。另一方面，建立保留語料自然性的大規(guī)模平衡口語語料庫仍需不斷擴充其庫容量，語料數(shù)量太小，某些詞語的出現(xiàn)頻率就會大大降低。因此，只有依賴大量的實際用例，才能夠支撐通用的中文口語語言模型研究。

本文以上文描述的DTZH1505數(shù)據(jù)集中的自然口語語料（超過105萬條文本，共超過500萬詞匯）為基礎，訓練中文口語基準語言模型，并在此基礎上，不斷疊加另外的130萬條取自于對話、車載、通用場景下的文本以及9 000萬條社交場景下的文本數(shù)據(jù)，以不斷提升語言模型效果，不同量級中文口語語料庫（Chinese spoken corpora，CSC）的數(shù)據(jù)詳情見表8。

本文利用Kaldi工具[16]訓練基于上述語料庫的三元文法語言模型，采用了Kneser-Ney平滑算法，將未登錄詞映射到UNK，生成ARPA格式的語言模型。同時，本文利用集外的1萬條對話場景下的文本作為測試集，計算以上3種語言模型的困惑度（PPL），以此評估語言模型的性能，評估結果詳見表8。

表8 語言模型測試結果Table 8 Evaluation results of language models

根據(jù)語言模型的測試效果可知，隨著口語語料的增加，中文口語語言模型效果具有顯著的提升，并且在9 235萬條文本、超過1.6億詞匯的訓練下，語言模型的困惑度較基準語言模型降低了40.6%。

語言模型的改進同時增強了語音識別模型效果。與語音數(shù)據(jù)集一樣，本文也將優(yōu)化后的中文語音識別模型開源到Kaldi平臺（http://kaldi-asr.org/models/m10），有關實驗過程及結果在下章詳細介紹。

2 語音識別實驗

2.1 基準實驗

為了驗證DTZH1505數(shù)據(jù)集的品質(zhì)，本文基于Kaldi開展一系列語音識別基準實驗。本實驗的聲學模型訓練部分又分為基于概率統(tǒng)計的高斯混合-隱馬爾可夫（GMM-HMM）模型與基于深度學習的深度神經(jīng)網(wǎng)絡-隱馬爾科夫（DNN-HMM）混合模型兩個階段。

GMM-HMM模型使用的是13維MFCC與3維pitch特征，訓練過程又可分為以下幾個階段，由部分數(shù)據(jù)快速啟動單音子模型的訓練。

（1）采用類似的方法快速啟動三音子模型的訓練。

（2）使用全部數(shù)據(jù)集進行三音子模型的整體訓練。

（3）利用線性判別分析LDA算法對上下文的多幀數(shù)據(jù)進行降維，結合最大似然線性變換MLLT算法進行說話人無關的全局變換。

在DNN-HMM模型訓練階段，輸入特征是40維高精度MFCC特征與3維pitch特征，表征說話人信息的i-vector[17]特征也作為輸入用于DNN的訓練。實驗采用時延神經(jīng)網(wǎng)絡（TDNN）[18]搭配鏈式模型（Chain model）來訓練聲學模型。在實驗過程中，本文也采取了數(shù)據(jù)增強方法來擴展訓練集。

在本實驗中，所有數(shù)據(jù)集被按照7∶1∶2比例劃分成訓練集、驗證集、測試集，表9為基于該數(shù)據(jù)集進行語音識別的字錯誤率（CER），用以表征語音識別的效果。其中，aishell2的測試結果來自于文獻[7]中與其訓練集數(shù)據(jù)來源相同的iOS測試集。

表9 基準實驗結果Table 9 Benchmark experiment results %

從實驗結果中可以看出來，DNN-HMM模型的識別性能大大超過GMM-HMM模型的識別性能，同時，基于本文創(chuàng)建的中文語音數(shù)據(jù)集的字錯誤率降低至3.41%，相比于同類型的中文開源語音數(shù)據(jù)集aishell2，字錯誤率降低了61%，這也說明了該數(shù)據(jù)集的品質(zhì)。

2.2 模型優(yōu)化

語言模型是影響語音識別效果的關鍵因素之一，語言模型的提升不僅在于算法的改進，更在于豐富、完備、優(yōu)質(zhì)的語料庫的支撐。如1.6節(jié)所述，更多優(yōu)質(zhì)的語料的加入，大大提升了語言模型的性能。本文在2.1節(jié)所述基準實驗的基礎上，利用優(yōu)化后的語言模型分別測試在ST-CMDS及thchs30數(shù)據(jù)集上的語音識別效果，見表10。

表10 模型優(yōu)化后的語音識別結果Table 10 Speech recognition results after model optimization %

ST-CMDS數(shù)據(jù)集的語料以日常用語為主，而thchs30數(shù)據(jù)集的語料以新聞類長文本為主。從表10可以看出來，基于DTZH1505數(shù)據(jù)集訓練的基準語音識別模型可以在不同語料領域均有很好表現(xiàn)，并且在優(yōu)化了語言模型之后，字錯誤率均降低了21%左右，從而驗證了該語音識別模型的通用性。

3 總結

本文介紹了一個大規(guī)模開源中文普通話語音數(shù)據(jù)集DTZH1505，詳細描述了數(shù)據(jù)集設計及制作的過程。該數(shù)據(jù)集包含了6 408位說話人，錄音時長達1 505 h，標注準確率達98%，覆蓋主流移動設備，采集標簽達30項，可廣泛用于語音識別、聲紋識別、說話人質(zhì)量評估、語料庫語言學、會話分析、二語習得、語言類型學等研究。本文在最后基于該數(shù)據(jù)集進行語音識別基準實驗，并對比目前同規(guī)模中文語音數(shù)據(jù)集的語音識別效果，從而驗證該數(shù)據(jù)集的品質(zhì)。同時，本文在該數(shù)據(jù)集的基礎上增加大規(guī)模文本語料，訓練出更通用的中文口語語言模型，進一步提升了語音識別效果。為了便于研究和使用，該數(shù)據(jù)集及中文語音識別模型已開源，以推動中文語音識別技術研究的發(fā)展。