融合語言學(xué)統(tǒng)計(jì)特征的韻律發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)方法

張瓏　李海峰　馬琳

摘 要：在發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)任務(wù)中，韻律發(fā)音質(zhì)量評(píng)測(cè)是非常重要的高級(jí)環(huán)節(jié)，對(duì)語音的自然度和可理解程度方面有著直接和重要的影響。本文在韻律相關(guān)的多種聲學(xué)特征的基礎(chǔ)上，進(jìn)一步融合了韻律相關(guān)的多種語言學(xué)統(tǒng)計(jì)特征，并使用支持向量機(jī)為分類模型，實(shí)現(xiàn)對(duì)韻律發(fā)音質(zhì)量的有效評(píng)測(cè)，人機(jī)相關(guān)性達(dá)到0.779，相對(duì)提升了3.45%。同時(shí)，采用基于浮動(dòng)思想的SFFS算法進(jìn)行特征篩選，去除了目標(biāo)無關(guān)的特征，提高了支持向量機(jī)模型的精度和泛化能力，進(jìn)一步提升了評(píng)測(cè)性能。

關(guān)鍵詞：發(fā)音質(zhì)量評(píng)測(cè)；韻律評(píng)測(cè)；語言學(xué)統(tǒng)計(jì)特征；支持向量機(jī)；特征篩選

中圖分類號(hào)：TN912.3 TP391 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2014）05-

Automatic Prosody Evaluation Method Combining Linguistics Statistics Features

ZHANG Long 1，2 ， LI Haifeng1， MA Lin1

（1 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China；

2 College of Computer Science and Information Engineering， Harbin Normal University， Harbin 150025， China）

Abstract： Prosody has a direct and important influence on the naturalness and intelligibility of speech， and prosody evaluation is an important component of automatic pronunciation quality evaluation. Combining linguistic statistics features with various acoustic features related to prosody， an effective prosody evaluation system employing support vector machine model as classifier is realized and the human-machine correlation reaches 0.779， a relative increase of 3.45%. In the mean time， SFFS algorithm based on floating ideas for feature selection is adopted to remove some target-independent features， which improves the precision and generalization of support vector machine model， and then further improves the performance of the evaluation system.

Keywords： Pronunciation Quality Evaluation； Prosody Evaluation； Linguistic Statistics Features； Support Vector Machine； Feature Selection

0 引 言

人們?cè)谶M(jìn)行言語交流時(shí)，相互之間傳遞的不僅僅是語言文字信息，還包含著豐富的韻律信息。韻律信息屬于超音段信息，主要反映著說話人發(fā)音的抑揚(yáng)頓挫（節(jié)奏），強(qiáng)調(diào)（重音），語調(diào)和語氣等。一方面，韻律信息有助于說話人更清楚、準(zhǔn)確地表達(dá)所要表達(dá)的信息，提升語言的自然度水平和可理解程度；另一方面，韻律信息有助于聽話者更清楚、準(zhǔn)確地理解所聽到的信息，甚至包含對(duì)說話人意圖、情感、態(tài)度、語氣等多個(gè)方面的把握和理解。

在發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)任務(wù)中，對(duì)韻律發(fā)音質(zhì)量進(jìn)行評(píng)測(cè)是非常必要，也是非常重要的。然而，從音節(jié)層到音步層，聲調(diào)連讀會(huì)產(chǎn)生變調(diào)；從音步層到句子層，聲調(diào)會(huì)受到句調(diào)的影響再次發(fā)生變化；從句子層到語篇層，句調(diào)還會(huì)受到基調(diào)的影響，句調(diào)的高低、強(qiáng)弱、寬窄、長(zhǎng)短將再次發(fā)生變化[1]。因此，對(duì)韻律發(fā)音質(zhì)量進(jìn)行準(zhǔn)確評(píng)測(cè)，難度很大。本文首先對(duì)現(xiàn)有韻律發(fā)音質(zhì)量評(píng)測(cè)方法的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了考察；接著介紹了可用于韻律評(píng)測(cè)的相關(guān)特征，主要包括現(xiàn)有文獻(xiàn)中的主流的聲學(xué)特征，并增加了一些語言學(xué)統(tǒng)計(jì)特征；其后介紹了用于韻律評(píng)測(cè)的支持向量機(jī)分類模型，以及基于浮動(dòng)思路的SFFS特征篩選算法；最后是實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果分析，同時(shí)對(duì)下一步工作進(jìn)行了展望。

1國(guó)內(nèi)外研究現(xiàn)狀

目前，國(guó)內(nèi)外研究中，韻律發(fā)音質(zhì)量自動(dòng)評(píng)測(cè)大多是從整體聽感質(zhì)量的角度進(jìn)行評(píng)測(cè)，而針對(duì)具體子項(xiàng)的發(fā)音質(zhì)量評(píng)測(cè)，比如重音發(fā)音質(zhì)量評(píng)測(cè)、節(jié)奏發(fā)音質(zhì)量評(píng)測(cè)等，仍相對(duì)較少。Chen等人先利用語音識(shí)別器進(jìn)行音段切分和識(shí)別，然后在各音段上與參考語音進(jìn)行比對(duì)，分別計(jì)算音量、基頻、后驗(yàn)概率等方面的距離，并進(jìn)行加權(quán)平均，最后映射為韻律得分[2]。Yamashita等人以基頻、時(shí)長(zhǎng)、能量為主要特征，采用多重線性回歸的方法去計(jì)算待評(píng)測(cè)語音與參考語音的相似度，再轉(zhuǎn)化為韻律等級(jí)[3]。Jia等人則采用多個(gè)標(biāo)準(zhǔn)語音作為參考語音，分別從聲調(diào)、基頻走勢(shì)和節(jié)律組織三個(gè)方面計(jì)算待評(píng)測(cè)語音與其多個(gè)標(biāo)準(zhǔn)參考語音的韻律模式間的相似度[4]。Huang等人還提出了在Micro和Macro兩個(gè)層次上進(jìn)行評(píng)測(cè)的多韻律匹配算法，并可以進(jìn)行模板的自動(dòng)獲取，在國(guó)內(nèi)中學(xué)生外語口語考試中也取得了很好的效果[5]。

上述研究雖然取得了較好的應(yīng)用效果，但是卻需要為每一條待評(píng)測(cè)語音都提供至少一個(gè)參考模板（即標(biāo)準(zhǔn)發(fā)音人的標(biāo)準(zhǔn)語音）作為對(duì)照，其應(yīng)用范圍受到很大的限制。也有少量研究不需要提供參考模板，而是直接從語音信號(hào)中提取各種可能的韻律相關(guān)發(fā)音特征，對(duì)韻律發(fā)音質(zhì)量直接進(jìn)行評(píng)測(cè)。Teixeira等人即選擇了語調(diào)、詞匯重音分布、段長(zhǎng)、停頓等多種特征集合，并利用線性回歸、分類器融合等技術(shù)手段，獲取可靠韻律等級(jí)[6]。Maier等人又綜合了文本相關(guān)和文本無關(guān)的韻律特征集共187維，利用SVM分類器對(duì)待評(píng)測(cè)語音進(jìn)行了韻律評(píng)測(cè)[7]。上述這些不需要提供參考模板的研究工作的基本思路就是廣泛優(yōu)選多種類別的韻律相關(guān)特征，優(yōu)選合適的分類模型，分類的同時(shí)實(shí)現(xiàn)評(píng)測(cè)，相對(duì)比較困難，評(píng)測(cè)的人機(jī)相關(guān)度還有待進(jìn)一步提高。

2韻律相關(guān)的發(fā)音特征

與韻律感知相關(guān)的三個(gè)最常用的聲學(xué)特征是音高、音強(qiáng)和音長(zhǎng)，以及與其對(duì)應(yīng)的統(tǒng)計(jì)特征和動(dòng)態(tài)特征，但是到底哪些特征對(duì)評(píng)測(cè)真正有效，現(xiàn)有文獻(xiàn)還未給出一個(gè)廣泛而統(tǒng)一的共識(shí)[8]。因此，本文首先選擇傳統(tǒng)韻律評(píng)測(cè)文獻(xiàn)中已經(jīng)實(shí)驗(yàn)驗(yàn)證的與韻律相關(guān)、且較為顯著的聲學(xué)相關(guān)特征，具體可參考文獻(xiàn)[7，8]，而且又特別增加了語音學(xué)統(tǒng)計(jì)特征。

2.1聲學(xué)相關(guān)特征

首先提取最基本的聲學(xué)特征參數(shù)，包括基頻、能量、清音段和濁音段。然后針對(duì)每一個(gè)音節(jié)，提取如下聲學(xué)特征：基頻、能量及其相關(guān)特征，以及音節(jié)時(shí)長(zhǎng)，共21個(gè)。下面即以基頻為例進(jìn)行說明，具體參見圖1。能量相關(guān)的各類特征與基頻相關(guān)特征類似，其具體表征含義則如下：

A1-A4：基頻開始點(diǎn)、結(jié)束點(diǎn)的時(shí)間和幅值。

A5-A8：基頻最大值、最小值出現(xiàn)的時(shí)間和幅值。

A9-A10：基頻的回歸系數(shù)及回歸系數(shù)殘差。

A11-A20：能量相關(guān)的各類特征。

A21：音節(jié)的時(shí)長(zhǎng)。

針對(duì)每一個(gè)句子，計(jì)算如下16個(gè)聲學(xué)特征：

U1-U4：整句的嗓音頻率微擾Jitter和嗓音振幅微擾Shimmer的均值和標(biāo)準(zhǔn)差。

U5-U13：整句中清音段、濁音段和靜音段的數(shù)量、平均時(shí)長(zhǎng)和最大時(shí)長(zhǎng)。

U14-U17：整句中清音段數(shù)量和濁音段數(shù)量的比值，清音段時(shí)長(zhǎng)占整個(gè)語音段時(shí)長(zhǎng)的比值，濁音段時(shí)長(zhǎng)占整個(gè)語音段時(shí)長(zhǎng)的比值，靜音段時(shí)長(zhǎng)占整個(gè)語音段時(shí)長(zhǎng)的比值。

U18：整句中基頻變化的幅度差。

針對(duì)以上39個(gè)特征，研究即在語篇級(jí)上計(jì)算其均值、最大值、最小值和方差四種統(tǒng)計(jì)特征，總共可得156維特征。

2.2語言學(xué)統(tǒng)計(jì)特征

語言學(xué)統(tǒng)計(jì)相關(guān)特征如下：

L1：每分鐘正確讀出音節(jié)的速率。這個(gè)特征代表說話人在朗讀語段的過程中正確朗讀的語速，和語速密切相關(guān)。如果漏讀、多讀或者錯(cuò)讀都記為錯(cuò)誤，不進(jìn)行統(tǒng)計(jì)。

L2：每分鐘的讀出音節(jié)的速率。

L3：音節(jié)重復(fù)的數(shù)量占音節(jié)總數(shù)的比值。音節(jié)被重復(fù)朗讀的次數(shù)和朗讀的流暢度密切相關(guān)。當(dāng)說話人讀錯(cuò)，或者自我修正時(shí)，常常會(huì)出現(xiàn)重復(fù)的現(xiàn)象。

L4：朗讀句子的速率變化。自然度水平高的朗讀者無論句子難度的大小，其朗讀語篇中每個(gè)句子的速率基本相同。但是自然度水平低的說話人由于個(gè)別句子中出現(xiàn)的比較困難的音節(jié)，將會(huì)導(dǎo)致不同句子的速率也相應(yīng)地有所不同。

L5： 整句標(biāo)點(diǎn)符號(hào)（比如。、？、?。┨幍南嚓P(guān)特性。通過VAD程序檢出的整句標(biāo)點(diǎn)符號(hào)處?kù)o音段的個(gè)數(shù)和對(duì)照文本中出現(xiàn)的這類標(biāo)點(diǎn)符號(hào)的個(gè)數(shù)的比值。

L6： 句中標(biāo)點(diǎn)符號(hào)（比如，、：、；）處的相關(guān)特性。通過VAD程序檢出的在句中標(biāo)點(diǎn)符號(hào)處的靜音段的個(gè)數(shù)和對(duì)照文本中出現(xiàn)的這類標(biāo)點(diǎn)符號(hào)的個(gè)數(shù)的比值。

L7：標(biāo)點(diǎn)符號(hào)處對(duì)應(yīng)的靜音段的平均長(zhǎng)度。

L8：標(biāo)點(diǎn)符號(hào)處對(duì)應(yīng)的靜音段時(shí)長(zhǎng)和語音段中全部非語音時(shí)長(zhǎng)的比值。一個(gè)字一個(gè)字地讀是朗讀水平低的說話人的顯著特征，本特征將有效檢測(cè)這種情況。

L9：兩個(gè)靜音段之間的音節(jié)的平均數(shù)目。這個(gè)特征非常適合檢測(cè)說話人的流利度。

L10：?jiǎn)挝粫r(shí)間內(nèi)靜音段的個(gè)數(shù)。

根據(jù)上述方法一共得到10維特征，如圖1所示。

圖1 音節(jié)內(nèi)的各類基頻相關(guān)特征

Fig.1 The various features related to fundamental frequency in a syllable

3支持向量機(jī)

支持向量機(jī)（Support Vector Machine， SVM）是一種基于統(tǒng)計(jì)學(xué)習(xí)的模式分類技術(shù)。該技術(shù)通過結(jié)構(gòu)風(fēng)險(xiǎn)最小化（Structural Risk Minimization，SRM）準(zhǔn)則和核函數(shù)（Kernel function）的方法有效地解決了學(xué)習(xí)系統(tǒng)復(fù)雜性（complexity）與普適性（generalization）之間的矛盾。近些年來，SVM在手寫識(shí)別、指紋識(shí)別、文本分類、語音識(shí)別等諸多領(lǐng)域都取得了較大的成功，并通常表現(xiàn)出優(yōu)于其他學(xué)習(xí)機(jī)制的良好性能[9]。為此，本文選用支持向量機(jī)作為分類模型，實(shí)現(xiàn)對(duì)韻律發(fā)音質(zhì)量的有效評(píng)測(cè)。

樣本集中有 個(gè)樣本 ， 為一個(gè) 維輸入特征， ， 為分類類別（兩類）， 。

定義分類超平面 ，其中 ，滿足：

（1）

可以統(tǒng)一表示為：

（2）

當(dāng)樣本線性可分時(shí)，存在無數(shù)多個(gè)這樣的超平面。滿足上述條件且使 最小的分類超平面就是最優(yōu)分類超平面。兩類樣本中距離分類超平面最近且平行于最優(yōu)分類超平面的樣本點(diǎn)即可稱作支持向量。

此時(shí)，樣本分類問題可轉(zhuǎn)化為求解最優(yōu)分類超平面，進(jìn)而表示成一個(gè)約束優(yōu)化問題，其對(duì)應(yīng)目標(biāo)函數(shù)為：

（3）

即： （4）

這是一個(gè)嚴(yán)格凸規(guī)劃問題，可轉(zhuǎn)換成拉格朗日問題進(jìn)行求解，具體求解過程可參見文獻(xiàn)[10]。

對(duì)于近似線性可分問題，并不要求所有訓(xùn)練樣本都滿足約束條件 ，為此對(duì)第 個(gè)訓(xùn)練樣本 引入松弛變量（Slack Variable） 來“軟化” 約束條件，即將約束條件放松為 。同時(shí)，為避免 太大，還需在目標(biāo)函數(shù)中對(duì) 進(jìn)行懲罰，即引入一個(gè)懲罰參數(shù) ，新的目標(biāo)函數(shù)可演變?yōu)椋?/p>

（4）

4特征篩選

對(duì)于SVM為標(biāo)志的分類器，當(dāng)輸入信息量噪聲太多，知識(shí)集太雜時(shí)，經(jīng)常會(huì)造成“維數(shù)災(zāi)難”，此時(shí)，分析特征和訓(xùn)練模型的時(shí)間都非常長(zhǎng)，模型構(gòu)建更顯復(fù)雜，但推廣能力卻有所下降。此時(shí)，可以通過特征篩選的方式對(duì)特征進(jìn)行降維，將高維特征中與目標(biāo)無關(guān)的特征予以去除，只保留有用特征，以提高模型的精度，進(jìn)而增強(qiáng)模型的泛化能力。

依據(jù)以上分析，本文將采用基于浮動(dòng)思想的SFFS（Sequential Floating Forward Selection）算法[11]以展開后續(xù)研究。SFFS是一種貪婪算法，和傳統(tǒng)的特征篩選方法SFS（Sequential Forward Selection）相比，可以在正向選擇特征過程中考慮加入回退準(zhǔn)則，隨著迭代次數(shù)的增加，適當(dāng)?shù)靥蕹恍┡c當(dāng)前特征集組合時(shí)影響性能的特征。在SFFS算法中，每一步都利用貪婪算法將一個(gè)最好的特征加入到當(dāng)前特征集，同時(shí)引入Floating機(jī)制。Floating機(jī)制的基本原則是，如果剔除一個(gè)最無用的特征之后，性能較上一步迭代有所增加，即進(jìn)行刪除，反之則繼續(xù)加入。評(píng)價(jià)函數(shù)選擇封裝器方式，并采用分類器的分類錯(cuò)誤率作為評(píng)價(jià)標(biāo)準(zhǔn)。由于引入了回退機(jī)制，在大多數(shù)據(jù)集上，SFFS的性能都較傳統(tǒng)算法更具優(yōu)勢(shì)，由此而成為目前主流的特征篩選方法。

5實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果分析

5.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集限定在國(guó)家漢語普通話水平測(cè)試現(xiàn)場(chǎng)錄音數(shù)據(jù)集范圍內(nèi)，并于被評(píng)為一級(jí)乙等學(xué)生的朗讀短文中抽取部分語音數(shù)據(jù)，共1 498段，每段語音數(shù)據(jù)約170個(gè)音節(jié)，長(zhǎng)度約1分鐘。這些學(xué)生的發(fā)音標(biāo)準(zhǔn)度很高，基本上沒有發(fā)音錯(cuò)誤和口音，為此可將這個(gè)數(shù)據(jù)集記為ProsodyEval1498，并聘請(qǐng)語言學(xué)專家進(jìn)行聽辨和評(píng)判，評(píng)判結(jié)果分為優(yōu)秀和良好。過程中聘請(qǐng)3名專家進(jìn)行評(píng)判，而且采用投票的方式?jīng)Q定最后的仲裁結(jié)果，專家間的相關(guān)度為0.776，0.792，和0.873，平均值為0.817，相關(guān)度明顯偏低，這也說明高水平發(fā)音人群的韻律評(píng)測(cè)（優(yōu)中選優(yōu)）的難度比較大，相關(guān)性較低。

5.2 實(shí)驗(yàn)結(jié)果及結(jié)果分析

將ProsodyEval1498的數(shù)據(jù)集隨機(jī)拆分成一半訓(xùn)練集、一半測(cè)試集，采用SVM分類器，RBF核函數(shù)，并通過十次實(shí)驗(yàn)求取平均作為韻律評(píng)測(cè)的性能。

從表1可以看出，在韻律發(fā)音質(zhì)量評(píng)測(cè)任務(wù)中，加入語言學(xué)統(tǒng)計(jì)特征后，評(píng)測(cè)性能得到較大提升，人機(jī)相關(guān)度從0.753提高到0.779，相對(duì)提高3.45%。通過對(duì)特征集進(jìn)行特征篩選后，特征維數(shù)明顯降低，從166維減少到67維，同時(shí)評(píng)測(cè)性能也略有提升，人機(jī)評(píng)分相關(guān)度從0.779提高到0.784，相對(duì)提高0.64%。

6結(jié)束語

廣泛提取韻律相關(guān)的聲學(xué)特征是韻律發(fā)音質(zhì)量評(píng)測(cè)的基本方法，本文在韻律相關(guān)的聲學(xué)特征提取的基礎(chǔ)上，進(jìn)一步融合了語言學(xué)統(tǒng)計(jì)特征，并選用SVM作為分類模型，實(shí)現(xiàn)了對(duì)韻律發(fā)音質(zhì)量的有效評(píng)測(cè)。同時(shí)，采用SFFS算法對(duì)評(píng)測(cè)特征進(jìn)行篩選，去除了特征集中一些目標(biāo)無關(guān)的特征，進(jìn)一步強(qiáng)化了系統(tǒng)的評(píng)測(cè)性能，而且提高了系統(tǒng)的泛化能力。此外，在本文提出的技術(shù)框架下，還可以引入更多不同信息源的多種類別的韻律相關(guān)特征，比如聽覺感知特征、韻律模型參數(shù)特征等，期望能進(jìn)一步提高系統(tǒng)的評(píng)測(cè)性能。接下來，關(guān)于如何提取更多的韻律相關(guān)的顯著特征，以及如何選擇更好的特征篩選方法即已成為需要進(jìn)一步研究的重要內(nèi)容。

參考文獻(xiàn)：

[1] 曹劍芬. 基于語法信息的漢語韻律結(jié)構(gòu)預(yù)測(cè)[J]. 中文信息學(xué)報(bào)， 2003， 17（3）： 41-46.

[2] CHEN J C， LO J L， JANG J S R. Computer assisted spoken English learning for Chinese in Taiwan[C]//Chinese Spoken Language Processing， 2004 International Symposium on. IEEE， 2004： 337-340.

[3] YAMASHITA Y， NOZAWA K. Automatic scoring for prosodic proficiency of English sentences spoken by Japanese based on utterance comparison[J]. IEICE transactions on information and systems， 2005， 88（3）： 496-501.

[4] JIA H， TAO J， WANG X. Prosody variation： application to automatic prosody evaluation of Mandarin speech[C]//Proc. Speech Prosody， 2008： 547-550.

[5] HUANG S， LI H， WANG S， et al. Exploring goodness of prosody by diverse matching templates[C]// Proc. of INTERSPEECH， 2010： 1145-1148.

[6] TEIXEIRA C， FRANCO H， SHRIBERG E， et al. Prosodic features for automatic text-independent evaluation of degree of nativeness for language learners[C]// Proc. INTERSPEECH， 2000： 187-190.

[7] MAIER A， HONIG F， ZEI?LER V， et al. A language-independent feature set for the automatic evaluation of prosody[C]// Proc. INTERSPEECH， 2009： 600-603.

[8] BOLA?OS D， COLE R A， WARD W H， et al. Automatic assessment of expressive oral reading[J]. Speech Communication， 2013， 55（2）： 221-236.

[9] HENGNIAN Q I. Support vector machines and application research overview [J]. Computer Engineering， 2004， 30（10）： 6-9.

[10] CHANG C C， LIN C J. LIBSVM： a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology （TIST）， 2011， 2（3）： 27.

[11] MOLINA L C， BELANCHE L， NEBOT ?. Feature selection algorithms： A survey and experimental evaluation[C]// Proc. of International Conference on Data Mining， 2002： 306-313.