聲紋鑒定中嗓音音質(zhì)的聲學(xué)界標(biāo)初探
——基于隨機(jī)森林和決策樹模型的研究

耿浦洋，施少培，郭 弘，卞新偉，盧啟萌，曾錦華

（司法鑒定科學(xué)研究院 上海市司法鑒定專業(yè)技術(shù)服務(wù)平臺(tái) 司法部司法鑒定重點(diǎn)實(shí)驗(yàn)室，上海 200063）

嗓音音質(zhì)是語音中最顯著、最易感知的特征之一，通常指嗓音的質(zhì)量，由聲帶振動(dòng)/松緊、聲門閉合以及呼吸和發(fā)聲的協(xié)調(diào)等因素共同決定。 從聽覺感知的角度出發(fā)，常見的嗓音音質(zhì)可以歸類為正常嗓音、氣嗓音、嘎裂嗓音和假嗓音等。 在以往研究中發(fā)現(xiàn)，嗓音音質(zhì)與說話人的性別、體型、病理、語言/文化背景以及情感等信息都存在較高的相關(guān)性。 因此，有學(xué)者提出嗓音音質(zhì)是話者語音產(chǎn)出的重要特征，能夠反映說話人的個(gè)體特點(diǎn)，并且具有一定的穩(wěn)定性。

目前，在聲紋鑒定工作中，嗓音音質(zhì)是極具參考價(jià)值的特征之一，無論是在聽覺檢驗(yàn)還是在頻譜分析中， 對(duì)語音同一性判斷都起著非常重要的作用。 然而，在對(duì)證據(jù)語音和樣本語音的嗓音音質(zhì)進(jìn)行比對(duì)分析時(shí)發(fā)現(xiàn)，目前的鑒定實(shí)踐中存在一個(gè)亟待解決的問題，即對(duì)嗓音音質(zhì)的類別判斷尚缺乏客觀的數(shù)據(jù)支撐。 例如，聽感上判斷為嘎裂的嗓音，在頻譜上沒有理想的聲學(xué)參數(shù)加以佐證。 KEATING 等研究發(fā)現(xiàn)，基頻抖動(dòng)（jitter）、振幅抖動(dòng)（shimmer）、諧噪比（Harmonic to Noise Ratio, HNR）、諧波差值（如H1-A1）等聲學(xué)參數(shù)和嗓音音質(zhì)存在一定的相關(guān)性。例如，嘎裂嗓音比氣嗓音的第一第二諧波差值（H1-H2）更低。但是，氣嗓和嘎裂兩類音質(zhì)在聲學(xué)參數(shù)上的分界點(diǎn)究竟在哪里？ 什么樣的聲學(xué)參數(shù)才能夠被判斷為某類音質(zhì)？ 關(guān)于這些問題尚缺乏實(shí)證研究。 因此，本研究旨在探索不同嗓音音質(zhì)之間的分界點(diǎn)，為嗓音音質(zhì)的類別判斷提供數(shù)據(jù)支撐，利用相關(guān)結(jié)果為聲紋鑒定中證據(jù)語音和樣本語音在嗓音類別的同一性判斷上提供客觀依據(jù)和量化指標(biāo)。

1 聲學(xué)界標(biāo)

為了解決嗓音音質(zhì)在聲學(xué)參數(shù)上的類別劃分問題，本研究引入一種新型分析方法——聲學(xué)界標(biāo)分析。 聲學(xué)界標(biāo)（acoustic landmark）是基于STEVENS提出的“語音量子理論”（Quantal Nature of Speech, QNS）的一種分析方法。QNS 認(rèn)為，發(fā)音器官運(yùn)動(dòng)和聲學(xué)參數(shù)之間存在一種非線性關(guān)系，即量子關(guān)系（圖1）。在I 區(qū)和Ⅲ區(qū)，發(fā)音器官運(yùn)動(dòng)不會(huì)引起相應(yīng)聲學(xué)參數(shù)的劇烈變化，即為穩(wěn)定段；在Ⅱ區(qū)，發(fā)音器官運(yùn)動(dòng)會(huì)引起聲學(xué)參數(shù)的劇烈變化，即為不穩(wěn)定段。 從區(qū)別特征的角度來看，Ⅱ區(qū)是從I 區(qū)沒有形成特征（即[-F]）到Ⅲ區(qū)形成穩(wěn)定特征（即[+F]）的關(guān)鍵區(qū)域。 該區(qū)域存在一個(gè)聲學(xué)界標(biāo)，反映聲學(xué)特征在發(fā)音參數(shù)不同賦值下的有無情況。 針對(duì)聲學(xué)界標(biāo)的研究，不僅有助于增進(jìn)對(duì)語音產(chǎn)出過程中發(fā)音-聲學(xué)的非線性關(guān)系的理解，還具有廣泛的應(yīng)用價(jià)值，如利用聲學(xué)界標(biāo)進(jìn)行病理語音的識(shí)別、二語偏誤教學(xué)等。

圖1 發(fā)音-聲學(xué)量子關(guān)系圖

圍繞聲學(xué)界標(biāo)的概念，已有部分學(xué)者開展了相關(guān)研究。 例如：PERKELL 等對(duì)英語的元音（即/a/、/i/、/u/）聲學(xué)界標(biāo)進(jìn)行分析；KOZLOFF 等對(duì)西班牙語中拍音（tapped /?/）和顫音（thrilled /r/）的聲學(xué)界標(biāo)進(jìn)行探索。 還有學(xué)者利用聲學(xué)界標(biāo)的研究方法對(duì)特殊語音進(jìn)行相關(guān)分析，如發(fā)音障礙患者的語音、抑郁語音等。與其他語言的研究相比，對(duì)漢語的研究尚處于探索階段，只有曾晨剛對(duì)漢語普通話的塞擦音進(jìn)行過聲學(xué)界標(biāo)研究。本研究參考曾晨剛、VEILEUX 等研究的范式，基于隨機(jī)森林和決策樹模型，對(duì)嗓音音質(zhì)的聲學(xué)界標(biāo)進(jìn)行探索。

2 實(shí)驗(yàn)方法

2.1 發(fā)音被試對(duì)象

本研究共招募12 名漢語普通話發(fā)音人（6 名女性，6 名男性），被試對(duì)象均來自中國(guó)北方地區(qū)（北京、河北和東北部），且普通話標(biāo)準(zhǔn)。 招募的男性被試對(duì)象平均年齡32.2 歲（標(biāo)準(zhǔn)差為6.4），平均身高177.2 cm（標(biāo)準(zhǔn)差為1.6），平均體重77.2 kg（標(biāo)準(zhǔn)差為6.8）；女性被試對(duì)象平均年齡32.0 歲（標(biāo)準(zhǔn)差為6.3），平均身高163.7 cm（標(biāo)準(zhǔn)差為2.0），平均體重55.17 kg（標(biāo)準(zhǔn)差為5.5）。 所有被試對(duì)象均為右利手，無言語或聽覺損傷歷史。

2.2 語料采集

由于漢語研究發(fā)現(xiàn)，普通話常用嘎裂音質(zhì)來表現(xiàn)曲折調(diào)（即三聲，T3）的低點(diǎn)，因此本研究選取聲調(diào)為三聲的單音節(jié)詞為實(shí)驗(yàn)材料，以獲取更自然的嘎裂音質(zhì)。 本研究選取9 個(gè)單音詞為實(shí)驗(yàn)材料，如表1 所示。 為了保證語料的可控性， 聲母統(tǒng)一選取較穩(wěn)定的/m/，以排除聲母影響。同時(shí)，選取單韻母（即/a/、/i/、/u/）和復(fù)韻母（即/ao/、/iao/、/an/、/in/、/ang/、/eng/），以達(dá)到覆蓋不同韻母類別的目的。 實(shí)驗(yàn)在安靜錄音棚內(nèi)進(jìn)行，使用專業(yè)錄音機(jī)（SONY PCM-D50）進(jìn)行錄音，采樣率48．0kHz，量化精度16bit。錄音開始前，被試對(duì)象首先熟悉錄音材料并試讀。 然后，分別用正常嗓音、嘎裂嗓音、氣嗓音、假嗓音這4 種狀態(tài)朗讀錄音材料，每個(gè)單音節(jié)詞讀3 遍，間隔1s。 每種嗓音朗讀間隔2min，以達(dá)到聲帶狀態(tài)復(fù)原的目的。

表1 實(shí)驗(yàn)錄音材料

本研究共錄制1 296 個(gè)單音節(jié)詞，并進(jìn)一步邀請(qǐng)2 名具有豐富聽辨經(jīng)驗(yàn)的漢語母語者對(duì)語料進(jìn)行感知篩選。 對(duì)于每個(gè)單音節(jié)詞，選取三遍朗讀中嗓音音質(zhì)感知效果最佳的那一遍，用于接下來的聲學(xué)界標(biāo)研究。

2.3 參數(shù)提取

首先，使用Montreal Forced Aligner 軟件對(duì)語料在字和音位兩個(gè)層面進(jìn)行自動(dòng)標(biāo)注，并由一名具有豐富標(biāo)注經(jīng)驗(yàn)的人員手動(dòng)對(duì)標(biāo)注精度進(jìn)行校正。其次，基于標(biāo)注語音，使用Praat 軟件提取聲學(xué)參數(shù)。 前人認(rèn)為， 嗓音音質(zhì)通常和基頻抖動(dòng)（jitter）、HNR、第一第二諧波差值（H1-H2）等參數(shù)具有較高相關(guān)性。 同時(shí)，為了更全面地考察聲學(xué)參數(shù)和嗓音類別的關(guān)系，研究還選取了基頻（聽覺對(duì)應(yīng)音高）、音強(qiáng)和時(shí)長(zhǎng)3 個(gè)常見參數(shù)。 最后，本研究共提取18個(gè)聲學(xué)參數(shù)：基頻均值、標(biāo)準(zhǔn)差、最大值/最小值及范圍，音強(qiáng)均值、標(biāo)準(zhǔn)差、最大值/最小值及范圍，時(shí)長(zhǎng)（即整字、元音段、輔音段），基頻抖動(dòng)、振幅抖動(dòng)（shimmer）、HNR 和諧波相關(guān)參數(shù)（即H1-H2、H1-A1、H1-A2、H1-A3）。 其中，基頻的提取使用Praat自帶的短期自相關(guān)算法，對(duì)每個(gè)計(jì)算錯(cuò)誤（倍頻或半頻）的音高點(diǎn)都進(jìn)行手動(dòng)修正。 對(duì)提取的基頻值（單位為Hz）進(jìn)行半音（st）轉(zhuǎn)換[st= 12×log（f/f）]，參考頻率（f）為100 Hz。 對(duì)于諧波相關(guān)參數(shù)，提取方法是將每個(gè)單音節(jié)詞的元音段平均分為5 段，再分別對(duì)5 段語音信號(hào)的諧波參數(shù)進(jìn)行提取。

2.4 分析思路

本研究的分析思路如下：先基于18 個(gè)聲學(xué)參數(shù)，建立隨機(jī)森林模型對(duì)4 種嗓音音質(zhì)進(jìn)行判別分析，并按照聲學(xué)參數(shù)對(duì)嗓音判別的影響大小進(jìn)行排序；再選取影響較大的聲學(xué)參數(shù)，使用決策樹模型對(duì)4 種嗓音音質(zhì)的聲學(xué)界標(biāo)進(jìn)行分析。

3 實(shí)驗(yàn)結(jié)果

3.1 基于隨機(jī)森林的判別結(jié)果

隨機(jī)森林是一種基于決策樹的并行集成學(xué)習(xí)算法，其原理是利用bootstrap 重抽樣方法對(duì)原始樣本進(jìn)行抽樣，然后對(duì)所有抽樣建立決策樹模型，最后根據(jù)投票得出最終的預(yù)測(cè)結(jié)果。 隨機(jī)森林模型的構(gòu)建流程如圖2 所示。

圖2 隨機(jī)森林模型構(gòu)建流程

使用R 語言的rondomForest 包，以18 個(gè)聲學(xué)參數(shù)為因子，嗓音音質(zhì)為因變量，建立隨機(jī)森林模型。 按7：3 的比例將數(shù)據(jù)分為訓(xùn)練集和測(cè)試集。模型內(nèi)，決策樹的數(shù)量（n）設(shè)為默認(rèn)值500。 同時(shí)，為最小化OOB（out-of-bag）預(yù)測(cè)錯(cuò)誤率，使用rondomForest 包中的“tunTF”功能，將m參數(shù)優(yōu)化為8，訓(xùn)練集的OOB 預(yù)測(cè)錯(cuò)誤率為9．03%。

針對(duì)測(cè)試集的嗓音音質(zhì)的總體判別準(zhǔn)確率為90．76%。 4 種嗓音音質(zhì)判別結(jié)果的混淆矩陣如表2所示。 正常嗓音和氣嗓音的判別準(zhǔn)確率均為100%；假嗓音的判別準(zhǔn)確率為93．33%，有6．67%的假嗓音被判別為正常嗓音；嘎裂嗓音的判別準(zhǔn)確率最低（即88．46%），約8%的嘎裂嗓音被判別為正常嗓音、4%被判別為假嗓音。

表2 隨機(jī)森林判決結(jié)果的混淆矩陣（測(cè)試集） （%）

最后，以平均損耗準(zhǔn)確率為標(biāo)準(zhǔn)，對(duì)18 個(gè)聲學(xué)參數(shù)對(duì)嗓音判別的貢獻(xiàn)度進(jìn)行排序。 如圖3 所示，對(duì)判別準(zhǔn)確率影響較大的參數(shù)（圖中陰影標(biāo)示柱狀圖）包括：基頻參數(shù)（即F0_max、F0_min、F0_mean、F0_sd）、整字時(shí)長(zhǎng)（duration）、HNR、基 頻 抖 動(dòng)（jitter）、振幅抖動(dòng)（shimmer）、第一諧波和第三振幅差值（H1-A3）。 此外，音強(qiáng)參數(shù)（即Intensity_sd、Intensity_mean）對(duì)于嗓音判別也具有一定的貢獻(xiàn)。

圖3 聲學(xué)參數(shù)對(duì)嗓音判別的貢獻(xiàn)度

3.2 決策樹模型結(jié)果

決策樹模型是一種非參數(shù)監(jiān)督學(xué)習(xí)模型，是研究數(shù)據(jù)分類規(guī)則的常見方法。 該模型的基本原理是通過一系列if-then 決策規(guī)則的集合，將特征空間劃分成有限個(gè)不相交的子區(qū)域，對(duì)于落在相同子區(qū)域的樣本，決策樹模型給出相同的預(yù)測(cè)值。使用SPSS 25.0 軟件建立決策樹模型。 基于本文3.1 章節(jié)隨機(jī)森林的結(jié)果，選取音高參數(shù)、整字時(shí)長(zhǎng)、HNR、基頻抖動(dòng)、振幅抖動(dòng)、第一諧波和第三振幅差值作為因子，將4 種嗓音類別作為因變量輸入模型。 按7：3的比例設(shè)置訓(xùn)練集和測(cè)試集。

如表3 所示，根據(jù)決策樹模型判別結(jié)果的混淆矩陣，訓(xùn)練集總體判別準(zhǔn)確率為78.0%，氣嗓音的判別準(zhǔn)確率最高（即94.2%），嘎裂音和假嗓音的判別準(zhǔn)確率在75%左右， 正常嗓音的判別準(zhǔn)確率相對(duì)較低（即65.7%）。模型經(jīng)過學(xué)習(xí)對(duì)測(cè)試集進(jìn)行判別時(shí)，準(zhǔn)確率與學(xué)習(xí)前基本保持一致，只有正常嗓音的準(zhǔn)確率下降了7.1 個(gè)百分點(diǎn)。

表3 決策樹模型判別結(jié)果的混淆矩陣 （%）

決策樹經(jīng)過學(xué)習(xí)生成的嗓音音質(zhì)聚類流程如圖4 所示。 根據(jù)流程圖可以看出，不同嗓音音質(zhì)的分類規(guī)則包括三個(gè)決策點(diǎn)：

圖4 嗓音音質(zhì)的決策樹分類流程

（1）HNR：HNR 反映語音信號(hào)中諧波和噪音的比例， 該值越低表示信號(hào)中的噪音成分越多。 以3.951 為閾值，決策樹模型將氣嗓音和其他3 種嗓音區(qū)分開來，小于等于該數(shù)值的語音被判別為氣嗓音。 這一分類規(guī)則也符合通常對(duì)氣嗓音HNR 數(shù)值的預(yù)期。

（2）基頻均值：以10.560 為閾值，模型進(jìn)一步將假嗓音和正常嗓音、嘎裂嗓音進(jìn)行了區(qū)分，當(dāng)基頻均值大于10.560 時(shí)，語音信號(hào)被判別為假嗓音。 這一分類規(guī)則同樣符合對(duì)假嗓音基頻均值的預(yù)期。

（3）第一諧波和第三振幅差值（H1-A3）：本研究對(duì)諧波參數(shù)進(jìn)行提取時(shí)，將每個(gè)元音均分為5段，然后分別提取每段的諧波參數(shù)。 在決策樹模型中，以第二段的H1-A3 為第三個(gè)決策點(diǎn)，22．7 為閾值，對(duì)正常嗓音和嘎裂嗓音進(jìn)一步區(qū)分。

再將決策樹模型對(duì)4 種嗓音音質(zhì)的分類規(guī)則加以歸納，結(jié)果如表4 所示。

表4 嗓音音質(zhì)的決策樹模型分類規(guī)則

4 結(jié)論

本研究基于隨機(jī)森林和決策樹模型，對(duì)4 種嗓音音質(zhì)的聲學(xué)界標(biāo)進(jìn)行了探索。 隨機(jī)森林結(jié)果顯示：嗓音音質(zhì)的判別準(zhǔn)確率為90．76%，基頻、整字時(shí)長(zhǎng)、HNR 和第一諧波和第三振幅差值（H1-A3）等參數(shù)對(duì)于嗓音判別的貢獻(xiàn)度較大。 基于隨機(jī)森林的結(jié)果，以對(duì)嗓音判別貢獻(xiàn)度較大的聲學(xué)參數(shù)為因子建立決策樹模型，結(jié)果發(fā)現(xiàn)：嗓音音質(zhì)的判別準(zhǔn)確率在75%以上，決策樹共有三個(gè)決策點(diǎn)，分別為SNR、基頻均值和H1-A3。

與KEATING 等研究結(jié)果一致，HNR、諧波差值等參數(shù)確實(shí)和嗓音音質(zhì)存在較高的相關(guān)性。 與H1-H2、H1-A1、H1-A2 相比，H1-A3 對(duì)于嗓音音質(zhì)的區(qū)分度更好。此外，盡管在隨機(jī)森林模型中，基頻抖動(dòng)（jitter）和振幅抖動(dòng)（shimmer）都具有較高的貢獻(xiàn)度。但在決策樹模型中，基頻抖動(dòng)和振幅抖動(dòng)并未作為嗓音類別的決策點(diǎn)。 TEIXEIRA 和FERNANDES 認(rèn)為，基頻抖動(dòng)和振幅抖動(dòng)對(duì)于病理和健康嗓音的區(qū)分效果可能更佳。

研究發(fā)現(xiàn)，（1）決策樹模型以HNR、基頻均值和H1-A3 為決策點(diǎn)。首先，根據(jù)氣嗓音信號(hào)中噪音成分更多的特點(diǎn)，HNR 將氣嗓音和其他3 種嗓音區(qū)分開來。 其次，根據(jù)假嗓音基頻均值更高的特點(diǎn)，將假嗓音和正常嗓音、嘎裂嗓音進(jìn)一步區(qū)分。 最后，根據(jù)H1-A3 的差異區(qū)分正常嗓音和嘎裂嗓音。 三個(gè)決策點(diǎn)作為嗓音音質(zhì)的聲學(xué)界標(biāo)，不僅能夠?qū)崿F(xiàn)較高的嗓音判別準(zhǔn)確率，同時(shí)也能夠較好地反映出不同嗓音類別的特點(diǎn)。值得注意的是，決策樹模型對(duì)正常嗓音的識(shí)別率相對(duì)較低（如表3 所示，分別為65．7%和58．6%），并且正常嗓音和嘎裂嗓音的區(qū)分性也相對(duì)較差（如圖4 所示，存在25%左右的混淆）。 可能的原因是，H1-A3 對(duì)于正常嗓音和嘎裂嗓音的區(qū)分效果并不十分理想。 未來可以針對(duì)正常嗓音和嘎裂嗓音的區(qū)分進(jìn)行專門考察，嘗試增加其他聲學(xué)參數(shù)（如共振峰、帶寬），尋找能夠更好區(qū)分正常嗓音和嘎裂嗓音的聲學(xué)界標(biāo)。 （2）4 種常見嗓音音質(zhì)之間存在顯著的聲學(xué)界標(biāo)。 這一結(jié)果對(duì)于聲紋鑒定中的嗓音音質(zhì)判斷具有重要的理論意義和應(yīng)用價(jià)值，不僅能夠?yàn)槁犛X檢驗(yàn)中的主觀判斷提供客觀數(shù)據(jù)支撐，還能夠豐富聲譜檢驗(yàn)的測(cè)量指標(biāo)。此外，本研究對(duì)于推動(dòng)聲紋鑒定的科學(xué)化、客觀化，司法鑒定的規(guī)范化以及提升證據(jù)可信度等方面也具有積極的作用。

但本研究仍存在以下幾點(diǎn)不足值得改進(jìn)：（1）本研究采集了1 296 個(gè)單音節(jié)詞，并進(jìn)行了感知篩選，以期對(duì)更具代表性和普遍性的嗓音語料加以研究。在數(shù)據(jù)量上略顯不足，未來可以繼續(xù)擴(kuò)大男性、女性被試對(duì)象的數(shù)量，對(duì)嗓音音質(zhì)的聲學(xué)界標(biāo)進(jìn)行更為廣泛、深入的大數(shù)據(jù)研究，以進(jìn)一步推廣本研究結(jié)論。 （2）本研究以單音節(jié)詞為考察對(duì)象，未來還可以對(duì)連續(xù)語流進(jìn)行考察，以進(jìn)一步驗(yàn)證本文結(jié)論。 （3）盡管通過聲學(xué)參數(shù)可以實(shí)現(xiàn)較高的嗓音判別準(zhǔn)確率，但是嗓音音質(zhì)的聲學(xué)界標(biāo)在聲紋鑒定實(shí)踐中的應(yīng)用效果尚不得而知，需要后續(xù)開展基于真實(shí)案件的應(yīng)用研究加以確認(rèn)。