基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)評(píng)測(cè)關(guān)鍵技術(shù)及方法

■ 文/公安部第一研究所 劉琦 陳偉 井冰 張濟(jì)國(guó)

關(guān)鍵字：聲紋識(shí)別 公共安全 大數(shù)據(jù)

1 引言

當(dāng)前，信息化技術(shù)已經(jīng)深入到人們生活的方方面面。智能設(shè)備在人們的生活中隨處可見，如何方便快捷、準(zhǔn)確高效地實(shí)現(xiàn)人與智能設(shè)備的信息交流已經(jīng)日漸成為當(dāng)前研究的熱點(diǎn)問題。隨著電子計(jì)算機(jī)和人工智能設(shè)備的普遍應(yīng)用，語音通信成為人與機(jī)器之間最便捷的交流方式。因此，通過聲紋識(shí)別等語音技術(shù)實(shí)現(xiàn)人與智能設(shè)備之間的高效溝通成為了當(dāng)前語音領(lǐng)域研究的重點(diǎn)內(nèi)容。而聲紋作為生物識(shí)別技術(shù)的重要組成方式之一，因其具備獨(dú)特的優(yōu)勢(shì)而在市場(chǎng)中被廣泛推廣，部署應(yīng)用于安全加密、金融信息安全、刑偵取證、聲控、安防、音頻檢索、個(gè)性?shī)蕵方换シ?wù)乃至軍事國(guó)防等諸多領(lǐng)域。目前，越來越多的聲紋識(shí)別系統(tǒng)已經(jīng)在金融和智能安防等公共安全行業(yè)中廣泛應(yīng)用，對(duì)提高公安辦案效率、服務(wù)智能金融和改善人民生活等方面發(fā)揮著越來越重要的作用。如何定位基于公共安全大數(shù)據(jù)的聲紋識(shí)別系統(tǒng)的核心性能指標(biāo)、研究相應(yīng)的檢測(cè)方法、確定聲紋識(shí)別系統(tǒng)測(cè)試數(shù)據(jù)集并根據(jù)檢測(cè)方法搭建檢測(cè)平臺(tái)，已經(jīng)成為當(dāng)前公共安全聲紋識(shí)別領(lǐng)域及評(píng)測(cè)領(lǐng)域的首要任務(wù)。

2 聲紋識(shí)別簡(jiǎn)介

2.1聲紋原理

所謂聲紋，通常是指一種帶有個(gè)人標(biāo)識(shí)的特征信息，在人類語音信號(hào)中，這類特征信息具有其特定性、相對(duì)穩(wěn)定性和一定程度的差異性。特定性即指每個(gè)人的聲紋信息各不相同，個(gè)人生理差異，發(fā)聲器官和發(fā)聲習(xí)慣差異，可以導(dǎo)致每個(gè)個(gè)體的音長(zhǎng)、音強(qiáng)、音高、音色這些語音要素的不同，進(jìn)而引起了音波長(zhǎng)、頻率、強(qiáng)度、節(jié)奏等方面的差異；相對(duì)穩(wěn)定性是指每個(gè)人的聲紋信息通常情況下不會(huì)產(chǎn)生較大變化；一定程度的差異性是指心理狀態(tài)、生理情況、外部環(huán)境干擾等因素會(huì)導(dǎo)致目標(biāo)人員的聲紋信息在一定程度范圍內(nèi)產(chǎn)生變化。正是由于聲紋信息具有特定性和穩(wěn)定性，可將目標(biāo)說話人的聲紋信息與指定說話人的聲紋信息進(jìn)行匹配與比較，得到相應(yīng)的匹配結(jié)果，并根據(jù)結(jié)果判定兩個(gè)聲紋信息的發(fā)聲者是否為同一目標(biāo)人員，這就是聲紋識(shí)別。

2.2聲紋識(shí)別分類

聲紋識(shí)別的分類方式主要有兩種，一種是根據(jù)比較目標(biāo)數(shù)量相關(guān)的分類方式，另一種是根據(jù)是否文本相關(guān)的分類方式。下圖1和圖2分別展示了兩種分類方式。

圖1 說話人確認(rèn)

圖2 說話人辨認(rèn)

第一種分類方式，按照比較目標(biāo)數(shù)量是否為同一個(gè)目標(biāo)，聲紋識(shí)別分為說話人辨認(rèn)和說話人確認(rèn)。說話人辨認(rèn)是指判斷當(dāng)前說話人與多個(gè)被比較目標(biāo)中的哪一個(gè)目標(biāo)是匹配的，即當(dāng)前說話人與被比較目標(biāo)數(shù)量關(guān)系為1：N（N≥2）時(shí)，此時(shí)的聲紋識(shí)別任務(wù)為說話人辨認(rèn)；說話人確認(rèn)是判斷當(dāng)前說話人與被比較目標(biāo)說話人是否匹配，即當(dāng)前說話人與被比較目標(biāo)數(shù)量關(guān)系為1:1時(shí)，此時(shí)的聲紋識(shí)別任務(wù)為說話人確認(rèn)。

第二種分類方式則將聲紋識(shí)別任務(wù)分為文本相關(guān)和文本無關(guān)兩種。文本相關(guān)是指此次聲紋識(shí)別任務(wù)的說話人按照已指定的文本信息內(nèi)容執(zhí)行說話任務(wù)，而聲紋識(shí)別任務(wù)的建模也按照上述文本信息內(nèi)容進(jìn)行建模、處理及特征提取等操作，文本相關(guān)的聲紋識(shí)別任務(wù)的優(yōu)點(diǎn)是具有較高的識(shí)別準(zhǔn)確率，但需要說話目標(biāo)人員的高度配合；相反，文本無關(guān)的聲紋識(shí)別任務(wù)，不對(duì)說話人的文本內(nèi)容信息進(jìn)行限制，此類聲紋識(shí)別任務(wù)的優(yōu)點(diǎn)是用戶體驗(yàn)好、操作簡(jiǎn)單、應(yīng)用范圍廣，缺點(diǎn)是模型建立困難、識(shí)別準(zhǔn)確率相對(duì)于文本相關(guān)的聲紋識(shí)別任務(wù)較低。

2.3聲紋識(shí)別原理

如圖3所示，完整的聲紋識(shí)別系統(tǒng)通常包括兩個(gè)主要模塊，即特征提取模塊和模型建立模塊。特征提取模塊包括語音信號(hào)預(yù)處理單元和聲紋特征提取單元；模型建立模塊包括模型訓(xùn)練模塊和模型匹配模塊。

圖3 聲紋識(shí)別系統(tǒng)原理圖

實(shí)際識(shí)別過程中，在預(yù)處理前都要對(duì)聲音源的聲音信號(hào)進(jìn)行采集。聲音源的模擬信號(hào)通過數(shù)字采集系統(tǒng)，形成離散的語音信號(hào)，此時(shí)就完成了聲音信號(hào)的采集工作。

隨后進(jìn)行預(yù)處理，對(duì)離散的語音信號(hào)預(yù)加重處理，即在保證有效信號(hào)功率的前提下，提升高頻部分的頻譜，降低低頻部分的干擾。預(yù)加重處理之后需進(jìn)行分幀加窗操作，將語音信號(hào)分成多個(gè)語音幀，語音幀具有短時(shí)平穩(wěn)的特性，為后續(xù)操作提供了基礎(chǔ)。預(yù)處理過程的最后一步為語音信號(hào)的端點(diǎn)檢測(cè)，即在某段語音信號(hào)中，區(qū)分出有效語音信號(hào)的起止點(diǎn)，進(jìn)行端點(diǎn)檢測(cè)后的語音信號(hào)才能進(jìn)行有效的特征提取。

語音信號(hào)的特征提取是標(biāo)準(zhǔn)的ICO框架模型操作，輸入端為待提取的語音信號(hào)，輸出端為語音信號(hào)特征參數(shù)值，輸入輸出端處理的核心為語音特征提取算法。其中，輸出端語音信號(hào)的特征參數(shù)分為時(shí)域特征參數(shù)和頻域特征參數(shù)。時(shí)域特征參數(shù)主要包括短時(shí)能量、短時(shí)過零率和短時(shí)自相關(guān)等；頻域特征參數(shù)主要為功率譜分析后的相關(guān)特征向量，如頻譜重心、均方頻率、頻譜方差和頻率方差等。

值得一提的是，目前存在一種主流的特征參數(shù)，稱為梅爾倒譜系數(shù)（MFCC）。它是一種接近于普通人耳聽覺特性的特征參數(shù)，在聲紋識(shí)別領(lǐng)域中，相比于普通線性倒譜，梅爾倒譜系數(shù)更能在非線性關(guān)系下，反應(yīng)語音信號(hào)的特征。

聲紋識(shí)別屬于一種模式識(shí)別，需要進(jìn)行相應(yīng)的模型匹配及訓(xùn)練操作。利用指定算法模型計(jì)算說話人語音的聲紋信息與模板語音的聲紋信息之間的匹配程度，從而進(jìn)行說話人確認(rèn)與說話人辨認(rèn)。

3 基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)的主要性能指標(biāo)

不同聲紋識(shí)別任務(wù)對(duì)應(yīng)的系統(tǒng)性能指標(biāo)基本不同。通常，公共安全聲紋識(shí)別系統(tǒng)的性能指標(biāo)也是按照聲紋確認(rèn)和聲紋辨認(rèn)進(jìn)行分類的。

對(duì)于聲紋確認(rèn)系統(tǒng)而言，其主要性能指標(biāo)包括檢測(cè)錯(cuò)誤權(quán)衡曲線（DET）、等錯(cuò)誤率（EER）和檢測(cè)代價(jià)函數(shù)（DCF），影響這三個(gè)主要性能指標(biāo)的參量為錯(cuò)誤接受率（FAR）和錯(cuò)誤拒絕率（FRR）。

對(duì)于聲紋辨認(rèn)系統(tǒng)而言，需按照系統(tǒng)是開集系統(tǒng)還是閉集系統(tǒng)進(jìn)行分類討論。通常情況下，等錯(cuò)誤率（EER）和檢測(cè)代價(jià)函數(shù)（DCF）仍被看作是開集聲紋辨認(rèn)系統(tǒng)的核心指標(biāo)。閉集聲紋識(shí)別系統(tǒng)需要將從目標(biāo)說話人集合中正確/錯(cuò)誤找到對(duì)應(yīng)的說話人的比率列為核心指標(biāo)。

由于聲紋識(shí)別系統(tǒng)的主要性能指標(biāo)均為相關(guān)比率（需要較多的重復(fù)次數(shù)與較大的測(cè)試數(shù)據(jù)集合），因此，對(duì)于聲紋識(shí)別系統(tǒng)的評(píng)價(jià)、搭建檢測(cè)平臺(tái)、采集測(cè)試數(shù)據(jù)并構(gòu)造測(cè)試數(shù)據(jù)集合是十分重要的。

4 基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)測(cè)試數(shù)據(jù)集的構(gòu)建

常規(guī)聲紋數(shù)據(jù)庫(kù)在說話場(chǎng)景、說話人數(shù)量、單個(gè)說話人的語音數(shù)量、說話內(nèi)容文本多樣性、說話人口音多樣性、錄音設(shè)備多樣性以及數(shù)據(jù)正確性等多個(gè)方面均有要求，而這些也恰恰是基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)測(cè)試數(shù)據(jù)集建設(shè)時(shí)需要考慮的要素。

4.1錄音語料

4.1.1語料池內(nèi)容

考慮到數(shù)據(jù)庫(kù)的復(fù)雜性，錄音內(nèi)容應(yīng)分為固定語句和非固定語句，涉及多種位數(shù)不同的漢語數(shù)字串以及多個(gè)不同的中文文本，比如：“我叫某某，XX歲，出生于……”、隨機(jī)數(shù)字串、與電話號(hào)碼格式相同的數(shù)字串等。

4.1.2語料池處理

1）脫敏處理：刪除政治敏感、個(gè)人隱私、色情暴力等內(nèi)容；

2）添加與刪除內(nèi)容同樣數(shù)量的語料文本；

3）統(tǒng)一格式。

4.1.3固定語句與非固定語句分配

錄音的語句分為固定語句和非固定語句。固定語句為朗讀同一內(nèi)容多遍并分別進(jìn)行錄音；非固定語句為朗讀不同內(nèi)容或隨機(jī)內(nèi)容一遍并進(jìn)行錄音，相同類型的語句（如：隨機(jī)數(shù)字串）可以制作多種非固定語句并進(jìn)行朗讀和錄音。

4.2錄制發(fā)音人信息

1）籍貫：考慮到地域和方言發(fā)音方式的差異，發(fā)音人的籍貫錄制應(yīng)盡可能覆蓋范圍廣泛，且當(dāng)前居住位置分布也應(yīng)較為分散；

2）性別：男/女，其中男女比例應(yīng)接近1：1；

3）年齡區(qū)間：應(yīng)劃分為多個(gè)年齡段，每個(gè)年齡段的聲音應(yīng)存在較明顯的特征，且各個(gè)年齡段錄音人數(shù)應(yīng)符合中年和壯年人群居多，青少年和老年人數(shù)較少的要求；

4）信道：可分為網(wǎng)絡(luò)信道和電話信道。

4.3數(shù)據(jù)錄制環(huán)境

4.3.1錄制環(huán)境

安靜的室內(nèi)環(huán)境,包含不影響聲紋識(shí)別的背景噪音。說話人按照正常語速朗讀錄音文本。

4.3.2錄制設(shè)備

用于錄制的設(shè)備應(yīng)包括高保真麥克風(fēng)和錄音機(jī)、多種型號(hào)的手機(jī)等。

4.3.3錄制過程

1）說話人距離高保真麥克風(fēng)以及手機(jī)一致,以正常說話音量和語速朗讀錄音文本；

2）同時(shí)使用兩種方式（網(wǎng)絡(luò)信道、電話信道）錄制同一個(gè)人的聲音，分別命名為信道1和信道2；

3）錄制過程如圖4所示。

圖4 錄制過程

5 基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)測(cè)試平臺(tái)的搭建與測(cè)試

基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)測(cè)試平臺(tái)工作示意圖如圖5所示，被測(cè)聲紋識(shí)別系統(tǒng)可為算法動(dòng)態(tài)鏈接庫(kù)和應(yīng)用程序兩種形式。

圖5 基于公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)測(cè)試平臺(tái)工作示意圖

在測(cè)試聲紋識(shí)別系統(tǒng)之前，應(yīng)先進(jìn)行數(shù)據(jù)準(zhǔn)備。在數(shù)據(jù)準(zhǔn)備過程中可添加、修改、刪除和查看相應(yīng)的數(shù)據(jù)集，并對(duì)指定數(shù)據(jù)集內(nèi)的數(shù)據(jù)進(jìn)行導(dǎo)入操作，被導(dǎo)入的語音文件在導(dǎo)入完成后會(huì)優(yōu)先進(jìn)行數(shù)據(jù)符合性測(cè)試，對(duì)已采集并成功輸入至測(cè)試平臺(tái)的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估和審核，參考因素應(yīng)包括但不限于《安全防范聲紋識(shí)別應(yīng)用網(wǎng)絡(luò)語音樣本技術(shù)要求》中規(guī)定的內(nèi)容：

1）數(shù)據(jù)格式符合性檢驗(yàn)；

2）語音質(zhì)量符合性檢驗(yàn)；

3）采樣率符合性檢驗(yàn)；

4）通道數(shù)符合性檢驗(yàn)；

5）信噪比符合性檢驗(yàn)；

6）有效語音長(zhǎng)度符合性檢驗(yàn)；

7）平均幅度值符合性檢驗(yàn)；

8）說話人數(shù)符合性檢驗(yàn)；

9）合成語音符合性檢驗(yàn)。

在數(shù)據(jù)符合性測(cè)試完成后，可對(duì)已導(dǎo)入數(shù)據(jù)進(jìn)行相應(yīng)的標(biāo)注操作，在標(biāo)注操作過程中可生成標(biāo)注項(xiàng)目，并可查看標(biāo)注項(xiàng)目的標(biāo)注日志、標(biāo)注進(jìn)度等情況。同時(shí)根據(jù)標(biāo)注任務(wù)所選擇的庫(kù)自動(dòng)生成下一條標(biāo)注任務(wù)，可在標(biāo)注過程中播放語音數(shù)據(jù)且具有語音播放、暫停和停止功能。標(biāo)注完成的數(shù)據(jù)可被指定數(shù)據(jù)集調(diào)用，在完成所有數(shù)據(jù)的導(dǎo)入和標(biāo)注任務(wù)后，可創(chuàng)建測(cè)試集。如圖6所示，測(cè)試集分為注冊(cè)集和驗(yàn)證集，注冊(cè)集用于被測(cè)聲紋識(shí)別系統(tǒng)的模型建立及測(cè)試數(shù)據(jù)的注冊(cè)；驗(yàn)證集用于在建模完成及注冊(cè)完成后大量數(shù)據(jù)的測(cè)試。

圖6 數(shù)據(jù)集管理流程

數(shù)據(jù)和數(shù)據(jù)集處理完成后可測(cè)試聲紋識(shí)別系統(tǒng)性能。性能測(cè)試前需選擇注冊(cè)集和測(cè)試集，并根據(jù)《安全防范聲紋識(shí)別應(yīng)用程序接口規(guī)范》進(jìn)行聲紋識(shí)別接口符合性測(cè)試。具體包括如下：

1）聲紋數(shù)據(jù)接口類型符合性判定，包括：接口數(shù)據(jù)類型、單/多段語音數(shù)據(jù)、聲紋模型、聲紋相似度、聲紋識(shí)別版本、聲紋識(shí)別句柄；

2）聲紋識(shí)別接口函數(shù)符合性判定，包括：聲紋初始化函數(shù)、聲紋釋放函數(shù)、聲紋版本信息獲取函數(shù)、聲紋錯(cuò)誤信息獲取函數(shù)、聲紋注冊(cè)函數(shù)、聲紋確認(rèn)函數(shù)、聲紋辨認(rèn)函數(shù)；

3）聲紋應(yīng)用接口函數(shù)符合性判定，包括：聲紋注冊(cè)、聲紋確認(rèn)、聲紋辨認(rèn)、聲紋刪除、聲紋查詢。

在聲紋識(shí)別系統(tǒng)接口符合性測(cè)試通過后，可設(shè)置后續(xù)性能測(cè)試的相關(guān)參數(shù)閾值。當(dāng)測(cè)試結(jié)果返回值超過設(shè)定閾值或未在設(shè)定閾值范圍內(nèi)時(shí)，應(yīng)給出提示信息并在測(cè)試結(jié)果中突出顯示。

性能測(cè)試包括但不限于如下指標(biāo)要求，主要包括：聲紋注冊(cè)成功率、聲紋確認(rèn)成功率、聲紋辨認(rèn)成功率、聲紋確認(rèn)識(shí)別精度（錯(cuò)誤拒絕率、錯(cuò)誤接受率）、聲紋辨認(rèn)準(zhǔn)確率、聲紋注冊(cè)時(shí)間、聲紋識(shí)別時(shí)間、聲紋確認(rèn)時(shí)間、聲紋辨認(rèn)時(shí)間、最小錯(cuò)誤損失、等錯(cuò)誤率、查全率、查準(zhǔn)率、F1分?jǐn)?shù)、虛警率、漏警率、最小檢測(cè)代價(jià)函數(shù)（最小檢測(cè)損失）、檢測(cè)代價(jià)曲線（檢測(cè)損失函數(shù)）、注冊(cè)實(shí)時(shí)率和測(cè)試實(shí)時(shí)率等。

性能測(cè)試結(jié)束后，可展示的測(cè)試統(tǒng)計(jì)結(jié)果如下：

1）給定FAR下FRR統(tǒng)計(jì)（包含聲紋確認(rèn)、合成語音檢測(cè)、重放語音檢測(cè)）；

2）給定FRR下FAR統(tǒng)計(jì)（包含聲紋確認(rèn)、合成語音檢測(cè)、重放語音檢測(cè)）；

3）EER統(tǒng)計(jì)（包含聲紋確認(rèn)、合成語音檢測(cè)、重放語音檢測(cè)）；

4）確認(rèn)打分分布統(tǒng)計(jì)和繪制（聲紋確認(rèn)）；

5）DET曲線繪制（聲紋確認(rèn)）；

6）ROC曲線繪制（聲紋確認(rèn)）；

7）給定Rank辨認(rèn)準(zhǔn)確率統(tǒng)計(jì)（聲紋辨認(rèn)）；

8）辨認(rèn)打分分布統(tǒng)計(jì)和繪制（聲紋辨認(rèn)）；

9）多系統(tǒng)性能對(duì)比包含（聲紋確認(rèn)、聲紋辨認(rèn)、合成語音檢測(cè)、重放語音檢測(cè)）。

除此之外，還可對(duì)當(dāng)前被測(cè)系統(tǒng)防攻擊性能進(jìn)行測(cè)試，具體指標(biāo)包括合成語音檢測(cè)準(zhǔn)確率和重放語音檢測(cè)準(zhǔn)確率。

6 結(jié)語

公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)測(cè)試平臺(tái)的搭建，分為測(cè)試數(shù)據(jù)準(zhǔn)備和測(cè)試平臺(tái)搭建。測(cè)試數(shù)據(jù)按照《安全防范聲紋識(shí)別應(yīng)用網(wǎng)絡(luò)語音樣本技術(shù)要求》中的有關(guān)規(guī)定進(jìn)行準(zhǔn)備，搭建后的平臺(tái)除可對(duì)公共安全領(lǐng)域大數(shù)據(jù)聲紋識(shí)別系統(tǒng)進(jìn)行常規(guī)性能測(cè)試外，也滿足了對(duì)相關(guān)行業(yè)標(biāo)準(zhǔn)的測(cè)試需求。

目前的聲紋識(shí)別系統(tǒng)雖然已發(fā)展成熟，但相關(guān)標(biāo)準(zhǔn)與方法仍然有待完善，一些對(duì)于“聲紋安全”的測(cè)試項(xiàng)目仍缺乏規(guī)范和相應(yīng)的測(cè)試方法。相信不久的將來，聲紋識(shí)別系統(tǒng)會(huì)和視頻監(jiān)控系統(tǒng)一樣，成為為公共安全保駕護(hù)航的中堅(jiān)力量。