法庭說話人識別技術應用實證研究
——以一起典型民族資產解凍詐騙案為例

張艷云，譚天航

（1.重慶市公安局刑偵總隊，重慶 400021；2.重慶高校刑事科學技術重點實驗室，重慶 401120）

在公安司法領域，說話人識別技術是利用案件中的語音進行說話人的身份辨識，是對涉案錄音檢材中未知身份的說話人語音與已知身份的嫌疑人語音進行分析比較，進而判斷二者來源于同一人或不同人的鑒定技術。［1］說話人識別常用方法有聽覺分析方法、聲學圖譜方法和自動識別方法。當前，國內各地公安物證鑒定中心采用公安部發(fā)布的語音同一認定行業(yè)標準（GA/T1433-2017）［2］，使用聽覺分析和聲學圖譜方法相結合的方法進行說話人的同一性檢驗。自動識別方法主要用于聲紋數(shù)據(jù)庫檢索，對未知說話人在專用聲紋數(shù)據(jù)庫進行查詢和比對。隨著通信技術的發(fā)展和手機等錄音設備的普及，很多刑事案件中都出現(xiàn)了涉案語音，如詐騙、販毒、敲詐勒索等。說話人識別技術也越來越多地應用到這類案件中，并且發(fā)揮了不可替代的作用。

2019年重慶市某辦案單位在偵辦一起特大民族資產解凍詐騙案中，破獲一起公安部督辦的民族資產解凍類詐騙案件，抓獲犯罪嫌疑人9名，說話人識別技術在此案成功偵辦過程中發(fā)揮了重要的作用。本案中，辦案人員從先期到案的4個嫌疑人手機中提取到大量涉案錄音文件（檢材），錄音中涉及的說話人多、錄音數(shù)據(jù)量大并且存在偽裝語音。［3］辦案單位急需解決兩個問題：一是檢材中涉及的說話人是否只有4個到案的嫌疑人，抑或另有他人；二是對檢材中指定的說話人語音與嫌疑人語音進行語音同一性鑒定。

針對上述兩個問題，鑒定人員首先采用算法預處理和聽覺分析相結合的方法對檢材語音進行了初檢。算法預處理是指對原始數(shù)據(jù)進行語音轉碼、話者分離和聲紋聚類，聽覺分析則是對聚類后的語音文件逐條進行分析修正。將修正后的檢材語音與到案的嫌疑人樣本語音進行自動比對分析，然后得到相似度結果，再利用聽覺檢驗和聲學圖譜檢驗相結合的方法進行同源性判斷，并出具鑒定意見書。這種算法預處理、自動比對分析和專家鑒定相結合的檢驗方式，不僅提高了檢驗準確性，增強了鑒定人員對錄音證據(jù)評價的信心，而且提高了檢案效率，節(jié)約了人力成本。本文對說話人識別技術在此案中的成功應用進行了分析總結，希望通過以這起案件的實證研究，探索這種檢驗模式的實踐應用，為該技術在類似案件中的應用提供借鑒和參考。

一、案件基本情況

（一）簡要案情

2019年3月，重慶市某辦案單位掌握了由某詐騙團伙“皇家軍團”的組織架構及其所屬人員信息，主要頭目龔某、由某、黃某等從2018年9月開始，合謀以民族資產解凍名義實施詐騙。該團伙虛構編造民國戰(zhàn)士李青山有一大筆被凍結的海外資金可以解凍出來，冒充李青山和國家扶貧組副組長身份，以精準扶貧的名義發(fā)放給會員，從而以收取會員費、制證費等方式實施詐騙。龔某負責偽造李青山軍官證、國家扶貧組副組長證件及相關公文，由某則將龔某偽造的文件、虛構的信息傳達給其管理的有數(shù)萬人參與的各類微信群成員實施詐騙，黃某負責洗錢套現(xiàn)，其他團伙成員負責配合由某在各大微信群實施詐騙，此案運作流程可參見圖1。截至案發(fā)，該詐騙團伙以“皇家軍團八縱隊”名義實施民族資產解凍詐騙，涉案金額總計6 000余萬元，受害者遍布全國各地。

圖1 案件運作流程圖

民族資產解凍類詐騙是指不法分子打著國家、民族旗號，偽造國家機關公文、證件、印章，以所謂的“民族資產”需要解凍，參與者只需交納一定啟動費用便可獲得巨額報酬為名，以少投入高回報引誘受害人進入騙局的一種集返利、傳銷、詐騙于一體的新型詐騙手法。［4］此類犯罪以虛構高額回報的項目為誘餌，以國家和民族的名義實施，以指揮代理人借助傳銷式手段發(fā)展下線匯集資金，已經(jīng)嚴重侵害了人民群眾的財產權益，嚴重損害黨和政府的形象，危害社會穩(wěn)定。從2019年1月開始，公安部連續(xù)兩年在全國部署開展了打擊民族資產解凍類詐騙的專項行動［5］［6］，集中摧毀了一批詐騙團伙及網(wǎng)絡，深挖徹查了一批幕后組織者、操縱者，依法懲處了一批骨干代理人，教育挽救了一批底層參與人員。但與此同時，不法分子仍然不斷翻新手法，打著各種旗號引誘人民群眾上當受騙，犯罪形勢依然嚴峻復雜。詐騙團伙內部、詐騙團伙與代理人之間、代理人與會員之間以電話、短信、微信等社交軟件進行的信息傳遞是犯罪的重要環(huán)節(jié)，及時提取和有效處理涉案錄音，會對此類案件的打擊和訴訟提供非常有價值的線索和證據(jù)支撐。

（二）涉案語音

首先，對本案提取的大量錄音進行辨聽，排除與案件無關的日常交流語音，確定涉案錄音檢材，共計34個錄音文件，詳見表1。其中，“JC”代表檢材錄音，每個數(shù)據(jù)集來自不同的手機。這些檢材主要來源于嫌疑人的手機通話錄音和社交APP，語音內容涉及詐騙手法交流、詐騙實時錄音和資金流轉等。

表1 確定與案件相關的檢材情況

二、程序和方法

（一）算法預處理

對提取到的全部檢材錄音進行算法預處理，利用算法模型1對檢材中的語音數(shù)據(jù)進行清洗，主要對語音數(shù)據(jù)進行統(tǒng)一轉碼、有效音提取和說話人分離，在此基礎上進行語音聚類。

1.語音轉碼與有效音提取。語音轉碼是指將不同格式的檢材音頻統(tǒng)一轉換為“PCM.wav”格式。因為諸如silk、amr和aud等壓縮格式的音頻文件不適合直接做數(shù)據(jù)處理，所以需要進行統(tǒng)一語音轉碼。

有效音提取是指將語音轉碼后的檢材音頻按固定時長分成若干小片段，通過基于“MFCC+TDNN”深度神經(jīng)網(wǎng)絡訓練的有效音檢測預設模型，對每個片段進行判斷是否屬于非人聲雜音，然后根據(jù)模型判斷去除原始音頻中的非人聲片段，僅保留有效的人聲片段，達到從“不干凈”語音中提取“干凈”語音的目的。涉案語音數(shù)據(jù)中多存在音樂聲、靜音、噪音、信噪比低等情形，而這類問題語音參與到語音特征建模會對最終語音比對的準確性與可信度產生不利影響。

2.話者分離。話者分離是將通話錄音中不同說話人的語音進行分離，可以實現(xiàn)每一條語音數(shù)據(jù)內只包含一個說話人。由于涉案語音數(shù)據(jù)多為多人聲單條錄音，需要處理成單人聲單條錄音，以保證聲紋提取、聲紋聚類的準確性需要。這里對語音的說話人分離主要包含三個過程：語音端點檢測、說話人轉折點檢測、說話人層次聚類。

語音端點檢測采用基于能量檢測的方法，尋找和確定一段語音中存在的有效音片段的起始點和終止點，然后提取有效的語音片段，排除噪聲等非語音干擾。

說話人轉折點檢測又稱說話人分割，是指在輸入的音頻中找出話者角色發(fā)生轉換的那個位置，其本質是找尋一種合適的方法，能夠反映話者角色轉換時的差異。如果找到了轉折點，那么系統(tǒng)會將輸入音頻依據(jù)找到的轉折點切分成短的說話人片段，理想情況下，分割后得到的小片段只會包含一個話者信息，同時，一個連續(xù)的屬于一個人的說話人片段又不會被錯分成兩個或者多個小片段。

說話人層次聚類指將每個分割后屬于單個人的說話人片段后，計算兩兩片段之間相似度，根據(jù)相似程度將屬于同一個人的多個語音片段合并成一個新的長片段。主要通過i-vector、x-vector、r-vector 加權融合方法訓練PLDA（Probabilistic Linear Discriminant Analysis）評分模型，測量說話人片段之間的相似性，判斷兩個待測片段是否屬于一個人。

3.聲紋聚類。聲紋聚類算法首先采用先進的LSTM架構對語音進行預處理，使用時延深度學習網(wǎng)絡提取有效音數(shù)據(jù)，利用i-vector、x-vector與PLDA得分融合的方式進行聲紋特征提取，最后通過CURE（Clustering Using Representative）聚類實現(xiàn)無監(jiān)督聚類。通過聲紋聚類技術，將經(jīng)過話者分離后確認為嫌疑人身份的語音進行聚類，初步確認嫌疑人數(shù)。為了提高聲紋聚類的準確性，還需要對說話人分離后的語音進行人工標注，標注內容包括說話人的性別、方言區(qū)域等信息。

4.檢材語音數(shù)據(jù)處理結果。檢材語音經(jīng)過算法模型預處理和聽覺分析適當修正后，共分為9類數(shù)據(jù)，見表2。表2中列出了每類數(shù)據(jù)所包含的語音條數(shù)、總時長及言語風格，每個單條語音除了夾雜了其他人的語氣詞（嗯、啊等）和重疊詞語外，基本上只保留了一個人的語音。整體上，話者分離的效果比較理想。

表2 經(jīng)算法預處理和聽覺分析修正后檢材情況

經(jīng)聽覺分析判斷，類1與類2的語音均為偽裝成老人的男性聲音，但在口頭用語方面有所不同；類3的語音為偽裝為政府工作人員的男性聲音，聲調略高；類4、類5的語音為用帶有廣西方言的普通話打電話的兩個不同男性的聲音；類6、類7的語音為用帶有廣西方言的普通話正常交談的兩個不同男性的聲音；類8的語音為偽裝為政府工作人員的男性聲音；類9的語音為用帶有東北方言的普通話，方言口音較重。

（二）樣本采集

為了與檢材語音進行比較，需要采集已經(jīng)到案的4個嫌疑人（龔某、黃某、由某、劉某）的語音樣本。為了增加對嫌疑人話語的總體認知，還需了解嫌疑人的戶籍與長期生活居住地等信息。經(jīng)訊問，龔某、劉某長期生活地均在廣西壯族自治區(qū)百色市凌云縣，黃某長期生活地在廣西壯族自治區(qū)南寧市，由某長期生活地在內蒙古自治區(qū)扎蘭屯市。

首先，按照語音同一性鑒定要求，針對每個嫌疑人制作了不同的、與檢材內容相關的樣本文本。然后，使用聲紋采集設備（GYZN-VR-T01）以交談與朗讀兩種方式進行樣本語料的采集。采集過程中，嫌疑人龔某、黃某、由某配合程度較高，樣本采集效果較好；劉某基本上不配合，始終保持沉默，鑒定人員只好從辦案前期的大量審訊視頻中提取出質量稍好的劉某語音作為樣本，但審訊過程中的劉某說話也較少，只回答“我不知道”“我怎么知道”等一些短語句，因此劉某的語音樣本不充分。

（三）自動比對分析

首先對聚類后的檢材語音和采集到的嫌疑人樣本語音進行了自動比對分析，考察同一類中每條零散語音數(shù)據(jù)與每個樣本之間的特征相似性。因為聲紋比對算法要求有效語音時間在3～5分鐘以上，能夠達到最好的比對效果，所以鑒定人員將檢材中每類零散語音數(shù)據(jù)拼接成一條語音數(shù)據(jù)代表該類檢材語音，再在拼接好的檢材語音之間、拼接好的檢材與樣本語音之間進行相似性比較。

每組比較對之間相似性得分用余弦距離來表示，得分經(jīng)過歸一化處理為0～1之間的數(shù)值。最高分為1分，最低分是0分，距離越近得分越高，表征兩組特征之間的相似度越高。由于語音數(shù)據(jù)類型的不同，得分也會有偏差。通常在有各種噪聲干擾信道擾動的情況下，0.2～0.4之間屬于比較相似的區(qū)域。

1.聚類后檢材語音與樣本語音間的相似性比較。聚類后的檢材語音類1至類9內所有語音片段共84個，將其分別與4個嫌疑人語音樣本進行相似性比較，生成336對比較得分。圖2為相似性得分柱形圖，從中可以看到：黃某樣本語音與類4和類7的檢材語音相似性得分在0.4～0.6之間，與類6檢材語音相似性得分在0.2～0.3之間；龔某樣本語音與類6檢材語音相似性得分在0.3～0.5之間，與類7、類8和部分類3內檢材語音相似性得分在0.2～0.3之間；劉某樣本語音僅與類6有一條檢材語音相似性得分為0.25，與其他檢材相似性得分均低于0.2，與類1內的多數(shù)檢材語音相似性得分在0.1～0.2之間較為集中；由某樣本語音與類9檢材語音相似性得分在0.2～0.5之間，絕大多數(shù)大于0.4，較為集中，與其他檢材相似性得分均低于0.2。這表明，每類所包含的零散語音片段與樣本語音的相似性比較結果基本相近，類4、類6、類7、類9的檢材語音與樣本語音相似性結果表現(xiàn)較好。

圖2 聚類后檢材與樣本相似性得分生成的柱形圖

2.聚類后檢材拼接語音之間的相似性比較。將檢材語音數(shù)據(jù)中每類零散語音數(shù)據(jù)拼接成一條語音數(shù)據(jù)代表該類檢材語音，進行每類檢材之間的相似性比較，結果見表3。表3中的數(shù)據(jù)表明，類6與類8的語音相似性得分最高為0.74；類4與類7、類6與類7、類7與類8的語音相似性得分在0.4～0.6之間；類9與其他類的語音相似性得分均低于0.2。結合聽覺分析判斷：類6與類8的語音應來源于同一說話人的兩種言語風格，前者為熟人之間正常交談、說話人自然放松、語調輕柔；后者為作案時偽裝為政府某工作人員指導被害人轉款、說話人普通話不自然、語調生硬。類4與類7的語音應來源于同一說話人，前者為打電話語音，聲調較高；后者為正常交談，聲調正常，但說話人方音、語調和語氣等極為一致。類6與類7的語音應來自不同人的聲音，二者音色、說話風格等均不同，類7與類8的語音亦如此。因此，相似性得分較高的語音也不能完全確認來自同一人，需要與聽覺分析同步進行檢驗方可確認。

表3 每類檢材拼接之后的相似性比較

3.聚類后的檢材拼接語音與樣本語音的相似性比較。通過聚類后的檢材拼接語音之間的相似性比較分析，將類4與類7的檢材語音合并為類4&7，由于類8的語音有偽裝，所以沒有將類6與類8的檢材語音進行合并。這里，首先將8個檢材語音與4個嫌疑人語音樣本進行比較分析，確認涉案語音與嫌疑人的對應關系，結果見表4。表4中共有32個比較語音對的相似值，龔某樣本語音與類3、類6、類8檢材語音相似性得分在0.2～0.4之間；黃某與類4&7、類6、類8檢材語音相似性得分在0.2～0.6之間；劉某與類5、類6檢材語音相似性得分在0.2～0.3之間；由某與類8、類9檢材語音相似性得分在0.2～0.5之間。

表4 拼接檢材語音與語音樣本的自動分析結果

隨后，在樣本中添加參考人群，來評估語音特征的典型性。［7］參考人群選擇與樣本語音條件相近的發(fā)音人，如長期生活地、性別、年齡段等影響因素。本文的參考人群主要從重點人員聲紋數(shù)據(jù)庫中隨機篩選，共有兩個參考人群庫，第一個500人庫（庫1），主要為扎蘭屯市及周邊地區(qū)的男性說話人，語音特征與由某樣本語音特征相近。第二個500人庫（庫2），主要為百色市及周邊地區(qū)的男性說話人，語音特征與嫌疑人龔某、劉某、黃某樣本語音特征相近；將4個嫌疑人語音樣本分別放入兩個參考人群庫，再用8個檢材語音進行入庫比對，每個庫分別生成4 032個比較結果，獲取涉案語音檢材與嫌疑人語音樣本在比對結果中的Top50結果，見表5。從結果看，黃某與類4&7、由某與類9、龔某與類6的比較語音對在兩個庫中比對結果均排在Top5，龔某與類8的比較語音對結果也比較好。

表5 拼接檢材語音在兩個語音庫中的自動比對結果

（四）聽覺分析與聲學檢驗

按照聽覺分析與聲學檢驗相結合的方法，結合自動比對分析結果對檢材中指定的說話人語音與嫌疑人語音進行語音同一性鑒定。

1.黃某與類4&7、龔某與類9的語音對比較分析。黃某樣本語音與類4&7檢材語音中的說話人，發(fā)音正常未偽裝，均為帶有廣西方音特征的普通話，語速較快。雖然在錄音環(huán)境、錄音信道與設備等方面有一定的差異，但是二者在音質特征、音素的發(fā)音方法、發(fā)音習慣、方言和語氣語調等特征方面均具有較好的一致性。在檢材與樣本中選取共有的相同音節(jié)進行圖譜分析，可供比對音節(jié)包含3條以上有效共振峰，且可供比對的不同音節(jié)達到10個以上，語音的共振峰模式、聲調模式、韻律特征、音節(jié)內和音節(jié)間的過渡特征上反映一致，符合同一說話人的語音特征。

由某樣本語音與類9檢材語音檢驗方式與上述情況類似，所不同的是檢材與樣本中的說話人講的是帶有東北方音特征的普通話，經(jīng)聽覺檢驗和聲學圖譜分析確定符合同一說話人的語音特征。

2.龔某與類2、類3、類6、類8的語音對比較分析。類2檢材語音為偽裝成老人的聲音，發(fā)音人改變正常發(fā)聲狀態(tài)，通過喉嚨收緊改變喉腔空間，使得聲音變得嘶啞、低沉，圖譜上第三、四共振峰特征反映不明顯。類3與類8檢材語音為冒充政府工作人員的聲音，發(fā)音音調較高，字正腔圓，但明顯“拿腔拿調”，表現(xiàn)為生硬、做作，但圖譜特征反映充分。類6的檢材語音為與熟人正常談話的聲音，音調正常、語速較快，為帶有廣西方音特征的普通話。

龔某的樣本語音包含自我陳述和朗讀文本兩種言語風格。從聽感上判斷與類6的檢材語音最為接近，與類3、與類8次之，與類2無法判斷。通過進一步的聲學圖譜比較和定量分析，可判斷龔某的樣本語音與類3、類6和類8的檢材語音來自同一說話人。由于無法錄制與類2相類似的樣本，類2的檢材語音無條件檢驗。（通過語音內容關系和其他材料方面的印證，類2中的說話人為龔某。）

3.劉某與類1、類5的語音對比較分析。類1檢材語音為偽裝成老人的聲音，發(fā)音方式與類1相似，但在口頭言語表現(xiàn)方面有所不同。類5檢材語音為團伙內部人員之間的通話錄音，說話人發(fā)音正常，吐字清晰，語速較快，講的是帶有廣西方音特征的普通話。劉某的樣本語音由部分訊問視頻中劉某的語音拼接形成，主要是回答問話的短語句，較為單一。通過聽覺分析和聲學圖譜分析，可以判斷劉某的樣本語音與類5的檢材語音來自同一說話人。同樣，由于無法錄制與類1相類似的樣本，類1的檢材語音無條件檢驗。（通過語音內容關系和其他材料方面的印證，類1中的說話人為劉某。）

三、結果與討論

（一）自動比對和人工檢驗結果對照分析

經(jīng)過自動比對檢驗、人工聽覺分析和聲學圖譜檢驗，我們判斷涉案檢材中的說話人只有4個到案的嫌疑人，并按照對應關系出具了鑒定書，具體見表6。在應用自動分析結果時，不僅參考了檢材與樣本之間的相似度數(shù)值，同時注意到了相似度在與樣本語音條件相同數(shù)據(jù)庫中的Top序列返回值。對于樣本和檢材語音比較對相似性得分大于0.4并且Top值排前10的，應給予高度關注。

表6 自動比對和人工檢驗結果

（二）自動比對結果的影響因素分析

說話人的言語風格對自動比對分析結果存在一定的影響。這里，言語風格［8］指說話人在口語交流時體現(xiàn)的整體語用特色，特別是語音風貌和樣式，語音案件中，由于案件性質、交流目的、談話對象和環(huán)境場合的不同，檢材語音和樣本語音往往表現(xiàn)為不同的風格特點，常見的言語風格有自由交談風格、問答（訊問/詢問）風格、朗讀（照文本念讀）風格。不同言語風格除了在詞匯、語法、修辭等語用特征方面有所不同以外，在發(fā)音的方式方法和音高、音強、語速、停頓、重音等韻律特征方面也有差別。

黃某、由某的檢材與樣本語音言語風格均為自由交談，而且在音高、停頓、重音等韻律特征方面基本一致，因此，相似性得分均大于0.4，自動識別結果較好；龔某的檢材語音包含三種風格：自由交談、冒充政府辦事人員（音高、音強、語速等韻律特征變化明顯）、偽裝老人（發(fā)音腔體改變、韻律特征改變），龔某的樣本語音為自由交談和朗讀兩種風格，相似性得分和自動識別結果差異明顯，言語風格相互匹配的比對效果較好、不匹配的比對效果較差。劉某的檢材與樣本比較結果也說明了這點。

言語風格對聲紋聚類也有一定影響，但是基本上可以實現(xiàn)言語風格一致的語音片段聚類。本文通過語音預處理將大量的檢材語音通過聚類分為9個數(shù)據(jù)集，每個數(shù)據(jù)集中的語音均為單條語音單人聲、言語風格也較為一致，為進一步的自動比對分析和人工分析都提供了良好的基礎。

（三）檢案模式總結

通過上述系列處理、分析和檢驗，我們對說話人識別技術在該案中的成功應用經(jīng)驗進行了總結，提煉了檢驗該案的重要環(huán)節(jié)和經(jīng)驗模式，為處理這類案件提供模式參考和檢驗借鑒。具體檢驗流程見圖3。

圖3 檢驗流程

本文采用自動識別方法和人工檢驗相結合的方式對一起民族資產解凍詐騙案件中的涉案語音進行了檢驗識別和實證研究。研究表明，對于檢材語音數(shù)據(jù)量較大、涉及說話人較多案件時，通過算法預處理和聽覺分析調整可以快速地將檢材處理為單條語音單人聲的語音段、并按照語音特征進行自動分析聚類，聚類效果能夠達到實用要求。聚類后語音與嫌疑人樣本語音可以做自動比對分析，但是，結果的應用不僅要參照檢材與樣本之間的相似度值，也要參照檢材語音在與樣本條件相同數(shù)據(jù)庫中的Top序列返回值，兩個數(shù)值綜合分析可為人工檢驗提供量化數(shù)據(jù)支持。與此同時，還要注意到檢材語音與樣本語音言語風格不匹配對自動識別的影響。

本案應用的算法預處理、自動比對和專家鑒定相結合的檢驗程序和方法流程，適用于處理涉案錄音證據(jù)量大、說話人多、已有部分嫌疑人到案的專案語音數(shù)據(jù)分析，類似于多個說話人的閉集識別。采用該檢驗模式可以大大縮短檢驗時間、提高檢驗效率，而同時提供的證據(jù)量化評價也提升了鑒定的準確性和客觀性。