基于CNN-Transformer的欺騙語音檢測

摘 要：語音合成和轉換技術的不斷更迭對聲紋識別系統(tǒng)產(chǎn)生重大威脅。針對現(xiàn)有語音欺騙檢測方法中難以適應多種欺騙類型，對未知欺騙攻擊檢測能力不足的問題，提出了一種結合卷積神經(jīng)網(wǎng)絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ） 與Ｔｒａｎｓｆｏｒｍｅｒ 的欺騙語音檢測模型。設計基于坐標注意力（Ｃｏｏｒｄｉｎａｔｅ Ａｔｔｅｎｔｉｏｎ，ＣＡ） 嵌入的ＳＥ-ＲｅｓＮｅｔ１８ 的位置感知特征序列提取網(wǎng)絡，將語音信號局部時頻表示映射為高維特征序列并引入二維位置編碼（ｔｗｏ-Ｄｉｍｅｎｓｉｏｎａｌ Ｐｏｓｉｔｉｏｎ Ｅｎｃｏｄｉｎｇ，２Ｄ-ＰＥ） 保留特征之間的相對位置關系；提出多尺度自注意力機制從多個尺度建模特征序列之間的長期依賴關系，解決Ｔｒａｎｓ-ｆｏｒｍｅｒ 難以捕捉局部依賴的問題；引入特征序列池化（Ｓｅｑｕｅｎｃｅ Ｐｏｏｌｉｎｇ，ＳｅｑＰｏｏｌ） 提取話語級特征，保留Ｔｒａｎｓｆｏｒｍｅｒ 層輸出幀級特征序列之間的相關性信息。在ＡＳＶｓｐｏｏｆ２０１９ 大賽官方邏輯訪問（Ｌｏｇｉｃ Ａｃｃｅｓｓ，ＬＡ） 數(shù)據(jù)集的實驗結果表明，提出的方法相對于當前先進的欺騙語音檢測系統(tǒng)，等錯誤率（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ，ＥＥＲ） 平均降低１２． ８３％ ，串聯(lián)檢測成本函數(shù)（ｔａｎｄｅｍ Ｄｅｔｅｃｔｉｏｎ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ，ｔ-ＤＣＦ） 平均降低７． ８１％ 。

關鍵詞：欺騙語音檢測；位置感知序列；Ｔｒａｎｓｆｏｒｍｅｒ；特征序列池化

中圖分類號：ＴＰ３９１． ４ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０５－１０９１－０８

０ 引言

ＮＩＳＴ 說話人識別評估挑戰(zhàn)［１］的結果顯示，在過去的數(shù)年里，語音生物識別技術已經(jīng)達到了令人印象深刻的性能。由該技術衍生出的自動說話人驗證（Ａｕｔｏｍａｔｉｃ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ，ＡＳＶ）系統(tǒng)得以被廣泛地應用在安全系統(tǒng)、出入境管制、法醫(yī)實驗室、網(wǎng)上銀行和其他電子商務系統(tǒng)等社會重要機構。大量研究表明，盡管最先進的ＡＳＶ 系統(tǒng)具有很高的性能，但在面對語音合成、語音轉換等欺騙攻擊時依然表現(xiàn)得十分脆弱［２］，因此設計有效的欺騙檢測方法保證ＡＳＶ 系統(tǒng)的安全性具有重要意義。

在語音信號的時頻表示中，不同的子區(qū)域之間存在某些固定的關系，例如基頻與諧波［３］，語音合成或者語音轉換技術通常無法充分對這些關系進行建模［４］。因此有效提取局部時頻區(qū)域特征并建模它們之間的全局依賴關系能夠提高欺騙檢測的性能。卷積神經(jīng)網(wǎng)絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）目前是反欺騙對抗最常用的模型。Ｗａｎｇ等［５］設計了一種密集連接的卷積神經(jīng)網(wǎng)絡增強音頻特征的傳播，并通過特征重用確保網(wǎng)絡中各層之間的最大信息流，大幅提升特征提取能力。Ｌｉ 等［６］在Ｒｅｓ２Ｎｅｔ 的基礎上提出了ＣＧＲｅｓ２Ｎｅｔ，通過在特征組之間的連接中加入門控機制，實現(xiàn)根據(jù)輸入動態(tài)選擇信道，提升檢測效果。Ｆｕ 等［７］提出了一種基于快速傅里葉變換的ＣＮＮ 前端特征提取網(wǎng)絡ＦａｓｔＡｕｄｉｏ，用可學習層取代固定濾波器組實現(xiàn)特征提取，與固定前端相比，能夠更加靈活地適應未知欺騙檢測。Ｔａｋ 等［８］使用ＲａｗＮｅｔ２ 直接從原始語音波形中學習幀級特征，實驗結果表明了避免使用基于先驗知識的手工前端特征的端到端架構在欺騙檢測中的潛力。但是基于ＣＮＮ 的模型只適用于建模局部特征，對于全局依賴性通常需要依靠堆疊大量的卷積層實現(xiàn)，效率低下。為了解決該問題，Ｔａｋ 等［９］通過圖注意力網(wǎng)絡（Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ，ＧＡＴ）跨越時頻點捕獲局部時頻區(qū)域之間的全局依賴關系，但是出于計算量的考慮，構建圖結點的數(shù)量比較有限，這會導致信息的損失。

最近，基于Ｔｒａｎｓｆｏｒｍｅｒ［１０］的架構在計算機視覺、自然語言處理等領域表現(xiàn)出優(yōu)秀的效果，其通過自注意機制高效的捕獲全局依賴性，這對語音欺騙檢測來說至關重要。受此啟發(fā)，本文提出了一種結合ＣＮＮ 和Ｔｒａｎｓｆｏｒｍｅｒ 的欺騙檢測模型，增強對局部時頻特征的提取能力以及高效建模特征之間的全局依賴關系，提升對未知欺騙攻擊檢測的性能。

１ Ｔｒａｎｓｆｏｒｍｅｒ 網(wǎng)絡模型

１． １ Ｔｒａｎｓｆｏｒｍｅｒ 概述

Ｔｒａｎｓｆｏｒｍｅｒ 架構引入自注意力機制，通過計算每個特征序列與其他序列之間的關系對當前序列進行更新。自注意力機制的主要特點是高效并行化計算和快速構建全局相關性的能力，這使其比遞歸神經(jīng)網(wǎng)絡或者ＣＮＮ 更適合學習長距離依賴關系。Ｔｒａｎｓｆｏｒｍｅｒ 后來被用于自然語言處理。最近，它的各種變體結構被廣泛集成到計算機視覺和說話人識別領域中并取得了優(yōu)秀的性能。

Ｔｒａｎｓｆｏｒｍｅｒ 架構由多個Ｔｒａｎｓｆｏｒｍｅｒ 塊堆疊組成，每個Ｔｒａｎｓｆｏｒｍｅｒ 塊包括多頭自注意力層和前饋層Ｆ（·）。其中多頭自注意力層由多個自注意力頭Ａｔｔ（·）組成，它是Ｔｒａｎｓｆｏｒｍｅｒ 學習全局依賴信息的關鍵。給定輸入序列集合ｈ ＝ ［ｈ１ ，ｈ２ ，ｈ３ ，…，ｈｔ］∈ Rｔ×ｄ，其中ｔ 和ｄ 分別代表序列的數(shù)量和維數(shù)，每一個自注意力頭可以被看做是對值矩陣Ｖ 的加權和，權重由鍵矩陣Ｋ 和查詢矩陣Ｑ 之間的相似性得出，計算如下：

式中：矩陣Ｑ、Ｋ、Ｖ 由序列集合ｈ 與權重矩陣Ｗ 相乘得到。

多頭注意力機制將多個自注意力的輸出進行拼接后傳入一個線性層計算全局相關性。

２ 本文模型結構

為了高效捕捉語音信號局部時頻表示之間的相關性，提升欺騙語音檢測的性能，本文設計了一種基于結合ＣＮＮ 和Ｔｒａｎｓｆｏｒｍｅｒ 的欺騙語音檢測網(wǎng)絡，基本結構如圖１ 所示。主要由位置感知序列映射、幀級特征提取以及話語級特征聚合組成。

對于一段語音信號樣本，首先將其轉換為時頻表示特征ＦＢａｎｋ，將ＦＢａｎｋ 通過卷積神經(jīng)網(wǎng)絡映射為Ｃ 維特征序列集合Ｘ∈RＴ×Ｆ×Ｃ 并添加位置編碼信息，其中，Ｔ、Ｆ 為ＦＢａｎｋ 時間和頻率方向的局部時頻表示數(shù)量。隨后，進行拉伸變換，構建位置感知特征序列集合ＸＰ ∈RＣ×Ｄ ，其中Ｄ ＝ Ｔ×Ｆ。然后基于改進的Ｔｒａｎｓｆｏｒｍｅｒ 編碼器提取幀級特征，從多個尺度高效建模各個特征序列之間的相關性，最后引入特征序列池化聚合話語級特征用于分類預測。

２． １ 位置感知序列映射

本文采用ＳＥ-ＲｅｓＮｅｔ１８ 的前３ 層從ＦＢａｎｋ 中提取局部特征，構建特征序列集合。原ＳＥ-ＲｅｓＮｅｔ１８在每個卷積塊之間添加Ｓｑｕｅｅｚｅ Ｅｘｃｉｔａｔｉｏｎ（ＳＥ）模塊用于學習通道之間的相關性，是一種面向通道的注意力機制。但是ＳＥ 模塊忽略了空間關系，對于欺騙語音檢測而言，難以區(qū)分各個局部時頻表示的重要性。因此本文通過在每個ＳＥ-ＲｅｓＮｅｔ１８ 塊之間嵌入坐標注意力（Ｃｏｏｒｄｉｎａｔｅ Ａｔｔｅｎｔｉｏｎ，ＣＡ）機制［１１］對ＳＥ-ＲｅｓＮｅｔ１８ 進行改進。此外，特征序列集合的拉伸變換操作會丟失每個時頻子區(qū)域之間的相對位置關系，故本文引入二維交替正余弦編碼［１２］對相對位置信息進行保留。

２． １． １ ＣＡ 嵌入

ＣＡ 機制通過將時間方向和頻率方向的空間信息編碼到通道中，使模型能夠關注重要時頻區(qū)域，忽略無效時頻區(qū)域，具體結構如圖２ 所示。首先，對于給定的輸入特征Ｈ∈RＣ×Ｔ×Ｆ ，使用平均池化沿時間和頻率方向聚合一對一維空間感知向量ｓｔ ∈RＣ×１×Ｆ 、ｓｆ∈RＣ×Ｔ×１ ，將２ 個空間感知向量拼接后經(jīng)由１×１ 卷積進行通道交互和壓縮，然后通過批歸一化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ，ＢＮ）層與非線性變換層（Ｎｏｎ-ｌｉｎｅａｒ）生成空間編碼信息ｓｐ ∈RＣｒ×１×（Ｆ＋Ｔ），ｒ 表示壓縮系數(shù)，最后使用２ 個１×１ 的卷積以及Ｓｉｇｍｏｉｄ 激活函數(shù)分別產(chǎn)生時間方向和頻率方向的權重信息對原始特征進行加權。

２． １． ２ 二維交替正余弦編碼

Ｔｒａｎｓｆｏｒｍｅｒ 中通常使用一維位置編碼處理自然語言序列中可能出現(xiàn)的由于位置變換導致位置信息丟失的問題，但是這并不適用于由ＣＮＮ 輸出的三維特征序列集合，因此本文引入文獻［１２］中的二維交替正余弦編碼保留特征序列之間的相對位置信息。對于特征序列集合Ｘ ＝ ［ｘ１ ，ｘ２ ，ｘ３ ，…，ｘｉ ］∈ Ｔ×Ｆ×Ｃ ，具體編碼信息如下：

２． ２ 多尺度自注意機制

Ｔｒａｎｓｆｏｒｍｅｒ 中的自注意機制優(yōu)勢在于其高效的并行化能力和全局依賴建模，但卻難以捕捉特征序列局部之間的依賴，這也導致基于Ｔｒａｎｓｆｏｒｍｅｒ 的架構通常難以應用到語音領域。為了提升Ｔｒａｎｓｆｏｒｍｅｒ?qū)Φ奶卣餍蛄芯植块L期依賴的建模能力，本文提出了一種多尺度自注意力（Ｍｕｌｔｉｓｃａｌｅ Ｓｅｌｆ-Ａｔｔｅｎｔｉｏｎ，ＭＳＡ）機制對原自注意力進行改進。該機制利用不同的自注意力頭關注不同長度的局部序列以獲取多尺度長期依賴信息，提高局部建模能力，結構如圖３所示。

首先將特征集合ｘ∈RＤ×Ｃ 按序列長度均分得到ｎ 個局部序列特征集合ｘｉ∈RＤ×（Ｃ/ｎ），其中ｉ 表示第ｉ 個局部序列特征集合，Ｃ 表示單個特征序列長度，Ｄ 表示集合中的特征數(shù)量。均分操作之后，每個局部序列特征集合ｘｉ 都會通過與之相對應的自注意力頭Ａｔｔｉ 和激活函數(shù)為ＬｅａｋｙＲｅＬＵ 線性層Ｌｉ，其中線性層的作用是保證ｘｉ 和ｙｉ 的維度一致。輸出ｙｉ 表示如下：

如圖３ 所示，Ａｔｔｉ 的輸入特征不僅包括當前的局部序列特征集合ｘｉ，同時還包括前一項輸出局部序列特征集合ｙｉ。因此，當前輸入局部特征子集包含更長的序列特征以及多種感受野的大小組合。更長的序列特征包含更多的語音信息以及進行更好的上下文分析，多種感受野的大小組合則可以豐富局部子序列長期依賴關系，實現(xiàn)更精準、有效的特征提取。如式（９）所示，將所有的ｙｉ 進行拼接后輸入線性層ＬＧ 和自注意力頭ＡｔｔＧ 進行全局級多尺度依賴信息整合，輸出特征Ｙ∈RＣＧ×Ｄ 。

２． ３ 特征序列池化

池化操作也稱為讀出操作，主要作用是將連續(xù)的高維幀級序列特征聚合為可用于分類的話語級特征。本文引入特征序列池化（Ｓｅｑｕｅｎｃｅ Ｐｏｏｌｉｎｇ，ＳｅｑＰｏｏｌ）［１３］聚合幀級特征，不同于常用的平均池化、最大池化以及總和池化等靜態(tài)池化方法，特征ＳｅｑＰｏｏｌ 是一種基于注意力機制的映射變換，其通過保留不同幀級序列之間的相關信息提高性能并且不會帶來額外的參數(shù)。

該方法一共包括３ 個步驟。對于一個Ｌ 層的Ｔｒａｎｓｆｏｒｍｅｒ 編碼器輸出ｙＬ ∈RＤ×Ｃ，特征ＳｅｑＰｏｏｌ 方法首先利用一個線性層對ｙＬ 進行降維以及信息整合，隨后，對ｇ（ｙＬ ）∈RＤ×１ 應用Ｓｏｆｔｍａｘ 激活函數(shù)為每一個輸入幀級序列產(chǎn)生一個重要性權重，計算如下：

ｗＬ ＝ Ｓｏｆｔｍａｘ（ｇ（ｙＬ） Ｔ ）∈ R１ ×Ｄ ， （１０）

式中：ｇ（ｙＬ）代表線性層映射。將重要性權重ｗＬ 與ｙＬ 相乘生成話語級特征ｚ，計算如下：

ｚ ＝ Ｓｏｆｔｍａｘ（ｇ（ｙＬ） Ｔ ）× ｙＬ ∈ R１ ×Ｃ 。（１１）

將ｚ 進行降維后生成ｚ′∈R３． １ 實驗環(huán)境與參數(shù)細節(jié)Ｃ 輸入到全連接層中進行分類。對于欺騙檢測任務，全連接層的最后一層是一個包含２ 個神經(jīng)元的線性層，每一個神經(jīng)元的輸出分別代表欺騙類別和真實類別的置信度得分。

３ 實驗與結果分析

３． １ 實驗環(huán)境與參數(shù)細節(jié)

本文采用ＦＢａｎｋ 作為前端時頻表示特征。以２０ ｍｓ 幀長、１０ ｍｓ 幀移、漢寧窗以及５１２ 個傅里葉變換變換點提取對數(shù)功率譜。所有對數(shù)功率譜調(diào)整為固定長度４００ 幀，對于時長不足的語音樣本，本實驗沿時間軸對特征進行復制。對于長語音，本實驗隨機選擇４００ 幀連續(xù)幀。然后應用６０ 個線性濾波器提取６０ 維ＦＢａｎｋ。

本實驗基于Ｕｂｕｎｔｕ ２０． ０４ 操作系統(tǒng)，采用Ｐｙ-Ｔｏｒｃｈ 框架實現(xiàn)，顯卡為ＮＶＤＩＡ ＧＴＸ １０８０Ｔｉ。設置β１ ＝ ０． ９，β２ ＝ ０． ９９９，初始學習率為５ ×１０－５ 的Ａｄａｍ優(yōu)化器，學習速率衰減采用余弦退火方法?？偣灿柧殻保埃?個輪次，取其中最好的實驗結果作為最終結果。

３． ２ 數(shù)據(jù)集

實驗采用ＡＳＶｓｐｏｏｆ２０１９ 大賽的邏輯訪問（Ｌｏｇｉｃａｌ Ａｃｃｅｓｓ，ＬＡ）數(shù)據(jù)集驗證本文模型以及其他不同模型的檢測效果。該數(shù)據(jù)集基于ＶＣＴＫ 語料庫的１０７ 位說話人語音樣本，由１７ 種不同的語音合成以及語音轉換算法產(chǎn)生后通過１６ 比特量化下采樣到１６ ｋＨｚ 得到。數(shù)據(jù)集包含訓練集、開發(fā)集以及評估集３ 個子集且彼此之間沒有交集。此外，開發(fā)集中的欺騙語音采用訓練集中相同的欺騙語音算法（Ａ０１ ～ Ａ０６）產(chǎn)生，用于驗證算法對可見欺騙語音的檢測效果。評估集中使用了１３ 種欺騙語音產(chǎn)生算法（Ａ０７ ～ Ａ１９），其中的Ａ０６、Ａ０４ 與訓練集中的Ａ１９、Ａ１６ 是同一種欺騙算法，另外的１１ 種算法相對于訓練集是未知的，用于驗證算法對未知欺騙語音的檢測效果。數(shù)據(jù)集詳細設置如表１ 所示。

３． ３ 評估指標

本文采用等錯誤率［２］（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ，ＥＥＲ）作為次要檢測指標，采用ＡＳＶｓｐｏｏｆ２０１９ 大賽中所提出的最小串聯(lián)檢測代價函數(shù)［１４］（ｍｉｎ ｔａｎｄｅｍ-Ｄｅｔｅｃｔｉｏｎ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ，ｍｉｎ ｔ-ＤＣＦ）作為主要檢測指標，二者的值均越低代表系統(tǒng)的檢測準確度越高。

（１）ＥＥＲ

如式（１４）所示，ＥＥＲ 被定義為在閾值為τ 的情況下，錯誤接受率ＰＦＡＲ（τ）和錯誤拒絕率ＰＦＲＲ（τ）相等時的值。錯誤接受率和錯誤拒絕率由式（１２）、式（１３）所示，其中Ｎｆａ（τ）、Ｎｍｉｓｓ（τ）分別表示欺騙語音樣本被錯誤接受的數(shù)量以及真實語音樣本被錯誤拒絕的數(shù)量，Ｎｓｐｏｏｆ、Ｎｂｏｎａｆｉｄｅ 分別表示欺騙語音樣本的數(shù)量以及真實語音樣本的數(shù)量。ＥＥＲ 是一種獨立評判欺騙語音檢測系統(tǒng)的有效指標，通過比較ＥＥＲ可以直觀地看出欺騙語音檢測系統(tǒng)的性能。

（２）最小串聯(lián)檢測代價函數(shù)

實際場景中，ＡＳＶ 系統(tǒng)通常與反欺騙（ＣＭ）系統(tǒng)串聯(lián)應用，如果只將ＣＭ 系統(tǒng)的等錯誤作為評價指標，無法全面反映ＣＭ 系統(tǒng)和ＡＳＶ 系統(tǒng)對檢測結果的影響。因此，ＡＳＶｓｐｏｏｆ２０１９ 大賽采用最小串聯(lián)檢測代價函數(shù)作為主要的評價指標。如式（１５）所示，其綜合考慮ＣＭ 系統(tǒng)和ＡＳＶ 系統(tǒng)的決策，在評價系統(tǒng)性能時更加合理：

式中：ＰＣＭＦＲＲ（τ）和ＰＣＭＦＡＲ（τ）分別表示在閾值為τ 的情況下，ＣＭ 系統(tǒng)的錯誤拒絕率和錯誤接收率；系數(shù)Ｃ０ 、Ｃ１ 、Ｃ２ 由ＡＳＶ 系統(tǒng)和ＣＭ 系統(tǒng)的２ 種錯誤率以及先驗概率所決定，ｔ-ＤＣＦｄｅｆａｕｌｔ 定義為ＣＭ 系統(tǒng)接受或拒絕每條測試語音樣本無信息的默認成本。

ｔ-ＤＣＦｄｅｆａｕｌｔ ＝ Ｃ０ ＋ ｍｉｎ｛Ｃ１ ，Ｃ２ ｝。（１６）

３． ４ 消融實驗

為了驗證本文模型中每個組件的有效性，通過移除或者替換對應組件在評估集上進行了多組消融實驗，結果如表２ 所示。

由表２ 可知，實驗２ 通過添加位置嵌入信息（Ｐｏｓｉｔｉｏｎ Ｅｍｂｅｄｄｉｎｇ，ＰＥ）保留時頻子區(qū)域之間的相對位置關系能夠在一定程度上提升模型性能。實驗３ 在ＳＥ-ＲｅｓＮｅｔ１８ 層之間添加ＣＡ 模塊區(qū)分局部時頻子區(qū)域之間的重要性，ＥＥＲ 與ｍｉｎ ｔ-ＤＣＦ 分別降低３． ７％ 、１． ３％ 。在實驗３ 的基礎上將自注意力機制替換成ＭＳＡ 機制，ＥＥＲ 降低５． ０％ ，ｍｉｎ ｔＤＣＦ 降低３． ７３％ ，這表明豐富尺度信息能有效提升對欺騙偽影的檢測。實驗５ 進一步將全局平均池化（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＧＡＰ）替換為ＳｅｑＰｏｏｌ，ＥＥＲ和ｍｉｎ ｔ-ＤＣＦ 達到１． ５８ 和０． ０４８ １，對比實驗４ 分別降低４． ７３％ 、２． ０３％ ，因為ＳｅｑＰｏｏｌ 相對于靜態(tài)池化方法，能夠有效保留Ｔｒａｎｓｆｏｒｍｅｒ 編碼器輸出幀級特征之間的相關信息，從而提升模型檢測精度。

圖４ 是分別提?。?０００ 條真實語音和各類欺騙語音的話語級特征進行降維后形成的可視化消融實驗對比圖，其中紫色代表真實語音，黃色代表欺騙語音，圖４ （ａ）～ 圖４ （ｄ）分別對應消融實驗２ ～ ５。圖４（ａ）為添加ＰＥ 信息后的可視化效果圖，可以看出真實語音和欺騙語音類間碰撞情況較多，且對于真實語音的類內(nèi)聚合度差。圖４（ｂ）為在圖４（ａ）的基礎上嵌入ＣＡ 機制的可視化效果圖，相比于圖４（ａ），圖４ （ｂ）的類間碰撞情況有所降低，且真實語音類間聚合度有明顯提升，這表明ＣＡ 提升了模型的特征提取能力，話語級特征具備更強的甄別性。圖４（ｃ）為將自注意力機制替換為ＭＳＡ 機制的可視化效果圖，可以看出類間碰撞降低，對于大部分真實語音，類間聚合度明顯提高，但是依然存在少部分真實樣本聚合度比較差。圖４（ｄ）為進一步替換ＧＡＰ 為ＳｅｑＰｏｏｌ 的可視化效果圖，相比于圖４（ｃ），在沒有增加類間碰撞的情況下，提升了真實語音之間的相似性，這表明ＳｅｑＰｏｏｌ 并不會影響主干網(wǎng)絡的特征提取能力，且能保留主干網(wǎng)絡輸出特征序列之間的相關性信息以提升區(qū)分度。

３． ５ 未知攻擊檢測性能對比實驗

為了驗證本文模型對未知攻擊檢測的性能，在評估集中使用６ 種模型與本文模型進行對比，包括ＯＣ-Ｓｏｆｔｍａｘ［１５］、ＬＣＮＮ-ＬＳＴＭ-ｓｕｍ［１６］、Ａｔｔｅｎｔｉｏｎ ＋ ＲｅｓＮｅｔ［１７］、ＭＣＧ-Ｒｅｓ２Ｎｅｔ５０［６］、Ｒａｗ ＰＣ-ＤＡＲＴＳ［１８］和Ｒｅｓ-ＴＳＳＤ-Ｎｅｔ［１９］。上述６ 種模型均是單一系統(tǒng)，并沒有經(jīng)過任何分數(shù)融合策略。對比實驗分別比較７ 種模型的ＥＥＲ 和ｍｉｎ ｔ-ＤＣＦ，結果如表３ 所示。本研究在ＥＥＲ 指標上達到最優(yōu)性能，相較于最優(yōu)模型Ｒｅｓ-ＴＳＳＤＮｅｔ，ｍｉｎ ｔ-ＤＣＦ 相同，但是ＥＥＲ 降低了１． ８３％ 。

為了進一步對比Ｒａｗ ＰＣ-ＤＡＲＴＳ、Ｒｅｓ-ＴＳＳＤＮｅｔ與本文模型對不同攻擊類型的檢測性能，在評估集上對Ａ０７ ～ Ａ１９ 共１３ 種未知欺騙攻擊分別進行實驗并比較ｍｉｎ ｔ-ＤＣＦ 指標，結果如圖５ 所示。

從圖５ 可以看出對于大部分的欺騙類型，３ 種模型的檢測性能表現(xiàn)差距不大。針對Ａ０７ ～ Ａ１６ 共１０ 種攻擊類型，本文模型的整體精度表現(xiàn)得更加穩(wěn)定，對于Ａ０８ 和Ａ１２ 類型，Ｒａｗ ＰＣ-ＤＡＲＴＳ 無法有效檢測，Ｒｅｓ-ＴＳＳＤＮｅｔ 的檢測性能波動最明顯，相對于其余攻擊類型，其對于Ａ０７、Ａ１０ 以及Ａ１５ 的檢測精度存在明顯下降，這表明本文模型的泛化性能更好，能夠適應更多種的未知欺騙類型。但是在面對公認難度最高的Ａ１７ 攻擊類型時，３ 種模型的ｍｉｎ ｔ-ＤＣＦ均有大幅度上升，其中本文模型的表現(xiàn)最差，主要原因在于Ａ１７ 是一種基于原始波濾波的轉換攻擊算法，因此采用Ａ１７ 算法生成的偽裝語音在原始波中會包含更多的欺騙偽影。而Ｒａｗ ＰＣ-ＤＡＲＴＳ 和Ｒｅｓ-ＴＳＳＤＮｅｔ 均采用未經(jīng)手工處理的原始波形作為輸入特征，相對于本文采用的前端特征Ｌｉｎｅａｒ ＦＢａｎｋ 保留了更多的有效信息。但是以原始波形作為輸入特征同時會引入大量冗余信息，提升了模型對特征的提取難度，導致模型無法在多種不同的攻擊類型上表現(xiàn)出平穩(wěn)的性能。

本文模型的話語級特征在評估集上針對各類攻擊類型的可視化結果如圖６ 所示，紅色圓點為真實語音，其余顏色圓點為多種欺騙語音。從圖６ 中可以看出真實語音類內(nèi)聚合度高，同時與各類欺騙語音之間間距明顯，少量類間碰撞主要集中于Ａ１７ 上，這表明本文模型能夠有效區(qū)分真實語音和欺騙語音。

４ 結束語

本文提出了一種結合ＣＮＮ 與Ｔｒａｎｓｆｏｒｍｅｒ 的欺騙語音檢測模型，旨在通過高效捕捉語音信息局部時頻表示之間的全局相關性來提高來解決現(xiàn)有方法難以適應多種欺騙類型、對未知欺騙攻擊檢測能力不足的問題。設計基于ＣＡ 注意力嵌入的ＳＥ-Ｒｅｓ-Ｎｅｔ１８ 的位置感知特征序列提取網(wǎng)絡，將語音信號局部時頻表示映射為高維特征序列，采用二維位置編碼保留特征序列之間的相對位置信息，并在原ＳＥ-ＲｅｓＮｅｔ１８ 的基礎上嵌入ＣＡ 注意力區(qū)分特征序列之間的重要性，提升特征提取能力；提出ＭＳＡ 機制替換Ｔｒａｎｓｆｏｒｍｅｒ 層中的單一自注意力，解決Ｔｒａｎｓｆｏｒｍｅｒ 難以捕捉局部依賴的問題；引入ＳｅｑＰｏｏｌ提取話語級特征，保留Ｔｒａｎｓｆｏｒｍｅｒ 層輸出幀級特征序列之間的相關性信息，優(yōu)化檢測精度。實驗結果表明，在ＡＳＶｓｐｏｏｆ２０１９ 大賽數(shù)據(jù)集的ＬＡ 場景中，相較于當前先進模型，本文模型適應性更強且ｍｉｎ ｔ-ＤＣＦ 與ＥＥＲ 平均降低７． ８１％ 和１２． ８３％ ，整體檢測精度上具備明顯優(yōu)勢。在未來的工作中，將使用多特征融合的方式，豐富前端特征表達，從而提升對未知攻擊檢測的精度和模型的泛化性。

參考文獻

［１］ ＳＡＤＪＡＤＩ Ｓ Ｏ，ＧＲＥＥＮＢＥＲＧ Ｃ，ＳＩＮＧＥＲ Ｅ，ｅｔ ａｌ． Ｔｈｅ２０２１ ＮＩＳＴ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ Ｅｖａｌｕａｔｉｏｎ ［ＥＢ ／ ＯＬ ］．（２０２２－０４－２１）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／２２０４． １０２４２．

［２］ ＮＡＵＴＳＣＨ Ａ，ＷＡＮＧ Ｘ，ＥＶＡＮＳ Ｎ，ｅｔ ａｌ． ＡＳＶｓｐｏｏｆ２０１９：Ｓｐｏｏｆｉｎｇ Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ ｆｏｒ ｔｈｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｙｎｔｈｅｓｉｚｅｄ，Ｃｏｎｖｅｒｔｅｄ ａｎｄ Ｒｅｐｌａｙｅｄ Ｓｐｅｅｃｈ ［Ｊ ］． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ， Ｂｅｈａｖｉｏｒ， ａｎｄ ＩｄｅｎｔｉｔｙＳｃｉｅｎｃｅ，２０２１，３（２）：２５２－２６５．

［３］ ＨＵＡＮＧ Ｐ Ｙ，ＸＵ Ｈ，ＬＩ Ｊ Ｃ，ｅｔ ａｌ． Ｍａｓｋｅｄ Ａｕｔｏｅｎｃｏｄｅｒｓｔｈａｔ Ｌｉｓｔｅｎ［Ｃ］∥ ＮｅｕｒＩＰＳ ２０２２． Ｎｅｗ Ｏｒｌｅａｎｓ：［ｓ． ｎ． ］，２０２２：２８７０８－２８７２０．

［４］ ＨＵＡＮＧ Ｒ Ｊ，ＣＵＩ Ｃ Ｙ，ＣＨＥＮ Ｆ Ｙ，ｅｔ ａｌ． ＳｉｎｇＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｈｉｇｈｆｉｄｅｌｉｔｙ ＳＩｎｇｉｎｇＶｏｉｃｅ Ｇｅｎｅｒａｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３０ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｌｉｓｂｏａ：ＡＣＭ，２０２２：２５２５－２５３５．

［５］ ＷＡＮＧ Ｚ，ＣＵＩ Ｓ Ｓ，ＫＡＮＧ Ｘ Ｇ，ｅｔ ａｌ． Ｄｅｎｓｅｌｙ ＣｏｎｎｅｃｔｅｄＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ａｕｄｉｏ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥２０２０ ＡｓｉａＰａｃｉｆｉｃ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ａｓｓｏｃｉａｔｉｏｎ Ａｎｎｕａｌ Ｓｕｍｍｉｔ ａｎｄ Ｃｏｎｆｅｒｅｎｃｅ （ＡＰＳＩＰＡＡＳＣ）． Ａｕｃｋｌａｎｄ：ＩＥＥＥ，２０２０：１３５２－１３６０．

［６］ ＬＩ Ｘ，ＷＵ Ｘ Ｘ，ＬＵ Ｈ，ｅｔ ａｌ． Ｃｈａｎｎｅｌｗｉｓｅ ＧａｔｅｄＲｅｓ２Ｎｅｔ：Ｔｏｗａｒｄｓ Ｒｏｂｕｓｔ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｓｙｎｔｈｅｔｉｃ ＳｐｅｅｃｈＡｔｔａｃｋｓ ［ＥＢ ／ ＯＬ］． （２０２１ － ０７ － １９ ）［２０２３ － ０５ － １６ ］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０７． ０８８０３．

［７］ ＦＵ Ｑ Ｃ，ＴＥＮＧ Ｚ Ｗ，ＷＨＩＴＥ Ｊ，ｅｔ ａｌ． ＦａｓｔＡｕｄｉｏ：Ａ Ｌｅａｒｎａｂｌｅ Ａｕｄｉｏ ＦｒｏｎｔＥｎｄ ｆｏｒ Ｓｐｏｏｆ Ｓｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥ＩＣＡＳＳＰ ２０２２ － ２０２２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｓｉｎｇａｐｏｒｅ：ＩＥＥＥ，２０２２：３６９３－３６９７．

［８］ ＴＡＫ Ｈ，ＰＡＴＩＮＯ Ｊ，ＴＯＤＩＳＣＯ Ｍ，ｅｔ ａｌ． ＥｎｄｔｏＥｎｄ Ａｎｔｉｓｐｏｏｆｉｎｇ ｗｉｔｈ ＲａｗＮｅｔ２ ［Ｃ］∥ ＩＣＡＳＳＰ ２０２１ － ２０２１ ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｔｏｒｏｎｔｏ：ＩＥＥＥ，２０２１：６３６９－６３７３．

［９］ ＴＡＫ Ｈ，ＪＵＮＧ Ｊ，ＰＡＴＩＮＯ Ｊ，ｅｔ ａｌ． Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ａｎｔｉｓｐｏｏｆｉｎｇ ［ＥＢ ／ ＯＬ ］． （２０２１ － ０４ － ０８ ）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０４． ０３６５４．

［１０］ ＶＡＳＷＡＮＩ Ａ，ＳＨＡＺＥＥＲ Ｎ，ＰＡＲＭＡＲ Ｎ，ｅｔ ａｌ． ＡｔｔｅｎｔｉｏｎＩｓ Ａｌｌ Ｙｏｕ Ｎｅｅｄ ［Ｃ］∥ ＮＩＰＳ ２０１７． Ｌｏｎｇ Ｂｅａｃｈ：ＣｕｒｒａｎＡｓｓｏｃｉａｔｉｏｒ Ｉｎｃ． ，２０１７：６０００－６０１０．

［１１］ ＨＯＵ Ｑ Ｂ，ＺＨＯＵ Ｄ Ｑ，ＦＥＮＧ Ｊ Ｓ． Ｃｏｏｒｄｉｎａｔｅ Ａｔｔｅｎｔｉｏｎｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋ Ｄｅｓｉｇｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｎａｓｈｖｉｌｌｅ：ＩＥＥＥ，２０２１：１３７１３－１３７２２．

［１２］ ＲＡＩＳＩ Ｚ，ＮＡＩＥＬ Ｍ Ａ，ＦＩＥＧＵＴＨ Ｐ，ｅｔ ａｌ． ２Ｄ ＰｏｓｉｔｉｏｎａｌＥｍｂｅｄｄｉｎｇｂａｓｅｄ Ｔｒａｎｓｆｏｒｍｅｒ ｆｏｒ Ｓｃｅｎｅ Ｔｅｘｔ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｖｉｓｉｏｎ ａｎｄ ＩｍａｇｉｎｇＳｙｓｔｅｍｓ，２０２０，６（１）：１－４．

［１３］ ＨＡＳＳＡＮＩ Ａ，ＷＡＬＴＯＮ Ｓ，ＳＨＡＨ Ｎ，ｅｔ ａｌ． Ｅｓｃａｐｉｎｇ ｔｈｅＢｉｇ Ｄａｔａ Ｐａｒａｄｉｇｍ ｗｉｔｈ Ｃｏｍｐａｃｔ Ｔｒａｎｓｆｏｒｍｅｒｓ［ＥＢ ／ ＯＬ］．（２０２２－０６－０７）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／２１０４． ０５７０４ｖ４．

［１４］ ＫＩＮＮＵＮＥＮ Ｔ，ＬＥＥ Ｋ Ａ，ＤＥＬＧＡＤＯ Ｈ，ｅｔ ａｌ． ｔＤＣＦ：ＡＤｅｔｅｃｔｉｏｎ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ ｆｏｒ ｔｈｅ Ｔａｎｄｅｍ Ａｓｓｅｓｓｍｅｎｔ ｏｆＳｐｏｏｆｉｎｇ Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ ａｎｄ Ａｕｔｏｍａｔｉｃ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［ＥＢ ／ ＯＬ］． （２０１９ －０４ －１２）［２０２３ －０５ －１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １８０４． ０９６１８ｖ２．

［１５］ ＺＨＡＮＧ Ｙ，ＪＩＡＮＧ Ｆ，ＤＵＡＮ Ｚ Ｙ． Ｏｎｅｃｌａｓｓ Ｌｅａｒｎｉｎｇ Ｔｏｗａｒｄｓ Ｓｙｎｔｈｅｔｉｃ Ｖｏｉｃｅ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ ［Ｊ ］． ＩＥＥＥＳｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，２０２１，２８：９３７－９４１．

［１６］ ＷＡＮＧ Ｘ，ＹＡＭＡＧＩＳＨＩ Ｊ． Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｎＲｅｃｅｎｔ Ｎｅｕｒａｌ Ｓｐｏｏｆｉｎｇ Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ ｆｏｒ ＳｙｎｔｈｅｔｉｃＳｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ［ＥＢ ／ ＯＬ］． （２０２１－０３ －２１）［２０２３ －０５ －１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０３． １１３２６ｖ２．

［１７］ ＬＩＮＧ Ｈ Ｆ，ＨＵＡＮＧ Ｌ Ｃ，ＨＵＡＮＧ Ｊ Ｒ，ｅｔ ａｌ． Ａｔｔｅｎｔｉｏｎｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ ＡＳＶ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥ Ｉｎｔｅｒｓｐｅｅｃｈ ２０２１． Ｂｒｎｏ：［ｓ． ｎ． ］，２０２１：４２８９－４２９３．

［１８］ ＧＥ Ｗ Ｙ，ＰＡＴＩＮＯ Ｊ，ＴＯＤＩＳＣＯ Ｍ，ｅｔ ａｌ． ＲａｗＤｉｆｆｅｒｅｎｔｉａｂｌｅ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ ｆｏｒ Ｓｐｅｅｃｈ Ｄｅｅｐｆａｋｅａｎｄ Ｓｐｏｏｆｉｎｇ Ｄｅｔｅｃｔｉｏｎ ［ＥＢ ／ ＯＬ ］． （２０２１ － １０ － ０６ ）［２０２３－０５－１６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０７． １２２１２ｖ２．

［１９］ ＨＵＡ Ｇ，ＴＥＯＨ Ａ Ｂ Ｊ，ＺＨＡＮＧ Ｈ Ｊ． Ｔｏｗａｒｄｓ ＥｎｄｔｏＥｎｄＳｙｎｔｈｅｔｉｃ Ｓｐｅｅｃｈ Ｄｅｔｅｃｔｉｏｎ ［Ｊ］． ＩＥＥＥ Ｓｉｇｎａｌ ＰｒｏｃｅｓｓｉｎｇＬｅｔｔｅｒｓ，２０２１，２８：１２６５－１２６９．

作者簡介

徐童心 男，（１９９９—），碩士研究生。主要研究方向：語音檢測與人工智能。

黃 俊 男，（１９７１—），博士，教授。主要研究方向：深度學習。

基金項目：國家自然科學基金（６１７７１０８５）