基于ERes-ECAM 的動物聲紋識別

摘 要：聲紋識別技術(shù)不僅在人類身份驗證領(lǐng)域廣泛應(yīng)用，在動物種類識別方面也取得一定進展?，F(xiàn)有模型存在特征表達能力不足的問題，同時，在保證性能的前提下，模型的時間復(fù)雜度和推理速度有待優(yōu)化。提出用于發(fā)聲動物嵌入學(xué)習(xí)的改進的殘差塊連接改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ Ｒｅｓ２ｂｌｏｃｋ ｃｏｎｎｅｃｔｅｄ Ｅｎｈａｎｃｅｄ Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｍａｓｋｉｎｇ，ＥＲｅｓ-ＥＣＡＭ）新型架構(gòu)，采用了稠密連接的時延神經(jīng)網(wǎng)絡(luò)（Ｄｅｎｓｅｌｙ-ｃｏｎｎｅｃｔｅｄ Ｔｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，Ｄ-ＴＤＮＮ）作為骨干，為了解決模糊不相關(guān)噪聲問題的同時能夠提取更多有效的關(guān)鍵信息，在Ｄ-ＴＤＮＮ 層中采用多粒度池化方法的改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｍａｓｋｉｎｇ，ＥＣＡＭ）模塊，前端連接殘差模塊，通過局部特征融合（Ｌｏｃａｌ ＦｅａｔｕｒｅＦｕｓｉｏｎ，ＬＦＦ）的方式，將殘差塊內(nèi)提取的特征進行融合來提取局部信息，提升了聲紋驗證系統(tǒng)的準確性和魯棒性。在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 兩個測試集中分別實驗，實驗結(jié)果表明，所提架構(gòu)的等錯誤率（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ，ＥＥＲ）分別達到６． ８８％ 和７． ２４％ ，同時，對動物種類和豬只種類識別準確率達到了９３． １２％ 和９２． ７６％ 。

關(guān)鍵詞：深度學(xué)習(xí)；聲紋識別；上下文感知掩碼；局部特征融合；動物種類識別

中圖分類號：ＴＮ９１２． ３４ 文獻標志碼：Ａ 開放科學(xué)（資源服務(wù)）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０４－０７８９－１０

０ 引言

近年來，隨著人類對生態(tài)環(huán)境的影響，尤其是對生物棲息地的破壞［１］，各種類動物數(shù)量大幅下降。因此，無論是在復(fù)雜的野外環(huán)境還是在日常生產(chǎn)養(yǎng)殖方面，對動物種群進行有效監(jiān)測是進行有效動物保護的重要途徑。目前，應(yīng)用較多的是圖像觀測識別和ＤＮＡ 分析檢測方法［２］。但是這些方法存在著成本高、識別率有待提高等缺點。于是，借助聲紋特征進行動物種類識別進而估計分布區(qū)域逐漸成為研究熱點［３］。采用動物聲紋識別動物種類具有高效率、非損傷、低干擾、大范圍等優(yōu)勢，有很好的應(yīng)用前景［４］。

此前，很多學(xué)者對基于深度學(xué)習(xí)方法的說話人識別系統(tǒng)做了大量研究。Ｓｎｙｄｅｒ 等［５］提出一種基于時延神經(jīng)網(wǎng)絡(luò)（Ｔｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＴＤＮＮ）的端到端說話人嵌入模型，該模型提取的說話人嵌入矢量稱為ｘ-ｖｅｃｔｏｒ。Ｄｅｓｐｌａｎｑｕｅｓ 等［６］提出的ＥＣＡＰＡ-ＴＤＮＮ 神經(jīng)網(wǎng)絡(luò)完成說話人驗證的任務(wù)，采用的是Ｒｅｓ２Ｎｅｔ 中的Ｒｅｓ２ｂｌｏｃｋ，其具有更大的感受野，可獲取不同尺度的特征。

同時，基于動物聲紋的動物種類識別方法也得到了廣泛的研究。Ｃｈｅｎｇ 等［７］采用音頻信號的梅爾頻率倒譜系數(shù)作為輸入，利用高斯混合模型實現(xiàn)了基于鳥鳴的鳥類識別，最佳準確率達到９２． ５％ 。Ｔｏｗｓｅｙ 等［８］的研究中，可以在野外有噪聲環(huán)境中區(qū)別黑噪鐘雀、大石鸻、雄性考拉、海蟾蜍、亞洲家壁虎、地棲鸚鵡、綠嘯冠鶇、澳洲鴉等動物的聲音。Ｌａｒｒａｎａｇａ 等［９］研究匈牙利馬地犬叫聲，性別識別達到了８５． １３％ 的準確率，發(fā)育程度識別（幼年、成年、老年）達到了８０． ２５％ 的準確率。Ｓａｓｍａｚ 等［１０］采集了１０ 種動物的８７５ 段音頻構(gòu)建動物叫聲數(shù)據(jù)集，使用的網(wǎng)絡(luò)模型由３ 個卷積層和３ 個全連接層組成，提取動物叫聲音頻的梅爾頻率倒譜系數(shù)特征并作為模型輸入進行物種分類，最終獲得了７５％的準確率。

雖然國內(nèi)外學(xué)者對發(fā)聲動物的聲紋識別展開了深入研究，但仍存在一些問題：當前對發(fā)聲動物的聲紋識別的研究仍存在技術(shù)難點；忽視了不相關(guān)噪聲及缺乏局部信息交互的影響，不能提取更多有效的關(guān)鍵信息，導(dǎo)致模型特征表達能力不足；在不犧牲性能的前提下，現(xiàn)有模型的時間復(fù)雜度有待降低且推理速度有待提高。

針對上述問題，本文提出一種動物聲紋識別的新型架構(gòu)，主要貢獻如下：

① 提出了改進的殘差塊連接改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ Ｒｅｓ２ｂｌｏｃｋ ｃｏｎｎｅｃｔｅｄ Ｅｎｈａｎｃｅｄ ＣｏｎｔｅｘｔＡｗａｒｅ Ｍａｓｋｉｎｇ，ＥＲｅｓ-ＥＣＡＭ）架構(gòu)利用動物聲紋進行身份識別，提取相關(guān)的聲紋特征訓(xùn)練模型，建立了動物的聲紋識別系統(tǒng)，有效地對動物種類和豬只種類進行分類。

② 改進了稠密連接的ＴＤＮＮ（Ｄｅｎｓｅｌｙ-ｃｏｎｎｅｃｔｅｄＴｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，Ｄ-ＴＤＮＮ）骨干網(wǎng)絡(luò)以提升模型的表征能力，采用多粒度池化的方法使網(wǎng)絡(luò)模型在模糊不相關(guān)噪聲的同時能夠提取更多有效的關(guān)鍵信息。

③ 在ＥＲｅｓ２ｂｌｏｃｋ（Ｅｎｈａｎｃｅｄ Ｒｅｓ２ｂｌｏｃｋ，ＥＲｅｓ２-ｂｌｏｃｋ）中提出局部特征融合（Ｌｏｃａｌ Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ，ＬＦＦ）的結(jié)構(gòu)，可以捕獲輸入信號中的本地模式，獲取更細粒度的特征，加強局部信息交互，從而提高聲紋識別系統(tǒng)的魯棒性和準確性。

１ 網(wǎng)絡(luò)結(jié)構(gòu)

１． １ 總體架構(gòu)

本文所提出的算法流程如圖１ 所示。首先，提取音頻Ｆｂａｎｋ 特征作為輸入；其次，將輸入的特征經(jīng)過前端殘差模塊（Ｆｒｏｎｔ-ｅｎｄ Ｒｅｓｉｄｕａｌ Ｍｏｄｕｌｅ，ＦＲＭ）結(jié)構(gòu)，計算局部關(guān)注權(quán)值，增強了局部信息的交互，從而獲得更高分辨率的時頻細節(jié)；再次，通過采用密集連接的Ｄ-ＴＤＮＮ 骨干網(wǎng)絡(luò)，包含３ 個塊，增加了網(wǎng)絡(luò)深度，減小了模型參數(shù)；然后，通過每個Ｄ-ＴＤＮＮ層的改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ ＣｏｎｔｅｘｔＡｗａｒｅ Ｍａｓｋｉｎｇ，ＥＣＡＭ）模塊，在模糊不相關(guān)噪聲的同時能提取更多有效關(guān)鍵信息；最后，利用ＥＲｅｓ-ＥＣＡＭ 進行識別，得到識別結(jié)果。

本文提出的ＥＲｅｓ-ＥＣＡＭ 網(wǎng)絡(luò)模型總體框架結(jié)構(gòu)如圖２ 所示。該體系結(jié)構(gòu)主要由兩部分組成：ＦＲＭ 和Ｄ-ＴＤＮＮ 結(jié)構(gòu)。ＦＲＭ 由多個殘差模塊組成，通過在時頻域?qū)β晫W(xué)特征進行編碼從而獲得更高分辨率的時頻細節(jié)。其中，在ＥＲｅｓ２ｂｌｏｃｋ 塊中通過在相鄰特征映射之間的類殘差連接中引入了一種注意特征融合（Ａｔｔｅｎｔｉｏｎａｌ Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ，ＡＦＦ）模塊，可對ＬＦＦ 進行增強。ＦＲＭ 所得到的特征圖隨后沿通道和頻率維度被平坦化，并用作Ｄ-ＴＤＮＮ 的輸入。

在Ｄ-ＴＤＮＮ 主干中包括３ 個塊，每個塊包含一系列Ｄ-ＴＤＮＮ 層，通過ＥＣＡＭ 為每層Ｄ-ＴＤＮＮ 的輸出特征分配不同的權(quán)重。本文在ＥＣＡＭ 模塊中采用多粒度池化的方法，將全局平均池化和分段平均池化進行結(jié)合，更有效聚合不同層次的上下文信息。通過密集鏈接的方式，將每個ＤＴＤＮＮ 層的輸出與前面的所有層連接起來作為下一層的輸入。

１． ２ Ｒｅｓ２ｂｌｏｃｋ 與ＥＲｅｓ２ｂｌｏｃｋ

Ｒｅｓ２ｂｌｏｃｋ［１１］通過增大感受野來提高模型的多尺度表示能力。在每個殘差塊內(nèi)，使用分層類殘差連接提取通道維度上的多尺度特征，Ｒｅｓ２ｂｌｏｃｋ 結(jié)構(gòu)示意如圖３ 所示。

在圖３ 中，將特征映射劃分為ｓ 個特征映射子集，用ｘｉ 表示，其中ｉ∈｛１，２，…，ｓ｝。每個特征子集ｘｉ 具有相同的空間大小，但通道數(shù)為１ ／ ｓ。除了ｘ１之外，每個ｘｉ 都要經(jīng)過一個卷積濾波器Ｋｉ（·）輸出ｙｉ 的表達式如式（１）所示：

Ｒｅｓ２ｂｌｏｃｋ 的分割和拼接策略缺乏有效的局部信息交互。針對該問題，本文對其改進提出了ＥＲｅｓ２ｂｌｏｃｋ 模塊，其結(jié)構(gòu)示意如圖４ 所示。在該模塊中提出ＬＦＦ 結(jié)構(gòu)，該結(jié)構(gòu)通過在相鄰特征映射之間的類殘差連接中引入了ＡＦＦ 模塊，可對ＬＦＦ 的進行增強，獲取更細粒度的特征，加強局部信息交互。并且ＬＦＦ 允許ＥＲｅｓ２ｂｌｏｃｋ 塊捕獲輸入信號中的本地模式，從而提高動物聲紋驗證系統(tǒng)的準確性和魯棒性。

在圖４ 中，特征映射用Ｘ∈ＲＤ×Ｔ×Ｃ 表示，其中Ｄ、Ｔ、Ｃ 分別表示頻率維度、時間維度和信道維度。將Ｘ 經(jīng)過１ × １ 卷積后，根據(jù)通道維數(shù)分成不同的組ｘＥｉ，ｉ∈｛１，２，…，ｓ｝，其中，ＡＦＦ 模塊將前一組的輸出特征與另一組輸入特征映射進行融合，從而加強信息之間的交互。

在ＬＦＦ 模塊中的分層融合結(jié)構(gòu)可以增加模型的接受域，并跨不同通道整合局部信息。ＥＲｅｓ２ｂｌｏｃｋ 的輸出如式（２）所示：

ＡＦＦ 模塊將相鄰特征映射ｘＥｉ 和ｙＥｉ－１ 作為輸入，其中計算局部關(guān)注權(quán)值Ｕ 如式（３）所示：

Ｕ＝ｔａｎｈ（ＢＮ（Ｖ２ *ＳｉＬＵ（ＢＮ（Ｖ１*［ｘＥｉ，ｙＥｉ－１］）））），（３）

式中：［·］為沿通道維度的連接，Ｖ１ 和Ｖ２ 分別為輸出通道大小為Ｃ/ｒ和Ｃ 的點向卷積，ｒ 為通道縮減比（本文設(shè)ｒ ＝ ４），ＢＮ（·）為批歸一化，ＳｉＬＵ（·）和ｔａｎｈ（·）分別為Ｓｉｇｍｏｉｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＳｉＬＵ）和ｔａｎｈ激活函數(shù)。根據(jù)特征的重要程度，該模塊進行動態(tài)加權(quán)和組合特征，提高模型從輸入信號中提取相關(guān)信息的能力。

１． ３ Ｆｒｏｎｔ-ｅｎｄ Ｒｅｓｉｄｕａｌ Ｍｏｄｕｌｅ

基于ＴＤＮＮ 的網(wǎng)絡(luò)沿著時間軸進行一維卷積，使用的卷積核覆蓋了輸入特征的完整頻率范圍。與二維卷積網(wǎng)絡(luò)相比，這種方法更難捕捉發(fā)生在某些局部頻率區(qū)域的發(fā)聲動物特征［１２］。通常，需要大量的濾波器來模擬完整頻率區(qū)域中的復(fù)雜細節(jié)。在本文中，每個Ｄ-ＴＤＮＮ 塊中使用較窄的層來控制參數(shù)的大小，可能導(dǎo)致在一些局部區(qū)域內(nèi)難以準確捕捉特定頻率模式。于是，需要增強Ｄ-ＴＤＮＮ 對時間頻率領(lǐng)域中的微小和合理變化的魯棒性，并補償實際發(fā)聲動物的發(fā)音變化。

針對這個問題，本文提出在Ｄ-ＴＤＮＮ 網(wǎng)絡(luò)前連接一個二維ＦＲＭ［１２－１３］，在ＦＲＭ 中加入４ 個殘差塊，如圖５ 所示。

在圖５ 中，包含一個Ｒｅｓ２ｂｌｏｃｋ 塊和３ 個ＥＲｅｓ２ｂｌｏｃｋ 塊，所有殘差塊的通道數(shù)設(shè)置為３２。在最后３ 個ＥＲｅｓ２ｂｌｏｃｋ 塊中，本文在頻率維度上使用步幅２，導(dǎo)致在頻率域中進行８ 倍的下采樣。ＦＲＭ的輸出特征圖隨后沿通道和頻率維度展平，并用作Ｄ-ＴＤＮＮ 主干的輸入。

１． ４ Ｄ-ＴＤＮＮ 骨干結(jié)構(gòu)

ｘ-ｖｅｃｔｏｒ 模型中的ＴＤＮＮ 最先采用沿時間軸擴展的一維卷積結(jié)構(gòu)作為主干，目前ＴＤＮＮ 在說話人驗證任務(wù)中被廣泛應(yīng)用。基于ＴＤＮＮ 改進的Ｄ-ＴＤＮＮ［１４］ 是一種高效的說話人嵌入模型，與ＤｅｎｓｅＮｅｔ［１５］類似，它采用密集連接，即各層之間以前饋方式直接連接。本文采用Ｄ-ＴＤＮＮ 作為ＥＲｅｓ-ＥＣＡＭ 網(wǎng)絡(luò)骨干，其與傳統(tǒng)的ＴＤＮＮ 相比，參數(shù)量更小，識別效果更好。

Ｄ-ＴＤＮＮ 的基本單元由前饋神經(jīng)網(wǎng)絡(luò)（Ｆｅｅｄ-ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＦＮＮ）和ＴＤＮＮ 層組成。在兩個連續(xù)Ｄ-ＴＤＮＮ 層的輸入之間通過直接連接的方式連接。第ｌ 層Ｄ-ＴＤＮＮ 表達式為：

Ｓｌ ＝ Hｌ（［ｓ０，ｓ１，…，ｓｌ－１］）， （４）

式中：ｓ０ 為Ｄ-ＴＤＮＮ 模塊的輸入，Ｓｌ 為第ｌ 層Ｄ-ＴＤＮＮ 的輸出， Hｌ 為第ｌ 層Ｄ-ＴＤＮＮ 的非線性變換。

普通的Ｄ-ＴＤＮＮ 有兩個塊，每個塊分別包含６ 和１２ 個Ｄ-ＴＤＮＮ 層。如圖６ 所示，本文增加Ｄ-ＴＤＮＮ 網(wǎng)絡(luò)深度，在最后添加一個額外的塊，并將每個塊的層數(shù)擴展到１２、２４ 和１６。同時，為了降低網(wǎng)絡(luò)的復(fù)雜性，在每個塊中采用更窄的Ｄ-ＴＤＮＮ 層，即將原始增長率ｋ 從６４ 降低到３２。

１． ５ ＥＣＡＭ

擠壓－激勵（Ｓｑｕｅｅｚｅ-Ｅｘｃｉｔａｔｉｏｎ，ＳＥ）［１６］將全局空間信息壓縮到通道描述符中，目的是模擬通道相互依賴性并重新校準濾波器響應(yīng)。同時，利用自注意力機制來計算加權(quán)統(tǒng)計量，改進時序池化技術(shù)［１７－１９］。

ＣＡＭ［２０］通過專注于目標發(fā)聲動物并模糊不相關(guān)的噪聲，從而提高Ｄ-ＴＤＮＮ 的性能。但ＣＡＭ 僅應(yīng)用于每個Ｄ-ＴＤＮＮ 塊之后的過渡層，并且有限的ＣＡＭ 模塊數(shù)量不足以提取有效的關(guān)鍵信息，針對該問題，本文在每個Ｄ-ＴＤＮＮ 層中插入了一個更輕的ＥＣＡＭ，以捕獲更多有用的目標發(fā)聲動物的聲紋特征。

本文將Ｄ-ＴＤＮＮ 塊中頭部ＦＮＮ 輸出的隱藏特征表示為Ｘ。將Ｘ 輸入ＴＤＮＮ 層，提取局部時間特征Ｆ 如式（５）所示：

Ｆ＝ （Ｘ）， （５）

式中：F （·）表示ＴＤＮＮ 層的變換，并只關(guān)注局部感受野。因此，比例子掩碼Ｍ 是基于提取的上下文嵌入來進行預(yù)測，并且期望包含有用的聲紋權(quán)值及噪聲特征，其表達如式（６）所示：

Ｍ*ｔ ＝σ（Ｗ２ δ（Ｗ１ ｅ＋ｂ１）＋ｂ２）， （６）

式中：σ （·）和δ （·）分別表示Ｓｉｇｍｏｉｄ 函數(shù)和ＲｅＬＵ 函數(shù)，Ｍ*ｔ 表示Ｍ 的第ｔ 幀，ｅ 表示上下文嵌入，Ｗ１ 和Ｗ２ 表示聲紋權(quán)值，ｂ１ 和ｂ２ 表示噪聲特征。

語音信號具有典型的層次結(jié)構(gòu)，并在不同字段之間具有動態(tài)變化的特征。因此在特定的語段中，目標發(fā)聲動物也存在一種特定的發(fā)聲方式，此時通過全局池化［２０］的單個嵌入可能會導(dǎo)致精確的本地上下文信息丟失，從而導(dǎo)致次優(yōu)屏蔽。

針對該問題，本文采用多粒度池化的方式替代傳統(tǒng)的單一全局池化，使網(wǎng)絡(luò)能夠在不同層次上捕獲更多的上下文信息，從而生成更準確的掩碼。使用全局平均池化來提取全局級別的上下文信息ｅｇ如式（７）所示：

式中：ｓｋ 為特征Ｘ 的第ｋ 段的起始幀。

對不同層次的上下文嵌入（ｅｇ 和ｅｓ）進行聚合，以預(yù)測上下文感知掩碼Ｍｋ*ｔ。式（６）可改寫為：

Ｍｋ*ｔ ＝σ（Ｗ２ δ（Ｗ１（ｅｇ ＋ｅｋｓ）＋ｂ１）＋ｂ２），ｓｋ≤ｔ≤ｓｋ＋１。（９）

使用預(yù)測的Ｍｋ*ｔ 進行校準并生成改進后的時間特征Ｆ ～ ，如式（１０）所示：

Ｆ～ ＝Ｆ（Ｘ）⊙Ｍｋ*ｔ， （１０）

式中：⊙表示逐元素的乘法。與傳統(tǒng)的ＣＡＭ 相比，式（１０）具有更簡單的形式和更少的可訓(xùn)練參數(shù)。將這種高效的上下文感知掩碼插入到每個ＤＴＤＮＮ層中，以增強整個網(wǎng)絡(luò)中基本層的表示能力。

２ 實驗過程及結(jié)果分析

２． １ 聲音樣本集

為使得聲紋識別算法適應(yīng)更多應(yīng)用場景的需求，本文使用多種算法來驗證聲紋識別模型在動物數(shù)據(jù)集的應(yīng)用效果。本文使用了自制的包含各種類動物叫聲數(shù)據(jù)集和自制的包含各種類豬只叫聲數(shù)據(jù)集。每個數(shù)據(jù)集詳細信息如下：

① Ａｎｉｍ-Ｃｅｌｅｂ：對于Ａｎｉｍ-Ｃｅｌｅｂ，使用Ａｎｉｍ-Ｃｅｌｅｂ１ 和Ａｎｉｍ-Ｃｅｌｅｂ２ 的開發(fā)集進行訓(xùn)練，其中包括２４ 個動物種類，有鯨魚、青蛙、鳥、貓、狗、大象、鴨子、雞、牛、羊、豬等。數(shù)據(jù)集中的所有動物種類音頻材料來自于各個動物網(wǎng)站，總共７９２ 條音頻數(shù)據(jù)。對訓(xùn)練數(shù)據(jù)進行預(yù)處理，使用Ｇｏｌｄｗａｖｅ 軟件將所收集到的所有音頻文件格式轉(zhuǎn)換為ｗａｖ 格式，并以４４． １ ｋＨｚ 的采樣頻率進行重采樣。使用Ａｕｄａｃｉｔｙ軟件收聽音頻，截取各個動物發(fā)聲片段并進行相應(yīng)的標記，同時將短音頻進行拼接，保證每段音頻時長不小于５ ｓ。在Ａｎｉｍ-Ｃｅｌｅｂ 測試集中，每種動物都有多段發(fā)聲音頻。選擇對注冊的同種類發(fā)聲動物的所有語料嵌入進行平均，得到最終的發(fā)聲動物嵌入進行評估。

② Ｐｉｇ-Ｃｅｌｅｂ：對于Ｐｉｇ-Ｃｅｌｅｂ，使用Ｐｉｇ-Ｃｅｌｅｂ１和Ｐｉｇ-Ｃｅｌｅｂ２ 的開發(fā)集進行訓(xùn)練，其中包含長白豬、大約克夏豬、杜洛克豬、香豬、寧鄉(xiāng)花豬、馬身豬等１０ 個種類的豬只，共計１ ７３８ 頭豬只。豬只全部音頻取自于各種類豬只音頻數(shù)據(jù)集的集合。在訓(xùn)練數(shù)據(jù)的數(shù)據(jù)預(yù)處理中，制作數(shù)據(jù)集方法與各種類動物的相同，同樣以４４． １ ｋＨｚ 的采樣頻率進行重采樣，將短音頻進行拼接，保證每段音頻時長不小于５ ｓ，在Ｐｉｇ-Ｃｅｌｅｂ 測試集中，每個種類注冊的發(fā)聲豬只都有多段發(fā)聲音頻。選擇對注冊的同一種類發(fā)聲豬只的所有語料嵌入進行平均，得到最終的發(fā)聲豬只嵌入進行評估。

２． ２ 實驗設(shè)計

本文仿真實驗在每１０ ｍｓ 提?。玻?ｍｓ 窗口，在２５ ｍｓ 長窗口中提取８０ 維的Ｆｂａｎｋ 特征作為輸入。采用速度擾動增強，通過從［０． ９，１． ０，１． １］中隨機抽樣一個比率。處理后的音頻被視為來自一個新的發(fā)聲動物［２１］。此外，在訓(xùn)練過程中采用了兩種常見的數(shù)據(jù)增強技術(shù)，分別是使用ＲＩＲ 數(shù)據(jù)集模擬混響效果［２２］，同時，為了評估ＥＣＡＭ 的有效性，使用ＭＵＳＡＮ 數(shù)據(jù)集添加噪聲。

實驗均采用Ａｒｃ-Ｓｏｆｔｍａｘ 損失函數(shù)［２３］。Ａｒｃ-Ｓｏｆｔｍａｘ 損失的邊界余量和縮放因子分別設(shè)置為０． ２和３２。在訓(xùn)練過程中，使用隨機梯度下降優(yōu)化器，結(jié)合余弦退火調(diào)度器和線性熱身調(diào)度器，學(xué)習(xí)率在１０－４ 和０． １ 之間進行變化。動量設(shè)定為０． ９，權(quán)重衰減設(shè)定為１０－４。每個音頻樣本都會被隨機裁剪為３ ｓ 時長的片段，以構(gòu)建訓(xùn)練小批次數(shù)據(jù)。

本文使用余弦相似度得分進行評估，在后端沒有進行得分歸一化。本文采用等錯誤率（ＥｑｕａｌＥｒｒｏｒ Ｒａｔｅ，ＥＥＲ）和準確率作為評價指標。

ＥＥＲ 是錯誤拒絕率（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒａｔｅ，ＦＡＲ）與錯誤接收率（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ，ＦＲＲ）相等時的錯誤率。

ＦＡＲ：被錯誤檢索的正樣本數(shù)與所有標記的負樣本數(shù)之比，如式（１１）所示。

ＦＲＲ：被錯誤檢索的負樣本數(shù)與所有標記的正樣本數(shù)之比，如式（１２）所示。

ＦＡＲ＝ ＦＰ/ＦＰ＋ＴＮ， （１１）

ＦＲＲ＝ ＦＮ/ＴＰ＋ＦＮ， （１２）

式中：ＴＰ 表示識別正確的正樣本數(shù)，ＴＮ 表示識別正確的負樣本數(shù)，ＦＰ 表示識別錯誤的正樣本數(shù)，ＦＮ 表示識別錯誤的負樣本數(shù)。

ＥＥＲ：ＦＡＲ 與ＦＲＲ 相等時的錯誤率，如式（１３）所示。

ＥＥＲ＝ＦＡＲ＝ＦＲＲ， （１３）

準確率作為最常用的性能指標之一，可以從整體上衡量一個模型的性能，表示被正確檢索的正負樣本數(shù)和總樣本數(shù)之比。當使用ＥＥＲ 評估時，也等于１減等差率，如式（１４）所示：

Ａｃｃｕｒａｃｙ＝１－ＥＥＲ。（１４）

２． ３ 實驗結(jié)果分析

在本組仿真實驗中，對本文所提模型進行驗證，同時與ＴＤＮＮ［５］、ＥＣＡＰＡ-ＴＤＮＮ［６］、ＲｅｓＮｅｔ３４、Ｒｅｓ２Ｎｅｔ［１９］、Ｄ-ＴＤＮＮ［２４］、Ｄ-ＴＤＮＮ-Ｌ 模型進行性能比較，其中ＲｅｓＮｅｔ３４ 模型在每個塊中包含４ 個不同通道大小的剩余塊［６４，１２８，２５６，５１２］，ＥＣＡＰＡ-ＴＤＮＮ 模型所構(gòu)建的通道數(shù)為１ ０２４，實驗結(jié)果如表１ 所示。

由表１ 可知，通過ＥＣＡＰＡ-ＴＤＮＮ 模型計算得到的ＥＥＲ 相較于ＴＤＮＮ 和Ｒｅｓ２Ｎｅｔ 有所提升，但其模型所需參數(shù)有所變大。而Ｄ-ＴＤＮＮ 采用密集連接的方式，相較于ＴＤＮＮ 可以在模型參數(shù)更少的情況下提升性能。本文對Ｄ-ＴＤＮＮ 進行深度及濾波器參數(shù)改進得到的Ｄ-ＴＤＮＮ-Ｌ 模型雖然性能優(yōu)于Ｄ-ＴＤＮＮ，但與ＥＣＡＰＡ-ＴＤＮＮ 和ＲｅｓＮｅｔ３４ 相比仍具有性能差距。當本文將Ｄ-ＴＤＮＮ-Ｌ 作為骨干網(wǎng)絡(luò)與ＥＣＡＭ 和ＦＲＭ 結(jié)合時，ＥＲｅｓ-ＥＣＡＭ 在參數(shù)量及性能均優(yōu)于本文所提其他模型。

為便于直觀分析數(shù)據(jù)，對Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集中的ＥＥＲ 實驗結(jié)果進行數(shù)據(jù)可視化，如圖７ 所示。

由圖７ 可以看出，ＥＲｅｓ-ＥＣＡＭ 對比其他基線模型有最低的ＥＥＲ。特別是Ｐｉｇ-Ｃｅｌｅｂ 測試集中，ＥＲｅｓ-ＥＣＡＭ 相比ＥＣＡＰＡ-ＴＤＮＮ，模型參數(shù)量減少４９％ 且ＥＥＲ 降低了６％ 。在Ａｎｉｍ-Ｃｅｌｅｂ 測試集上，ＥＲｅｓ-ＥＣＡＭ 相對比其他模型具有最低的ＥＥＲ。

為進一步驗證不同模塊對整體模型的性能影響，分別對ＥＣＡＭ 及ＦＲＭ 模塊進行消融實驗，實驗結(jié)果如表２ 所示。

由表２ 可知，采用多粒度池化的ＥＣＡＭ 在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集上的ＥＥＲ 分別降低了９％和８％ ，在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集上提高了０． ６４％ 和０． ６５％ 的識別準確率。結(jié)果進一步論證在不同層次上聚合上下文向量來執(zhí)行注意力掩蔽的可行性。當去除ＦＲＭ 時，導(dǎo)致兩個測試集中的ＥＥＲ均提升，并且識別準確率明顯降低。實驗結(jié)果表明，本文所采用的二維卷積和基于ＴＤＮＮ 的混合網(wǎng)絡(luò)可以更好地提取發(fā)聲動物的聲紋特征。

２． ４ 多粒度池化與其他池化方法的性能對比

進一步對改進的多粒度池化ＣＡＭ 性能進行實驗仿真，本組仿真在Ａｎｉｍ-Ｃｅｌｅｂ 測試集中進行，并與Ｄ-ＴＤＮＮ、ＣＡＭ 進行對比。實驗結(jié)果如表３ 所示。

表３ 在Ａｎｉｍ-Ｃｅｌｅｂ 測試集上重新實現(xiàn)了文獻［２０］中提出的ＣＡＭ，并發(fā)現(xiàn)它能將ＥＥＲ 降低８％ ，但參數(shù)量增加了４４％ 。本文將ＥＣＡＭ 應(yīng)用于Ｄ-ＴＤＮＮ，僅使用全局平均池化（Ｇｌｏｂａｌ ａｖｅｒａｇｅ Ｐｏｏ-ｌｉｎｇ，ＧＰ），這將使ＥＥＲ 得到類似的改善，但參數(shù)僅增加了８％ ，顯示出更好的參數(shù)效率。使用分段平均池化（Ｓｅｇｍｅｎｔ ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＳＰ），并將其與ＧＰ融合，在不引入額外參數(shù)的情況下觀察性能提升。這些結(jié)果表明，在執(zhí)行更準確的掩蔽時，局部的上下文信息對降低ＥＥＲ 起到重要作用。

２． ５ ＬＦＦ 模塊對模型的影響

進一步評估改進的殘差模塊Ｒｅｓ２ｂｌｏｃｋ 的有效性。附加實驗結(jié)果如表４ 所示，針對Ａｎｉｍ-Ｃｅｌｅｂ 測試集進行實驗。將ＦＲＭ 部分只應(yīng)用Ｒｅｓ２ｂｌｏｃｋ 塊的ＥＲｅｓ-ＥＣＡＭ 作為基線模型。在Ａｎｉｍ-Ｃｅｌｅｂ 測試集上重新實現(xiàn)了基線模型和所提出的模型架構(gòu)，將ＬＦＦ 的ＥＲｅｓ２ｂｌｏｃｋ 塊應(yīng)用于ＦＲＭ，并將其與Ｒｅｓ２ｂｌｏｃｋ 塊融合，在不引入額外參數(shù)的情況下觀察性能提升。

表４ 的實驗結(jié)果顯示，Ｒｅｓ２ｂｌｏｃｋ 塊與Ｒｅｓ２ｂｌｏｃｋ＋ＥＲｅｓ２ｂｌｏｃｋ 塊參數(shù)相差無幾，但Ｒｅｓ２ｂｌｏｃｋ ＋ＥＲｅｓ２ｂｌｏｃｋ 塊在ＥＥＲ 降低了２％ ，識別準確率也有提高。這些結(jié)果表明，在提取聲紋特征時，ＦＲＭ 使用ＬＦＦ 結(jié)構(gòu)，能夠獲取更細粒度的特征，加強局部信息交互，提高聲紋驗證系統(tǒng)的準確性和魯棒性。

２． ６ 聲紋識別在動物種類識別中的應(yīng)用

使用動物的聲紋識別可以用來識別動物身份。這對動物保護和畜牧業(yè)發(fā)展具有重要意義，可以幫助監(jiān)測動物數(shù)量、研究遷徙模式以及跟蹤動物的種群變化，同時，為大型養(yǎng)殖場的運用提供新方法。對比ＥＣＡＰＡ-ＴＤＮＮ 模型，ＥＲｅｓ-ＥＣＡＭ 模型大大減少了模型參數(shù)，在動物種類和豬只種類的識別準確率方面也有顯著的提升。Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集的準確率折線圖如圖８ 所示。

由圖８ 可以看出，在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集上，相比ＥＣＡＰＡ-ＴＤＮＮ 及Ｒｅｓ２Ｎｅｔ，除了在ＥＥＲ 上的提高外，動物種類識別分別提升了０． ０５％和８． ４５％ 的準確率，豬只種類識別提升了０． ４３％ 和６． ２８％ 的準確率。對比其他基線模型，本文提出的模型對動物種類和豬只種類的識別準確率最高，其識別準確率分別達到了９３． １２％ 和９２． ７６％ 。

２． ７ 模型復(fù)雜性分析

本文比較了ＥＣＡＰＡ-ＴＤＮＮ、ＲｅｓＮｅｔ３４ 和ＥＲｅｓ-ＥＣＡＭ 模型的復(fù)雜性，包括參數(shù)量、浮點運算（Ｆｌｏａｔｉｎｇ Ｐｏｉｎｔ Ｏｐｅｒａｔｉｏｎｓ，ＦＬＯＰｓ）和實時率（Ｒｅａｌ-Ｔｉｍｅ Ｆａｃｔｏｒ，ＲＴＦ），如表５ 所示。

由表５ 可以看出，ＥＲｅｓ-ＥＣＡＭ 與ＲｅｓＮｅｔ３４ 相比，ＥＲｅｓ-ＥＣＡＭ 的參數(shù)量有所增大，但ＦＬＯＰｓ 有所降低。同時，ＥＲｅｓ-ＥＣＡＭ 的參數(shù)量和ＦＬＯＰｓ 只有ＥＣＡＰＡ-ＴＤＮＮ 的一半，而ＥＲｅｓ-ＥＣＡＭ 實現(xiàn)的推理速度是ＲｅｓＮｅｔ３４ 和ＥＣＡＰＡ-ＴＤＮＮ 的兩倍以上。

３ 結(jié)束語

本文提出了一種新穎的聲紋識別模型———ＥＲｅｓ-ＥＣＡＭ，用于對發(fā)聲動物進行動物種類分類。ＥＲｅｓ-ＥＣＡＭ 采用ＬＦＦ 和ＥＣＡＭ。ＬＦＦ 提取了保留目標發(fā)聲動物特征，加強了局部信息交互。ＥＣＡＭ 旨在關(guān)注目標發(fā)聲動物并提高提取特征的質(zhì)量，其中，多粒度池化融合了不同層次的上下文信息以產(chǎn)生準確的注意力權(quán)重。本文在Ａｎｉｍ-Ｃｅｌｅｂ 數(shù)據(jù)集和Ｐｉｇ-Ｃｅｌｅｂ數(shù)據(jù)集上進行了全面的實驗，通過對比６ 種不同實驗?zāi)Ｐ?，實驗結(jié)果表明本文所提出的模型在兩個數(shù)據(jù)集下ＥＥＲ 分別為６． ８８％和７． ２４％，相較于其他模型，獲得的ＥＥＲ 值最小。同時，對動物種類和豬只種類識別準確率分別達到了９３． １２％ 和９２． ７６％。此外，與ＥＣＡＰＡ-ＴＤＮＮ 和ＲｅｓＮｅｔ３４ 模型相比，ＥＲｅｓ-ＥＣＡＭ 具有更低的時間復(fù)雜度和更快的推理速度。

參考文獻

［１］ ＶＩＧＮＩＥＲＩ Ｓ． Ｖａｎｉｓｈｉｎｇ Ｆａｕｎａ ［Ｊ］． Ｓｃｉｅｎｃｅ，２０１４，３４５（６１９５）：３９２－３９５．

［２］ ＨＡＮＮＡＹ Ｄ Ｅ，ＤＥＬＡＲＵＥ Ｊ，ＭＯＵＹ Ｘ，ｅｔ ａｌ． ＭａｒｉｎｅＭａｍｍａｌ Ａｃｏｕｓｔｉｃ Ｄｅｔｅｃｔｉｏｎｓ ｉｎ ｔｈｅ Ｎｏｒｔｈｅａｓｔｅｒｎ ＣｈｕｋｃｈｉＳｅａ，Ｓｅｐｔｅｍｂｅｒ ２００７ － Ｊｕｌｙ ２０１１ ［Ｊ］． Ｃｏｎｔｉｎｅｎｔａｌ ＳｈｅｌｆＲｅｓｅａｒｃｈ，２０１３，６７：１２７－１４６．

［３］ ＭＩＥＬＫＥ Ａ，ＺＵＢＥＲＢＨＬＥＲ Ｋ． Ａ Ｍｅｔｈｏｄ ｆｏｒ ＡｕｔｏｍａｔｅｄＩｎｄｉｖｉｄｕａｌ，Ｓｐｅｃｉｅｓ ａｎｄ Ｃａｌｌ Ｔｙｐｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｆｒｅｅｒａｎｇｉｎｇ Ａｎｉｍａｌｓ ［Ｊ］． Ａｎｉｍａｌ Ｂｅｈａｖｉｏｕｒ，２０１３，８６ （２）：４７５－４８２．

［４］ ＭＡ Ｋ． Ｂｉｏｄｉｖｅｒｓｉｔｙ Ｍｏｎｉｔｏｒｉｎｇ Ｒｅｌｉｅｓ ｏｎ ｔｈｅ Ｉｎｔｅｇｒａｔｉｏｎ ｏｆＨｕｍａｎ Ｏｂｓｅｒｖａｔｉｏｎ ａｎｄ Ａｕｔｏｍａｔｉｃ Ｃｏｌｌｅｃｔｉｏｎ ｏｆ Ｄａｔａ ｗｉｔｈＡｄｖａｎｃｅｄ Ｅｑｕｉｐｍｅｎｔ ａｎｄ Ｆａｃｉｌｉｔｉｅｓ［Ｊ］． Ｂｉｏｄｉｖｅｒｓｉｔｙ Ｓｃｉｅｎｃｅ，２０１６，２４（１１）：１２０１－１２０２．

［５］ ＳＮＹＤＥＲ Ｄ，ＧＡＲＣＩＡＲＯＭＥＲＯ Ｄ，ＳＥＬＬ Ｇ，ｅｔ ａｌ． Ｘｖｅｃｔｏｒｓ：Ｒｏｂｕｓｔ ＤＮＮ Ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｃａｌｇａｒｙ：ＩＥＥＥ，２０１８：５３２９－５３３３．

［６］ ＤＥＳＰＬＡＮＱＵＥＳ Ｂ，ＴＨＩＥＮＰＯＮＤＴ Ｊ，ＤＥＭＵＹＮＣＫ Ｋ．ＥＣＡＰＡＴＤＮＮ：Ｅｍｐｈａｓｉｚｅｄ Ｃｈａｎｎｅｌ Ａｔｔｅｎｔｉｏｎ，Ｐｒｏｐａｇａｔｉｏｎ ａｎｄ Ａｇｇｒｅｇａｔｉｏｎ ｉｎ ＴＤＮＮ Ｂａｓｅｄ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］∥２０２０ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＳｐｅｅｃｈＣｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）． Ｓｈａｎｇｈａｉ：ＩＳＣＡ，２０２０：３８３０－３８３４．

［７］ ＣＨＥＮＧ Ｊ Ｋ，ＸＩＥ Ｂ Ｇ，ＬＩＮ Ｃ Ｔ，ｅｔ ａｌ． Ａ ＣｏｍｐａｒａｔｉｖｅＳｔｕｄｙ ｉｎ Ｂｉｒｄｓ：Ｃａｌｌｔｙｐｅｉｎｄｅｐｅｎｄｅｎｔ Ｓｐｅｃｉｅｓ ａｎｄ Ｉｎｄｉｖｉｄｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｆｏｕｒ Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓａｎｄ Ｔｗｏ Ａｃｏｕｓｔｉｃ Ｆｅａｔｕｒｅｓ ［Ｊ］． Ｂｉｏａｃｏｕｓｔｉｃｓ，２０１２，２１（２）：１５７－１７１．

［８］ ＴＯＷＳＥＹ Ｍ，ＷＩＭＭＥＲ Ｊ，ＷＩＬＬＩＡＭＳＯＮ Ｉ，ｅｔ ａｌ． Ｔｈｅ Ｕｓｅｏｆ Ａｃｏｕｓｔｉｃ Ｉｎｄｉｃｅｓ ｔｏ Ｄｅｔｅｒｍｉｎｅ Ａｖｉａｎ Ｓｐｅｃｉｅｓ Ｒｉｃｈｎｅｓｓｉｎ Ａｕｄｉｏｒｅｃｏｒｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｎｖｉｒｏｎｍｅｎｔ ［Ｊ］． ＥｃｏｌｏｇｉｃａｌＩｎｆｏｒｍａｔｉｃｓ，２０１３，２１（３）：１１０－１１９．

［９］ ＬＡＲＲＡＮＡＧＡ Ｐ，ＰＯＺＡ Ｍ，ＹＵＲＲＡＭＥＮＤＩ Ｙ，ｅｔ ａｌ．Ｓｔｒｕｃｔｕｒｅ Ｌｅａｒｎｉｎｇ ｏｆ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ ｂｙ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ：Ａ Ｐｅｒｆｏｒｍａｎｃｅ Ａｎａｌｙｓｉｓ ｏｆ Ｃｏｎｔｒｏｌ Ｐａｒａｍｅｔｅｒｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１９９６，１８（９）：９１２－９２６．

［１０］ＳＡＳＭＡＺ Ｅ，ＴＥＫ Ｆ Ｂ． Ａｎｉｍａｌ Ｓｏｕｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇａ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ［Ｃ］∥ ２０１８ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（ＵＢＭＫ）． Ｓａｒａｊｅｖｏ：ＩＥＥＥ，２０１８：６２５－６２９．

［１１］ＧＡＯ Ｓ，ＣＨＥＮＧ Ｍ，ＺＨＡＯ Ｋ，ｅｔ ａｌ． Ｒｅｓ２Ｎｅｔ：Ａ ＮｅｗＭｕｌｔｉｓｃａｌｅ Ｂａｃｋｂｏｎｅ Ａｒｃｈｉｔｅｃｔｕｒｅ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２１，４３（２）：６５２－６６２．

［１２］ＴＨＩＥＮＰＯＮＤＴ Ｊ，ＤＥＳＰＬＡＮＱＵＥＳ Ｂ，ＤＥＭＵＹＮＣＫ Ｋ．Ｉｎｔｅｇｒａｔｉｎｇ Ｆｒｅｑｕｅｎｃｙ Ｔｒａｎｓｌａｔｉｏｎａｌ Ｉｎｖａｒｉａｎｃｅ ｉｎ ＴＤＮＮｓａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｐｏｓｉｔｉｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ２Ｄ ＲｅｓＮｅｔｓ ｔｏ Ｅｎｈａｎｃｅ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］∥２０２１ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ（ＩＮＴＥＲＳＰＥＥＣＨ）． Ｂｒｎｏ：ＩＳＣＡ，２０２１：２３０２－２３０６．

［１３］ＬＩＵ Ｔ，ＤＡＳ Ｒ Ｋ，ＬＥＥ Ｋ Ａ，ｅｔ ａｌ． ＭＦＡ：ＴＤＮＮ ｗｉｔｈＭｕｌｔｉｓｃａｌｅ Ｆｒｅｑｕｅｎｃｙｃｈａｎｎｅｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｔｅｘｔｉｎｄｅｐｅｎｄｅｎｔ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｓｈｏｒｔ Ｕｔｔｅｒａｎｃｅ［Ｃ］∥２０２２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ ）． Ｓｉｎｇａｐｏｒｅ：ＩＥＥＥ，２０２２：７５１７－７５２１．

［１４］ＬＩＵ Ｂ，ＣＨＥＮ Ｚ Ｙ，ＷＡＮＧ Ｓ，ｅｔ ａｌ． ＤＦＲｅｓＮｅｔ：ＢｏｏｓｔｉｎｇＳｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ Ｄｅｐｔｈｆｉｒｓｔ Ｄｅｓｉｇｎ［Ｃ ］∥ ２０２２ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）．Ｉｎｃｈｅｏｎ：ＩＳＣＡ，２０２２：２９６－３００．

［１５］ＨＵＡＮＧ Ｇ，ＬＩＵ Ｚ，ＶＡＮ ＤＥＲ ＭＡＡＴＥＮ Ｌ，ｅｔ ａｌ． ＤｅｎｓｅｌｙＣｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）． Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：２２６１－２２６９．

［１６］ＨＵ Ｊ，ＳＨＥＮ Ｌ，ＳＵＮ Ｇ． ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｃ］∥ ２０１８ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）． Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ：ＩＥＥＥ，２０１８：７１３２－７１４１．

［１７］ＯＫＡＢＥ Ｋ，ＫＯＳＨＩＮＡＫＡ Ｔ，ＳＨＩＮＯＤＡ Ｋ． Ａｔｔｅｎｔｉｖｅ Ｓｔａｔｉｓｔｉｃｓ Ｐｏｏｌｉｎｇ ｆｏｒ Ｄｅｅｐ Ｓｐｅａｋｅｒ Ｅｍｂｅｄｄｉｎｇ［Ｃ］∥２０１８Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）． Ｈｙｄｅｒａｂａｄ：ＩＳＣＡ，２０１８：２２５２－２２５６．

［１８］ＺＨＵ Ｙ Ｋ，ＫＯ Ｔ，ＳＮＹＤＥＲ Ｄ，ｅｔ ａｌ． Ｓｅｌｆａｔｔｅｎｔｉｖｅ ＳｐｅａｋｅｒＥｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｔｅｘｔｉｎｄｅｐｅｎｄｅｎｔ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ ］∥ ２０１８ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）．Ｈｙｄｅｒａｂａｄ：ＩＳＣＡ，２０１８：３５７３－３５７７．

［１９］ＩＮＤＩＡ Ｍ，ＳＡＦＡＲＩ Ｐ，ＨＥＲＮＡＮＤＯ Ｊ． Ｓｅｌｆ Ｍｕｌｔｉｈｅａｄ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１９ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ（ＩＮＴＥＲＳＰＥＥＣＨ）． Ｇｒａｚ：ＩＳＣＡ，２０１９：４３０５－４３０９．

［２０］ＹＵ Ｙ Ｑ，ＺＨＥＮＧ Ｓ Ｑ，ＳＵＯ Ｈ Ｂ，ｅｔ ａｌ． Ｃａｍ：Ｃｏｎｔｅｘｔａｗａｒｅ Ｍａｓｋｉｎｇ ｆｏｒ Ｒｏｂｕｓｔ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ ［Ｃ］∥２０２１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｔｏｒｏｎｔｏ：ＩＥＥＥ，２０２１：６７０３－６７０７．

［２１］ＣＨＥＮ Ｚ Ｙ，ＨＡＮ Ｂ，ＸＩＡＮＧ Ｘ，ｅｔ ａｌ． Ｂｕｉｌｄ ａ ＳＲＥ Ｃｈａｌｌｅｎｇｅ Ｓｙｓｔｅｍ：Ｌｅｓｓｏｎｓ ｆｒｏｍ ＶｏｘＳＲＣ ２０２２ ａｎｄ ＣＮＳＲＣ２０２２［Ｃ］∥２０２２ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）．Ｄｕｂｌｉｎ：ＩＳＣＡ，２０２３：３２０２－３２０６．

［２２］ＫＯ Ｔ，ＰＥＤＤＩＮＴＩ Ｖ，ＰＯＶＥＹ Ｄ，ｅｔ ａｌ． Ａ Ｓｔｕｄｙ ｏｎ ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ ｏｆ Ｒｅｖｅｒｂｅｒａｎｔ Ｓｐｅｅｃｈ ｆｏｒ Ｒｏｂｕｓｔ ＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）．Ｎｅｗ Ｏｒｌｅａｎｓ：ＩＥＥＥ，２０１７：５２２０－５２２４．

［２３］ＤＥＮＧ Ｊ Ｋ，ＧＵＯ Ｊ，ＹＡＮＧ Ｊ，ｅｔ ａｌ． Ａｒｃｆａｃｅ：ＡｄｄｉｔｉｖｅＡｎｇｕｌａｒ Ｍａｒｇｉｎ Ｌｏｓｓ ｆｏｒ Ｄｅｅｐ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ［Ｃ］∥２０１９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）． Ｌｏｎｇ Ｂｅａｃｈ：ＩＥＥＥ，２０１９：４６９０－４６９９．

［２４］ＹＵ Ｙ Ｑ，ＬＩ Ｗ Ｊ． Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｔｉｍｅ Ｄｅｌａｙ ＮｅｕｒａｌＮｅｔｗｏｒｋ ｆｏｒ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］∥２０２０ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）． Ｓｈａｎｇｈａｉ：ＩＳＣＡ，２０２０：９２１－９２５．

作者簡介：

侯衛(wèi)民 男，（１９７２—），博士，教授。主要研究方向：人工智能、圖形處理和應(yīng)用、陣列信號處理和無線通信。

（*通信作者）孫藝菲 女，（１９９８—），碩士研究生。主要研究方向：人工智能、聲紋識別。

劉峻滔 男，（１９９８—），碩士研究生。主要研究方向：遙感圖像處理、數(shù)字圖像處理和深度學(xué)習(xí)。

基金項目：河北省省級科技計劃項目（２０３５５９０１Ｄ，２１３５５９０１Ｄ）