基于時(shí)間分段和重組聚類的說話人日志方法

摘 要：

當(dāng)前的說話人日志方法大多采用標(biāo)準(zhǔn)的全局聚類的方式來區(qū)分不同說話人的語音片段，沒有考慮到同一個(gè)人的聲音在不同的噪聲條件下具有不同的特征分布，而這會(huì)增大類內(nèi)距離，從而降低聚類精度。鑒于相鄰的語音片段往往包含相同的背景噪聲，提出一種新的基于時(shí)間分段和重組聚類的說話人日志方法以解決上述問題。首先，將所有語音片段按時(shí)間連續(xù)性劃分成多個(gè)獨(dú)立的時(shí)間段，并在段內(nèi)進(jìn)行局部聚類；然后，將不同時(shí)間段中屬于同一個(gè)說話人的語音片段重新合并。此外，在聚類時(shí)利用語音片段的鄰域信息來校準(zhǔn)它們之間的相似度。通過這種方式降低了直接在不同噪聲條件下進(jìn)行聚類的概率，提高了聚類精度。在公開數(shù)據(jù)集AMI SDM和VoxConverse上的實(shí)驗(yàn)結(jié)果表明，與基線方法相比，所提方法的日志錯(cuò)誤率分別相對降低了34%和16%，充分證明了該方法的有效性。

關(guān)鍵詞：說話人日志；聚類；噪聲；鄰域

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1001-3695（2024）09-012-2649-06

doi：10.19734/j.issn.1001-3695.2024.01.0017

Temporal-segment-and-regroup clustering for speaker diarization

Zhu Bisong1， Mao Qirong1， 2， Gao Lijian1， Shen Yaxin1

（1. School of Computer Science & Telecommunication Engineering， Jiangsu University， Zhenjiang Jiangsu 212013， China; 2. Jiangsu Province Big Data Ubiquitous Perception & Intelligent Agriculture Application Engineering Research Center， Zhenjiang Jiangsu 212013， China）

Abstract：

The current methods for speaker diarization commonly employ standard global clustering techniques to distinguish speech segments of different speakers， without considering that voice of the same individual may exhibit various feature distribution under varying background noise conditions， which enlarges the intra-class distances and impacts clustering heavily. Motivated by that adjacent speech segments often share the same background noise， this paper proposed a novel temporal-segment-and-regroup clustering （TSARC） pipeline for speaker diarization to address above issues. Firstly， TSARC partitions all speech segments into multiple independent intervals along their temporal continuity and conducted local clustering within each interval. Afterwards， it re-associated segments attributed to the same speaker across different intervals. Moreover， during the clustering process， the method actively employed neighborhood information from speech segments to calibrate their similarities. Through this way， TSARC reduced the likelihood of direct clustering under disparate noise conditions， effectively improving the accuracy of clustering. Experimental results on the public datasets AMI SDM and VoxConverse show that， compared with the baseline method， the proposed method has achieved relatively reductions in diarization error rate （DER） by 34% and 16% respectively， which proves the effectiveness of the proposed method.

Key words：speaker diarization; clustering; noise; neighborhood

0 引言

說話人日志（speaker diarization，SD）的目標(biāo)是解決“誰在何時(shí)說話”的問題［1］，即區(qū)分并定位出音頻中不同說話人的語音活動(dòng)。說話人日志技術(shù)可用于多種應(yīng)用場景，如會(huì)議記錄［2］、角色識(shí)別［3］及語音識(shí)別［4，5］等。目前，關(guān)于說話人日志的研究主要分為兩類：一類方法［6～8］將說話人日志任務(wù)看作多標(biāo)簽分類問題，訓(xùn)練神經(jīng)網(wǎng)絡(luò)直接預(yù)測音頻幀中每一個(gè)人說話的概率，稱之為端到端的方法；另一類方法［9～25］依靠多個(gè)獨(dú)立優(yōu)化的模塊，先將長音頻切割成短片段并提取聲紋嵌入（speaker embedding），再通過無監(jiān)督的聚類方法來區(qū)分屬于不同說話人的片段，稱之為模塊化的方法。相較于端到端的方法，模塊化的方法可以更好地處理說話人數(shù)量未知和時(shí)長較長的音頻記錄［10］。大多數(shù)基于模塊化方法的工作包含以下四個(gè)步驟：利用語音活動(dòng)檢測模塊去除非語音片段；切割音頻；提取聲紋嵌入；聚類。本文重點(diǎn)研究模塊化的方法，并遵循這四個(gè)步驟。

在模塊化的方法中，聚類模塊的性能至關(guān)重要［1］。目前的研究大多采用譜聚類（spectral custering，SC）［11～15］或凝聚層次聚類（agglomerative hierarchical clustering，AHC）［16，17］等聚類方法來區(qū)分不同說話人的語音片段。這些研究遵循一個(gè)標(biāo)準(zhǔn)的全局聚類流程，即在提取音頻片段的聲紋嵌入后，通過計(jì)算所有嵌入之間的成對相似性來構(gòu)建一個(gè)N×N的親和矩陣（affinity matrix），并使用整個(gè)親和矩陣進(jìn)行聚類。然而，如圖1所示，由于大多數(shù)音頻記錄都是在不受控制的環(huán)境下錄制的，同一條音頻記錄中可能存在不同的噪聲干擾，而這些噪聲都會(huì)對聲紋嵌入的質(zhì)量產(chǎn)生一定的影響，導(dǎo)致同一個(gè)說話人的聲紋嵌入在不同的噪聲條件下具有不同的特征分布。在此影響下，全局聚類方式在計(jì)算所有嵌入的相似性時(shí)，由于嵌入具有不同的特征分布擴(kuò)大了類內(nèi)距離，使得嵌入間呈現(xiàn)出錯(cuò)誤的相似性，從而降低了聚類的準(zhǔn)確率。為了解決這個(gè)問題，最近的研究利用自注意力機(jī)制（self-attention）［18，19］和圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）［20～22］聚合來自同一個(gè)說話人的不同音頻片段的聲紋嵌入，以生成更具區(qū)分性的聲紋嵌入。然而，這些方法重新引入了對標(biāo)簽的依賴。考慮到人工對音頻記錄進(jìn)行精細(xì)化標(biāo)注非常耗時(shí)，標(biāo)注樣本嚴(yán)重不足。因此，如何在無監(jiān)督的條件下減少噪聲對說話人日志系統(tǒng)性能的影響仍然是一個(gè)難題。

不同于傳統(tǒng)的聚類任務(wù)，說話人日志任務(wù)中的數(shù)據(jù)是高度結(jié)構(gòu)化的［18］，數(shù)據(jù)間存在時(shí)序上的聯(lián)系，相鄰的音頻片段中可能會(huì)包含相同的背景噪聲，提取出聲紋嵌入的特征分布相同?；诖耍疚闹荚诔浞掷么祟悢?shù)據(jù)的結(jié)構(gòu)化特性，避免像全局聚類一樣直接在不同的噪聲條件下進(jìn)行聚類分析，提出了一種新的基于時(shí)間分段和重組聚類（temporal-segment-and-regroup clustering，TSARC）的說話人日志方法。與全局聚類不同，該聚類方式包含兩個(gè)步驟：a）時(shí)間分段和局部聚類，將所有聲紋嵌入按時(shí)間連續(xù)性劃分為多個(gè)組，將每一組視為一個(gè)時(shí)間段，然后分別在各個(gè)時(shí)間段內(nèi)進(jìn)行局部聚類，如圖1所示，局部聚類僅關(guān)注某個(gè)時(shí)間段內(nèi)的局部特征分布，避免像全局聚類一樣直接比較不同噪聲條件下的聲紋嵌入的相似度，因此可以減輕噪聲對聚類性能的影響；b）跨時(shí)間段重組，僅使用局部聚類無法獲取最終結(jié)果，這是因為局部聚類的結(jié)果僅包含單個(gè)時(shí)間段內(nèi)的說話人語音片段，而每一個(gè)說話人的語音片段可能分散在多個(gè)時(shí)間段。為了將不同時(shí)間段內(nèi)屬于同一個(gè)說話人的語音片段重新關(guān)聯(lián)起來，TSARC進(jìn)行一次全局聚類，并將全局聚類和局部聚類的結(jié)果進(jìn)行集成，獲取最終的結(jié)果。同時(shí)，由于簡單的余弦相似度可能無法正確地反映兩個(gè)聲紋嵌入間的相似性，提出親和矩陣校準(zhǔn)模塊，利用聲紋嵌入的鄰域信息來提高聲紋嵌入間相似度的準(zhǔn)確性，獲取更加可靠的親和矩陣。在計(jì)算每一對聲紋嵌入的相似度時(shí)，在原始的余弦相似度的基礎(chǔ)上引入杰卡德相似度（Jaccard similarity）。聲紋嵌入間的杰卡德相似度通過計(jì)算其鄰居的交并比獲得，包含嵌入的上下文信息。屬于同一個(gè)說話人的聲紋嵌入的相似度會(huì)隨著相似鄰域結(jié)構(gòu)的增加而增加，而不屬于同一個(gè)說話人的則會(huì)相應(yīng)地減少。因此，杰卡德相似度可以校準(zhǔn)親和矩陣。

本文的主要貢獻(xiàn)如下：

a）提出一種新的基于時(shí)間分段和重組的聚類方式TSARC，針對噪聲具有間歇性的特點(diǎn)，將語音片段分成多個(gè)時(shí)間段，在各個(gè)時(shí)間段內(nèi)獨(dú)立地進(jìn)行局部聚類，并通過集成聚類的手段對結(jié)果進(jìn)行重組合并，以減少噪聲的影響。

b）提出一種新的相似度度量方法，引入杰卡德相似度來衡量聲紋嵌入鄰域的相似性，以校準(zhǔn)原始的余弦相似度，從而提高了親和矩陣的可靠性。

c）在AMI SDM和VoxConverse數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與基線方法相比，所提方法的日志錯(cuò)誤率分別相對降低了34%和16%。相較于當(dāng)前先進(jìn)的模塊化方法，TSARC仍表現(xiàn)出顯著的性能優(yōu)勢，證明了所提方法的有效性。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

為驗(yàn)證方法的有效性，選用兩個(gè)公開的通用數(shù)據(jù)集AMI SDM［31］和VoxConverse［32］進(jìn)行相關(guān)實(shí)驗(yàn)。表1給出了這兩個(gè)數(shù)據(jù)集的相關(guān)統(tǒng)計(jì)信息。

AMI數(shù)據(jù)集由在不同的地點(diǎn)（愛丁堡、伊蒂普亞研究學(xué)院、荷蘭和布爾諾）錄制的會(huì)議音頻記錄組成，音頻采樣頻率為16 kHz。本文使用官方提供的腳本來劃分?jǐn)?shù)據(jù)集，選取單個(gè)遠(yuǎn)程麥克風(fēng)（single distance microphone，SDM）條件下的驗(yàn)證集和測試集用于實(shí)驗(yàn)。其中，驗(yàn)證集包含18條錄音記錄，測試集包含16條錄音記錄。每條錄音的持續(xù)時(shí)長約為20～60 min，包含3～5個(gè)說話人。數(shù)據(jù)集中多個(gè)說話人同時(shí)說話的時(shí)長約占總時(shí)長的12.1%。

VoxConverse數(shù)據(jù)集是從YouTube視頻中提取的多說話人音頻，這些視頻包括政治辯論、小組討論、名人采訪、新聞片段和脫口秀節(jié)目，包含著大量的動(dòng)態(tài)環(huán)境噪聲，如笑聲和掌聲。數(shù)據(jù)集中包含驗(yàn)證集和測試集，分別由216條和232條錄音組成。每條錄音的持續(xù)時(shí)長為22～1200 s，包含1～21個(gè)說話人。數(shù)據(jù)集中多個(gè)說話人同時(shí)說話的時(shí)長約占總時(shí)長的3.0%。

2.2 評價(jià)指標(biāo)

實(shí)驗(yàn)采用日志錯(cuò)誤率（diarization error rate，DER）［33］作為評估指標(biāo)來衡量說話人日志系統(tǒng)的性能，該指標(biāo)被各大賽事廣泛采用。DER是三種錯(cuò)誤的總和，計(jì)算方式為

DER=FA+MS+SC（14）

其中：FA（false alarm）反映的是誤報(bào)率，即該片段無人說話，但是系統(tǒng)預(yù)測有人說話的時(shí)長占音頻記錄總時(shí)長的百分比；MS（missed speech）反映的是漏檢率，即該片段有人說話，但是系統(tǒng)預(yù)測無人說話的時(shí)長占音頻記錄總時(shí)長的百分比；SC（speaker confusion）則是反映系統(tǒng)將某個(gè)說話人誤判成另一個(gè)說話人的情況。FA和MS這兩個(gè)子指標(biāo)和語音活動(dòng)檢測模塊性能相關(guān)，若該模塊錯(cuò)誤地去除了語音片段，則會(huì)導(dǎo)致MS上升；相反，若未準(zhǔn)確去除非語音片段，則會(huì)導(dǎo)致FA上升。SC指標(biāo)則和聚類模塊的性能息息相關(guān)。通常，在計(jì)算DER時(shí)會(huì)在說話人轉(zhuǎn)換處設(shè)置0.25 s的不計(jì)分區(qū)域，以減輕符號不一致和人工標(biāo)注錯(cuò)誤帶來的負(fù)面影響。本文使用dscore工具來計(jì)算DER指標(biāo)，不計(jì)算有多說話人重疊的部分錯(cuò)誤。

2.3 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)服務(wù)器配置為Intel Xeon Silver 4316 CPU，主頻為2.30 GHz，GPU采用GeForce RTX 3080Ti，顯存12 GB，內(nèi)存 64 GB。在此基礎(chǔ)上，服務(wù)器采用Ubuntu 20.04.4操作系統(tǒng)，使用Python 3.9.17，CUDA 11.3和PyTorch 1.12.1 作為開發(fā)環(huán)境。

為消除由于語音活動(dòng)檢測模塊的不確定性而可能引入的誤差，以更好地驗(yàn)證本文所提方法的有效性，文中所有實(shí)驗(yàn)都根據(jù)真實(shí)標(biāo)簽來去除非語音片段。因此，本文中給出的DER結(jié)果僅反映SC錯(cuò)誤。與主流方法一致，去除非語音片段后，實(shí)驗(yàn)中將錄音切割成1.5 s的短片段，相鄰的兩個(gè)片段之間存在0.75 s的重疊。接著，從音頻片段中提取出80維的FBank特征，并將這些特征送入到聲紋嵌入提取器中提取聲紋嵌入，聲紋嵌入的維度為256維。本文使用Wenet官方提供的ResNet-34作為特征提取器，該模型使用VoxCeleb2［34］數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，詳細(xì)設(shè)置可參考文獻(xiàn)［15］。

實(shí)驗(yàn)在AMI SDM數(shù)據(jù)集上，參數(shù)M的最佳取值為200，由于數(shù)據(jù)集中錄音記錄的長短變化大，所以鄰居數(shù)k的最佳取值為音頻片段總數(shù)的1%，權(quán)衡參數(shù)β的最佳取值為0.3。在VoxConverse數(shù)據(jù)集上，參數(shù)M的最佳取值為80，鄰居數(shù)k的最佳取值為片段總數(shù)的1%，權(quán)衡參數(shù)β的最佳取值為0.9。

2.4 和現(xiàn)有方法比較

為充分驗(yàn)證TSARC的有效性，本節(jié)將選用以下具有代表性的模塊化的方法，即DIHARD2021［23］、SSC-PIC［24］、ECAPA-TDNN［14］、Wespeaker［15］、SHARC［22］和GADEC［25］與本文方法進(jìn)行比較。其中，前四種方法均未引入監(jiān)督信息，而后兩種方法使用了監(jiān)督信息以訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)。表2給出了相關(guān)方法在AMI SDM和VoxConverse數(shù)據(jù)集上DER指標(biāo)的評估結(jié)果。其中，DIHARD2021和ECAPA-TDNN的結(jié)果是通過文獻(xiàn)中給出的開源代碼復(fù)現(xiàn)獲得的，其余方法結(jié)果均為各自文獻(xiàn)中聲明的結(jié)果。

結(jié)合表2中的實(shí)驗(yàn)數(shù)據(jù)可以觀察到，DIHARD2021、ECAPA-TDNN、Wespeaker以及提出的TSARC這些無監(jiān)督的方法在AMI SDM數(shù)據(jù)集上的表現(xiàn)不如在VoxConverse數(shù)據(jù)集上。這是由于AMI SDM數(shù)據(jù)集中不同說話人說話重疊率較高的原因，從同時(shí)包含多人說話的音頻片段中提取的聲紋嵌入?yún)^(qū)分性較差。與此相反，有監(jiān)督的方法SHARC和GADEC在AMI SDM數(shù)據(jù)集上表現(xiàn)更優(yōu)，主要是因?yàn)閂oxConverse數(shù)據(jù)集中缺乏訓(xùn)練集，缺乏足夠的真實(shí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，這些方法只能使用合成數(shù)據(jù)進(jìn)行訓(xùn)練，從而導(dǎo)致模型學(xué)習(xí)的數(shù)據(jù)分布與真實(shí)分布之間存在偏差。本文方法在Wespeaker的基礎(chǔ)上將全局聚類的方式替換成時(shí)間分段和重組的聚類方式，并利用鄰域信息校準(zhǔn)親和矩陣，其余模塊保持不變。在AMI SDM和VoxConverse數(shù)據(jù)集上，TSARC的DER和Wespeaker相比分別相對降低了約34%和16%。和現(xiàn)有的其他工作相比，TSARC也表現(xiàn)出了更優(yōu)的結(jié)果。實(shí)驗(yàn)結(jié)果表明，通過采用局部聚類以關(guān)注局部的特征分布，并利用鄰域信息校準(zhǔn)親和矩陣，能夠有效降低噪聲的影響，從而顯著降低說話人日志的錯(cuò)誤率。

2.5 消融實(shí)驗(yàn)

為驗(yàn)證提出的時(shí)間分段和重組聚類以及親和矩陣校準(zhǔn)是否能夠改善說話人日志的性能，本節(jié)在AMI SDM數(shù)據(jù)集上對所提方法進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示，表中的“√”表示包含相應(yīng)的組件，充分表明了所提模塊的有效性。其中基線模型為Wespeaker。

1）時(shí)間分段和重組聚類的有效性 通過在基線模型中加入局部聚類的模塊，由表3可以看出，相較于基線模型，模型1的DER相對降低了約15%，這證明了使用局部聚類可以有效減輕噪聲對聚類性能的影響。

2）親和矩陣校準(zhǔn)的有效性 在對親和矩陣使用鄰域信息進(jìn)行校準(zhǔn)后，相較于基線模型，模型2的DER相對降低了約24%，這證明了使用鄰域信息可以提高聲紋嵌入間相似度的準(zhǔn)確性。

通過將時(shí)間分段和重組的聚類方式和親和矩陣校準(zhǔn)這兩種方式結(jié)合后，性能可以獲得進(jìn)一步提升，DER相對于基線模型可以降低約34%，充分證明了本文方法的有效性。

2.6 超參分析

本節(jié)將對所提方法引入的參數(shù)進(jìn)行分析，包括時(shí)間分段和局部聚類步驟中的參數(shù)M，以及親和矩陣校準(zhǔn)步驟中的鄰居數(shù)k和權(quán)衡參數(shù)β。實(shí)驗(yàn)在AMI SDM數(shù)據(jù)集上進(jìn)行。結(jié)果如圖3所示。其中基線模型為Wespeaker。

每個(gè)時(shí)間段中音頻片段個(gè)數(shù)M對DER的影響如圖3（a）所示，在實(shí)驗(yàn)中，為防止其他參數(shù)對實(shí)驗(yàn)結(jié)果的影響，固定k和β的值為0?？梢杂^察到，本文方法在不同的M值上始終優(yōu)于基線模型。DER先隨著M的增大而降低，然后在超過閾值后開始升高。在M值過小時(shí)，進(jìn)行局部聚類的片段數(shù)太少，無法在集成聚類時(shí)提供有用的信息，而在M值過大時(shí)，局部聚類的結(jié)果接近全局聚類，此時(shí)也無法提供有用的信息。

鄰居數(shù)k的影響如圖3（b）所示，在實(shí)驗(yàn)中，為防止其他參數(shù)對實(shí)驗(yàn)結(jié)果的影響，固定M值為0，β值為0.3。橫坐標(biāo)表示鄰居數(shù)和錄音記錄的片段總數(shù)的比例?？梢钥闯觯珼ER隨著k在一個(gè)合理范圍的增加而降低。需要注意的是，當(dāng)為k分配一個(gè)較大的值時(shí)可能會(huì)引入噪聲，從而導(dǎo)致性能的下降，但是仍然優(yōu)于基線模型。

權(quán)衡參數(shù)β的影響如圖3（c）所示，在實(shí)驗(yàn)中，為防止其他參數(shù)對實(shí)驗(yàn)結(jié)果的影響，固定M值為0，k值為0.01。請注意，當(dāng)β為0時(shí)，僅考慮杰卡德相似度作為最終相似度；而當(dāng)為1時(shí)，則僅使用余弦相似度?？梢杂^察到，方法始終優(yōu)于基線。這表明，使用鄰域信息對親和矩陣進(jìn)行校準(zhǔn)是有效的。

2.7 可視化分析

為直觀地展現(xiàn)本文方法的有效性，本節(jié)給出TSARC和基線模型Wespeaker在AMI SDM數(shù)據(jù)集部分音頻上的可視化結(jié)果對比圖。其中，縱軸表示不同的說話人，橫軸表示時(shí)間，以s為單位，圖中的條形表示不同說話人的語音活動(dòng)。

圖4（a）（b）分別展示了編號為EN2002c和IS1009a的音頻記錄的說話人日志可視化結(jié)果，TSARC精準(zhǔn)地預(yù)測了音頻中給出的說話人數(shù)量并定位出了說話人的語音活動(dòng)，而Wespeaker則將一個(gè)說話人的語音活動(dòng)誤判成兩個(gè)說話人的語音活動(dòng)。圖4（c）展示了編號為IS1009b的音頻記錄的說話人日志可視化結(jié)果，在紅框部分，TSARC有著更好的區(qū)分定位結(jié)果，誤判率更低。通過對比可視化結(jié)果，證明了TSARC在說話人日志任務(wù)中的有效性。

3 結(jié)束語

本文致力于解決說話人日志任務(wù)中環(huán)境噪聲導(dǎo)致聚類性能下降的問題，提出了一種基于時(shí)間分段和重組聚類的說話人日志方法TSARC。與現(xiàn)有方法相比，所提方法通過將所有語音片段劃分成多個(gè)時(shí)間段，在每個(gè)時(shí)間段內(nèi)獨(dú)立地進(jìn)行局部聚類，以關(guān)注局部的特征分布，再對局部聚類結(jié)果進(jìn)行合并，從而降低了噪聲對聚類性能的影響。與此同時(shí)，通過考慮聲紋嵌入的鄰域信息，對嵌入間的相似度進(jìn)行了校準(zhǔn)，提高了親和矩陣的準(zhǔn)確性，進(jìn)一步減少了噪聲的干擾。最后，在公開數(shù)據(jù)集AMI SDM和VoxConverse上的實(shí)驗(yàn)結(jié)果證明了所提方法的有效性和先進(jìn)性。盡管所提方法在性能上取得了一定的提升，但是仍然存在一定的改進(jìn)空間。后續(xù)工作中，將考慮如何自適應(yīng)地進(jìn)行分段以及如何自適應(yīng)地確定鄰居數(shù)等方面的問題。

參考文獻(xiàn)：

［1］Park T J，Kanda N，Dimitriadis D，et al. A review of speaker diarization： recent advances with deep learning ［J］. Computer Speech & Language，2022，72： 101317.

［2］Yu Fan，Zhang Shiliang，F(xiàn)u Yihui，et al. M2MeT： the ICASSP 2022 multi-channel multi-party meeting transcription challenge ［C］// Proc of the 47th International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ： IEEE Press，2022： 6167-6171.

［3］Li Yanxiong，Wang Qin，Zhang Xue，et al. Unsupervised classification of speaker roles in multi-participant conversational speech ［J］. Computer Speech & Language，2017，42： 81-99.

［4］Chetupalli S R，Ganapathy S. Speaker conditioned acoustic modeling for multi-speaker conversational ASR ［C］// Proc of InterSpeech. 2022： 3834-3838.

［5］沈逸文，孫俊. 結(jié)合Transformer的輕量化中文語音識(shí)別 ［J］. 計(jì)算機(jī)應(yīng)用研究，2023，40（2）： 424-429. （Shen Yiwen，Sun Jun. Lightweight Chinese speech recognition with Transformer ［J］. Application Research of Computers，2023，40（2）： 424-429.）

［6］Fujita Y，Kanda N，Horiguchi S，et al. End-to-end neural speaker diarization with permutation-free objectives ［C］// Proc of InterSpeech. 2019： 4300-4304.

［7］Fujita Y，Kanda N，Horiguchi S，et al. End-to-end neural speaker diarization with self-attention ［C］// Proc of IEEE Automatic Speech Recognition and Understanding Workshop. Piscataway，NJ： IEEE Press，2019： 296-303.

［8］Liu Y C，Han E，Lee C，et al. End-to-end neural diarization： From transformer to conformer ［C］// Proc of InterSpeech. 2021： 3081-3085.

［9］曹潔，余麗珍. 改進(jìn)的說話人聚類初始化和GMM的多說話人識(shí)別 ［J］. 計(jì)算機(jī)應(yīng)用研究，2012，29（2）： 590-593. （Cao Jie，Yu Lizhen. Improved speaker clustering initialization and GMM multi-speaker recognition ［J］. Application Research of Computers，2012，29（2）： 590-593.）

［10］Kinoshita K，Delcroix M，Tawara N. Integrating end-to-end neural and clustering-based diarization： getting the best of both worlds ［C］// Proc of the 46th International Conference on Acoustics，Speech and Signal Processing. Piscataway NJ： IEEE Press，2021： 7198-7202.

［11］Ning Huazhong，Liu Ming，Tang Hao，et al. A spectral clustering approach to speaker diarization ［C］// Proc of the 9th International Conference on Spoken Language Processing. Piscataway NJ： IEEE Press，2006： 2178-2181.

［12］Wang Quan，Downey C，Wan Li，et al. Speaker diarization with LSTM ［C］// Proc of the 43rd International Conference on Acoustics，Speech and Signal Processing. Piscataway NJ： IEEE Press，2018： 5239-5243.

［13］Park T J，Han K J，Kumar M，et al. Auto-tuning spectral clustering for speaker diarization using normalized maximum eigengap ［J］. IEEE Signal Processing Letters，2019，27： 381-385.

［14］Dawalatabad N，Ravanelli M，Grondin F，et al. ECAPA-TDNN embeddings for speaker diarization ［C］// Proc of InterSpeech. 2021： 3560-3564.

［15］Wang Hongji，Liang Chengdong，Wang Shuai，et al. Wespeaker： a research and production oriented speaker embedding learning toolkit ［C］// Proc of the 48th International Conference on Acoustics，Speech and Signal Processing. Piscataway NJ： IEEE Press，2023： 1-5.

［16］Sell G，Snyder D，Mccree A，et al. Diarization is hard： some experiences and lessons learned for the JHU team in the inaugural DIHARD challenge ［C］// Proc of InterSpeech. 2018： 2808-2812.

［17］Sell G，Garcia-Romero D. Speaker diarization with PLDA i-vector scoring and unsupervised calibration ［C］// Proc of IEEE Spoken Language Technology Workshop. Piscataway NJ： IEEE Press，2014： 413-417.

［18］Lin Qingjian，Hou Yu，Li Ming. Self-attentive similarity measurement strategies in speaker diarization ［C］// Proc of InterSpeech. 2020： 284-288.

［19］Kwon Y，Jung J W，Heo H S，et al. Adapting speaker embeddings for speaker diarisation ［C］// Proc of InterSpeech. 2021： 3101-3105.

［20］Wang Jixuan，Xiao Xiong，Wu Jian，et al. Speaker diarization with session-level speaker embedding refinement using graph neural networks ［C］// Proc of the 45th International Conference on Acoustics，Speech and Signal Processing. Piscataway NJ： IEEE Press，2020： 7109-7113.

［21］Wang Jie，Chen Zhicong，Zhou Haodong，et al. Community detection graph convolutional network for overlap-aware speaker diarization ［C］// Proc of the 48th International Conference on Acoustics，Speech and Signal Processing. Piscataway NJ： IEEE Press，2023： 1-5.

［22］Singh P，Kaul A，Ganapathy S. Supervised hierarchical clustering using graph neural networks for speaker diarization ［C］// Proc of the 48th International Conference on Acoustics，Speech and Signal Processing. Piscataway NJ： IEEE Press，2023： 1-5.

［23］Ryant N，Singh P，Krishnamohan V，et al. The third DIHARD diarization challenge ［C］// Proc of InterSpeech. 2021： 3570-3574.

［24］Singh P，Ganapathy S. Self-supervised representation learning with path integral clustering for speaker diarization ［J］. IEEE/ACM Trans on Audio，Speech，and Language Processing，2021，29： 1639-1649.

［25］Wei Yi，Guo Haiyan，Ge Zirui，et al. Graph attention-based deep embedded clustering for speaker diarization ［J］. Speech Communication，2023，155： 102991.

［26］Ng A Y，Jordan M I，Weiss Y. On spectral clustering： analysis and an algorithm ［C］// Proc of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic. New York： ACM Press，2001： 849-856.

［27］Liu Hongfu，Liu Tongliang，Wu Junjie，et al. Spectral ensemble clustering ［C］// Proc of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2015： 715-724.

［28］吳志敏，劉珍，王若愚，等. 面向移動(dòng)App流量的多特征集合集成聚類方法研究與應(yīng)用 ［J］. 計(jì)算機(jī)應(yīng)用研究，2019，36（10）： 3101-3106. （Wu Zhimin，Liu Zhen，Wang Ruoyu，et al. Research and application of multi-feature sets based ensemble clustering method for mobile App traffic ［J］. Application Research of Computers，2019，36（10）： 3101-3106.）

［29］Zhong Zhun，Zheng Liang，Cao Donglin，et al. Re-ranking person re-identification with k-reciprocal encoding ［C］// Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 1318-1327.

［30］韓光，葛亞鳴，張城瑋. 基于去相關(guān)高精度分類網(wǎng)絡(luò)與重排序的行人再識(shí)別 ［J］. 計(jì)算機(jī)應(yīng)用研究，2020，37（5）： 1587-1591，1596. （Han Guang，Ge Yaming，Zhang Chengwei. Person re-identification by decorrelated high-precision classification network and re-ranking ［J］. Application Research of Computers，2020，37（5）： 1587-1591，1596.）

［31］Carletta J，Ashby S，Bourban S，et al. The AMI meeting corpus： a pre-announcement ［C］// Proc of the 2nd International Conference on Machine Learning for Multimodal Interaction. Berlin： Springer，2005： 28-39.

［32］Chung J S，Hun J，Nagrani A，et al. Spot the conversation： speaker diarisation in the wild ［C］// Proc of InterSpeech. 2020： 299-303.

［33］Fiscus J G，Ajot J，Michel M，et al. The rich transcription 2006 spring meeting recognition evaluation ［C］// Proc of the 3rd International Workshop on Machine Learning and Multimodal Interaction. Berlin： Springer，2006： 309-322.

［34］Nagrani A，Chung J S，Xie Weidi，et al. VoxCeleb： large-scale speaker verification in the wild ［J］. Computer Speech & Language，2020，60： 101027.

收稿日期：2024-01-19；修回日期：2024-03-05 基金項(xiàng)目：國家自然科學(xué)基金重點(diǎn)資助項(xiàng)目（U1836220）；國家自然科學(xué)基金面上項(xiàng)目（62176106）；江蘇省重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目（BE2020036）；江蘇省研究生科研與實(shí)踐創(chuàng)新計(jì)劃資助項(xiàng)目（KYCX22_3668）；江蘇大學(xué)應(yīng)急管理學(xué)院專項(xiàng)科研項(xiàng)目（KY-A-01）

作者簡介：朱必松（1999—），男，江蘇鹽城人，碩士研究生，主要研究方向?yàn)檎f話人日志；毛啟容（1975—），女（通信作者），四川瀘州人，教授，博導(dǎo)，博士，主要研究方向?yàn)槟Ｊ阶R(shí)別、情感計(jì)算（mao_qr@ujs.edu.cn）；高利劍（1993—），男，江西九江人，博士研究生，主要研究方向?yàn)槁曇羰录z測；沈雅馨（1999—），女，江蘇蘇州人，碩士研究生，主要研究方向?yàn)槁曇羰录z測.