基于多源語音信息融合的帕金森病輔助檢測方法

季 薇 王傳瑜 李 云 鄭慧芬

（1.南京郵電大學(xué)通信與信息工程學(xué)院，江蘇南京 210003；2.南京郵電大學(xué)計(jì)算機(jī)學(xué)院，江蘇南京 210023；3.南京醫(yī)科大學(xué)附屬老年醫(yī)院，江蘇南京 210024）

1 引言

帕金森病（Parkinson’s Disease，PD）是一種中腦黑質(zhì)多巴胺能神經(jīng)元變性死亡引發(fā)的慢性進(jìn)展性疾病［1］。由于大腦中多巴胺能神經(jīng)元的進(jìn)行性損失，帕金森病患者將無法穩(wěn)定控制發(fā)聲器官，常伴有無法穩(wěn)定發(fā)音，口腔、聲帶、喉嚨等發(fā)聲器官的靈活協(xié)調(diào)能力下降等癥狀［2］。為分析受試者的言語能力，領(lǐng)域內(nèi)的專家基于上述生理現(xiàn)象設(shè)計(jì)了包括持續(xù)元音發(fā)音（如/a/、/i/、/u/等）、重復(fù)音節(jié)（/pakala/）、情景對話等在內(nèi)的多類型語料［3-4］。其中，持續(xù)元音發(fā)音涉及到聲帶和聲道中各種肌肉的組合，能夠很好地評估受試者的發(fā)音能力［5-6］；重復(fù)音節(jié)發(fā)音，能夠很好地分析受試者移動齒齦、下頜和舌頭等發(fā)音器官的協(xié)調(diào)能力［7-8］；情景對話朗讀能夠判斷受試者能否正確的發(fā)出語料所暗含的語氣與語調(diào)［9-10］。受試者在醫(yī)學(xué)專家的指導(dǎo)下，根據(jù)不同類型的語料進(jìn)行發(fā)音，生成用于受試者言語能力分析的原始語音數(shù)據(jù)。

近年來，基于帕金森病患者的言語能力分析開展帕金森病檢測成為一種有效的輔助診療手段。文獻(xiàn)［11-13］基于持續(xù)元音語音數(shù)據(jù)提取了頻率微擾、振幅微擾、諧波噪聲比等發(fā)音類特征，并利用帕金森病患者和健康人在這些聲學(xué)特征上存在的差異，結(jié)合傳統(tǒng)的機(jī)器學(xué)習(xí)分類模型（隨機(jī)森林（Random forest，RF）、支持向量機(jī)（Support vector machine，SVM）等）實(shí)現(xiàn)了帕金森病的檢測，準(zhǔn)確率最高可達(dá)89%。文獻(xiàn)［14-15］基于重復(fù)音節(jié)語音數(shù)據(jù)提取了梅爾倒譜系數(shù)（Mel Frequency Cepstral Coefficient，MFCC）、巴克帶能量等發(fā)聲類特征，結(jié)合機(jī)器學(xué)習(xí)分類模型（SVM、卷積神經(jīng)網(wǎng)絡(luò)等）進(jìn)行帕金森病的檢測，準(zhǔn)確率最高可達(dá)90%。文獻(xiàn)［16］基于情景對話提取了與韻律相關(guān)的特征，結(jié)合機(jī)器學(xué)習(xí)模型（K近鄰、SVM等），實(shí)現(xiàn)了帕金森病的檢測，準(zhǔn)確率最高可達(dá)85%。然而，單類型語料數(shù)據(jù)無法全面地表征受試者的構(gòu)音能力，且易受噪聲、采集環(huán)境等因素的影響導(dǎo)致語音質(zhì)量下降。為實(shí)現(xiàn)多角度分析受試者構(gòu)音能力，去除非病理性因素的影響，有學(xué)者嘗試探索基于多類型語料獲得的多源語音數(shù)據(jù)。如Bocklet等人［17］將多個單源語音數(shù)據(jù)中提取的特征進(jìn)行簡單的拼接實(shí)現(xiàn)融合，再送入分類模型進(jìn)行帕金森病的分類檢測。實(shí)驗(yàn)結(jié)果顯示，結(jié)合多源語音數(shù)據(jù)的檢測性能反而不如單源語音數(shù)據(jù)與分類模型相結(jié)合的情況。其原因在于文獻(xiàn)［17］所述的多源信息融合方式不足以充分利用多源語音數(shù)據(jù)帶來的信息優(yōu)勢，反而造成了無關(guān)信息的累積，強(qiáng)化了無關(guān)信息對模型的影響，從而造成性能的下降。

由于多源語音數(shù)據(jù)來源不一致（朗讀的語料不同），且每種語音的發(fā)聲機(jī)理不一致，反映的言語能力不同，可將它們作為多模態(tài)數(shù)據(jù)來看待［18］。因此可借助多模態(tài)信息融合技術(shù)，解決上述信息融合問題。當(dāng)前多模態(tài)信息融合技術(shù)根據(jù)融合的時機(jī)可大致分為早期融合、后期融合、混合融合［18］。早期融合的方式，通常為每個模態(tài)設(shè)計(jì)預(yù)處理網(wǎng)絡(luò)提取單模態(tài)的高級特征，然后通過加權(quán)求和、直接拼接等操作實(shí)現(xiàn)多模態(tài)數(shù)據(jù)在特征層融合。文獻(xiàn)［19］提出一種基于自編碼器改進(jìn)的多模自編碼器，通過多個子網(wǎng)絡(luò)完成單模態(tài)信息提取，然后在特征層拼接作為多模態(tài)融合信息。文獻(xiàn)［20］提出一種基于多核學(xué)習(xí)的信息融合方式，通過將多模態(tài)數(shù)據(jù)經(jīng)過不同的核處理，再進(jìn)行核函數(shù)的加權(quán)組合實(shí)現(xiàn)信息融合。后期融合也稱決策層融合，其通過多個獨(dú)立的推斷模型處理不同的單模態(tài)數(shù)據(jù)，然后整合推斷結(jié)果實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的融合。文獻(xiàn)［21］使用了一層神經(jīng)網(wǎng)絡(luò)對來自不同模態(tài)的輸出進(jìn)行整合，輸出最終的決策結(jié)果。前述兩種融合方式均存在多模態(tài)信息交互不足的情況，因此研究人員提出了混合融合方式，旨在通過在多層級（特征層、決策層）的模態(tài)交互，充分實(shí)現(xiàn)信息的融合。例如許多基于多頭自注意力機(jī)制的多模態(tài)融合模型，在圖文結(jié)合［22］、情感語義識別［23］、機(jī)器翻譯［24］等領(lǐng)域表現(xiàn)出了優(yōu)異的性能，成為多模態(tài)信息融合領(lǐng)域內(nèi)的一個主流方向。然而，這些基于多頭自注意力機(jī)制技術(shù)的模型都聚焦于多模態(tài)數(shù)據(jù)間共有信息的學(xué)習(xí)，對單模態(tài)特有信息的學(xué)習(xí)缺少關(guān)注。

本文關(guān)注的基于語音的帕金森病檢測這一特定任務(wù)有如下特點(diǎn)：一方面，帕金森病患者的語音數(shù)據(jù)不易采集，數(shù)據(jù)集規(guī)模相對較?。?5］；另一方面，基于語音數(shù)據(jù)提取的聲學(xué)特征維數(shù)較高并且存在信息冗余問題。這些特點(diǎn)導(dǎo)致已有的多模態(tài)信息融合模型在面對高維小樣本數(shù)據(jù)時易出現(xiàn)過擬合現(xiàn)象，且大量冗余特征的存在會給模型帶來更多的無效信息，干擾模型的決策，增加計(jì)算開支［26-27］。此外，前述的多模態(tài)融合模型，缺乏對單模態(tài)特有信息的關(guān)注。因此，前述各種的多模態(tài)信息融合模型無法直接應(yīng)用于多源語音數(shù)據(jù)的帕金森病檢測。

基于此，本文提出一種多源語音信息融合模型（Multisource Data Fusion Autoencoder，MSFAE），旨在對多源語音數(shù)據(jù)攜帶的病理信息進(jìn)行全面整合，過濾由多個數(shù)據(jù)源融合帶來的無效信息，實(shí)現(xiàn)病理信息的準(zhǔn)確表達(dá)?？紤]到基于情景對話語料的帕金森病語音數(shù)據(jù)，容易受到受試者的文化水平、地域性口音等無關(guān)因素的影響，而引入更多的無效信息，增強(qiáng)過擬合風(fēng)險(xiǎn)。所以，本文在選擇多源語音數(shù)據(jù)時，著重考慮持續(xù)元音發(fā)音（/a/）以及重復(fù)音節(jié)（/pakala/）這兩種語音數(shù)據(jù)。該模型包含如下幾個模塊：（1）編碼器模塊。該模塊由多個并行支路（即3 個子編碼器）組成，其中兩條支路分別提取兩個單源語音數(shù)據(jù)的特有信息（對應(yīng)于特有信息表征學(xué)習(xí)子模塊）；一條支路作為多源信息融合子模塊實(shí)現(xiàn)多源數(shù)據(jù)共有信息的提取。（2）解碼器模塊。解碼器模塊幫助編碼器模塊實(shí)現(xiàn)信息壓縮去冗余；（3）分類器模塊。分類器模塊根據(jù)編碼器輸出完成帕金森病檢測，并輔助編碼器模塊學(xué)習(xí)緊湊的病理信息表示。本文在自采數(shù)據(jù)集上進(jìn)行了多個對比實(shí)驗(yàn)進(jìn)行方法有效性驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所提模型在帕金森病檢測的準(zhǔn)確率、敏感度和F1分?jǐn)?shù)等各項(xiàng)性能指標(biāo)上相較于基于單源語音數(shù)據(jù)的模型分別提高了6%、3%、6%。同時所提模型相較于其他信息融合模型在準(zhǔn)確率指標(biāo)上提高了2.8%以上。

本文所提方法的主要貢獻(xiàn)在于：（1）利用了多源語音數(shù)據(jù)帶來的信息優(yōu)勢；（2）引入基于自注意力機(jī)制的Transformer 編碼塊用于多源語音數(shù)據(jù)的共有信息提取，并與兩個單源語音數(shù)據(jù)表征學(xué)習(xí)塊一起共同完成多源語音數(shù)據(jù)的表征學(xué)習(xí)；（3）采用多步信息融合方式，實(shí)現(xiàn)多源數(shù)據(jù)更細(xì)粒度的特征交互；（4）聯(lián)合訓(xùn)練病理表征學(xué)習(xí)模塊（包含編碼器模塊和解碼器模塊）和病情檢測模塊，實(shí)現(xiàn)端到端的信息融合與決策。

2 相關(guān)工作

2.1 自注意力機(jī)制

自注意力機(jī)制（Self attention，SA）可用于對序列數(shù)據(jù)的建模［28］，將每個實(shí)例的原始輸入特征表示為一串特征向量序列x=[x1，x2，…，xl，…，xL]，其中xl∈Rd，d為每個特征向量的維度，L為序列長度。將特征向量xl分別與3個隨機(jī)初始化的投影矩陣相乘，得到對應(yīng)的queryl、keyl、valuel向量。根據(jù)不同xl間queryl和keyl向量的相關(guān)性，得到權(quán)重系數(shù)bl，r，根據(jù)權(quán)重系數(shù)更新每個特征向量：

最終，獲得的每個特征向量都是與其他特征向量信息交互后的融合信息。因此，采用自注意力機(jī)制能夠更加充分地學(xué)習(xí)特征向量間的交互。

2.2 多模態(tài)信息融合模型

多模態(tài)數(shù)據(jù)是對同一對象的多角度描述，每個模態(tài)間可能存在互補(bǔ)關(guān)系。多模態(tài)信息融合技術(shù)旨在通過對來自多個模態(tài)的信息進(jìn)行關(guān)聯(lián)整合，獲取目標(biāo)對象更完備的特征表示。

隨著多模態(tài)信息融合技術(shù)的快速發(fā)展，基于多種模態(tài)的融合方式早已變得靈活多變，涌現(xiàn)出許多簡單高效的融合模型。具有代表性的工作有：基于多模變分自編碼器的多模態(tài)融合模型（multimodal variant auto-encoder，MVAE）［29］使用多子網(wǎng)絡(luò)學(xué)習(xí)單模態(tài)特征，并基于變分思想學(xué)習(xí)多模態(tài)特征的潛在分布，實(shí)現(xiàn)對圖片和文本數(shù)據(jù)的多模態(tài)完備信息提?。换赥ransformer 模型提出的多模態(tài)融合模型ViLT（vision and language transformer）［22］借助多頭注意力機(jī)制實(shí)現(xiàn)視覺特征和文本特征的信息交互，完成了多模態(tài)信息深度交互融合；基于張量外積的信息融合方式［30］通過多模態(tài)數(shù)據(jù)的張量外積，實(shí)現(xiàn)情感語義識別領(lǐng)域信息的交互融合；生成式模型CPM-NET（Cross partial multi-view networks）［31］通過在假設(shè)空間隨機(jī)搜索的方式，尋找匹配多模態(tài)數(shù)據(jù)的完備表征，從模態(tài)生成的角度為多模態(tài)信息融合提供了新的思路。

3 本文方法

3.1 多源語音信息融合模型概述

本文針對帕金森病檢測任務(wù)和帕金森病患者的多源語音數(shù)據(jù)，提出了一種多源語音信息融合模型（MSFAE）。該模型包含編碼器、解碼器以及帕金森病檢測3 個模塊，整體框架如圖1 所示。其中，編碼器模塊由多個并行支路組成，一條支路通過引入自注意力機(jī)制的Transformer 編碼塊［28］實(shí)現(xiàn)多源語音數(shù)據(jù)共有信息的提取，還有兩條支路通過多層前饋神經(jīng)網(wǎng)絡(luò)提取單源語音數(shù)據(jù)的特有信息，多條支路共同完成對來自多個語音數(shù)據(jù)源中所含病理信息的全面提取。編碼器多條支路的輸出將以3種不同方式進(jìn)行特征拼接，以獲得3個不同的隱層表征。其中，2個隱層表征將作為多支路解碼器的輸入，負(fù)責(zé)完成多個單源數(shù)據(jù)的重構(gòu)；另外1 個隱層表征則將作為分類器模塊的輸入實(shí)現(xiàn)高效的帕金森病檢測。后續(xù)各小節(jié)將詳細(xì)描述各模塊功能。

圖1 系統(tǒng)框圖Fig.1 The system block diagram

3.2 數(shù)據(jù)預(yù)處理

3.2.1 聲學(xué)特征提取

針對每一個受試者，我們分別采集了持續(xù)元音的語音樣本和重復(fù)音節(jié)的語音樣本。其中，持續(xù)元音數(shù)據(jù)提取了如頻率微擾、振幅微擾、諧波噪聲比等發(fā)音類特征［11-14］；重復(fù)音節(jié)數(shù)據(jù)提取了梅爾倒譜系數(shù)、巴克帶能量等發(fā)聲類特征［13-15］。

3.2.2 特征分組

文獻(xiàn)［32-33］發(fā)現(xiàn)，從單源語音數(shù)據(jù)中提取的聲學(xué)特征往往存在較大的特征冗余。為了更細(xì)粒度地分析數(shù)據(jù)的特征，我們在特征層面對提取的特征進(jìn)行了相關(guān)性分析，使用均分K-means 方法［34］對從單源語音數(shù)據(jù)中提取的特征集進(jìn)行了相關(guān)聚類分析，并依據(jù)組內(nèi)特征的相關(guān)性盡可能大、組間特征的相關(guān)性相對較弱的原則對特征進(jìn)行分組，且每個組的特征數(shù)一致。

分組后，第i個受試者的第m個單源語音樣本上提取的特征表示為：

其中，d代表每個子組的特征維數(shù)，p代表特征的分組標(biāo)識。m=1時，xi，m是持續(xù)元音特有信息表征學(xué)習(xí)模塊的輸入，對應(yīng)圖1 中的Feat_vowel；m=2 時，xi，m是重復(fù)音節(jié)特有信息表征學(xué)習(xí)模塊的輸入，對應(yīng)圖1中的Feat_pakala。

3.3 編碼器模塊

如圖1 所示，本文所提的MSFAE 模型的編碼器模塊由3 個并行支路（即編碼器-1、編碼器-2、編碼器-3）組成，其中兩條支路分別提取兩個單源語音數(shù)據(jù)的特有信息；一條支路作為多源信息融合子模塊實(shí)現(xiàn)多源數(shù)據(jù)共有信息的提取。

3.3.1 單源語音特有信息表征學(xué)習(xí)子模塊

兩個單源語音特有信息表征學(xué)習(xí)子模塊是兩個并行的分支，一個用于處理從持續(xù)元音中獲取的聲學(xué)特征Feat_vowel，一個用于處理重復(fù)音節(jié)中獲取的聲學(xué)特征Feat_pakala。

單源語音的特有信息表征學(xué)習(xí)子模塊Encspc_vowel和Encspc_pakala的主要功能在于：從高維的低階語義特征中學(xué)習(xí)具備高級語義表達(dá)的單源語音特有病理表征。由于Feat_vowel 和Feat_pakala 對應(yīng)的聲學(xué)特征中已經(jīng)包含了許多豐富的臨床病理信息，單源語音特有信息表征學(xué)習(xí)模塊不需要太過于復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)即可學(xué)得有意義的單源語音特有病理信息。這里，單源語音的特有信息表征學(xué)習(xí)子模塊設(shè)計(jì)成一個具有3個隱藏層的深度神經(jīng)網(wǎng)絡(luò)。每層神經(jīng)網(wǎng)絡(luò)由55 個神經(jīng)元組成，激活函數(shù)為ReLu；針對兩種不同的單源語音數(shù)據(jù)中提取的特征，可學(xué)習(xí)的權(quán)重參數(shù)分別為Wvowel和Wpakala。此外，為方便模型后續(xù)的優(yōu)化處理，加速網(wǎng)絡(luò)學(xué)習(xí)，網(wǎng)絡(luò)的輸入端還增加一個批歸一化操作，對輸入數(shù)據(jù)作歸一化處理。

該模塊的輸出Vvowel、Vpakala表示為：

3.3.2 多源語音數(shù)據(jù)共有信息融合子模塊

從多源語音數(shù)據(jù)提取的聲學(xué)特征，存在較大的冗余性，且所提特征可能不是處于同一語義層級。如果采用文獻(xiàn)［17］中的簡單拼接方式，將會引入大量的無效信息，進(jìn)而影響模型的性能。為避免上述問題，本文采用多步融合的方式，實(shí)現(xiàn)多源數(shù)據(jù)的冗余信息剔除和跨數(shù)據(jù)源的特征交互融合，具體實(shí)現(xiàn)如圖2所示。

圖2 共有信息融合模塊框圖Fig.2 Block diagram of common information fusion module

在多步融合前，為匹配共有信息提取支路的輸入形式，對公式（2）所述的xi，m進(jìn)行重新表示：

借助Transformer 編碼塊中蘊(yùn)含的自注意力機(jī)制，模型將會學(xué)習(xí)到各個特征子組間的融合交互信息，完成跨特征子組的信息融合，同時將分類信息匯集在上。

Transformer 編碼器模塊［28］由多頭自注意力機(jī)制模塊（Multihead self-attention，MSA）和前饋神經(jīng)網(wǎng)絡(luò)模塊（Feedforward neural network，F(xiàn)NN）交替組成。為了加速網(wǎng)絡(luò)的訓(xùn)練，還在每個塊的輸入前引入層歸一化（LayerNorm，LN）進(jìn)行數(shù)據(jù)的歸一化處理，在每個塊的輸出后進(jìn)行殘差連接操作。

信息融合實(shí)現(xiàn)的方式是：

其中，e0代表多頭注意力機(jī)制的初始輸入代表經(jīng)過j次多頭注意力機(jī)制后的輸出，ej為經(jīng)過層歸一化后的輸出，J代表編碼器網(wǎng)絡(luò)中MSA 和FNN 的迭代次數(shù)。公式（8）對應(yīng)的多頭自注意力機(jī)制的具體實(shí)現(xiàn)為：

其中，X為輸入MSA 的特征序列，head1，…，headh為多頭自注意力機(jī)制中的注意機(jī)制塊。公式（10）通過一個權(quán)重為Wj的線性映射網(wǎng)絡(luò)，可將h個注意力機(jī)制塊的輸出進(jìn)行信息匯集。headh是信息融合的核心模塊，其由2.1節(jié)所述自注意力機(jī)制網(wǎng)絡(luò)SA 組成，計(jì)算方式如下所示：

其中，Wh，Q、Wh，K、Wh，V為headh的三個投影矩陣的參數(shù)，負(fù)責(zé)將輸入的特征序列映射到query、key、value向量空間。經(jīng)過前述的多頭自注意力機(jī)制后，共有信息提取支路的最終輸出為：

3.4 特征拼接

我們將從編碼器共有信息融合支路模塊獲取的表征Vfusion中取出分類表征，將其與來自兩個單源語音表征學(xué)習(xí)模塊的輸出Vvowel和Vpakala進(jìn)行拼接。拼接的結(jié)果作為融合表征Vcla，以實(shí)現(xiàn)對多源語音信息的完整表達(dá)，將其作為帕金森檢測模塊的輸入。我們還將獲取多模數(shù)據(jù)共有信息的融合特征分別與相應(yīng)單源語音特有信息表征Vvowel或者Vpakala進(jìn)行拼接。拼接后的特征向量Vrec_vowel和Vrec_pakala分別作為解碼器兩條重構(gòu)單源語音特征支路的輸入。

3.5 特征正交化

為進(jìn)一步確保編碼器能夠?qū)Χ嘣凑Z音數(shù)據(jù)中共有信息和特有信息的提取，我們對編碼器獲得的共有信息表征和兩個特有信息表征，進(jìn)行正交約束，降低共有信息表征和特有信息表征間的信息冗余。記矩陣H為由多源語音數(shù)據(jù)共有信息的融合特征作為行構(gòu)成的矩陣，矩陣Sm為由第m個單源語音數(shù)據(jù)中提取的單源語音特有信息表征Vvowel或者Vpakala作為行構(gòu)成的矩陣，通過正交約束計(jì)算得到特征間的差異損失如下：

3.6 帕金森病檢測模塊

融合表征Vcla作為帕金森病檢測模塊Cla 的輸入，通過相應(yīng)的分類器實(shí)現(xiàn)帕金森病的檢測。帕金森病檢測模塊由具有三個隱藏層的神經(jīng)網(wǎng)絡(luò)組成。每一層神經(jīng)元的個數(shù)分別為32、16 和2，采用ReLu作為激活函數(shù)。樣本真實(shí)標(biāo)簽y∈[0，1]，y為0時表示受試者不患病，y為1 時代表受試者患有帕金森病。檢測模塊的分類輸出為：

其中，Wcla為模塊參數(shù)，分類損失的計(jì)算我們將通過預(yù)測值與真實(shí)標(biāo)簽值y之間的交叉熵?fù)p失來定義。

3.7 解碼器

解碼器由兩個特征重構(gòu)支路組成：持續(xù)元音重構(gòu)模塊Decvowel用于重構(gòu)來自持續(xù)元音中提取的特征向量，重復(fù)音節(jié)重構(gòu)模塊Decpakala用于重構(gòu)重復(fù)音節(jié)提取的聲學(xué)特征向量。重構(gòu)模塊網(wǎng)絡(luò)由3層前饋神經(jīng)網(wǎng)絡(luò)組成，使用ReLu 激活函數(shù)。輸出為對該單源語音的原始聲學(xué)特征xi，m的重構(gòu)，可表示為：

其中，Wrec_pakala和Wrec_vowel模塊的參數(shù)，xrec_pakala和xrec_vowel為重構(gòu)的特征向量，模塊使用Smooth L1-loss損失函數(shù)對重構(gòu)誤差進(jìn)行計(jì)算，其表達(dá)式為：

其中，x、xrec分別為原始特征和模型重構(gòu)網(wǎng)絡(luò)的輸出。其最終的重構(gòu)損失為：

其中xi、xi，rec分別代表第i個樣本的特征表示和重構(gòu)網(wǎng)絡(luò)輸出的重構(gòu)特征，N為總的樣本數(shù)。

3.8 多損失優(yōu)化

本文所提的MSFAE模型由多個子模塊組成，其中帕金森病檢測模塊將采用交叉熵?fù)p失函數(shù)，特征重構(gòu)模塊將采用Smooth L1-loss函數(shù)。為充分利用數(shù)據(jù)集中的標(biāo)簽信息，本文將聯(lián)合訓(xùn)練帕金森病檢測模塊和用于特征學(xué)習(xí)的編解碼模塊。最終的模型損失為：

其中，Lrec_vowel為重構(gòu)持續(xù)元音語音的損失，Lrec_pakala為重構(gòu)重復(fù)音節(jié)語音的損失，Lcla為帕金森病檢測模塊的分類損失，Ldiff為共有信息表征和特有信息表征間的差異損失。這里，由于單源語音特征重構(gòu)損失明顯比帕金森病檢測模塊的損失大得多，為避免多個損失共同優(yōu)化的過程中出現(xiàn)由于尺度不一致導(dǎo)致模型偏向大損失的方向優(yōu)化，導(dǎo)致其他模塊的性能下降。我們預(yù)設(shè)了4 個超參數(shù)λv、λp、λc、λdi，通過對各個損失進(jìn)行加權(quán)，減小尺度不一致對模型的影響。

值得說明的是，為避免參數(shù)更新時，所提模型專注于優(yōu)化特征重構(gòu)損失而忽略帕金森病檢測模塊，帕金森病分類模塊和解碼器中特征重構(gòu)支路的輸入是有區(qū)別的，如圖1 所示。通過上述這些設(shè)計(jì)能夠避免優(yōu)化過程中的權(quán)重不平衡問題，也能共同幫助所提模型學(xué)習(xí)到更為緊湊的融合表示。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

為開展基于多源語音融合的帕金森病檢測研究，本文研究團(tuán)隊(duì)與南京醫(yī)科大學(xué)附屬老年醫(yī)院的神經(jīng)內(nèi)科展開長期合作。本文所使用的多源語音數(shù)據(jù)集，即由該醫(yī)院帕金森病及運(yùn)動障礙專病門診篩選出的68 名患者和17 名健康人的語音數(shù)據(jù)構(gòu)成。需要說明的是，在現(xiàn)有的帕金森病語音公開數(shù)據(jù)集中，尚未發(fā)現(xiàn)符合本文研究需求的多源語音數(shù)據(jù)。自采的帕金森病多源語音數(shù)據(jù)集中的受試者信息統(tǒng)計(jì)見表1。其中，男性受試者57 人（含帕金森病患者（PD）49 人，健康人（HC）8 人），年齡從46歲到88歲不等；女性受試者為28人（含帕金森病患者19 人，健康人9 人），年齡從56 歲到84 歲不等。表中提供了患者發(fā)病時間和病變程度（HY（Hoeh &Yahr）分期）數(shù)據(jù)，其中，HY 分期3 期以前屬于輕中度，3期以后癥狀越來越嚴(yán)重。

表1 自采帕金森病多源語音數(shù)據(jù)集信息統(tǒng)計(jì)Tab.1 Self-collected Parkinson’s disease multi-source speech dataset information statistics

受試者在安靜環(huán)境下接受語音采集（環(huán)境噪聲低于20 dB）。采集時，受試者的唇部位于距拾音麥克風(fēng)十厘米以內(nèi)的范圍，在聽到專業(yè)人員的指令后，開始發(fā)聲?？紤]到不同母語的發(fā)音習(xí)慣帶來的差異，避免由語種帶來的混淆因素，讓研究成果更好地服務(wù)于國內(nèi)外研究人員，我們僅考慮以下兩種方式采集受試者的語音：（1）以穩(wěn)定的聲音進(jìn)行持續(xù)元音/a/發(fā)音；（2）以盡可能快的速度進(jìn)行重復(fù)音節(jié)發(fā)音，即發(fā)出/pakala/。每個患者的語音記錄經(jīng)剪輯后共計(jì)340 個樣本，以48 kHz 采樣率和.wav 格式存儲。語音采集完成后，由在場的醫(yī)務(wù)人員對受試者的患病與否及嚴(yán)重程度進(jìn)行標(biāo)注。

4.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用python 語言實(shí)現(xiàn)，通過多組對比實(shí)驗(yàn)從多個角度驗(yàn)證模型的性能。所有的實(shí)驗(yàn)均在4.1 節(jié)所述的自采數(shù)據(jù)集上進(jìn)行，實(shí)驗(yàn)結(jié)果采用了十折交叉驗(yàn)證，使用準(zhǔn)確率（ACC）、敏感度（SEN）和F1分?jǐn)?shù)作為實(shí)驗(yàn)結(jié)果的評估準(zhǔn)則。

準(zhǔn)確率表示準(zhǔn)確區(qū)分帕金森病患者和健康人的概率，敏感度代表正確檢測出帕金森病患者的概率，F(xiàn)1 分?jǐn)?shù)衡量模型的總體預(yù)測性能，其計(jì)算公式分別如下所示：

其中，TP 表示分類正確的帕金森病樣本數(shù)，TN 表示分類正確的健康人樣本數(shù)，F(xiàn)P表示將健康人樣本誤分類成帕金森病樣本的數(shù)量，F(xiàn)N表示將帕金森病樣本誤分類成健康人樣本的數(shù)量。

模型的參數(shù)設(shè)置如表2所示。

表2 MSFAE模型參數(shù)設(shè)置Tab.2 MSFAE Model parameters setting

4.3 與多個單源語音基線模型的性能比較

為論證多源語音數(shù)據(jù)融合的優(yōu)勢，本節(jié)將所提模型與基于單源語音數(shù)據(jù)的基線模型進(jìn)行了性能比較。參與比較的單源語音基線模型有：隨機(jī)森林（RF），支持向量機(jī)（SVM）以及深度學(xué)習(xí)模型孿生網(wǎng)絡(luò)（Siamese-net）［35］。實(shí)驗(yàn)結(jié)果如表3所示。

表3 與單源語音模型的性能比較Tab.3 Performance comparison with single source speech model

從實(shí)驗(yàn)結(jié)果中可以看到，基于多源語音的MSFAE 模型能夠比單源語音數(shù)據(jù)在各個指標(biāo)上有較大的提升。實(shí)驗(yàn)結(jié)果驗(yàn)證了，多源語音數(shù)據(jù)在結(jié)合多個數(shù)據(jù)源數(shù)據(jù)的信息之后，能夠?qū)崿F(xiàn)更高的檢測準(zhǔn)確率。

4.4 與其他信息融合模型的性能比較

本節(jié)對MSFAE 模型以及其他前文所提及的信息融合模型進(jìn)行了性能比較。參與比較的模型有：TFN［30］，CPM-NET［31］，Vilt［22］，MKL［20］。實(shí)驗(yàn)結(jié)果如表4所示。

表4 與其他信息融合模型的性能比較Tab.4 Performance comparison with other information fusion models

從實(shí)驗(yàn)結(jié)果中可知，我們的模型在與多個多模態(tài)信息融合模型相比較，在準(zhǔn)確率上分別有2.82%、3.33%、4.03%、5.76%的提升，在敏感度指標(biāo)上與最優(yōu)的TFN 模型相近，高于其他比較模型，同時F1 分?jǐn)?shù)相較其他比較模型也有提升。其原因在于，我們通過同時結(jié)合了多源數(shù)據(jù)的共有信息和特有信息，實(shí)現(xiàn)了更加全面的信息提取。同時在共有信息抽取時，通過多步融合方式，避免直接對提取的聲學(xué)特征拼接帶來的語義鴻溝以及噪聲冗余。

4.5 消融實(shí)驗(yàn)

為進(jìn)一步探究所提模型的性能，本節(jié)通過消融實(shí)驗(yàn)來檢測子模塊的性能，重點(diǎn)考察特征分組線性映射模塊，以及基于注意力機(jī)制融合的信息融合模塊對模型的貢獻(xiàn)。實(shí)驗(yàn)的詳細(xì)結(jié)果如表5所示。

表5 消融實(shí)驗(yàn)Tab.5 Ablation experiments

由實(shí)驗(yàn)結(jié)果可知，模型在沒有使用多源語音數(shù)據(jù)信息融合模塊時（MSFAE（without fusion）），性能受到較大的影響，模型此時缺乏對多源語音的低階語義信息融合，僅在單源語音經(jīng)過表征學(xué)習(xí)塊提取高階語義信息后進(jìn)行了拼接，無法實(shí)現(xiàn)多源語音數(shù)據(jù)的互補(bǔ)互增益。模型在缺失特征分組時（MSFAE（without feat_group）），由于缺失對原始輸入數(shù)據(jù)的更細(xì)粒度的信息冗余去除，為模型引入更多的噪聲信息，從而使得模型性能少許下降。模型在缺失單源語音數(shù)據(jù)特有信息表征學(xué)習(xí)模塊時（MSFAE（without spec_feat）），性能也出現(xiàn)了較大的性能下降，其原因是特征融合模塊的主要作用是同時最大化多源語音數(shù)據(jù)的共有信息，單源語音數(shù)據(jù)特有信息表征模塊的加入，能夠彌補(bǔ)對單源語音數(shù)據(jù)特有信息的關(guān)注。

5 結(jié)論

本文提出一種多源語音信息融合模型，解決了單源語音數(shù)據(jù)無法全面表征受試者構(gòu)音能力的問題。其中，采用多步信息融合方式，并引入多頭自注意力技術(shù)實(shí)現(xiàn)多源數(shù)據(jù)更細(xì)粒度的特征交互，有效解決了信息冗余問題，避免多源數(shù)據(jù)融合過程中的噪聲累積。通過多分支網(wǎng)絡(luò)，提取多源數(shù)據(jù)的特有信息和共有信息，并引入正交約束，有效實(shí)現(xiàn)多源數(shù)據(jù)中病理信息的提取。實(shí)驗(yàn)結(jié)果顯示，本文所提的MSFAE模型與單源語音數(shù)據(jù)基線模型比較，在各個指標(biāo)上均有較大程度的性能提升。與其他信息融合模型相比，所提模型在帕金森病檢測任務(wù)上有獨(dú)特的優(yōu)勢。在此基礎(chǔ)上，我們將進(jìn)一步研究多源語音數(shù)據(jù)在受損情況下的帕金森病檢測方案。