一種面向情緒壓力分布外檢測(cè)的多任務(wù)跨模態(tài)學(xué)習(xí)方法

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2025）06-018-1734-08

doi：10.19734/j. issn.1001-3695.2024.10.0457

Multi-task cross-modal learning approach for out-of-distribution detection of emotional stress

Wan Yichen ^1，2 ， Xing Kai ^1，2? ，Liu Yu3，Yang Hui4，Xu Junhan12，Yuan Yanxue ^1，2 （20 （1.SchoolofomputerSiee amp;Tcholog，Uniersitofcinceamp;TholfCina，Hefe6，Cha.SuzhostuefrAd vancedResearch，Unierstyofienceamp;echologfina，SuzouJangsu5o，hina；3NnjingDrumowrHsptal，jing 210008，China；4.SchoolofLife Sciences，NorthwesternPolytechnical University，Xi’an71oo72，China）

Abstract：Recent research indicates that emotional stress detectionsystemsbasedon PPG signalscan bea potential convenient solution.However，PPG-based methods usuallyinduce severe OOD issues when detecting stressin previouslyunseen subjects duetosignificantvariations inPPGsignalsacross individuals.Toaddressthischallnge，thispaperproposedarossmodal stressdetection model basedonmulti-task learning（CSMT）.Byintroducing ECG signalreconstructionand multiple cardiovascular feature prediction asauxiliarytasks toenhancethefeatureextractioncapabilityofPPG signals，theproposed methodperformedcollaborativeoptimizationofPPG-based stress detectioninhigh-dimensionalrepresentationspace，thereby learning robuststressdetectionrepresentationsacrossindividuals.Experimentalresultsonthe WESADdatasetdemonstrate that inleave-one-subject-out validation tests，CSMT achieves best accuracy and F₁ scores compared to existing methods in both thre-class （neutral/stress/amusement）andbinary（stress/non-stress）clasificationtasks，meanwhileefectivelymitigating theOODgeneralization probleminstressdetection.Theablation experimentsfurthervalidatetheefectiveness ofCSMTin enhancing model generalization capability.

Key Words：multi-task learning；photoplethysmography（PPG）； stress detection; out-of-distribution（OOD）issues

0 引言

情緒壓力是一種復(fù)雜的生理心理反應(yīng)，長(zhǎng)期或慢性的情緒壓力會(huì)對(duì)人體的呼吸系統(tǒng)、心血管系統(tǒng)及內(nèi)分泌系統(tǒng)等產(chǎn)生嚴(yán)重的不良影響[1]，增加患焦慮癥、抑郁癥、心臟病以及注意力障礙等身心健康問題的風(fēng)險(xiǎn)[2]。因此，開發(fā)能夠持續(xù)、準(zhǔn)確監(jiān)測(cè)壓力水平的自動(dòng)化方法具有重要的現(xiàn)實(shí)意義。這不僅有助于個(gè)人及時(shí)識(shí)別壓力源并采取調(diào)節(jié)措施，還能為醫(yī)療專業(yè)人員提供更客觀的評(píng)估依據(jù)，有效指導(dǎo)個(gè)性化干預(yù)方案的制定[3]。

作為一種典型的復(fù)雜情緒狀態(tài)，壓力往往伴隨著心率加快、血壓升高等自主神經(jīng)系統(tǒng)變化。在現(xiàn)有的壓力檢測(cè)方法中，心電圖（ECG）信號(hào)因其較高的信噪比和可靠性被廣泛應(yīng)用。通過分析ECG信號(hào)中的R峰間隔提取心率變異性（heartratevariability，HRV）特征，可以有效反映交感神經(jīng)和副交感神經(jīng)的平衡狀態(tài)[4]，從而實(shí)現(xiàn)對(duì)壓力水平的可靠評(píng)估[5，6]。然而，ECG信號(hào)的采集過程相對(duì)復(fù)雜，通常需要專業(yè)設(shè)備和規(guī)范操作，難以滿足日常便攜監(jiān)測(cè)的需求。此外，依賴單一HRV特征的方法也存在局限性，可能忽略壓力狀態(tài)引起的其他心血管系統(tǒng)變化[3]。相比之下，光電容積脈搏波（PPG）信號(hào)具有采集便捷、成本低廉的優(yōu)勢(shì)[7]。隨著智能手表等可穿戴設(shè)備的普及，基于PPG信號(hào)的壓力檢測(cè)系統(tǒng)為實(shí)現(xiàn)日常連續(xù)監(jiān)測(cè)提供了可能。然而，這類方法目前面臨兩個(gè)主要挑戰(zhàn)：

a）分布外（OOD）問題。由于不同個(gè)體的PPG信號(hào)存在顯著差異，模型在訓(xùn)練未見過的個(gè)體上往往表現(xiàn)不佳。有限的訓(xùn)練樣本難以覆蓋所有人群的壓力表現(xiàn)特征，導(dǎo)致模型泛化能力受限。這種個(gè)體差異帶來(lái)的OOD問題嚴(yán)重制約了基于PPG信號(hào)的壓力檢測(cè)方法在實(shí)際應(yīng)用中的推廣。

b）信號(hào)質(zhì)量問題。PPG信號(hào)容易受到運(yùn)動(dòng)偽影等噪聲的影響，這些噪聲會(huì)掩蓋與壓力狀態(tài)相關(guān)的關(guān)鍵特征。特別是在日?；顒?dòng)場(chǎng)景下，運(yùn)動(dòng)偽影的復(fù)雜性和不可預(yù)測(cè)性顯著增加了準(zhǔn)確檢測(cè)的難度。相比之下，ECG信號(hào)通常在專業(yè)環(huán)境下采集，具有更高的信噪比和可解釋性。

針對(duì)上述挑戰(zhàn)，本文提出了一種基于多任務(wù)跨模態(tài)學(xué)習(xí)的情緒壓力檢測(cè)方法（CSMT）。如圖1所示，該方法通過創(chuàng)新性地引入ECG信號(hào)[8]重建任務(wù)，利用PPG信號(hào)[9]和ECG信號(hào)之間的內(nèi)在關(guān)聯(lián)，提升了對(duì)真實(shí)心血管特征的提取能力，如圖1所示。值得注意的是，ECG信號(hào)僅在訓(xùn)練階段作為輔助任務(wù)使用，實(shí)際檢測(cè)時(shí)仍僅需PPG信號(hào)輸入。同時(shí)，本文方法還引入了多心血管特征預(yù)測(cè)任務(wù)，通過多任務(wù)學(xué)習(xí)框架提升模型表征的泛化性，有效緩解OOD問題的影響。本文的主要貢獻(xiàn)包括：

a）提出了一種新穎的基于PPG信號(hào)的情緒壓力檢測(cè)方法，通過多任務(wù)跨模態(tài)學(xué)習(xí)有效緩解了OOD問題，提升了模型在未見個(gè)體上的泛化性能。

b）創(chuàng)新性地引入ECG信號(hào)重建作為輔助任務(wù)，通過捕捉PPG信號(hào)與ECG信號(hào)間的關(guān)聯(lián)特征，增強(qiáng)了壓力相關(guān)信息的提取能力。

c）設(shè)計(jì)了多心血管特征預(yù)測(cè)任務(wù)，通過學(xué)習(xí)多種生理特征表征，提升了模型對(duì)壓力狀態(tài)的識(shí)別能力和魯棒性。

d）基于Transformer編碼器構(gòu)建了高效的特征提取和融合機(jī)制，通過特殊的注意力掩碼設(shè)計(jì)實(shí)現(xiàn)了不同任務(wù)表征的有效解耦與交互。

e）在WESAD數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證表明，所提方法在多個(gè)壓力檢測(cè)任務(wù)上均優(yōu)于現(xiàn)有方法，并在留一驗(yàn)證測(cè)試中展現(xiàn)出優(yōu)異的泛化性能。

1相關(guān)工作

本章系統(tǒng)梳理了基于生物信號(hào)進(jìn)行情緒壓力檢測(cè)的研究進(jìn)展，聚焦于情緒壓力檢測(cè)中常用的PPG和ECG信號(hào)。詳細(xì)總結(jié)了如何利用這兩類信號(hào)提取并組合心血管特征，以實(shí)現(xiàn)情緒壓力的有效檢測(cè)。此外，本章還揭示了PPG與ECG信號(hào)之間的高度關(guān)聯(lián)性，這一發(fā)現(xiàn)為后續(xù)多任務(wù)跨模態(tài)學(xué)習(xí)方法的探索提供了堅(jiān)實(shí)的實(shí)踐基礎(chǔ)。

1.1與壓力相關(guān)的生物傳感信號(hào)

壓力是生物體在面臨攻擊或威脅時(shí)的典型反應(yīng)，通常伴隨著負(fù)面情緒和生理變化，進(jìn)而影響體溫、心臟活動(dòng)、血壓、血糖等身體功能。壓力的真實(shí)狀態(tài)可以通過生物信號(hào)或生物標(biāo)志物來(lái)評(píng)估，這些信號(hào)和標(biāo)志物被認(rèn)為能夠可靠地識(shí)別壓力水平，例如唾液皮質(zhì)醇濃度和腦電圖不對(duì)稱指數(shù)等[10]。隨著檢測(cè)技術(shù)的進(jìn)步，基于心臟活動(dòng)的情緒壓力檢測(cè)方法得到了越來(lái)越廣泛的應(yīng)用，心率、HRV和血壓等都成為常用的評(píng)估指標(biāo)。用于檢測(cè)心臟活動(dòng)的生理信號(hào)主要包括PPG和ECG信號(hào)。

PPG信號(hào)是一種無(wú)創(chuàng)的生物醫(yī)學(xué)監(jiān)測(cè)技術(shù)，它通過光電手段來(lái)觀察人體血液容積的周期性變化。這一過程主要依賴于紅外發(fā)光二極管（LED）和相應(yīng)的光學(xué)傳感器。當(dāng)紅外光穿透人體指端時(shí)，血液及周圍組織會(huì)吸收一部分光。隨著心臟的收縮和舒張，血管內(nèi)的血流量會(huì)發(fā)生周期性的波動(dòng)，這種波動(dòng)會(huì)導(dǎo)致血液對(duì)光的吸收量也呈現(xiàn)周期性變化。因此，通過光學(xué)傳感器檢測(cè)到的光強(qiáng)變化，可以準(zhǔn)確地反映心臟的搏動(dòng)狀態(tài)[1，12]。具體來(lái)說，當(dāng)心臟收縮時(shí)，血管中的血容量暫時(shí)減少，血液對(duì)光的吸收量相應(yīng)降低，這導(dǎo)致傳感器檢測(cè)到的光強(qiáng)相對(duì)增強(qiáng)。相反，在心臟舒張期間，血管中的血容量增加，血液對(duì)光的吸收量上升，傳感器檢測(cè)到的光強(qiáng)則會(huì)相對(duì)減弱。PPG信號(hào)的這種典型波形，不僅能夠提供心臟跳動(dòng)的實(shí)時(shí)信息，還能用于評(píng)估心血管系統(tǒng)的健康狀況。如圖2所示，PPG信號(hào)波形圖清晰地展示了這種周期性變化。

ECG信號(hào)記錄了心臟的電活動(dòng)，作為一種非侵入性工具，被廣泛應(yīng)用于多種生物醫(yī)學(xué)場(chǎng)景[13]。典型的ECG信號(hào)如圖3所示。ECG信號(hào)提供了有關(guān)心臟功能和心臟節(jié)律的重要信息，其測(cè)量的是心臟電流在身體表面的分布。心臟的電流活動(dòng)由心臟起搏系統(tǒng)產(chǎn)生，包括竇房結(jié)、房室結(jié)、希氏束及心室肌等組織。隨著心臟不同部位細(xì)胞的興奮和去極化，電流在身體組織中傳播，最終通過皮膚表面的電極被檢測(cè)和記錄。

ECG信號(hào)被廣泛應(yīng)用于情緒壓力檢測(cè)研究中，因?yàn)閴毫ν殡S著心臟電流活動(dòng)的異常變化。通過分析ECG信號(hào)中心率、心率變異性等指標(biāo)，能夠?qū)€(gè)體的壓力水平進(jìn)行精確評(píng)估。

1.2基于數(shù)字信號(hào)進(jìn)行情緒壓力檢測(cè)

心血管和自主神經(jīng)系統(tǒng)的變化可以通過PPG和ECG信號(hào)反映出來(lái)，因此這兩種信號(hào)常被用于情緒壓力檢測(cè)。文獻(xiàn)[14]利用可穿戴設(shè)備采集PPG信號(hào)進(jìn)行持續(xù)壓力監(jiān)測(cè)，并結(jié)合EDA預(yù)處理工具去除偽影，隨后使用機(jī)器學(xué)習(xí)算法進(jìn)行壓力分類。Heo等人[15]在時(shí)域和頻域分別去噪，并通過多峰值檢測(cè)方法優(yōu)化了PPG信號(hào)的特征提取，以提高情緒壓力檢測(cè)的準(zhǔn)確性。文獻(xiàn)[16]使用方差分析（ANOVA）和順序前向浮動(dòng)選擇算法（SFFS）選擇最佳特征集，以區(qū)分壓力、疲勞、困倦等狀態(tài)。盡管這些研究在特定數(shù)據(jù)集上取得了較高的準(zhǔn)確率，其提取的特征大多依賴于經(jīng)驗(yàn)或深度學(xué)習(xí)模型，缺乏可解釋性，臨床應(yīng)用價(jià)值有限。

ECG信號(hào)檢測(cè)心理壓力的常用方法是提取R峰及由此得出的HRV特征。文獻(xiàn)17]通過帶胸帶的Polar手表采集受試者的ECG信號(hào)，提取HRV特征，并使用偏最小二乘判別分析模型預(yù)測(cè)情緒。文獻(xiàn)[5]通過檢測(cè)ECG信號(hào)中的小峰，進(jìn)一步優(yōu)化HRV特征，用于情緒壓力檢測(cè)，并證明小峰值特征與急性心理壓力的關(guān)系更為密切。文獻(xiàn)6則測(cè)試了多種機(jī)器學(xué)習(xí)方法（如K近鄰、支持向量機(jī)、多層感知機(jī)、隨機(jī)森林等），基于HRV特征對(duì)壓力水平進(jìn)行分類。然而，ECG信號(hào)獲取過程較為復(fù)雜，難以實(shí)現(xiàn)持續(xù)的壓力監(jiān)測(cè)。

研究表明，PPG與ECG信號(hào)高度相關(guān)[18＼～21]，同時(shí)記錄的PPG信號(hào)峰峰值間隔與ECG的RR間隔具有 99.3% 的相關(guān)性[22]。Kinnunen 等人[23]的研究說明了基于PPG 和基于ECG提取的HRV特征具有高度相關(guān)性，驗(yàn)證了基于PPG設(shè)備在夜間測(cè)量HR和HRV的準(zhǔn)確性。通過回歸分析和Bland-Altman分析，研究人員發(fā)現(xiàn)PPG和ECG之間具有非常高的一致性，相關(guān)系數(shù)分別為0.996（HR）和 R²=0.980 （HRV），且偏差極小。PPG信號(hào)的波形特征（如時(shí)間間隔、幅度變化及形狀）直接受到心肌活動(dòng)的調(diào)控，而心肌活動(dòng)的發(fā)起則由竇房結(jié)的電活動(dòng)驅(qū)動(dòng)[19]，這一過程在ECG信號(hào)中通過P波的特征得以間接反映[24]?；谶@一緊密聯(lián)系，許多學(xué)者嘗試通過PPG 信號(hào)推斷ECG信號(hào)，用于心血管事件的檢測(cè)。Zhu等人[18]通過計(jì)算PPG和ECG信號(hào)單周期的離散余弦變換系數(shù)，并采用線性回歸實(shí)現(xiàn)了PPG到ECG信號(hào)的轉(zhuǎn)換。Sarkar等人[25]和Vo等人[26]分別采用生成對(duì)抗網(wǎng)絡(luò)模型，并以U-Net為生成器。其中，Sarkar等人[25]在U-Net的跳躍連接中引入了注意力模塊，并在判別器中同時(shí)考慮時(shí)域與頻域信息；Vo等人[26]則利用WassersteinGAN，通過計(jì)算真實(shí)數(shù)據(jù)與生成數(shù)據(jù)分布間的Wasserstein距離，增強(qiáng)了生成器的梯度傳遞。

2基于多任務(wù)學(xué)習(xí)的跨模態(tài)情緒壓力檢測(cè)方法

本章將首先介紹本文提出的多任務(wù)學(xué)習(xí)方法，并詳細(xì)闡述其中的跨模態(tài)ECG信號(hào)重建輔助任務(wù)和多心血管特征預(yù)測(cè)輔助任務(wù)的設(shè)計(jì)。接著，將對(duì)基于這些方法構(gòu)建的深度學(xué)習(xí)模型結(jié)構(gòu)進(jìn)行詳細(xì)說明，并深入討論各個(gè)模塊的具體設(shè)計(jì)與實(shí)現(xiàn)。

本文提出了一種多任務(wù)跨模態(tài)學(xué)習(xí)方法（CSMT），旨在從PPG信號(hào)中自動(dòng)學(xué)習(xí)與情緒壓力檢測(cè)相關(guān)的特征。CSMT模型創(chuàng)新性地引入了多任務(wù)學(xué)習(xí)范式，引入了兩類輔助任務(wù)，從不同角度彌補(bǔ)單一模態(tài)信息的局限性，能夠充分利用多模態(tài)信息以及多種心血管特征，從高維隱式特征和低維顯式特征兩個(gè)層面進(jìn)行學(xué)習(xí)，并且借助深度學(xué)習(xí)的表征學(xué)習(xí)能力，實(shí)現(xiàn)特征的高效提取。

對(duì)于兩類輔助任務(wù)，首先是基于跨模態(tài)的ECG信號(hào)重建輔助任務(wù)。已有研究表明，PPG和ECG信號(hào)在情緒壓力檢測(cè)中均展現(xiàn)了良好的可靠性[5，6，14＼～16，17]，各自具有重要的生理學(xué)意義?；赑PG與ECG信號(hào)兩者之間存在的生理關(guān)聯(lián)[18]，這一輔助任務(wù)利用易于獲取的PPG信號(hào)對(duì)難以獲取的ECG信號(hào)進(jìn)行重建。在PPG信號(hào)重建ECG信號(hào)的過程中，深度編碼器模型能夠利用信號(hào)間的內(nèi)在聯(lián)系，通過自動(dòng)化的特征學(xué)習(xí)從PPG信號(hào)中提取對(duì)情緒壓力檢測(cè)有益的高維隱式特征。通過深度模型的特征提取過程，可以提升信號(hào)表征的深度和廣度。

另一個(gè)輔助任務(wù)是多心血管特征預(yù)測(cè)輔助任務(wù)，情緒壓力往往伴隨著交感神經(jīng)系統(tǒng)（sympathetic nervous system，SNS）的激活，導(dǎo)致心率加快和心臟收縮力增強(qiáng)，使血液循環(huán)速度加快，以便更高效地為器官和骨骼肌提供氧氣，從而應(yīng)對(duì)壓力源[21]。因此，對(duì)于心血管特征的檢測(cè)也是識(shí)別情緒壓力變化的重要手段。該輔助任務(wù)專注于直接提取低維顯式特征（如HRV等關(guān)鍵指標(biāo)），確保模型在顯式特征表征上的充分性，并與高維隱式特征形成協(xié)同作用，從而提升壓力檢測(cè)性能。

在訓(xùn)練階段，CSMT模型以PPG信號(hào)為輸人，優(yōu)化模型參數(shù)以同時(shí)重建ECG信號(hào)、壓力標(biāo)簽及預(yù)測(cè)其他心血管特征。在實(shí)際檢測(cè)中，僅使用PPG信號(hào)即可進(jìn)行情緒壓力檢測(cè)，從而避免了額外采集ECG信號(hào)的需求。通過該方法，CSMT模型在捕捉情緒特征方面的能力得到了提升，解決了基于PPG信號(hào)的深度學(xué)習(xí)方法面臨的噪聲和OOD問題。

如圖4所示，本文方法包含多任務(wù)嵌人模塊、多任務(wù)融合的Transformer編碼器和多任務(wù)解碼模塊三個(gè)主要部分。多任務(wù)嵌入模塊用于將PPG信號(hào)映射到高維特征空間，注意力模塊通過解耦不同任務(wù)之間的預(yù)測(cè)，增強(qiáng)了模型在提取特征時(shí)的靈活性與準(zhǔn)確性，而多任務(wù)解碼模塊則用于預(yù)測(cè)情緒壓力標(biāo)簽、重構(gòu)ECG信號(hào)及其他心血管特征。通過這種設(shè)計(jì)，模型能夠有效捕捉PPG信號(hào)中的多維信息，提升了對(duì)壓力特征的檢測(cè)能力。

2.1信號(hào)與特征的形式化表示

本文基于PPG信號(hào)進(jìn)行情緒壓力檢測(cè)。在模型訓(xùn)練過程中，會(huì)使用到PPG信號(hào)、ECG信號(hào)以及從PPG信號(hào)中提取的特征，分別由式（1）＼～（3）形式化表示。在推理階段，模型只需基于PPG信號(hào)即可完成情緒壓力檢測(cè)任務(wù)。

PPG={ppg_t}_t=1^T

Features=FeatureExtraction（PPG）=[fea₁，fea₂，…，fea_k] （3）其中：PPG信號(hào)和ECG信號(hào)是同樣長(zhǎng)度且同時(shí)采集的一維時(shí)序數(shù)據(jù)，信號(hào)長(zhǎng)度為 T ；Features是從PPG信號(hào)中提取出的特征，其中任意的一個(gè)特征 fea_i 都為一個(gè)浮點(diǎn)數(shù)。

2.2 多任務(wù)嵌入模塊

CSMT模型通過多任務(wù)嵌人模塊對(duì)PPG信號(hào)進(jìn)行深度特征提取，旨在構(gòu)建魯棒且高度結(jié)構(gòu)化的信號(hào)表征。嵌人層以PPG信號(hào)序列作為輸入，輸出對(duì)應(yīng)的高維嵌人。具體而言，嵌入層由卷積塊堆疊而成，在處理PPG信號(hào)時(shí)，卷積層能夠有效捕捉其豐富的空間域和頻率域信息，同時(shí)放大信號(hào)間的差異性，增強(qiáng)信號(hào)的特征表達(dá)能力。每個(gè)卷積塊中包含了卷積層、最大池化層和批歸一化層；其中最大池化層進(jìn)一步壓縮了特征維度，減少冗余信息，從而優(yōu)化計(jì)算效率。該模塊為后續(xù)的Transformer編碼器部分高效地傳遞了經(jīng)過壓縮和規(guī)范化的高維表征，保證了后續(xù)全局表征的學(xué)習(xí)效果。

多任務(wù)嵌入模塊會(huì)對(duì)PPG信號(hào)進(jìn)行初步特征提取，以獲取其高維嵌人。嵌入層由多個(gè)卷積塊堆疊而成，每個(gè)卷積塊通過卷積神經(jīng)網(wǎng)絡(luò)從原始PPG信號(hào)中提取局部時(shí)空特征，捕捉信號(hào)的細(xì)節(jié)信息。隨后，利用最大池化對(duì)特征圖進(jìn)行下采樣，以降低特征圖的維度，并保留重要的特征信息，從而減少冗余并降低后續(xù)Transformer編碼器部分的計(jì)算量。為了提高模型的訓(xùn)練穩(wěn)定性和收斂速度，對(duì)下采樣后的特征圖進(jìn)行批歸一化，從而獲得標(biāo)準(zhǔn)化的PPG信號(hào)初始特征表示。

如式（4）所示，PPG信號(hào)經(jīng)過多任務(wù)嵌人模塊后變得到了對(duì)應(yīng)的高維嵌入。其 ppgt′0 為位置 t′ 處的 d 維嵌入向量， d 為嵌入的維度，上標(biāo)0代表其為Transformer編碼器的輸入。由于卷積層中的下采樣操作， T′ 小于 T

在情緒壓力檢測(cè)任務(wù)和多任務(wù)預(yù)測(cè)中，為了更好地捕捉各自的全局信息，CSMT在嵌人層的輸出中引人了多個(gè)CLStoken。這些CLStoken是隨機(jī)初始化的分類特征，并在訓(xùn)練過程中與PPG特征一起進(jìn)行優(yōu)化。CLStoken如式（5）所示。

其中：每個(gè)token均為 d 維向量，代表對(duì)應(yīng)任務(wù)的嵌人。具體而言， 為情緒壓力檢測(cè)任務(wù)對(duì)應(yīng)的嵌入向量， cls_taski⁰ 為第 χ_i 個(gè)輔助任務(wù)的嵌入向量，共有 K 個(gè)輔助任務(wù)，因此有 K 個(gè)對(duì)應(yīng)的嵌入向量。嵌入層最終的輸出如式（6）所示。

通過上述設(shè)計(jì)，嵌人層不僅實(shí)現(xiàn)了對(duì)原始PPG信號(hào)的有效特征提取和序列長(zhǎng)度減少，還通過引人CLStoken，為后續(xù)的Transformer編碼器提供了高質(zhì)量的嵌入。

2.3多任務(wù)融合的Transformer編碼器

在多任務(wù)嵌入模塊后，PPG信號(hào)的高維嵌入與CLStoken組成的 Emb⁰ 被輸人到Transformer編碼器中。PPG信號(hào)和CLS各自的高維嵌入具有不同語(yǔ)義信息，一般的雙向注意力機(jī)制會(huì)忽略兩類嵌入語(yǔ)義上的不對(duì)稱性。因此本文設(shè)計(jì)了一種特殊的注意力掩碼，顯式地讓注意力計(jì)算與兩類的語(yǔ)義特性保持一致。

CSMT中的注意力掩碼實(shí)現(xiàn)了PPG信號(hào)表征和CLS表征的部分解耦。其中在Transformer編碼器中的計(jì)算注意力時(shí)的注意力掩碼機(jī)制如圖5所示，其中queryPPG代表著PPG嵌入表征中的第i個(gè)向量所對(duì)應(yīng)的查詢向量。quer querycs;代表壓力表征和第 j 個(gè)輔助任務(wù)表征對(duì)應(yīng)的查詢向量。key為對(duì)應(yīng)的鍵向量。PPG信號(hào)部分的token之間是雙向可見的，即每個(gè)PPGtoken可以關(guān)注序列中的其他 PPGtoken ，但無(wú)法看到CLStoken。這種設(shè)計(jì)有助于模型更好地捕捉PPG信號(hào)的局部特征，而不受全局信息的干擾。相反，CLStoken對(duì)全局的所有token（包括PPG和CLS）都是雙向可見的。這種設(shè)計(jì)使得CLStoken能夠整合整個(gè)序列的全局信息，從而在壓力檢測(cè)任務(wù)和多任務(wù)預(yù)測(cè)中發(fā)揮重要作用。通過這種解耦的注意力掩碼機(jī)制，模型能夠更有效地處理全局信息，提升模型的性能。

為了更好地捕捉PPG信號(hào)中的復(fù)雜特征，本文采用了標(biāo)準(zhǔn)的Transformer編碼器結(jié)構(gòu)，并堆疊了 N 層編碼器單元。每一層都包含多頭自注意力機(jī)制（multi-headself-attention）和前饋神經(jīng)網(wǎng)絡(luò)（feed-forwardnetwork）。通過這種層層堆疊的設(shè)計(jì)，模型能夠在不同層次上學(xué)習(xí)輸入序列的細(xì)粒度特征與全局依賴關(guān)系。其中，多頭自注意力機(jī)制通過并行計(jì)算不同注意力頭，能夠從多個(gè)角度捕捉信號(hào)中的關(guān)鍵信息，進(jìn)一步由前饋神經(jīng)網(wǎng)絡(luò)處理這些信息，提升模型的表達(dá)能力，確保有效捕獲和表達(dá)PPG信號(hào)中的壓力相關(guān)特征。

Emb^N=TransformerEncoder（Emb⁰）=PPG_emb^N?cls_stress^N?{cls_taski^N}_i=1^k（7）

為了更好地處理長(zhǎng)序列中的位置信息，傳統(tǒng)的絕對(duì)位置編碼方法在捕捉序列的相對(duì)位置關(guān)系時(shí)存在一定的局限性，尤其在處理較長(zhǎng)序列時(shí)性能下降。為了解決這一問題，本文引人了旋轉(zhuǎn)位置編碼（rotarypositionembedding，ROPE）[27]。ROPE通過旋轉(zhuǎn)矩陣對(duì)位置信息進(jìn)行編碼，能夠有效捕捉序列中的相對(duì)位置信息，從而提升模型在處理長(zhǎng)序列時(shí)的表現(xiàn)，避免了傳統(tǒng)位置編碼在長(zhǎng)序列處理中的瓶頸。

通過上述設(shè)計(jì)，Transformer編碼器不僅能夠有效地處理PPG信號(hào)的高維嵌人，還能通過CLS嵌入整合全局信息，從而在情緒壓力檢測(cè)任務(wù)和多任務(wù)預(yù)測(cè)中取得優(yōu)異的表現(xiàn)。

2.4多任務(wù)解碼模塊

CSMT模型通過多任務(wù)解碼模塊從編碼器中獲得的表征序列中解碼多任務(wù)結(jié)果，包括利用PPG序列表征重建ECG序列，以及用情緒壓力檢測(cè)表征預(yù)測(cè)壓力標(biāo)簽，并獲得多心血管特征預(yù)測(cè)的CLS表征序列 Emb^?N 售

a）ECG重建。在這一部分中，PPG信號(hào)序列表征經(jīng)過ECG信號(hào)重建模塊后得到了重建的ECG信號(hào)序列。ECG是電生理信號(hào)，PPG是血流動(dòng)力學(xué)信號(hào)，兩者從不同維度描述了心臟的活動(dòng)情況。本文用與PPG信號(hào)嵌入模塊相對(duì)應(yīng)的結(jié)構(gòu)重構(gòu)出ECG信號(hào)序列，每個(gè)卷積塊由上采樣、一維卷積和批歸一化組成，并堆疊 M 次。相比于傳統(tǒng)基于HRV的特征提取方法，深度模型能夠識(shí)別PPG信號(hào)中的隱式高維特征。

b）多任務(wù)解碼。在這一部分中，多任務(wù)解碼模塊使用多個(gè)MLP獲得了用PPG信號(hào)預(yù)測(cè)的情緒壓力標(biāo)簽以及多個(gè)心血管特征的預(yù)測(cè)結(jié)果。與情緒壓力相關(guān)的生理過程可通過多種生物信號(hào)進(jìn)行測(cè)量，例如ECG、血容量變化脈沖（bloodvolumepulse，BVP）肌電圖（electromyography，EMG）、呼吸信號(hào)（respi-ration，RSP）以及眼部活動(dòng)等。情緒壓力往往伴隨著SNS的激活，導(dǎo)致心率加快和心臟收縮力增強(qiáng)，心血管特征的檢測(cè)成為識(shí)別情緒壓力變化的重要手段，常見的心血管特征包括血容量特征（如收縮壓、舒張壓、平均動(dòng)脈壓等）心率、HRV及其衍生的相關(guān)指標(biāo)等[10]。因此，通過引入多心血管特征預(yù)測(cè)任務(wù)，模型不僅能夠有效提取低維顯式特征，還能與跨模態(tài)任務(wù)形成互補(bǔ)，進(jìn)一步提升其泛化性和魯棒性。此外，多任務(wù)學(xué)習(xí)能夠促進(jìn)模型學(xué)習(xí)到更具通用性的任務(wù)間特征，從而忽略PPG信號(hào)中常見的噪聲干擾，從確保了特征的穩(wěn)定性。

p_stress=MLP_stress（cls_stress^N）

其中： p_stress 即是情緒壓力檢測(cè)的分類得分；Features是預(yù)測(cè)的特征序列，其中的每一個(gè)特征是一個(gè)浮點(diǎn)數(shù)。結(jié)合上述的解碼結(jié)果，本文的損失函數(shù)如式（11）定義。

其中： L_stress 為交叉熵?fù)p失; L_ECG 和 L_features 為均方誤差損失； α₁ 和α₂ 是超參數(shù)，用于控制ECG信號(hào)重建任務(wù)和特征回歸任務(wù)在總損失中的權(quán)重。

3實(shí)驗(yàn)

為了評(píng)估本文方法的性能，并驗(yàn)證本文對(duì)情緒壓力檢測(cè)OOD的緩解效果，本文在WESAD數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

3.1 數(shù)據(jù)集

WESAD[28]是一個(gè)公開的多模態(tài)壓力和情感檢測(cè)數(shù)據(jù)集，包含來(lái)自15名受試者的有效數(shù)據(jù)。數(shù)據(jù)集由胸部佩戴的RespiBANProfessional和手腕佩戴的EmpaticaE4設(shè)備采集，采集的生理信號(hào)包括PPG信號(hào)、ECG信號(hào)、皮膚電活動(dòng)（EDA）、肌電圖（EMG）呼吸（RESP）體溫（TEMP）以及三軸加速度（ACC）。本文使用了其中的PPG和ECG信號(hào)數(shù)據(jù)，原始采樣頻率分別為 64Hz 和 700Hz 。數(shù)據(jù)采集過程涵蓋了準(zhǔn)備、基線、娛樂、壓力、冥想和恢復(fù)六個(gè)階段。采集的時(shí)序信號(hào)通過滑動(dòng)窗口被劃分為多個(gè)數(shù)據(jù)段，用于中性/壓力/愉悅的三分類檢測(cè)任務(wù)或壓力/非壓力的二分類檢測(cè)任務(wù)，在二分類任務(wù)中，將中性和愉悅狀態(tài)視為非壓力狀態(tài)。在滑動(dòng)窗口大小和步長(zhǎng)的選擇上，本文經(jīng)驗(yàn)性地沿用了文獻(xiàn)23的設(shè)置，即窗口大小為60s ，步長(zhǎng)為 0.25s 與一些采用1s窗口的研究相比，60s的窗口通常能夠捕捉到心跳周期的節(jié)律性變化。最終，來(lái)自15名受試者的數(shù)據(jù)共計(jì)121808條樣本，其中中性、壓力和愉悅分別為66844條、36264條和18700條。

對(duì)于本文訓(xùn)練和推理過程中涉及到的PPG和ECG信號(hào)數(shù)據(jù)，本文參考了Makowski等人[29]對(duì)PPG信號(hào)和 Pan 等人[30]對(duì)ECG信號(hào)的預(yù)處理步驟。對(duì)PPG信號(hào)應(yīng)用一個(gè)截止頻率在0.5～8Hz 的帶通Butterworth濾波器，減少低頻成分中基線漂移和高頻中運(yùn)動(dòng)偽影等噪聲對(duì)PPG信號(hào)影響。對(duì)ECG信號(hào)應(yīng)用一個(gè)截止頻率為 0.5Hz 的高通Butterworth濾波器，用于去除基線漂移和低頻噪聲。此外，為了補(bǔ)償個(gè)體差異，本文對(duì)每個(gè)受試者的PPG和ECG信號(hào)進(jìn)行了 -score標(biāo)準(zhǔn)化處理。進(jìn)一步地，本文采用最小-最大縮放法將ECG和PPG信號(hào)重新縮放到[-1，1]。最后，本文根據(jù)不同任務(wù)和數(shù)據(jù)集的特點(diǎn)，將PPG和ECG信號(hào)數(shù)據(jù)進(jìn)行采樣到特定頻率 264Hz ，并選擇合適的窗口大小和步長(zhǎng)，將PPG和ECG信號(hào)分割成指定大小的片段，用于特定的任務(wù)的訓(xùn)練。

HRV反映了自主神經(jīng)系統(tǒng)中交感神經(jīng)和副交感神經(jīng)對(duì)竇房結(jié)的調(diào)節(jié)作用，能夠描述交感神經(jīng)與副交感神經(jīng)活動(dòng)之間的動(dòng)態(tài)平衡。由于情緒壓力對(duì)HRV具有顯著影響，通過多種HRV測(cè)量方法能夠有效檢測(cè)情緒壓力狀態(tài)及其他病理狀態(tài)[31]。PPG信號(hào)通過反映外周血容量變化，間接揭示心血管系統(tǒng)的動(dòng)態(tài)特性。因此，對(duì)PPG信號(hào)進(jìn)行去噪、濾波等預(yù)處理后，可采用峰值檢測(cè)、小波變換等方法提取心臟搏動(dòng)周期以及心血管特征，確保模型能夠?qū)W習(xí)到與情緒壓力檢測(cè)直接相關(guān)的顯式特征。本文通過基于PPG信號(hào)計(jì)算心血管特征作為真值，并設(shè)計(jì)輔助任務(wù)來(lái)預(yù)測(cè)這些心血管特征。已有大量研究證實(shí)，HRV特征在情緒壓力檢測(cè)中具有顯著效果。因此，本文實(shí)驗(yàn)中特別選取了與HRV相關(guān)的一系列特征，并采用峰值檢測(cè)方法[32]進(jìn)行計(jì)算。如表1所示，本文選取了9個(gè)心率及HRV相關(guān)的特征作為多任務(wù)學(xué)習(xí)的目標(biāo)，這些特征反映了心臟節(jié)律的變化。本文基于NeuroKit2[29]工具對(duì)每個(gè)窗口上的PPG信號(hào)的提取了上述特征。

3.2模型參數(shù)設(shè)置和評(píng)價(jià)指標(biāo)

本文模型由嵌入層、Transformer編碼器和多任務(wù)解碼器組成。其中Transformer編碼器隱藏層維度為 d 首先，嵌入層由3個(gè)卷積塊組成，每個(gè)卷積塊的卷積核大小為 3×3 ，卷積層通道數(shù)分別為 1～d/4，d/4～d/2.d/2～d 每個(gè)卷積塊后接一個(gè)核大小為2的平均池化層，用于降低特征圖大小即序列長(zhǎng)度，激活函數(shù)為GeLU。嵌人層的主要功能是從PPG信號(hào)中提取局部時(shí)空特征。隨后，模型通過 N 層標(biāo)準(zhǔn)的Transformer編碼器進(jìn)一步處理特征，編碼器的隱藏層維度為 d ，前饋網(wǎng)絡(luò)的維度同樣為 d 最后，在多任務(wù)解碼器中，ECG重建部分由3個(gè)卷積塊組成，卷積核大小為 3×3 ，通道數(shù)從 d 逐步減少至 d/2 d/4 ，最終為1。每個(gè)卷積塊后接一個(gè)上采樣操作，恢復(fù)特征圖大小即序列長(zhǎng)度以重建ECG信號(hào)序列。此外，情緒壓力檢測(cè)和PPG信號(hào)特征預(yù)測(cè)MLP隱藏層維度是 2×d 損失函數(shù)中的 α₁ 和 α₂ 分別為0.15和0.3。對(duì)于三分類情緒壓力檢測(cè)任務(wù) N 和 d 分別為6和256；對(duì)于二分類情緒壓力檢測(cè)任務(wù) N 和d 分別為6和512。在模型訓(xùn)練時(shí)，優(yōu)化器選擇了Adam，動(dòng)量因子 β₁ 和 β₂ 分別是0.9和0.999，初始學(xué)習(xí)率設(shè)置為5E-5，最大訓(xùn)練輪數(shù)是10，三分類和二分類情緒壓力檢測(cè)任務(wù)batch-size分別為 ^{128，64} 。此外，本文使用Pyhon語(yǔ)言基于PyTorch框架實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境的主要配置為 Gold 6133和GPUNVIDIARTX4090。

本研究以分類準(zhǔn)確率（accuracy，Acc）和 F₁ 宏平均作為方法的評(píng)價(jià)指標(biāo)。 _Acc 和 F₁ 的計(jì)算公式如式（12） ～ （15）所示。

其中： TP 是預(yù)測(cè)為正類，實(shí)際也為正類的樣本數(shù)； TN 是預(yù)測(cè)為負(fù)類，實(shí)際也為負(fù)類的樣本數(shù)； FP 是預(yù)測(cè)為正類，但實(shí)際上是負(fù)類的樣本數(shù)； FN 預(yù)測(cè)為負(fù)類，但實(shí)際上是正類的樣本數(shù)。

3.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證提出的CSMT模型的有效性，本文使用受試者級(jí)別的LOSO（leave-one-subject-out）進(jìn)行評(píng)估，即選取一個(gè)受試個(gè)體的數(shù)據(jù)進(jìn)行測(cè)試，剩下的受試個(gè)體的數(shù)據(jù)用于訓(xùn)練。因此，結(jié)果反映了模型在面對(duì)從未見過的受試者數(shù)據(jù)時(shí)的泛化能力即在面對(duì)OOD問題時(shí)的性能。本文選取了多個(gè)方法進(jìn)行對(duì)比實(shí)驗(yàn)。

a）HRVamp;時(shí)序特征[4]（2023）。利用HRV和時(shí)序特征共61個(gè)，基于邏輯回歸（LR）和隨機(jī)森林（RF）兩種機(jī)器學(xué)習(xí)方法進(jìn)行情緒分類。本文研究采用了類似的方法，從PPG信號(hào)中提取相應(yīng)的HRV和時(shí)序特征，并分別利用LR和RF模型進(jìn)行分類，并將這兩種方法命名為HRVamp;時(shí)序特征（LR）和HRVamp;時(shí)序特征（RF）。

b）PPG-CNN[33]（2021）。利用一維卷積從PPG信號(hào)中提取特征進(jìn)行情緒壓力檢測(cè)。

c）CNN-CBAM[34]（2023）。利用了一種結(jié)合了卷積塊注意模塊（CBAM）的深度卷積神經(jīng)網(wǎng)絡(luò)（Deep-CNN）進(jìn)行情緒壓力檢測(cè)，輸入信號(hào)是ECG。

d）HRV特征[28]（2018）。從PPG信號(hào)上提取了16個(gè)HRV相關(guān)特征，使用線性判別分析（lineardiscriminantanaly-sis，LDA）進(jìn)行情緒壓力檢測(cè)。

e）CSMT-EDA。將本文方法中的ECG重建任務(wù)替換為EDA（皮膚電活動(dòng)）重建。

f）CSMT-EMG。將本文方法中的ECG重建任務(wù)替換為EMG（肌電圖）重建。

在LOSO設(shè)定下，對(duì)四種方法進(jìn)行了二分類情緒壓力檢測(cè)（壓力與非壓力），在不同受測(cè)試個(gè)體中的實(shí)驗(yàn)結(jié)果如表2所示，其中1號(hào)和12號(hào)受試者的數(shù)據(jù)因傳感器故障而無(wú)法獲取[25]。本文CSMT模型在15名測(cè)試者中，有7名的表現(xiàn)優(yōu)于其他四種方法，具體體現(xiàn)在accuracy 和 F₁ -score 指標(biāo)上。此外，CSMT模型的 accuracy 和 F₁ -score 的平均值也高于其他三種方法。這一結(jié)果驗(yàn)證了CSMT模型在未見個(gè)體的訓(xùn)練過程中仍具備良好的泛化能力。

表3展示了所有方法在WESAD上的兩類任務(wù)實(shí)驗(yàn)結(jié)果，指標(biāo)為所有受測(cè)試個(gè)體結(jié)果的平均值。對(duì)比實(shí)驗(yàn)中的方法可以根據(jù)輸入數(shù)據(jù)的不同分為兩類：a）以PPG信號(hào)特征作為輸入的機(jī)器學(xué)習(xí)方法;b）以原始信號(hào)（PPG信號(hào)或ECG信號(hào)）作為輸人的深度學(xué)習(xí)方法?；谔卣鞯臋C(jī)器學(xué)習(xí)方法在accura-cy和 F₁ -score指標(biāo)上優(yōu)于以PPG-CNN為代表的深度學(xué)習(xí)方法。這是因?yàn)槌Ｒ姷纳疃葘W(xué)習(xí)方法容易過度擬合原始輸入信號(hào)與壓力標(biāo)簽之間的關(guān)系，并受到原始信號(hào)中個(gè)體特征噪音的影響。而機(jī)器學(xué)習(xí)方法使用的特征是根據(jù)經(jīng)驗(yàn)人工選擇的特征，能夠有效減少過擬合的風(fēng)險(xiǎn)。

accuracy高于對(duì)比方法1.07百分點(diǎn)， F₁ -score高于對(duì)比方法2.85百分點(diǎn)。這表明CSMT能夠有效緩解情緒壓力檢測(cè)領(lǐng)域的OOD問題，下一小節(jié)的消融實(shí)驗(yàn)將進(jìn)一步說明這一點(diǎn)。相較于基于機(jī)器學(xué)習(xí)的方法，CSMT避免了因特征提取而導(dǎo)致的原始信號(hào)信息丟失，提高了模型的性能上限。

為了進(jìn)一步驗(yàn)證所選輔助任務(wù)的合理性，本文將ECG重建任務(wù)分別替換為EDA（皮膚電活動(dòng)）或EMG（肌電圖）信號(hào)的重建任務(wù)。實(shí)驗(yàn)結(jié)果表明，使用EDA或EMG信號(hào)作為輔助任務(wù)（即CSMT-EDA和CSMT-EMG）時(shí)，模型的性能顯著低于原本的CSMT。由于PPG信號(hào)與EDA和EMG信號(hào)之間缺乏顯著的生理關(guān)聯(lián)性，在跨模態(tài)重建任務(wù)中，EDA和EMG信號(hào)無(wú)法有效發(fā)揮作用，這也導(dǎo)致其在情緒壓力檢測(cè)中的表現(xiàn)不如ECG重建任務(wù)。

3.4消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證CSMT有效性，探究提出的跨模態(tài)多任務(wù)學(xué)習(xí)中的兩類任務(wù)對(duì)OOD問題的緩解效果，在本小節(jié)分別對(duì)ECG信號(hào)重建任務(wù)和多特征預(yù)測(cè)任務(wù)進(jìn)行消融實(shí)驗(yàn)。a）w/oECG：去除方法中的ECG信號(hào)重建任務(wù);b）w/oFea：去除方法中的多特征預(yù)測(cè)任務(wù)；c）去除方法中的ECG信號(hào)重建和多特征預(yù)測(cè)任務(wù)只保留主任務(wù)即情緒壓力檢測(cè)。消融實(shí)驗(yàn)結(jié)果如表4所示。

在同時(shí)去除ECG信號(hào)重建和多特征預(yù)測(cè)輔助任務(wù)后，模型的性能優(yōu)于表3中的PPG-CNN方法，說明本文設(shè)計(jì)的基本模型結(jié)構(gòu)在情緒壓力檢測(cè)任務(wù)上具有更好的性能。僅去除多特征預(yù)測(cè)輔助任務(wù)或僅去除ECG信號(hào)重建任務(wù)，模型的性能優(yōu)于同時(shí)去除兩類輔助任務(wù)，表明這兩類任務(wù)單獨(dú)應(yīng)用時(shí)都對(duì)模型有增益。同時(shí)應(yīng)用兩類輔助任務(wù)，模型能同時(shí)學(xué)習(xí)高維隱式特征和顯式特征，模型的性能有著明顯的提升，這說明在多任務(wù)學(xué)習(xí)的框架下，兩類任務(wù)共同作用能夠幫助模型學(xué)習(xí)到同時(shí)對(duì)隱式特征和顯式特征都有效地更加魯棒且通用的特征，有效緩解了OOD問題。

此外，消融實(shí)驗(yàn)表明兩類輔助任務(wù)單獨(dú)或共同作用在三分類任務(wù)上增益要高于二分類任務(wù)。在情緒壓力分類任務(wù)中，三分類任務(wù)相比于二分類任務(wù)更為復(fù)雜。三分類任務(wù)將二分類任務(wù)中的非壓力狀態(tài)進(jìn)一步細(xì)分為愉悅和中性兩種情緒狀態(tài)。3.3節(jié)的對(duì)比實(shí)驗(yàn)結(jié)果和相關(guān)研究[28]也表明情緒壓力二分類任務(wù)的表現(xiàn)通常顯著優(yōu)于三分類任務(wù)。這主要是因?yàn)榛赑PG信號(hào)的情緒壓力檢測(cè)方法在愉悅和中性狀態(tài)的區(qū)分上面臨較大困難，三分類任務(wù)相較于二分類任務(wù)具有更高的復(fù)雜性。深度學(xué)習(xí)模型具有強(qiáng)大的擬合能力，尤其是在復(fù)雜任務(wù)中，模型可能會(huì)過度學(xué)習(xí)細(xì)節(jié)特征，甚至是噪聲特征，從而增加過擬合的風(fēng)險(xiǎn)。消融實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在復(fù)雜或容易過擬合任務(wù)中的優(yōu)勢(shì)，尤其是在三分類任務(wù)中，輔助任務(wù)的作用更加突出，進(jìn)一步提升了模型的性能。

實(shí)驗(yàn)結(jié)果表明，本文CSMT模型在WESAD數(shù)據(jù)集的留一驗(yàn)證測(cè)試中取得了優(yōu)異性能，在三分類和二分類壓力檢測(cè)任務(wù)上的準(zhǔn)確率分別達(dá)到 72.28% 和 90.04% ， F₁ 值分別達(dá)到59.93% 和 88.13% ，顯著優(yōu)于現(xiàn)有方法。特別值得注意的是，模型在15名測(cè)試者中有7名的表現(xiàn)優(yōu)于所有對(duì)比方法，這充分證明了CSMT在應(yīng)對(duì)未見個(gè)體時(shí)具有出色的泛化能力。通過消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證，引入ECG信號(hào)重建和多心血管特征預(yù)測(cè)這兩個(gè)輔助任務(wù)能有效提升模型性能，且兩者具有顯著的協(xié)同效應(yīng)，這一發(fā)現(xiàn)為解決PPG信號(hào)壓力檢測(cè)中的分布外問題提供了新的思路。實(shí)驗(yàn)結(jié)果不僅驗(yàn)證了多任務(wù)跨模態(tài)學(xué)習(xí)框架的有效性，也為實(shí)現(xiàn)更可靠的日常壓力監(jiān)測(cè)奠定了基礎(chǔ)。

4結(jié)束語(yǔ)

本文針對(duì)基于PPG信號(hào)的情緒壓力檢測(cè)中面臨的分布外（OOD）問題，提出了一種基于多任務(wù)學(xué)習(xí)的跨模態(tài)情緒壓力檢測(cè)方法（CSMT）。該方法通過創(chuàng)新性地引入ECG信號(hào)重建和多心血管特征預(yù)測(cè)作為輔助任務(wù)，實(shí)現(xiàn)了對(duì)PPG信號(hào)中壓力特征的深度挖掘，有效緩解了由個(gè)體差異導(dǎo)致的泛化性問題。通過ECG信號(hào)重建任務(wù)捕捉PPG與ECG信號(hào)之間的內(nèi)在關(guān)聯(lián)，同時(shí)引入多心血管特征預(yù)測(cè)任務(wù)增強(qiáng)表征學(xué)習(xí)的泛化性，實(shí)現(xiàn)了在僅使用PPG信號(hào)輸入的情況下對(duì)壓力狀態(tài)的準(zhǔn)確識(shí)別。同時(shí)本文方法基于Transformer編碼器構(gòu)建了高效的特征提取和融合機(jī)制，通過設(shè)計(jì)特殊的注意力掩碼實(shí)現(xiàn)了PPG信號(hào)表征與CLS表征的部分解耦，提升了模型對(duì)不同任務(wù)特征的學(xué)習(xí)能力。

在WESAD上的實(shí)驗(yàn)驗(yàn)證表明，本文CSMT在三分類（中性/壓力/愉悅）和二分類（壓力/非壓力）任務(wù)中均取得了優(yōu)于現(xiàn)有方法的性能。特別是在留一驗(yàn)證測(cè)試中，模型展現(xiàn)出優(yōu)異的分布外檢測(cè)的泛化能力，證實(shí)了該方法在緩解OOD問題方面的有效性。后續(xù)的消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了ECG信號(hào)重建和多特征預(yù)測(cè)這兩個(gè)輔助任務(wù)的必要性，揭示了多任務(wù)學(xué)習(xí)框架在提升模型泛化性能方面的作用機(jī)制。

未來(lái)工作將在以下幾個(gè)方面展開：a）探索更多類型的生理信號(hào)和特征的協(xié)同利用，進(jìn)一步提升模型的魯棒性;b）擴(kuò)展該方法在其他基于PPG信號(hào)的健康監(jiān)測(cè)任務(wù)中的應(yīng)用，如睡眠質(zhì)量評(píng)估、心律失常檢測(cè)等；c）結(jié)合遷移學(xué)習(xí)等技術(shù)，進(jìn)一步增強(qiáng)模型在不同數(shù)據(jù)集和應(yīng)用場(chǎng)景下的適應(yīng)能力。

本文為解決情緒壓力檢測(cè)中的分布外問題提供了新的思路和方法，對(duì)推動(dòng)可穿戴設(shè)備中壓力監(jiān)測(cè)技術(shù)的發(fā)展具有重要意義。隨著研究的深人和技術(shù)的完善，基于PPG信號(hào)的壓力檢測(cè)系統(tǒng)有望在日常健康監(jiān)測(cè)中發(fā)揮更大作用。

參考文獻(xiàn)：

[1]apa.org.Stress effects on the body[EB/OL]．（2018-11-01） [2024-1o-21].https：//www.apa.org/topics/stress/body.

[2]apa.org.How stress affects your health[EB/OL].[2024-10-21]. https：//www.apa.org/topics/stress/health.

[3]Li R，Liu Zhandong. Stress detection using deep neural networks [J].BMC Medical Informaticsand Decision Making，2020，20 （11）：285.

[4]BenchekrounM，VelmovitskyPE，IstrateD，etal.Crossdataset analysisfor generalizabilityof HRV-based stressdetection models [J].Sensors，2023，23（4）：1807.

[5]ArquillaK，WebbAK，AndersonAP.Utilityof the full ECGwaveform for stress classification[J].Sensors，2022，22（18）：7034.

[6].DalmeidaKM，MasalaGL.HRV featuresas viablephysiological markers for stress detection using wearable devices[J]. Sensors， 2021，21（8）：2873.

[7」Rundo F，Conoci S，Ortis A，et al．An advanced bio-inspired PhotoPlethysmoGraphy（PPG）and ECG patern recognition system for medical assessment[J].Sensors，2018，18（2）：405.

[8]DCStudio．Monitor-hospital-ward-showing-bmp-from-patient[EB/ OL].https：//www.freepik.com/free-photo/monitor-hospital-wardshowing-bmp-from-patient_16974844.htm#fromView Σ=Σ searchamp;page （204號(hào) 3amp;position 45amp;uuid Σ=Σ a5ccdcfc-396f-4638-9642-ee0f6dc65523.

[9]DCStudio. Smartwatch-screen[EB/OL]. https：//www.freepik.com/ free-photo/smartwatch-screen_4103214.htm#fromView Σ=Σ searchamp;page τ= 2amp;position 6amp;uuid 4c43a0c4-001b-4938-aa65-fd9133cb2776.

[10]Giannakakis G， Grigoriadis D， Giannakaki K，et al. Review on psychological stress detection using biosignals [J]． IEEE Trans on Affective Computing，2022，13（1）： 440-460.

[11]Fortino G，Giamp? V.PPG-based methods for non invasive and continuous blood pressure measurement：an overview and development issuesin body sensor networks[C]//Proc of IEEE International Workshop on Medical Measurements and Applications.Piscataway， NJ： IEEE Press，2010：10-13.

[12] Temko A. Accurate heart rate monitoring during physical exercises using PPG[J]. IEEE Trans on Bio-Medical Engineering，2017， 64（9）：2016-2024.

[13]BerkayaSK，Uysal AK，GunalES，et al.Asurvey onECGanalysis [J]．Biomedical Signal Processing and Control，2018，43： 216-235.

[14]Can Y S，Chalabianloo N，Ekiz D，et al.Continuous stress detection using wearable sensors in real life：algorithmic programming contest case study[J]. Sensors，2019，19（8）：1849.

[15]Heo S，Kwon S，LeeJ.Stress detection with single PPG sensor by orchestrating multiple denoising and peak-detecting methods [J]. IEEE Access，2021，9：47777-47785.

[16]Choi M，Koo G，Seo M，et al.Wearable device-based system to monitoradriver’sstress，fatigue，and drowsiness[J].IEEETrans on Instrumentation and Measurement，2018，67（3）：634-645.

[17]YeeChungJW，F(xiàn)uk SoHC，Tak Choi MM，et al.Artificial inteligence in education：using heart rate variability（HRV）as a biomarker to assess emotions objectively[J].Computersand Education： Artificial Intelligence，2021，2：100011.

[18] Zhu Qiang，Tian Xin，Wong C W，et al.ECG reconstruction via PPG：a pilot study[C]// Proc of IEEE EMBS International Conference on Biomedical amp; Health Informatics.Piscataway，NJ：IEEE Press，2019：1-4.

[19] Zhu Qiang，Tian Xin，Wong C W，et al. Learning your heart actions from pulse：ECG waveform reconstruction from PPG [J]. IEEE Internetof Things Journal，2021，8（23）：16734-16748.

[20]Esgalhado F，Batista A，VassilenkoV，etal.Peak detection and HRV feature evaluation on ECG and PPG signals[J]. Symmetry， 2022，14（6） ： 1139.

[21]Lin Wanhua，Wu Dan，Li Chunyue，etal.Comparison of heart rate variability trom PPG with that trom ECG[C」//Proc ot International Conference on Health Informatics.Cham：Springer，2014：213-215.

[22]Vandenberk T，StansJ，MortelmansC，etal.Clinical validation of heart rate apps：mixed-methods evaluation study [J].JMIR MHealthandUHealth，2017，5（8）：e129.

[23]Kinunen H，Rantanen A，Kentta T，et al.Feasible assessment of recovery and cardiovascular health：accuracy of nocturnal HR and HRV assessed via ring PPG in comparison to medical grade ECG [J].Physiological Measurement，2020，41（4）：04NT01.

[24]aclsnow.com.What does normal sinus rhythm look like on ECG？ [EB/OL]. （2025-01-29）. https：//aclsnow.com/blog/what-doesnormal-sinus-rhythm-look-like-on-ecg/.

[25]SarkarP，Etemad A.CardioGAN：attentive generative adversarial network with dual discriminators for synthesis of ECG from PPG [C]//Proc of AAAI Conference on Artificial Intellgence.Palo Alto， CA：AAAI Press，2021：488-496.

[26]VoK，NaeiniEK，NaderiA，etal.P2E-WGAN：ECGwaveform synthesis from PPG with conditional Wasserstein generative adversarial networks[C]// Proc of the 36th Annual ACM Symposium on AppliedComputing.New York：ACMPress，2021：1030-1036.

[27]Su Jianlin，Ahmed M，Lu Yu，etal.RoFormer：enhanced Transformerwith rotary position embedding[J].Neurocomputing， 2024，568：127063.

[28]Schmidt P，Reiss A，Duerichen R，et al. Introducing WESAD，a multimodal dataset for wearable stress and affect detection [C ]// Proc of the2Oth ACM International Conference on Multimodal Interaction.New York：ACM Press，2018：400-408.

[29]Makowski D，Pham T，Lau Z J，et al.NeuroKit2：a Python toolbox for neurophysiological signal processing [J].Behavior Research Methods，2021，53（4）： 1689-1696.

[30]PanJ，TompkinsWJ.A real-timeQRSdetection algorithm[J]. IEEETransonBio-MedicalEngineering，1985，32（3）：230- 236.

[31]Boonnithi S，Phongsuphap S.Comparison of heart rate variability measures for mental stress detection [C]//Proc of Computing in Cardiology. Piscataway，NJ： IEEE Press，2011：85-88.

[32]Charlton PH，MantJ，KyriacouPA.MSPTDfast：an efficient photoplethysmography beat detection algorithm[EB/OL].（2024-07-18） [2024-12-24]. htps：//www.medrxiv.org/content/10.1101/2024. 07.18.24310627v1.

[33]Lisowska A，Wilk S，Peleg M. Catching patient’s attention at the right time to help them undergo behavioural change：stress classificationexperiment from bloodvolume pulse[C]//Proc of International Conferenceon Artificial Intellgencein Medicine.Cham：Springer， 2021： 72-82.

[34]Fan Tianqi，Qiu Sen，Wang Zhelong，et al.A new deep convolutional neural network incorporating attentional mechanisms for ECG emotion recognition [J].Computers in Biology and Medicine， 2023，159：106938.