基于混合雙線性模型的抑郁癥輔助診斷

賈建 孫新娜 張瑞

【主持人語】人工智能情感計算是“人工智能（AI）+心理學(xué)”的一個研究方向，正在成為新興的研究熱點，也是人工智能研究的未來方向之一?！叭斯ぶ悄?心理學(xué)”給心理學(xué)的研究注入新的活力，也讓人工智能在以后具有一定的情感能力成為可能。2023年12月6日，英國創(chuàng)新署（Innovate UK）發(fā)布《50項新興技術(shù)》報告，提出的第一個人工智能可實現(xiàn)技術(shù)（排在腦機接口、量子計算等前面）就是“AI情感與表情識別”，它既可識別人類情感，也能使機器表達情感，其將被應(yīng)用于醫(yī)療健康領(lǐng)域。2024年4月，上海交通大學(xué)心理學(xué)院成立，提出“以‘心理學(xué)+AI為抓手，特別關(guān)注心理學(xué)與人工智能學(xué)科的交叉融合，推動心理學(xué)與人工智能相互促進和共同發(fā)展”的發(fā)展思路。由此可見，以人工智能情感計算為代表的“人工智能+心理學(xué)”研究將越來越得到學(xué)界的關(guān)注和重視。

本專題聚焦于人工智能情感計算，共收錄了4篇研究論文。其中，《基于混合雙線性模型的抑郁癥輔助診斷》基于頭皮腦電圖提出一種使用混合雙線性深度學(xué)習(xí)網(wǎng)絡(luò)完成抑郁癥輔助診斷的方法；《基于Transformer的多子空間多模態(tài)情感分析》將不同模態(tài)映射到私有和共享子空間，獲得不同模態(tài)的私有表示和共享表示，將單模態(tài)表示、雙模態(tài)表示和三模態(tài)表示拼接作為最終的多模態(tài)特征進行情感預(yù)測；《嵌入混合注意力機制的Swin Transformer人臉表情識別》以Swin Transformer 為主干網(wǎng)絡(luò)，在模型 Stage3 的融合層中嵌入了混合注意力模塊，能夠有效提取人臉面部表情的全局特征和局部特征；《一種基于語音、文本和表情的多模態(tài)情感識別算法》通過改進的 Inception-ResnetV2 模型提取視頻序列中的表情情感特征，同時利用基于注意力的雙向長短期記憶模塊關(guān)注重點信息，從而保持模態(tài)信息之間的時序相關(guān)性。期待本專題的論文能夠引發(fā)大家探討“人工智能+心理學(xué)”更多可能的研究方向和方法，為從事相關(guān)交叉領(lǐng)域的研究人員提供一些新的思路。

摘要 抑郁癥作為常見的慢性精神障礙疾病，其致病原因復(fù)雜且康復(fù)率較低。基于頭皮腦電圖提出一種使用混合雙線性深度學(xué)習(xí)網(wǎng)絡(luò)完成抑郁癥輔助診斷的方法。首先，將卷積神經(jīng)網(wǎng)絡(luò)提取得到的空間特征和卷積長短時記憶網(wǎng)絡(luò)提取得到的時空特征通過雙線性方法融合成二階混合特征，構(gòu)建時空特征混合雙線性模型;然后，使用腦電信號各頻段的功能連接矩陣進行訓(xùn)練，并用不同的功能連接度量方法分析腦電信號各頻段與抑郁癥功能連接之間的關(guān)系;最后，在MODMA公開數(shù)據(jù)集上應(yīng)用此方法。實驗結(jié)果表明，使用二階混合特征的混合雙線性模型在Beta頻段相關(guān)性功能連接矩陣上取得99.38％的準確率，說明了Beta頻段相關(guān)性功能連接矩陣的二階混合特征在抑郁癥輔助診斷中的有效性，與其他方法相比，所提方法達到了較高的準確率，具有較好的應(yīng)用前景。

關(guān)鍵詞 抑郁癥;功能連接;卷積長短時記憶網(wǎng)絡(luò);雙線性;二階特征

Assisted diagnosis of depression based on hybrid bilinear model

Abstract Depression， as a common chronic mental disorder， has complex causes and low recovery rates. A method for assisting the diagnosis of depression using a hybrid bilinear deep learning network based on scalp electroencephalography is proposed. Firstly， the spatial features extracted by the convolutional neural network and the spatiotemporal features extracted by the convolutional long short-term memory network are fused into second-order hybrid features through bilinear methods to construct a hybrid bilinear model. Then， the functional connectivity matrices of each frequency band of EEG signals are used to train the model， and different functional connectivity measurement methods are used to analyze the relationship between the functional connectivity of each frequency band of EEG signals and depression.? Finally， this method is applied on the MODMA dataset. The? experimental results showed that the hybrid bilinear model using second-order hybrid features achieved an accuracy of 99.38％ on the Beta frequency band correlation functional connectivity matrix， which indicates the effectiveness of the second-order hybrid features of the Beta frequency band correlation functional connectivity matrix in the auxiliary diagnosis of depression. Compared with other methods， the proposed method achieves higher accuracy and has high application prospects.

Keywords depression; functional connection; convolutional long-short term memory; bilinear; second-order

抑郁癥（major depressive disorder， MDD）是一種常見的慢性精神障礙疾病，其臨床癥狀主要表現(xiàn)為情緒低落、焦慮、失眠、認知障礙等，甚至?xí)a(chǎn)生自殺念頭或行為。神經(jīng)生物學(xué)研究領(lǐng)域普遍認為抑郁癥發(fā)病機制與神經(jīng)內(nèi)分泌功能紊亂、自主神經(jīng)功能失調(diào)以及認知相關(guān)腦區(qū)功能變化等有關(guān)［1-2］。因此，解析抑郁癥患者腦功能狀態(tài)的變化是揭示其發(fā)病機制的方式之一。

現(xiàn)代神經(jīng)影像技術(shù)和腦科學(xué)研究的蓬勃發(fā)展為探索人腦結(jié)構(gòu)與功能組織提供了可能。分析醫(yī)學(xué)影像可以為精神疾病的準確診斷發(fā)掘更多有效的生物標志物，同時醫(yī)學(xué)影像的輔助診斷方法也能為疾病的診斷提供一個相對客觀的標準，降低醫(yī)生的誤診率［3］。腦電圖（electroencephalogram， EEG）通過測定自發(fā)性、節(jié)律性的生物電活動測量腦內(nèi)的神經(jīng)生理狀態(tài)，反映了豐富的生理和病理學(xué)信息，并具有便于采集和實時監(jiān)控的特點［4］。使用EEG了解疾病背后的機制并尋找生物標志物，對檢測抑郁癥患者腦功能結(jié)構(gòu)的變化具有重要意義［5］。

近年來抑郁癥的功能成像研究表明這種心理病理學(xué)可能與大腦功能連接性的變化有關(guān)［6］。大腦的功能連接（functional connectivity，F(xiàn)C）是指腦電信號在不同腦區(qū)之間的交互作用，描述了大腦不同區(qū)域之間的時空相關(guān)性，可以為大腦的功能缺陷和結(jié)構(gòu)變化之間的關(guān)系提供新的思路和見解［7-8］。功能連接研究指標豐富，其中相關(guān)性［9］（Pearson correlation coefficient， PCC）是測量2個信號線性相關(guān)性的度量，相位滯后指數(shù)［10］（phase lag index， PLI）是一種評估各個觀測值之間相位差分布的度量。Zhang等人使用PCC矩陣構(gòu)建了健康對照（healthy control， HC）和抑郁癥患者的功能腦網(wǎng)絡(luò)，發(fā)現(xiàn)抑郁癥患者表現(xiàn)出全局網(wǎng)絡(luò)指標的隨機性［9］。Liu等人使用PLI獲得鄰接度量，用SVM分類的準確率達到89.7％［11］。這些指標從不同角度衡量大腦的功能連接，計算出的結(jié)果是一個二維對稱矩陣，并主要利用圖論方法處理該信息，但深度學(xué)習(xí)網(wǎng)絡(luò)更擅長處理網(wǎng)格結(jié)構(gòu)數(shù)據(jù)，能夠更好地挖掘內(nèi)在的數(shù)據(jù)信息。研究人員利用卷積網(wǎng)絡(luò)（convolutional neural network， CNN）、循環(huán)卷積網(wǎng)絡(luò)（recurrent neural network， RNN）［12］、長短時記憶網(wǎng)絡(luò)（long-short term memory， LSTM）［13］等深度學(xué)習(xí)方法輔助抑郁癥診斷也取得了良好的效果。楊炳新等人提出了一種基于數(shù)據(jù)增廣和模型集成策略的圖神經(jīng)網(wǎng)絡(luò)抑郁癥識別方法，該方法對采集到的腦電信號進行數(shù)據(jù)切分并將其用于數(shù)據(jù)增廣后，利用皮爾遜相關(guān)系數(shù)計算不同通道之間的相關(guān)度，從而構(gòu)造腦網(wǎng)絡(luò)，并利用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)腦網(wǎng)絡(luò)的特征，然后，將得到的預(yù)測結(jié)果利用模型集成策略進行多數(shù)投票，得到受試者最終的預(yù)測結(jié)果，該方法取得了77％的分類準確率［14］。Sarkar等人比較了幾種深度學(xué)習(xí)方法利用EEG數(shù)據(jù)跟蹤精神抑郁方面的適用性，表明RNN雖然具有很好的處理時間序列數(shù)據(jù)的能力，但容易出現(xiàn)梯度消失問題，LSTM通過在單元結(jié)構(gòu)中引入門函數(shù)解決了該問題并取得了優(yōu)異的分類準確率［15］。Sharma等人使用CNN學(xué)習(xí)空間特征，使用LSTM學(xué)習(xí)時序特征，提出抑郁癥混合神經(jīng)網(wǎng)絡(luò)，該模型的分類準確率達到99.10％［16］。Song等人提出了一個CNN和LSTM結(jié)合的端到端框架，并在Gamma頻段取得了94.69％的分類準確率［17］。

目前，靜息態(tài)腦電圖功率和功能連接的異常特征被認為是重度抑郁癥癥狀的特征標志，然而腦電頻譜特征與抑郁癥功能連接之間的關(guān)系仍不明朗［18］。此外，現(xiàn)有基于EEG功能連接的深度學(xué)習(xí)網(wǎng)絡(luò)輔助抑郁癥診斷的相關(guān)研究中，大多使用一階特征進行抑郁癥的輔助診斷任務(wù)。本文將聚焦于EEG各頻段功能連接的二階特征在抑郁癥輔助診斷中的作用，提出基于混合雙線性模型的抑郁癥輔助診斷方法。圖1展示了所提方法的步驟圖，共包括4個步驟：①實驗數(shù)據(jù)及預(yù)處理;②數(shù)據(jù)增強和頻段提取;③EEG各頻段功能連接分析;④混合雙線性模型，設(shè)計混合雙線性深度學(xué)習(xí)網(wǎng)絡(luò)分析抑郁癥患者和正常人在各頻段上功能連接的差異。

1 數(shù)據(jù)與方法

1.1 實驗數(shù)據(jù)及預(yù)處理

1.1.1 MODMA數(shù)據(jù)集

本文使用蘭州大學(xué)UAIS實驗室于2020年發(fā)布的多模態(tài)開放MODMA數(shù)據(jù)集［19］（本文已簽署實驗數(shù)據(jù)使用協(xié)議并授權(quán)可以使用該數(shù)據(jù)集中的全部數(shù)據(jù)）。MODMA數(shù)據(jù)集包含4種類型的抑郁癥患者及健康對照受試者數(shù)據(jù)：①128通道的事件相關(guān)電位（event-related potentials， ERP）數(shù)據(jù);②128通道的靜息態(tài)EEG數(shù)據(jù);③3通道的靜息態(tài)EEG數(shù)據(jù);④音頻數(shù)據(jù)。其中，靜息態(tài)EEG數(shù)據(jù)被許多研究證實可以有效地用于分析大腦的功能連通性［20］，因此，本文使用MODMA數(shù)據(jù)集中第2類數(shù)據(jù)完成實驗。該數(shù)據(jù)包括24名抑郁癥患者和29名健康對照受試者，所有受試者使用患者健康問卷9項（patient health questionnaire 9-items， PHQ-9）［21］和廣泛性焦慮障礙7項（generalized anxiety disorder-7， GAD-7）［22］進行自我評估。EEG數(shù)據(jù)采樣率為250 Hz，采集時長約5 min。該數(shù)據(jù)集的具體描述如表1所示。

1.1.2 數(shù)據(jù)預(yù)處理

為了獲得相對純凈和更有效的腦電數(shù)據(jù)，有必要對原始腦電信號進行預(yù)處理。研究表明，抑郁癥相關(guān)的EEG信號主要分布在0.5～50 Hz之間［23］，本文參考以往研究將0.5～45 Hz帶通濾波器用于消除低頻漂移和高頻噪聲，然后采用獨立分量分析（independent component analysis， ICA）方法去除主要由眼電（electro-oculogram， EOG）信號引起的噪聲，并對Cz電極作重參考處理。以上預(yù)處理操作都是在Matlab的EEGLAB工具箱［24］中完成。

1.2 數(shù)據(jù)增強及頻段提取

由于受試者數(shù)量的限制，無法收集足夠的原始腦電記錄數(shù)據(jù)用于訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，但EEG信號的一個優(yōu)點是時間分辨率高，可以進行數(shù)據(jù)增強。一種典型的序列數(shù)據(jù)增強方法是進行信號切片，即將原信號劃分為等長度的較小切片，以生成新的樣本［25］。在不同分段長度對功能連接影響的研究［26］中，實驗結(jié)果表明使用PLI度量的最佳分段長度為10 s;另外，在使用PCC度量的研究中，多數(shù)學(xué)者選擇了8 s或10 s的分段長度［9］。為了確保數(shù)據(jù)增強的同時避免增加計算量，本文對PCC和PLI度量都選擇了無重疊的10 s分段長度，最后共得到1 600個片段。隨后將每個片段腦電信號分解為5個頻段，分別為Delta段（0.5～4 Hz）、Theta段（4～8 Hz）、Alpha段（8～10 Hz）、Beta段（13～30 Hz）和Gamma段（30～45 Hz），與原始片段All Band（0.5～45 Hz）共同研究各個頻段的功能連接在抑郁癥輔助診斷中的差異。

1.3 EEG功能連接分析

EEG的功能連接可以通過計算腦電信號的PCC、PLI等指標來分析。本文對數(shù)據(jù)增強后的每個樣本進行頻段提取后，計算每個頻段的功能連接矩陣，為每個樣本得到5個頻段及全頻段的共6個大小為128×128的功能連接矩陣。

1.3.1 PCC分析

通過Pearson相關(guān)系數(shù)測量信號通道間的線性相關(guān)性，所得PCC值為EEG功能連接指標之一。對于信號X和Y，兩者的Pearson相關(guān)系數(shù)PCC（式中簡記CPCC）為

式中，CPCC取值范圍為［-1，1］，因此Pearson相關(guān)系數(shù)可以測量出通道信號間呈正相關(guān)還是負相關(guān)，且絕對值越大，相關(guān)性越強。圖2展示了健康受試者和抑郁癥患者的PCC功能連接矩陣。

1.3.2 PLI分析

PLI為本文的另一個度量指標，用來構(gòu)建功能連接矩陣。在PLI的相關(guān)研究中認為，由于腦電電極的體積傳導(dǎo)效應(yīng)和有源參考電極的存在，PLI更適合測量腦電電極之間的連接強度［10］。PLI（式中簡記IPLI）可以量化2個信號相位差分布的不對稱性，其計算公式為

式中：N是樣本點數(shù)；sgn是符號函數(shù)。IPLI_xy取值范圍為［-1，1］，0表示無同步，1表示完美同步。圖3展示的是健康受試者和抑郁癥患者的PLI功能連接矩陣示例。

由于以往研究中沒有很好的閾值選擇標準［27］，通常會選擇多個閾值進行二值化的方法來構(gòu)造稀疏性功能連接矩陣。得益于深度學(xué)習(xí)網(wǎng)絡(luò)強大的特征提取能力，本文將每個頻段不同度量的連接矩陣分別作為深度學(xué)習(xí)模型的輸入，分析腦電各頻段與抑郁癥功能連接之間的關(guān)系，以及各個頻段的功能連接在抑郁癥識別中的差異，以期發(fā)現(xiàn)診斷抑郁癥的有效性生物標志物。

1.4 雙線性模型

本文的雙線性模型包括對稱雙線性模型和混合雙線性模型，混合雙線性模型是在對稱雙線性模型基礎(chǔ)上的進一步改進。對稱雙線性模型首次提出是在細粒度識別領(lǐng)域，也已被證明在細粒度識別中用于區(qū)分相似物體方面非常有效［28］，其強大的特征提取能力主要是因為能夠捕獲具有較強區(qū)分性的局部信息。對稱雙線性模型由2個相同的特征提取器組成，2個特征提取器的輸出在每個相同位置使用矩陣外積相乘，然后對所有位置上矩陣外積的結(jié)果進行池化操作以獲得二階描述符。該體系結(jié)構(gòu)能夠以平移不變的方式對局部兩兩特征交互建模，這也是該模型能在細粒度識別中區(qū)分相似物體方面有效的一個原因。注意到在基于EEG的抑郁癥研究中指出了存在的局部連接干擾［5］，因此，抑郁癥識別與細粒度識別有很大的共通性，基于此，本文首先驗證對稱雙線性模型在抑郁癥識別任務(wù)中的有效性。另外在前文的敘述中，已有研究表明抑郁癥與腦結(jié)構(gòu)的變化和功能連接性的異常有關(guān)，而大腦的功能連接依賴于不用腦區(qū)之間的相互作用，充分挖掘和學(xué)習(xí)不同腦區(qū)的連接性信息可能有助于挖掘抑郁癥潛在的病理性特征，EEG活動特征通常反映的是包含多個空間朝向相似的大腦區(qū)域在網(wǎng)絡(luò)上同步活動的總和，它具有廣泛的時空特性［29］，因此本文進一步改進對稱雙線性模型，提出使用混合雙線性模型進行抑郁癥的識別，此模型充分結(jié)合2種不同深度學(xué)習(xí)結(jié)構(gòu)的獨特優(yōu)勢，考慮時間和空間成對特征的相互作用，后續(xù)的實驗結(jié)果也表明這種結(jié)合在基于EEG的抑郁癥識別中的有效性。對稱雙線性模型由2個相同的基模型特征提取器組成，考慮的是輸入信號的二階特征，而混合雙線性模型由2個不同的基模型特征提取器組成，考慮的是輸入信號的二階混合特征。

二階特征由基模型的一階特征通過雙線性結(jié)構(gòu)融合生成。在雙線性結(jié)構(gòu)中，假設(shè)2個特征提取器分別提取得到大小為O×M和O×N的特征，其中，O為特征的輸出維度（寬度×高度），M和N分別為2個特征提取器最后得到的通道數(shù)。每個位置的2個特征向量M×1和N×1經(jīng)矩陣外積得到大小為M×N的特征。為了能夠進行兩個特征之間的外積操作，兩個特征的輸出必須具有相同的輸出尺寸O，或者兩個特征重排后的尺寸相同。在所有O個位置上通過外積得到O個大小為M×N的特征，把所有位置上的特征通過池化操作獲得一個大小為M×N的輸出，然后將這個輸出重排為大小為MN×1的特征向量，并將其輸入到全連接層中，最后通過Softmax層獲得預(yù)測結(jié)果。

對稱雙線性CNN模型（B-CNN）包括2個部分， 一部分是由卷積塊組成的特征提取器， 另一部分是全連接的分類器。 其中， 特征提取器是由2個相同結(jié)構(gòu)的CNN模型去掉全連接分類層后通過雙線性結(jié)構(gòu)構(gòu)建而成， 得到的B-CNN模型的結(jié)構(gòu)如圖4所示。 相比于LSTM只針對序列數(shù)據(jù)的獨特作用， ConvLSTM［30］用卷積運算取代了傳統(tǒng)LSTM單元中的全連接運算， 同時也利用了參數(shù)共享的原則。 ConvLSTM能夠兼顧對時間和空間特征的提取， 彌補了LSTM無法充分提取空間特征的不足， 因此， 本文選用ConvLSTM作為另一種深度學(xué)習(xí)結(jié)構(gòu)。 對稱雙線性ConvLSTM模型（B-ConvLSTM）也由2部分組成，一部分是由ConvLSTM層組成的特征提取器，另一部分是全連接的分類器，其中，特征提取器是由2個相同結(jié)構(gòu)的ConvLSTM模型去掉全連接分類層后通過雙線性結(jié)構(gòu)構(gòu)建而成，得到的B-ConvLSTM模型的結(jié)構(gòu)如圖5所示。

進一步地，由于EEG功能連接的時空特性以及抑郁癥患者存在的EEG功能連接的局部異常，本文考慮充分結(jié)合CNN和ConvLSTM的不同特性，利用雙線性結(jié)構(gòu)融合CNN和ConvLSTM各自提取的特征進行抑郁癥的識別。由基模型CNN和ConvLSTM去掉全連接分類層后通過雙線性結(jié)構(gòu)構(gòu)建的混合雙線性模型結(jié)構(gòu)如圖6所示。

2 抑郁癥輔助診斷實驗

實驗中首先使用由2個相同的預(yù)訓(xùn)練CNN基模型組成的對稱雙線性CNN模型（B-CNN）和由2個相同的預(yù)訓(xùn)練ConvLSTM基模型組成的對稱雙線性ConvLSTM模型（B-ConvLSTM）分別進行實驗，驗證使用二階特征的有效性。在此基礎(chǔ)上進一步使用預(yù)訓(xùn)練的CNN和ConvLSTM作為基模型構(gòu)建混合雙線性模型，結(jié)果表明使用二階混合特征的混合雙線性模型能夠?qū)崿F(xiàn)更好的性能。

2.1 實驗設(shè)置

所有模型都使用Python3.6和Keras2.0以及Tensorflow1.4實現(xiàn)。這些模型在GeForce RTX 4090顯卡上運行，每個訓(xùn)練周期大約在50 s內(nèi)完成。實驗中數(shù)據(jù)集被劃分為60％的訓(xùn)練集、10％的驗證集以及30％的測試集，所有網(wǎng)絡(luò)使用交叉熵作為損失函數(shù)，并利用Adam優(yōu)化算法進行訓(xùn)練，每次迭代的訓(xùn)練樣本數(shù)量為32，訓(xùn)練迭代次數(shù)為100，學(xué)習(xí)率為1e-4。雙線性模型依賴于預(yù)訓(xùn)練的基模型，在每次訓(xùn)練中，基模型（CNN或ConvLSTM）首先在訓(xùn)練集上進行訓(xùn)練，然后將基模型學(xué)習(xí)到的權(quán)重插入到雙線性結(jié)構(gòu)中，最后在同一訓(xùn)練集上對整個雙線性模型通過100次的反向傳播進行微調(diào)訓(xùn)練。由于外積和池化都是可微矩陣運算，所以雙線性模型的參數(shù)可以使用反向傳播以端到端方式訓(xùn)練，文獻［28］詳述了梯度通過雙線性層傳播的細節(jié)。最后為了性能評估的全面性，實驗中選擇敏感度、特異度、F1分數(shù)和準確率作為模型評估指標［31］。

2.2 實驗結(jié)果

表2和表3分別為各頻段的PCC功能連接和PLI功能連接在各個模型上的實驗結(jié)果。 表2 中PCC的數(shù)值結(jié)果顯示Alpha和Beta頻段整體表現(xiàn)最好， 而且使用二階特征的對稱雙線性模型相比基模型在各個評價指標上都有不同程度的提升， 說明了二階特征相比一階特征的有效性， 同時可以看到， 使用二階混合特征的混合雙線性模型表現(xiàn)最好， 分別取得了98.96％和99.38％的準確率。 在表3的PLI數(shù)值結(jié)果中， Alpha、 Beta和Gamma頻段整體表現(xiàn)最好， 同樣使用二階特征的對稱雙線性模型相比基模型在各個評價指標上都有不同程度的提升， 說明了二階特征相比一階特征的有效性， 同時使用二階混合特征的混合雙線性模型表現(xiàn)最好， 分別取得了98.13％、98.96％和98.33％的準確率。

表4展示了部分抑郁癥識別研究中基于MODMA數(shù)據(jù)集的實驗結(jié)果。Sun等人綜合分析了重度抑郁癥患者的腦電信號，提取了PLI特征、線性特征、非線性特征，以及這些特征的組合，隨后使用4種分類器評估選擇最優(yōu)特征，最后使用ReliefF特征選擇方法和邏輯回歸（logistic regression， LR）分類器的分類準確率可達82.31％，實驗結(jié)果也顯示功能連接特征PLI優(yōu)于其他特征［32］。Shen等人提出了一種基于核目標對齊的EEG抑郁檢測的最優(yōu)通道選擇方法mKTAChSel，旨在減少腦電的信息冗余，降低計算復(fù)雜度，在MODMA數(shù)據(jù)集上的最高分類準確率達到81.60％［33］。Soni等人利用圖表示學(xué)習(xí)方法自動提取每個通道的特征，采用圖級融合、特征級融合和決策級融合3種不同類型的融合對EEG數(shù)據(jù)進行分析，最終獲得88.80％的分類準確率［34］。Yang等人提出了一種名為GA-LASSO的EEG特征學(xué)習(xí)模型，通過在原LASSO模型中加入自適應(yīng)L1和圖正則項來實現(xiàn)，結(jié)果顯示使用該模型從FC中學(xué)習(xí)特征可獲得97.43％的準確率［35］。在最近的一項研究中，Yang等人提出了一種利用因果擴張卷積和門控機制的深度學(xué)習(xí)框架GTSAN來識別抑郁癥，該框架的分類準確率達到97.56％［36］。從表4數(shù)值結(jié)果可以看出，本文的方法在抑郁癥識別上取得了更好的實驗準確率。

3 實驗結(jié)果討論

表2和表3的結(jié)果表明，對于不同的EEG功能連接度量方法，在不同頻段上使用二階特征的對稱雙線性模型在各個指標上都有提升，證明了功能連接矩陣的二階特征在抑郁癥輔助診斷中的重要作用。同時，雙線性模型的突出表現(xiàn)在于通過對基模型的輸出做內(nèi)積得到的特征向量可以有效地模擬局部特征對之間的相互作用。因此，當(dāng)輸入數(shù)據(jù)相似時，它們可以很好地區(qū)分出抑郁癥患者和健康受試者。此外，雙線性模型因為都是在基模型預(yù)訓(xùn)練的基礎(chǔ)上進行訓(xùn)練的，所以雙線性模型在提高抑郁癥識別性能的同時也縮短了訓(xùn)練時間。本文利用的混合雙線性模型除了上述的優(yōu)點外，還利用了2種不同類型深度學(xué)習(xí)結(jié)構(gòu)的獨特優(yōu)勢，所以相比只使用1種深度學(xué)習(xí)結(jié)構(gòu)的對稱雙線性模型有更好的競爭優(yōu)勢。

圖7（a）和圖7（b）分別展示了各頻段的PCC和PLI功能連接矩陣在基模型和雙線性模型上的實驗準確率對比。這里的實驗數(shù)值結(jié)果驗證了混合雙線性模型的良好性能，該結(jié)果也滿足了本文改進的本意。此外，對PCC和PLI分別進行實驗是想通過實驗驗證腦電各頻段與功能連接的組合哪一種表現(xiàn)更有效。從圖7可以看出，相比較PLI而言，混合雙線性模型在PCC度量下的效果提升更明顯，而且在Beta頻段上的實驗準確率最高，說明Beta頻段與PCC度量的結(jié)合更適合用于抑郁癥的識別。而且綜合來看，在PCC度量中，Alpha和Beta頻段的表現(xiàn)最好;在PLI的度量中，Alpha、Beta和Gamma的表現(xiàn)最好，說明MDD患者的大腦功能結(jié)構(gòu)在Alpha和Beta這2個波段發(fā)生了變化。同樣，醫(yī)學(xué)相關(guān)研究文獻也有相似的結(jié)論：MDD組的Beta頻帶存在較高的異常神經(jīng)振蕩模式［37］;研究檢測到抑郁和健康受試者在行為激活治療前后的Alpha不對稱性，在預(yù)處理時，發(fā)現(xiàn)抑郁癥患者的Alpha頻帶不對稱性顯著高于健康受試者［38］。

本文的研究結(jié)果顯示了Alpha和Beta頻帶功能連接矩陣的二階混合特征在抑郁癥輔助診斷中的重要作用，但本文方法也存在一些局限性。首先，文中使用的數(shù)據(jù)集為有限數(shù)據(jù)。盡管從這些數(shù)據(jù)中獲得的一些結(jié)論和之前的相關(guān)研究一致，但在未來的研究中有必要不斷擴展數(shù)據(jù)集，以獲得更多關(guān)于抑郁癥患者大腦功能連接變化的足夠信息。另外，為了盡量減少計算量，本文對PCC度量的分段長度也選擇10 s，這一部分在未來可能還需要更多的實驗來支持。

4 結(jié)語

本文在對稱雙線性模型的基礎(chǔ)上進一步提出使用混合雙線性模型進行基于頭皮腦電圖的抑郁癥輔助診斷。將CNN和ConvLSTM作為基模型，通過雙線性方法構(gòu)建使用二階混合特征的混合雙線性模型，并在各頻段的功能連接矩陣上進行了大量實驗。實驗結(jié)果顯示使用二階混合特征的混合雙線性模型在Beta頻段的PCC功能連接矩陣上取得了99.38％的準確率，表明基于EEG功能連接的混合雙線性模型在抑郁癥輔助診斷任務(wù)中的有效性。另外，相比其他使用相同數(shù)據(jù)集的研究方法，本文方法的實驗準確率表現(xiàn)優(yōu)異，這為在未來的抑郁癥診斷過程中使用基于腦電圖信號輔助抑郁癥診斷提供了可能。目前，本文的工作僅針對腦電信號的抑郁癥識別，在未來的抑郁癥識別研究工作中會將重點放在音頻和腦電數(shù)據(jù)的融合方面。

參考文獻

［1］ ASARNOW L D. Depression and sleep： What has the treatment research revealed and could the HPA axis be a potential mechanism？［J］. Current Opinion in Psychology， 2020， 34： 112-116.

［2］ LIANG A D， ZHAO S G， SONG J， et al. Treatment effect of exercise intervention for female college students with depression： Analysis of electroencephalogram microstates and power spectrum［J］. Sustainability， 2021， 13（12）： 6822.

［3］ FU Y， ZHANG J， LI Y， et al. A novel pipeline leveraging surface-based features of small subcortical structures to classify individuals with autism spectrum disorder［J］. Progress in Neuro-Psychopharmacology & Biological Psychiatry， 2021， 104： 109989.

［4］ 李斯卉， 呂可嘉， 潘敏， 等. 一種新的基于腦電信號相似性分析的癲癇性發(fā)作自動檢測方法［J］.西北大學(xué)學(xué)報（自然科學(xué)版）， 2019， 49（2）： 309-317.

LI S H， LYU K J， PAN M， et al. A new similarity analysis of EEG signals for automatic epileptic seizure detection ［J］. Journal of Northwest University， 2019， 49（2）： 309-317.

［5］ DE AGUIAR NETO F S， ROSA J L G. Depression biomarkers using non-invasive EEG： A review［J］. Neuroscience and Biobehavioral Reviews， 2019， 105： 83-93.

［6］ MILJEVIC A， BAILEY N W， MURPHY O W， et al. Alterations in EEG functional connectivity in individuals with depression： A systematic review［J］. Journal of Affective Disorders， 2023， 328： 287-302.

［7］ KAISER M. A tutorial in connectome analysis： Topological and spatial features of brain networks［J］. NeuroImage， 2011， 57（3）： 892-907.

［8］ 高越， 傅湘玲， 歐陽天雄，等 基于時空自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的腦電信號情緒識別［J］. 計算機科學(xué)，2022， 49（4）： 30-36.

GAO Y， FU X L， OUYANG T X， et al. EEG emotion recognition based on spatiotemporal self-adaptive graph convolutional neural network［J］. Computer Science， 2022， 49（4）： 30-36.

［9］ ZHANG M H， ZHOU H Y， LIU L Q， et al. Randomized EEG functional brain networks in major depressive disorders with greater resilience and lower rich-club coefficient［J］. Clinical Neurophysiology， 2018， 129（4）： 743-758.

［10］STAM C J， NOLTE G， DAFFERTSHOFER A. Phase lag index： Assessment of functional connectivity from multi channel EEG and MEG with diminished bias from common sources［J］. Human Brain Mapping， 2007， 28（11）： 1178-1193.

［11］LIU W Y， ZHANG C， WANG X Y， et al. Functional connectivity of major depression disorder using ongoing EEG during music perception［J］. Clinical Neurophysiology， 2020， 131（10）： 2413-2422.

［12］BASHIVAN P， RISH I， YEASIN M， et al. Learning representations from EEG with deep recurrent-convolutional neural networks［EB／OL］.（2016-02-29）［2023-07-15］.https：∥arxiv.org／abs／1511.06448.

［13］YIN Y Q， ZHENG X W， HU B， et al. EEG emotion recognition using fusion model of graph convolutional neural networks and LSTM［J］. Applied Soft Computing， 2021， 100： 106954.

［14］楊炳新， 郭艷蓉， 郝世杰， 等. 基于數(shù)據(jù)增廣和模型集成策略的圖神經(jīng)網(wǎng)絡(luò)在抑郁癥識別上的應(yīng)用［J］. 計算機科學(xué)， 2022， 49（7）： 57-63.

YANG B X， GUO Y R， HAO S J， et al. Application of graph neural network based on data augmentation and model ensemble in depression recognition［J］. Computer Science， 2022， 49（7）： 57-63.

［15］SARKAR A， SINGH A， CHAKRABORTY R. A deep learning-based comparative study to track mental depression from EEG data［J］. Neuroscience Informatics， 2022， 2（4）： 100039.

［16］SHARMA G， PARASHAR A， JOSHI A M. DepHNN： A novel hybrid neural network for electroencephalogram （EEG）-based screening of depression［J］. Biomedical Signal Processing and Control， 2021， 66： 102393.

［17］SONG X W， YAN D D， ZHAO L L， et al. LSDD-EEGNet： An efficient end-to-end framework for EEG-based depression detection［J］. Biomedical Signal Processing and Control， 2022， 75： 103612.

［18］WU Z Y， ZHONG X W， LIN G H， et al. Resting-state electroencephalography of neural oscillation and functional connectivity patterns in late-life depression［J］. Journal of Affective Disorders， 2022， 316： 169-176.

［19］CAI H S， GAO Y， SUN S T， et al. MODMA dataset： A multi-modal open dataset for mental-disorder analysis［EB／OL］.（2020-03-05）［2023-07-15］. http：∥arxiv.org/abs/2002.09283.

［20］ZHANG B T， YAN G H， YANG Z F， et al. Brain functional networks based on resting-state EEG data for major depressive disorder analysis and classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 215-229.

［21］KROENKE K， SPITZER R L. The PHQ-9：A new depression diagnostic and severity measure［J］. Psychiatric Annals， 2002， 32（9）： 509-515.

［22］SPITZER R L， KROENKE K， WILLIAMS J B W， et al. A brief measure for assessing generalized anxiety disorder： The GAD-7［J］. Archives of Internal Medicine， 2006， 166（10）： 1092-1097.

［23］ZHANG B T， ZHOU W Y， CAI H S， et al. Ubiquitous depression detection of sleep physiological data by using combination learning and functional networks［J］. IEEE Access， 2020， 8： 94220-94235.

［24］DELORME A， MAKEIG S. EEGLAB： An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis［J］. Journal of Neuroscience Methods， 2004， 134（1）： 9-21.

［25］MOVAHED R A， JAHROMI G P， SHAHYAD S， et al. A major depressive disorder classification framework based on EEG signals using statistical， spectral， wavelet， functional connectivity， and nonlinear analysis［J］. Journal of Neuroscience Methods， 2021， 358： 109209.

［26］FRASCHINI M， DEMURU M， CROBE A， et al. The effect of epoch length on estimated EEG functional connectivity and brain network organisation［J］. Journal of Neural Engineering， 2016， 13（3）： 036015.

［27］LI Y J， CAO D， WEI L， et al. Abnormal functional connectivity of EEG gamma band in patients with depression during emotional face processing［J］. Clinical Neurophysiology， 2015， 126（11）： 2078-2089.

［28］LIN T Y， ROYCHOWDHURY A， MAJI S. Bilinear CNN models for fine-grained visual recognition［C］∥2015 IEEE International Conference on Computer Vision （ICCV）. Santiago： IEEE， 2015： 1449-1457.

［29］ZHANG X W， LI J L， HOU K C， et al. EEG-based depression detection using convolutional neural network with demographic attention mechanism［C］∥2020 42nd Annual International Conference of the IEEE Engineering in Medicine ＆ Biology Society （EMBC）. Montreal： IEEE， 2020： 128-133.

［30］SHI X J， CHEN Z R， WANG H， et al. Convolutional LSTM Network： A machine learning approach for precipitation nowcasting［C］∥Proceedings of the 28th International Conference? on Neural Information Processing Systems（NeurlPS）. Montreal： ACM， 2015： 802-810.

［31］DAVIS J， GOADRICH M. The relationship between Precision-Recall and ROC curves［C］∥Proceedings of the 23rd International Conference on Machine Learning（ICML）. Pittsburgh： ACM， 2006：233-240.

［32］SUN S T， LI J X， CHEN H Y， et al. A study of resting-state EEG biomarkers for depression recognition［EB／OL］.（2020-02-23）［2023-07-15］. https：∥arxiv.org／abs／2002.11039.

［33］SHEN J， ZHANG X W， HUANG X， et al. An optimal channel selection for EEG-based depression detection via kernel-target alignment［J］.IEEE Journal of Biomedical and Health Informatics， 2021， 25（7）： 2545-2556.

［34］SONI S， SEAL A， YAZIDI A， et al. Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression［J］. Computers in Biology and Medicine， 2022， 145： 105420.

［35］YANG L J， WEI X G， LIU F R， et al. Automatic feature learning model combining functional connectivity network and graph regularization for depression detection［J］. Biomedical Signal Processing and Control， 2023， 82： 104520.

［36］YANG L J， WANG Y X， ZHU X R， et al. A gated temporal-separable attention network for EEG-based depression recognition［J］. Computers in Biology and Medicine， 2023， 157： 106782.

［37］LEUCHTER A F， COOK I A， HUNTER A M， et al. Resting-state quantitative electroencephalography reveals increased neurophysiologic connectivity in depression［J］. PLoS One， 2012， 7（2）： e32508.

［38］TAS C， CEBI M， TAN O， et al. EEG power，cordance and coherence differences between unipolar and bipolar depression［J］. Journal of Affective Disorders， 2015， 172： 184-190.