并行時間卷積的疲勞檢測

張少涵，馬錦山，陳澤龍，謝子彥，林少煒，張振昌

(1.福建農(nóng)林大學 計算機與信息學院，福建 福州 350002;2.聯(lián)勤保障部隊第900醫(yī)院醫(yī)學影像中心，福建 福州 350002;3.福建醫(yī)科大學，福建 福州 350002)

隨著時代的發(fā)展，社會生產(chǎn)力不斷提高，人們的工作量也隨之增加。由于工作時間過長、工作壓力過大等產(chǎn)生疲勞的現(xiàn)象在日常生活中時常發(fā)生[1]，而疲勞會影響人們工作效率甚至導致事故的發(fā)生。

在生物醫(yī)學數(shù)字信號處理技術(shù)的不斷發(fā)展下，研究者們發(fā)現(xiàn)腦電信號和眼電信號與人的精神疲勞有顯著的相關(guān)關(guān)系[2]。在傳統(tǒng)方法中，劉苗苗等[3]使用非線性動力學的多尺度熵方法來分析不同駕駛狀態(tài)下的腦電信號，發(fā)現(xiàn)受試者在疲勞狀態(tài)下駕駛時的熵值低于非疲勞狀態(tài)下的熵值。李超[4]使用與的比值來客觀性的判斷人腦的疲勞狀態(tài)。周佳蘋[5]研究發(fā)現(xiàn)α波、β波、θ波及（α+θ）/β、β/α在疲勞和不疲勞狀態(tài)下的表現(xiàn)都有顯著差異。

生物信號是一種十分復雜以及微弱的時序信號，具有非平穩(wěn)性和非線性的特點，通常情況是由多電極測得的多通道信號，這使得疲勞檢測評估更為復雜。近幾年來隨著人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，神經(jīng)網(wǎng)絡(luò)也開始應(yīng)用在生物信號分析上，它在面對復雜問題上具有強大學習力，對于多通道的信號也能夠?qū)W習到其中的相關(guān)信息。韓霜等[6]提出基于深度收縮自編碼網(wǎng)絡(luò)的飛行員疲勞狀態(tài)識別模型。張兆瑞等[7]建立疲勞識別模型對疲勞進行檢測。卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在疲勞檢測中廣泛的應(yīng)用[8]，但是普通的卷積網(wǎng)絡(luò)并沒有利用到生物信號上的時間信息。時序處理算法（Long Short-Term Memory,LSTM）是專門用于時間序列的模型，在對于含有時間信息的模型，通常使用基于LSTM網(wǎng)絡(luò)進行研究，以使得模型能夠?qū)W習到序列的時間信息。張楠等[9]使用微分熵的特征輸入LSTM模型中，來預(yù)測警惕性水平。但是LSTM不能夠并行計算，使得模型訓練時候需要消耗大量的時間成本。

TCN網(wǎng)絡(luò)[10]是在卷積網(wǎng)絡(luò)的基礎(chǔ)上進行改進，以適用在時間序列的問題上。它通過使用擴張卷積對全局信息進行學習，使其具有學習時間信息的能力。于是本文運用TCN網(wǎng)絡(luò)在生物信號的疲勞檢測問題，利用鄭偉龍等[11]公開的SEED-VIG數(shù)據(jù)集進行進一步研究，他們將數(shù)據(jù)集的標簽PERCLOS按閾值[0.35,0.7]分為3類，但我們在進行數(shù)據(jù)預(yù)處理中發(fā)現(xiàn)，3類的數(shù)據(jù)集數(shù)量嚴重不平衡，一些實驗對象數(shù)據(jù)分布極端化，這可能導致模型訓練的無效性。于是，本文針對該數(shù)據(jù)集進行實驗，分別建立連續(xù)的P-TCN模型和連續(xù)的P-LSTM網(wǎng)絡(luò)模型，在模型中并行輸入數(shù)據(jù)集中EEG和EOG的數(shù)據(jù)，最后通過全連接輸出疲勞程度。實驗結(jié)果表明，在同樣采取并行結(jié)構(gòu)的方法下，PTCN的預(yù)測結(jié)果更好。

1 資料與方法

1.1 SEED-VIG數(shù)據(jù)集

研究使用BCMI實驗室公開的數(shù)據(jù)集SEED-VIG[11],實驗要求被試者模擬駕駛車輛，并且在測試前一天無服用酒精咖啡因等物質(zhì)。使用Neuroscan系統(tǒng)記錄了23名被試者的EEG和EOG，同時在實驗過程中使用跟蹤眼鏡標記對應(yīng)的PERCLOS（眼睛閉合時間長度/時間區(qū)間總長度）指標值作為警戒的標簽。實驗在午后進行，時間持續(xù)2 h以上，以便在嗜睡的晝夜節(jié)律高峰和長時間的駕駛下確保實驗對象進入疲勞的狀態(tài)。數(shù)據(jù)的采樣頻率為1000 Hz。PERCLOS標簽的區(qū)間為[0,1]，這里的PERCLOS只作為標簽數(shù)據(jù)使用。

數(shù)據(jù)集中將腦電信號數(shù)據(jù)下采樣至200 Hz，EOG信號充當EEG信息的補充，它攜帶眨眼時的有關(guān)信息。通過在每個腦電信號中以2 Hz的頻率分辨率從總頻帶（50 Hz）中提取25個頻域，計算25個頻域下的EEG的微分熵作為特征值；通過在眼電信號中檢測眨眼和掃視的持續(xù)時間，均值，最大值，方差等統(tǒng)計參數(shù)中提取了36個EOG的特征值。

1.2 TCN網(wǎng)絡(luò)

1.2.1 因果卷積

為提高疲勞判斷的準確度，運用由WaveNet提出的基于時間的因果卷積模型[12]，該模型能夠針對生物信號來進行序列的卷積建模。規(guī)范的CNN并不能夠處理到生物信號的特征問題。而將因果卷積應(yīng)用在生物信號序列中，能確保在建立模型時不會改變生物信號的順序，從而實現(xiàn)對生物信號序列一一對應(yīng)的問題。下圖1顯示因果卷積結(jié)構(gòu)的圖示。

圖1 因果卷積Fig.1 Causal convolution

1.2.2 擴展卷積

腦電信號和眼電信號的采樣頻率較高，因此信號的序列較長，需要較長的時域感受野。對于一個長序列進行因果卷積，卷積層需要不斷增加，才能達到要求。這就會出現(xiàn)梯度消失，過擬合等問題。擴展卷積能夠很好的解決這個問題，Dilation是擴展卷積的大小，Dilation的大小隨著層數(shù)增加而增加。擴展卷積的結(jié)構(gòu)如下圖2所示。設(shè)生理信號為X=（x1，x2，…，xt），則序列擴展卷積運算F定義為：

圖2 擴展卷積Fig.2 Extended convolution

D表示膨脹因子，k表示卷積核的大小，s-d·i表示過去的比例，增大d可以增加感受野，在信號訓練中更大的d，可以應(yīng)用更長的序列。

1.2.3 殘差學習

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，導致參數(shù)過多，且標準的反向傳播無法找到最優(yōu)權(quán)重，這就會出現(xiàn)退化問題。生理信號的數(shù)列數(shù)據(jù)龐大，為了提升模型的性能，在TCN模型中添加殘差和參數(shù)化跳過連接，具體結(jié)構(gòu)如下圖3所示。

圖3 殘差模塊結(jié)構(gòu)Fig.3 Residual module structure

殘差模塊的輸出包括了卷積網(wǎng)絡(luò)的輸出和輸入信息，其輸出簡單表示為y=F（X）+X。

1.3 實驗

該實驗使用Python語言在Pytorch環(huán)境下實現(xiàn)提出的 P-TCN模型，在硬件方面使用 Nvidia GTX1080TI訓練模型。

提出融合EEG和EOG的P-TCN結(jié)構(gòu)，首先將兩種信號并列輸入TCN進行學習后，然后把兩種信號特征融合后，再次輸入不同參數(shù)的TCN模塊，使得模型學習到不同尺度下的多尺度的信息，最后由全連接層輸出疲勞狀態(tài)值。EEG和EOG具有不同的信號特征，分別運用不同大小的TCN模塊提取不同信號的時序特征進行特征融合，更優(yōu)于將信號數(shù)據(jù)先融合后輸入模型的方法。

數(shù)據(jù)輸入模型之前使用BatchNorma函數(shù)對數(shù)據(jù)集進行處理，可加快模型的收斂速度。模型中殘差學習和跳過鏈接的結(jié)構(gòu)，可以使得模型具有較深的網(wǎng)絡(luò)，在模型網(wǎng)絡(luò)中層與層之間加入dropout層，以防止出現(xiàn)過擬合，并且加快模型訓練的速度。P-TCN的算法結(jié)構(gòu)如圖4。

圖4 P-TCN結(jié)構(gòu)Fig.4 P-TCN structure

模型的輸入形狀為EEG[25*17*885]、EOG[36*1*885]，分別經(jīng)過8層和5層的TCN模塊層，通過torch.cat函數(shù)進行特征拼接融合后；再分別輸入3層和2層的TCN模塊層，再次通過torch.cat函數(shù)進行特征拼接，把拼接結(jié)果矩陣通過reshape為一個676維的向量，最后，利用3層全連接進行回歸，分別由32，16，1個神經(jīng)元組成，得到接近的PERCLOS值。優(yōu)化算法采用adam進行參數(shù)調(diào)整。其他一些參數(shù)設(shè)置學習率為0.001，batch設(shè)置為24，epoch設(shè)置為100，dropout設(shè)置為0.5。

1.4 評估指標

為評估模型的檢測程度，我們引入平均絕對誤差（MAE），均方誤差（MSE）,可釋方差得分（EVS），R2（r2_score）評估實驗的模型，yi表示第i個真實值，表示第i預(yù)測值，表示一段信號y的平均值，指標可表示如下：

2 實驗結(jié)果

由于不同個體間具有差異性，在相同的疲勞程度下不同個體在生物信號上有不同表現(xiàn)，且每個人對于疲勞的感應(yīng)力不相同，因此該實驗對同一個被試者進行建模。同時為防止數(shù)據(jù)集劃分不平衡出現(xiàn)訓練無效的現(xiàn)象，不對標簽進行閾值上的分類劃分，而是使用連續(xù)型的數(shù)據(jù)進行建模。為了使得模型能夠?qū)W習到每個狀態(tài)下的信息，通過隨機劃分確定訓練集和測試集，將提出的模型與單一信號的TCN模型、P-LSTM模型進行對比實驗，評價指標結(jié)果如下表1所示：

表1 不同模型指標結(jié)果Tab.1 Results of different model indicators

從表1中可以看出，在使用單一的信號時，使用EEG對比EOG有更好的表現(xiàn)，這可能是EEG對精神疲勞的變化更為敏感。提出的模型對比P-LSTM模型的評價指標有較大的提升。其中均方誤差下降到0.0022，平均絕對誤差下降到0.0370。各模型對于同一實驗對象測試集的預(yù)測曲線如圖5所示。

圖5 P-LSTM和P-TCN的預(yù)測曲線Fig.5 P-LSTM and P-TCN prediction curves

實驗控制相同的神經(jīng)網(wǎng)絡(luò)層數(shù)，相同的訓練次數(shù)epoch=50下。P-LSTM也能取得不錯的預(yù)測，但PTCN在訓練模型時消耗的時間比P-LSTM少得多，且在預(yù)測曲線中表現(xiàn)更貼近實際值，在真實曲線中波動較大地方和細節(jié)處表達的更好，體現(xiàn)出模型更強的學習能力和性能。

3 討論和結(jié)論

在上述實驗中融合兩種信號的方法對比單一信號確實有更好的表現(xiàn)。LSTM網(wǎng)絡(luò)結(jié)構(gòu)決定讀取數(shù)據(jù)時只能等上一個時間點讀取完畢才能讀取進行下一個時間點，于是它在處理龐大的生物信號數(shù)據(jù)時會導致訓練的時間過長，訓練后使用模型進行預(yù)測計算速度更耗時，影響腦電疲勞檢測的實時性。提出的改進TCN模型融合了EEG+EOG的并行計算，該算法針對時序信息具有更大的感受野。既兼顧學習到時間序列信息，也能夠通過大規(guī)模的卷積并行計算提升訓練速度，計算成本更低，模型性能更加優(yōu)異。

在TCN網(wǎng)絡(luò)中并行輸入兩種生理信號，將輸出的特征融合后，再輸入不同層數(shù)參數(shù)的TCN模塊以學習不同尺度下的信息。該模型對比同類研究具有較大的改進，加快了訓練的速度提高了模型的魯棒性，對于實時的疲勞檢測研究具有重要意義。