基于知識(shí)蒸餾的房顫信號(hào)提取方法

甘兆明　林家榮　楊其宇

摘要：針對(duì)基于雙時(shí)域卷積網(wǎng)絡(luò)的房顫信號(hào)提取網(wǎng)絡(luò)模型存在的參數(shù)量大、運(yùn)算資源要求高和實(shí)時(shí)性差等問(wèn)題，提出基于知識(shí)蒸餾的房顫信號(hào)提取方法。該方法的教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)分別采用3層、1層的基于時(shí)域卷積網(wǎng)絡(luò)（TCN），維度分別為256和32。實(shí)驗(yàn)結(jié)果表明，采用知識(shí)蒸餾的方法可以提高學(xué)生網(wǎng)絡(luò)的性能，且用蒸餾后的房顫信號(hào)提取的學(xué)生網(wǎng)絡(luò)相比于教師網(wǎng)絡(luò)，其網(wǎng)絡(luò)模型更小、運(yùn)算資源要求更低、實(shí)時(shí)性更高，為部署到資源有限的嵌入式設(shè)備提供了理論依據(jù)。

關(guān)鍵詞：知識(shí)蒸餾；房顫信號(hào)提?。粫r(shí)域卷積網(wǎng)絡(luò)；教師網(wǎng)絡(luò)；學(xué)生網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：R318;TN911.7文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-2605（2023）03-0005-06

DOI：10.3969/j.issn.1674-2605.2023.03.005

Method for Extracting Atrial Fibrillation Signals Based on? ? ? ? ? Knowledge Distillation

GANZhaoming LIN JiarongYANG Qiyu

（Guangdong University ofTechnology， Guangzhou 510006， China）

Abstract： A knowledge distillation based method for extracting atrial fibrillation signals is proposed to address the problems of large parameter quantities， high computational resource requirements， and poor real-time performance in the dual time domain convolutional network based atrial fibrillation signal extraction network model. The teacher network and student network of this method adopt a 3-layer and 1-layer time-domain convolutional network （TCN） with dimensions of 256 and 32， respectively. The experimental results show that using knowledge distillation can improve the performance of student networks， and compared to teacher networks， student networks extracted from distilled atrial fibrillation signals have smaller network models， lower computational resource requirements， and higher real-time performance， providing a theoretical basis for deploying to embedded devices with limited resources.

Keywords： knowledge distillation; extraction of atrial fibrillation signals; time domain convolutional network; teacher network; student network

0 引言

房顫是常見(jiàn)的心血管疾病[1]，它會(huì)引發(fā)患者的并發(fā)癥，如腦卒中、心衰、心肌梗死或老年癡呆等。然而，目前從患者體表采集的心電圖（electrocardiogram， ECG）信號(hào)為心房和心室的混疊信號(hào)，即房顫信號(hào)與心室信號(hào)在時(shí)域和頻域上都存在混疊[2]。因此，對(duì)房顫信號(hào)的實(shí)時(shí)提取具有重要的現(xiàn)實(shí)意義。

房顫信號(hào)的提取方法分為多導(dǎo)聯(lián)方法和單導(dǎo)聯(lián)方法。其中，多導(dǎo)聯(lián)方法包括盲源分離算法[3]、時(shí)空消除算法[4]和神經(jīng)網(wǎng)絡(luò)算法[5]等，該方法需要連接多個(gè)電極，存在較大的局限性；單導(dǎo)聯(lián)方法包括加權(quán)平均模板對(duì)消法[6]、擴(kuò)展卡爾曼濾波法[7]等，該方法存在對(duì)心室形態(tài)變異性敏感、依賴(lài)高精度R峰檢測(cè)算法、需要人工調(diào)參等缺點(diǎn)。LU等[8]利用全卷積時(shí)域音頻分離網(wǎng)絡(luò)（fully convolutional time domain audio separa-tion network，Conv-Tasnet），提出了雙路時(shí)間卷積房顫信號(hào)提取網(wǎng)絡(luò)（dual temporal convolution f-wave extraction network，DT-FENet），將Conv-Tasnet的單路編解碼結(jié)構(gòu)擴(kuò)展為雙路。DT-FENet具有較高的房顫信號(hào)提取精度，但網(wǎng)絡(luò)模型參數(shù)量大[8]、運(yùn)算資源要求高、實(shí)時(shí)性差，難以在資源受限的嵌入式設(shè)備中部署。

知識(shí)蒸餾作為一種深度神經(jīng)網(wǎng)絡(luò)的壓縮方法，在行人檢測(cè)、語(yǔ)義分割、圖像超采樣等應(yīng)用場(chǎng)景都取得了良好的效果。為解決DT-FENet對(duì)運(yùn)算資源要求高的問(wèn)題，本文提出一種基于知識(shí)蒸餾的房顫信號(hào)提取方法，利用知識(shí)蒸餾對(duì)DT-FENet模型進(jìn)行壓縮。

1? 相關(guān)理論基礎(chǔ)

1.1 房顫心電信號(hào)模型

式中： 為心室信號(hào)， 為房顫信號(hào)， 為采樣點(diǎn)數(shù)。

1.2 DT-FENet方法

DT-FENet方法是通過(guò)兩組編解碼器分別進(jìn)行心室信號(hào)和房顫信號(hào)的編解碼，以此進(jìn)行心室信號(hào)和房顫信號(hào)的特征映射。DT-FENet的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

將房顫患者的ECG信號(hào)x輸入到DT-FENet后，由房顫信號(hào)編碼器和心室信號(hào)編碼器分別輸出房顫成分編碼 和心室成分編碼 ； 和 分別送到估計(jì)器和解碼器；信息交互模塊利用房顫信號(hào)和心室信號(hào)的相關(guān)性，優(yōu)化估計(jì)器輸出的自注意力編碼 和 ；在 上應(yīng)用 、在 上應(yīng)用 ，可分別得到帶有自注意力特征的"Z"? ?_"AA" 和Z ?_"VA" ；房顫信號(hào)解碼器和心室信號(hào)解碼器分別將高維的Z ?_"AA" 和Z ?_"VA" 解碼，得到一維的房顫信號(hào)Z ?_"AA"? 和心室信號(hào)Z ?_"VA" 。

1.3 知識(shí)蒸餾介紹

HINTON等[9]提出的知識(shí)蒸餾方法采用了“教師”和“學(xué)生”的概念，又被稱(chēng)為“教師-學(xué)生結(jié)構(gòu)”。知識(shí)蒸餾方法中重量級(jí)的模型是結(jié)構(gòu)復(fù)雜、規(guī)模大、擬合能力強(qiáng)的教師模型，且通常已被預(yù)先訓(xùn)練好；輕量化的學(xué)生模型模仿教師模型，吸收從教師模型中提煉出來(lái)的知識(shí)，具備更好的性能。ROMERO等[10]在Hinton等提出的知識(shí)蒸餾方法的基礎(chǔ)上，提出了基于中間層的知識(shí)蒸餾。在中間層的知識(shí)蒸餾中，學(xué)生模型的學(xué)習(xí)目標(biāo)是使自身的特征空間盡量靠近教師模型的特征空間，其損失函數(shù)為

式中："H" 為交叉熵、均方誤差等的評(píng)價(jià)指標(biāo)， 和 分別為真實(shí)標(biāo)簽和模型輸出， 和 分別為教師模型和學(xué)生模型的中間層特征， 和 為對(duì)應(yīng)中間層的特征映射函數(shù)，D為L(zhǎng)1損失、L2損失等距離函數(shù)。

2基于知識(shí)蒸餾的房顫信號(hào)提取方法

2.1 框架設(shè)計(jì)

基于知識(shí)蒸餾的房顫信號(hào)提取方法以教師-學(xué)生結(jié)構(gòu)為基本框架，以DT-FENet為教師網(wǎng)絡(luò)，以縮小尺寸的DT-FENet為學(xué)生網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)的中間層進(jìn)行知識(shí)蒸餾，其框架如圖2所示。

教師網(wǎng)絡(luò)輸出的編碼特征、心房掩碼、心室掩碼用于指導(dǎo)學(xué)生網(wǎng)絡(luò)，學(xué)生網(wǎng)絡(luò)輸出的f波和QRST波與數(shù)據(jù)集中的真實(shí)標(biāo)簽進(jìn)行比較。學(xué)生網(wǎng)絡(luò)在教師網(wǎng)絡(luò)標(biāo)簽和真實(shí)標(biāo)簽的監(jiān)督下進(jìn)行訓(xùn)練。

2.2 知識(shí)蒸餾方法

本文采用的知識(shí)蒸餾方法包括FitNet方法和AT方法。FitNet方法的教師模型和學(xué)生模型之間使用一維卷積進(jìn)行特征映射，即將維數(shù)較低的學(xué)生模型中間層特征，通過(guò)單層的一維卷積網(wǎng)絡(luò)映射到與教師模型中間層一致的維數(shù)，其損失函數(shù)為

式中：非線性函數(shù)r為一維卷積網(wǎng)絡(luò)，C為教師模型中間層的通道數(shù)，n為樣本長(zhǎng)度。

AT方法的教師模型和學(xué)生模型都加入了注意力機(jī)制，作為教師模型和學(xué)生模型的特征轉(zhuǎn)換。距離函數(shù)選擇均方誤差（mean square error，MSE），其損失函數(shù)為

式中： 為教師模型的中間層通道數(shù)， 為學(xué)生模型的中間層通道數(shù)， 和 分別為教師模型和學(xué)生模型的注意力圖，n為樣本長(zhǎng)度。

AT方法的注意力機(jī)制將中間層各通道的值求和并進(jìn)行L2范數(shù)歸一化，使該層神經(jīng)元整體的激活程度成為權(quán)重，令樣本的不同區(qū)域?qū)?yīng)不同程度的注意力，并將該注意力信息通過(guò)知識(shí)蒸餾傳遞給學(xué)生網(wǎng)絡(luò)。

3實(shí)驗(yàn)和結(jié)果分析

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)的訓(xùn)練集和驗(yàn)證集均源自Castilla-La Manch數(shù)據(jù)庫(kù)（CLMDB）[11]，測(cè)試集來(lái)源于PhysioNet的MIT-BIH Atrial Fibrillation數(shù)據(jù)庫(kù)（AFDB）[12]和PhysioNet/Computing in Cardiology Challenge 2017數(shù)據(jù)庫(kù)（Challenge 2017）[13]。CLMDB中的樣本被隨機(jī)劃分為訓(xùn)練集（70%，168條）和驗(yàn)證集（30%，72條），并被切割成時(shí)長(zhǎng)為30 s的片段。為了抑制測(cè)試集樣本的基線漂移，采用截止頻率為0.01 Hz的一階巴特沃濾波器對(duì)AFDB和Challenge 2017中的樣本進(jìn)行高通濾波。

3.2 損失函數(shù)

LU等在提出DT-FENet方法時(shí)，選擇信噪比（signal noise ratio， SNR）為訓(xùn)練網(wǎng)絡(luò)時(shí)的損失函數(shù)，其定義為

式中： 為訓(xùn)練集的批尺寸， 和 分別為從每條訓(xùn)練樣本提取的房顫信號(hào)和心室信號(hào)的信噪比， 和 分別為訓(xùn)練樣本的真實(shí)房顫信號(hào)和模型提取的房顫信號(hào)， 和 分別為訓(xùn)練樣本的真實(shí)心室信號(hào)和模型提取的心室信號(hào)， = 0.05是心房通道和心室通道之間的折衷系數(shù)。

值得注意的是，房顫信號(hào)提取模型的訓(xùn)練目標(biāo)是最大化信噪比值，而神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程只能使目標(biāo)值單調(diào)遞減，所以在信噪比前加負(fù)號(hào)，將模型的訓(xùn)練方向設(shè)置為SNR值的最大化。這一設(shè)計(jì)是損失函數(shù)的值恒小于0且其絕對(duì)值逐漸變大。然而，知識(shí)蒸餾方法的距離函數(shù)采用了MSE，在進(jìn)行知識(shí)蒸餾時(shí)的優(yōu)化目標(biāo)是最小化MSE，即損失函數(shù)的值恒大于0且其絕對(duì)值逐漸變小。因此，為了正常訓(xùn)練損失和知識(shí)蒸餾損失有一致的趨勢(shì)，有必要對(duì)正常訓(xùn)練損失進(jìn)行調(diào)整。考慮到歸一化均方誤差（normalized mean squared error， NMSE）和SNR的計(jì)算公式在形式上有倒數(shù)的關(guān)系，本文將正常訓(xùn)練損失由SNR改為NMSE，其定義為

綜上所述，知識(shí)蒸餾的損失函數(shù)由正常訓(xùn)練損失L_"train" 和知識(shí)蒸餾損失L_"KD" 兩部分組成。采用FitNet方法時(shí)，L_"KD" 對(duì)應(yīng)公式（15）；采用AT方法時(shí)，L_"KD" 對(duì)應(yīng)公式（16）：

對(duì)于FitNet方法， 和 分別是編碼器輸出的心房編碼蒸餾特征和心室編碼蒸餾特征， 和 分別是TCN網(wǎng)絡(luò)輸出的心房編碼蒸餾特征和心室編碼蒸餾特征。AT方法類(lèi)似，這里不再重復(fù)敘述。

3.3評(píng)價(jià)指標(biāo)

因?yàn)闇y(cè)試集AFDB和Challenge2017都來(lái)源于臨床的ECG監(jiān)測(cè)，僅包含心房和心室的混合信號(hào)，無(wú)法提供房顫信號(hào)作為真實(shí)值，所以在測(cè)試過(guò)程中無(wú)法直接使用模型提取的波形與真實(shí)值的擬合誤差來(lái)表示模型的提取精度。本文采用頻譜集中度（spectral concentration， SC）[14]替代SNR和NMSE來(lái)作為評(píng)價(jià)指標(biāo)，房顫信號(hào)的頻譜較窄，絕大部分頻譜能量集中在3～12 Hz的區(qū)間內(nèi)，若提取的房顫信號(hào)頻譜集中度較高，說(shuō)明房顫信號(hào)的失真小，即算法的提取精度較高。SC的計(jì)算公式為

式中： 為樣本的采樣率， 為房顫信號(hào)的功率譜。

3.4實(shí)驗(yàn)設(shè)置

教師模型和學(xué)生模型的參數(shù)設(shè)置如表1所示。

3.5實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證知識(shí)蒸餾對(duì)房顫信號(hào)提取的有效性，對(duì)比教師網(wǎng)絡(luò)、FitNet學(xué)生網(wǎng)絡(luò)和AT學(xué)生網(wǎng)絡(luò)的房顫信號(hào)提取效果，其在驗(yàn)證集和測(cè)試集的提取精度分別如表2、表3所示。

由表2可以看出，SC與SNR、NMSE具有較好的一致性，從一定程度上證明了SC是一種有效的房顫信號(hào)提取精度評(píng)估指標(biāo)，適用于數(shù)據(jù)集未提供實(shí)值時(shí)的房顫信號(hào)提取精度的評(píng)估。

由表3可以看出，使用FitNet方法知識(shí)蒸餾所得的學(xué)生網(wǎng)絡(luò)，在AFDB上的房顫信號(hào)提取精度優(yōu)于AT方法網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的提取精度。在Challenge2017上，使用FitNet方法和AT方法的知識(shí)蒸餾所得學(xué)生網(wǎng)絡(luò)的SC與正常訓(xùn)練所得學(xué)生網(wǎng)絡(luò)的SC相當(dāng)。

教師網(wǎng)絡(luò)、FitNet學(xué)生網(wǎng)絡(luò)和AT學(xué)生網(wǎng)絡(luò)模型的資源占用情況如表4所示。

由表4可知，學(xué)生模型的總參數(shù)量和總浮點(diǎn)運(yùn)算數(shù)約是教師模型的三分之一。

結(jié)合表3可知，學(xué)生網(wǎng)絡(luò)用三分之一的資源開(kāi)銷(xiāo)在Challenge2017測(cè)試集上取得了和教師網(wǎng)絡(luò)相當(dāng)?shù)男ЧC明了基于知識(shí)蒸餾的房顫信號(hào)提取方法的有效性。

4 結(jié)論

針對(duì)現(xiàn)有的房顫信號(hào)提取網(wǎng)絡(luò)DT-FENet存在規(guī)模大、消耗資源多的問(wèn)題，本文通過(guò)知識(shí)蒸餾的方法對(duì)DT-FENet網(wǎng)絡(luò)模型進(jìn)行壓縮，學(xué)生網(wǎng)絡(luò)用三分之一的資源開(kāi)銷(xiāo)在Challenge2017測(cè)試集上取得了和教師網(wǎng)絡(luò)相當(dāng)?shù)男Ч?，解決了DT-FENet難以部署在嵌入式設(shè)備的問(wèn)題。本文只利用知識(shí)蒸餾對(duì)DT-FENet進(jìn)行壓縮，還可以利用剪枝和量化等方法進(jìn)行下一步研究。

參考文獻(xiàn)

[1] 國(guó)家心血管病中心.中國(guó)心血管健康與疾病報(bào)告2020[J].心肺血管病雜志，2021，40（10）：5.

[2] LIN C H. Frequency-domain features for ECG beat discrimina-tion using grey relational analysis-based classifier[J]. Compu-ters& Mathematics with Applications， 2008，55（4）：680-690.

[3] CASTELLS F， RIETA J J， MILLET J， et al. Spatiotemporal blind source separation approach to atrial activity estimation in atrial tachyarrhythmias[J]. IEEE Transactions on Biomedical Engineering， 2005，52（2）：258-267.

[4] LEMAY M， JACQUEMET V， FORCLAZ A， et al. Spatiotem-poral QRST cancellation method using separate QRS and T-waves templates[C]//Computers in Cardiology， 2005. IEEE， 2005：611-614.

[5] V?SQUEZ C， HERN?NDEZ A， MORA F， et al. Atrial activity enhancement by Wiener filtering using an artificial neural network[J]. IEEE Transactions on Biomedical Engineering， 2001，48（8）：940-944.

[6] DAI H， JIANG S， LI Y. Atrial activity extraction from single lead ECG recordings： Evaluation of two novel methods[J]. Computers in Biology and Medicine， 2013，43（3）：176-183.

[7] ROONIZI E K， SASSI R. An extended Bayesian framework for atrial and ventricular activity separation in atrial fibrillation[J]. IEEE Journal of Biomedical and Health Informatics， 2016， 21（6）：1573-1580.

[8] LU J， LUO J， XIE Z， et al. Dual temporal convolutional network for single-lead fibrillation waveform extraction[J]. Neural Com-puting and Applications， 2021，33（22）：15281-15292.

[9] HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv：1503.02531， 2015， 2（7）.

[10] ROMERO A， BALLAS N， KAHOU S E， et al. Fitnets： Hints for thin deep nets[J]. arXiv preprint arXiv：1412.6550， 2014.

[11] STRIDH M， SORNMO L. Spatiotemporal QRST cancellation techniques for analysis of atrial fibrillation[J]. IEEE Transac-tions on Biomedical Engineering， 2001，48（1）：105-111.

[12] ALCARAZ R， S?RNMO L， RIETA J J. Reference database and performance evaluation of methods for extraction of atrial fibrillatory waves in the ECG[J]. Physiological Measurement， 2019，40（7）：075011.

[13] CLIFFORD G D， LIU C， MOODY B， et al. AF classification from a short single lead ECG recording： The PhysioNet/ com-puting in cardiology challenge 2017[C]//2017 Computing in Cardiology （CinC）. IEEE， 2017：1-4.

[14] DAI H， JIANG S， LI Y. Atrial activity extraction from single lead ECG recordings： Evaluation of two novel methods[J]. Computers in Biology and Medicine， 2013，43（3）：176-183.

作者簡(jiǎn)介：

甘兆明，男，1995年生，碩士研究生，主要研究方向：模式識(shí)別、機(jī)器學(xué)習(xí)、生物信號(hào)處理。E-mail： 1803158832@qq.com

林家榮，男，1997年生，碩士研究生，主要研究方向：模式識(shí)別、機(jī)器學(xué)習(xí)、生物信號(hào)處理。E-mail：1440645304@qq.com