基于多核卷積和多頭自注意力的心電圖身份識(shí)別方法

姚嘉偉 蔡延光

摘要：為提高心電圖身份識(shí)別過程中神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率及識(shí)別正確率，提出一種基于多核卷積和多頭自注意力的心電圖身份識(shí)別方法。首先，利用多個(gè)大小不同的卷積核對(duì)預(yù)處理后的單個(gè)心拍進(jìn)行特征提?。蝗缓?，采用多頭自注意力模塊加強(qiáng)卷積通道中全局特征的提取效果；接著，將特征通道一分為二進(jìn)行半實(shí)例歸一化，使多頭自注意力模塊能夠關(guān)注歸一化前后的特征，提升神經(jīng)網(wǎng)絡(luò)的收斂速度；最后，將多核多頭自注意力模塊進(jìn)行ResNet殘差連接。該方法在QT數(shù)據(jù)集上經(jīng)過20個(gè)epoch訓(xùn)練，實(shí)現(xiàn)了94.92%的識(shí)別正確率。利用ResNet進(jìn)行對(duì)比實(shí)驗(yàn)的結(jié)果表明，該方法能夠有效地提升神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率及識(shí)別正確率。

關(guān)鍵詞：多核卷積；多頭自注意力機(jī)制；半實(shí)例歸一化；心電圖；身份識(shí)別

中圖分類號(hào)：TP391 ?????????文獻(xiàn)標(biāo)志碼：A ???????????文章編號(hào)：1674-2605（2023）05-0005-06

DOI：10.3969/j.issn.1674-2605.2023.05.005

ECG Identity Recognition Method Based on Multi-kernel?Convolution and Multi-head Self-attention

YAO Jiawei ?CAI Yanguang

（College of Automation， Guangdong University of Technology， Guangzhou 510006， China）

Abstract： To improve the training efficiency and recognition accuracy of neural networks in the process of electrocardiogram identity recognition， a electrocardiogram identity recognition method based on multi-kernel convolution and multi-head self-attention is proposed. Firstly， feature extraction is performed on a preprocessed single heartbeat using multiple convolution checks of different sizes; Then， a multi-head self-attention module is used to enhance the extraction effect of global features in the convolutional channel; Next， the feature channels are divided into two for semi instance normalization， enabling the multi-head self-attention module to focus on the features before and after normalization， thereby improving the convergence speed of the neural network; Finally， connect the multi-kernel and multi-head self-attention module to ResNet residual. This method achieved a recognition accuracy of 94.92% after 20 epochs of training on the QT dataset. The results of comparative experiments using ResNet show that this method can effectively improve the training efficiency and recognition accuracy of the neural network.

Keywords： multi-kernel convolution; multi-head self-attention mechanism; semi instance normalization; electrocardiogram; identity recognition

0??引言

心電圖（electrocardiogram， ECG）是一種無(wú)創(chuàng)檢查手段，因價(jià)格便宜、操作簡(jiǎn)便，是心臟疾病初篩的重要方式。隨著人們對(duì)加密需求的不斷提高，生物認(rèn)證的方式逐漸成為熱點(diǎn)研究方向。利用ECG進(jìn)行身份識(shí)別就是一種有效的生物認(rèn)證方式。

近年來(lái)，利用ECG進(jìn)行身份識(shí)別引起了許多學(xué)者的關(guān)注。BIEL等^[1]通過手動(dòng)提取ECG的形態(tài)特征并采用相似分類法進(jìn)行身份識(shí)別，證明了利用ECG進(jìn)行身份識(shí)別的可行性。LEE等^[2]利用一種可擴(kuò)展的極限學(xué)習(xí)機(jī)進(jìn)行ECG身份識(shí)別，采用增量學(xué)習(xí)的策略

解決了由于新成員加入使模型參數(shù)發(fā)生更新而導(dǎo)致的災(zāi)難性遺忘問題。DALAL等^[3]從ECG中提取多累積量特征，利用內(nèi)核極限學(xué)習(xí)機(jī)（kernel extreme learning machine，?KELM）對(duì)基于多累積量特征的ECG進(jìn)行身份識(shí)別，雖然取得了較高的識(shí)別正確率，但該方法不是端對(duì)端的，且需要先對(duì)ECG進(jìn)行多階統(tǒng)計(jì)量的特征計(jì)算，影響識(shí)別效率。SRIVASTVA等^[4]將殘差網(wǎng)絡(luò)（ResNet）和DenseNet的預(yù)訓(xùn)練模型進(jìn)行堆疊，利用ECG對(duì)堆疊后的模型進(jìn)行微調(diào)，構(gòu)成身份識(shí)別模型，雖能獲得較好的識(shí)別效果，但訓(xùn)練開銷巨大。LI等^[5]將極端隨機(jī)樹（extra?tree，?ET）和統(tǒng)一流形逼近與投影（uniform manifold approximation and projection，?UMAP）兩種方法疊加，在ECG中提取集成特征，再利用極限梯度提升器（XGBoost）對(duì)集成特征進(jìn)行身份識(shí)別，雖然能夠達(dá)到96.88%的識(shí)別正確率，但需要復(fù)雜的特征工程。JYOTISHI等^[6]提出基于分層的長(zhǎng)短期記憶模型和注意力機(jī)制的ECG身份識(shí)別系統(tǒng)，在250個(gè)epoch訓(xùn)練后，取得較好的識(shí)別效果。TUNCER等^[7]提出一種基于Tietze模式和鄰域成分分析（neighborhood component analysis， NCA）的身份識(shí)別方法，雖然表現(xiàn)出色，但處理過程十分繁瑣。楊向林等^[8]提出一種小波分解和特征融合的ECG身份識(shí)別方法，通過將波形特征和小波特征融合，利用相關(guān)系數(shù)閾值法對(duì)融合特征進(jìn)行身份識(shí)別，達(dá)到95%的識(shí)別正確率。雖然過往利用ECG進(jìn)行身份識(shí)別的研究已經(jīng)提出了許多有效的方法，但這些方法僅關(guān)注識(shí)別正確率，沒有考慮模型深度和訓(xùn)練效率的問題。

為減少模型深度，提高訓(xùn)練效率，并保證模型的識(shí)別正確率，本文提出基于多核卷積和多頭自注意力的多核多頭自注意力（multi-kernel multi-head self-attention， MKMSA）模塊，并利用ResNet對(duì)MKMSA模塊進(jìn)行連接，構(gòu)造并訓(xùn)練能夠準(zhǔn)確進(jìn)行身份識(shí)別的方法。

1 ?數(shù)據(jù)處理

1.1 ?數(shù)據(jù)預(yù)處理

ECG中一個(gè)完整的P、QRS、T波的過程稱為一個(gè)心拍。在不同的采樣頻率下，ECG心拍的波形會(huì)出現(xiàn)不同步的現(xiàn)象，容易導(dǎo)致神經(jīng)網(wǎng)絡(luò)將其預(yù)測(cè)為2個(gè)不同的心拍；同時(shí)，神經(jīng)網(wǎng)絡(luò)無(wú)法對(duì)不同長(zhǎng)度的數(shù)據(jù)進(jìn)行處理。為此，需對(duì)ECG進(jìn)行預(yù)處理，過程如下：

1） 將ECG進(jìn)行重采樣，采樣頻率為360 Hz；

2） 根據(jù)專家標(biāo)注，截取P波前40 ms到T波結(jié)束的片段作為一個(gè)心拍數(shù)據(jù)；

3） 將每個(gè)心拍的數(shù)據(jù)長(zhǎng)度調(diào)整為512個(gè)樣本點(diǎn)，在長(zhǎng)度不足的心拍數(shù)據(jù)后用0填充。

正常的心拍數(shù)據(jù)長(zhǎng)度一般為0.8～1.2 s，預(yù)處理后的心拍數(shù)據(jù)長(zhǎng)度為1.42 s，既能保證心拍的完整性，又能滿足神經(jīng)網(wǎng)絡(luò)的輸入要求。

1.2 ?數(shù)據(jù)劃分

對(duì)不同采樣者的ECG進(jìn)行獨(dú)熱編碼標(biāo)注，并將心拍數(shù)量的70%作為訓(xùn)練集，30%作為測(cè)試集，保證了每個(gè)身份標(biāo)簽對(duì)應(yīng)的數(shù)據(jù)在訓(xùn)練集和測(cè)試集的分布相同。

2 ?識(shí)別方法

2.1 ?多核卷積通道

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，卷積核大小是一個(gè)難以確定和調(diào)整的超參數(shù)。本文采用Inception模塊的思想^[9]，并聯(lián)卷積核大小不一的卷積神經(jīng)網(wǎng)絡(luò)。ECG的信號(hào)較長(zhǎng)，為了盡可能地?cái)U(kuò)大卷積核，同時(shí)減少網(wǎng)絡(luò)參數(shù)，采用空洞卷積層作為多核卷積通道的構(gòu)成部分。通過這種方式，神經(jīng)網(wǎng)絡(luò)在反向傳播的過程中，能自動(dòng)地從最適合的通道快速擬合，提升網(wǎng)絡(luò)的訓(xùn)練速度。

2.2 ?特征權(quán)重調(diào)整

為提高特征的提取能力，采用注意力機(jī)制^[10]廣泛關(guān)注卷積通道中的整體特征，并對(duì)權(quán)重進(jìn)行調(diào)整。自注意力機(jī)制的計(jì)算過程如下：

2.5 ?神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

采用ResNet的殘差連接對(duì)MKMSA模塊進(jìn)行連接，本文方法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2中，2個(gè)卷積層主要用于調(diào)整輸入和輸出MKMSA模塊的特征通道數(shù)量；線性層整合具有類別區(qū)分性的特征，用于身份識(shí)別。

2.6 ?算法流程

基于多核卷積和多頭自注意力的心電圖身份識(shí)別方法的訓(xùn)練流程、識(shí)別流程分別如算法1、算法2所示。

3 ?實(shí)驗(yàn)

3.1 ?實(shí)驗(yàn)環(huán)境

本文方法采用Pytorch框架實(shí)現(xiàn)，實(shí)驗(yàn)采用的編程語(yǔ)言為Python，處理器為Intel I7-12700KF，內(nèi)存為32 GB，顯卡為 Nvidia RTX 3060Ti。

3.2??實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)采用Physionet^[14]的公開數(shù)據(jù)庫(kù)QT^[15]。QT數(shù)據(jù)庫(kù)包括105段15 min采樣頻率為250 Hz?的ECG，且含有專家標(biāo)注的P、QRS、T波邊界和峰值。

3.3 ?參數(shù)設(shè)置

實(shí)驗(yàn)采用交叉熵?fù)p失函數(shù)、選擇隨機(jī)梯度下降算法作為優(yōu)化器，學(xué)習(xí)率為0.002，batch size為256，訓(xùn)練了20個(gè)epoch，本文方法的神經(jīng)網(wǎng)絡(luò)參數(shù)如表1所示。

3.4 ?評(píng)估指標(biāo)

實(shí)驗(yàn)采用正確率（Accuracy）對(duì)本文方法進(jìn)行評(píng)估，計(jì)算公式為

式中：TP為真陽(yáng)性的數(shù)量，表示在預(yù)測(cè)的身份結(jié)果中與真實(shí)身份相匹配的人數(shù)，FP為假陽(yáng)性的數(shù)量，表示在預(yù)測(cè)的身份結(jié)果中與真實(shí)身份不匹配的人數(shù)。

3.5 ?實(shí)驗(yàn)結(jié)果與分析

對(duì)本文方法的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練曲線如圖3所示。

由圖4可知：本文方法能夠正確地識(shí)別大部分心電圖；同時(shí)由公式（6）對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，本文方法在20個(gè)epoch上獲得94.92%的識(shí)別正確率。

為進(jìn)行對(duì)照實(shí)驗(yàn)，設(shè)計(jì)一個(gè)參數(shù)數(shù)量與本文神經(jīng)網(wǎng)絡(luò)相當(dāng)?shù)腞esNet，并對(duì)其進(jìn)行訓(xùn)練，訓(xùn)練曲線如圖5所示。

由圖5可知，ResNet在接近80個(gè)epoch時(shí)，訓(xùn)練集的正確率才超過90%；對(duì)比本文提出的神經(jīng)網(wǎng)絡(luò)，其收斂速度較慢。

在對(duì)照實(shí)驗(yàn)中，采用相同的優(yōu)化器和損失函數(shù)在ResNet上訓(xùn)練了200個(gè)epoch，結(jié)果如圖6所示。

由圖6可知：ResNet中出現(xiàn)了部分心電圖無(wú)法正確識(shí)別的情況，同時(shí)由公式（6）對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，其正確率為89.45%；相比本文方法，在保證正確率的情況下提高了訓(xùn)練效率，加快了神經(jīng)網(wǎng)絡(luò)的收斂。

4 ?結(jié)論

為了減少身份識(shí)別中神經(jīng)網(wǎng)絡(luò)的深度，提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，本文設(shè)計(jì)了一種MKMSA模塊并構(gòu)建了基于多核卷積和多頭自注意力的心電圖身份識(shí)別方法，在公開數(shù)據(jù)集QT數(shù)據(jù)集上獲得的識(shí)別正確率為94.92%，且有效地提升了訓(xùn)練效率。在未來(lái)的研究中，隨著聯(lián)邦機(jī)器學(xué)習(xí)的發(fā)展能夠給心電圖提供更好的隱私保護(hù)，使基于心電圖的生物識(shí)別方法能夠應(yīng)用到更多現(xiàn)實(shí)的場(chǎng)景。

參考文獻(xiàn)

參考文獻(xiàn)

[1]BIEL L， PETTERSSON O， PHILIPSON L， et al. ECG analysis： a new approach in human identification[J]. IEEE Transactions on Instrumentation and Measurement， 2001，50（3）：808-812.

[2]LEE C L， CHEN Y T， WU A Y. A scalable extreme learning machine （S-ELM） for class-incremental ECG-based user identification[C]//2021 IEEE International Symposium on Circuits and Systems （ISCAS）. IEEE， 2021： 1-5.

[3]DALAL S， VISHWAKARMA V P. Classification of ECG signals using multi-cumulants based evolutionary hybrid classifier[J]. Scientific Reports， 2021， 11（1）： 15092.

[4]SRIVASTVA R， SINGH Y N， SINGH A. Statistical independence of ECG for biometric authentication[J]. Pattern Recognition， 2022， 127： 108640.

[5]LI M， SI Y， YANG W， et al. ET-UMAP integration feature for ECG biometrics using stacking[J]. Biomedical Signal Processing and Control， 2022， 71： 103159.

[6]JYOTISHI D， DANDAPAT S. An ECG biometric system using hierarchical lstm with attention mechanism[J]. IEEE Sensors Journal， 2021， 22（6）： 6052-6061.

[7]TUNCER T， AYDEMIR E， DOGAN S， et al. New human identification method using Tietze graph-based feature generation[J]. Soft Computing， 2021， 25（21）： 13437-13449.

[8]楊向林，嚴(yán)洪，李延軍，等.基于小波分解和數(shù)據(jù)融合方法的ECG身份識(shí)別[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程，2009，22（4）：296-301.

[9]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015：1-9.

[10]VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[J]. Advances in Neural Information Processing Systems， 2017， 30.

[11]ULYANOV D， VEDALDI A， LEMPITSKY V. Instance normalization： The missing ingredient for fast stylization[J]. arXiv preprint arXiv：1607.08022， 2016.

[12]IOFFE S， SZEGEDY C. Batch normalization： Accelerating deep network training by reducing internal covariate shift[C]// International Conference on Machine Learning， 2015： 448-456.

[13]CHEN L， LU X， ZHANG J， et al. Hinet： Half instance normalization network for image restoration[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021：182-192.

[14]GOLDBERGER A L， AMARAL L A N， GLASS L， et al. PhysioBank， PhysioToolkit， and PhysioNet： components of a new research resource for complex physiologic signals[J]. Circulation， 2000，101（23）： e215-e220.

[15]LAGUNA P， MARK R G， GOLDBERG A， et al. A database for evaluation of algorithms for measurement of QT and other waveform intervals in the ECG[C]//Computers in Cardiology 1997. IEEE， 1997：673-676.

作者簡(jiǎn)介：

姚嘉偉，男，1996年生，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)。E-mail：?yaojw199@163.com

蔡延光，男，1963年生，博士，教授/博士生導(dǎo)師，主要研究方向：網(wǎng)絡(luò)控制與優(yōu)化、組合優(yōu)化、智能優(yōu)化、智能交通系統(tǒng)等。E-mail： caiyg99@163.com