基于深度可分離卷積的心音自動(dòng)分類(lèi)

胡清禮 胡建強(qiáng) 余小燕 劉 洋

1(廈門(mén)理工學(xué)院計(jì)算機(jī)與信息工程學(xué)院 福建 廈門(mén) 361024) 2(上海工程技術(shù)大學(xué)電子電氣工程學(xué)院 上海 201620)

0 引 言

心音聽(tīng)診是醫(yī)生對(duì)心臟疾病進(jìn)行初步診斷的重要手段。心音包含心臟活動(dòng)的豐富信息,能夠反映心臟的健康水平。由于心音信號(hào)復(fù)雜且微弱,容易受到噪聲污染,因此通常需要醫(yī)生具有豐富的聽(tīng)診經(jīng)驗(yàn),而長(zhǎng)時(shí)間的聽(tīng)診,容易導(dǎo)致醫(yī)生的聽(tīng)覺(jué)疲勞,產(chǎn)生錯(cuò)誤的判斷。近年來(lái),研究者開(kāi)始采用機(jī)器學(xué)習(xí)對(duì)心音進(jìn)行自動(dòng)分類(lèi),更有利于早期發(fā)現(xiàn)心臟疾病并有效干預(yù)。

心音自動(dòng)分類(lèi)的基本流程包括去噪、分割、特征提取和分類(lèi)識(shí)別。其中,特征提取和分類(lèi)識(shí)別是影響心音準(zhǔn)確分類(lèi)的最重要的環(huán)節(jié),因而受到學(xué)術(shù)界廣泛關(guān)注。文獻(xiàn)[1]從心音信號(hào)中提取124個(gè)時(shí)頻特征,直接輸入Adaboost進(jìn)行分類(lèi),并提取心動(dòng)周期的4個(gè)頻帶訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network),使用閾值判決兩個(gè)分類(lèi)器的輸出結(jié)果作為最終的分類(lèi)結(jié)果。文獻(xiàn)[2]采用動(dòng)態(tài)時(shí)間規(guī)整DTW(Dynamic Time Warping)提取特征并結(jié)合梅爾頻率譜系數(shù)MFCC(Mel-Frequency Cepstral Coefficients)輸入到線性支持向量機(jī)實(shí)現(xiàn)分類(lèi)。文獻(xiàn)[3]提取時(shí)域的MFCC并組織成二維特征,基于CNN實(shí)現(xiàn)心音分類(lèi)。文獻(xiàn)[4]采用傅里葉變換提取心音的頻域特征,使用小波函數(shù)作為激活函數(shù)構(gòu)建CNN分類(lèi)模型。文獻(xiàn)[5]從原始心音數(shù)據(jù)中提取聲譜圖,并作為改進(jìn)的AlexNet模型的輸入特征進(jìn)行分類(lèi)識(shí)別。上述方法都有較高的準(zhǔn)確率,但需要人為設(shè)計(jì)特征因而不能很好表征特征,也容易存在特征丟失,從而影響后續(xù)分類(lèi)識(shí)別的準(zhǔn)確率。

針對(duì)上述問(wèn)題,大多數(shù)研究采用深度神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)心音數(shù)據(jù)的特征。文獻(xiàn)[6]構(gòu)建降噪自編碼器提取心音的深度特征,結(jié)合一維CNN進(jìn)行分類(lèi)識(shí)別,對(duì)比實(shí)驗(yàn)驗(yàn)證提出的降噪自編碼器特征表達(dá)水平優(yōu)于MFCC特征。文獻(xiàn)[7]采用CNN和循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)相結(jié)合提取頻域、時(shí)域特征,基于全連接層進(jìn)行心音的異常分類(lèi)具有較高的準(zhǔn)確率。文獻(xiàn)[8-9]基于CliqueNet和DenseNet對(duì)原始心音數(shù)據(jù)進(jìn)行自動(dòng)特征提取和分類(lèi)識(shí)別,都獲得較高的準(zhǔn)確率。文獻(xiàn)[10]采用AlexNet、VGG16和VGG19預(yù)訓(xùn)練模型提取深度特征,使用支持向量機(jī)完成心音的分類(lèi)識(shí)別。上述方法能夠提取心音的特征,但仍存在以下不足:模型較復(fù)雜,消耗大量計(jì)算資源,難以應(yīng)用到資源受限的設(shè)備,不利于心音自動(dòng)分類(lèi)的使用和推廣。針對(duì)上述不足,本文基于深度可分離卷積搭建一維深度神經(jīng)網(wǎng)絡(luò),用于自動(dòng)提取心音數(shù)據(jù)特征并進(jìn)行分類(lèi)識(shí)別。該方法使用3 s的心音片段作為網(wǎng)絡(luò)的輸入,通過(guò)構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)心音片段的潛在區(qū)分性特征,最后由softmax進(jìn)行分類(lèi)。本文直接使用基于深度可分離卷積的深度神經(jīng)網(wǎng)絡(luò)提取心音的深度區(qū)分性特征,不需要手工設(shè)計(jì)特征,避免因設(shè)計(jì)不當(dāng)造成一定程度的信息丟失而降低分類(lèi)效果;在PhysioNet/CinC 2016公開(kāi)心音數(shù)據(jù)集上獲得了97.70%的高準(zhǔn)確率以及0.985 9的F1得分,同其他深度學(xué)習(xí)模型相比,效果顯著提高,而且模型參量低,僅有0.02 MB。

1 方法介紹

本文提出的方法首先對(duì)心音數(shù)據(jù)進(jìn)行降噪處理,然后以3 s為間隔將一段心音劃分為片段,利用基于深度可分離卷積構(gòu)建的模型進(jìn)行特征自動(dòng)提取和分類(lèi),完成心音的自動(dòng)診斷。

1.1 去噪、分割片段

心音信號(hào)常常包含呼吸音、肺音等噪聲。首先,采用巴特沃斯帶通濾波器濾除心音信號(hào)中高于400 Hz和低于25 Hz的噪聲成分;然后,利用小波變換進(jìn)行二次降噪,小波函數(shù)采用db6,分解成6層,并將高頻細(xì)節(jié)系數(shù)置零,其余層使用該層系數(shù)最大值的10%作為閾值進(jìn)行處理。圖1顯示原始心音數(shù)據(jù)、巴特沃斯帶通濾波器濾波后的心音數(shù)據(jù)、小波變換去噪后的心音數(shù)據(jù)、巴特沃斯帶通濾波器濾波和小波變換相結(jié)合去噪后的心音數(shù)據(jù)。巴特沃斯帶通濾波器和小波變換相結(jié)合能有效去噪,較清晰展示完整的心音周期,包括第一心音(S1)、收縮期、第二心音(S2)和舒張期。由于一個(gè)完整的心音周期大約持續(xù)2.5～2.8 s,因此采用滑動(dòng)窗口分割,以3 s為一個(gè)周期。

圖1 不同方法對(duì)心音去噪的效果圖

1.2 基于深度可分離卷積的心音自動(dòng)分類(lèi)模型

本文利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,構(gòu)建基于深度可分離卷積的一維深度神經(jīng)網(wǎng)絡(luò)從原始心音數(shù)據(jù)中自動(dòng)學(xué)習(xí)心音的區(qū)分性特征。網(wǎng)絡(luò)一開(kāi)始使用莖干模塊結(jié)構(gòu)增強(qiáng)特征的表征能力,其后使用密集模塊和過(guò)渡模塊堆疊的方式提取深度特征,在密集模塊中使用深度可分離卷積降低網(wǎng)絡(luò)參數(shù)量以及在過(guò)渡模塊中引入通道注意力機(jī)制凸顯貢獻(xiàn)度高的通道特征,最后采用Softmax作為心音的分類(lèi)器,其結(jié)構(gòu)如圖2所示。

圖2 基于深度可分離卷積的心音自動(dòng)分類(lèi)模型

(1) 莖干模塊。整個(gè)網(wǎng)絡(luò)的輸入層之后,借鑒Wang等[11]的工作,采用一種莖干模塊(Stem_block),在增加少量計(jì)算量的同時(shí),提高特征表達(dá)能力,其結(jié)構(gòu)如圖3所示。第一個(gè)卷積層采用1×3大小的卷積核,其數(shù)量為24,步長(zhǎng)為2,提取輸入的初始特征,然后經(jīng)過(guò)批歸一化(Batch Normalization,BN)層和修正線性單元(Rectified Linear Unit,ReLU)激活函數(shù)進(jìn)行非線性化輸出特征圖G1,接著采用兩種方式對(duì)G1在不同方面提取特征,以增加特征的豐富度。一種是將G1依次通過(guò)1×1卷積層和1×3卷積層得到特征圖G2;另一種是將G1經(jīng)過(guò)最大池化層得到特征圖G3,最后在通道維度上進(jìn)行連接,并使用1×1卷積將通道數(shù)壓縮至24,得到特征圖G4。為了降低計(jì)算復(fù)雜度,使用步長(zhǎng)為2的最大池化壓縮特征維度,得到最終輸出特征圖Gout。整個(gè)莖干模塊計(jì)算如下所示:

圖3 Stem_block結(jié)構(gòu)圖

(1)

(2)

G3=MaxPool(G1)1×2

(3)

(4)

Gout=MaxPool[G4]1×3

(5)

F=ReLU[BN(·)]

(6)

式中:X1×w表示數(shù)據(jù)維度為w的輸入;W1×3、W1×1分別表示大小為1×3和1×1的卷積核,下標(biāo)i、j分別表示第i和第j個(gè)卷積核;cat表示連接操作;MaxPool()表示最大池化操作。

(2) 密集模塊。密集連接是Huang等[12]提出的應(yīng)用于DenseNet中的特征重用方式,其后面層的輸入與前面所有層的輸出特征相連接,這種方式能夠使得網(wǎng)絡(luò)變得簡(jiǎn)單,然而過(guò)多的密集連接增加了網(wǎng)絡(luò)的內(nèi)存訪問(wèn)成本。由于在大量的密集連接中,并不是所有的連接都是有效的,存在冗余的連接,對(duì)網(wǎng)絡(luò)的貢獻(xiàn)度低且增加了網(wǎng)絡(luò)的計(jì)算成本[13]。因此,本文為降低原有密集連接的連接數(shù),在每個(gè)密集模塊的最后對(duì)前面所有的輸出進(jìn)行連接,既保留了低層特征的重用,又避免了過(guò)多的冗余連接,從而降低了網(wǎng)絡(luò)的計(jì)算成本。本文構(gòu)建的簡(jiǎn)化版密集模塊結(jié)構(gòu)如圖4所示。除最后一個(gè)block外,每一個(gè)block(包括輸入)的輸出分為兩部分,一部分用于下一個(gè)block的輸入,提取更高層次的特征,另一部分用于最后的連接操作,使低層特征能夠得到重用,提高特征表達(dá)能力,其計(jì)算公式如下所示:

圖4 簡(jiǎn)化版密集模塊結(jié)構(gòu)圖

Gdense=cat(H1,H2,…,Hk)

(7)

式中:Gdense為簡(jiǎn)化版密集模塊的輸出;Hk表示密集模塊中第k個(gè)block的輸出特征,k≥1。

簡(jiǎn)化版密集模塊中的block采用兩種結(jié)構(gòu)以提高特征的豐富度,如圖5所示。本文為了降低密集模塊的計(jì)算復(fù)雜度,引入了一種深度可分離卷積DWconv(Depth-Wise Separable Convolution)[14]對(duì)特征進(jìn)行提取。深度可分離卷積通過(guò)將區(qū)域特征和通道特征分開(kāi)進(jìn)行運(yùn)算,有效降低參數(shù)量和計(jì)算復(fù)雜度。假設(shè)輸入為1×w×c,輸出通道數(shù)為k,其中w、c分別表示輸入的數(shù)據(jù)維度和通道數(shù)。采用深度可分離卷積,其參數(shù)量和計(jì)算量分別如式(8)和式(9)所示;若采用常規(guī)卷積,其參數(shù)量和計(jì)算量分別如式(10)和式(11)所示,顯而易見(jiàn),深度可分離卷積對(duì)于網(wǎng)絡(luò)的復(fù)雜度降低具有很大幫助。

圖5 block結(jié)構(gòu)圖

(8)

1×w×c×1×3+1×w×c×k=wc(3+k)

(9)

1×3×c×k=3ck

(10)

1×w×c×k×1×3=3wck

(11)

此外,使用h-swish激活函數(shù)代替ReLU激活函數(shù),進(jìn)一步地降低計(jì)算復(fù)雜度。其計(jì)算公式如下所示:

(12)

J=H_SWISH[BN(·)]

(13)

式中:Gk-1表示前一個(gè)簡(jiǎn)化版密集模塊的輸出,當(dāng)k=1時(shí),Gk-1=Gout;i表示第i個(gè)卷積核;C表示當(dāng)前卷積核數(shù)量;S表示深度可分離卷積。

為了防止過(guò)擬合,采用Dropout技術(shù),其概率設(shè)置為0.3。經(jīng)過(guò)實(shí)驗(yàn)調(diào)參,最終確定block1-block3采用stride為1的結(jié)構(gòu),block4采用stride為2的結(jié)構(gòu)。

(3) 過(guò)渡模塊。由密集模塊的輸出Gdense可以看到其輸出通道數(shù)是非常高的,不能直接作為下一個(gè)密集模塊的輸入。因此,過(guò)渡模塊的作用就是對(duì)密集模塊的輸出進(jìn)行降維處理。為了能夠提高網(wǎng)絡(luò)的特征表達(dá)能力,在過(guò)渡模塊中引入注意力機(jī)制(Attention),該注意力機(jī)制最初由Woo等[15]提出,主要用于輕量級(jí)神經(jīng)網(wǎng)絡(luò)中,參數(shù)量極低。本文用卷積操作替換了其中的全連接層,降低參數(shù)量,其結(jié)構(gòu)如圖6所示。

圖6 過(guò)渡模塊結(jié)構(gòu)圖

(14)

式中:σ表示Sigmoid激活函數(shù);Conv表示兩層卷積計(jì)算;AvgPool、MaxPool分別表示全局平均池化和全局最大池化計(jì)算。

(4) 分類(lèi)。分類(lèi)是模型的最后一步,心音主要被分為正常和異常兩個(gè)類(lèi)別,用0表示正常,用1表示異常。平均池化層對(duì)網(wǎng)絡(luò)提取的特征進(jìn)行求平均操作并通過(guò)全連接層將特征映射到2個(gè)通道維度,最后使用Softmax計(jì)算2個(gè)通道的概率值,取概率最大值的索引值作為網(wǎng)絡(luò)的最終輸出類(lèi)別。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

訓(xùn)練數(shù)據(jù)采用PhysioNet/CinC 2016比賽公開(kāi)的心音數(shù)據(jù)集[16]。該數(shù)據(jù)集有a-f六個(gè)子數(shù)據(jù)集,總共有3 240條心音記錄,其中2 575條正常心音,665條異常心音,心音記錄的采樣率為2 000 Hz。預(yù)處理步驟如下:每條數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理;使用librosa庫(kù)中的resample函數(shù)將心音的采樣率降至1 000 Hz;去噪和分割處理,共得到31 307條心音片段,其中正常心音片段24 967條,異常心音片段6 340條。

2.2 模型訓(xùn)練與結(jié)果

為了使模型充分學(xué)習(xí)到數(shù)據(jù)的潛在特征,盡可能采用較多的訓(xùn)練數(shù)據(jù)使得充分訓(xùn)練,因此,本文將數(shù)據(jù)集按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。使用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練,用驗(yàn)證集挑選網(wǎng)絡(luò)中的超參數(shù),訓(xùn)練完畢后使用測(cè)試集評(píng)估網(wǎng)絡(luò)。訓(xùn)練中,batch size設(shè)置為64,采用加權(quán)交叉熵?fù)p失函數(shù)對(duì)模型進(jìn)行監(jiān)督,正異常比值為1∶4,采用Adam優(yōu)化器函數(shù)對(duì)模型進(jìn)行訓(xùn)練。使用GTX 1050TI顯卡進(jìn)行加速訓(xùn)練,總共迭代150次。為了尋找模型的最佳參數(shù),本文進(jìn)行了多輪訓(xùn)練,通過(guò)不斷的調(diào)整和優(yōu)化,尋找到最佳的模型結(jié)構(gòu)。最佳模型訓(xùn)練過(guò)程中的訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率和損失值變化曲線如圖7所示。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中常出現(xiàn)過(guò)擬合現(xiàn)象,若出現(xiàn)過(guò)擬合現(xiàn)象,則驗(yàn)證集的損失值會(huì)逐漸偏離訓(xùn)練集的損失值,產(chǎn)生較大的偏差。從驗(yàn)證集的損失曲線可以看出,其值偶爾會(huì)有較大的波動(dòng),但整體上與訓(xùn)練集的損失值趨勢(shì)一致,未出現(xiàn)完全偏離訓(xùn)練集損失值的情況。因此,本文構(gòu)建的網(wǎng)絡(luò)在訓(xùn)練過(guò)程中沒(méi)有出現(xiàn)過(guò)擬合現(xiàn)象且收斂性好,損失值在0.1以下,準(zhǔn)確率達(dá)到95%以上。在測(cè)試集上獲得了97.7%的準(zhǔn)確率。

圖7 訓(xùn)練集和驗(yàn)證集在訓(xùn)練過(guò)程中的準(zhǔn)確率和損失值變化曲線

2.3 實(shí)驗(yàn)結(jié)果及討論

采用靈敏度(Sensitivity,S)、特異性(Specificity,Sp)、查準(zhǔn)率(Precision,P)、準(zhǔn)確率(Accuracy,A)和F1得分作為模型評(píng)價(jià)指標(biāo)。其中,靈敏度和特異性分別用于衡量識(shí)別正確的正樣本和負(fù)樣本的百分比;查準(zhǔn)率衡量預(yù)測(cè)的正樣本中的正確率;準(zhǔn)確率主要衡量所有識(shí)別正確樣本的百分比;F1得分是靈敏度和查準(zhǔn)率的調(diào)和平均值,能夠衡量模型的總體分類(lèi)能力。各指標(biāo)計(jì)算如式(15)～式(19)所示。

(15)

(16)

(17)

(18)

(19)

式中:TP為真陽(yáng)性樣本(True positive);FP為假陽(yáng)性樣本(False positive);TN為真陰性樣本(True negative);FN為假陰性樣本(False negative)。

表1給出了在PhysioNet/CinC 2016數(shù)據(jù)集上不同研究方法的分類(lèi)結(jié)果。文獻(xiàn)[5]從原始心音數(shù)據(jù)中提取聲譜圖作為改進(jìn)的AlexNet的輸入特征進(jìn)行分類(lèi)識(shí)別,獲得了僅比本文略低的準(zhǔn)確率;文獻(xiàn)[4]采用傅里葉變換提取頻域特征作為網(wǎng)絡(luò)的輸入,使用小波函數(shù)作為激活函數(shù)構(gòu)建CNN進(jìn)行分類(lèi)識(shí)別,比文獻(xiàn)[5]準(zhǔn)確率低了0.31%;文獻(xiàn)[3]提取梅爾頻率譜系數(shù)構(gòu)建二維特征作為網(wǎng)絡(luò)的輸入,效果有所降低;文獻(xiàn)[8]和文獻(xiàn)[9]直接使用原始的心音數(shù)據(jù)分別輸入到一維的Clique網(wǎng)絡(luò)和一維的Dense網(wǎng)絡(luò),利用所構(gòu)建網(wǎng)絡(luò)的超強(qiáng)學(xué)習(xí)能力自動(dòng)提取特征和分類(lèi)識(shí)別,獲得了相對(duì)不錯(cuò)的效果,尤其是一維Dense網(wǎng)絡(luò)在特異性上取得了較高的結(jié)果?？梢钥闯霰疚拇罱ǖ哪Ｐ瞳@得了97.70%的準(zhǔn)確率、98.20%的靈敏度、92.22%的特異性、0.985 9的F1得分,整體效果優(yōu)于其他幾個(gè)模型。

表1 在PhysioNet/CinC 2016數(shù)據(jù)集上不同研究方法的分類(lèi)結(jié)果

為了驗(yàn)證不同模塊對(duì)模型性能的提升效果,本文建立了基礎(chǔ)的DNN模型,該模型中莖干模塊和深度可分離卷積分別由卷積核大小為7和3的常規(guī)卷積操作替代,在過(guò)渡模塊中去除注意力機(jī)制。然后在基礎(chǔ)DNN模型中分別加入莖干模塊、通道注意力機(jī)制和深度可分離卷積,各個(gè)模型使用的網(wǎng)絡(luò)結(jié)構(gòu)保持一致。最后在相同的數(shù)據(jù)集劃分條件下,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試,最終結(jié)果如表2所示?？梢杂^察到,各個(gè)模塊的加入對(duì)模型有一定的提升效果,且能夠獲得高的F1得分。本文構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型(DNN+stem_block+attention+DWconv)在一開(kāi)始使用莖干塊結(jié)構(gòu)增強(qiáng)了模型對(duì)原始心音數(shù)據(jù)的初始特征表達(dá)能力,并在后續(xù)密集模塊中重復(fù)利用低層特征,進(jìn)一步提升網(wǎng)絡(luò)的特征表達(dá)能力,在過(guò)渡模塊中引入通道注意力機(jī)制,突出貢獻(xiàn)度大的通道特征,使得提取的特征更有利于分類(lèi),區(qū)分性更高。

表2 不同的模塊對(duì)模型的性能影響

本文所提出的方法與文獻(xiàn)[8]和文獻(xiàn)[9]都是使用原始心音數(shù)據(jù)輸入到網(wǎng)絡(luò)中自動(dòng)提取特征并進(jìn)行分類(lèi)識(shí)別。其中,一維Dense網(wǎng)絡(luò)參數(shù)量為0.11 MB;一維Clique網(wǎng)絡(luò)參數(shù)量為0.19 MB;而本文提出的一維深度神經(jīng)網(wǎng)絡(luò)參數(shù)量?jī)H為0.02 MB,在不使用深度可分離卷積的情況下,網(wǎng)絡(luò)的參數(shù)量為0.023 MB,比前者多了0.003 MB的參數(shù)量,因此,在保證準(zhǔn)確率的前提下,使用深度可分離卷積可進(jìn)一步降低參數(shù)量,更有利于運(yùn)用在資源受限的終端設(shè)備中。

3 結(jié) 語(yǔ)

本文構(gòu)建了一種基于深度可分離卷積的心音自動(dòng)分類(lèi)模型用于心音特征自動(dòng)提取和分類(lèi),直接利用原始心音數(shù)據(jù)作為網(wǎng)絡(luò)的輸入進(jìn)行潛在區(qū)分性特征的提取并進(jìn)行分類(lèi)識(shí)別,避免人工設(shè)計(jì)特征時(shí),因存在一定的信息丟失,不能很好地表征特征,從而降低了識(shí)別效果。采用的深度可分離卷積能夠有效降低網(wǎng)絡(luò)的參數(shù)量。此外,為了提升網(wǎng)絡(luò)的特征表達(dá)能力,引入了通道注意力機(jī)制。在PhysioNet/CinC 2016數(shù)據(jù)集上對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和調(diào)優(yōu),在劃分的測(cè)試集上獲得了97.7%的高準(zhǔn)確率,同時(shí)F1得分達(dá)到了0.985 9,同其他模型相比有一定提高。此外整個(gè)網(wǎng)絡(luò)僅有0.02 MB參數(shù)量,能夠部署在資源受限的終端上,對(duì)遠(yuǎn)程醫(yī)療、智能輔助診斷的發(fā)展具有重要意義。