基于HSMM與CRNN的心音分類研究

陳濤　周升超　劉曉軍

摘 要：心音是可以反映人體心臟及血管瓣膜狀態(tài)的一種體征信號，正常與異常心音分類在心臟類疾病的研究中具有重要作用。目前的深度學習心音分類研究大多采用無分割的方法，本研究通過PhysioNet心音數(shù)據(jù)庫獲取的心音信號，進行一系列預處理，基于HSMM（Hidden semi-Markov Model）分割心音結合CRNN（Convolutional Recurrent Neural Network）分類，與未進行心音分割的分類方法對比，本研究采用的方法在F1分數(shù)和非異常類的敏感度有所提高，能夠根據(jù)心音信號對正常、異常心音分類。

關鍵詞：CRNN;HSMM;心音分割;心音分類

中圖分類號：R318.04 文獻標識碼：A 文章編號：1674-1064（2022）03-0-03

DOI：10.12310/j.issn.1674-1064.2022.03.004

心音信號中蘊含了大量的心臟生理信息，其中包含心臟各心腔、瓣膜以及血管的運行狀態(tài)[1]，是診斷心血管疾病常用的醫(yī)學信號之一，可以揭示許多病理性心臟狀況，如心律失常、瓣膜疾病、心力衰竭等。

心音給心臟疾病的評估提供重要線索，可以作為初步診斷的依據(jù)，在心血管疾病的早期檢測中發(fā)揮重要作用。通過心音聽診可以分析心臟狀態(tài)，只有擁有豐富聽診經驗的醫(yī)生，才能得出較為準確的診斷結果。據(jù)《2020年中國心血管健康與疾病報告概要》數(shù)據(jù)顯示，我國心血管患病率處于持續(xù)上升階段。據(jù)我國疾病死亡人數(shù)最新統(tǒng)計報告顯示，我國每年發(fā)生心源性猝死的人數(shù)約為54.4萬。隨著心臟疾病患者不斷增多，快速并準確地診斷心臟疾病患者是相關醫(yī)療人員面臨的重大問題。因此，通過計算機輔助診斷有助于心臟類疾病患者的早期診斷與治療。

由于以往的研究在進行心音分類時很少進行分割預處理，會導致精確度不高、可靠性低等問題。因此，本研究采用HSMM分割心音結合CRNN對心音信號分類。

1 心音分割與特征提取

1.1 基于HSMM的心音分割

HMM是一個雙重隨機過程，一個隨機過程描述的是狀態(tài)之間的轉移，另一個隨機過程描述的是狀態(tài)與觀測值之間的統(tǒng)計對應關系。在HMM中不能直接觀測到真實狀態(tài)，只能通過觀測值推斷出隱藏狀態(tài)。隱馬爾可夫模型能夠很好地描述動態(tài)短時平穩(wěn)信號的平穩(wěn)性和可變性，其動態(tài)時間序列建模能力很強，在訓練和識別時計算量小。因此，HMM符合心音序列的統(tǒng)計模型，能夠較好地描述心音序列的短時平穩(wěn)性及整體的非平穩(wěn)性[2]。

一般來說，HMM可以簡化為公式（1）：

（1）

其中，π為初始狀態(tài)概率分布，A為狀態(tài)轉移概率矩陣，B為觀察值概率矩陣。隱藏狀態(tài)序列由π和A決定，B決定了觀察序列。

在HMM中，模型在一個狀態(tài)停留的時間d的概率為：

（2）

其中，aii為轉移概率。由于上述公式是指數(shù)分布，概率P隨著時間的增長呈指數(shù)下降，這顯然不適用于心音分析。

當利用HMM分割心音信號時，給定一段心音信號，則心音信號或者心音信號的特征值可作為觀測序列，隱藏狀態(tài)序列則是W={W1，W2，W3，W4}。W1是S1（第一心音），W2為收縮期，W3是S2（第二心音），W4為舒張期。

假設t時刻的狀態(tài)為St，觀測序列為O={O1，O2，O3，…，Ot}，則狀態(tài)轉移矩陣A={aij}，aij是Wi轉移到Wj的概率：

（3）

心音的狀態(tài)必定是按照S1→收縮期→S2→舒張期→S1轉移，所以，a12=a23=a34=a41=1。

觀察值概率矩陣B={βj（Ot）}，βj（Ot）是j狀態(tài)在t時刻輸出Ot的概率，初始狀態(tài)概率π是模型在初始時刻某個狀態(tài)出現(xiàn)的概率，在心音采集上各狀態(tài)πi=0.25（1≤i≤4）。

通常來說，HMM會使用維特比算法求解心音信號的最優(yōu)狀態(tài)序列，δt（j）是t時刻隱藏狀態(tài)為j所有可能的狀態(tài)轉移路徑j1，j2，...jt中的概率最大值，通過公式（4）可以計算得到δt（j），通過公式（5）可以得到δt（j）的最大值。

（4）

（5）

計算出時刻T最大的δT（j），即最優(yōu)隱藏狀態(tài)序列出現(xiàn)的概率，時刻T最大的Ψt（j）即時刻T最優(yōu)的隱藏狀態(tài)。如公式（8）所示，利用局部狀態(tài)Ψ（i）回溯最終得到最優(yōu)隱藏狀態(tài)序列it*。

（6）

（7）

（8）

可以由HMM（隱馬爾可夫模型）擴展而來的HSMM在Markov鏈中加入狀態(tài)駐留概率分布p={Pi（d）}，p表示在持續(xù)時間d內狀態(tài)為i的概率，可以把預測的狀態(tài)由某一時間點擴展到一個時間段，有效解決用HMM來分割心音的局限性。因此，可以記HSMM為：

（9）

則適合HSMM的維特比解碼算法需要加入持續(xù)時間密度，表達式如公式（10）所示。

（10）

1.2 心音分割

MB Malarvili等人提出通過參考心電信號標注[3]提高分割精度，然而，當心電信號異常的時候[4]，使得依靠ECG信號標注分割心音的方法不可行。雖然通過人工標注心音的方法，其精度會略低于參考ECG信號的方法，但是其操作簡單，標記的誤差在容忍的范圍之中，所以成為本研究的首選標注方法。

訓練分割模型需要大量的心音數(shù)據(jù)。本研究選取心音數(shù)據(jù)庫中（PhysioNet）的1 000條正常心音數(shù)據(jù)與1 000條異常心音數(shù)據(jù)共2 000條心音信號。將原始數(shù)據(jù)集按照8∶1∶1的比例拆分為訓練集、驗證集和測試集，分別用于訓練和評估心音分割的模型。

從訓練集中的PCG記錄中得到同態(tài)包絡，希爾伯特包絡，功率譜密度包絡，離散小波變換包絡等特征值，并對訓練集PCG記錄中的第一心音（S1）和第二心音（S2）位置進行了人工標注，經過訓練得到HSMM分割模型。CD542A59-97E9-4ADB-9841-AE76403D50F2

測試心音分割結果如圖1、圖2所示。

1.3 FBank特征提取

隨著卷積神經網絡（Convolutional neural networks，CNN）[5-6]逐漸應用到音頻領域，研究表明，人耳對聲音頻率的感知是非線性的，具有對低頻音頻信號敏感度高、對于高頻信號敏感度低的特點，Mel刻度更符合人耳的聽覺特性，將心音信號的頻域變換到人耳感知頻域中，可以更好地模擬出人耳的效果。

其中，頻率與Mel刻度的轉換如公式（11）所示：

（11）

FBank是模擬人耳聽覺特性提出的參數(shù)，隨著深度學習的發(fā)展，作為二維特征的FBank頻譜特征逐漸成為能夠利用的音頻特征，與梅爾頻率倒譜系數(shù)（Mel-Frequency Cepstral Coefficients，MFCCs）相比，F(xiàn)bank沒有進行離散余弦變換（discrete cosine transform，DCT）。因為DCT造成音頻信號的高度非線性成分丟失嚴重，所以FBank特征包含更多信息，并且提取的FBank特征更符合聲音信號的本質，可以作為心音分類的特征使用。實驗已經證明，MFCCs在對高度相關信息不敏感的神經網絡中的效果不如FBank。

因此，本研究選用FBank特征替代傳統(tǒng)的MFCCs作為卷積神經網絡的輸入特征。FBank特征的提取流程如圖3所示。

2 卷積循環(huán)神經網絡架構

2.1 CRNN

CNN是由多個卷積層、池化層以及全連接層組成的前饋神經網絡。CNN模型網絡在處理圖像信息上具有很好的效果。近幾年，使用頻譜圖作為深度學習的輸入已經得到了廣泛的應用[7]。

由于心音信號本身是一種時間序列，F(xiàn)Bank頻譜圖含有時域的前后相關的一些特征，其橫軸為時間軸，縱軸表示該時間上不同的FBank特征值，CNN中的卷積層可視作對感受野區(qū)域的特征提取，采用n*1維的卷積核可對同一時間內的特征進行提取，隨后的池化層采用最大池化層，由于心音信號相鄰的兩層相差較小，采用最大池化層不僅可以減少網絡的參數(shù)，增加訓練速度。

由于使用CNN處理頻譜圖時不能完全挖掘出與時間相關的信息，在CNN之后加上RNN網絡結構可以解決這個問題。RNN模型網絡結構適合處理時序相關信息，當前序列會受到之前序列的影響，考慮到了位置信息，因此，可以通過RNN網絡結構分析CNN的輸出，充分利用FBank頻譜圖中的信息，完成CRNN分類模型建立。心音分類網絡結構圖如圖4所示。

2.2 數(shù)據(jù)預處理

一個完整的心動周期不會超過5 s。因為PhysioNet數(shù)據(jù)庫中的心音長度不一，為了保證以固定維數(shù)的數(shù)據(jù)輸入網絡，在分類前要切分心音。本研究對已經分割的心音按照5 s間隔劃分，并提取FBank特征值。

正常與異常心音的FBank特征如圖5、圖6所示。

3 實驗設計

3.1 實驗評價指標

本研究使用靈敏度（Sensitivity）、精確率（Precision）和F1分數(shù)作為評價指標。TP表示正常信號預測為正常的樣本數(shù)量。TN表示異常信號預測為異常的樣本數(shù)量。FP表示異常信號預測為正常的樣本數(shù)量。FN表示正常信號預測為異常的樣本數(shù)量。敏感度表示所有正常信號被正確分類的比例，其值等同于召回率（Recall），精確率表示所有被預測為正常信號的樣本中，被正確分類為正常信號的比例，F(xiàn)1分數(shù)是用來衡量二分類模型精確度的指標。

召回率、精確率和F1分數(shù)計算如公式（12）、公式（13）、公式（14）所示。

（12）

（13）

（14）

3.2 分類算法對比

對經過分割后數(shù)據(jù)集按照訓練集、測試集4∶1的比例隨機分配并提取FBank特征，然后使用以下分類方法比較：第一，CNN分類;第二，CRNN分類;第三，基于HSMM心音分割的CRNN分類。分類方法的比較如表1所示。

4 結果與討論

心音分類在心臟疾病診斷方向有著重要的作用，是心臟疾病輔助診斷領域的研究熱點。針對現(xiàn)有的基于深度學習的心音分類算法很少使用分割預處理，本研究通過構建HSMM心音分割模型，采用具有時頻域信息的FBank特征頻譜圖作為CNN的特征輸入，提出了一種結合HSMM分割心音與CRNN模型的心音分類方法。通過與單獨使用CNN或CRNN模型分類方法對比，該方法具有更高的F1分數(shù)與敏感度，獲得了更好的分類效果，也為計算機輔助心音診斷研究提供了一個很有潛力的方向。

參考文獻

[1] 成謝鋒，李偉.基于心音窗函數(shù)的心音圖形化處理方法的研究[J].物理學報，2015（5）：393-403.

[2] 許春冬，周靜，應冬文，等.基于DHMM的低心率變異性心音的分割方法[J].數(shù)據(jù)采集與處理，2019，34（4）：605-614.

[3] MALARVILI M B，KAMARULAFIZAM I，HUSSAIN S，et al.Heart sound segmentation algorithm based on instantaneous energy of electrocardiogram[C].Computers in Cardiology.Thessaloniki Chalkidiki，2003：327-330.

[4] 孫樹平，吳越，黃婷婷，等.基于STMHT算法的心音分割研究[J].中國醫(yī)學物理學雜志，2020，37（12）：1553-1559.

[5] Lecun Y ，Boser B ，Denker J ， et al. Backpropagation Applied to Handwritten Zip Code Recognition[J].Neural Computation，2014，1（4）：541-551.

[6] 林景棟，吳欣怡，柴毅，等.卷積神經網絡結構優(yōu)化綜述[J].自動化學報，2020，46（1）：24-37.

[7] Cummins N，Amiriparian S，Hagerer G，et al.An Image-based Deep Spectrum Feature Representation for the Recognition of Emotional Speech[C].ACM，2017：478-484.

基金項目：中南民族大學中央高?；究蒲袠I(yè)務費專項資金資助（CZY18028）;中南民族大學教學研究項目（JYX19081）。

通訊作者：劉曉軍，博士后，副教授。CD542A59-97E9-4ADB-9841-AE76403D50F2