基于CNN-LSTM 神經(jīng)網(wǎng)絡(luò)的聲紋識別系統(tǒng)設(shè)計

牟俊杰，姚 剛，孫 濤

(海軍航空大學(xué) 岸防兵學(xué)院，山東 煙臺264001)

0 引言

隨著人工智能的突破性進(jìn)展和“互聯(lián)網(wǎng)+”技術(shù)的普及，智慧醫(yī)療成為醫(yī)療技術(shù)發(fā)展的新引擎，誕生了一系列智能醫(yī)療服務(wù)產(chǎn)品，如智能藥盒、智能手環(huán)等[1]。 但人工智能過高的成本導(dǎo)致尋找合適的切入方式顯得尤為關(guān)鍵[2]。

在人口老齡化日益嚴(yán)重的當(dāng)下，心血管疾病不斷威脅老年人健康，引發(fā)社會廣泛關(guān)注。由于醫(yī)療知識欠缺、行動不便等原因，部分老年人就醫(yī)不及時，錯過了搶救的黃金時間，留下永遠(yuǎn)的遺憾。 開發(fā)心血管疾病方面的智能預(yù)警系統(tǒng)，滿足龐大的老年人群體需求迫在眉睫[3]。在醫(yī)療實踐中，對心血管疾病的診斷常常以心率、心肺音數(shù)據(jù)為重要支撐，國內(nèi)外以DSP[4]、長短時記憶(Long Short Time Memory，LSTM)[5]、卷積神經(jīng)網(wǎng)絡(luò)[6](Convolutional Neural Network，CNN) 等方法算法為手段對心血管疾病的信號診斷進(jìn)行了相當(dāng)多的分析，但基本均停留在理論層面，距離軟硬件結(jié)合的實際應(yīng)用尚有差距。 各種醫(yī)療設(shè)備的聚焦點主要是信號的準(zhǔn)確采集、分離[7-8]，基于醫(yī)療倫理等原因，對智能診斷設(shè)備的研制尚處于知識儲備期，有巨大的空白亟需填補。 本文設(shè)計了基于CNN-LSTM的心血管疾病預(yù)警系統(tǒng)，利用物聯(lián)網(wǎng)技術(shù)采集心率和心肺音等健康指標(biāo)數(shù)據(jù)，對老人的健康狀況進(jìn)行實時監(jiān)測、預(yù)警，采用基于CNN-LSTM 模型的智能算法對心肺音信號進(jìn)行智能分析預(yù)警。 系統(tǒng)著重考慮了適用性、穩(wěn)定性和成本，具有較高的實用價值和完整的結(jié)構(gòu)框架，是利用智慧醫(yī)療從應(yīng)用層面解決心血管疾病問題的一次重要探索。

1 總體方案

該心血管疾病預(yù)警系統(tǒng)由心率檢測分系統(tǒng)和體音檢測分系統(tǒng)兩大功能模塊構(gòu)成。 系統(tǒng)工作時，先通過穿戴式心率檢測設(shè)備采集使用者的心率數(shù)據(jù)，通過藍(lán)牙將數(shù)據(jù)傳輸給手機微信小程序。 若判定心率數(shù)據(jù)表現(xiàn)異常，手機將提醒使用者使用電子聽診器，將心肺音數(shù)據(jù)傳到PC 端進(jìn)行智能分析診斷，繼而將分析診斷結(jié)果反饋給手機微信小程序?？紤]到使用者的身體狀況相對虛弱，若系統(tǒng)判斷使用者需要就醫(yī)，則手機將自動撥打急救電話、發(fā)送病人GPS 信息給急救中心，并將使用者相關(guān)數(shù)據(jù)展示給醫(yī)生，方便醫(yī)生提前了解使用者病情，籌劃后續(xù)診療工作。 系統(tǒng)工作流程如圖1 所示。

圖1 工作流程圖

2 硬件設(shè)計

檢測系統(tǒng)由穿戴式心率檢測設(shè)備、手機、PC 端和電子聽診器等組成，如圖2 所示。

圖2 系統(tǒng)組成框圖

2.1 穿戴式心率檢測設(shè)備

穿戴式心率檢測設(shè)備包括心率傳感芯片、單片機、藍(lán)牙模塊和電源模塊等，將設(shè)備佩戴在手腕處，即可實時檢測心率[9]。 其中MAX30102 心率傳感芯片集成了光電檢測器、光器件以及帶環(huán)境光抑制的低噪聲電子電路，具有IIC 通信接口，可以將采集到的數(shù)值傳輸給STM32單片機進(jìn)行心率計算，還可通過軟件關(guān)斷模塊，使待機電流接近為零，實現(xiàn)長時待機功能。

2.2 電子聽診器

CM-01B 電子聽診器通過性能優(yōu)越、傳輸數(shù)據(jù)穩(wěn)定的PVDF 壓電薄膜同前置放大電路相連，將外部雜音干擾降至最低。 當(dāng)聽診器接觸到振動，則反饋回一個高敏感型信號，以此通過電子脈沖的方式提供微小聲音采樣。將聽診器置于使用者心胸下兩寸處，靜置10 s，待PC 端軟件啟動后，分別對心臟及肺部肺泡氣管等處診聽，記錄不同位置心肺音。 電子聽診器通過3.5 mm 音頻數(shù)據(jù)線與電腦連接，由PC 端利用深度學(xué)習(xí)技術(shù)完成對心肺音數(shù)據(jù)的分析判斷。

3 軟件設(shè)計

預(yù)警系統(tǒng)的軟件部分包括心率檢測模塊和體音檢測模塊，二者前后銜接，共同實現(xiàn)心率傳感器的驅(qū)動、IIC通信、藍(lán)牙數(shù)據(jù)傳輸、心率異常預(yù)警、醫(yī)療引導(dǎo)、體音采集和智能分析診斷等功能。

3.1 心率檢測模塊

為避免繁雜的APP 客戶端，系統(tǒng)使用微信小程序?qū)崿F(xiàn)多種功能的整合融合。心率檢測模塊可以全時段檢測使用者的心率，并長時保留心率數(shù)據(jù)。 當(dāng)模塊檢測到心率超過設(shè)定的門限值，則判定使用者身體出現(xiàn)心血管疾病前兆，手機將立刻發(fā)出語音、文字預(yù)警警報，同時，為了避免因虛警就醫(yī)而浪費醫(yī)療資源，模塊會提醒使用者進(jìn)一步檢測心肺音。 程序所實現(xiàn)的心率檢測與預(yù)警如圖3 所示。

圖3 心率檢測界面（正常/異常）

穿戴式心率檢測設(shè)備中，心率傳感器MAX30102 與STM32 單片機之間的數(shù)據(jù)傳輸采用的是IIC 通信協(xié)議。IIC 總線是由時鐘SCL 和數(shù)據(jù)線SDA 構(gòu)成的串行總線，在傳送數(shù)據(jù)過程中共發(fā)送三種不同類型信號，即開始信號、結(jié)束信號和應(yīng)答信號，總線中每個電路有唯一的地址，只有選擇正確的地址，不同電路之間才能實現(xiàn)互聯(lián)互通，避免雜亂混亂，其接口直接連接在組件之上，因此大大減少了傳統(tǒng)電路板的空間和芯片管腳的數(shù)量。

3.2 體音檢測模塊

體音檢測是通過深度卷積神經(jīng)網(wǎng)絡(luò)-長短期記憶網(wǎng)絡(luò)(CNN-LSTM)算法實現(xiàn)對心肺音類型的深度學(xué)習(xí)[10-11]，利用訓(xùn)練出的識別模型對收集的數(shù)據(jù)進(jìn)行智能診斷[12-13]，以達(dá)到對爆破音、干啰音等心血管疾病高危前兆先期識別、居家聽診的目的。

在訓(xùn)練心肺音識別模型的過程中，采用遷移學(xué)習(xí)技術(shù)，引入一個公開的心肺音數(shù)據(jù)庫。 該心肺音數(shù)據(jù)庫由葡萄牙和希臘的兩個研究小組創(chuàng)建，包括來自126 名患者的920 個不同長度的注釋錄音。 錄音共計5.5 小時，包含6 898 個呼吸周期，1 864 個噼啪聲，886 個喘息聲，506 個干啰音，還有干凈的呼吸音以及真實生活條件的嘈雜錄音，選取其中800 個錄音為訓(xùn)練樣本，120 個錄音為測試樣本。

梅爾道普頻率系數(shù)(Mel-Frequency Cepatral Cofficients，MFCC)被廣泛應(yīng)用在聲音識別等信號處理中，能夠很好地反映音頻、音高變化[14-15]。 在構(gòu)建識別模型時，將按照MFCC 對心肺音里包含的語音物理信息(頻譜包絡(luò)和細(xì)節(jié)) 進(jìn)行編碼運算得到的特征向量記為MFCC 特征。 在處理數(shù)據(jù)集時，從對應(yīng)類型的每個文件中截取2 s 的呼吸時長進(jìn)行標(biāo)注，提取MFCC 特征。 特征提取由卷積層完成，每個卷積核對應(yīng)提取某一部分特征。 在對聲音信號里的13 維MFCC 特征進(jìn)行提取的同時， 還抽取了13維MFCC 特征的一階方差和二階方差，一共形成了39維向量，經(jīng)過融合層作為LSTM 模型的輸入矩陣。

S=f(WZ+b)

式中：S 表示經(jīng)過卷積操作抽取后的特征矩陣；f 為非線性激活函數(shù)LReLU；操作權(quán)重矩陣W 和偏置向量b 為該網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)。

卷積后將MFCC 特征傳遞給池化層，進(jìn)行進(jìn)一步聚合，簡化特征表達(dá)，降低特征圖的維度和參數(shù)的數(shù)據(jù)量。池化層大小為4×4，池化方法選擇最大池化，即選擇4×4范圍內(nèi)最大的數(shù)值作為新的池化層特征。

LSTM 網(wǎng)絡(luò)具有良好的捕捉時序特征信號的能力，在分析所采集的體音數(shù)據(jù)時，可有效結(jié)合以往長期采集的數(shù)據(jù)，使分析結(jié)果更具科學(xué)性、準(zhǔn)確性。

將提取MFCC 特征形成的39 維特征向量，處理成(1 561，39)的矩陣作為輸入，由于LSTM 為循環(huán)神經(jīng)網(wǎng)絡(luò)，為防止網(wǎng)絡(luò)訓(xùn)練過程出現(xiàn)過擬合，在循環(huán)的神經(jīng)單元內(nèi)部及循環(huán)之間分別加入Dropout 和Recurrent_dropout，分別對同一LSTM 單元中神經(jīng)元之間的連接和不同循環(huán)LSTM 單元之間的連接進(jìn)行一定比例的隨機斷開，系統(tǒng)中是斷開20%的內(nèi)部及外部循環(huán)單元，繼而通過展平與全連接實現(xiàn)神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)。

為了使檢測系統(tǒng)便于使用，運用C# 語言開發(fā)智能醫(yī)療電腦客戶端，并設(shè)計C# 接口調(diào)用人工智能算法的Python 文件，集成了心肺音智能診斷、保存并發(fā)送檢測數(shù)據(jù)等功能，以提供智慧醫(yī)療、遠(yuǎn)程醫(yī)療服務(wù)，體音檢測客戶端界面如圖4 所示。

圖4 體音檢測界面

4 實驗驗證

4.1 穿戴式心率檢測設(shè)備的通信測試

系統(tǒng)用STM32 驅(qū)動心率傳感器和藍(lán)牙模塊實現(xiàn)心率數(shù)據(jù)的采集與通信，通過USB 轉(zhuǎn)TTL 連接電腦，用電腦串口助手測試心率傳感器的數(shù)據(jù)采集情況，測試結(jié)果如圖5 所示，通信正常，說明心率檢測分系統(tǒng)能夠正常采集數(shù)據(jù)。

圖5 心率數(shù)據(jù)采集測試情況

與手機進(jìn)行通信測試，通過手機藍(lán)牙串口app 測試通信情況，如圖6 所示，通信正常，說明能夠?qū)⒉杉降娜梭w心率數(shù)據(jù)通過藍(lán)牙發(fā)送到手機。

4.2 心肺音識別模型測試

圖6 藍(lán)牙串口通信情況

在800 個心肺音樣本訓(xùn)練集上對CNN-LSTM 網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練采用Adam 優(yōu)化算法，學(xué)習(xí)率lr 取0.000 1，訓(xùn)練迭代次數(shù)steps=18 000，訓(xùn)練次數(shù)在17 500 左右loss 達(dá)到收斂，約為0.082，訓(xùn)練曲線如圖7 所示。

圖7 訓(xùn)練過程loss 的變化趨勢

在120 個錄音測試集上對最終訓(xùn)練的網(wǎng)絡(luò)模型進(jìn)行測試，正確識別的錄音數(shù)量為109，識別的平均準(zhǔn)確率達(dá)到了0.908，滿足實際應(yīng)用需求。

5 結(jié)論

該聲紋識別系統(tǒng)，利用物聯(lián)網(wǎng)技術(shù)實現(xiàn)了心率、心肺音檢測設(shè)備與通信設(shè)備、數(shù)據(jù)處理設(shè)備的融合，可實時監(jiān)測心率以先期預(yù)警，并支持基于心肺音分析的虛警驗證。 利用深度學(xué)習(xí)技術(shù)結(jié)合醫(yī)學(xué)大數(shù)據(jù)，對心肺音數(shù)據(jù)進(jìn)行MFCC 特征提取，基于CNN-LSTM 算法訓(xùn)練出心肺音識別模型，可準(zhǔn)確判斷部分心血管疾病前兆，實用性強、準(zhǔn)確性高，在居家獨立進(jìn)行心血管疾病先期診斷處理方面應(yīng)用前景廣闊。下一步工作是對穿戴設(shè)備進(jìn)行小型化設(shè)計，加大醫(yī)療數(shù)據(jù)庫的體量，進(jìn)一步提高訓(xùn)練模型的識別精度，使系統(tǒng)更加便捷高效。