一種深度小波過程神經網絡及在時變信號分類中的應用

張振　許少華

摘 ?要： 針對多通道非線性時變信號分類問題，提出一種基于稀疏自編碼器的深度小波過程神經網絡（SAE-DWPNN）。通過構建一種多輸入/多輸出的小波過程神經網絡（WPNN），實現(xiàn)對時變信號的多尺度分解和對過程分布特征的初步提取;通過在WPNN隱層之后疊加一個SAE深度網絡，對所提取的信號特征進行高層次的綜合和表示，并基于softmax分類器實現(xiàn)對時變信號的分類。SAE-DWPNN將現(xiàn)有過程神經網絡擴展為深度結構，同時將深度SAE網絡在信息處理機制上擴展到時間域，擴展了兩類模型的信息處理能力。該網絡可提取多通道時序信號的分布特征及其結構特征，并保持樣本特征的多樣性，提高了對信號時頻特性和結構特征的分析能力。文中分析了SAE-DWPNN的性質，給出了綜合訓練算法。以基于12導聯(lián)ECG信號的7種心血管疾病分類診斷為例，實驗結果驗證了模型和算法的有效性。

關鍵詞：?時變信號;模式分類;小波過程神經網絡;深度SAE網絡;學習算法

中圖分類號： TP183????文獻標識碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.022

【Abstract】： Aiming at the problem of multi-channel nonlinear time-varying signal classification， a deep wavelet process neural network based on sparse self-encoder （SAE-DWPNN） is proposed. By constructing a multi-input/?multi-output wavelet process neural network （WPNN）， multi-scale decomposition of time-varying signals and preliminary extraction of process distribution features are realized; By superimposing a SAE depth network after the WPNN hidden layer， the extracted signal features are synthesized and represented at a high level， and the time-varying signals are classified based on the softmax classifier. The SAE-DWPNN extends the existing process neural network into a deep structure， and expands the deep SAE network into the time domain in the information processing mechanism. It improves the information processing capabilities of the two models. The network can extract the distribution characteristics and structural features of multi-channel time series signals， and maintain the diversity of sample features， which improve the analysis ability of signal time-frequency characteristics and structural features. In this paper the properties of SAE-DWPNN is analyzed and a comprehensive training algorithm is given. Taking the classification of seven cardiovascular diseases based on 12-lead ECG signals as an example， the experimental results verify the validity of the model and algorithm.

【Key words】： Time-varying signal; Pattern classification; Wavelet process neural network; SAE deep network; Learning algorithm

0??引言

非線性系統(tǒng)多通道時變信號分類一直是智能信息處理領域研究的一個重要問題[1]。由于受多種非線性擾動因素、信號間的耦合作用以及噪聲的影響，使得信號樣本往往具有非線性、非平穩(wěn)等特性，呈現(xiàn)多峰、伸縮、漂移、含噪聲等特征[2]。完整提取時變信號的分布特性，在模型機制上反映多通道信號分布的結構特征、時間依賴和關聯(lián)性，對于復雜信號的分析具有重要意義。

針對時空維信息處理和時變信號過程特征的提取及表示問題，何新貴提出了過程神經網絡（Process Neural Network，PNN）的概念和模型[3，4]。PNN的結構與傳統(tǒng)神經網絡不同之處在于其輸入和連接權等都可以是時變函數，神經元內增加了一個對于時間效應的聚合算子，在機制上可同時表達多種影響因素的共同作用和對時間效應的累積。該模型以輸入層和過程神經元隱層之間的連接權函數矩陣來抽取和表示時變信號樣本的過程特征，通過對樣本集的學習形成對信號特征的記憶和存儲。在時變信號分類[5，6]、非線性系統(tǒng)過程模擬[7]、狀態(tài)預測[8，9]等領域獲得成功應用。鐘詩勝等針對過程信號時頻特性分析問題，建立了一類小波過程神經元（Wavelet Process Neuron，WPN）和小波過程神經網絡（Wavelet?Process Neural Network，WPNN）[10]。該模型結合了PNN對時變信號的分析能力及小波變換良好的時頻局域化性質，將過程神經元的激勵函數取為小波基函數，隱層和輸出層閾值由小波的平移與伸縮參數所替代，實現(xiàn)了對信號時頻特征更強的學習能力和更高的預測精度[11]。目前，在PNN的研究和應用中還存在一些困難，主要包括：現(xiàn)有各類PNN是一種淺層結構模型，對復雜時變信號特征的提取、表征和高層次綜合能力不足;在訓練樣本集規(guī)模較小或對系統(tǒng)變換特征的表達不完備的情況下，存在泛化能力不穩(wěn)定的情況。隨著深度學習理論的發(fā)展，一些新的可用于時變信號分析的神經網絡模型不斷被提出，例如，深度卷積神經網絡[12]、深度遞歸網絡[13]、深度循環(huán)網絡[14]、Markov鏈[15]等，在機制上對時間序列信號的分類具有良好的適應性。如果將PNN信息處理機制與深度學習理論相結合，則可為解決上述PNN問題提供一種新的方法。

本文針對非線性系統(tǒng)時變信號分類問題，提出了一種稀疏自編碼器深度小波過程神經網絡（Sparse Auto Encoder Deep WPNN，SAE-DWPNN）。該模型中，多通道時變信號的過程特征及其組合關系由WPNN輸入層與WPN隱層之間的連接權函數矩陣進行初始抽取和表示，該矩陣同時也構成了信號樣本分布特征的記憶存儲單元。將WPN隱層的輸出作為深度SAE網絡的輸入，實現(xiàn)WPNN單元與SAE深度結構之間的信息傳遞，并通過深度SAE網絡進一步進行信號特征的高層次抽象、組合，形成顯著的分類特征，最后由softmax分類器實現(xiàn)對時變信號的模式分類。在SAE-DWPNN學習算法設計中，采用按信息處理單元、分段初始化網絡參數的策略。首先以隨機梯度下降算法實現(xiàn)對WPNN權值參數的賦初值訓練，然后以無監(jiān)督逐層初始化算法實現(xiàn)對深度SAE網絡參數的賦初值，最后以有監(jiān)督BP算法對SAE-DWPNN的全體參數進行微調。以基于12導聯(lián)ECG信號的7種心血管疾病分類為例進行實驗，正確識別率為85.76%，取得了良好結果。

1??小波過程神經網絡

1.1??小波過程神經元

小波過程神經元（WPN）由過程輸入信號加權，時間、空間二維聚合和小波函數激勵輸出等三部分運算組成。結構如圖1所示。

1.2??小波過程神經網絡

小波過程神經網絡是由若干個WPN按一定的拓撲結構和信息變換流程組成的網絡模型，隱層激活函數采用小波函數。考慮3層前向結構的WPNN，設輸入層有個n單元，隱層由m個WPN組成，輸出層1個單元，則網絡結構如圖2所示。

2??深度小波過程神經網絡

2.1??小波稀疏自編碼器

小波稀疏自編碼器（Wavelet Sparse Auto Encoder，WSAE）是將小波神經網絡與稀疏自編碼器結合的一種網絡模型。該模型將小波函數作為稀疏自編碼器的激勵函數，同時增加小波神經網絡所特有的伸縮參數和平移參數。結構如圖3。

2.2??深度小波過程神經網絡

DWPNN由多輸入/多輸出WPNN、WSAE網絡結構、softmax分類器等3個信息處理單元堆棧而成。每一信息單元的輸出為下一信息單元的輸入，網絡結構和信息傳遞關系如圖4。

由式（7），利用WPNN的對時間維信息的變換機制和WSAE深度學習框架所具備的特征學習能力，使SAE-DWPNN具備了更好的對時變信號的特征辨識和分類能力。

3??DWPNN學習算法

DWPNN的學習過程分為3個階段：第1階段，進行WPNN單元連接權參數的賦初值訓練;第2階段，以WPNN隱層節(jié)點的輸出作為WSAE深度網絡的輸入，進行網絡參數的賦初值學習，并對softmax分類器參數賦初值;第3階段，采用BP算法實現(xiàn)對SAE-DWPNN的全體參數進行整體調優(yōu)。

3.3 ?SAE-DPNN參數的整體調優(yōu)

通過WPNN連接權參數賦初值訓練和基于無監(jiān)督貪婪學習的WSAE逐層初始化訓練，SAE-?DPNN中的各項參數均已賦初值，在此基礎上，根據訓練集樣本函數的類別標簽，采用BP算法實現(xiàn)對DAE-DPNN全體參數的整體調優(yōu)。

4??實驗與結果分析

4.1??訓練數據集

心電圖（electrocardiogram，ECG）信號反映人體心臟電位的變化，具有多峰、周期、非平穩(wěn)和背景噪聲等特點，不同心血管疾病具有不同的信號分布特征。本實驗所用數據集來自中國心血管疾病數據庫（CCDD）中12導聯(lián)的ECG信號樣本，采樣頻率為500?Hz，每條記錄時間為6s左右，采樣時間序列長度為640。樣本帶有心拍分割標記，并標注了專家對疾病的診斷結果。在候選樣本中，刪除標記模糊、時長不足、數量很少的樣本，確定其中7類共21196個樣本構成數據集。樣本分布見表1中的疾病名稱和樣本數。

表1中，房性心動過速和房顫伴快速心室率樣本數較少，采用數據增強方法。利用Sym8小波基函數將原始心電信號進行10層小波分解，采用極大極小閾值估計法[17]確定閾值。將分解后的高頻信號與低頻信號重構，分別得到300和551個新的信號樣本。原始信號樣本與新的信號樣本混合在一起，共同參與網絡模型的訓練和測試。

4.2??實驗和結果分析

在實驗中，經對比分析，SAE-DWPNN網絡結構參數設置見表2。WPN激勵函數取為在時、頻域局部特性均較好的Morlet母小波，其它神經元激勵函數均取為sigmoid函數。

采用本文第3節(jié)建立的訓練算法，基于樣本集進行SAE-DWPNN網絡參數的學習。實驗硬件環(huán)境為Intel（R） Xeon（R） Gold 5118 CPU@2.30?GHz，實驗平臺為MATLAB R2016b。在訓練中，WPNN的迭代次數設為1000，SAE深度網絡迭代次數為500，全體參數調優(yōu)BP算法迭代次數為1000，學習率均取為0.25。采用4折交叉驗證法，將數據集劃分為4份，依次選擇其中1份為測試集，剩余3份為訓練集，重復4次實驗，統(tǒng)計分類結果，取4次識別率的平均值。實驗結果對訓練集的平均正確識別率為95.28%，測試集的平均正確識別率為85.76%，這在12導聯(lián)ECG長信號識別中是一個較好的結果。7類信號具體識別情況如表3（混淆矩陣）所示。

作為方法對比，本文選擇三層小波神經網絡[18]，網絡結構為12-120-1，隱層激勵函數取Morlet小波函數;雙隱層過程神經網絡[19]，網絡結構為12-60-?120-1，選擇三角函數基為正交基，基函數項數為32;深度SAE網絡，設置7層深度結構，以softmax為分類器進行對比實驗。實驗采用相同的訓練集和測試集，取準確率、精確率、召回率和F1-score為評估標準。分類識別結果如表4所示。

由表4知，SAE-DWPNN方法的分類結果優(yōu)于其他模型，這是由于本文方法綜合了小波過程神經網絡對時間信號時頻特性和結構特征的提取能力、SAE深度網絡對特征的高層次綜合及對類別屬性關聯(lián)能力，改善了PNN訓練因隨機賦初值使得目標函數易陷入局部極值或產生梯度彌散的問題，因此取得了較好的實驗結果。

5??結論

本文針對非線性系統(tǒng)復雜時變信號模式分類問題，提出和建立了一種新型深度小波過程神經網絡。該模型在信息處理機制上融合了深度學習框架所具有的特征提取與特征高層次綜合能力、較好的泛化和學習性質，以及過程神經網絡所具有的可同時表達時變系統(tǒng)多種影響因素的共同作用和對時間效應的累積等性質，可實現(xiàn)對時間過程信號的直接分類處理，提高了網絡對系統(tǒng)輸入輸出之間復雜關系的映射能力，為時變過程信號的分類判別處提供了一種新的分析方法和建模工具。

參考文獻

Gao J， Murphey Y L， Zhu H. Multivariate time series prediction of lane changing behavior using deep neural network[J]. Applied Intelligence， 2018， 48（10）： 3523-3537.

Martin L， Lars K， Amy L. A review of unsupervised feature learning and deep learning for time-series modeling[J]. Pattern Recognition Letters， 2014， 42： 11-24.

何新貴， 梁久禎. 過程神經元網絡的若干理論問題[J]. 中國工程科學， 2000， 2（12）： 40-44.

何新貴， 梁久禎， 許少華. 過程神經網絡的訓練及其應用[J].?中國工程科學， 2001， 3（4）： 31-35.

Xu Shaohua， Liu Kun， Li Xuegui. A fuzzy process neural network model and its application in process signal classification[J]. Neurocomputing， 2019， 331： 1-8.

Liu Kun， Xu Shaohua， Feng Naidan. A radial basis probabilistic process neural network model and corresponding classification algorithm[J]. Applied Intelligence， 2019， 49： 2256-?2265

許少華， 何新貴. 一種基于過程神經元網絡的非線性動態(tài)系統(tǒng)辨識模型及應用[J]. 信息與控制， 2010， 39（2）： 158-?163.

劉志剛， 許少華， 肖佃師， 等. 極限學習脊波過程神經網絡及應用[J]. 電子科技大學學報，?2019，?48（01）：?110-116.

吳淑玲， 許少華， 張強. 一種級聯(lián)過程神經網絡動態(tài)預測模型及其應用[J]. 計算機工程與應用， 2011， 47（11）： 145-148.

鐘師勝， 李洋. 基于小波過程神經網絡的飛機發(fā)動機狀態(tài)監(jiān)視[J]. 航空學報， 2007， 28（1）： 68-71.

Ding Gang， Zhong Shisheng， Li Yang. Time series prediction using wavelet process neural network[J]. Chinese Physics B， 2008， 17（06）： 1998-2003.

Pyakillya B， Kazachenko N， Mikhailovsky N. Deep Learning for ECG classification[J]. Journal of Physics： Conference Series， 2017， 913（1）.

Kim S S， Hasegawa-Johnson M， Chen K. Automatic recogni tion of pitch movements using multilayer perceptron and time-?delay recursive neural network[J]. IEEE Signal Processing Letters， 2004， 11（7）：?645-648.

劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經網絡的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

Chang P C， Lin J J， Hsieh J C. Myocardial infarction classi fication with multi-lead ECG using hidden Markov models and Gaussian mixture models[J]. Applied Soft Computing， 2012 （10）.

Yu L L， Tan B X， Meng T X. The automatic classification of ECG based on BP neural network[J]. Advanced Materials Research， 2010 （121）.

孔玲軍. Matlab小波分析超級學習手冊[M]. 北京：?人民郵電出版社， 2014：?296-313.

梁曄， 郝潔， 石蕊. 基于小波神經網絡的數字信號調制方式識別[J]. 吉林大學學報（理學版）， 2018， 56（02）：?382-388.

許少華， 何新貴， 尚福華. 基于基函數展開的雙隱層過程神經元網絡及其應用[J]. 控制與決策， 2004（01）：?36-39+48.