基于二進(jìn)離散小波
——核降噪自編碼的電機(jī)振動(dòng)信號(hào)多級(jí)降噪

喻 卓,王 志,孫仲平,雷文鋒,于明誠,李 莉,訾一鳴,黨雨萌,黨亞固*

(1.四川大學(xué) 化學(xué)工程學(xué)院,四川成都 610065;2.四川華西綠舍建材有限公司,四川 成都 610000)

機(jī)械信號(hào)處理從20世紀(jì)60年代開始，早期主要通過對(duì)振動(dòng)信號(hào)進(jìn)行變換如傅里葉變換[1]，以獲取相應(yīng)的時(shí)頻譜圖，從而進(jìn)行時(shí)域分析頻域分析，如王志剛[2]等提出的通過共振調(diào)節(jié)提取信息，隨后小波變化及其變形在時(shí)頻信號(hào)處理的優(yōu)異性[3]，David[4]提出的基于軟閥值降噪，Chang S G[5]等人提出自適應(yīng)的數(shù)據(jù)驅(qū)動(dòng)閾值降噪，之后如奇異值分解[6]、經(jīng)驗(yàn)?zāi)B(tài)分解(EMD)[7]、集總平均經(jīng)驗(yàn)?zāi)B(tài)分解(EEMD)[8-9]，隨著近年機(jī)器學(xué)習(xí)的應(yīng)用基于自編碼[10]的降噪發(fā)展迅速。2008年P(guān)ascal Vincent[11]等人表明自編碼器可用于特征提取。2010年Vincent[12]等人提出棧式去噪自編碼器。

本文提出基于二進(jìn)離散小波--核降噪自編碼的多級(jí)降噪模型，并將該模型應(yīng)用于多維振動(dòng)信號(hào)降噪方面。對(duì)采集的振動(dòng)數(shù)據(jù)利用二進(jìn)離散小波局部變換，通過濾波器對(duì)每個(gè)特征集分別進(jìn)行降噪，將降噪后的數(shù)據(jù)通過核方法映射到高維空間，利用降維自編碼算法對(duì)高維空間數(shù)據(jù)進(jìn)行全局處理，進(jìn)而映射到低維空間，達(dá)到保留主要有效信號(hào)除去干擾噪音信號(hào)的效果。

1 模型原理

1.1 二進(jìn)離散小波變換

圖1 二進(jìn)離散小波降噪流程圖Fig.1 deniose of discrete dyadic wavelet transform

小波變化可以更加精準(zhǔn)地對(duì)時(shí)序頻域進(jìn)行局部信號(hào)表征[13]。小波變換常見的形式有連續(xù)小波變換(CWT)、離散小波變換(DWT)等，在信號(hào)的時(shí)域分解中，常用二進(jìn)制離散小波變換(DDWT)。

對(duì)于二進(jìn)制離散小波降噪，其小波基、分解層數(shù)，閾值等都是影響最終去噪效果的關(guān)鍵因素。本文利用如圖1流程進(jìn)行最優(yōu)參數(shù)選擇。

1.1.1 小波基最大分解層數(shù)的選擇

主要的小波基函數(shù)包括有haar、dbN、coifN、symlet、meyer小波[16]。選擇小波基的指標(biāo)要求有：支撐長(zhǎng)度、正交性、正則性、高階消失矩。相關(guān)性質(zhì)如表 1。

表1 小波基函數(shù)性質(zhì)匯總表Table 1 properties of mother wavelet table

綜合上表性質(zhì)，可選的基函數(shù)有：haar、dbN、coif N、symN四類。參考文獻(xiàn)[16-17]可以知道，Haar小波在時(shí)域上是不連續(xù)的，所以不適合作為基小波。Symlet小波函數(shù)是Daubechies針對(duì)dbN缺陷提出的改進(jìn)版。symN小波除了具備db小波的優(yōu)勢(shì)外還具有更好的對(duì)稱性，即一定程度上能夠減少對(duì)信號(hào)進(jìn)行分析和重構(gòu)時(shí)的相位失真。Coiflet小波同樣由Daubechies構(gòu)造，與dbN相比coif N小波具有更好的對(duì)稱性。因此文章后面的二進(jìn)離散小波中將選擇選擇coifN和symN小波函數(shù)進(jìn)行比較說明。

由文獻(xiàn)[18]知最大分解層數(shù)與小波函數(shù)的階數(shù)成階梯下降的趨勢(shì)，與采樣頻率成正比，即當(dāng)采樣頻率和小波基函數(shù)確定，其通用最大分解層次也隨之確定。

1.1.2 閥值選擇

閥值的選擇基于模型[19]y=f(t)+e ，可以通過小波系數(shù)來評(píng)估能夠消除噪音的小波域的閥值，目前常用的閥值選擇方法有，固定閾值估計(jì)、極值閾值估計(jì)、無偏似然估計(jì)以及啟發(fā)式估計(jì)。其中固定閥值降噪效果明顯[20]。本文基于Stein的風(fēng)險(xiǎn)無偏估計(jì)軟原理設(shè)計(jì)通用閥值 。

通過上述方法計(jì)算出閥值 ，再在該數(shù)值尺度上 ，其中 為單位尺度值。最后通過窮舉組合小波函數(shù)、閥值。并以信噪比和樣本標(biāo)準(zhǔn)差作為參考標(biāo)準(zhǔn)選擇最優(yōu)參數(shù)。

1.2 核自編碼

1.2.1 核函數(shù)

Cover定理[14]指出，對(duì)于在歐式空間中一般位置上的n個(gè)點(diǎn)，將它們非線性地投射到高維空間會(huì)比投射到低維空間更可能是線性可分的，并且維數(shù)越高，這種可能性越大。

因此通過核方法將原始樣本非線性映射到再生核希爾伯特空間，然后在該空間進(jìn)行特征壓縮關(guān)聯(lián)。在這個(gè)過程過中先驗(yàn)知識(shí)通過核函數(shù)和參數(shù)的選擇耦合到降噪自編碼的分析過程中，從而能夠更有效地分析出數(shù)據(jù)的本質(zhì)結(jié)構(gòu)[21]。

常見的核函數(shù)有：線性、多項(xiàng)式、高斯徑向、sigmoid核函數(shù)，這些核函數(shù)的公式較為常見可參考文獻(xiàn)[6-7]，高斯徑向核采用歐氏距離作為距離函數(shù)，進(jìn)行變換的矩陣具有好的正定性，其核函數(shù)僅有一個(gè)參數(shù)，模型復(fù)雜度較低且可以滿足特征的非線性映射；而且徑向基核在計(jì)算上沒有數(shù)值困難。因此在本文中選擇高斯徑向核函數(shù)作為模型的核函數(shù)。

1.2.2 核自編碼

高維數(shù)據(jù)可以通過一個(gè)多層神經(jīng)網(wǎng)絡(luò)把它編碼成一個(gè)低維數(shù)據(jù)，從而重建這個(gè)高維數(shù)據(jù)，這個(gè)神經(jīng)網(wǎng)絡(luò)的中間層神經(jīng)元數(shù)是較少的，可把這種神經(jīng)網(wǎng)絡(luò)叫做自動(dòng)編碼網(wǎng)絡(luò)(Auto-Encoder,AE)[9-10]。

核降噪自編碼包含三個(gè)網(wǎng)絡(luò)層次，分別為核函數(shù)映射層、自編碼器編碼層、自編碼器解碼層。其模型如圖2。

圖2 核自編碼網(wǎng)絡(luò)模型Fig.2 kernel methodwihdenoising autoencodernetwork model

核映射層：將粗過濾的信號(hào)數(shù)據(jù)通過核方法映射到高維空間，對(duì)于輸入數(shù)據(jù)x=(x1,x2,...,xn)，使用高斯徑向核函數(shù)作為映射核函數(shù)，因此核函數(shù)映射層可以表示為：

編碼層：將核函數(shù)映射層的輸出作為該層的輸入，考慮到實(shí)際應(yīng)用的復(fù)雜性，為了進(jìn)一步優(yōu)化模型提高模型的泛化能力，需要為自編碼器加入滿足正態(tài)分布的白噪音進(jìn)一步提高模型的擬合能力，以提高模型的適用性其次這里我們加入高斯白噪音[22]，得到混合噪音數(shù)據(jù)的輸入為：

說明：利用awgy函數(shù)來添加高斯白噪音，其中SNR表示信噪比。

因此該層可以表示為：

其中：f(t)是Sigmoid函數(shù)激活函數(shù)，W為權(quán)值矩陣，b為偏置向量。

解碼層：編碼層的輸出為解碼層的輸入，解碼層的作用在于重構(gòu)出核函數(shù)的映射過程，該層可以表示為

其中：g(t)為解碼層激活函數(shù)，一般與f(t)相同， W′ 為解碼層權(quán)值矩陣，b′ 為前置向量。

優(yōu)化過程：通過最小化重構(gòu)誤差來同時(shí)優(yōu)化編碼層和解碼層，從而學(xué)習(xí)得到針對(duì)樣本輸入 的抽象特征表示y′ 。編碼器通過優(yōu)化參數(shù)集θ={w,w′ b,b′ }使得重構(gòu)誤差最小，為了求解方便，設(shè)定w′ =(w)T。

本文考慮到以均方誤差作為損失函數(shù)對(duì)復(fù)雜振動(dòng)信號(hào)的特征學(xué)習(xí)魯棒性低，最大相關(guān)熵?fù)p失函數(shù)對(duì)復(fù)雜非平穩(wěn)背景噪音不敏感等特性，根據(jù)文獻(xiàn)[23]的描述選擇最大相關(guān)熵函數(shù)作為模型的損失函數(shù)。因此代價(jià)函數(shù)可以寫為：

為構(gòu)造結(jié)構(gòu)分析模型，在上文的代價(jià)函數(shù)中加入懲罰因子，以滿足結(jié)構(gòu)風(fēng)險(xiǎn)最小。

添加L2正則項(xiàng)作為懲罰因子，在每次的優(yōu)化過程中，可以使得權(quán)值盡可能小，最后構(gòu)造一個(gè)權(quán)值較小的模型[7]。

此時(shí)的懲罰函數(shù)為：

其中：λ為懲罰系數(shù)，λ≥0 。N是樣本數(shù)，R是特征數(shù)。

利用梯度下降算法計(jì)算收斂參數(shù)，分別對(duì)W，b求偏導(dǎo)：

其中， δi為每個(gè)單元的殘差，aj為每個(gè)單元的激活值，利用前向算法和后向算法就可以求出每個(gè)單元的激活值和殘差。從而可以得到權(quán)值矩陣和偏置向量。

1.4 二級(jí)降噪模型

二級(jí)降噪模型總體可分別為五個(gè)大板塊：振動(dòng)信號(hào)的粗過濾、數(shù)據(jù)預(yù)處理、核降噪自編碼模型訓(xùn)練、模型調(diào)參、降噪測(cè)試。

圖3 多級(jí)降噪模型流程圖Fig.3 multi-level denoise ofmodelflow

step1：選擇合適的小波函數(shù)并計(jì)算閥值，將信號(hào)進(jìn)行二進(jìn)離散小波分解、噪聲過濾、信號(hào)小波重構(gòu)等幾個(gè)步驟實(shí)現(xiàn)對(duì)信號(hào)特征的提取。

step2：使用核函數(shù)實(shí)現(xiàn)特征低維向高維的映射，便于在高維空間提取特征間的相關(guān)信息。

step3：數(shù)據(jù)標(biāo)準(zhǔn)化處理，考慮到降噪自編碼使用的是Sigmoid函數(shù)這里我們對(duì)數(shù)據(jù)集進(jìn)行歸一化處理。

step4：確定降噪自編碼的網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)輸入數(shù)據(jù)維數(shù)確定輸入層神經(jīng)元數(shù)，確定隱藏層層數(shù)，確定隱藏層各層的神經(jīng)元數(shù)。

step5：向數(shù)據(jù)集中加入前期選定的白噪音。

step6：模型訓(xùn)練階段設(shè)置模型參數(shù)，包括權(quán)重、學(xué)習(xí)率、誤差閥值等，計(jì)算模型的代價(jià)函數(shù)，判斷誤差是否在設(shè)置的閥值之內(nèi)或者達(dá)到設(shè)定的迭代次數(shù)，不然重復(fù)上述過程進(jìn)行更新迭代，直到達(dá)到要求，最終確定模型。

2 實(shí)驗(yàn)分析

實(shí)驗(yàn)設(shè)備參數(shù)：Rexnord ZA-2115雙列軸承，滾子直徑8.407mm，采樣頻率20KHz，數(shù)據(jù)長(zhǎng)度為20480點(diǎn)。數(shù)據(jù)集來源美國國家儀器實(shí)驗(yàn)室VIEW計(jì)劃公開數(shù)據(jù)。

根據(jù)文獻(xiàn)[15]介紹，使用小波濾波器檢測(cè)機(jī)械脈沖狀缺陷信號(hào)的弱信號(hào)?；谏衔?.1的理論描述，構(gòu)建二進(jìn)離散小波過濾模型對(duì)數(shù)據(jù)集進(jìn)行處理，得到的結(jié)果如下表2,3。

表2 coifN小波基-閥值信噪比表Table 2 coifNof mother wavelet threshold SNR table

表3 symN小波基-閥值信噪比表Table 3 symNof mother wavelet threshold SNR table

從表中分布可以知道，coifN小波函數(shù)和symN小波函數(shù)過濾降噪的區(qū)別不大，因此本文僅做symN小波函數(shù)-閥值與信噪比和樣本標(biāo)準(zhǔn)差圖如下圖4，圖5。

圖4 小波基函數(shù)-閥值信噪比Fig.4 amother wavelet threshold SNR

圖5 小波基函數(shù)-閥值樣本標(biāo)準(zhǔn)差Fig.5 bmother wavelet threshold sample-standard-deviation

根據(jù)圖4,圖5，可知在閥值為0.06時(shí)得到的信噪比最高，其次通過降噪可以降低信號(hào)數(shù)據(jù)的波動(dòng)情況，因此該閥值下的樣本標(biāo)準(zhǔn)差同樣滿足小于原始數(shù)據(jù)的樣本標(biāo)準(zhǔn)差?？紤]到支撐長(zhǎng)度因素，小波函數(shù)的支撐長(zhǎng)度為5～9之間，故本文選擇sym5小波基作為二進(jìn)離散小波降噪的基函數(shù)。

綜上對(duì)于二進(jìn)離散小波過濾降噪而言，本文選擇的基小波為sym5，根基算法得到的最大分解層數(shù)為11層，選用的閥值為0.06。得到的降噪效果如圖6：

圖6 二進(jìn)離散小波降噪前Fig.6 before discrete dyadic wavelet transform take denoise

圖7 二進(jìn)離散小波降噪后Fig.7 bafterdiscrete dyadic wavelet transform take denoise

為了進(jìn)一步顯示降噪效果，利用二進(jìn)離散小波降噪的數(shù)據(jù)與原始數(shù)據(jù)集構(gòu)建誤差函數(shù)，計(jì)算測(cè)試集中所有數(shù)據(jù)點(diǎn)的重建損耗，利用重建損耗的時(shí)序分布來確定降噪后數(shù)據(jù)的有效性。如圖8。

圖8 二進(jìn)離散小波降噪后損耗圖Fig.8 loss of after discrete dyadic wavelet transform take denoise

從圖8可以看到進(jìn)過小波降噪后數(shù)據(jù)與原始數(shù)據(jù)損耗的范圍為0～0.06，且損耗的時(shí)序分布波動(dòng)較大，對(duì)全局時(shí)序而言，任然存在較大的振動(dòng)波動(dòng)，即通過小波降噪后的數(shù)據(jù)存在整體噪音的缺陷。

最后對(duì)二進(jìn)離散小波處理后的數(shù)據(jù)集，加入兩次加入高斯白噪音，搭建自編碼模型，進(jìn)行模型訓(xùn)練，本文使用四層神經(jīng)網(wǎng)絡(luò)，其中輸入層第一層節(jié)點(diǎn)核變換后的特征數(shù)K，第二層有20個(gè)節(jié)點(diǎn)，第三層有8個(gè)節(jié)點(diǎn)，第四層K個(gè)，使用最大相關(guān)熵作為損失函數(shù)，進(jìn)行模型訓(xùn)練模型。在每次模型訓(xùn)練之后使用訓(xùn)練數(shù)據(jù)的5%進(jìn)行驗(yàn)證。

模型的訓(xùn)練效果如圖9，從圖可以看出，對(duì)上述設(shè)計(jì)的四層降噪自編碼模型而言，模型的迭代次數(shù)達(dá)到13時(shí)，改模型的訓(xùn)練誤差和測(cè)試誤差均接近0.0016。

圖9 降噪自編碼訓(xùn)練誤差-測(cè)試誤差-迭代次數(shù)Fig.9 training error-test error-times of denoising autoencoder

通過計(jì)算降噪后的信噪比，特征樣本標(biāo)準(zhǔn)差，其中比較項(xiàng)為：二進(jìn)離散小波降噪后數(shù)據(jù)與降噪自編碼降噪后數(shù)據(jù)：

表4 多級(jí)降噪信噪比-樣本標(biāo)準(zhǔn)差Table 4 SNR sample-standard-deviation of multi-level denoise table

最后構(gòu)建多級(jí)降噪之后的數(shù)據(jù)集與原始數(shù)據(jù)集的時(shí)頻點(diǎn)重建損耗曲線圖10。

圖10 多級(jí)降噪損耗時(shí)序圖Fig.10 loss sequence of multi-level denoise

通過核降噪自編碼的全局降噪后，各特征信噪比均有不同程度的提高，提高范圍為18～38，同時(shí)與二進(jìn)離散小波降噪處理后數(shù)據(jù)相比，數(shù)據(jù)樣本標(biāo)準(zhǔn)差降低2～3個(gè)數(shù)量級(jí)，說明信號(hào)的平滑性得到了大幅度優(yōu)化，這點(diǎn)可以從重構(gòu)損耗的時(shí)序曲線得到佐證，比較圖8和圖10可以明顯得到進(jìn)過核降噪自編碼處理后的信號(hào)數(shù)據(jù)在損耗隨時(shí)間變換幅值波動(dòng)微弱，且有明顯的平滑性。

4 結(jié)果與討論

本文對(duì)電機(jī)振動(dòng)信號(hào)的降噪進(jìn)行了研究，提出來一種結(jié)合小波信號(hào)處理和深度學(xué)習(xí)全局優(yōu)化的多級(jí)降噪模型。該模型選擇sym5小波基作為分解基波，通過模型自動(dòng)識(shí)別輸入信號(hào)的特征數(shù)與信號(hào)的長(zhǎng)短，結(jié)合窮舉算法自動(dòng)計(jì)算出小波降噪閥值，實(shí)現(xiàn)了二進(jìn)離散小波降噪的自動(dòng)化進(jìn)程。文章通過將在核變換結(jié)合到降噪自編碼算法中并作為該算法的第一層變換函數(shù)，提出了四層變化的降噪神經(jīng)網(wǎng)絡(luò)，將二進(jìn)離散小波降噪后的數(shù)據(jù)作為該過程的輸入數(shù)據(jù)集，配合已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，可以直接得到進(jìn)一步的降噪數(shù)據(jù)。因此本文的降噪模型在工程應(yīng)用上具有非常強(qiáng)的自動(dòng)化能力，能夠快速將采集的振動(dòng)信號(hào)進(jìn)行分解降噪，為實(shí)現(xiàn)設(shè)備的在線診斷提供有效的解決方法。

在降噪效果方面，文章所提模型的兩級(jí)降噪信噪比分別為23，和大于等于17；在信號(hào)的波動(dòng)性方面，信號(hào)的樣本標(biāo)準(zhǔn)差由一級(jí)降噪的1.4×10-2(最大值)降到二級(jí)降噪的0.04×10-2。這也證明的改模型在處理多維振動(dòng)信號(hào)降噪的有效性。