一種基于二維卷積神經(jīng)網(wǎng)絡(luò)的舵機(jī)故障檢測(cè)方法*

鄒倩倩 楊瑞峰 郭晨霞

1. 中北大學(xué)儀器與電子學(xué)院，太原 030051 2.山西省自動(dòng)化檢測(cè)裝備與系統(tǒng)工程技術(shù)研究中心，太原 030051

0 引言

舵系統(tǒng)主要應(yīng)用于航空航天，軍事，船舶和自動(dòng)駕駛等領(lǐng)域，它是一種位置伺服系統(tǒng)，接收來(lái)自飛行控制系統(tǒng)的控制信號(hào)，驅(qū)動(dòng)方向舵的偏轉(zhuǎn)，進(jìn)而控制飛行的姿態(tài)和軌跡[1]。舵系統(tǒng)在制導(dǎo)設(shè)備和相關(guān)領(lǐng)域中有不可或缺的主導(dǎo)地位，由于舵系統(tǒng)的長(zhǎng)時(shí)間高負(fù)荷運(yùn)轉(zhuǎn)，一旦發(fā)生故障，就會(huì)發(fā)生難以估計(jì)的損失，為避免造成嚴(yán)重后果，需要時(shí)刻關(guān)心系統(tǒng)的運(yùn)行情況，監(jiān)測(cè)設(shè)備運(yùn)行并采集數(shù)據(jù)進(jìn)行故障診斷。

文獻(xiàn)[2]利用決策樹(shù)和隨機(jī)森林等實(shí)現(xiàn)了舵機(jī)的故障定位。文獻(xiàn)[3]通過(guò)SVM實(shí)現(xiàn)了對(duì)不平衡數(shù)據(jù)的故障診斷；文獻(xiàn)[4]提出了混合粒子群果蠅優(yōu)化BP算法，實(shí)現(xiàn)了舵系統(tǒng)的故障診斷和定位查詢。

隨著計(jì)算機(jī)技術(shù)不斷發(fā)展，深度學(xué)習(xí)由于其出色的識(shí)別能力為故障診斷提供了新思路，并逐漸成為故障檢測(cè)的主要工具[5]。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中研究最充分的方法，其模型被廣泛的應(yīng)用到各種場(chǎng)景中[6]。對(duì)比傳統(tǒng)的故障診斷方法，基于深度學(xué)習(xí)的故障診斷表現(xiàn)出了更為良好的準(zhǔn)確度和適應(yīng)性。文獻(xiàn)[7]將粒子群和深度學(xué)習(xí)相結(jié)合進(jìn)行故障診斷，得到滿意的診斷結(jié)果；文獻(xiàn)[8]將VGG16卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于故障診斷領(lǐng)域，在不同狀態(tài)和多分類任務(wù)中保持了良好的算法性能；文獻(xiàn)[9]構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)HPSOGWO-CNN 模型，解決了舵機(jī)故障測(cè)試數(shù)據(jù)中的小樣本數(shù)據(jù)不均衡的問(wèn)題。文獻(xiàn)[10]利用粒子群優(yōu)化算法確定卷積神經(jīng)網(wǎng)絡(luò)的超參數(shù)選取問(wèn)題，該方法具備良好的普適性。顯然，CNN已經(jīng)成為深度學(xué)習(xí)中常用的智能診斷方法之一[11]。

雖然傳統(tǒng)的一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)已被廣泛應(yīng)用在故障診斷中，但在相同的卷積條件下，卷積神經(jīng)網(wǎng)絡(luò)更容易從高維數(shù)據(jù)中提取特征，一維卷積神經(jīng)網(wǎng)絡(luò)相較于二維卷積神經(jīng)網(wǎng)絡(luò)(2D-CNN)獲得的感受野較小，存在特征提取不充分、訓(xùn)練過(guò)程中容易出現(xiàn)過(guò)擬合的問(wèn)題。文獻(xiàn)[12]提出一種基于2D-CNN的識(shí)別語(yǔ)音情緒的方法，并和1D-CNN進(jìn)行比較，得到優(yōu)于傳統(tǒng)1D-CNN的識(shí)別分類結(jié)果；文獻(xiàn)[13]將一維信號(hào)轉(zhuǎn)化為矩陣形式的二維輸入信號(hào)，并對(duì)二維卷積神經(jīng)網(wǎng)絡(luò)提取的數(shù)據(jù)特征進(jìn)行故障診斷和分類，實(shí)現(xiàn)了不同情況下的故障識(shí)別。從上述研究中發(fā)現(xiàn)，相對(duì)于訓(xùn)練一維數(shù)據(jù)，CNN在處理二維數(shù)據(jù)中展現(xiàn)出了更好的性能，更適合處理二維數(shù)據(jù)。

本文提出一種基于2D-CNN舵機(jī)故障診斷模型的方法，將一維數(shù)據(jù)轉(zhuǎn)化為二維數(shù)組作為輸入，并設(shè)計(jì)了局部學(xué)習(xí)特征模塊(Feature-learning module)，簡(jiǎn)稱為FM，F(xiàn)M架構(gòu)中包含一個(gè)卷積層，一個(gè)批量標(biāo)準(zhǔn)化層，和一個(gè)Re LU激活函數(shù)。通過(guò)對(duì)比模型中所含F(xiàn)M的個(gè)數(shù)，確定最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。本實(shí)驗(yàn)中所提出的2D-CNN模型包含5個(gè)FM架構(gòu)，1個(gè)最大池化層，1個(gè)全連接層和1個(gè)失活層。

1 理論背景

1.1 基本原理

不同于圖像深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)，在舵機(jī)設(shè)備的故障診斷中輸入數(shù)據(jù)的信息分布更為稠密，根據(jù)數(shù)據(jù)量的差別，在實(shí)際可行性上對(duì)降維過(guò)程有較少的依賴，但由于不確定輸入對(duì)于輸出的貢獻(xiàn)程度，全局感受野往往占據(jù)更為重要的地位。

一維卷積神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)故障模式識(shí)別中的特征提取與特征選擇，并對(duì)結(jié)果進(jìn)行分類，但是一維卷積神經(jīng)網(wǎng)絡(luò)針對(duì)不同的應(yīng)用場(chǎng)景需配置不同的深度以滿足全局感受野，且能滿足全局感受野的最低深度和輸入的維度是正相關(guān)的，這也意味著在嚴(yán)苛的硬件條件下對(duì)于不同的故障診斷過(guò)程需要不同的深度。啟發(fā)于三維卷積神經(jīng)網(wǎng)絡(luò)在視頻理解過(guò)程中將時(shí)序作為一個(gè)單獨(dú)的維度引入，提出了升維后的二維卷積神經(jīng)網(wǎng)絡(luò)，二維卷積神經(jīng)網(wǎng)絡(luò)提供了另一種溝通空間信息的方法，我們注意到并列排布進(jìn)行升維對(duì)于擴(kuò)大感受野的貢獻(xiàn)有限，所以尋找一種最大程度增加感受野的排布方式顯得十分重要，經(jīng)過(guò)重重實(shí)驗(yàn)，我們決定使用對(duì)稱排布的數(shù)據(jù)進(jìn)行合并，組成新的二維特征數(shù)據(jù)圖，經(jīng)過(guò)試驗(yàn)，2D-CNN在參數(shù)量和計(jì)算量與1D-CNN幾乎相同的情況下獲得了性能提升。

1.2 二維卷積神經(jīng)網(wǎng)絡(luò)

提出的二維卷積神經(jīng)網(wǎng)絡(luò)模型，首先將一維舵機(jī)數(shù)據(jù)12×1升級(jí)為12×2的形式。如圖1所示，將12維原始數(shù)據(jù)按照分組重新排列，將每組數(shù)據(jù)首尾拼接起來(lái)作為一個(gè)12×2的矩陣，讓數(shù)據(jù)首尾兼顧，讓原本相距較遠(yuǎn)的兩個(gè)參數(shù)對(duì)結(jié)果產(chǎn)生影響，打破了提取數(shù)據(jù)空間的局部性，使每一層的感受野不再局限于相鄰的數(shù)據(jù)，使特征提取具有全局性，卷積層的1d卷積核升級(jí)為2d卷積核，實(shí)現(xiàn)了數(shù)據(jù)增強(qiáng)，增加了可學(xué)習(xí)參數(shù)，將隱藏層映射在更高維的空間，提取出更加抽象的信息，使提取數(shù)據(jù)深層次的特征更加全面。

卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、激活函數(shù)、最大池化層、全連接和輸出層組成。在卷積層中，卷積核通過(guò)步長(zhǎng)移動(dòng)進(jìn)行特征提??；最大池化層用來(lái)減少數(shù)據(jù)的空間尺寸并保存有用的特征，降低網(wǎng)絡(luò)計(jì)算的難度；全連接層把上一層的輸出數(shù)據(jù)特征結(jié)合變成全局特征，并通過(guò)Softmax分類得到最后的分類結(jié)果。

圖1 一維數(shù)據(jù)升級(jí)為二維數(shù)組

1.3 批量標(biāo)準(zhǔn)化(Batch Normalization)

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，每一層的輸入受前一層參數(shù)的影響，隨著網(wǎng)絡(luò)的加深，網(wǎng)絡(luò)參數(shù)的微小變化累積被放大，即產(chǎn)生協(xié)變量偏移，為了減少內(nèi)部協(xié)變量偏移，引入批量標(biāo)準(zhǔn)化。批量標(biāo)準(zhǔn)化(BN)層對(duì)每一個(gè)輸入神經(jīng)元進(jìn)行歸一化處理。

批量標(biāo)準(zhǔn)化對(duì)輸出的Batch的數(shù)據(jù){x(1)，x(2)，…，x(k)}的批零歸一化操作如下所示。

E[x(k)]和Var[x(k)]為訓(xùn)練數(shù)據(jù)集的期望和方差：

(1)

歸一化后x(k)引入?yún)?shù)γ(k)和β(k)，用來(lái)對(duì)標(biāo)準(zhǔn)化的數(shù)據(jù)進(jìn)行縮放和平移：

(2)

式(1)和(2)為數(shù)據(jù)歸一化的過(guò)程，歸一化過(guò)程被用于每個(gè)網(wǎng)絡(luò)層，使得每一層的輸出數(shù)據(jù)呈正態(tài)分布，減少數(shù)據(jù)的發(fā)散程度，增加網(wǎng)絡(luò)的泛化能力，抑制參數(shù)在變化隨網(wǎng)絡(luò)加深而被放大的問(wèn)題，避免了在調(diào)整參數(shù)時(shí)網(wǎng)絡(luò)出現(xiàn)震蕩不收斂的現(xiàn)象。

本實(shí)驗(yàn)中用BN層代替池化層，可以簡(jiǎn)化調(diào)參，加快訓(xùn)練速度，抑制過(guò)擬合，穩(wěn)定網(wǎng)絡(luò)。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)集包含19889組數(shù)據(jù)，每組數(shù)據(jù)集包含12種不同的舵機(jī)測(cè)試指標(biāo)，包括零輸入響應(yīng)、舵偏角、上升時(shí)間、下降時(shí)間、超調(diào)量、零輸入響、應(yīng)遲滯特性、穩(wěn)態(tài)誤差、加載帶寬、空載帶寬等。數(shù)據(jù)集被分為13種狀態(tài)：合格狀態(tài)(Q)和異常狀態(tài)(F1-F12)。實(shí)驗(yàn)數(shù)據(jù)以8：2被分為訓(xùn)練集和測(cè)試集，15872組數(shù)據(jù)為訓(xùn)練集；4017組數(shù)據(jù)為測(cè)試集。實(shí)驗(yàn)訓(xùn)練一次選取的批量大小設(shè)置為512，迭代次數(shù)設(shè)為300次，Adam為優(yōu)化算法。

2.2 不同網(wǎng)絡(luò)結(jié)構(gòu)性能測(cè)試

該實(shí)驗(yàn)中設(shè)計(jì)了一個(gè)局部特征學(xué)習(xí)模塊(Feature-learning module)，簡(jiǎn)稱為FM。如圖2所示。該模塊包括一個(gè)卷積層、BN層和ReLU激活函數(shù)；在相同條件設(shè)置下，通過(guò)改變FM的數(shù)量確定最佳的網(wǎng)絡(luò)模型。FM3包含3個(gè)FM結(jié)構(gòu)，F(xiàn)M4包含4個(gè)FM結(jié)構(gòu)，F(xiàn)M5包含5個(gè)FM結(jié)構(gòu)，F(xiàn)M6包含6個(gè)FM結(jié)構(gòu)，通過(guò)多次實(shí)驗(yàn)對(duì)比，F(xiàn)M3，F(xiàn)M4，F(xiàn)M5和FM6的平均準(zhǔn)確度分別為0.9901，0.9924，0.9948和0.9913，如圖3所示，當(dāng)FM的數(shù)量為5時(shí)，網(wǎng)絡(luò)表現(xiàn)得最好。由此可見(jiàn)，適當(dāng)?shù)脑黾泳W(wǎng)絡(luò)結(jié)構(gòu)的數(shù)量，可以提高提取深層次特征的準(zhǔn)確率，當(dāng)FM模塊過(guò)多時(shí)，會(huì)增加訓(xùn)練時(shí)間和訓(xùn)練難度，準(zhǔn)確率反而下降。

圖2 局部特征學(xué)習(xí)模塊FM

圖3 FM結(jié)構(gòu)的準(zhǔn)確度

2.3 學(xué)習(xí)率的選擇

在2D-CNN訓(xùn)練過(guò)程中，為了確定保證網(wǎng)絡(luò)可以達(dá)到最好的狀態(tài)，學(xué)習(xí)率的選擇至關(guān)重要。以需要重復(fù)進(jìn)行實(shí)驗(yàn)，來(lái)確定最優(yōu)數(shù)值。設(shè)置其他參數(shù)不變時(shí)，遞進(jìn)地改變學(xué)習(xí)率的數(shù)值，實(shí)驗(yàn)結(jié)果如表1所示，當(dāng)學(xué)習(xí)率為0.05時(shí)，準(zhǔn)確率最高，達(dá)到了0.9953。所以選取學(xué)習(xí)率0.05為最優(yōu)值。

表1 不同學(xué)習(xí)率的準(zhǔn)確度

2.4 2D-CNN故障診斷模型的構(gòu)建

如表2所示，為了提取更深一層的特征，該模型的第1、2、3、4和5層為FM結(jié)構(gòu)，批量大小為512，多次實(shí)驗(yàn)對(duì)比確定每一層的卷積核個(gè)數(shù)分別為150、90、60、32和16；第6層為最大池化層，卷積核的大小為2×1，步長(zhǎng)為2；第7層為全連接層，并以0.25的概率隨機(jī)失活，最后通過(guò)Softmax分類器分類，得到最后的13種分類結(jié)果：合格和12類故障，即舵機(jī)的故障診斷結(jié)果。

3 仿真校驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

舵機(jī)的故障診斷實(shí)質(zhì)上為數(shù)據(jù)的分類問(wèn)題,本次實(shí)驗(yàn)使用準(zhǔn)確度(Accuracy)、精確度(Precision)、召回率(Recall)和F-score來(lái)評(píng)估該模型的分類性能：

(3)

(4)

(5)

(6)

TP代表真陽(yáng)性；TN代表真陰性；FP代表假陰性；FN代表假陽(yáng)性。

3.2 性能驗(yàn)證

在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，損失函數(shù)用來(lái)衡量模型的優(yōu)劣，在網(wǎng)絡(luò)訓(xùn)練中，iter代表了模型處理批量大小的數(shù)據(jù)，則512個(gè)iter代表了一次迭代，從圖4可以看出，數(shù)據(jù)在經(jīng)過(guò)不斷迭代的過(guò)程中趨于穩(wěn)定并收斂，證明該模型是可行的。

圖4 損失函數(shù)可視化

3.3 不同模型性能比較

為了對(duì)所提出的模型作出全面的性能評(píng)估，將該模型與不同的優(yōu)化算法SVM，BP，KNN和1D-CNN進(jìn)行評(píng)估和驗(yàn)證，并對(duì)相應(yīng)算法就準(zhǔn)確度、精確度、召回率和F1分?jǐn)?shù)進(jìn)行比較，如表3所示，2D-CNN模型的準(zhǔn)確率高達(dá)0.9953，精確度為0.9961，召回率為0.9977，F(xiàn)-score為0.9969?？梢钥闯?，所提出的2D-CNN模型相比于其他4種模型在舵機(jī)分類故障診斷中表現(xiàn)最佳。

實(shí)驗(yàn)繪制了如表4所示的2D-CNN模型的混淆矩陣，從表3可知，Q，F(xiàn)1，F(xiàn)2，F(xiàn)4，F(xiàn)5，F(xiàn)8和F11的故障準(zhǔn)確度分別為0.997、0.9875、0.9803、0.9771、0.9736、0.9813和0.9824；其余的故障分類準(zhǔn)確度均達(dá)到了1。

表2 2D-CNN框架圖

表3 模型的性能評(píng)估

表4 2D-CNN的混淆矩陣

4 結(jié)論

對(duì)于舵機(jī)的故障診斷，提出了一種基于二維卷積神經(jīng)網(wǎng)絡(luò)的舵機(jī)故障檢測(cè)，擴(kuò)大感受野，提高了特征提取的效率。該模型與其他模型進(jìn)行對(duì)比，其準(zhǔn)確率高達(dá)0.9953，精確度為0.9961，召回率為0.9977，F(xiàn)-score為0.9969，均為最優(yōu)。表明CNN在處理二維數(shù)據(jù)中表現(xiàn)優(yōu)異，2D-CNN在舵機(jī)的故障診斷中效果良好，滿足了對(duì)舵機(jī)故障檢測(cè)的要求。