基于深度卷積生成對抗網(wǎng)絡(luò)的不平衡大數(shù)據(jù)監(jiān)測與診斷

林 君 萍

(福建船政交通職業(yè)學院，福州 350000)

0 前 言

隨著工業(yè)4.0時代的到來，工業(yè)大數(shù)據(jù)成為驅(qū)動工業(yè)發(fā)展和進步的核心資源之一[1]。利用不同類型的傳感器采集到的工業(yè)大數(shù)據(jù)，可以實現(xiàn)對機械設(shè)備的實時在線監(jiān)控，避免出現(xiàn)由于設(shè)備故障、停機等而給企業(yè)造成額外損失。由于數(shù)據(jù)采集環(huán)境、數(shù)據(jù)類型的不同，不平衡數(shù)據(jù)廣泛存在于生產(chǎn)過程中[2]。在不平衡數(shù)據(jù)集中，一個或多個數(shù)據(jù)類別的總量往往遠超過其他類別，數(shù)據(jù)類別的不均衡給故障特征提取、分類、檢測等帶來了較大困難[3]。傳統(tǒng)數(shù)據(jù)監(jiān)測和故障診斷算法大多依賴于故障數(shù)據(jù)均衡的假設(shè)[4]，現(xiàn)有的少數(shù)針對不平衡工業(yè)大數(shù)據(jù)的處理算法，也都是以數(shù)據(jù)集的再平衡為前提，并未對故障數(shù)據(jù)的具體類別作出詳細區(qū)分。王來等人提出了基于Boosting的不平衡工業(yè)大數(shù)據(jù)處理算法，通過引入代價矩陣平衡大數(shù)據(jù)故障樣本集[5]。該算法的不足之處在于，誤分類的代價過高，算法本身缺乏足夠的針對性和指向性。譚志等人提出基于樸素Bayes的故障大數(shù)據(jù)分類與監(jiān)測算法[6]，該算法在針對規(guī)模較小的數(shù)據(jù)集時具有一定的優(yōu)勢，但應(yīng)對大規(guī)模數(shù)據(jù)集的能力較弱，分類的準確性和精度也有待改善。針對大規(guī)模不平衡數(shù)據(jù)集的特征，本次研究以機器學習和深度學習為基礎(chǔ)[7-8]，提出一種基于深度卷積生成對抗網(wǎng)絡(luò)的故障大數(shù)據(jù)監(jiān)測和診斷算法，該算法融合了深度卷積神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)的優(yōu)勢，在數(shù)據(jù)分類處理和故障診斷方面具有更高的效率。

1 深度卷積生成對抗網(wǎng)絡(luò)模型

1.1 生成對抗網(wǎng)絡(luò)模型的構(gòu)建

不平衡數(shù)據(jù)集通常具有高維、復雜的數(shù)據(jù)分布特征[9]，對少部分數(shù)據(jù)集特征提取的難度較大。生成對抗網(wǎng)絡(luò)模型作為一種高效的無監(jiān)督數(shù)據(jù)處理算法，無需大量樣本標準和訓練就能夠?qū)W習到少量數(shù)據(jù)集的深度表征。生成對抗網(wǎng)絡(luò)模型包含生成思想和對抗思想，其中，生成模型中的生成器G根據(jù)輸入數(shù)據(jù)的特征建立與之匹配的模型，并隨機產(chǎn)生與輸入數(shù)據(jù)分布近似的分布數(shù)據(jù)，校正數(shù)據(jù)集的不平衡性。判別器D則基于已有的數(shù)據(jù)進行建模，學習輸入數(shù)據(jù)的分布并判定輸入數(shù)據(jù)的概率分布。生成對抗網(wǎng)絡(luò)模型的基本結(jié)構(gòu)如圖1所示。

圖1 生成對抗網(wǎng)絡(luò)模型的基本結(jié)構(gòu)

深度學習過程模型參數(shù)的設(shè)置通過對輸入數(shù)據(jù)或構(gòu)造數(shù)據(jù)的學習而完成[10]。數(shù)據(jù)訓練中核心參數(shù)的選擇必然存在偏差，用損失函數(shù)評價模型的理論參數(shù)與實際參數(shù)之間的差距。對于判別器D而言，輸出參數(shù)部分損失函數(shù)的確定較為容易；而對于生成器G而言，模擬樣本的構(gòu)建過程較為復雜，定義損失函數(shù)的難度較大。鑒于生成模型損失函數(shù)參數(shù)選擇的特點，生成對抗網(wǎng)絡(luò)是針對對抗模型來處理前端模型的信息反饋，再由判別模型判別數(shù)據(jù)類型，利用判別結(jié)果指導前端模型參數(shù)的生成與選擇。通過生成模型和判別模型之間不斷的對抗、調(diào)整與優(yōu)化，得到最優(yōu)的對抗模型。在生成對抗網(wǎng)絡(luò)模型中，先驗分布為P(z)，其中z為輸入模型的噪聲數(shù)據(jù)；生成器G的概率分布為PG(x)，x為輸入判別器D的待判定數(shù)據(jù);PD(x)為輸入判別器D的真實數(shù)據(jù)概率分布。生成對抗網(wǎng)絡(luò)模型的目的是得到一個經(jīng)過數(shù)據(jù)對抗的優(yōu)化生成器G′：

(1)

EPD(x){lg[1-D(G(z))]}

(2)

(3)

PG(G(x))]

(4)

式中：κ為生成對抗網(wǎng)絡(luò)相對熵值；PG(G(x))為生成器函數(shù)的先驗分布。

當PD(x)與PG(G(x))相等并將判別器D視為二元分類器時，可以得到經(jīng)過優(yōu)化的生成器G′，并獲取最小化的lg(1-D(x))。

1.2 基于深度卷積生成對抗網(wǎng)絡(luò)模型的數(shù)據(jù)監(jiān)測與診斷

生成對抗網(wǎng)絡(luò)模型的生成器與判別器要交替優(yōu)化，在不平衡數(shù)據(jù)的實際應(yīng)用中難以實現(xiàn)納什均衡，生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的數(shù)據(jù)無法較好地實現(xiàn)同步。例如，生成器經(jīng)過多次訓練，才完成一次更新。經(jīng)典的生成對抗網(wǎng)絡(luò)無法增加相關(guān)的輔助信息，模型的穩(wěn)定性不足，這將會導致生成器G的數(shù)據(jù)樣本缺乏多樣性、損失函數(shù)值無法準確確定。為了解決目前存在的不足，用深度卷積網(wǎng)絡(luò)中的轉(zhuǎn)置卷積層替換所有池化層，并在更深的卷積網(wǎng)絡(luò)中去除全連接層，將步幅卷積應(yīng)用于生成對抗網(wǎng)絡(luò)當中，以提升數(shù)據(jù)訓練的穩(wěn)定性?；谏疃染矸e生成對抗網(wǎng)絡(luò)模型如圖2所示。

圖2 基于深度卷積生成對抗網(wǎng)絡(luò)模型

將轉(zhuǎn)置卷積層所提取的特征作為判別器網(wǎng)絡(luò)的輸入項，經(jīng)過優(yōu)化的生成對抗網(wǎng)絡(luò)判別層選擇Sigmoid作為激勵函數(shù)，而輸出層則選擇Relu作為激活函數(shù)。判別器的輸出數(shù)據(jù)處理為均值為0、標準差為1的分布，增強數(shù)據(jù)的一致性和模型的穩(wěn)定性能解決深度卷積網(wǎng)絡(luò)模型中梯度溢出的問題。選用Sigmoid函數(shù)作為模型的激勵函數(shù)，生成對抗網(wǎng)絡(luò)是通過生成器與判別器的交替優(yōu)化和訓練，選取最優(yōu)的訓練參數(shù)以達到優(yōu)化整個網(wǎng)絡(luò)數(shù)據(jù)處理性能的目的。輸入模型的噪聲數(shù)據(jù)為z，通過生成器前項預測得到與輸入數(shù)據(jù)相關(guān)的輸出數(shù)據(jù)為z′，在生成器模型中訓練過的z′與z合并，在疊加后作為判別器的輸入項。疊加的故障數(shù)據(jù)并非是完全真實的數(shù)據(jù)，包含一部分真值為0的負樣本y和真值為1的正樣本y′。經(jīng)過優(yōu)化的生成對抗網(wǎng)絡(luò)，能夠區(qū)分生成的故障數(shù)據(jù)和真實的故障數(shù)據(jù)，且無需反復確定模型的參數(shù)。轉(zhuǎn)置卷積層的加入，一方面提升了模型應(yīng)對大規(guī)模數(shù)據(jù)集的能力，另一方面也可調(diào)整神經(jīng)元的數(shù)量，降低計算代價。在生成器的訓練過程中，將疊加輸入的故障數(shù)據(jù)設(shè)定為1，并通過對抗調(diào)整和優(yōu)化模型的參數(shù)使輸出結(jié)果盡量接近真實，降低損失值以達到優(yōu)化生成器的目的。

生成器損失函數(shù)的設(shè)計是提升模型對故障數(shù)據(jù)監(jiān)測與診斷的關(guān)鍵，對進入判別器的正樣本進行y′訓練，設(shè)LGAN(D)為判別器輸入結(jié)果與真實值的交叉熵：

LGAN(D)=Ez[lg(1-D(z，z′))]

(5)

式中：Ez是z所對應(yīng)的能量函數(shù)；利用y和y′的L1范數(shù)作為生成器的損失函數(shù)，衡量真實值與生成值之間的差距：

(6)

模型的訓練初期，基于深度卷積網(wǎng)絡(luò)的轉(zhuǎn)置卷積層提取的故障數(shù)據(jù)特征更加穩(wěn)定。局部特征訓練過程中，采用遷移學習的策略調(diào)整數(shù)據(jù)集，訓練的補償和時間都會減少，數(shù)據(jù)處理的效率得到提升。

2 實驗結(jié)果與分析

2.1 平臺搭建與數(shù)據(jù)集選擇

在Hadoop環(huán)境下搭建不平衡數(shù)據(jù)監(jiān)測實驗平臺，平臺基于Java語言開發(fā)，具有良好的開放性和兼容性。平臺由4個實驗主機構(gòu)成，其中主機1設(shè)定為NameNode，主機2—主機4設(shè)定為DateNote，實驗中使用的Hadoop版本為2.7.1，JDK版本為jdk1.8.3-53。將全部主機連接在同一局域網(wǎng)絡(luò)范圍內(nèi)，虛擬服務(wù)器選擇VirtualBox。各數(shù)據(jù)監(jiān)測主機的參數(shù)配置如表1所示。

表1 實驗平臺主機的參數(shù)配置

從UCI數(shù)據(jù)庫中選擇10組不平衡的數(shù)據(jù)集樣本，數(shù)據(jù)集的范圍涵蓋特征維度、樣本規(guī)模、數(shù)據(jù)集比例等不同的信息(見表2)。

表2 實驗數(shù)據(jù)集樣本的相關(guān)信息

2.2 實驗結(jié)果與分析

首先，驗證深度卷積生成對抗網(wǎng)絡(luò)模型的數(shù)據(jù)訓練性能?；赥-SNE算法將故障樣本降維，并確保其在二維空間內(nèi)的可視性，以數(shù)據(jù)集5和數(shù)據(jù)集10為例，150輪訓練后，不平衡數(shù)據(jù)集樣本中的數(shù)據(jù)分布情況見圖3、圖4(基于Matlab仿真得到)。仿真結(jié)果顯示，兩類不平衡數(shù)據(jù)間有明顯的界限，證明生成對抗網(wǎng)絡(luò)在優(yōu)化后，生成對抗網(wǎng)絡(luò)模型獲得了良好的訓練結(jié)果，數(shù)據(jù)訓練性能得到提升。

圖3 數(shù)據(jù)集樣本5的數(shù)據(jù)分布情況

圖4 數(shù)據(jù)集樣本10的數(shù)據(jù)分布情況

其次，檢驗深度卷積生成對抗網(wǎng)絡(luò)模型針對不平衡數(shù)據(jù)集的分類性能，提升數(shù)據(jù)分類準確率是保證故障數(shù)據(jù)診斷準確率的基礎(chǔ)。為保證實驗結(jié)果的直觀性，實驗過程引入Boosting算法和Bayes算法進行對比，10組不平衡數(shù)據(jù)集樣本準確率統(tǒng)計結(jié)果見表3。

表3 不平衡數(shù)據(jù)集樣本分類準確率統(tǒng)計

統(tǒng)計結(jié)果顯示，針對小規(guī)模樣本的故障數(shù)據(jù)分類，3種算法模型均有較高的準確率，而當樣本規(guī)模較大時，Boosting算法和Bayes算法的分類準確率降低。為了評估算法模型的性能，引入評價指標F(Measure)和G(Mean)。F(Measure)是一種用于指標評價的統(tǒng)計量，將準確率(Precision)和召回率(Recall)進行加權(quán)、調(diào)和與評價；G(Mean)是一種用于綜合指標評價的統(tǒng)計量，能夠綜合評價Recall與誤判率(Misjudgment rate)等指標，可以避免單一指標評價時出現(xiàn)的數(shù)值波動。

(7)

(8)

式中：η為隨著數(shù)據(jù)集規(guī)模增長的動態(tài)參數(shù)，取值范圍為(0，1]，當取值為1時，即為F1值；κ為不平衡數(shù)據(jù)集的故障診斷準確率；τ為召回率；ζ為誤判率。

深度卷積生成網(wǎng)絡(luò)算法、Boosting算法和Bayes算法模型的F(Measure)、G(Mean)評價指標結(jié)果統(tǒng)計見表4、表5。

表4 F(Measure)評價指標的統(tǒng)計結(jié)果

表5 G(Mean)評價指標的統(tǒng)計結(jié)果

F(Measure)評價指標結(jié)果顯示，深度卷積生成網(wǎng)絡(luò)算法模型對各數(shù)據(jù)集的F(Measure)值均高于Boosting、Bayes算法，尤其是當不平衡比例較高和數(shù)據(jù)集規(guī)模較大時，深度卷積生成網(wǎng)絡(luò)算法的優(yōu)勢更加明顯。

G(Mean)評價指標結(jié)果顯示，深度卷積生成網(wǎng)絡(luò)算法模型的指標值穩(wěn)定性更好，尤其應(yīng)對不平衡比例較高的數(shù)據(jù)集時，能夠確保故障數(shù)據(jù)的診斷結(jié)果穩(wěn)定、準確、持續(xù)地輸出。

3 結(jié) 語

不平衡大數(shù)據(jù)在學習、訓練和分類處理時的難度更大，為此，本次研究對經(jīng)典的生成對抗網(wǎng)絡(luò)模型進行優(yōu)化，利用轉(zhuǎn)置卷積層提升對故障數(shù)據(jù)訓練的能力，并且降低參數(shù)調(diào)整和優(yōu)化等方面的復雜度。實驗結(jié)果表明，深度卷積生成對抗網(wǎng)絡(luò)模型具有良好的故障數(shù)據(jù)訓練性能，同時在數(shù)據(jù)分類性能和故障診斷性能方面也有一定優(yōu)勢。