基于生成對抗網(wǎng)絡(luò)的熱泵系統(tǒng)故障診斷數(shù)據(jù)集擴充方法研究①

孫 哲 金華強 顧江萍 黃躍進 王新雷 鄭愛武 沈 希③

(*浙江工業(yè)大學機械工程學院 杭州310023)

(**浙江工業(yè)大學教育科學與技術(shù)學院 杭州310023)

(***伊利諾伊大學香檳校區(qū)農(nóng)業(yè)與生物工程學院 厄巴納IL61801)

(****加西貝拉壓縮機有限公司 嘉興314011)

0 引言

我國北方推行“煤改電”政策以來,熱泵系統(tǒng)的使用量逐年增加。相關(guān)研究表明,熱泵系統(tǒng)能源消耗約占建筑能耗一半以上[1],而建筑能耗作為用能大戶,在社會總能耗中占比超過40%[2]。熱泵系統(tǒng)運行故障會導致其效率降低,造成大量能源浪費,及時、準確地診斷出相關(guān)故障可以最大限度地保證系統(tǒng)高效運行,達到節(jié)約能源的目的。

現(xiàn)階段熱泵系統(tǒng)故障診斷方法逐漸朝著智能化方向發(fā)展,眾多研究提出了一系列基于數(shù)據(jù)驅(qū)動和深度學習的故障診斷模型,提高了診斷精度。文獻[3]構(gòu)建了深度模型用于空氣源熱泵漸變故障診斷,較好實現(xiàn)了早期漸變故障的預警與診斷。文獻[4]基于離散化貝葉斯網(wǎng)絡(luò)診斷制冷機組,并在ASHRAE RP-1043 數(shù)據(jù)集上驗證,得到了較高的診斷精度。文獻[5]利用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建診斷模型,實現(xiàn)空氣源熱泵熱水器制冷劑泄漏亞健康的預警與診斷。文獻[6]對近年來建筑能耗智能診斷方法做了相關(guān)綜述,較為詳細地描述了熱泵系統(tǒng)智能故障診斷的研究現(xiàn)狀。然而這些診斷方法都需要大量的、帶有故障標記的訓練數(shù)據(jù)實現(xiàn)模型訓練。而在實際系統(tǒng)中,并沒有那么多故障數(shù)據(jù),這些數(shù)據(jù)也很難準確標記出故障類型,這一限制成為了智能診斷方法實際應用的瓶頸之一。要想實現(xiàn)高精度的故障診斷,必須具有充足的、均衡的訓練數(shù)據(jù)集,即每種故障都具有足夠的數(shù)據(jù)量。解決辦法之一是利用有限的數(shù)據(jù)量進行數(shù)據(jù)擴充,生成更多的高度仿真的數(shù)據(jù),從而解決數(shù)據(jù)量不足、數(shù)據(jù)集不均衡的問題。因此,如何生成高質(zhì)量的仿真數(shù)據(jù)成為了解決故障診斷實際應用的關(guān)鍵。

近年來一種新型智能算法——生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN),在圖像生成等領(lǐng)域得到了極大的關(guān)注,該算法利用自我博弈的方式高效地學習訓練數(shù)據(jù)樣本的概率密度分布,并利用學習到的參數(shù)生成更多的仿真樣本。這一技術(shù)迅速成為生成模型的主力軍,在數(shù)據(jù)生成質(zhì)量上遠優(yōu)于其他數(shù)據(jù)生成算法,如自回歸網(wǎng)絡(luò)、變分自編碼等。利用生成對抗網(wǎng)絡(luò)有望實現(xiàn)熱泵系統(tǒng)故障數(shù)據(jù)集的擴充,進而解決智能故障診斷對數(shù)據(jù)量的依賴問題。

一些學者在相關(guān)領(lǐng)域的數(shù)據(jù)擴充方向應用GAN 取得了可喜的成果。文獻[7]較早地在生物醫(yī)學領(lǐng)域應用了GAN,實現(xiàn)人腦核磁共振圖像的生成,解決了生物醫(yī)學圖像數(shù)據(jù)短缺的問題。文獻[8]同樣利用GAN 實現(xiàn)人腦核磁共振圖像生成,以提高腦部腫瘤智能識別的精度。文獻[9]將GAN 引入語音識別領(lǐng)域,利用條件GAN 生成更多的語音數(shù)據(jù),解決帶標記的語音數(shù)據(jù)量不足的問題。為提高生成數(shù)據(jù)質(zhì)量,將語音數(shù)據(jù)轉(zhuǎn)化到頻域,以降低GAN 的訓練難度。文獻[10]利用GAN 實現(xiàn)圖像數(shù)據(jù)集擴充,解決圖像分類研究中因圖像數(shù)據(jù)不足造成的模型表達能力差的問題。文獻[11]將GAN 引入機械故障診斷領(lǐng)域,利用深度卷積GAN 實現(xiàn)機械運行數(shù)據(jù)集的擴充,解決機械故障診斷過程中因數(shù)據(jù)集不均衡導致診斷精度偏低的問題。

以上研究雖然證明GAN 在數(shù)據(jù)集擴充方面具有一定優(yōu)勢,但尚無學者將這一技術(shù)應用到熱泵系統(tǒng)故障數(shù)據(jù)集擴充方向。熱泵系統(tǒng)故障數(shù)據(jù)相比于其他數(shù)據(jù)有著自身的特點。具體而言,不同故障數(shù)據(jù)間差異非常小,如健康系統(tǒng)的冷凝溫度可能為54.5 ℃,而冷凝器結(jié)垢系統(tǒng)的冷凝溫度可能為55.5 ℃。這種不明顯的差異給不同類別的數(shù)據(jù)生成帶來了較大難度,其直接的結(jié)果是生成的各種類別數(shù)據(jù)可能相互混淆,無法達到提高診斷精度的目的。因此,本文針對熱泵系統(tǒng)故障數(shù)據(jù)的這一特點,提出了利用熱泵基準模型將運行數(shù)據(jù)轉(zhuǎn)化為殘差數(shù)據(jù),并利用GAN 學習殘差數(shù)據(jù),從而增大數(shù)據(jù)間的差異性。并針對GAN 訓練困難的問題,設(shè)計了具體可行的超參數(shù)方案和訓練方法,實現(xiàn)了熱泵系統(tǒng)故障數(shù)據(jù)集擴充。

1 基本理論

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(GAN)于2014 年提出[12],隨后的幾年內(nèi)得到了領(lǐng)域內(nèi)極大的關(guān)注。GAN 通過對抗的過程訓練生成模型,包括2 個神經(jīng)網(wǎng)絡(luò),即判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)。訓練的目標是使得生成網(wǎng)絡(luò)G學習到真實數(shù)據(jù)的概率分布。

早期的GAN 使用的全連接神經(jīng)網(wǎng)絡(luò)構(gòu)建生成模型和判別模型。定義一組噪音變量pz(z),并通過構(gòu)建一個神經(jīng)網(wǎng)絡(luò)G(z;θg) 將噪音變量映射到數(shù)據(jù)空間。然后,再構(gòu)建一個神經(jīng)網(wǎng)絡(luò)D(x;θd),其輸出為單一的標量,表示x屬于真實數(shù)據(jù)的概率。通過梯度下降的方式訓練判別模型D,使其最大化正確判斷數(shù)據(jù)真實與否的概率。同時,訓練生成模型G,使其最小化log(1-D(G(z)))。以上的訓練過程表示,生成模型G和判別模型D在進行二元極大極小博弈,該博弈過程可以表示為

其中,pdata是真實數(shù)據(jù)的分布,pz是隱空間的分布。

原始的GAN 存在許多問題,包括訓練困難、容易發(fā)散等。為提高GAN 的使用性,后續(xù)研究逐漸提出了一系列新的版本,提高了訓練穩(wěn)定性,包括Wasserstein GAN[13](WGAN)以及它的改進版本W(wǎng)GAN-GP[14]。

WGAN 使用Wasserstein 距離作為損失函數(shù)來訓練GAN,解決了當真實分布與生成分布不存在重疊時的梯度消失問題。Wasserstein 距離的定義如式(2)所示。

其中,∏(Pr,Pg) 是所有以Pr和Pg為邊界的聯(lián)合分布集合。但是這一定義中的infγ ～∏(Pr,Pg)沒有辦法直接求解,因此將式(2)變換成式(3)的形式。

這里函數(shù)f必須滿足Lipschitz 連續(xù)條件,即‖f‖≤1。為了使其滿足這一條件,WGAN 將判別網(wǎng)絡(luò)D中的參數(shù)限制在[-c,c]之間。

后續(xù)的研究發(fā)現(xiàn)WGAN 有時同樣會出現(xiàn)收斂失敗的現(xiàn)象,導致這一現(xiàn)象的原因是強制限制了網(wǎng)絡(luò)參數(shù)范圍以滿足Lipschitz 連續(xù)條件[14]。因此,該項研究提出一種利用梯度懲罰的策略來代替強制限制,并基于此策略提出了一種新型GAN 變體——WGAN-GP。這一新型結(jié)構(gòu)訓練穩(wěn)定、易于收斂,得到了廣泛的應用。

1.2 生成數(shù)據(jù)質(zhì)量評估

評價GAN 模型是一項非常具有挑戰(zhàn)性的工作。對于復雜的生成數(shù)據(jù),不僅需要評價其與真實數(shù)據(jù)概率分布間的差異,也需要評價數(shù)據(jù)自身的多樣性。目前尚沒有公認的權(quán)威評價方法。文獻[15]對常見的GAN 評價方法做了詳細的對比分析,得出核最大平均差異(kernel maximum mean discrepancy,MMD)和1-最近鄰(1-nearest neighbor,1-NN)指標是2 個非常優(yōu)秀的評價指標,不僅可以用來區(qū)分真實對象和生成樣本,還可以識別模式丟棄(modedropping)和模式坍塌(modecollapsing),以及檢測過擬合。

Kernel MMD 指標可以定義為

在一些固定的核函數(shù)K下,MMD 指標度量了真實分布Pr和生成分布Pg之間的差異,兩分布差異越小,則MMD 值越小。文獻[16]提出的parzen窗估計是MMD 的一種特殊形式。

1-NN 則用于成對的樣本檢驗,用于評估兩分布的相似性。給定兩組樣本,滿足| Sr |=| Sg|,可以計算在兩分布上訓練的1-NN 分類器的LOO(leave-one-out)精度,其中Sr全部標記為正樣本,Sg全部標記為負樣本。與其他精度度量不同的是,當| Sr|=| Sg|非常大時,LOO 精度應服從約為50%的準確率,當兩個分布相匹配時,即滿足50%的準確率。當LOO 低于50%,則說明生成分布過擬合真實采樣分布。而當LOO 遠大于50%,甚至接近100%時,說明兩分布差異很大。

本文將利用MMD 和1-NN 2 種評估指標對生成數(shù)據(jù)的質(zhì)量進行評估,判斷其與真實數(shù)據(jù)分布間的差異大小。

1.3 故障診斷驗證方法

本文研究熱泵系統(tǒng)故障數(shù)據(jù)集擴充方法,其目的是在標記數(shù)據(jù)不足的情況下提高診斷精度。因此,必須依靠一種診斷方法驗證添加生成數(shù)據(jù)后診斷精度的變化。

本文選擇前期提出的研究成果,一種基于深度學習的熱泵系統(tǒng)故障診斷方法[3]。該方法首先建立熱泵系統(tǒng)基準模型,用于計算健康系統(tǒng)的理論狀態(tài)值,如冷凝溫度、排氣溫度等。然后利用實測狀態(tài)值減去理論值,得到殘差數(shù)據(jù)。最后利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建診斷模型,利用殘差數(shù)據(jù)訓練模型,并利用訓練完成的模型實現(xiàn)熱泵系統(tǒng)故障診斷。

本文構(gòu)建兩類訓練數(shù)據(jù)集,一類數(shù)據(jù)集只包含真實數(shù)據(jù),另一類數(shù)據(jù)集則是由真實數(shù)據(jù)和生成數(shù)據(jù)組成的混合數(shù)據(jù)集,具體數(shù)據(jù)集內(nèi)的數(shù)據(jù)量詳見后文第3.5 節(jié)。

2 數(shù)據(jù)集擴充方法

2.1 學習數(shù)據(jù)選擇

本文利用GAN 學習數(shù)據(jù)的分布特性,并生成更多的仿真數(shù)據(jù),用于擴充診斷算法的訓練數(shù)據(jù)集。如第1.3 節(jié)介紹,本文選用的診斷驗證算法先要利用基準模型獲得熱泵系統(tǒng)的運行殘差數(shù)據(jù),后利用殘差數(shù)據(jù)訓練卷積神經(jīng)網(wǎng)絡(luò),實現(xiàn)故障診斷。因此,數(shù)據(jù)集擴充方法既可以是擴充原始運行數(shù)據(jù)集,也可以擴充殘差訓練數(shù)據(jù)集。擴充原始數(shù)據(jù)集也需要利用基準模型將其轉(zhuǎn)化為殘差數(shù)據(jù)供卷積神經(jīng)網(wǎng)絡(luò)訓練。

熱泵系統(tǒng)運行數(shù)據(jù)和殘差數(shù)據(jù)有著較大的差別。運行數(shù)據(jù)是熱泵系統(tǒng)的熱物理參數(shù),如壓縮機排氣壓力、排氣溫度、冷凝器入口溫度等。隨著熱泵系統(tǒng)運行工況的調(diào)整,這些熱物理參數(shù)變化較大,一定程度上覆蓋了因系統(tǒng)故障造成的參數(shù)變化,這些是熱泵系統(tǒng)故障診斷困難的原因之一。直接利用GAN 學習運行數(shù)據(jù),就需要學習到不同故障數(shù)據(jù)間的差異,生成的數(shù)據(jù)也必須包含這些差異,否則無法達到提高診斷精度的目的。然而熱泵系統(tǒng)結(jié)構(gòu)復雜,具有強耦合、大滯后的特性,準確學習運行數(shù)據(jù)及故障間的差異具有較大難度。而殘差數(shù)據(jù)則相對簡單,所謂殘差是指故障系統(tǒng)與健康系統(tǒng)在相同條件下各個參數(shù)的差值。在基準模型精度足夠高的條件下,健康系統(tǒng)的殘差數(shù)據(jù)應接近0,不同故障系統(tǒng)的不同參數(shù)殘差各不相同,使得故障數(shù)據(jù)間的差異性明顯。利用GAN 直接學習殘差數(shù)據(jù)可以降低學習難度,提高數(shù)據(jù)生成質(zhì)量。

但殘差數(shù)據(jù)的生成需要依賴基準模型,使得生成殘差的同時引入了基準模型自身的誤差,模型精度越高,殘差質(zhì)量越好。本文選擇文獻[3]中的基準建模方法,這種基準模型融合卷積網(wǎng)絡(luò)、編-解碼器、循環(huán)網(wǎng)絡(luò),可以在熱泵系統(tǒng)工況頻繁遷移的條件下實現(xiàn)高精度建模,最大限度避免了殘差計算過程中的誤差引入。

2.2 算法構(gòu)建

因WGAN-GP 模型在訓練穩(wěn)定性方面的優(yōu)勢,本文以這一模型為基礎(chǔ),利用深度卷積網(wǎng)絡(luò)搭建生成器和判別器,并根據(jù)數(shù)據(jù)集特性對模型以及參數(shù)設(shè)置進行優(yōu)化改進,最終實現(xiàn)高質(zhì)量的數(shù)據(jù)生成。

算法主要包括2 個部分:(1) 生成網(wǎng)絡(luò)G,采用上采樣深度卷積網(wǎng)絡(luò);(2) 判別網(wǎng)絡(luò)D,采用下采樣深度卷積網(wǎng)絡(luò)。

生成網(wǎng)絡(luò)G的作用是接收輸入的噪音數(shù)據(jù),利用網(wǎng)絡(luò)前向傳播算法生成數(shù)據(jù)樣本,數(shù)據(jù)結(jié)構(gòu)為二維矩陣結(jié)構(gòu)。生成網(wǎng)絡(luò)G的訓練目的是學習從噪音隱空間到樣本數(shù)據(jù)x的映射關(guān)系。生成網(wǎng)絡(luò)G的損失函數(shù)表示為式(5),pg表示生成數(shù)據(jù)的分布。從損失函數(shù)可以看出,其計算值與判別器的診斷結(jié)果相關(guān),這也是生成對抗兩個過程不可分割的地方。

判別網(wǎng)絡(luò)D的作用是接收真實數(shù)據(jù)樣本和生成數(shù)據(jù)樣本,利用網(wǎng)絡(luò)前向傳播算法最終給出數(shù)據(jù)是否屬于真實數(shù)據(jù)的二元概率值,取概率較高的標簽為最終判定值。判別網(wǎng)絡(luò)D和生成網(wǎng)絡(luò)G是在相互對抗的狀態(tài)下完成訓練的,判別網(wǎng)絡(luò)G的損失函數(shù)表示為

其中,pr表示真實數(shù)據(jù)的分布,p^ω表示真假數(shù)據(jù)間的抽樣數(shù)據(jù)的分布。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)在對抗學習中共同提高,最終使生成網(wǎng)絡(luò)G可以生成概率分布非常接近真實數(shù)據(jù)分布的樣本數(shù)據(jù)。

生成網(wǎng)絡(luò)的目的是生成接近真實數(shù)據(jù)分布的高質(zhì)量數(shù)據(jù),用來迷惑判別網(wǎng)絡(luò)。而判別網(wǎng)絡(luò)則不斷優(yōu)化使得可以準確區(qū)分生成數(shù)據(jù)和真實數(shù)據(jù)。在這樣一種對抗訓練過程中,兩個網(wǎng)絡(luò)共同優(yōu)化,最終使得生成網(wǎng)絡(luò)可以生成非常接近真實數(shù)據(jù)的樣本。為提高生成數(shù)據(jù)的質(zhì)量,每個GAN 模型只生成一種故障數(shù)據(jù),多個GAN 模型共同實現(xiàn)故障數(shù)據(jù)集的擴充。具體的GAN 算法構(gòu)架見圖1,運行數(shù)據(jù)先由基準模型轉(zhuǎn)化為殘差數(shù)據(jù),而生成網(wǎng)絡(luò)則直接由噪音數(shù)據(jù)生成殘差數(shù)據(jù)。兩種殘差數(shù)據(jù)混合在一起輸入判別網(wǎng)絡(luò),作為訓練數(shù)據(jù)優(yōu)化判別網(wǎng)絡(luò),使其可以更好地區(qū)分真實數(shù)據(jù)和生成數(shù)據(jù)。生成網(wǎng)絡(luò)的訓練則需要結(jié)合判別網(wǎng)絡(luò),將判別網(wǎng)絡(luò)的參數(shù)固定使其不能優(yōu)化,生成網(wǎng)絡(luò)不斷生成新的數(shù)據(jù)并將其標記成真實數(shù)據(jù),利用判別網(wǎng)絡(luò)診斷并計算損失值,利用反向傳播算法優(yōu)化生成網(wǎng)絡(luò)。如此往復實現(xiàn)持續(xù)的對抗優(yōu)化,直到訓練輪數(shù)結(jié)束。

圖1 GAN 算法構(gòu)架

2.3 模型優(yōu)化

GAN 模型訓練困難,在現(xiàn)有模型基本結(jié)構(gòu)的基礎(chǔ)上需通過調(diào)節(jié)具體參數(shù)實現(xiàn)訓練收斂,因此一些參數(shù)調(diào)整方面的優(yōu)化對任務(wù)的實現(xiàn)具有重要作用。近年來,許多學者相繼提出了一系列GAN的訓練技巧,給GAN 的實際應用帶來了幫助,如NIPS2016 以及ICCV2017 上SoumithChintala 總結(jié)的GAN 訓練技巧。本文結(jié)合相關(guān)研究內(nèi)容,根據(jù)自身研究特點,使用如下訓練技巧。

(1) 除生成器第一層和判別器最后一層外,不使用全連接神經(jīng)網(wǎng)絡(luò)。

(2) 生成器激活函數(shù)選擇方面,除最后一層外,均使用rule 函數(shù)。最后一層根據(jù)數(shù)據(jù)的歸一情況,若范圍為[-1,1]則使用tanh 函數(shù),若為[0,1]則使用sigmoid 函數(shù)。

(3)判別器激活函數(shù)選擇情況,除最后一層外,均使用leakyrelu 激活函數(shù)。最后一層根據(jù)數(shù)據(jù)真?zhèn)螛擞浄Q定,若為傳統(tǒng)GAN 標記法,即fake 數(shù)據(jù)標記為1,valid 數(shù)據(jù)標記為0,則使用sigmoid 函數(shù);若使用帶有梯度懲罰(gradient penalty)的標記法,即fake 為1,valid 為-1,dummy 為0,則使用tanh 函數(shù)。

(4)數(shù)據(jù)真?zhèn)蔚臉擞浭褂密洏撕?即不要簡單地使用1 或者-1 來表示,而是添加[0,0.1]的隨機噪音,將標記改為[-1,-0.9]以及[0.9,1]之間的隨機數(shù)。

(5)在生成每一層卷積層之后,添加一層batchnormalization(BN)層。

(6)若使用WAGN-GP 模型,在判別器中不要使用batchnormalization 層。

(7)無論是生成器還是判別器,卷積核的數(shù)據(jù)應比較多,本文實驗中,使用的最大卷積核數(shù)量達到了256。

(8)無論是生成器還是判別器,均不使用池化層。

(9)判別器不使用太深的卷積網(wǎng)絡(luò),通常2～3層的深度最好,太深的判別器范圍診斷效果不好。

(10)每訓練一輪生成器,通常需要訓練n次判別器,本文設(shè)置n=3。

本文所用GAN 模型的生成器和判別器均使用深度卷積網(wǎng)絡(luò),具體結(jié)構(gòu)參數(shù)見表1 和表2。利用以上訓練技巧和優(yōu)化的參數(shù),可以實現(xiàn)熱泵系統(tǒng)殘差數(shù)據(jù)的高質(zhì)量生成。

表1 生成器網(wǎng)絡(luò)結(jié)構(gòu)

表2 判別器網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗與評估

3.1 數(shù)據(jù)集來源

本文實驗數(shù)據(jù)來自項目組搭建的熱泵系統(tǒng)故障診斷實驗平臺,平臺可以分成3 個子系統(tǒng),即熱泵子系統(tǒng)、電氣子系統(tǒng)和軟件子系統(tǒng),其結(jié)構(gòu)原理見圖2。

圖2 實驗平臺結(jié)構(gòu)圖

熱泵子系統(tǒng)的詳細介紹見表3,冷媒選擇R134A。電氣子系統(tǒng)包括數(shù)據(jù)采集、機構(gòu)控制和DA輸出。數(shù)據(jù)采集系統(tǒng)采用研華數(shù)據(jù)采集系統(tǒng)。軟件子系統(tǒng)采用LabVIEW2018 編程。每間隔30 s 進行一次運行數(shù)據(jù)采集,采集完畢的數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫。

表3 熱泵子系統(tǒng)介紹

實驗平臺可實現(xiàn)8 種系統(tǒng)狀態(tài)模擬,包括健康狀態(tài)、冷凝器結(jié)垢、蒸發(fā)器結(jié)垢、制冷劑泄漏、冷凝器蒸發(fā)器同時結(jié)垢、冷凝器結(jié)垢且制冷劑泄漏、蒸發(fā)器結(jié)垢且制冷劑泄漏和冷凝器蒸發(fā)器結(jié)垢且制冷劑泄漏。采集的數(shù)據(jù)參數(shù)見表4。

表4 采集數(shù)據(jù)變量

3.2 模型訓練

GAN 訓練需要利用一定數(shù)量的真實數(shù)據(jù),實驗中對每類故障單獨訓練。每類故障選擇500 組樣本構(gòu)成訓練集,batchsize 設(shè)置為200,共訓練10 萬輪。每完成1000 輪,對生成模型進行保存,并利用生成模型生成一批數(shù)據(jù),用于GAN 模型質(zhì)量的評估。

本文提出利用GAN 直接學習殘差數(shù)據(jù)代替學習原始運行數(shù)據(jù),以此用來降低GAN 訓練難度。為驗證這一方法的有效性,在GAN 訓練中分別讓其學習殘差數(shù)據(jù)和原始數(shù)據(jù),并對生成的數(shù)據(jù)質(zhì)量進行評估。

算法利用Python 3.6 編程,開發(fā)環(huán)境使用Pycharm 2017 版本。深度學習框架使用Keras 2.2.4,這是一種成熟的深度學習頂層封裝框架,其底層使用TensorFlow 運算,最新版的TensorFlow 框架已經(jīng)融合Keras。

硬件環(huán)境為一臺圖形工作站,CPU 為Intel Xeon E5-1650 v3,GPU 為NVIDIA Quadro K2200,工作站內(nèi)存為16 GB,操作系統(tǒng)為Windows 7 X64,訓練算法運行在GPU 上。

3.3 基于MMD 指標的評估驗證

為驗證GAN 生成數(shù)據(jù)的質(zhì)量,本節(jié)利用MMD指標對生成數(shù)據(jù)與真實數(shù)據(jù)間分布差異進行評估。本文提出利用GAN 模型學習熱泵系統(tǒng)殘差數(shù)據(jù)代替原始數(shù)據(jù),用于提高數(shù)據(jù)生成質(zhì)量。因此,本節(jié)利用MMD 分別評估兩種GAN 模型生成數(shù)據(jù)(原始生成數(shù)據(jù)和殘差生成數(shù)據(jù))的質(zhì)量,用于驗證利用殘差數(shù)據(jù)訓練GAN 的有效性。MMD 指標是考量兩組數(shù)據(jù)分布差異的一種方法,MMD 值越小,兩組分布差異越小,可以用來驗證生成數(shù)據(jù)和真實數(shù)據(jù)的接近程度。

本節(jié)對實驗不同訓練輪數(shù)對應的生成數(shù)據(jù)進行MMD 分析,對比原始數(shù)據(jù)生成實驗和殘差數(shù)據(jù)生成實驗在相同訓練輪數(shù)時生成數(shù)據(jù)的質(zhì)量,實驗結(jié)果見圖3。圖中展示了兩組GAN 訓練實驗中各類故障生成數(shù)據(jù)隨訓練輪數(shù)增加MMD 評分的變化。其中,health 表示健康系統(tǒng)數(shù)據(jù)、co 表示冷凝器結(jié)垢故障、ev 表示蒸發(fā)器結(jié)垢故障、re 表示制冷劑泄漏故障、c_e 表示蒸發(fā)器結(jié)垢冷凝器結(jié)垢故障、r_c表示冷凝器結(jié)垢制冷劑泄漏故障、r_e 表示蒸發(fā)器結(jié)垢制冷劑泄漏故障、r_c_e 表示蒸發(fā)器結(jié)垢冷凝器結(jié)垢制冷劑泄漏故障。

兩組實驗均進行10 萬輪的對抗訓練。由圖3可知,隨著訓練輪數(shù)的增加,所有故障生成數(shù)據(jù)的MMD 值均呈現(xiàn)下降趨勢,說明對抗生成訓練持續(xù)優(yōu)化,證明前文所描述的GAN 網(wǎng)絡(luò)結(jié)構(gòu)及其超參數(shù)設(shè)定是可行的。對比不同故障數(shù)據(jù),原始數(shù)據(jù)生成實驗中的健康生成數(shù)據(jù)的MMD 值相比于其他數(shù)據(jù)偏低,但仍然呈現(xiàn)下降趨勢,在訓練輪數(shù)接近10 萬輪時,MMD 值約為0.32,屬于可接受范圍,其他故障生成數(shù)據(jù)的質(zhì)量則更高。對比原始數(shù)據(jù)生成實驗和殘差數(shù)據(jù)生成實驗,發(fā)現(xiàn)殘差數(shù)據(jù)生成實驗的MMD值普遍低于原始數(shù)據(jù)生成實驗,數(shù)據(jù)質(zhì)量更加接近真實數(shù)據(jù),造成這一現(xiàn)象的主要原因在于數(shù)據(jù)自身的差異性。原始數(shù)據(jù)不同故障以及不同時刻下數(shù)據(jù)自身差異性較小,例如,冷凝器結(jié)垢亞健康和健康系統(tǒng)對比,冷凝溫度變化幅度小于2 ℃,而冷凝溫度的基數(shù)約為55 ℃,波動比例約為4%。而相對于殘差數(shù)據(jù),冷凝器結(jié)垢故障和健康系統(tǒng)對比,前者的冷凝溫度殘差約為-0.2 ℃,而后者的冷凝溫度殘差在[-0.01,0.01]之間,波動比例超過20 倍。這一現(xiàn)象說明不同時刻以及不同健康程度下,殘差數(shù)據(jù)的差異性更加明顯,使得GAN 生成數(shù)據(jù)更加容易。

從圖3 可以得出結(jié)論,殘差數(shù)據(jù)生成實驗的數(shù)據(jù)相比于原始數(shù)據(jù)生成實驗質(zhì)量更優(yōu)。接下來對10 萬輪訓練完畢的數(shù)據(jù)進行交叉驗證,即分析不同故障數(shù)據(jù)間的MMD 值,用于驗證生成數(shù)據(jù)對不同故障標簽的區(qū)分程度。

圖3 基于MMD 指標的評估結(jié)果對比圖

對于真實數(shù)據(jù)而言,同一故障類別的數(shù)據(jù)分布相同,MMD 值較低;而不同故障類別的數(shù)據(jù)分布不同,MMD 值較高。系統(tǒng)生成數(shù)據(jù)也符合這一情況。表5 展示了原始數(shù)據(jù)生成實驗的MMD 指標交叉驗證數(shù)據(jù)。從表中可以看出,相同類別的生成數(shù)據(jù)與真實數(shù)據(jù)之間的MMD 值明顯低于不同類別的MMD 值。證明生成的數(shù)據(jù)分布跟對應類別的真實數(shù)據(jù)分布接近,跟不同類別的真實數(shù)據(jù)分布差異較大。

表5 原始數(shù)據(jù)生成實驗MMD 交叉驗證表

同樣地,表6 展示了殘差數(shù)據(jù)生成實驗的MMD交叉驗證數(shù)據(jù)。與原始數(shù)據(jù)生成實驗相同,殘差數(shù)據(jù)生成實驗中,相同類別的生成數(shù)據(jù)和真實數(shù)據(jù)MMD 值較低,不同類別的生成數(shù)據(jù)和真實數(shù)據(jù)MMD 值較高。且同一類別的MMD 值普遍比對應的原始數(shù)據(jù)生成實驗的MMD 值低,再次證明了殘差數(shù)據(jù)生成實驗的優(yōu)勢。

表6 殘差數(shù)據(jù)生成實驗MMD 交叉驗證表

通過利用MMD 指標對兩組實驗進行驗證分析發(fā)現(xiàn),無論是不同訓練輪數(shù)下的MMD 值還是交叉驗證的MMD 值,殘差數(shù)據(jù)生成實驗的生成質(zhì)量均優(yōu)于原始數(shù)據(jù)生成實驗。因此,從MMD 評分的角度來看,利用殘差數(shù)據(jù)生成是一種更優(yōu)的方法。

3.4 基于1-NN 指標的評估驗證

GAN 模型質(zhì)量評估尚處于開放研究狀態(tài),沒有一種權(quán)威的指標可以全面評價生成數(shù)據(jù)的質(zhì)量。為更加準確地評估實驗結(jié)果,本文利用MMD 指標的同時使用1-NN 指標再次評估,并綜合評估結(jié)果進行分析,以期得出更加真實的結(jié)論。1-NN 指標與MMD 不同,前者的理想值是0.5,在[0.5,1]之間時,值越低越好,但是低于0.5 則說明生成數(shù)據(jù)存在過擬合。

利用評估指標對不同訓練輪數(shù)的GAN 生成數(shù)據(jù)質(zhì)量進行評估,并將評估結(jié)果列于圖4。從圖中可以看出,原始數(shù)據(jù)生成實驗的結(jié)果并不理想,隨著訓練輪數(shù)的增加,部分故障數(shù)據(jù)的1-NN 值存在上升情況,而其他故障數(shù)據(jù)也沒有表現(xiàn)出良好的單調(diào)性。在訓練2 萬輪之后,數(shù)據(jù)的1-NN 值基本穩(wěn)定,對抗訓練不再能夠繼續(xù)優(yōu)化。而殘差數(shù)據(jù)訓練實驗中,雖然下降幅度也不太明顯,但整體1-NN 值較原始數(shù)據(jù)生成實驗的更低,更加接近0.5 的理想狀態(tài)。說明殘差數(shù)據(jù)生成實驗能更好地擬合真實數(shù)據(jù)分布,數(shù)據(jù)質(zhì)量更高。產(chǎn)生這一現(xiàn)象的原因是殘差數(shù)據(jù)自身更加明顯的差異性導致的,這一差異性降低了模型的學習難度。

圖4 基于1-NN 指標的評估結(jié)果對比圖

對10 萬輪訓練完畢的數(shù)據(jù)進行交叉驗證,分析不同故障數(shù)據(jù)間的1-NN 值,驗證不同故障標簽生成數(shù)據(jù)的區(qū)分程度。表7 展示了原始數(shù)據(jù)生成實驗的1-NN 指標交叉驗證數(shù)據(jù)。從表中可以看出,相同類別的生成數(shù)據(jù)與真實數(shù)據(jù)之間的1-NN 值明顯低于不同類別的1-NN 值。證明生成的數(shù)據(jù)分布跟對應類別的真實數(shù)據(jù)分布接近,而跟不同類別的真實數(shù)據(jù)分布差異較大。同時發(fā)現(xiàn),同類別的數(shù)據(jù)的1-NN 值均大于0.75,證明生成數(shù)據(jù)質(zhì)量不是很理想。

表7 原始數(shù)據(jù)生成實驗1-NN 交叉驗證表

表8 展示了殘差數(shù)據(jù)生成實驗的1-NN 指標交叉驗證數(shù)據(jù)。從表中看出,同樣是相同類別的生成數(shù)據(jù)的1-NN 值較低,不同類別的1-NN 值較高,證明GAN 模型可以針對不同類型數(shù)據(jù)進行區(qū)分生成。觀察同類別的1-NN 值發(fā)現(xiàn)平均在[0.58,0.7]之間,優(yōu)于原始數(shù)據(jù)生成實驗,再次證明殘差數(shù)據(jù)生成方式的優(yōu)勢。

表8 殘差數(shù)據(jù)生成實驗1-NN 交叉驗證表

經(jīng)過1-NN 指標的驗證,可以得出同樣的結(jié)論。利用殘差數(shù)據(jù)生成方法實現(xiàn)數(shù)據(jù)集擴充,得到的數(shù)據(jù)質(zhì)量更高,更加接近真實分布。

3.5 基于故障診斷精度的評估驗證

第3.3 節(jié)和第3.4 節(jié)中分別利用MMD 指標和1-NN 指標對生成數(shù)據(jù)與真實數(shù)據(jù)分布間的差異進行了評估,證明利用GAN 生成的數(shù)據(jù)與真實數(shù)據(jù)分布相近,且殘差生成實驗的質(zhì)量更高。本文研究數(shù)據(jù)集擴充的目的是提高熱泵系統(tǒng)故障診斷精度,因此有必要進一步利用診斷方法驗證添加生成數(shù)據(jù)對最終診斷精度的影響。

本節(jié)共設(shè)計兩組實驗從兩個維度驗證生成數(shù)據(jù)添加對診斷精度的影響。每組實驗中又分為利用原始數(shù)據(jù)生成實驗數(shù)據(jù)和殘差數(shù)據(jù)生成實驗數(shù)據(jù)進行驗證的兩類。

實驗1 中訓練數(shù)據(jù)集包含8 類故障數(shù)據(jù)子集,每類故障數(shù)據(jù)子集均包含500 組真實數(shù)據(jù)樣本,以及一定數(shù)量的生成數(shù)據(jù)樣本。按每類生成數(shù)據(jù)樣本的添加量不同,分別構(gòu)成5 個混合訓練數(shù)據(jù)集,包含的每類生成數(shù)據(jù)樣本分別為0 組、500 組、1000 組、1500 組、2000 組。訓練的參數(shù)設(shè)置及訓練輪數(shù)參考文獻[3]中設(shè)置。訓練完成的模型利用未參與訓練的測試數(shù)據(jù)集測試診斷精度,測試數(shù)據(jù)集包含8 類真實故障數(shù)據(jù),每類2000 組樣本,實驗結(jié)果見圖5。可以看出,隨著生成數(shù)據(jù)數(shù)量的增加,整體診斷準確率呈現(xiàn)先增加后減少。在真實數(shù)據(jù)和生成數(shù)據(jù)比例為1 ∶1 時,整體診斷準確率最高。同時發(fā)現(xiàn),在訓練數(shù)據(jù)量較低時,即便全部是真實數(shù)據(jù),診斷準確率也非常低。對比原始數(shù)據(jù)生成實驗和殘差數(shù)據(jù)生成實驗發(fā)現(xiàn),利用生成的殘差數(shù)據(jù)擴充訓練數(shù)據(jù),其診斷準確率的提高效果遠高于原始數(shù)據(jù)擴充的效果。隨著生成數(shù)據(jù)的不斷增加,整體準確率會出現(xiàn)少量下降,說明數(shù)據(jù)生成質(zhì)量依然存在干擾,不斷增加生成數(shù)據(jù)的同時引入了干擾項。

圖5 固定真實數(shù)據(jù)量的診斷驗證實驗

實驗2 的設(shè)計與實驗1 類似,不同之處在于混合訓練數(shù)據(jù)集中每類故障數(shù)據(jù)量固定為2000 組,其中真實數(shù)據(jù)與生成數(shù)據(jù)按4 ∶0、3 ∶1、1 ∶1、1 ∶3、0 ∶4 的5 種比例組合,構(gòu)成5 個不同的訓練數(shù)據(jù)集。同樣利用每類2000 組未參與訓練的真實數(shù)據(jù)進行驗證,結(jié)果見圖6?？梢钥闯?原始數(shù)據(jù)生成實驗中,隨著真實數(shù)據(jù)比例的降低,整體診斷精度下降,說明利用生成數(shù)據(jù)代替真實數(shù)據(jù)會在一定程度上犧牲準確率。而殘差數(shù)據(jù)生成實驗中,隨著真實數(shù)據(jù)比例的降低,整體診斷精度下降并不明顯,僅在全部使用生成數(shù)據(jù)訓練時存在明顯的準確率下降。

圖6 固定總體數(shù)據(jù)量的診斷驗證實驗

以上兩組實驗說明,利用GAN 進行數(shù)據(jù)集擴充是具有一定意義的。在數(shù)據(jù)量有限的情況下,利用生成數(shù)據(jù)增加訓練數(shù)據(jù)量可以達到提高診斷精度的目的。而對比原始數(shù)據(jù)生成實驗和殘差數(shù)據(jù)生成實驗發(fā)現(xiàn),殘差數(shù)據(jù)生成實驗的效果明顯優(yōu)于原始數(shù)據(jù)生成實驗,這一結(jié)論與第3.3 節(jié)和第3.4 節(jié)的結(jié)論是一致的。

4 結(jié)論

隨著近年來深度學習的迅速發(fā)展,越來越多的熱泵故障診斷方法引入深度學習技術(shù),得到了很好的效果。但基于深度學習的故障診斷依賴大量帶有標記的故障數(shù)據(jù),而實際上熱泵系統(tǒng)的故障數(shù)據(jù)非常難獲取,給深度學習的應用帶來困難。本文提出利用新興的智能算法——生成對抗網(wǎng)絡(luò)(GAN),實現(xiàn)熱泵系統(tǒng)故障數(shù)據(jù)集的擴充,解決訓練數(shù)據(jù)不足、數(shù)據(jù)集不均衡等問題。文章的主要工作及貢獻總結(jié)如下。

(1)針對熱泵系統(tǒng)運行數(shù)據(jù)間差異較小且復雜度高的問題,提出利用熱泵系統(tǒng)基準模型將運行數(shù)據(jù)轉(zhuǎn)化成殘差數(shù)據(jù),增大數(shù)據(jù)間差異化,降低數(shù)據(jù)復雜度。利用GAN 學習殘差數(shù)據(jù)的分布,將生成的殘差數(shù)據(jù)用于故障分類器的訓練,實現(xiàn)故障診斷精度的提高。

(2)針對GAN 模型訓練困難、易出現(xiàn)模式坍塌等問題,提出一系列訓練技巧來提高模型訓練穩(wěn)定性。并針對熱泵數(shù)據(jù)自身特點,設(shè)計并優(yōu)化的GAN模型中生成器和判別器的結(jié)構(gòu)參數(shù),真正實現(xiàn)穩(wěn)定、高效的故障數(shù)據(jù)集擴充。

(3)為驗證生成數(shù)據(jù)和真實數(shù)據(jù)間的分布差異,利用MMD 和1-NN 指標對生成數(shù)據(jù)進行驗證。結(jié)果顯示,隨著GAN 訓練輪數(shù)的增加,MMD 和1-NN指標均呈現(xiàn)下降趨勢,證明訓練過程處于持續(xù)優(yōu)化。利用交叉驗證,同類故障數(shù)據(jù)間的MMD 和1-NN 指標均遠小于不同類別的指標值,證明GAN 可以準確區(qū)分故障類別。同時,利用殘差數(shù)據(jù)訓練的GAN 模型在兩類指標上均優(yōu)于原始數(shù)據(jù)訓練的模型,證明利用殘差數(shù)據(jù)訓練GAN 是一種有效的優(yōu)化方法。

(4)利用診斷方法對引入生成數(shù)據(jù)的診斷實驗進行驗證。在含有固定500 組真實樣本的驗證實驗中,隨著生成數(shù)據(jù)數(shù)量的增加,診斷精度先提高后輕微降低,在真實數(shù)據(jù)和生成數(shù)據(jù)量為1 ∶1 時,診斷精度最高。在固定2000 組樣本總量的驗證實驗中,隨著生成數(shù)據(jù)比例的增加,診斷精度輕微下降,但并不明顯,僅在全部使用生成數(shù)據(jù)時精度明顯下降。證明基于GAN 的數(shù)據(jù)擴充對診斷精度的提高具有積極意義。

綜上所述,本文提出的熱泵系統(tǒng)故障數(shù)據(jù)集擴充方法對數(shù)據(jù)不足情況下的故障診斷精度具有明顯的優(yōu)化效果,可一定程度上降低對標記數(shù)據(jù)的依賴,擴大智能診斷方法的應用范圍,是一種應用前景廣闊的方法。而作為數(shù)據(jù)生成質(zhì)量的重要保證,生成模型評價方法至關(guān)重要,目前尚無成熟評價體系,因此可作為未來研究方向之一,嘗試構(gòu)建從距離分布、多樣性以及熱泵數(shù)據(jù)獨有特性保留程度等多方面綜合評價的體系,實現(xiàn)更為全面的生成模型質(zhì)量評估。