基于Res-LSTM的燃料電池系統(tǒng)故障檢測

全 睿，樂有生，李 濤，常雨芳，譚保華

(1.湖北工業(yè)大學(xué) 太陽能高效利用及儲能運行控制湖北省重點實驗室，湖北 武漢 430068；2.湖北工業(yè)大學(xué) 電氣與電子工程學(xué)院，湖北 武漢，430068； 3.湖北工業(yè)大學(xué) 理學(xué)院，湖北 武漢 430068)

0 引言

質(zhì)子交換膜燃料電池(Proton Exchange Membrane Fuel Cell，PEMFC)是一種環(huán)境友好、零碳或低碳的能量轉(zhuǎn)換裝置，具有良好的發(fā)展前景.PEMFC系統(tǒng)由多個子系統(tǒng)組成，PEMFC電堆的物理化學(xué)機理復(fù)雜，因而PEMFC系統(tǒng)易發(fā)生多種故障.對PEMFC系統(tǒng)進行故障檢測，可以獲取系統(tǒng)的運行信息，有利于提高系統(tǒng)的可靠性.

Wang等[1-4]對PEMFC系統(tǒng)故障診斷方法進行了綜述，為相關(guān)研究提供了重要參考;Oh等[5]使用解析冗余值和測量值的殘差作為指標，開發(fā)了一種檢測和診斷熱管理系統(tǒng)部件故障的方法;Polverino等[6]通過結(jié)構(gòu)分析辨識系統(tǒng)涉及的物理量和系統(tǒng)可能的故障間的關(guān)系，開發(fā)集總參數(shù)模型，以因果關(guān)系算法分析設(shè)計殘差發(fā)生器檢測和隔離故障;Yang等[7]采用線性參數(shù)可變模型描述PEMFC系統(tǒng)行為，提出增強狀態(tài)觀測器估計系統(tǒng)內(nèi)部狀態(tài)和組件故障;王筱彤等[8]提出一種基于離散區(qū)間二進制序列脈沖信號的燃料電池電化學(xué)阻抗譜在線測量及故障診斷方法.這些基于模型的方法建立燃料電池的機理模型進行故障的檢測和診斷，需要深入研究PEMFC的模型.機理模型需要利用流體力學(xué)、電化學(xué)、熱力學(xué)等多方面知識建立PEMFC的多維物理模型.目前還難以建立覆蓋多種類型的燃料電池故障模型，同時也面臨著部分參數(shù)獲取的難題.余嘉熹等[9]基于Bootstrap法和隨機森林算法對燃料電池系統(tǒng)的故障進行分類.劉嘉蔚等[10]基于在線序列超限學(xué)習(xí)機和主成分分析進行燃料電池的故障診斷;文獻[11]提出基于概率神經(jīng)網(wǎng)絡(luò)和線性判別分析的燃料電池水管理系統(tǒng)故障診斷;文獻[12]采用K均值和支持向量機算法進行車用燃料電池系統(tǒng)的故障診斷.這些基于非模型的方法需要正常和有針對性故障條件下的大量歷史數(shù)據(jù)，完全依賴傳感器數(shù)據(jù)和相關(guān)信號.PEMFC系統(tǒng)數(shù)據(jù)的豐富程度對算法性能有著重要的直接影響.特別是故障數(shù)據(jù)獲取成本高，難以大量獲取，容易造成算法的診斷效率不高.

PEMFC系統(tǒng)的故障運行試驗在實驗室條件下具有一定可行性，然而大范圍推廣應(yīng)用的成本高，部分故障運行試驗可能造成燃料電池堆的性能退化甚至不可逆損毀.PEMFC系統(tǒng)的正常運行數(shù)據(jù)卻更容易獲取，獲取成本也更低廉.神經(jīng)網(wǎng)絡(luò)算法是一種模仿生物神經(jīng)網(wǎng)絡(luò)行為的信息處理算法，可以用來建立燃料電池的輸入輸出預(yù)測模型.通過采集質(zhì)子交換膜燃料電池系統(tǒng)的運行數(shù)據(jù)，運用神經(jīng)網(wǎng)絡(luò)擬合燃料電池系統(tǒng)多變量間的映射關(guān)系，無需分析系統(tǒng)的機理模型，可以便捷地從數(shù)據(jù)中發(fā)掘燃料電池系統(tǒng)的輸入輸出關(guān)系.長短期記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)是一類適用于時序數(shù)據(jù)處理的神經(jīng)網(wǎng)絡(luò).殘差網(wǎng)絡(luò)(Residual Network,ResNet)引入殘差學(xué)習(xí)結(jié)構(gòu)可以大幅提高網(wǎng)絡(luò)深度，同時也更容易訓(xùn)練出高性能的網(wǎng)絡(luò).本文將殘差網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)結(jié)合形成殘差-長短期記憶網(wǎng)絡(luò)(Residual Network with Long Short-Term Memory,Res-LSTM)，基于大量PEMFC系統(tǒng)的正常運行狀態(tài)數(shù)據(jù)對系統(tǒng)進行模擬，通過預(yù)測PEMFC系統(tǒng)的輸出電壓進行狀態(tài)檢測，檢測系統(tǒng)是否存在故障.

1 基于Res-LSTM模型的檢測方法

1.1 質(zhì)子交換膜燃料電池系統(tǒng)故障檢測方案

本文采用的基于Res-LSTM模型的質(zhì)子交換膜燃料電池系統(tǒng)故障檢測方案如圖1所示.該方案根據(jù)PEMFC系統(tǒng)的正常運行數(shù)據(jù)，運用Res-LSTM模型擬合燃料電池系統(tǒng)的運行行為，得到PEMFC系統(tǒng)輸入輸出關(guān)系模型.在故障檢測時，首先Res-LSTM模型根據(jù)系統(tǒng)當(dāng)前輸入數(shù)據(jù)預(yù)測燃料電池的輸出電壓，然后根據(jù)PEMFC系統(tǒng)的實際輸出電壓與Res-LSTM模型的預(yù)測輸出電壓的電壓殘差判斷系統(tǒng)有無故障.

圖1 基于Res-LSTM的PEMFC系統(tǒng)故障檢測方案Fig.1 The fault detection scheme of PEMFC system based on Res-LSTM

殘差處理主要對電壓殘差進行統(tǒng)計分析，為設(shè)置電壓殘差閾值提供參考.本文設(shè)置電壓殘差閾值為三倍測試數(shù)據(jù)電壓殘差標準差.假設(shè)電壓殘差為R，測試數(shù)據(jù)的電壓殘差標準差為σ，電壓殘差閾值為Rth，設(shè)置電壓殘差閾值Rth=3σ.故障判斷規(guī)則為：當(dāng)|R|>Rth時判定質(zhì)子交換膜燃料電池系統(tǒng)處于故障運行狀態(tài)，否則判斷為正常運行狀態(tài).

1.2 Res-LSTM模型

本文結(jié)合殘差網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的結(jié)構(gòu)和性能特點,提出采用殘差-長短期記憶網(wǎng)絡(luò)擬合燃料電池系統(tǒng)模型，建立燃料電池系統(tǒng)的預(yù)測模型進行故障檢測.

殘差網(wǎng)絡(luò)(Residual Network,ResNet)通過在網(wǎng)絡(luò)層間引入短路連接形成殘差進行殘差學(xué)習(xí)[13-14].殘差網(wǎng)絡(luò)的基本單元是殘差塊，其示意圖如圖2所示.輸入x經(jīng)過L個神經(jīng)網(wǎng)絡(luò)層變換得到F(x)，F(xiàn)(x)再加上輸入x得到輸出.假設(shè)輸出為y，則殘差塊的計算如(1)式所示；若多層神經(jīng)網(wǎng)絡(luò)變換后得到的F(x)與x維度不同，可以采用線性投影矩陣W對輸入x進行維度變換獲得與F(x)匹配的維度，此時殘差塊的計算如(2)式所示[13-14]：

圖2 殘差塊示意圖Fig.2 The residual block diagram

y=F(x)+x

(1)

y=F(x)+Wx

(2)

將多個不同的殘差塊堆疊可以形成深度殘差網(wǎng)絡(luò).殘差網(wǎng)絡(luò)能夠大幅提高神經(jīng)網(wǎng)絡(luò)的深度，有效避免深層神經(jīng)網(wǎng)絡(luò)的退化問題，同時獲得更好的性能[13-14].

LSTM網(wǎng)絡(luò)是一類適用于序列數(shù)據(jù)處理的循環(huán)神經(jīng)網(wǎng)絡(luò).深層LSTM網(wǎng)絡(luò)由LSTM網(wǎng)絡(luò)層逐層堆疊形成.LSTM網(wǎng)絡(luò)層的結(jié)構(gòu)如圖3所示.LSTM網(wǎng)絡(luò)層由多個LSTM神經(jīng)元有序連接組成，同一網(wǎng)絡(luò)層內(nèi)的LSTM神經(jīng)元共享網(wǎng)絡(luò)參數(shù).LSTM神經(jīng)元包含遺忘門、輸入門、輸出門3個門控開關(guān).假設(shè)x=[x1,x2,…,xN]表示網(wǎng)絡(luò)層的輸入,xt∈Rd(t=1,2，…,N)表示網(wǎng)絡(luò)層在第t時刻的輸入,d表示輸入數(shù)據(jù)的維度;h=[h1,h2,…,hN]表示網(wǎng)絡(luò)層的輸出,ht∈RD表示網(wǎng)絡(luò)在第t時刻的輸出,D表示輸出數(shù)據(jù)的維度；gft表示網(wǎng)絡(luò)層的第t個遺忘門(下標f表示英文遺忘forget，便于與其他門區(qū)別),git表示網(wǎng)絡(luò)層的第t個輸入門(下標i表示英文輸入input，便于與其他門區(qū)別),got表示網(wǎng)絡(luò)層的第t個輸出門(下標o表示英文輸出output，便于與其他門區(qū)別).遺忘門gft控制接收上一個神經(jīng)元的內(nèi)部狀態(tài)信息程度;輸入門git控制接收當(dāng)前神經(jīng)元的輸入信息程度;輸出門got控制當(dāng)前神經(jīng)元的輸出信息程度.LSTM網(wǎng)絡(luò)層通過同一層的LSTM神經(jīng)元參數(shù)共享降低了網(wǎng)絡(luò)參數(shù)量.LSTM神經(jīng)元的計算方式為[15-16]：

圖3 LSTM網(wǎng)絡(luò)層結(jié)構(gòu)示意圖(LSTM Cell：LSTM神經(jīng)元)Fig.3 The structure diagram of LSTM network layer

gft=σ(Wfhht-1+Wfxxt+bf)

(3)

git=σ(Wihht-1+Wixxt+bi)

(4)

(5)

(6)

got=σ(Wohht-1+Woxxt+bo)

(7)

ht=got?tanh(ct)

(8)

式中：?表示兩個同維向量或矩陣對應(yīng)元素相乘運算；t=1,2,…,N,N為網(wǎng)絡(luò)層的LSTM神經(jīng)元個數(shù)；c0=0，h0=0;Wfh、Wfx、Wih、Wix、Wch、Wcx、Woh、Wox是LSTM神經(jīng)元的權(quán)值參數(shù)矩陣，其中Wfh表示因變量gft與自變量ht-1間的權(quán)值矩陣，其他依次類推；bf、bi、bc、bo是LSTM神經(jīng)元的偏置參數(shù)向量，其中bf表示gft的偏置向量，其他依次類推.σ表示sigmoid激活函數(shù)，表達式如(9)所示[16]，tanh激活函數(shù)的表達式如(10)所示[16]：

(9)

(10)

式中：激活函數(shù)均為按元素計算.

基于ResNet和LSTM網(wǎng)絡(luò)的結(jié)構(gòu)和性能特點，本文提出采用Res-LSTM建立燃料電池系統(tǒng)模型.Res-LSTM在LSTM的基礎(chǔ)上引入殘差學(xué)習(xí)機制，結(jié)合了ResNet和LSTM網(wǎng)絡(luò)的優(yōu)點.Res-LSTM網(wǎng)絡(luò)層的結(jié)構(gòu)如圖4所示.Res-LSTM網(wǎng)絡(luò)層通過殘差網(wǎng)絡(luò)的短路連接將殘差學(xué)習(xí)引入到LSTM網(wǎng)絡(luò)層中，LSTM神經(jīng)元和LSTM網(wǎng)絡(luò)層的模型不變，僅在原來的LSTM網(wǎng)絡(luò)層的輸出上疊加了網(wǎng)絡(luò)的輸入.Res-LSTM網(wǎng)絡(luò)層的無投影矩陣和有投影矩陣的輸出計算公式如式(11)和式(12)所示：

圖4 Res-LSTM網(wǎng)絡(luò)層結(jié)構(gòu)示意圖Fig.4 The structure diagram of network layer in the Res-LSTM

ot=ht+xt

(11)

ot=ht+Wxt

(12)

1.3 數(shù)據(jù)預(yù)處理及燃料電池系統(tǒng)數(shù)據(jù)集

PEMFC系統(tǒng)主要由氫氣供給系統(tǒng)、空氣供給系統(tǒng)、燃料電池堆、水熱管理系統(tǒng)、數(shù)據(jù)采集和控制系統(tǒng)等組成.通過臺架運行實驗和車載路測實驗，本文獲取了大量質(zhì)子交換膜燃料電池系統(tǒng)的正常狀態(tài)運行數(shù)據(jù).在剔除部分缺失或不全的數(shù)據(jù)后，對數(shù)據(jù)進行歸一化處理，消除各維變量物理單位差異、數(shù)量級差異等對神經(jīng)網(wǎng)絡(luò)訓(xùn)練的影響.采用最大最小化數(shù)據(jù)預(yù)處理方法，即假設(shè)zi是各維變量原始數(shù)據(jù)，zi′是標準化處理后的數(shù)據(jù)，zi,min是變量原始數(shù)據(jù)的最小值，zi,max是變量原始數(shù)據(jù)的最大值，歸一化處理的計算公式如(13)式所示：

(13)

對預(yù)處理后的數(shù)據(jù)進行整理，得到燃料電池系統(tǒng)數(shù)據(jù)集，如表1所示.數(shù)據(jù)集共有 42 997 個樣本，每個樣本由(x,y)組成.x代表神經(jīng)網(wǎng)絡(luò)的輸入，y代表相應(yīng)的電堆1#電壓和電堆2#電壓的真實值.選取的檢測輸入變量共有20維，時間序列長度為10，時間間隔周期為 1 s.

表1 燃料電池系統(tǒng)數(shù)據(jù)集Tab.1 The fuel cell system dataset

按8∶2的比例將數(shù)據(jù)集隨機劃分為訓(xùn)練集和測試集，即訓(xùn)練集共有 34 397 個樣本，測試集共有 8 600 個樣本.訓(xùn)練集和測試集分別用于訓(xùn)練網(wǎng)絡(luò)和對完成訓(xùn)練的網(wǎng)絡(luò)進行測試評估.

1.4 Res-LSTM模型的結(jié)構(gòu)配置及訓(xùn)練

圖5為LSTM網(wǎng)絡(luò)和Res-LSTM模型的網(wǎng)絡(luò)結(jié)構(gòu)，LSTM網(wǎng)絡(luò)和Res-LSTM模型的LSTM網(wǎng)絡(luò)層設(shè)置相同.本文設(shè)計的Res-LSTM模型的結(jié)構(gòu)配置如圖5(c)Res-LSTM11-10所示.整個Res-LSTM模型共由11層LSTM網(wǎng)絡(luò)層組成，含有10個殘差塊，每層的LSTM網(wǎng)絡(luò)層共有10個神經(jīng)元，各層每個神經(jīng)元的輸出數(shù)據(jù)維度分別為16,10,10,10,8,8,8,4,4,4,2.圖中右側(cè)實線表示短路連接沒有線性變換，右側(cè)虛線表示短路連接有線性變換.網(wǎng)絡(luò)輸入10個時刻的20維向量數(shù)據(jù)xi(i=1,2,…,10)，故N=10.向量xi各維的數(shù)據(jù)意義如表1所示，每個時刻間隔周期為 1 s.前一個網(wǎng)絡(luò)層的輸出作為后一個網(wǎng)絡(luò)層的輸入.最后一個網(wǎng)絡(luò)層輸出最后一個時刻的數(shù)據(jù)u，即為電堆1#電壓、電堆2#電壓的預(yù)測值.

圖5 LSTM網(wǎng)絡(luò)與Res-LSTM結(jié)構(gòu)配置(N=10)Fig.5 The structure configurations of LSTM network and Res-LSTMs (N=10)

在網(wǎng)絡(luò)訓(xùn)練時需要選定損失函數(shù)，本文使用均方差損失函數(shù).假設(shè)Res-LSTM模型的預(yù)測值為u=f(x;θ)，θ表示神經(jīng)網(wǎng)絡(luò)的參數(shù)集，預(yù)測的真實值為y，均方差損失函數(shù)L的計算方法為：

(14)

針對大規(guī)模數(shù)據(jù)通常采用小批量梯度下降法訓(xùn)練神經(jīng)網(wǎng)絡(luò).Adam算法[17]是一種小批量梯度下降法的改進算法，本文采用Adam算法進行網(wǎng)絡(luò)參數(shù)更新.Adam算法不僅對學(xué)習(xí)率進行自適應(yīng)調(diào)整，而且對梯度進行修正.假設(shè)每次從訓(xùn)練集選取B個樣本組成一個批量，Adam算法計算方法為[17]：

(15)

(16)

Mt=β1Mt-1+(1-β1)gt

(17)

(18)

(19)

(20)

(21)

θt=θt-1-Δθt

(22)

式中：r表示某一個批量的樣本序號，B為批量大小，M0=0，G0=0，α為初始學(xué)習(xí)率，β1、β2為衰減率，ε是防止除零錯誤的小常數(shù).本文設(shè)置B=64，α=0.001，β1=0.9，β2=0.999，ε=10-7.

在網(wǎng)絡(luò)訓(xùn)練時，每輪訓(xùn)練后計算在訓(xùn)練集和測試集的均方差損失函數(shù)和所有預(yù)測變量的平均絕對誤差.均方差損失函數(shù)用于衡量網(wǎng)絡(luò)訓(xùn)練的性能.平均絕對誤差MAE用于衡量預(yù)測誤差的大?。?/p>

(23)

式中，各量的意義同(14)式.

1.5 實驗結(jié)果及殘差閾值設(shè)置

本實驗使用的軟件為Python3.7.10和TensoFlow-GPU2.3.0.

在訓(xùn)練過程中，訓(xùn)練集和測試集的均方差損失和平均絕對誤差的變化如圖6所示.在前14輪訓(xùn)練過程中，訓(xùn)練集和測試集的均方差損失和平均絕對誤差呈快速減小趨勢，第14輪以后均方差損失和平均絕對誤差減小趨勢變緩.從圖6中可以看到，在訓(xùn)練集和測試集上，第39輪訓(xùn)練后的均方差損失和平均絕對誤差都為最小值.為選出性能最好的模型，選擇第39輪訓(xùn)練后的網(wǎng)絡(luò)模型參數(shù)作為最終的Res-LSTM模型參數(shù).此時訓(xùn)練集的均方差損失和平均絕對誤差約為 0.000 70 和 0.009 18，測試集的均方差損失和平均絕對誤差約為 0.001 01 和 0.009 77.

(a)均方差損失 (b)平均絕對誤差圖6 訓(xùn)練集和測試集每輪均方差損失和平均絕對誤差變化Fig.6 Mean square error loss and mean absolute error versus epoch on training set and test set

使用最終得到的Res-LSTM模型對 8 600 個測試集樣本進行測試，計算得到電堆1#電壓預(yù)測誤差均值和標準差分別大約為μ1=0.000 68 和σ1=0.031 79，電堆2#電壓預(yù)測誤差均值和標準差分別大約為μ2=-0.000 31 和σ2=0.031 76.計算結(jié)果表明測試集樣本的預(yù)測誤差的均值非常接近于0.圖7和圖8顯示了Res-LSTM模型在測試集上的電堆1#電壓和電堆2#電壓的預(yù)測誤差.除了極少部分樣本外，大部分樣本的電壓預(yù)測誤差均分布在[-3σ1,3σ1]和[-3σ2,3σ2]誤差帶內(nèi).

(數(shù)據(jù)已歸一化，縱軸為無量綱量)圖7 測試集電堆1#電壓預(yù)測誤差Fig.7 1# stack predicted voltage error on test set

(數(shù)據(jù)已歸一化，縱軸為無量綱量)圖8 測試集電堆2#電壓預(yù)測誤差Fig.8 2# stack predicted voltage error on test set

根據(jù)對預(yù)測誤差的分析，設(shè)定電堆1#電壓殘差閾值R1th=3σ1=0.095 37，電堆2#電壓殘差閾值R2th=3σ2=0.095 28.在進行故障檢測時，設(shè)定當(dāng)電堆1#電壓殘差或電堆2#電壓殘差的絕對值超出閾值時即判定燃料電池系統(tǒng)運行出現(xiàn)故障.圖9分別為采用Res-LSTM模型預(yù)測的38組故障樣本的電堆1#和電堆2#電壓殘差，圖中顯示故障樣本的電壓殘差超出電壓殘差閾值.

(a)1# (b)2#(數(shù)據(jù)已歸一化，縱軸為無量綱量)圖9 電堆1#/2#電壓殘差Fig.9 1#/2# stack voltage residual

2 LSTM網(wǎng)絡(luò)和Res-LSTM模型的比較

圖5為3種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).圖5(a)是LSTM網(wǎng)絡(luò)，圖5(b)、5(c)是對應(yīng)的采用不同數(shù)量殘差塊的Res-LSTM模型.圖5(a)、5(b)、5(c)的各個LSTM網(wǎng)絡(luò)層的設(shè)置相同，已在1.4小節(jié)說明.圖5所示的3個不同結(jié)構(gòu)的網(wǎng)絡(luò)的實驗實現(xiàn)及結(jié)果如表2所示，表中所選模型均為40輪訓(xùn)練過程中在訓(xùn)練集上均方差損失最小的網(wǎng)絡(luò)模型.除表2所列設(shè)置外，其他實驗設(shè)置均相同.

表2實驗結(jié)果表明，在均方差損失、預(yù)測誤差均值、預(yù)測誤差標準差等指標上，Res-LSTM模型比具有相同LSTM網(wǎng)絡(luò)層的LSTM網(wǎng)絡(luò)性能表現(xiàn)更好.Res-LSTM模型的訓(xùn)練集均方差損失和預(yù)測電壓誤差標準差更小，預(yù)測電壓誤差均值更接近于0.相比LSTM網(wǎng)絡(luò)，Res-LSTM在性能上具有全面的提升，特別是在網(wǎng)絡(luò)參數(shù)量相同時，Res-LSTM模型相比LSTM網(wǎng)絡(luò)依然具有全面的性能優(yōu)勢.圖10顯示了LSTM網(wǎng)絡(luò)和Res-LSTM模型在訓(xùn)練過程中訓(xùn)練集上的均方差損失的變化.相比LSTM網(wǎng)絡(luò)，Res-LSTM模型的均方差損失更快收斂，訓(xùn)練速度更快.對于相同的Res-LSTM模型，Adam算法比RMSprop算法的訓(xùn)練速度更快.

表2 LSTM網(wǎng)絡(luò)和Res-LSTM的實驗比較Tab.2 Experimental comparisons of LSTM network and Res-LSTMs

圖10 LSTM網(wǎng)絡(luò)和Res-LSTM在訓(xùn)練集上的均方差損失變化Fig.10 Mean square error loss versus epoch on training set

3 結(jié)論

本文針對質(zhì)子交換膜燃料電池系統(tǒng)故障檢測問題，提出采用Res-LSTM模型擬合的方法建立質(zhì)子交換膜燃料電池模型，根據(jù)實際系統(tǒng)輸出電壓與網(wǎng)絡(luò)預(yù)測電壓的電壓殘差判斷系統(tǒng)是否存在故障.Res-LSTM模型的實驗顯示可以很好地擬合燃料電池數(shù)據(jù)，可以在不考慮燃料電池系統(tǒng)復(fù)雜的機理模型的情況下進行故障檢測.實驗表明,相比LSTM網(wǎng)絡(luò)，Res-LSTM模型的預(yù)測性能更好，網(wǎng)絡(luò)訓(xùn)練速度更快，電壓殘差閾值更小，從而可以獲得更準確的故障檢測結(jié)果.