基于SMOTE與LSTM的核電廠小樣本不平衡故障診斷

黃學(xué)穎，劉永闊，單龍飛

哈爾濱工程大學(xué) 核科學(xué)與技術(shù)學(xué)院, 黑龍江 哈爾濱 150001

核能作為一種清潔、環(huán)保、低耗的能源形式，其自身在事故狀態(tài)下也存在放射性外逸風(fēng)險(xiǎn)。而核電廠發(fā)生放射性泄漏對(duì)環(huán)境和人員安全會(huì)造成很大的影響，因而對(duì)核電廠的安全性具有更高要求。為將核電廠發(fā)生故障時(shí)造成的損失降到最低，在核電廠發(fā)生故障時(shí)，及時(shí)、準(zhǔn)確地識(shí)別出故障類型及故障位置具有重要意義。國(guó)內(nèi)外學(xué)者針對(duì)核電廠故障診斷問(wèn)題做了大量研究。

在國(guó)外Lu等[1]利用主成分分析算法等方法開發(fā)了一套故障檢測(cè)和隔離技術(shù)，并將其應(yīng)用于典型壓水反應(yīng)堆中；Deleplace等[2]利用極限梯度提升進(jìn)行核電廠屏幕清潔器狀態(tài)監(jiān)測(cè)；Joo等[3]將模糊有向線圖進(jìn)行改進(jìn)將其應(yīng)用于Kori-2 核電站穩(wěn)壓器的故障診斷；Dae等[4]將模型推理和驗(yàn)證的人工智能技術(shù)應(yīng)用于核電廠故障診斷系統(tǒng)中，使得故障診斷更加高效；Suryakant等[5]采用卡爾曼濾波器制定故障檢測(cè)指標(biāo)和故障特征，將其應(yīng)用于核電廠傳感器時(shí)變初始故障檢測(cè)。在國(guó)內(nèi)熊晉魁等[6]在利用專家知識(shí)建立核電廠二回路凝給水故障模型的基礎(chǔ)上，引入徑向基函數(shù)，有效提高了神經(jīng)網(wǎng)絡(luò)的診斷準(zhǔn)確性和診斷效率；吳國(guó)華等[7]利用定性趨勢(shì)分析與閾值法相結(jié)合進(jìn)行核電廠狀態(tài)監(jiān)測(cè)，建立符號(hào)有向線圖進(jìn)行核電廠二回路故障診斷；熊立紅等[8]在核電廠故障診斷系統(tǒng)中引入多級(jí)流模型，通過(guò)其中信息流、物質(zhì)流、能量流之間的狀態(tài)關(guān)系準(zhǔn)確找出原始故障源位置；孫英杰等[9]采用多變量狀態(tài)估計(jì)和序貫概率比技術(shù)，對(duì)核電廠冷卻劑系統(tǒng)參數(shù)變量進(jìn)行異常判斷與預(yù)測(cè)；朱少民等[10]以蒸汽發(fā)生器為研究對(duì)象，建立以BP神經(jīng)網(wǎng)絡(luò)為主的故障診斷系統(tǒng)，有效地實(shí)現(xiàn)了數(shù)據(jù)的實(shí)時(shí)采集、在線處理以及故障診斷。

雖然以上方法在數(shù)據(jù)量充足的條件下進(jìn)行故障診斷可以得到較好的結(jié)果，但在故障數(shù)據(jù)量很小且正常數(shù)據(jù)量與故障數(shù)據(jù)量差異明顯，即小樣本不平衡情況下很難得到較高的故障準(zhǔn)確率。

國(guó)內(nèi)外針對(duì)小樣本不平衡數(shù)據(jù)處理也做了大量工作，小樣本不平衡數(shù)據(jù)的核心問(wèn)題是樣本數(shù)量過(guò)少，導(dǎo)致模型訓(xùn)練難度加大。目前主要通過(guò)以下3種方式解決該問(wèn)題：1）基于數(shù)據(jù)增強(qiáng)方法，主要思路是利用增強(qiáng)數(shù)據(jù)來(lái)解決目標(biāo)域數(shù)據(jù)量不足的現(xiàn)象[11]，其中的代表算法包括合成少數(shù)類過(guò)采樣技術(shù)（synthetic minority oversampling technique，SMOTE）等；2）基于度量學(xué)習(xí)方法，通過(guò)解決度量數(shù)據(jù)相似性的問(wèn)題來(lái)解決小樣本不平衡問(wèn)題，典型方法包括匹配網(wǎng)絡(luò)[12]和關(guān)系網(wǎng)絡(luò)[13]等；3）基于初始化方法，通過(guò)優(yōu)化器的初始化或網(wǎng)絡(luò)模型優(yōu)化來(lái)解決小樣本不平衡問(wèn)題，典型方法包括記憶增廣神經(jīng)網(wǎng)絡(luò)[14]、模型未知源學(xué)習(xí)方式[15]等。

針對(duì)以上問(wèn)題本文擬采用SMOTE與長(zhǎng)短期記憶（long short term memory，LSTM）相結(jié)合的方法進(jìn)行核電廠小樣本不平衡故障診斷，利用SMOTE擴(kuò)展訓(xùn)練樣本，結(jié)合LSTM自動(dòng)進(jìn)行特征參數(shù)選取的優(yōu)點(diǎn)，有效提高故障診斷系統(tǒng)在小樣本不平衡時(shí)故障診斷準(zhǔn)確率。

1 核電廠一回路特征參數(shù)處理

1.1 特征參數(shù)提取

首先采集福清仿真機(jī)在100%滿功率正常運(yùn)行狀態(tài)下的數(shù)據(jù)，然后插入蒸汽發(fā)生器傳熱管破裂故障、主泵卡軸故障及主蒸汽管道破裂故障，并導(dǎo)出發(fā)生上述故障時(shí)的故障數(shù)據(jù)。所有故障類型中包含69種特征參數(shù)，繪制4種故障的69種特征參數(shù)趨勢(shì)圖，選取其中有利于后續(xù)故障診斷的特征參數(shù)進(jìn)行后續(xù)處理。以其中的穩(wěn)壓器波動(dòng)管溫度、電加熱器熱功率為例演示特征參數(shù)提取過(guò)程。

首先進(jìn)行核電廠4種狀態(tài)下、2個(gè)狀態(tài)特征參數(shù)趨勢(shì)圖繪制，繪制結(jié)果如圖1~2所示。

圖1 穩(wěn)壓器波動(dòng)管溫度

將圖1和圖2進(jìn)行對(duì)比發(fā)現(xiàn)穩(wěn)壓器波動(dòng)管溫度在4種狀態(tài)下差異性更加明顯，而電加熱器熱功率與穩(wěn)壓器波動(dòng)管溫度相比，電加熱器熱功率對(duì)于后續(xù)故障診斷效果并不明顯。

圖2 電加熱器熱功率

按照上述原則進(jìn)行特征參數(shù)提取，最終從69種特征參數(shù)中選取26種特征參數(shù)用于后續(xù)故障診斷，分別為穩(wěn)壓器波動(dòng)管溫度、穩(wěn)壓器水位、穩(wěn)壓器壓力、穩(wěn)壓器蒸汽空間溫度、SG水位、SG二次側(cè)給水流量、SG蒸汽產(chǎn)量、SG出口蒸汽壓力、壓力容器入口溫度、冷卻劑壓力、冷管段溫度、熱管段溫度、下泄流量、上充流量、下泄管線壓力、下泄換熱出口溫度、上充管線壓力、電功率、核功率、安全殼壓力、安全殼溫度、安全殼地坑水位、噴淋流量、軸封上充流量、下泄換熱器殼側(cè)冷卻水流量和下泄節(jié)點(diǎn)壓力。

1.2 SMOTE 算法擴(kuò)容

為提高后續(xù)深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練效果，使用SMOTE算法進(jìn)行少數(shù)類樣本擴(kuò)容。本文選取正常狀態(tài)數(shù)據(jù)250余個(gè)、蒸汽發(fā)生器傳熱管破裂故障數(shù)據(jù)10個(gè)、剩余 2種故障狀態(tài)數(shù)據(jù)各 30余個(gè)，進(jìn)行SMOTE算法擴(kuò)容。SMOTE原理圖如圖3所示。圖3中，圓形代表多數(shù)樣本點(diǎn)，黑色星星代表少數(shù)樣本點(diǎn)，其中橫縱坐標(biāo)代表樣本點(diǎn)包含特征參量，為多維數(shù)據(jù)，如本文所述模型，樣本點(diǎn)為26維數(shù)據(jù)。

圖3 SMOTE 原理

SMOTE算法主要計(jì)算過(guò)程為：

1）計(jì)算少數(shù)類樣本之間的歐式距離，選取k鄰近點(diǎn)。

2）根據(jù)不平衡比例設(shè)置采樣倍率。

3）按照式（1）的方式計(jì)算出新的樣本點(diǎn)。

式中：x為小樣本參數(shù)，xi為小樣本相鄰相同類型樣本參數(shù)點(diǎn)。

2 基于 LSTM 的核電廠一回路故障診斷

LSTM深度神經(jīng)網(wǎng)絡(luò)是在循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)的基礎(chǔ)上加以改進(jìn)，有效地解決了RNN長(zhǎng)序列依賴的問(wèn)題[16?17]，LSTM原理如圖4所示。圖4中ft、it、ot分別為遺忘門、輸入門和輸出門。

圖4 單個(gè)時(shí)間步長(zhǎng)的 LSTM網(wǎng)絡(luò)結(jié)構(gòu)示意

LSTM通過(guò)引入門的結(jié)構(gòu)來(lái)解決RNN中的長(zhǎng)序列依賴問(wèn)題，每個(gè)門結(jié)構(gòu)包含了1個(gè)以sigmoid為激活函數(shù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，sigmoid 輸出范圍為0~1，可以用來(lái)控制信息傳遞的比例，實(shí)現(xiàn)對(duì)歷史信息的選擇性遺忘。由于LSTM門結(jié)構(gòu)的存在使得LSTM深度神經(jīng)網(wǎng)絡(luò)可以自動(dòng)進(jìn)行特征參數(shù)篩選，保留有利于故障診斷的特征參數(shù)，篩除對(duì)后續(xù)故障診斷影響較大的不利特征參數(shù)。

輸入門用來(lái)控制輸入值xt的保存比例，輸入門的計(jì)算方式如式（2）和式（3）所示：

遺忘門主要是用來(lái)確定ct?1中多少成分被傳遞到ct中，其計(jì)算公式如式（4）：

式中ft為遺忘門的門限，即歷史狀態(tài)ct?1被遺忘的比例。

通過(guò)遺忘門和輸入門實(shí)現(xiàn)狀態(tài)C的刪除和更新，狀態(tài)ct計(jì)算公式如式（5）：

輸出門用來(lái)計(jì)算LSTM 隱藏層輸出，其數(shù)學(xué)表達(dá)式如式（6）和式（7）所示：

文中LSTM深度神經(jīng)網(wǎng)絡(luò)具體訓(xùn)練流程如圖5所示。

圖5 LSTM 網(wǎng)絡(luò)訓(xùn)練流程

LSTM具體的訓(xùn)練流程為：

1）將進(jìn)行SMOTE處理之后的故障數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)化處理。

2）初始化LSTM網(wǎng)絡(luò)。設(shè)置初始權(quán)值及最大迭代次數(shù)等參數(shù)。

3）前向計(jì)算。按照上述原理部分內(nèi)容進(jìn)行LSTM前項(xiàng)計(jì)算。

4）誤差反向傳播。將模型輸出值與理論輸出值的均方誤差作為誤差計(jì)算公式，不斷通過(guò)迭代過(guò)程優(yōu)化模型。

5）訓(xùn)練模型滿足預(yù)設(shè)條件時(shí)，停止訓(xùn)練，代入測(cè)試集，測(cè)試模型故障診斷準(zhǔn)確度。

3 結(jié)果驗(yàn)證

為驗(yàn)證SMOTE算法與LSTM深度神經(jīng)網(wǎng)絡(luò)相結(jié)合用于核電廠小樣本不平衡故障診斷的準(zhǔn)確性，本文將未進(jìn)行SMOTE處理的數(shù)據(jù)與進(jìn)行SMOTE處理的數(shù)據(jù)進(jìn)行結(jié)果對(duì)照，對(duì)照結(jié)果如表1所示。

表1 SMOTE 擴(kuò)展效果對(duì)比 %

由表1可知在對(duì)數(shù)據(jù)進(jìn)行SMOTE處理之后，故障診斷準(zhǔn)確率大大提高。在未進(jìn)行SMOTE處理之前由于蒸汽發(fā)生器傳熱管破裂故障數(shù)據(jù)量較小，且與其他部分故障類型發(fā)生故障征兆相似，分類模型訓(xùn)練不充分，因而故障診斷準(zhǔn)確率極低，只達(dá)到了8.33%。在進(jìn)行SMOTE處理之后，針對(duì)小樣本不平衡問(wèn)題的故障診斷準(zhǔn)確率大大提高，且蒸汽發(fā)生器傳熱管破裂故障診斷準(zhǔn)確率也由原來(lái)的8.33%提升至75%。

4 結(jié)論

本文針對(duì)核電廠一回路小樣本不平衡故障診斷的問(wèn)題，提出一種SMOTE與LSTM相結(jié)合的方法。利用SMOTE算法拓展訓(xùn)練樣本，極大地提高了LSTM深度神經(jīng)網(wǎng)絡(luò)故障診斷的準(zhǔn)確率，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法在樣本數(shù)量極小以及樣本數(shù)據(jù)量差異極其明顯時(shí)該方法的可行性。以蒸汽發(fā)生器傳熱管破裂故障為例，在進(jìn)行SMOTE處理之后，故障診斷準(zhǔn)確率由原來(lái)的8.33%提高至75%，提升效果顯著。