核動(dòng)力裝置運(yùn)行數(shù)據(jù)的特征提取方法研究

彭彬森，夏 虹，朱少民，彭敏俊，劉永闊，馬心童

(哈爾濱工程大學(xué) 核安全與仿真技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，黑龍江 哈爾濱 150001)

隨著中國(guó)能源供給側(cè)進(jìn)行深入的改革，核能在能源結(jié)構(gòu)中的占比越來(lái)越高。與此同時(shí)，大眾對(duì)核設(shè)施安全性的關(guān)注也越來(lái)越高，尤其是在日本福島核事故后，如何保障核動(dòng)力裝置的安全性已成為影響核能發(fā)展的重要因素[1-2]。核動(dòng)力裝置是一個(gè)非常復(fù)雜的動(dòng)態(tài)時(shí)變系統(tǒng)，主要是因其運(yùn)行條件復(fù)雜可變[3]。一旦發(fā)生異常，操縱員需對(duì)異常情況進(jìn)行分析，找出異常的原因，并及時(shí)采取措施降低事故的影響，確保核動(dòng)力裝置的安全運(yùn)行，否則將造成巨大的損失和影響，因此狀態(tài)監(jiān)測(cè)系統(tǒng)在保障核動(dòng)力裝置安全性方面扮演著重要的角色。核動(dòng)力裝置在運(yùn)行過(guò)程中，監(jiān)測(cè)系統(tǒng)需對(duì)許多參數(shù)進(jìn)行監(jiān)控，主要有溫度、壓力、水位等熱工參數(shù)以及機(jī)械振動(dòng)參數(shù)，同時(shí)同一過(guò)程中的不同變量間往往互相關(guān)聯(lián)，這些運(yùn)行數(shù)據(jù)主要有以下特點(diǎn)[4]：1) 來(lái)源多重性，數(shù)據(jù)源是多種多樣的，且大小不一的系統(tǒng)并存；2) 空間分布性，數(shù)據(jù)源在空間中的分布各不相同；3) 時(shí)間多尺度性，數(shù)據(jù)時(shí)間跨度大、差別很大；4) 實(shí)時(shí)交互性，各系統(tǒng)及設(shè)備的運(yùn)行數(shù)據(jù)等可實(shí)時(shí)反映核動(dòng)力裝置的運(yùn)行狀態(tài)；5) 數(shù)據(jù)的價(jià)值密度低，多數(shù)數(shù)據(jù)均是正常數(shù)據(jù)，故障數(shù)據(jù)少。大量復(fù)雜的過(guò)程變量給操縱員對(duì)系統(tǒng)狀態(tài)的判斷帶來(lái)了困難。因此需將較多的過(guò)程變量壓縮為少數(shù)獨(dú)立的變量，智能特征提取方法自動(dòng)編碼器是一種高維數(shù)據(jù)分析的有效手段，通過(guò)分析得到的低維特征變量很好地保留了原始數(shù)據(jù)的特征信息，摒棄了冗余信息，不僅降低了計(jì)算量，同時(shí)也提高了數(shù)據(jù)的識(shí)別精度[5]。因此本文采用稀疏自動(dòng)編碼器(SAE)對(duì)核動(dòng)力裝置產(chǎn)生的高維信號(hào)進(jìn)行特征提取，并對(duì)提取后的數(shù)據(jù)進(jìn)行異常識(shí)別。

1 SAE數(shù)據(jù)特征提取

1.1 自動(dòng)編碼器(AE)

AE是一種人工神經(jīng)網(wǎng)絡(luò)，采用無(wú)監(jiān)督的學(xué)習(xí)方式從原始數(shù)據(jù)中提取特征信息[6]。AE作為構(gòu)建深度神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，其特征之一是輸入節(jié)點(diǎn)的值等于輸出節(jié)點(diǎn)的值。另一個(gè)特征是隱藏層中的神經(jīng)元數(shù)量通常小于輸出層的，因此它具有通過(guò)非線性變換將輸入特性轉(zhuǎn)換到少量隱藏層神經(jīng)元中的優(yōu)點(diǎn)。使用自動(dòng)編碼算法，不僅可減少數(shù)據(jù)維數(shù)，省去了手動(dòng)提取特征的麻煩，同時(shí)還能降低計(jì)算復(fù)雜度，減少計(jì)算資源的占用[7]。

AE由編碼器和解碼器組成，其結(jié)構(gòu)如圖1所示。輸入數(shù)據(jù)首先通過(guò)編碼器映射到低維空間，然后再通過(guò)解碼器將數(shù)據(jù)還原，還原的數(shù)據(jù)與原始數(shù)據(jù)的誤差越小，說(shuō)明AE的效果越好。AE可從未標(biāo)記的數(shù)據(jù)中提取特征值，并提供原始特征的表示。解碼器用于對(duì)原始輸入進(jìn)行重構(gòu)，原始輸入可視為編碼器的逆輸入[8]。

圖1 AE的簡(jiǎn)化結(jié)構(gòu)Fig.1 Simplified structure of AE

如果輸入到AE的是矢量x，則編碼器可將矢量x映射到另一個(gè)矢量z，如下所示：

z=h(1)(w(1)x+b(1))

(1)

(2)

式中：上標(biāo)(2)表示第2層；h(2):h(z)=z，為解碼器的線性傳遞函數(shù)(purelin函數(shù))。

為優(yōu)化AE的訓(xùn)練效果，引入損失函數(shù)作為訓(xùn)練的目標(biāo)函數(shù)，損失函數(shù)包括重構(gòu)誤差項(xiàng)和L2正則化項(xiàng)，如式(3)所示。

JAE(w,b)=err+λΩweights

(3)

式中：err為輸出的重構(gòu)值與輸入的實(shí)際值之間的均方誤差，其表達(dá)式如式(4)所示；Ωweights為L(zhǎng)2正則化項(xiàng)，用于減少w(1)，增加z(1)，從而防止模型過(guò)度擬合；λ為式(5)中給出的L2正則化項(xiàng)的系數(shù)。

(4)

(5)

式中：L為隱藏層的層數(shù)；N為訓(xùn)練樣本的數(shù)據(jù)個(gè)數(shù)；K為訓(xùn)練數(shù)據(jù)中包含的參數(shù)個(gè)數(shù)。

1.2 SAE

大量研究表明，當(dāng)生物視覺(jué)系統(tǒng)的主要處理區(qū)域?qū)π盘?hào)進(jìn)行分析時(shí)，僅有少數(shù)神經(jīng)元處于激活狀態(tài)，而大多數(shù)神經(jīng)元處于抑制狀態(tài)，并且獲得的稀疏表達(dá)通常較其他表達(dá)更有效[8]。SAE是通過(guò)在AE的基礎(chǔ)上引入稀疏限制而建立的，其結(jié)構(gòu)如圖2所示[9]。如果激活函數(shù)為sigmoid函數(shù)，當(dāng)隱藏層神經(jīng)元的值接近1時(shí)，該神經(jīng)元被激活；當(dāng)隱藏層神經(jīng)元的值接近0時(shí)，該神經(jīng)元被抑制。

圖2 SAE結(jié)構(gòu)簡(jiǎn)圖Fig.2 Structure schematic of SAE

(6)

式中：n為訓(xùn)練樣本的總數(shù)；xj為第j個(gè)訓(xùn)練樣本。

通過(guò)在式(3)中添加稀疏性正則化項(xiàng)，可得SAE損失函數(shù)為：

JSAE(w,b)=JAE(w,b)+βΩsparsity

(7)

(8)

1.3 訓(xùn)練SAE

在SAE的訓(xùn)練中，通常利用反向傳播(BP)算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)，當(dāng)代價(jià)函數(shù)達(dá)到誤差限值或迭代次數(shù)達(dá)到最大值時(shí)，停止訓(xùn)練。其中權(quán)重和偏差在訓(xùn)練過(guò)程中的迭代更新如下[12]：

(9)

(10)

1.4 核動(dòng)力裝置數(shù)據(jù)特征提取

圖3 核動(dòng)力裝置運(yùn)行數(shù)據(jù)特征提取流程圖Fig.3 Flow chart of feature extraction for nuclear power plant operation data

根據(jù)核動(dòng)力裝置的特點(diǎn)，設(shè)計(jì)如圖3所示的特征提取流程圖，主要包括3個(gè)階段：數(shù)據(jù)采集階段、數(shù)據(jù)處理階段和特征提取階段。首先在數(shù)據(jù)采集階段獲取不同設(shè)備的主要參數(shù)值，然后在數(shù)據(jù)處理階段對(duì)數(shù)據(jù)進(jìn)行必要的預(yù)處理使數(shù)據(jù)符合要求，最后在特征提取階段將原始數(shù)據(jù)壓縮至低維特征空間，從而得到相應(yīng)的特征值。

2 仿真測(cè)試與結(jié)果

為驗(yàn)證該方法的可行性，將其應(yīng)用到核動(dòng)力裝置的狀態(tài)監(jiān)測(cè)中，狀態(tài)監(jiān)測(cè)方法為孤立森林方法[13]。為此用核動(dòng)力裝置仿真軟件PCTRAN模擬了9種不同的運(yùn)行工況(正常工況和異常工況)，并獲得了相應(yīng)的時(shí)間序列參數(shù)[14-15]。表1列出了工況類型與樣本數(shù)量。訓(xùn)練數(shù)據(jù)樣本由4 000個(gè)數(shù)據(jù)組成，共包含64個(gè)參數(shù)，其中異常數(shù)據(jù)有1 000個(gè)(故障程度范圍為5%～50%，破口事故故障程度為破口面積與總截面積比值，甩負(fù)荷事故故障程度為負(fù)荷與滿功率比值)，100%滿功率下的正常數(shù)據(jù)有1 000個(gè)，90%滿功率下的正常數(shù)據(jù)有1 000個(gè)，80%滿功率下的正常數(shù)據(jù)有1 000個(gè)。為驗(yàn)證該方法在單一正常工況下和多種正常工況下?tīng)顟B(tài)監(jiān)測(cè)的有效性，考慮到實(shí)際情況下正常數(shù)據(jù)較異常數(shù)據(jù)多，按正常數(shù)據(jù)與異常數(shù)據(jù)的比例為9∶2從總樣本集中抽取1 100個(gè)數(shù)據(jù)組成訓(xùn)練樣本。測(cè)試過(guò)程中共抽取了3組訓(xùn)練樣本，第1組包含200個(gè)異常數(shù)據(jù)，900個(gè)100%滿功率正常數(shù)據(jù)；第2組包含200個(gè)異常數(shù)據(jù)，450個(gè)100%滿功率正常數(shù)據(jù)，450個(gè)90%滿功率正常數(shù)據(jù)；第3組包含200個(gè)異常數(shù)據(jù)，300

表1 工況類型與樣本數(shù)量Table 1 Condition type and sample count

個(gè)100%滿功率正常數(shù)據(jù)，300個(gè)90%滿功率正常數(shù)據(jù)，300個(gè)80%滿功率正常數(shù)據(jù)。

為體現(xiàn)SAE的優(yōu)勢(shì)，同時(shí)用不含稀疏項(xiàng)的AE作為對(duì)照，對(duì)相同的數(shù)據(jù)進(jìn)行測(cè)試，相關(guān)參數(shù)設(shè)置列于表2。

表2 參數(shù)設(shè)置Table 2 Parameter setting

2.1 數(shù)據(jù)預(yù)處理

為更有效地提取特征和訓(xùn)練狀態(tài)監(jiān)測(cè)模型，需對(duì)數(shù)據(jù)進(jìn)行歸一化處理，通過(guò)歸一化既能消除量綱的影響同時(shí)又能保留數(shù)據(jù)的原始特征信息，本文采用極差歸一化法對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，其表達(dá)式為：

i=1,2,…,n，xi(t)∈[0,1]

(11)

式中，ximax(t)和ximin(t)分別為xi(t)的最大值和最小值。經(jīng)歸一化后，所有參數(shù)值均被限制在[0,1]范圍內(nèi)，然后就能被用來(lái)訓(xùn)練SAE模型和狀態(tài)監(jiān)測(cè)模型。

2.2 評(píng)價(jià)指標(biāo)

通過(guò)設(shè)置SAE隱藏層神經(jīng)元的數(shù)量，可獲得與隱藏層神經(jīng)元數(shù)量對(duì)應(yīng)的提取特征的維數(shù)。為評(píng)價(jià)提取特征的質(zhì)量，使用SAE訓(xùn)練迭代收斂到相同誤差精度的迭代次數(shù)和受試者工作特性(ROC)曲線下的面積(AUC)作為評(píng)估標(biāo)準(zhǔn)。在優(yōu)先保證AUC足夠大的情況下，迭代次數(shù)越少，說(shuō)明所提取特征的質(zhì)量越好。

2.3 特征提取結(jié)果

1) 案例1

該案例所用數(shù)據(jù)樣本包含200個(gè)異常數(shù)據(jù)，900個(gè)100%滿功率正常數(shù)據(jù)，共1 100個(gè)數(shù)據(jù)。圖4為案例1 AUC和訓(xùn)練迭代次數(shù)與特征維度的關(guān)系。從圖4a可看出，AE的AUC在不同特征維度下的取值波動(dòng)較大，且最大精度不超過(guò)96%，而SAE的AUC在不同特征維度下的取值比較穩(wěn)定，并能保持較高精度。從圖4b可看出，AE的收斂次數(shù)少，SAE的收斂次數(shù)較多，且隨特征維度的增加而明顯增加，結(jié)合圖4a的AUC，可認(rèn)為AE易提前陷入局部最小值，而SAE盡管訓(xùn)練收斂次數(shù)偏多，但更易找到全局最優(yōu)解。通過(guò)觀察圖4a中SAE的AUC與特征維度關(guān)系曲線可發(fā)現(xiàn)，當(dāng)特征維度取1時(shí)，AUC下降較明顯；當(dāng)特征維度大于6時(shí)，AUC呈下降趨勢(shì)。當(dāng)特征維度為3、4、5或6時(shí)，AUC能取到最大值1，這說(shuō)明狀態(tài)監(jiān)測(cè)模型此時(shí)能有最大識(shí)別率?？紤]到迭代次數(shù)應(yīng)越小越好，因此當(dāng)特征維度取3時(shí)，可認(rèn)為是最佳情況。

圖5為特征維度分別為1、2和3時(shí)的可視化結(jié)果，可視化結(jié)果由等高線圖和散點(diǎn)圖組成。其中藍(lán)色區(qū)域?yàn)檎顟B(tài)區(qū)域，當(dāng)異常分?jǐn)?shù)接近于0時(shí)，藍(lán)色程度加深，這意味著該區(qū)域的數(shù)據(jù)為正常數(shù)據(jù)的可能性更高。黃色區(qū)域?yàn)楫惓^(qū)域，當(dāng)異常分?jǐn)?shù)接近于1時(shí)，黃色程度加深，這意味著該區(qū)域的數(shù)據(jù)為異常數(shù)據(jù)的可能性更高。如圖5a所示，為使可視化效果更好，當(dāng)提取特征維度取1時(shí)，用極坐標(biāo)圖對(duì)結(jié)果進(jìn)行展示，半徑為特征參數(shù)的取值。圖5b、c的坐標(biāo)軸參數(shù)為相應(yīng)特征維度下的特征參數(shù)。

特征提取結(jié)果顯示經(jīng)特征提取后，正常數(shù)據(jù)都集中在原點(diǎn)區(qū)域，異常數(shù)據(jù)以離散形式分布在正常數(shù)據(jù)周?chē)?。通過(guò)局部放大圖可發(fā)現(xiàn)，當(dāng)特征維度取1和2時(shí)，在正常數(shù)據(jù)周?chē)幸徊糠謹(jǐn)?shù)據(jù)被錯(cuò)誤分類，當(dāng)特征維度取3時(shí)，無(wú)數(shù)據(jù)被誤判。因此可認(rèn)為將數(shù)據(jù)壓縮至3維特征空間，可作為最佳維度去訓(xùn)練狀態(tài)監(jiān)測(cè)模型。

圖4 案例1 AUC和訓(xùn)練迭代次數(shù)與特征維度的關(guān)系Fig.4 AUC and training iteration under different feature dimensions for case 1

圖5 案例1當(dāng)特征維度為1(a)、2(b)、3(c)時(shí)的可視化結(jié)果Fig.5 Visualization results for feature dimensions taken as 1(a), 2(b) and 3(c) for case 1

2) 案例2

該案例所用數(shù)據(jù)樣本包含200個(gè)異常數(shù)據(jù)，450個(gè)100%滿功率正常數(shù)據(jù)，450個(gè)90%滿功率正常數(shù)據(jù)，共1 100個(gè)數(shù)據(jù)。圖6為案例2 AUC和訓(xùn)練迭代次數(shù)與特征維度的關(guān)系。從圖6a可看出，該結(jié)果與案例1類似，AE的AUC在不同特征維度下的取值波動(dòng)較大，而SAE的AUC在不同特征維度下的取值較穩(wěn)定，并能保持較高精度。從圖6b可看出，AE的收斂次數(shù)少，SAE的收斂次數(shù)較多，且隨特征維度的增加而明顯增加，結(jié)合圖6a的AUC，可認(rèn)為AE易提前陷入局部最小值，而SAE盡管訓(xùn)練收斂次數(shù)偏多，但更易找到全局最優(yōu)解。通過(guò)觀察SAE的訓(xùn)練迭代次數(shù)與特征維度關(guān)系曲線可看出，提取特征維度越小，訓(xùn)練迭代的次數(shù)越少，當(dāng)提取特征維度小于16時(shí)，迭代次數(shù)有一明顯的下降趨勢(shì)。通過(guò)觀察SAE的AUC與提取特征維度關(guān)系曲線可發(fā)現(xiàn)，當(dāng)特征維度取1時(shí)，AUC下降較明顯；當(dāng)特征維度大于7時(shí)，AUC呈下降趨勢(shì)。當(dāng)特征維度為4時(shí)，AUC能取到最大值0.994 9，這說(shuō)明狀態(tài)監(jiān)測(cè)模型此時(shí)具有最大識(shí)別率，同時(shí)又能取得較低的迭代次數(shù)，因此當(dāng)特征維度取4時(shí)，可認(rèn)為是最佳的情況。

圖7為特征維度分別為1、2和3時(shí)的可視化結(jié)果。當(dāng)特征維度取1時(shí)，在異常分?jǐn)?shù)接近于0的區(qū)域，存在明顯的誤判，這說(shuō)明1維特征不能反映數(shù)據(jù)的本質(zhì)特征。圖7b、c可發(fā)現(xiàn)，正常數(shù)據(jù)主要集中在兩個(gè)區(qū)域，這說(shuō)明了數(shù)據(jù)中包含兩類正常數(shù)據(jù)，異常數(shù)據(jù)主要分布在正常數(shù)據(jù)周?chē)Ｍㄟ^(guò)局部放大圖可發(fā)現(xiàn)，在正常數(shù)據(jù)周?chē)嬖谝恍┱`判。

3) 案例3

該案例所用數(shù)據(jù)樣本包含200個(gè)異常數(shù)據(jù)，300個(gè)100%滿功率正常數(shù)據(jù)，300個(gè)90%滿功率正常數(shù)據(jù)，300個(gè)80%滿功率正常數(shù)據(jù)，共1 100個(gè)數(shù)據(jù)。圖8為案例3 AUC和訓(xùn)練迭代次數(shù)與特征維度的關(guān)系。從圖8可知，第3組數(shù)據(jù)集的結(jié)果與前兩組數(shù)據(jù)的結(jié)果基本類似，即SAE訓(xùn)練收斂次數(shù)偏多，但更易找到全局最優(yōu)解；當(dāng)特征維度取11時(shí)，AUC能取到最大值0.992 2，此時(shí)監(jiān)測(cè)精度為97.1%。因此可認(rèn)為該組數(shù)據(jù)集的最佳特征維度為11。

圖9為特征維度分別為1、2和3時(shí)的可視化結(jié)果。當(dāng)特征維度取1時(shí)，在異常分?jǐn)?shù)接近于0的區(qū)域，存在明顯的誤判，這說(shuō)明1維特征不能反映數(shù)據(jù)的本質(zhì)特征。圖9b、c可發(fā)現(xiàn)，正常數(shù)據(jù)主要集中在3個(gè)區(qū)域，這說(shuō)明了數(shù)據(jù)中包含3類正常數(shù)據(jù)，異常數(shù)據(jù)主要分布在正常數(shù)據(jù)周?chē)?，并且誤判主要集中在正常數(shù)據(jù)附近。

圖6 案例2 AUC和訓(xùn)練迭代次數(shù)與特征維度的關(guān)系Fig.6 AUC and training iteration under different feature dimensions for case 2

圖7 案例2當(dāng)特征維度為1(a)、2(b)、3(c)時(shí)的可視化結(jié)果Fig.7 Visualization results for feature dimensions taken as 1(a), 2(b) and 3(c) for case 2

圖8 案例3 AUC和訓(xùn)練迭代次數(shù)與特征維度的關(guān)系Fig.8 AUC and training iteration under different feature dimensions for case 3

圖9 案例3當(dāng)特征維度為1(a)、2(b)、3(c)時(shí)的可視化結(jié)果Fig.9 Visualization results for feature dimensions taken as 1(a), 2(b) and 3(c) for case 3

3 結(jié)論

本文提出了基于SAE的特征提取方法，并將其應(yīng)用于核動(dòng)力裝置狀態(tài)監(jiān)測(cè)中。在保證較高的狀態(tài)監(jiān)測(cè)精度和較低的訓(xùn)練迭代次數(shù)的條件下，實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的特征提取。在案例1中，將包含1種正常工況的原始數(shù)據(jù)壓縮成3維數(shù)據(jù)，此時(shí)AUC可取到最大值1，并實(shí)現(xiàn)100%狀態(tài)監(jiān)測(cè)精度。在案例2中，將包含兩種正常工況的原始數(shù)據(jù)壓縮成4維數(shù)據(jù)，此時(shí)AUC取到最大值0.994 9，并實(shí)現(xiàn)98%的監(jiān)測(cè)精度。在案例3中，將包含3種正常工況的原始數(shù)據(jù)壓縮成11維數(shù)據(jù)，此時(shí)AUC取到最大值0.992 2，并實(shí)現(xiàn)97%的監(jiān)測(cè)精度。通過(guò)將3個(gè)案例中SAE與AE的特征提取結(jié)果進(jìn)行對(duì)比可發(fā)現(xiàn)，SAE得到的結(jié)果相對(duì)較穩(wěn)定，不易陷入局部最優(yōu)解。同時(shí)，通過(guò)可視化作圖，將降維結(jié)果與狀態(tài)監(jiān)測(cè)結(jié)果結(jié)合，可直觀分辨特征提取結(jié)果優(yōu)劣。綜上所述，基于SAE的特征提取方法的優(yōu)勢(shì)主要體現(xiàn)在：1) 可提取原始數(shù)據(jù)在低維空間中的特征，實(shí)現(xiàn)高維數(shù)據(jù)向低維空間的轉(zhuǎn)換，從而節(jié)約計(jì)算資源；2) 訓(xùn)練過(guò)程中不易陷入局部最優(yōu)解；3) 將樣本的本質(zhì)特征信息凝聚到低維空間，從而提高狀態(tài)監(jiān)測(cè)的精確度。