基于TensorFlow的LSTM神經(jīng)網(wǎng)絡(luò)智能電氣火災(zāi)預(yù)測研究

趙月愛，秦佳寧

(太原師范學(xué)院 計算機科學(xué)與技術(shù)系，山西 晉中 030619)

0 引言

隨著社會經(jīng)濟的發(fā)展和科技生產(chǎn)力的提高，人類的生活、生產(chǎn)已經(jīng)進步入了高電氣化時代，家用電氣的普及達到了前所未有的程度.但是電能在方便人類的同時，又造成了電氣火災(zāi)事故的危險.目前，在火災(zāi)事故中，約30%左右是由于電氣火災(zāi)引起的.在電氣火災(zāi)中，電氣線路火災(zāi)約占60%，而低壓電氣線路火災(zāi)又占電氣線路火災(zāi)的90%以上[1].

面對愈加嚴峻的電氣火災(zāi)形勢，傳統(tǒng)的運用單一探測器的火災(zāi)自動報警系統(tǒng)局限性較大，甚至有些需要人工干涉，難以實時探測火災(zāi)，因而常常耽誤了最佳的災(zāi)情救援時間.近幾年來多傳感器數(shù)據(jù)融合技術(shù)不斷發(fā)展，在火災(zāi)探測領(lǐng)域處于十分重要的地位[2].因此，如何利用多傳感器實現(xiàn)對電氣火災(zāi)的精準(zhǔn)預(yù)警是一個值得深入研究的內(nèi)容.

目前，國內(nèi)外學(xué)者已經(jīng)設(shè)計了幾種火災(zāi)預(yù)警的數(shù)學(xué)模型，例如，基于回歸分析[3]、聚類分析[4]、神經(jīng)網(wǎng)絡(luò)[5]、灰色系統(tǒng)理論[6]及時間序列[7]等.但是，由于輸電線路負荷的模糊性及非線性的特點，使這些方法在預(yù)測時不能很好達到負荷預(yù)測的精度，而LSTM作為一種基于時間序列的遞歸神經(jīng)網(wǎng)絡(luò)，在短期預(yù)測中具有更高精準(zhǔn)度，在眾多領(lǐng)域被使用.李偉山等人利用LSTM設(shè)計了煤礦瓦斯預(yù)測方法[8]；李智敏等人利用LSTM針對人體活動行為進行了識別研究，證明了遞歸神經(jīng)網(wǎng)絡(luò)在行為識別中具有較高的精確度[9]；陳韞等人利用LSTM深度網(wǎng)絡(luò)對城市道路短時交通狀態(tài)進行了預(yù)測[10].考慮到LSTM算法能夠處理序列變化的數(shù)據(jù)，解決長序列訓(xùn)練過程中梯度消失與爆炸問題.因此，本文將其應(yīng)用于電氣火災(zāi)的預(yù)測中，并進行了實驗研究.

本文分析了引起電氣火災(zāi)的重要因素，基于TensorFlow的LSTM神經(jīng)網(wǎng)絡(luò)算法對某地區(qū)輸電線路上的數(shù)據(jù)進行了分析，通過多次數(shù)據(jù)迭代和參數(shù)調(diào)優(yōu)對模型進行了訓(xùn)練，實驗結(jié)果表明，基于TensorFlow的LSTM神經(jīng)網(wǎng)絡(luò)算法對于電氣火災(zāi)的預(yù)測不僅具有較高的準(zhǔn)確度，而且泛化能力強，預(yù)測效果明顯好于其他學(xué)習(xí)算法.

1 基于LSTM神經(jīng)網(wǎng)絡(luò)的電氣火災(zāi)預(yù)測算法設(shè)計

1.1 電氣火災(zāi)影響因素分析

引起電氣火災(zāi)的因素眾多，包含輸電線路短路、接地故障、電路過電流、絕緣老化以及電熱設(shè)備引燃可燃物等因素，但輸電線路短路占大部分比例，而短路火災(zāi)中90%是由于接地屏蔽故障導(dǎo)致，這時就需要對剩余電流進行特殊的測控來防止這類由異常漏電流導(dǎo)致的接地漸變性事故，另外還需對漏電電流參數(shù)、電流電壓參數(shù)、工作電壓參數(shù)以及線纜溫度參數(shù)進行檢測，以便隨時把握電氣線路或電氣設(shè)備的異樣狀況，及早發(fā)現(xiàn)并消滅電氣線路中的火災(zāi)隱情，為居民和企業(yè)的生活與生產(chǎn)提供保障.

因此，本文選取以下特征作為衡量火災(zāi)發(fā)生概率的關(guān)鍵因素：

1)漏電電流.非正常的漏電流會導(dǎo)致接地漸變性故障，易引起短路現(xiàn)象.

2)電流電壓.隨時掌握線路的火災(zāi)危險和異常狀態(tài).

3)工作電流.以便監(jiān)控線路的電流負荷.

4)電纜溫度.線纜溫度過高容易燒斷線路，產(chǎn)生火花引發(fā)火災(zāi).

1.2 TensorFlow深度學(xué)習(xí)工具

TensorFlow是基于DistBelief開發(fā)而成的開源的人工智能軟件學(xué)習(xí)庫，可用于深度學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)方面的研究.其中，Tensor即張量，表示N維數(shù)組，F(xiàn)low即流運算，表示基于數(shù)據(jù)流圖的計算，因此，TensorFlow運算模式為N維數(shù)組從數(shù)據(jù)流圖的某端點流動到其他端點.TensorFlow擁有高度的靈活性、優(yōu)良的可移植性、自動求微分功能以及多語言的支持功能等特性，已逐步成為最受歡迎的深度學(xué)習(xí)工具.本文對TensorFlow中的LSTM算法進行了實驗研究.

1.3 基于TensorFlow的LSTM神經(jīng)網(wǎng)絡(luò)算法

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)作為一種遞歸神經(jīng)網(wǎng)絡(luò)，能更好地處理并預(yù)測序列變化的數(shù)據(jù)，充分地分析挖掘數(shù)據(jù)中的時序信息和語義信息[11].RNN通過把前幾個時刻的隱藏層輸出數(shù)據(jù)作為自身層的輸入來保留時間維度信息.RNN的結(jié)構(gòu)圖如圖1所示.其中，模塊A輸入為Xi，輸出一個值hi，通過循環(huán)把信息從當(dāng)前位置傳遞到下一位置.

長短時記憶(Long Short Term Memory，LSTM)神經(jīng)網(wǎng)絡(luò)是RNN網(wǎng)絡(luò)的進一步演變，不僅能夠記憶長序列中的規(guī)律，還能夠避免梯度消失與爆炸[12].LSTM結(jié)構(gòu)圖如圖 2 所示，與RNN網(wǎng)絡(luò)相比，LSTM網(wǎng)絡(luò)多了記憶功能，用記憶塊(Memory blocks)取代隱層單元(Hidden units)，并把前一時刻的信息存儲在這些記憶塊中的記憶單元(Memory cell)中，而且增加輸入門(Input gate)、輸出門(Output gate )和遺忘門(Forget gate)，輸入門代表此刻的輸入信息，遺忘門代表此刻丟棄的信息，輸出門代表最終網(wǎng)絡(luò)輸出的信息.它們共同作用來記憶信息的序列特征.記憶線和輸入輸出線是記憶塊的2條主線，其中，t-1時，記憶線中的狀態(tài)ct-1經(jīng)由遺忘門狀態(tài)ft和輸入門狀態(tài)it的相繼處理后獲得該時刻的記憶線并輸出ct; 而輸入輸出線在t時刻輸入一組新的變量值xt與上一時刻的隱含層輸出狀態(tài)ht-1一同經(jīng)由輸出門狀態(tài)ot的運算后，參考記憶線在該時刻的輸出ct，得到隱含層的輸出結(jié)果ht.LSTM中t時刻所得的ct和ht將被傳遞到下一時刻參與計算.

圖1 RNN結(jié)構(gòu)圖圖2 LSTM結(jié)構(gòu)圖

為了求得ct和ht詳細的運算步驟如下所示：

(1)

(2)

(3)

(4)

(5)

計算LSTM記憶線的t時刻輸出ct，如式(6)所示：

(6)

計算LSTM的t時刻隱含層輸出ht，如式(7)所示：

ht=ot×tanh(ct) .

(7)

計算t+1時刻的序列值，并根據(jù)輸入的歷史序列數(shù)據(jù)和模型訓(xùn)練的結(jié)果，得到t+1時刻的電氣火災(zāi)發(fā)生概率預(yù)測值.計算方式如式(8)所示.

(8)

式中，W2是處于輸出層和隱含層之間的權(quán)重矩陣;b則是輸出層的偏項.

2 實驗過程及結(jié)果分析

為驗證算法的有效性，對部署在某地區(qū)的來自A、B、C、D四個不同輸電線路監(jiān)控數(shù)據(jù)(每天間隔一分鐘記錄一次)共計1067萬條數(shù)據(jù)進行了分析.算法在Ubuntu 16.04 操作系統(tǒng)下的TensorFlow 1.3.0 開發(fā)完成.運行環(huán)境為英特爾酷睿i5-8250@1.60 GHz處理器，8GB內(nèi)存.

2.1 數(shù)據(jù)預(yù)處理

獲取龐雜的歷史輸電線路負荷數(shù)據(jù)中，機械或人為因素常常導(dǎo)致負荷數(shù)據(jù)中出現(xiàn)數(shù)據(jù)的偏執(zhí)與缺失，這些缺失或異常數(shù)據(jù)存在會極大地影響預(yù)測的精度，因此，需要對源數(shù)據(jù)進行加工與處理.

針對上述“壞數(shù)據(jù)”，采用下述方法進行處理：

1)概率統(tǒng)計方法.通過對正常數(shù)據(jù)采取概率統(tǒng)計來找出該數(shù)據(jù)的置信區(qū)間，以此來辨別出異常數(shù)據(jù)進行處理.

2)曲線替代方法.對明顯超出正常負荷曲線的異常數(shù)據(jù)進行消除替代處理.

3)經(jīng)驗修正方法.從經(jīng)驗角度出發(fā)，通過對比正常負荷曲線，找到某時間段內(nèi)數(shù)據(jù)值來修正異常數(shù)據(jù).

4)平均值填充方法.針對缺失數(shù)據(jù)，取相鄰數(shù)據(jù)的平均值來填補從而完善數(shù)據(jù)源.

此外，由于各項影響電氣火災(zāi)的因素量綱不同，如果將不同量綱的數(shù)據(jù)直接導(dǎo)入進行模型訓(xùn)練，很容易會出現(xiàn)模型不收斂的結(jié)果，因此要對數(shù)據(jù)進行歸一化處理：

(9)

其中，Xnorm為歸一化后數(shù)據(jù)，X為原始數(shù)據(jù)，Xmax和Xmin分別為原始數(shù)據(jù)的最大值及最小值.

2.2 模型評估

為了評估LSTM 神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果的表現(xiàn)力，采用評價分類模型時通用的準(zhǔn)確率(Accuracy)，精確率(Precision)，召回率(Recall)、F-Measure來評估預(yù)測的準(zhǔn)確度.

(10)

(11)

(12)

(13)

式中，P為精確率，R為召回率.F-Measure是Precision和Recall加權(quán)調(diào)和平均，F(xiàn)值越接近1，說明效果越好.TP表示將真正例預(yù)測為真，F(xiàn)N表示將真正例預(yù)測為假，F(xiàn)P表示將假正例預(yù)測為真，TN表示將真反例預(yù)測為假.

2.3 基于TensorFlow的LSTM神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

圖3 模型的訓(xùn)練方式

模型的輸入輸出如圖3所示，模型的輸入特征為這些參數(shù)t時段前的r個連續(xù)時間序列的參數(shù)值，輸出為t時段輸電線路全部傳感器的參數(shù)值，其中模型的輸入為虛線矩形框，模型的輸出則為虛線箭頭表示，不同的線型代表不同的訓(xùn)練，如：xt為t時間段的全部傳感器的參數(shù)值.為了增強模型的表現(xiàn)力，需要采用簡單交叉驗證的方式選擇合適的LSTM層數(shù)、各層節(jié)點數(shù)、迭代次數(shù).

實驗結(jié)果表明，采用2層LSTM構(gòu)建的循環(huán)神經(jīng)網(wǎng)絡(luò)，在每層包含的隱藏層節(jié)點數(shù)為10、時間步長為32時，模型具有較好的表現(xiàn)力.模型的學(xué)習(xí)率為0.001，批處理大小為60，最大迭代次數(shù)為800次，激活函數(shù)為ReLU，Dropout概率為0.5，即每個隱層節(jié)點有50%的概率被拋棄.

2.4 實驗結(jié)果

本實驗預(yù)測方式為利用前32個時間序列的數(shù)據(jù)，預(yù)測第33個時間段的數(shù)據(jù).經(jīng)過反復(fù)調(diào)參和迭代分析，在A、B、C、D四個不同數(shù)據(jù)集上的實驗結(jié)果如表1所示，本實驗所構(gòu)建的LSTM模型在不同地區(qū)的輸電線路參數(shù)訓(xùn)練集中的準(zhǔn)確率、精確率、召回率都能達到80%以上，但地區(qū)B的F-Measure值明顯低于其他地區(qū)，后續(xù)將深入研究其他造成電氣線路短路的因素.

表1 不同地區(qū)的樣本下算法的準(zhǔn)確率、精確率及召回率對比

2.5 對比實驗

在A、B、C、D四個不同數(shù)據(jù)集上分別采用LSTM神經(jīng)網(wǎng)絡(luò)、CART決策樹、KNN三種算法對電氣火災(zāi)預(yù)測情況進行了比較，其中訓(xùn)練數(shù)據(jù)占70%，驗證數(shù)據(jù)占10%，測試數(shù)據(jù)占20%，結(jié)果如表2所示.

表2 不同地區(qū)不同算法的準(zhǔn)確率、精確率及召回率對比 %

從實驗結(jié)果可以看出，與CART決策樹算法、KNN算法相比，LSTM神經(jīng)網(wǎng)絡(luò)算法預(yù)測的精度更高，性能更穩(wěn)定些.

3 結(jié)論

本文設(shè)計并實現(xiàn)了基于LSTM神經(jīng)網(wǎng)絡(luò)的電氣線路火災(zāi)預(yù)測模型，借助TensorFlow智能學(xué)習(xí)系統(tǒng)平臺進行了實驗研究，該模型能更好地學(xué)習(xí)多個輸電線路參數(shù)的相關(guān)特征，并且擁有較長時間的記憶功能，可對多個輸電線路傳感器數(shù)據(jù)進行有效學(xué)習(xí).實驗結(jié)果表明該模型有準(zhǔn)確率高、誤報率低、安全可靠等優(yōu)點.今后將考慮更多影響電氣火災(zāi)的因素，進一步研究多傳感器數(shù)據(jù)之間的相關(guān)性，從而逐步提高模型預(yù)測的表現(xiàn)力.