寬窄帶融合下基于RNN-LSTM網(wǎng)絡的溫度預測

楊欽榕，陳萬培，高 紳，張 濤,韓 恒

(揚州大學 信息工程學院，江蘇 揚州 225009)

0 引言

現(xiàn)如今，物聯(lián)網(wǎng)在線監(jiān)測技術[1]在高壓輸電線路中的應用愈發(fā)廣泛，線路的溫度等參數(shù)在終端即可顯現(xiàn)，告別了傳統(tǒng)的人力巡線，給輸電線路的運維管理帶來了諸多的便利。隨著應用的愈發(fā)深入，傳感器掉線、數(shù)據(jù)異常等問題接踵而至，如何對運行線路進行溫度預測、保證測溫系統(tǒng)的平穩(wěn)運行便成為了亟待解決的問題。測溫系統(tǒng)在監(jiān)測過程中會得到許多關聯(lián)的數(shù)據(jù)，現(xiàn)階段對這些數(shù)據(jù)主要應用就是查看與查詢，沒有做到對數(shù)據(jù)的多方面應用。如何利用好這些海量數(shù)據(jù)，通過對數(shù)據(jù)進行分析與研判，對系統(tǒng)運行過程中出現(xiàn)的故障進行診斷，已成為當下研究的熱點。

現(xiàn)階段，溫度預測的方法大概可分為傳統(tǒng)的手動分析數(shù)據(jù)并提取特征的方法和人工智能網(wǎng)絡模型預測法。文獻[2]在介紹變電站測溫系統(tǒng)的基礎上構建系統(tǒng)模型，從紅外理論角度出發(fā)，得到時間上存在關系的數(shù)據(jù)，針對不同的影響因素提出相應改進措施。文獻[3]中，羅會蘭等學者對當前較流行的神經(jīng)網(wǎng)絡識別行為方法進行了整體的概括，著重介紹了傳統(tǒng)的手動提取行為特征的方法，并對手動提取特征的步驟及優(yōu)缺點進行了論述。王祥民等研究人員提出了一種動態(tài)主元分析與超限學習機相結合的方法來預測分解爐出口處的溫度。通過提取主元實現(xiàn)降維，并將其作為超限學習機的輸入，調(diào)整超限學習機的參數(shù)，搭建溫度預測模型[4]。

然而隨著應用場景的多元化、監(jiān)測系統(tǒng)的復雜化，很難建立一個數(shù)學模型應用到特定的場景中，因此傳統(tǒng)的特征提取方法不再是建立溫度預測模型的首選。在面對復雜場景下的溫度預測時，日趨火爆的以大數(shù)據(jù)為基礎的人工智能優(yōu)化方法逐漸受到研究者的青睞。

Shang等研究人員在文獻[5]中聚焦電極間間隙不均勻的電解加工問題，分析工件、電解液和陰極等參數(shù)對加工精度影響后，提出構造BP神經(jīng)網(wǎng)絡，采用Levenberg Marquadt (LM)算法對該網(wǎng)絡進行訓練。實驗表明，BP神經(jīng)網(wǎng)絡可實現(xiàn)對陽極精度的精準預測。

然而，BP神經(jīng)網(wǎng)絡對網(wǎng)絡初始權重較為敏感，不同初始權重會導致收斂于不同的網(wǎng)絡極小，在每次訓練時出現(xiàn)不同的結果。同時BP神經(jīng)網(wǎng)絡具有收斂速度慢、訓練數(shù)據(jù)能力和網(wǎng)絡預測能力矛盾等缺點，在輸電線路溫度的預測方面不是最優(yōu)選擇。

文獻[6]提出了利用循環(huán)神經(jīng)網(wǎng)絡檢測網(wǎng)絡入侵的方法，將有門控單元的循環(huán)網(wǎng)絡與多層感知器結合起來，自動篩選有效特征。實驗表明,提出的系統(tǒng)使用雙向門控循環(huán)單元和多層感知器時,總體檢測率最高達到了99.42%和99.24%,誤報率分別低至0.05%和0.84%,與同類研究相比有更優(yōu)的性能。而自從長短期記憶神經(jīng)網(wǎng)絡[7](Long Short-Term Memory，LSTM)的邏輯門結構獲得認可以來，陸續(xù)出現(xiàn)了多種LSTM的變體，如有窺視孔連接的LSTM[8]、門遞歸單元(GRU)[9]等。LSTM神經(jīng)網(wǎng)絡是處理時間序列數(shù)據(jù)的一種方法,通過學習歷史數(shù)據(jù),可以找出數(shù)據(jù)之間的關系以及發(fā)現(xiàn)其中的內(nèi)在規(guī)律。

本文將對高壓輸電線路的數(shù)據(jù)傳輸頻帶進行統(tǒng)一，采用融合后的頻帶進行傳輸，收集運行線路上的溫度數(shù)據(jù)，并構建RNN-LSTM網(wǎng)絡提取數(shù)據(jù)特征并做出溫度預測。實驗數(shù)據(jù)表明，這種預測方法準確率高，可為系統(tǒng)后臺管理提供可靠的依據(jù)。

1 寬窄帶融合

由第三地合伙人計劃(The 3rd Generation Partnership Project，3GPP)組織制定的通用移動通信系統(tǒng)技術標準的長期演進的LTE[10](Long Time Evolution)，在數(shù)據(jù)傳輸速度、單次數(shù)據(jù)傳輸量等方面有著顯著的優(yōu)勢，已成為寬帶通信網(wǎng)絡的技術標準。而窄帶網(wǎng)絡的當前技術標準則是數(shù)字移動通信系統(tǒng)[11](Digital Mobile Radio,DMR)，此種通信網(wǎng)絡單次傳輸數(shù)據(jù)量較小，但資源浪費率較低。LTE與DMR在單次數(shù)據(jù)傳輸量、數(shù)據(jù)傳輸速度等方面存在較大差異，可能出現(xiàn)延時、帶寬浪費等問題。

寬帶的通用標準LTE堆棧層面由下到上依次分為物理層(PHY)、數(shù)據(jù)鏈路層(DLL)和網(wǎng)絡層，其中數(shù)據(jù)鏈路層又可以細分為媒體訪問層(MAC)、數(shù)據(jù)鏈路層(RLL)和分組數(shù)據(jù)匯聚協(xié)議層(PDCP)。而窄帶的通用標準DMR，設有呼叫控制層(CCL)、DLL和PHY。窄帶與寬帶相比，層次更少，空口技術[12]差別明顯，物理層對應的加密方式、調(diào)制方式以及鏈路層對應的幀長等數(shù)據(jù)形式都存在明顯不同。結構上的不同導致寬帶與窄帶有很多關鍵技術上的差別。具體差別如表1所示。

表1 LTE與DMR的關鍵技術對比

為此，可在鏈路層和物理層之間加入通用數(shù)據(jù)管理層(General Data Management，GDM)，所有數(shù)據(jù)匯集到這一層，再由通用數(shù)據(jù)管理層對數(shù)據(jù)進行統(tǒng)一的分配，使傳輸數(shù)據(jù)量與融合后的帶寬恰好匹配。融合后的架構圖如圖1所示。

圖1中，來自不同傳感器的數(shù)據(jù)先匯集到GDM，由GDM根據(jù)帶寬大小，將一定量的數(shù)據(jù)平均分配到每個子網(wǎng)絡中進行傳輸。融合后的傳輸速率表示如下：

(1)

(2)

式中，j為接入技術(窄帶或?qū)拵?；i為業(yè)務；Sij為信道轉(zhuǎn)移函數(shù)；Nij為噪聲功率譜密度；bij為采用接入技術j所得的帶寬大?。籔ij為采用接入技術j處理業(yè)務i的發(fā)射功率；βj為系統(tǒng)效率[13]；Ri為香農(nóng)容量。

圖1 寬窄帶融合架構Fig.1 Diagram of wide and narrow band fusion architecture

2 循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)是一種基于序列數(shù)據(jù)的遞歸神經(jīng)網(wǎng)絡，這種網(wǎng)絡包含的循環(huán)結構，可以將上一時刻的數(shù)據(jù)傳遞至下一時刻，并作用于下一時刻。在傳統(tǒng)RNN中，數(shù)據(jù)往往由頂層傳輸至底層，層與層之間的神經(jīng)元以全連接的方式相連。典型RNN的結構與神經(jīng)網(wǎng)絡一樣，由輸入層、隱含層和輸出層組成[14]。而與傳統(tǒng)RNN不同的是，典型RNN的隱藏層的輸出與上一隱藏層的輸出有關，即將先前時刻的信息與當前時刻的任務聯(lián)系到一起，大大提高了數(shù)據(jù)特征的學習能力。典型RNN結構如圖2所示。

在圖2中，A代表循環(huán)體。激活函數(shù)tanh的導數(shù)在(0，1]上，與Relu及Sigmoid等其他激活函數(shù)比，不容易產(chǎn)生梯度消失，因此在構造RNN時，一般選用tanh作為激活函數(shù)。

圖2 RNN結構Fig.2 Structure of RNN

3 長短期記憶神經(jīng)網(wǎng)絡

長短期記憶神經(jīng)網(wǎng)絡(Long Short TimeMemory,LSTM)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡，較一般的循環(huán)神經(jīng)網(wǎng)絡比，LSTM有效地解決了循環(huán)神經(jīng)網(wǎng)絡存在的長期依賴問題。LSTM通過引入自循環(huán)的設計來產(chǎn)生梯度長路徑[15]，每迭代一次，自循環(huán)的權重也隨之改變，通過加入3個門：遺忘門、輸入門及輸出門，這種獨特的結構使得誤差在傳播過程中無需逐層歸因，部分誤差可直接傳遞給下一層網(wǎng)絡，可有效地解決梯度消失這一問題。其基本網(wǎng)絡架構如圖3所示。

圖3 LSTM結構Fig.3 Structure of LSTM

4 新構造網(wǎng)絡

通過對RNN網(wǎng)絡和LSTM網(wǎng)絡的分析，本文提出了一種用于高壓輸電線路溫度預測的RNN-LSTM網(wǎng)絡。與單獨RNN網(wǎng)絡一樣，RNN-LSTM網(wǎng)絡同樣選擇tanh作為激活函數(shù)，確保不產(chǎn)生梯度消失。RNN網(wǎng)絡提取到數(shù)據(jù)特征后，在隱含層有時序性地訓練一定的次數(shù)，t時刻的輸出作為t+1時刻的輸入，再將RNN網(wǎng)絡的輸出作為LSTM網(wǎng)絡的輸入。在LSTM網(wǎng)絡中，通過在三大門限單元中設置不同的權重和偏置，在遺忘門和輸入門分別對數(shù)據(jù)進行篩選和更新的處理后，最后通過輸出門輸出。RNN-LSTM結構如圖4所示。

圖4 RNN-LSTM結構Fig.4 Structure of RNN-LSTM

本文中，RNN及LSTM網(wǎng)絡的相關參數(shù)設置如表2所示。

表2 RNN和LSTM網(wǎng)絡的參數(shù)設置

RNN-LSTM混合網(wǎng)絡模型的算法顯示如下：

輸入：訓練集[Xtrain，Ytrain]，測試集Xtest

步驟：

1.將訓練集中的數(shù)據(jù)平均劃分為5組；

2.提取每組數(shù)據(jù)中的RNN特征[Xitrain,Yitrain]；

3.提取每組數(shù)據(jù)中的LSTM特征[Xitrain,Yitrain]；

4.根據(jù)訓練數(shù)據(jù)，計算下一時刻的溫度值來測試[Xitest,Yitest]；

結束

返回數(shù)據(jù)

輸出：經(jīng)網(wǎng)絡模型訓練后的溫度值

5 數(shù)據(jù)分析

在終端收集寬窄帶融合后傳輸來的數(shù)據(jù)，將數(shù)據(jù)按照線路號碼歸類，保留來自5條不同線路上100天的溫度值，每條線路共14 400個數(shù)據(jù)。各組數(shù)據(jù)的訓練集和測試集大小如表3所示。

表3 各條線路的訓練集與測試集數(shù)據(jù)量

以3#線路為例，將數(shù)據(jù)導入Python軟件，對數(shù)據(jù)進行特征提取，并對線路溫度做出預測，得出如圖5所示的結果。

圖5 3#線路溫度走勢預測Fig.5 No.3 line temperature trend prediction chart

通過構造出的RNN-LSTM網(wǎng)絡對5條線路的數(shù)據(jù)分別訓練50次，運用均方誤差和平均絕對誤差來衡量所構造網(wǎng)絡預測的準確率。RNN-LSTM網(wǎng)絡的預測結果如表4所示。

表4 RNN-LSTM網(wǎng)絡預測準確率評估

本文基于RNN和LSTM網(wǎng)絡，構造了新的RNN-LSTM網(wǎng)絡，在此總結了RNN、LSTM和RNN-LSTM網(wǎng)絡分別應用于數(shù)據(jù)集時的數(shù)據(jù)預測結果。實驗結果表明，運用RNN-LSTM網(wǎng)絡對輸電線路溫度進行預測的準確性最高，同時訓練時間較短。具體數(shù)據(jù)如表5所示。

表5 網(wǎng)絡預測準確率和訓練時間

6 結束語

通過對RNN網(wǎng)絡和LSTM網(wǎng)絡的分析，提出了構造RNN-LSTM網(wǎng)絡來進行溫度預測的方法。該網(wǎng)絡與RNN網(wǎng)絡相比，預測準確率提高了近3%，比LSTM網(wǎng)絡的預測準確率高約5.5%，為提前了解高壓輸電線路上的溫度狀況提供了更可靠的依據(jù)。但該網(wǎng)絡在提高預測準確率的同時，訓練時間也隨之有所增加，構建提高預測準確率也能降低訓練時間的網(wǎng)絡，有待后續(xù)進一步研究。