基于大數(shù)據(jù)的設備故障診斷分析

何 彪

(一汽-大眾汽車有限公司佛山分公司，廣東 佛山 528200)

電網(wǎng)調控一體化向智能方向發(fā)展下，電力監(jiān)測系統(tǒng)的結構越來越多樣化。狀態(tài)監(jiān)測數(shù)據(jù)的復雜性使得電力系統(tǒng)的故障監(jiān)測難度增大、效率降低，這對極端天氣狀況下的井噴式報警數(shù)據(jù)的處理提出了挑戰(zhàn)。另一方面，電網(wǎng)系統(tǒng)對數(shù)據(jù)的實時性要求很高，這對數(shù)據(jù)處理系統(tǒng)的計算能力提出了更高的要求[1-3]。隨著大數(shù)據(jù)處理技術的高速發(fā)展，并行分布式處理算法相比于傳統(tǒng)簡單的串行計算方法，能為數(shù)據(jù)計算能力的提升帶來更大的幫助，而流處理平臺可以極大地提高數(shù)據(jù)質量的實時性[4-5]。大數(shù)據(jù)技術用于電力設備的故障診斷不僅是電網(wǎng)企業(yè)智能化管理的發(fā)展方向之一，還為電網(wǎng)企業(yè)的業(yè)務拓展增值提供了條件[6-8]。本文針對突發(fā)情況下電網(wǎng)系統(tǒng)大量實時數(shù)據(jù)處理困難的問題，提出了基于Spark大數(shù)據(jù)計算平臺的Xgboost算法模型，對電力設備的實時故障診斷進行研究。

1 變壓器設備故障診斷

表1 不同類型變壓器故障產生的氣體

行狀態(tài)的判斷依據(jù)[13]。

2 基于大數(shù)據(jù)的設備故障診斷模型構建

2.1 Spark大數(shù)據(jù)計算框架

Apache Spark是利用內存進行計算的大數(shù)據(jù)計算框架[5]。除此之外，Spark計算框架以MapReduce進行迭代計算，大大地提升了運算效率[3]。圖1所示的Spark體系架構主要包括數(shù)據(jù)源、資源管理模式和豐富的API開源工具，并且支持多種數(shù)據(jù)來源，以及Java、 Scala和 Python 3種語言。這種設置增加了Spark的易學性，縮短了開發(fā)周期。

圖1 Spark體系架構

在Spark框架中，彈性分布式數(shù)據(jù)集(resilient distributed dataset，RDD)是計算和存儲數(shù)據(jù)的關鍵。對RDD的處理操作有Action和TransFromation兩種類型，其中TransFromation用于轉換RDD，Action用于后續(xù)操作。圖2所示為Spark數(shù)據(jù)處理流程，在進行數(shù)據(jù)操作前，需要將RDD讀入轉換。Spark創(chuàng)建的兩類RDD處理算子中，TransFroma-tion算子可分為key-value和value兩類；Action算子包括collect算子、count算子和saveAsTextFile算子。

圖2 Spark數(shù)據(jù)處理流程

2.2 基于Spark的隨機森林變壓器故障診斷模型

決策樹分類器通過計算信息增益選擇最佳分裂屬性，其在實際應用中，存在數(shù)據(jù)預處理能力較差、數(shù)據(jù)處理過擬合等問題。

隨機森林分類器首先對訓練數(shù)據(jù)集進行隨機抽樣，然后通過組合分類器進行子數(shù)據(jù)集決策樹的訓練，最后以投票的方式確定分類訓練的結果。傳統(tǒng)隨機森林雖然由很多弱分類器組合而成，但是非分布式平臺不能體現(xiàn)出它的可并行性?；赟park并行框架的隨機森林，在數(shù)據(jù)儲存方式上進行分布式設計，對傳統(tǒng)隨機森林的缺點進行一定程度的改善。通過對原始數(shù)據(jù)集隨機抽樣，可以保證決策樹構建的隨機性和獨立性，也使得隨機森林可以并行計算。

（2）若有空，則提示用戶輸入完整；若均已輸入，則系統(tǒng)檢驗該用戶名和密碼是否已被注冊，即遍歷用戶表查詢是否有相同信息，若有相同記錄則提示用戶登錄成功，否則輸出相應結果，即用戶名、密碼不存在，跳轉至菜單界面。

原始的電力系統(tǒng)故障數(shù)據(jù)具有連續(xù)性的特點，這不利于模型后續(xù)的數(shù)據(jù)分類操作。本文采用三比值法對數(shù)據(jù)進行離散化處理，并以《變壓器油中溶解氣體分析和判斷導則(DL/T 722—2014)》作為判斷標準。圖3為基于Spark框架的隨機森林并行設計。在Spark集群上，首先采用三比值法對DGA數(shù)據(jù)進行離散化處理，并將處理后的數(shù)據(jù)作為初始輸入，對決策樹進行訓練；其次采用Boosttrap進行隨機抽樣；再次根據(jù)子數(shù)據(jù)集構建并行的子決策樹；最后進行測試集的分類處理。

圖3 基于Spark框架的隨機森林并行設計

圖4為對測試集進行故障診斷的過程。結合2.1節(jié)可知，基于Spark的隨機森林變壓器故障診斷模型包括兩個部分：一是對測試集的數(shù)據(jù)處理，二是對算法訓練數(shù)據(jù)集的數(shù)據(jù)訓練。在這里需要注意，對原始DGA數(shù)據(jù)應采用三比值法進行預處理，并將處理后的數(shù)據(jù)作為輸入數(shù)據(jù)讀入RDD，以TransFromation算子進行數(shù)據(jù)轉換處理。在隨機森林的決策樹集群構建完成后，根據(jù)訓練數(shù)據(jù)集，對測試數(shù)據(jù)集進行分類處理。在數(shù)據(jù)量大的情況下，可以利用Spark框架的并行化優(yōu)勢，對數(shù)據(jù)集進行離散化處理。測試數(shù)據(jù)集的分類結果投票也可以采用并行方式進行。在每個測試集的投票結果完成后，對所有的投票結果進行全局統(tǒng)計。

圖4 測試數(shù)據(jù)集并行變壓器故障診斷

2.3 基于Spark的Xgboost故障診斷模型

Xgboost算法是基于GBDT(gradient boosting decision tree)算法和AdaBoost算法演化而來的提升算法。在這一算法中，參數(shù)、模型和目標函數(shù)三者為機器學習算法的過程，權重組合和基函數(shù)為模型，模型中的未知變量表示為參數(shù)。Xgboost算法的參數(shù)類型分為學習任務參數(shù)、通用類參數(shù)和Booster參數(shù)，其中Booster參數(shù)可以設置為線型模型或樹型模型。本文以模型預測穩(wěn)定性和準確率作為構建模型的評價指標，因此優(yōu)化模型可以通過提高模型穩(wěn)定性或者準確率實現(xiàn)。模型的目標函數(shù)obj(θ)可由式(1)表示。

obj(θ)=L(θ)+O(θ)

(1)

式中：L(θ)為誤差損失函數(shù)；O(θ)為模型復雜度函數(shù)。模型優(yōu)化的最終目的就是使得誤差懲罰項和誤差損失函數(shù)達到最小。Xgboost算法是一種增強學習和并行算法，由許多的弱分類器組成。在電力故障診斷分類中，以回歸樹作為其基分類器，每一次疊加的模型為擬合上一次模型后產生的殘差，因此決策樹模型從算法模型上解釋是一種假發(fā)模型，如式(2)所示。

(2)

式中：fM(x)為基函數(shù)；T為決策樹；x為輸入屬性特征；θm為決策樹路徑，其中m為弱分類器數(shù)量，即迭代次數(shù)；M為總迭代次數(shù)；T(x,θm)為第m輪的模型預測值。誤差損失函數(shù)代表模型預測值和真實值之間的差異，如式(3)所示。

L(y,y)=L(y,fm-1(x))+T(x,θm)

(3)

式中：L(y,y)為誤差損失函數(shù)，其中y為模型預測值；L(y,fm-1(x))為第(m-1)輪預測結果和真實值之間的誤差損失函數(shù)。

利用葉子節(jié)點的權值和數(shù)目正則化表示模型復雜度函數(shù)，如式(4)所示。

(4)

式中：φ(θ)為模型復雜度；γ為復雜度系數(shù)；T1為樹中葉子節(jié)點數(shù)量；λ為懲罰項參數(shù)；W為每個葉子節(jié)點的權值。由綜合模型復雜度函數(shù)和誤差損失函數(shù)，可以得到目標函數(shù)如下：

(5)

式中：l(yt,yi)為第i個樣本的預測誤差，其中yt為樣本的估計值，yi為樣本的真實值。

通過引入梯度下降公式可以求解分類器目標函數(shù)的最優(yōu)解，在梯度下降的優(yōu)化下可確定樹的每個節(jié)點權重和各個子節(jié)點。然而Xgboost算法是由眾多弱分類器組成的組合分類器算法，梯度下降法優(yōu)化就顯得非常繁瑣復雜。此時利用泰勒二階展開的方法，可以讓Xgboost算法具有普適性。目標函數(shù)加入泰勒二階展開后用式(6)表示。

(6)

(7)

結合上述定義，目標函數(shù)可以用式(8)表示。

(8)

式中：ft(xi)為決策樹模型的一個子模型；Ω(ft)為正則項，可用于控制訓練樹模型復雜度。

在Xgboost算法中，將樹進行公式化定義，則樹可以用式(9)表示。

ft(x)=ωq(x),ω∈RT1,q∶Rd→{1,2,…,T1}

(9)

式中：ω為葉子的權值；q為樹的結構。定義樹的復雜度函數(shù)以式(10)表示。

(10)

(11)

式中：Ij為所有回歸樹模型構建的函數(shù)空間；q(xi)為特征向量xi映射至決策樹葉子節(jié)點索引的函數(shù)；Gj為存在節(jié)點j的樣本的一階偏導數(shù)和；Hj為存在節(jié)點j的樣本的二階偏導數(shù)和。

根據(jù)定義，可以得到目標函數(shù)的表達式：

(12)

根據(jù)求根公式可得：

(13)

在選擇分裂節(jié)點時，需要建立一顆空樹。以所有的葉子節(jié)點作為需要嘗試分裂的分裂點，將分裂點代入，則目標函數(shù)可以表達如下：

(14)

式中：Gain為增加新分裂點之后的目標函數(shù)；GL為左子樹樣本的一階偏導數(shù)和；GR為右子樹樣本的一階偏導數(shù)和；HL為左子樹樣本的二階偏導數(shù)和；HR為右子樹樣本的二階偏導數(shù)和。

與其他算法相比，Xgboost算法有以下幾點優(yōu)勢：1)Xgboost算法對于樹型和線型分類器模型均具有良好的適應性，在合適的參數(shù)配置和設置調節(jié)下，Xgboost算法可以有效避免過擬合情況發(fā)生；2)Xgboost算法有自己的數(shù)據(jù)預處理結構，在訓練開始前，通過數(shù)據(jù)舉證DMatrix進行處理，可以大幅度提高迭代效率；3)Xgboost算法中的正則化項可以防止模型復雜化，同樣可以預防過擬合情況發(fā)生；4)Xgboost算法可以進行缺失數(shù)據(jù)的自行處理，同時保證分裂節(jié)點的恰當選擇；5)Xgboost算法在數(shù)據(jù)預處理前會進行數(shù)據(jù)的預排序處理，這一步驟極大地提高了后期數(shù)據(jù)迭代處理的計算效率。這些優(yōu)勢使得Xgboost算法模型在各個領域得到了應用，并且展現(xiàn)出出色的數(shù)據(jù)處理效果，在電力設備的故障診斷分析中，三比值法的離散化處理，使得Xgboost算法模型取得了更好的分類效果。

3 變壓器故障診斷模型驗證及結果分析

模型的好壞由模型的有效性決定。本文以Iris鳶尾花數(shù)據(jù)集和DGA數(shù)據(jù)集為例，采用三比值法對數(shù)據(jù)進行離散化處理，以此對基于Spark的Xgboost 算法變壓器故障診斷模型進行性能驗證。驗證實驗分為兩個部分：第一部分通過對Xgboost 算法和隨機森林算法的數(shù)據(jù)集處理準確率對比，驗證Xgboost 算法的優(yōu)越性；第二部分將Xgboost 算法在Spark和Hadoop兩種計算框架下的運算速度進行對比，以此驗證Spark框架的有效性。

Iris鳶尾花數(shù)據(jù)集由3個類別的花型構成，每個類型有50個花蕊數(shù)據(jù)，3種花型共150個花蕊數(shù)據(jù)。鳶尾花數(shù)據(jù)集是測試分類模型分類性能的國際通用標準數(shù)據(jù)集，以花瓣和花萼的長度和寬度為依據(jù)，可以將這些花分為4種不同的屬性。DGA數(shù)據(jù)總共分為7種化合物類型，通過三比值法對故障數(shù)據(jù)的預處理，去除了一氧化碳和二氧化碳這兩種氣體，剩下的數(shù)據(jù)中選擇500條數(shù)據(jù)作為此次實驗的變壓器故障數(shù)據(jù)，分別包含1種征程類型和5種故障類型。在本文的模型驗證實驗中，采用4∶6的比例分配測試集和訓練集。

圖5為Xgboost算法和隨機森林算法的數(shù)據(jù)集處理準確率統(tǒng)計結果，可以發(fā)現(xiàn)，模型分類的準確率與決策樹的數(shù)量呈正相關；隨著決策樹的增加，模型分類準確率逐漸穩(wěn)定。在保證決策樹數(shù)量的情況下，隨機森林算法對鳶尾花數(shù)據(jù)集的分類準確率達到了98%，對DGA數(shù)據(jù)集的分類準確率達到了87%；Xgboost 算法對鳶尾花數(shù)據(jù)集的分類準確率達到了99%，對DGA數(shù)據(jù)集的分類準確率達到了92%。從實驗結果可以發(fā)現(xiàn)，Xgboost算法的分類效果明顯優(yōu)于隨機森林算法的分類效果。

圖5 Xgboost算法和隨機森林算法的數(shù)據(jù)集處理準確率

本文以DGA數(shù)據(jù)作為實驗對象，并將數(shù)據(jù)放大10 000倍。將Xgboost算法在Spark和Hadoop兩種計算框架上運行，圖6為其在兩種框架上的運算速度統(tǒng)計結果。觀察圖中結果可以發(fā)現(xiàn)，一方面，Xgboost算法在并行分布式計算框架下的運行速度隨著節(jié)點數(shù)量的增加而增加，當達到一定節(jié)點數(shù)量后，運行速度保持穩(wěn)定；另一方面，相比于Hadoop分布式計算框架，Spark的優(yōu)勢隨著集群規(guī)模的增加而增加；當運行速度穩(wěn)定后可以發(fā)現(xiàn)，Spark的運算速度是Hadoop的40倍以上。

圖6 Xgboost在Spark和Hadoop兩種計算框架上的運算速度對比

4 結束語

在面對突發(fā)極端天氣的情況下，電網(wǎng)系統(tǒng)面臨著海量數(shù)據(jù)的沖擊。其中故障數(shù)據(jù)在電網(wǎng)數(shù)據(jù)中價值密度低，但它們直接關系著電力系統(tǒng)能否穩(wěn)定運行。通過性能驗證實驗發(fā)現(xiàn)，本文構建的基于Spark框架的Xgboost設備故障診斷模型具有極高的準確性和運行效率，為電力系統(tǒng)故障診斷的平臺開發(fā)奠定了理論基礎。但本文研究尚存些許不足，例如在對模型進行對比驗證時只用到了隨機森林和Xgboost算法，后續(xù)將從更多的角度，對本文所提算法模型做深入研究。