大數(shù)據(jù)技術(shù)在變電缺陷分析中的應(yīng)用

吳敏

摘 要：現(xiàn)如今，我國(guó)智能電網(wǎng)建設(shè)進(jìn)入全面快速發(fā)展的新階段，在變電網(wǎng)領(lǐng)域，根據(jù)國(guó)家電網(wǎng)公司制定的發(fā)展規(guī)劃要求，在傳統(tǒng)變電站的運(yùn)行模式滿足不了當(dāng)前發(fā)展需求的情況下，智能變電站的應(yīng)用勢(shì)在必行。變電設(shè)備在生產(chǎn)運(yùn)維檢修過(guò)程中，會(huì)產(chǎn)生大量的變電缺陷相關(guān)數(shù)據(jù)。變電設(shè)備類型繁多，運(yùn)行工況各有不同，人工分析缺陷數(shù)據(jù)時(shí)，往往不能形成有效結(jié)論。基于此，本文主要介紹了一種變電設(shè)備缺陷數(shù)據(jù)輔助分析的軟件開發(fā)思路及結(jié)果應(yīng)用，可以通過(guò)從缺陷類型、電壓等級(jí)、生產(chǎn)廠家、運(yùn)行工況等多個(gè)維度進(jìn)行分析，形成有數(shù)據(jù)支撐的分析結(jié)果，用于有效指導(dǎo)下一步檢修工作。

關(guān)鍵詞：變電缺陷;大數(shù)據(jù)分析;應(yīng)用

引言：變電站是在電力系統(tǒng)當(dāng)中對(duì)電壓以及電流進(jìn)行變換并接受電能及分配電能的場(chǎng)所，是電力供應(yīng)的設(shè)施之一，也是電力系統(tǒng)的關(guān)鍵樞紐。由于變電站的運(yùn)行狀況對(duì)整個(gè)電力系統(tǒng)有著極大地影響，變電站的正常運(yùn)行保證了居民用電方面的安全，為生產(chǎn)和生活提供充足電力的同時(shí)，也改善了人們的經(jīng)濟(jì)狀況，一定程度上促進(jìn)了經(jīng)濟(jì)的發(fā)展。

變電設(shè)備種類繁多，發(fā)生的缺陷數(shù)量較多，且類型與表象也多種多樣。以南方電網(wǎng)某地區(qū)級(jí)供電局為例，所轄47個(gè)110kV及以上電壓等級(jí)變電站，每年發(fā)生的缺陷在400～700條之間，平均每月缺陷發(fā)生50～70條左右。數(shù)據(jù)量較大，這對(duì)定期的缺陷分析帶來(lái)很大工作量與問(wèn)題。因此，如何通過(guò)信息技術(shù)手段從海量缺陷文本中發(fā)掘內(nèi)涵知識(shí)并讓其能夠方便快捷地輔助工作，成為核電設(shè)備管理人員和信息化人員的關(guān)注重點(diǎn)。

1變電設(shè)備缺陷數(shù)據(jù)概述

對(duì)變電設(shè)備缺陷分析需要結(jié)合核電廠業(yè)務(wù)及信息化的實(shí)際情況具體問(wèn)題具體分析，設(shè)備缺陷分析主要涉及的數(shù)據(jù)包括主數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，主數(shù)據(jù)主要是以設(shè)備為核心的一系列主數(shù)據(jù)對(duì)象。由于歷史原因，主數(shù)據(jù)存在著多頭管理、標(biāo)準(zhǔn)規(guī)范不齊全、管控流程體系缺失等一系列問(wèn)題，因此需要建立設(shè)備主數(shù)據(jù)相關(guān)的標(biāo)準(zhǔn)規(guī)范，并對(duì)歷史數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，確保在數(shù)據(jù)質(zhì)量上滿足要求。對(duì)于業(yè)務(wù)數(shù)據(jù)，由于現(xiàn)場(chǎng)工作人員的素質(zhì)不一，錄入的數(shù)據(jù)和使用的詞匯并不一定規(guī)范，導(dǎo)致業(yè)務(wù)數(shù)據(jù)在分析時(shí)需要花較多時(shí)間進(jìn)行數(shù)據(jù)清理。如果由業(yè)務(wù)人員開展數(shù)據(jù)清理，需要一定的工作量投入，且該項(xiàng)工作的收益并不能直接體現(xiàn)，很難獲取業(yè)務(wù)人員和管理者的支持，這些都使得通過(guò)技術(shù)手段來(lái)提升數(shù)據(jù)質(zhì)量成為開展大數(shù)據(jù)工作的重要組成部分之一，且不可越過(guò)該項(xiàng)任務(wù)。

2大數(shù)據(jù)技術(shù)在變電設(shè)備缺陷分析上的適用性分析

根據(jù)大數(shù)據(jù)技術(shù)的定義，大數(shù)據(jù)主要體現(xiàn)在數(shù)據(jù)量大、數(shù)據(jù)的種類和來(lái)源眾多、數(shù)據(jù)的價(jià)值密度低、數(shù)據(jù)處理的實(shí)時(shí)性強(qiáng)等特點(diǎn)。而變電站的設(shè)備無(wú)論在種類還是數(shù)量上都具有足夠的量級(jí)，因此在設(shè)備缺陷分析這一應(yīng)用命題下能夠滿足大數(shù)據(jù)特點(diǎn)。設(shè)備缺陷數(shù)據(jù)往往以非結(jié)構(gòu)化語(yǔ)句或者口語(yǔ)化表達(dá)呈現(xiàn)，這種情況下需要引入自然語(yǔ)言分析技術(shù)或者知識(shí)圖譜技術(shù)進(jìn)行文本內(nèi)容的抽取和分析。主要用的技術(shù)包括知識(shí)抽取、知識(shí)清洗、知識(shí)融合、知識(shí)推理、知識(shí)可視化等。

在技術(shù)平臺(tái)層面，變電站通常采用商業(yè)大數(shù)據(jù)技術(shù)平臺(tái)或基于當(dāng)前主流的開源技術(shù)框架進(jìn)行大數(shù)據(jù)平臺(tái)的搭建。一般而言，這類大數(shù)據(jù)系統(tǒng)的構(gòu)成主要包括數(shù)據(jù)的采集及匯聚、數(shù)據(jù)的清理和轉(zhuǎn)化、數(shù)據(jù)的存儲(chǔ)和分析及數(shù)據(jù)的展現(xiàn)和應(yīng)用集成等層面，每一個(gè)層面的組成都可通過(guò)一些開源的技術(shù)組件滿足，在方案的適用性上，往往需要根據(jù)行業(yè)的特點(diǎn)進(jìn)行增強(qiáng)或改善。

3變電設(shè)備缺陷大數(shù)據(jù)分析軟件研究

按照大數(shù)據(jù)分析的一般標(biāo)準(zhǔn)化過(guò)程，從數(shù)據(jù)ETL操作、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘和數(shù)據(jù)可視化四個(gè)方面進(jìn)行邏輯設(shè)計(jì)，采用GO、HTML、JS語(yǔ)言完成前端設(shè)計(jì)、邏輯實(shí)現(xiàn)，最終完成缺陷分析的功能。

3.1數(shù)據(jù)ETL操作

由于基礎(chǔ)數(shù)據(jù)直接來(lái)源于南網(wǎng)資產(chǎn)管理系統(tǒng)的有效數(shù)據(jù)，不再設(shè)計(jì)數(shù)據(jù)抽取及清洗環(huán)節(jié)。轉(zhuǎn)換方面，需要通過(guò)基礎(chǔ)數(shù)據(jù)中的缺陷描述、設(shè)備分類等內(nèi)容，將定級(jí)不規(guī)范、分類不準(zhǔn)確等數(shù)據(jù)不精確的部分加以整理，其中數(shù)據(jù)整理邏輯是本次軟件設(shè)計(jì)重點(diǎn)。加載方面，將整理后的數(shù)據(jù)輸出到整理后數(shù)據(jù)庫(kù)，同時(shí)預(yù)留一個(gè)人工修改數(shù)據(jù)的輸入端口。

3.2統(tǒng)計(jì)分析

用數(shù)學(xué)統(tǒng)計(jì)方法歸納歷史數(shù)據(jù)。按照年、季、月的周期，利用故障樹分析法等分析理論，從電壓等級(jí)、設(shè)備類型、缺陷部位、制造廠家、運(yùn)行年限、缺陷等級(jí)、缺陷原因、缺陷發(fā)現(xiàn)來(lái)源等維度，對(duì)周期內(nèi)缺陷數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

3.3數(shù)據(jù)挖掘

通過(guò)同比、環(huán)比，對(duì)歷史數(shù)據(jù)做深入分析，利用算法找出數(shù)據(jù)中潛在的關(guān)聯(lián)性，對(duì)缺陷發(fā)展趨勢(shì)進(jìn)行一定的預(yù)測(cè)（如家族性缺陷、頻發(fā)性缺陷、按季節(jié)多發(fā)生的缺陷等）。

3.4數(shù)據(jù)可視化

將分析結(jié)果形成多圖表的報(bào)告，呈現(xiàn)給缺陷分析人員。

4變電站設(shè)備缺陷分析中大數(shù)據(jù)技術(shù)應(yīng)用

在數(shù)據(jù)采集和清洗上，考慮到項(xiàng)目的數(shù)據(jù)主要存儲(chǔ)在企業(yè)核心組件（SAPECC）以及Oracle數(shù)據(jù)庫(kù)中，項(xiàng)目采用Kettle作為清洗、轉(zhuǎn)換、加載（ETL）工具，Kettle支持以SAPRFC的方式從企業(yè)資源計(jì)劃系統(tǒng)（SAP）中獲取數(shù)據(jù)，同時(shí)能夠支持ETL的常見數(shù)據(jù)拆分、轉(zhuǎn)換等清洗作用的算子。此外，Kettle還支持使用自定義腳本語(yǔ)言開發(fā)定制算子的方式來(lái)進(jìn)行數(shù)據(jù)的清理，極大地提升了數(shù)據(jù)采集的有效性。

在數(shù)據(jù)存儲(chǔ)上，缺陷數(shù)據(jù)的特點(diǎn)是文本較多，結(jié)構(gòu)化字段較少，因此比較適合用非結(jié)構(gòu)化數(shù)據(jù)庫(kù)存儲(chǔ)。從實(shí)用性角度考慮，使用HBase符合當(dāng)前主流的技術(shù)開發(fā)體系，因此項(xiàng)目上通過(guò)HBase作為存儲(chǔ)，使用缺陷的惟一標(biāo)識(shí)作為HBase中的唯一惟行鍵。

在數(shù)據(jù)計(jì)算和分析上，不可避免地需要選擇計(jì)算框架，這個(gè)場(chǎng)景中使用了Spark作為分析計(jì)算工具，Spark可以通過(guò)另一種資源協(xié)調(diào)者（YARN）調(diào)度計(jì)算資源而不用擔(dān)心任務(wù)的執(zhí)行需要。此外，為了使得Spark支持Python，需要使用PySpark，可以使用Python編程語(yǔ)言中的彈性分布式數(shù)據(jù)集（RDD），PySpark將PythonAPI鏈接到Spark核心并初始化Spark上下文。PySpark可以大規(guī)模地進(jìn)行探索性數(shù)據(jù)分析，構(gòu)建機(jī)器學(xué)習(xí)管道以及為數(shù)據(jù)平臺(tái)創(chuàng)建ETL。

在數(shù)據(jù)服務(wù)應(yīng)用的技術(shù)選型上，采用Flask作為服務(wù)端的實(shí)現(xiàn)。Flask是一個(gè)使用Python編寫的輕量級(jí)Web應(yīng)用框架，其WSGI工具箱采用Werkzeug，模板引擎則使用Jinja2。Flask使用開源軟件協(xié)議授權(quán);Flask使用簡(jiǎn)單的核心，用extension增加其他功能;Flask可以很便捷地提供Restful風(fēng)格的服務(wù)供其他業(yè)務(wù)系統(tǒng)調(diào)用。

5結(jié)束語(yǔ)

隨著智能電網(wǎng)的推進(jìn)，生產(chǎn)中產(chǎn)生的各類缺陷數(shù)據(jù)已成為電力企業(yè)的重要資產(chǎn)。變電設(shè)備缺陷分析是變電企業(yè)在利用大數(shù)據(jù)技術(shù)發(fā)掘現(xiàn)有文本信息資源價(jià)值的重要應(yīng)用領(lǐng)域。通過(guò)對(duì)設(shè)備缺陷分析能夠發(fā)現(xiàn)重復(fù)性出現(xiàn)的設(shè)備故障類型，有助于提升設(shè)備采購(gòu)的質(zhì)量和維修計(jì)劃的針對(duì)性。該項(xiàng)工作不僅適合于變電企業(yè)，對(duì)于整個(gè)行業(yè)均有意義，能夠?yàn)槠髽I(yè)的現(xiàn)代化、數(shù)字化、智能化建立良好的基礎(chǔ)條件。

參考文獻(xiàn)：

[1] 李方軍.基于電力企業(yè)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)治理[J].電子技術(shù)與軟件工程，2019（02）

[2] 崔立真.面向智能電網(wǎng)的電力大數(shù)據(jù)存儲(chǔ)與分析應(yīng)用[J].大數(shù)據(jù)，2017（06）

[3] 茍?bào)懔?基于大數(shù)據(jù)挖掘技術(shù)的輸變電設(shè)備故障診斷方法分析[J].通信電源技 術(shù)，2019（01）

[4] 嚴(yán)浩軍.大數(shù)據(jù)技術(shù)在變電缺陷分析中的應(yīng)用[J].工業(yè)指南，2017（23）

（國(guó)網(wǎng)南平供電公司 ?福建 ?南平 353000）