基于大數(shù)據(jù)平臺(tái)的電網(wǎng)線損分析關(guān)鍵技術(shù)研究

張慶永 閆偉軍 史紹星

：在當(dāng)前的大數(shù)據(jù)時(shí)代下，關(guān)于電網(wǎng)線損的信息數(shù)據(jù)量越來(lái)越多，為了能夠有效提高數(shù)據(jù)處理效率，同時(shí)進(jìn)一步保障電網(wǎng)線損分析的精準(zhǔn)性，可以專(zhuān)門(mén)針對(duì)電網(wǎng)線損分析搭建起相應(yīng)的大數(shù)據(jù)平臺(tái)。而其中所運(yùn)用的各種關(guān)鍵技術(shù)則直接影響著電網(wǎng)線損分析結(jié)果?；诖?，本文將通過(guò)結(jié)合相關(guān)研究資料，著重圍繞基于大數(shù)據(jù)平臺(tái)的電網(wǎng)線損分析關(guān)鍵技術(shù)進(jìn)行簡(jiǎn)要分析研究。

：大數(shù)據(jù)平臺(tái);?電網(wǎng)線損分析;?關(guān)鍵技術(shù);

本文通過(guò)探究基于大數(shù)據(jù)平臺(tái)的電網(wǎng)線損分析關(guān)鍵技術(shù)，可以在幫助人們加深對(duì)大數(shù)據(jù)技術(shù)的理解與認(rèn)知，并為相關(guān)研究人員提供必要理論參考的同時(shí)，也能夠?yàn)槿绾卫么髷?shù)據(jù)平臺(tái)深化落實(shí)電網(wǎng)線損分析，確保分析結(jié)果精準(zhǔn)有效給予相應(yīng)的指導(dǎo)幫助。因此掌握大數(shù)據(jù)平臺(tái)下的電網(wǎng)線損分析關(guān)鍵技術(shù)，也成為優(yōu)化電網(wǎng)線損分析的一大重要前提。

1 大數(shù)據(jù)平臺(tái)下的電網(wǎng)線損分析關(guān)鍵技術(shù)

1.1 大數(shù)據(jù)采集

在電力大數(shù)據(jù)平臺(tái)中，通常將電網(wǎng)企業(yè)目前使用的關(guān)系數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)等作為其主要數(shù)據(jù)來(lái)源。在數(shù)據(jù)傳輸時(shí)，不僅要求在關(guān)系型數(shù)據(jù)庫(kù)、分布式存儲(chǔ)中，數(shù)據(jù)可以根據(jù)自身實(shí)際要求進(jìn)行自由、靈活切換傳輸，同時(shí)也需要確保在眾多數(shù)據(jù)同步傳輸時(shí)，平臺(tái)仍然具有較高的數(shù)據(jù)傳輸效率，各項(xiàng)業(yè)務(wù)系統(tǒng)能夠?qū)崿F(xiàn)正常運(yùn)行?？紤]到在傳統(tǒng)系統(tǒng)當(dāng)中所采用的ETL抽取工具，基本只能簡(jiǎn)單完成同步各數(shù)據(jù)源，如文件與服務(wù)數(shù)據(jù)源的同步等，難以達(dá)到數(shù)據(jù)在關(guān)系數(shù)據(jù)庫(kù)與分布式存儲(chǔ)間的同步。因此需要適時(shí)將大數(shù)據(jù)采集技術(shù)運(yùn)用其中，首先在進(jìn)行數(shù)據(jù)抽取時(shí)，主要利用Sqoop負(fù)責(zé)抽取各系統(tǒng)間的數(shù)據(jù)，在Sqoop的作用下可以直接向Hadoop當(dāng)中的Hive等數(shù)據(jù)存儲(chǔ)組件，導(dǎo)入關(guān)系型數(shù)據(jù)庫(kù)中的各項(xiàng)數(shù)據(jù)，而在此過(guò)程中，Sqoop也可以從Hadoop系統(tǒng)當(dāng)中直接進(jìn)行數(shù)據(jù)抽取，隨后立即將其導(dǎo)入至對(duì)應(yīng)的關(guān)系型數(shù)據(jù)庫(kù)中。在完成數(shù)據(jù)抽取之后，需要對(duì)其進(jìn)行“清洗”，即通過(guò)運(yùn)用數(shù)理統(tǒng)計(jì)與數(shù)據(jù)挖掘等專(zhuān)門(mén)的數(shù)據(jù)清理規(guī)則，對(duì)臟數(shù)據(jù)進(jìn)行轉(zhuǎn)化，是指可以成為與電網(wǎng)線損分析要求相符的數(shù)據(jù)類(lèi)型。最后通過(guò)立足具體電網(wǎng)線損分析要求轉(zhuǎn)換導(dǎo)入其中的業(yè)務(wù)信息即可。例如通過(guò)將原本分散的若干變電設(shè)備信息進(jìn)行統(tǒng)一合并，使之可以集成至同一設(shè)備信息表當(dāng)中。而在數(shù)據(jù)挖掘關(guān)聯(lián)分析或是對(duì)其進(jìn)行離散化處理的過(guò)程中，轉(zhuǎn)換原數(shù)據(jù)使之成為非連續(xù)性字典類(lèi)別，再使用離散化數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)挖掘關(guān)聯(lián)即可。

1.2 大數(shù)據(jù)存儲(chǔ)

為有效存儲(chǔ)大數(shù)據(jù)平臺(tái)中海量的電力數(shù)據(jù)信息，同時(shí)盡可能降低數(shù)據(jù)存儲(chǔ)成本，為數(shù)據(jù)提供多樣化的訪問(wèn)方式，需要相關(guān)工作人員結(jié)合實(shí)際情況，靈活采用適宜的大數(shù)據(jù)存儲(chǔ)技術(shù)。例如當(dāng)前較為常用的大數(shù)據(jù)存儲(chǔ)技術(shù)有可以直接在分散存儲(chǔ)介質(zhì)上進(jìn)行數(shù)據(jù)存儲(chǔ)的HDFS分布式文件系統(tǒng)，該系統(tǒng)對(duì)外提供的所有文件訪問(wèn)接口均完全相同，其存儲(chǔ)介質(zhì)成本低廉并且系統(tǒng)容錯(cuò)性較好。HBase列式存儲(chǔ)數(shù)據(jù)庫(kù)，則主要采用列相關(guān)存儲(chǔ)架負(fù)責(zé)批量完成數(shù)據(jù)存儲(chǔ)與分析處理，同時(shí)支持用戶(hù)隨時(shí)根據(jù)自身需要進(jìn)行數(shù)據(jù)查詢(xún)。本文認(rèn)為在具備電網(wǎng)線損精準(zhǔn)分析功能的電力大數(shù)據(jù)平臺(tái)中，針對(duì)其中存在的各種信息數(shù)據(jù)如用戶(hù)用電信息、開(kāi)關(guān)運(yùn)行數(shù)據(jù)等，可以直接利用HDFS分布式文件系統(tǒng)對(duì)其進(jìn)行臨時(shí)存儲(chǔ)，在后期數(shù)據(jù)處理程序執(zhí)行分布式離線計(jì)算任務(wù)時(shí)，即可從分布式存儲(chǔ)中直接調(diào)取其需要使用的相關(guān)數(shù)據(jù)即可。

1.3 大數(shù)據(jù)分析

基于大數(shù)據(jù)平臺(tái)的電網(wǎng)線損分析當(dāng)中，另一項(xiàng)至關(guān)重要的關(guān)鍵技術(shù)便是大數(shù)據(jù)分析技術(shù)，其直接影響著最終電網(wǎng)線損分析結(jié)果的有效性和精準(zhǔn)性。雖然目前用于大數(shù)據(jù)分析的技術(shù)眾多，包括分布式與內(nèi)存計(jì)算技術(shù)等等，但為了有效提高海量信息數(shù)據(jù)的分析與處理效率，本文認(rèn)為電力數(shù)據(jù)平臺(tái)可以直接采用Hadoop離線分布式計(jì)算技術(shù)，代替?zhèn)鹘y(tǒng)的多次循環(huán)迭代算法，一次性完成所有電網(wǎng)線損相關(guān)數(shù)據(jù)的集中整理和深入分析。針對(duì)在分布式電網(wǎng)設(shè)備拓?fù)潢P(guān)聯(lián)分析等當(dāng)中，需要使用進(jìn)行兩次以上數(shù)據(jù)全量掃描的算法，則可以直接選擇使用Spark內(nèi)存計(jì)算技術(shù)。具體來(lái)說(shuō)，大數(shù)據(jù)平臺(tái)主要先通過(guò)運(yùn)用聚類(lèi)或關(guān)聯(lián)分析等數(shù)據(jù)分析挖掘技術(shù)，對(duì)存在異常線損率的電力線路與臺(tái)區(qū)進(jìn)行精準(zhǔn)識(shí)別，而后利用電網(wǎng)拓?fù)鋽?shù)據(jù)構(gòu)建相應(yīng)的電網(wǎng)拓?fù)浞治瞿Ｐ?，并以此為基礎(chǔ)立足電網(wǎng)線損分析要求，建立起電網(wǎng)線損分析模型。

2 大數(shù)據(jù)平臺(tái)下的電網(wǎng)線損分析應(yīng)用實(shí)踐

2.1 系統(tǒng)性能

以某省目前使用的大數(shù)據(jù)平臺(tái)電網(wǎng)線損分析系統(tǒng)為例，該系統(tǒng)將該省電網(wǎng)營(yíng)配調(diào)各系統(tǒng)數(shù)據(jù)作為接入數(shù)據(jù)，將省內(nèi)全部能量節(jié)點(diǎn)2年時(shí)間歷史數(shù)據(jù)接入其中，系統(tǒng)的數(shù)據(jù)存儲(chǔ)容量可以達(dá)到12TB，此后每日系統(tǒng)數(shù)據(jù)量還將保持16GB的增長(zhǎng)速度。在進(jìn)行電網(wǎng)線損分析中，系統(tǒng)使用了Hadoop/Spark服務(wù)器集群作為大數(shù)據(jù)平臺(tái)數(shù)據(jù)庫(kù)，以此有效完成負(fù)載均衡。在該集群當(dāng)中設(shè)置了一臺(tái)Master節(jié)點(diǎn)，同時(shí)采用1：3的冗余比共計(jì)設(shè)置5臺(tái)Slave節(jié)點(diǎn)。根據(jù)相關(guān)系統(tǒng)測(cè)試數(shù)據(jù)可知，在讀取數(shù)據(jù)庫(kù)規(guī)模由原本的1億條，增長(zhǎng)至8億條時(shí)，Hadoop平臺(tái)每一秒可以讀取大約10萬(wàn)條數(shù)據(jù)，其每秒寫(xiě)入的數(shù)據(jù)條數(shù)也基本可以達(dá)到4萬(wàn)條。人體參加計(jì)算的數(shù)據(jù)規(guī)模，由原本的1000萬(wàn)條增至2.5億條時(shí)，在運(yùn)用Hadoop平臺(tái)時(shí)，計(jì)算耗時(shí)增速較為緩慢。一般在數(shù)量級(jí)達(dá)到100萬(wàn)時(shí)，其計(jì)算耗時(shí)在100s左右，而當(dāng)數(shù)量級(jí)增長(zhǎng)至250萬(wàn)時(shí)，計(jì)算耗時(shí)也基本控制在150s左右。在Hadoop平臺(tái)節(jié)點(diǎn)，由原本的4個(gè)增至6個(gè)時(shí)，計(jì)算時(shí)間還會(huì)出現(xiàn)明顯縮短的變化趨勢(shì)。

2.2 應(yīng)用成效

整體來(lái)看，該省級(jí)大數(shù)據(jù)平臺(tái)電網(wǎng)線損分析系統(tǒng)在實(shí)際運(yùn)行過(guò)程中，通過(guò)靈活運(yùn)用各種大數(shù)據(jù)關(guān)鍵技術(shù)，不僅能夠精準(zhǔn)識(shí)別線損的具體構(gòu)成與出現(xiàn)線損異常情況的區(qū)域與元件，直接展示出線損出現(xiàn)的原因，同時(shí)在利用電網(wǎng)網(wǎng)架數(shù)據(jù)并對(duì)其進(jìn)行深入挖掘分析下，可以為相關(guān)工作人員解決電網(wǎng)線損問(wèn)題提供真實(shí)可靠的數(shù)據(jù)支持與參考依據(jù)。在積極將GIS地理信息系統(tǒng)引入其中下，電網(wǎng)企業(yè)管理人員也能夠隨時(shí)了解其轄區(qū)范圍內(nèi)的用電量與具體線損情況。例如根據(jù)系統(tǒng)給出的相關(guān)數(shù)據(jù)可知，在電壓等級(jí)為220k V時(shí)，其線損率約為1.03%，而在電壓等級(jí)為110k V時(shí)，分析得到的線損率為1.13%。在電壓等級(jí)為35k V時(shí)，對(duì)應(yīng)的電網(wǎng)線損率約為2.6%。此外，系統(tǒng)還以圖表的形式直觀清晰地向工作人員展示其分析的臺(tái)區(qū)線損率異常原因，工作人員可直觀了解到，缺采數(shù)、電網(wǎng)線路老化以及電網(wǎng)線路長(zhǎng)時(shí)間超負(fù)荷運(yùn)行是導(dǎo)致臺(tái)區(qū)線損率出現(xiàn)異常的最主要原因。在根據(jù)GIS地圖信息顯示的具體線損異常區(qū)域下，工作人員可以及時(shí)、有針對(duì)地處理該區(qū)域中的線損異常問(wèn)題。

總而言之，在基于大數(shù)據(jù)平臺(tái)的電網(wǎng)線損分析中，大數(shù)據(jù)采集和存儲(chǔ)技術(shù)、大數(shù)據(jù)分析與數(shù)據(jù)安全技術(shù)等，均為提高電網(wǎng)線損分析的有效性和精準(zhǔn)性發(fā)揮了至關(guān)重要的幫助作用。因此工作人員在實(shí)際構(gòu)建大數(shù)據(jù)平臺(tái)下的電網(wǎng)線損分析系統(tǒng)中，還需要積極運(yùn)用各項(xiàng)相關(guān)關(guān)鍵技術(shù)，以此充分發(fā)揮系統(tǒng)應(yīng)有效用，切實(shí)解決電網(wǎng)線損問(wèn)題。

[1]李端超，王松，黃太貴，等.基于大數(shù)據(jù)平臺(tái)的電網(wǎng)線損與竊電預(yù)警分析關(guān)鍵技術(shù)[J].電力系統(tǒng)保護(hù)與控制，2018，46 （5） ：143-151.

[2]吳飛，付婷，陳倩，等.基于電網(wǎng)大數(shù)據(jù)的線損精細(xì)化分析的研究[J].現(xiàn)代信息科技，2018，2 （1） ：63-64.

[3]孫立華.基于Hadoop技術(shù)的電網(wǎng)線損分析系統(tǒng)研究與實(shí)現(xiàn)[D].南京：東南大學(xué)，2017.