試述智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)

陳澤鑫

隨著科學(xué)與電力技術(shù)的推動與發(fā)展，人們對于電力資源的需求越來越高，娛樂、教育、交通等各行各業(yè)對電力需求高，智能電網(wǎng)作為新型電力技術(shù)手段，同時也要保證在經(jīng)濟(jì)、安全的同時，降低輸電環(huán)節(jié)的風(fēng)險(xiǎn)。在電力的運(yùn)輸過程中系統(tǒng)將產(chǎn)生海量的電力數(shù)據(jù)。隨著大數(shù)據(jù)技術(shù)的興起，這些電力數(shù)據(jù)將被應(yīng)用于電力系統(tǒng)的數(shù)據(jù)挖掘分析，以便更好的應(yīng)對智能電網(wǎng)在現(xiàn)實(shí)中遇到的各種難題。本文主要對現(xiàn)智能電網(wǎng)建設(shè)的技術(shù)現(xiàn)狀與技術(shù)挑戰(zhàn)進(jìn)行試述。

智能電網(wǎng)、大數(shù)據(jù)處理技術(shù)、現(xiàn)狀、挑戰(zhàn)

隨著科技的進(jìn)步與發(fā)展，如今每家每戶都安裝上了智能電表，作為智能電網(wǎng)中高效、便捷、安全管理終端，智能電表為電力公司與用戶建立起信息傳輸?shù)臉蛄?，而在智能電表的?shí)際運(yùn)用過程中將不斷的產(chǎn)生TB級甚至更多的離散大數(shù)據(jù)，這些數(shù)據(jù)來源不統(tǒng)一，分布較散，來自不同部門的數(shù)據(jù)又具有一定的相似性，可聚類，同時也能直觀的反映出目前城市的社會經(jīng)濟(jì)水平，說到底，智慧電力與每一位城市用戶生活息息相關(guān)，并且具有內(nèi)在聯(lián)系。

?

大數(shù)據(jù)技術(shù)的興起帶領(lǐng)著傳統(tǒng)行業(yè)邁上了智能化的步伐，如今，大數(shù)據(jù)技術(shù)已被應(yīng)用于零售、傳統(tǒng)媒體、交通、安防等各行各業(yè)。在此基礎(chǔ)上，智能電網(wǎng)大數(shù)據(jù)技術(shù)得到了廣泛的應(yīng)用，其中智能電表作為智能電網(wǎng)中的數(shù)據(jù)指導(dǎo)，依靠著先進(jìn)的傳感技術(shù)與實(shí)時在線檢測技術(shù)走進(jìn)家家戶戶，方便電力數(shù)據(jù)收集，智能電網(wǎng)中的大數(shù)據(jù)具備以下幾項(xiàng)特點(diǎn)：

分布廣泛且數(shù)據(jù)量大。智能電網(wǎng)大數(shù)據(jù)處理技術(shù)面對的首要問題就是數(shù)據(jù)規(guī)模龐大，隨著我國供電網(wǎng)絡(luò)的持續(xù)發(fā)展，各個網(wǎng)絡(luò)分配節(jié)點(diǎn)與負(fù)荷節(jié)點(diǎn)與日俱增，同時供電網(wǎng)絡(luò)與各負(fù)荷節(jié)點(diǎn)又相互影響制約著，這表明整個電網(wǎng)的數(shù)據(jù)量正在大規(guī)模增長，與之對應(yīng)的，數(shù)據(jù)處理與存儲的工作量也在加大。

類型眾多且處理速度快。智能電網(wǎng)數(shù)據(jù)類型結(jié)構(gòu)復(fù)雜且類型繁多，涵蓋了結(jié)構(gòu)化、非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)，且不同類型的數(shù)據(jù)，采樣的頻率和要求的性能指標(biāo)也是不一樣的。例如，設(shè)備終端的運(yùn)行狀態(tài)檢測數(shù)據(jù)中的絕緣放電數(shù)據(jù)，其查詢頻率要大于上百kHz或者GHz，而普通的數(shù)據(jù)采樣頻率只需半小時一次即可。速度快表現(xiàn)在智能電網(wǎng)的對數(shù)據(jù)的處理要求必須要達(dá)到毫秒級的響應(yīng)，超短時間內(nèi)完成對海量數(shù)據(jù)的分析能力，并且提供決策輔助。這與傳統(tǒng)的數(shù)據(jù)挖掘分析不同，對實(shí)時性、在線的數(shù)據(jù)流分析要求較高。

?

在進(jìn)行大數(shù)據(jù)分析前，數(shù)據(jù)如何傳輸進(jìn)入存儲介質(zhì)中是一個重要的問題，且存儲后的數(shù)據(jù)需完整準(zhǔn)確。針對要處理的智能電網(wǎng)大數(shù)據(jù)進(jìn)行分布式存儲，并對數(shù)據(jù)文件系統(tǒng)的命名空間進(jìn)行管理，主要涉及三大塊，分別是數(shù)據(jù)源、存儲地址、存儲空間。如圖 1所示：

圖 1智能電網(wǎng)電數(shù)據(jù)的存儲

首先源數(shù)據(jù)進(jìn)行預(yù)處理，簡單地說就是篩選并歸類，分為結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，將不同類型、不同格式的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化操作，將規(guī)范化的元數(shù)據(jù)以XML文檔格式存儲到Master節(jié)點(diǎn)。之后，利用VM-Ware等虛擬化技術(shù)對具有多源異構(gòu)特點(diǎn)的數(shù)據(jù)進(jìn)行自動過濾，最終以負(fù)載均衡的方式對相關(guān)的數(shù)據(jù)存儲資源進(jìn)行動態(tài)分配，對資源調(diào)度進(jìn)行統(tǒng)一管理，內(nèi)部優(yōu)化資源的管控，外部處理需求的響應(yīng)。

針對元數(shù)據(jù)則采用中間件對各類元數(shù)據(jù)進(jìn)行分類，并重新整合，在管理效果方面，對元數(shù)據(jù)資源存儲庫進(jìn)行了配置更新，新增“增、刪、查、關(guān)聯(lián)”等多個從屬模塊，使得系統(tǒng)運(yùn)行更加穩(wěn)定，在智能電網(wǎng)中可采用No?SQL技術(shù)進(jìn)行分布式的數(shù)據(jù)存儲，進(jìn)而緩解了電網(wǎng)中海量數(shù)據(jù)的存儲壓力。

?

近年來，云計(jì)算已經(jīng)成為各大互聯(lián)網(wǎng)公司研究的熱點(diǎn)對象，屬于分布式計(jì)算的一種，通過利用網(wǎng)絡(luò)云將龐大的數(shù)據(jù)計(jì)算工程分割成數(shù)以萬計(jì)的輕量級計(jì)算，接著通過服務(wù)器集群對分割后的計(jì)算程序進(jìn)行處理并將結(jié)果返回給客戶?，F(xiàn)階段來說，云計(jì)算又不單單是簡單的分布式計(jì)算了，它已然結(jié)合了分布式、并行計(jì)算、虛擬化等混合技術(shù)，達(dá)到強(qiáng)大的網(wǎng)絡(luò)服務(wù)的目的。

?

在使用該項(xiàng)技術(shù)的前要先對龐大且復(fù)雜的電網(wǎng)數(shù)據(jù)做好數(shù)據(jù)預(yù)處理的事宜，主要工作包括數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)格式轉(zhuǎn)化、數(shù)據(jù)去噪等操作，即利用云計(jì)算中的集成管理技術(shù)對數(shù)據(jù)進(jìn)行抽取，并對所有數(shù)據(jù)信息進(jìn)行融合、聚類等操作，待資源存儲庫中的數(shù)據(jù)全部處理完成后，統(tǒng)一對處理后的數(shù)據(jù)結(jié)果進(jìn)行保存。使用此技術(shù)的同時，應(yīng)注意在對數(shù)據(jù)進(jìn)行統(tǒng)一融合前需要對原始數(shù)據(jù)進(jìn)行預(yù)處理，保證數(shù)據(jù)的高質(zhì)量、完整性、準(zhǔn)確性，無其他問題后可進(jìn)行下一步處理操作。

?

在利用云計(jì)算技術(shù)對電網(wǎng)大數(shù)據(jù)進(jìn)行分析時，需要轉(zhuǎn)換成特定的格式，變成能夠有效地被云計(jì)算表達(dá)的消息，而這些信息將被用來供領(lǐng)導(dǎo)審閱以便做出上層決策，有些信息甚至可以反映電網(wǎng)在運(yùn)行過程中存在的潛在的問題，如果此類信息能夠被表示出來，則工作人員可迅速做出應(yīng)對。此項(xiàng)技術(shù)就是要在離散的、隨機(jī)的、大量的電網(wǎng)數(shù)據(jù)中，分析得出具備一定規(guī)律性的內(nèi)容，這些內(nèi)容往往與電網(wǎng)運(yùn)行的狀態(tài)、模式有著密切的關(guān)系，工作人員研讀這些消息表達(dá)式，可有效地開展電網(wǎng)管理工作。目前，在應(yīng)用云計(jì)算處理電網(wǎng)大數(shù)據(jù)的同時，需要加強(qiáng)對消息轉(zhuǎn)化過程所用到的數(shù)據(jù)挖掘方法，包括聚類，關(guān)聯(lián)性分析法則等，進(jìn)而對現(xiàn)有的常規(guī)方法進(jìn)行合理的完善，在保證節(jié)約企業(yè)成本的前提下，開展云計(jì)算的大數(shù)據(jù)處理技術(shù)的研究。

?

基于云計(jì)算的電力大數(shù)據(jù)架構(gòu)如圖 2所示，架構(gòu)主要包含五大模塊，如下：

HDFS模塊。作為整個架構(gòu)的核心部分，此模塊用于對智能電網(wǎng)大數(shù)據(jù)進(jìn)行持久化的存儲它能夠在集群中可靠的存儲大量的數(shù)據(jù)文件，所有存儲于HDFS的文件均已塊形式存在，每個數(shù)據(jù)塊都會配有3個副本文件，當(dāng)其中一個副本出現(xiàn)故障時，系統(tǒng)將會自動訪問另外的塊，以此來保持負(fù)載均衡。

Hadoop模塊。它是開源的并行編程框架，可以把單獨(dú)的應(yīng)用程序劃分成分多并行計(jì)算指令，在它上面可以運(yùn)行龐大的計(jì)算指令，通過鍵值對應(yīng)的形式先產(chǎn)生一組中間結(jié)果后，再對鍵值相同的的組別進(jìn)行處理，最后將結(jié)果寫入HDFS模塊。

Hive模塊。作為Hadoop的數(shù)據(jù)倉庫，此模塊用來對大數(shù)據(jù)進(jìn)行邏輯操作，既然是數(shù)據(jù)庫系統(tǒng)，它可以使用類似于SQL的語法來進(jìn)行數(shù)據(jù)庫關(guān)聯(lián)性操作，并將操作結(jié)果存儲至HDFS模塊中。

任務(wù)管理模塊。任務(wù)管理模塊主要分為監(jiān)控與運(yùn)行調(diào)度，前者主要用于監(jiān)控整個云平臺的運(yùn)行狀態(tài)，后者主要根據(jù)系統(tǒng)管理員設(shè)定生效的指揮調(diào)度策略對數(shù)據(jù)分析任務(wù)進(jìn)行統(tǒng)一管理與調(diào)度，并解析各個任務(wù)之間的作用關(guān)系和影響。

開發(fā)工具。此模塊主要用于形成人機(jī)交互界面，為管理員提供便捷化的管理配置。

?

在整個智能電網(wǎng)的中，龐大的數(shù)據(jù)規(guī)模導(dǎo)致了數(shù)據(jù)傳輸、存儲與分析的時間效率低下，不巧的是有些數(shù)據(jù)對實(shí)時性的需求相對較大，且采樣的頻率較高，在現(xiàn)有的云計(jì)算或者大數(shù)據(jù)平臺中難以實(shí)現(xiàn)。因此，數(shù)據(jù)的處理效率亟需解決。

?

做好了數(shù)據(jù)收集、預(yù)處理、分析、存儲，除了能為上層領(lǐng)導(dǎo)提供必要的決策輔助外，更應(yīng)該友好的展現(xiàn)在用戶眼前，使得用戶能夠更加直觀的感受到數(shù)據(jù)處理后的樣貌，可以看到多元化數(shù)據(jù)表示的信息，實(shí)現(xiàn)數(shù)據(jù)以圖表的形式于用戶的交互。

?

隨著智能電網(wǎng)的快速發(fā)展，各類數(shù)據(jù)源的產(chǎn)生必將與日俱增，而且各類源數(shù)據(jù)的格式存在較大的差別，云平臺需要及時的對各類源數(shù)據(jù)進(jìn)行采集，并且必定要處理不同數(shù)據(jù)類型、不同數(shù)據(jù)格式或者數(shù)據(jù)結(jié)構(gòu)所帶來的問題。

本文主要敘述了現(xiàn)階段大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)中的應(yīng)用現(xiàn)狀以及后期應(yīng)該解決的問題。由此可見，智能電網(wǎng)依靠云計(jì)算/大數(shù)據(jù)處理技術(shù)去解決當(dāng)前海量數(shù)據(jù)的問題已成為必然，我們需要將大數(shù)據(jù)處理技術(shù)聚焦于智能電網(wǎng)中，使得其在電網(wǎng)中能夠發(fā)揮更好的作用。

[1]張碩.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].環(huán)球市場，2019，（18）：139

[2]白云飛.智能電網(wǎng)領(lǐng)域的大數(shù)據(jù)應(yīng)用[J].集成電路應(yīng)用，2019，36（9）：40-41

[3]胡鵬，郭麗瑩.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀[J].數(shù)碼設(shè)計(jì)（上），2018，（9）：106

[4]程宇航，王遠(yuǎn)，劉芳嶠.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].百科論壇電子雜志，2019，（2）：450