大數(shù)據(jù)技術下智能電網(wǎng)配用電數(shù)據(jù)存儲技術分析

周高強 王二輝 李英杰 孫亞平

摘? 要：近年來，受互聯(lián)網(wǎng)技術蓬勃發(fā)展的影響，促使大數(shù)據(jù)技術被廣泛應用于各個領域及各個行業(yè)。智能電網(wǎng)是我國電網(wǎng)發(fā)展的主流趨勢，能明顯提高電能利用的合理性，大大降低能源消耗量。同時，智能電網(wǎng)中電力設備及應用系統(tǒng)運行期間可能產(chǎn)生大量數(shù)據(jù)，一旦處理方法不得當則可能影響電網(wǎng)運行效率。本文以智能電網(wǎng)配用電數(shù)據(jù)為切入點，分析其構(gòu)成特點，進一步提出具體的存儲技術框架，旨在為相關從業(yè)人員積累更多的實踐經(jīng)驗。

關鍵詞：大數(shù)據(jù)技術? 智能電網(wǎng)? 數(shù)據(jù)存儲

工作實踐證明，智能電網(wǎng)中所產(chǎn)生的配用電數(shù)據(jù)量相對龐大，具有異構(gòu)性及多源性等鮮明特點，大大增加數(shù)據(jù)存儲及集成的難度，而利用大數(shù)據(jù)技術能有效整合配用電數(shù)據(jù)，基本實現(xiàn)集成存儲非結(jié)構(gòu)化及結(jié)構(gòu)化數(shù)據(jù)的目標，大大提高其數(shù)據(jù)處理效率，突出智能電網(wǎng)運行高速性的特點[1]。同時，大數(shù)據(jù)技術能有效分析配用電數(shù)據(jù)，準確預測多源高緯數(shù)據(jù)，持續(xù)優(yōu)化電網(wǎng)原有的構(gòu)架，確保用電高峰期調(diào)度合理性。智能電網(wǎng)中配用電數(shù)據(jù)可劃分為軟件異構(gòu)及硬件異構(gòu)2個部分，尤其是軟件異構(gòu)指各種操作系統(tǒng)及數(shù)據(jù)庫，甚至包括各個參與主體所設計的應用平臺，并且操作系統(tǒng)不同其數(shù)據(jù)庫、軟硬件平臺及數(shù)據(jù)存儲的要求也不盡相同，可能出現(xiàn)數(shù)據(jù)重復采集及重復存儲的問題。鑒于此，本文針對“大數(shù)據(jù)技術下智能電網(wǎng)配用電數(shù)據(jù)存儲技術”進行分析研究具有重要的價值意義。

1? 智能電網(wǎng)配用電數(shù)據(jù)的構(gòu)成分析

按數(shù)據(jù)類型，智能電網(wǎng)配用電數(shù)據(jù)可劃分為非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)，而結(jié)合數(shù)據(jù)來源差異，可劃分為電網(wǎng)外部數(shù)據(jù)及電網(wǎng)內(nèi)部數(shù)據(jù)。通常情況下，配用電數(shù)據(jù)普遍利用信息集成化方式予以呈現(xiàn)，促使其數(shù)據(jù)具有維度大、顆粒度混雜及多類型數(shù)據(jù)共存的特點[2]。其中，結(jié)構(gòu)化數(shù)據(jù)是智能電網(wǎng)中最為重要的業(yè)務支持數(shù)據(jù)，受現(xiàn)代應用大范圍普及的影響，例如：客戶日志信息及分布式電源等，部分半結(jié)構(gòu)化數(shù)據(jù)及少部分非結(jié)構(gòu)化數(shù)據(jù)（即文本信息、視頻信息及Web頁面等）被納入基礎數(shù)據(jù)分析范圍。由于智能電網(wǎng)中特定網(wǎng)站web類數(shù)據(jù)量大大增加，出現(xiàn)非結(jié)構(gòu)化、半結(jié)構(gòu)化及結(jié)構(gòu)化數(shù)據(jù)共存的局面。

智能電網(wǎng)中各個系統(tǒng)或主體間呈現(xiàn)相互獨立的存在狀態(tài)，大大增加其數(shù)據(jù)維度，其集中體現(xiàn)于配用電數(shù)據(jù)從屬多個主體，所有主體間相互獨立存在，造成數(shù)據(jù)存儲及數(shù)據(jù)采集的時序性存在著明顯的不一致性，逐漸拉大數(shù)據(jù)維度。同時，系統(tǒng)中各個業(yè)務開展基本處于獨立運行的狀態(tài)，各項業(yè)務可自主選擇數(shù)據(jù)采集時間，一旦彼此間無法統(tǒng)一時則可能拉大數(shù)據(jù)維度[3]。同時，數(shù)據(jù)顆粒度混雜的產(chǎn)生原因相對復雜，與不同系統(tǒng)業(yè)務需求差異性間存在著密切聯(lián)系，并且非結(jié)構(gòu)化數(shù)據(jù)及元數(shù)據(jù)的存儲空間及數(shù)據(jù)格式均不盡相同。無論是否為同一種結(jié)構(gòu)化數(shù)據(jù)，其容量及用戶不同則屬性要求也不同。

2? 智能電網(wǎng)配用電數(shù)據(jù)存儲技術的框架設計分析

2.1 資源管理

由于配用電數(shù)據(jù)普遍為多源異構(gòu)，客觀上要求相關管理人員于存儲前期采取相應的處理措施，例如：將智能電網(wǎng)中硬件平臺與虛擬化技術相結(jié)合，搭建符合配用電數(shù)據(jù)要求的Master/Slave邏輯結(jié)構(gòu)，滿足自動化篩選多源異構(gòu)數(shù)據(jù)的要求[4]。同時，以負載均衡方式為主要手段，動態(tài)化分配用電數(shù)據(jù)相關存儲資源，持續(xù)優(yōu)化智能電網(wǎng)內(nèi)部資源結(jié)構(gòu)，實現(xiàn)用電高峰期合理調(diào)度資源的目標，大大提高存儲資源利用率。此外，設計技術應用框架期間，盡可能選擇2種或2種以上虛擬化技術配置系統(tǒng)，例如：以虛擬機VM技術為例，能將配電系統(tǒng)中自動化主站平臺轉(zhuǎn)變?yōu)榕溆秒姶髷?shù)據(jù)中節(jié)點。

同時，虛擬機VM技術能促使各個市縣區(qū)域內(nèi)子系統(tǒng)及電力外網(wǎng)中企業(yè)及政府等用戶IT資源轉(zhuǎn)變?yōu)楣?jié)點，極大程度上縮小框架設計空間，大幅度提高其系統(tǒng)運行效率，而經(jīng)虛擬化配用電系統(tǒng)，其內(nèi)外部計算資源成為相對獨立的資源池。為了大大提高資源池中IT資源的運轉(zhuǎn)效率，保證智能電網(wǎng)運行安全性及可靠性，相關技術人員必須構(gòu)建負載均衡模型，方可達到優(yōu)化資源配置的目標[5]。與其它模型相比，負載均衡模型是非線性規(guī)劃模型，具體運行期間不得脫離系統(tǒng)中任務量及節(jié)點數(shù)量等方面信息，再進行求解優(yōu)化。其中，模型所使用的算法包括BP神經(jīng)網(wǎng)絡算法及遺傳算法。

虛擬化及負載均衡化處理配用電數(shù)據(jù)資源后，基本實現(xiàn)均衡配置內(nèi)部資源的目標。為了提高配用電系統(tǒng)資源的利用率，相關技術人員合理調(diào)度各種資源，綜合考慮系統(tǒng)的具體需求，妥善設計各種模塊，例如：外部接口模塊、控制模塊、算法模塊及調(diào)度模塊等?？偠灾悄茈娋W(wǎng)數(shù)據(jù)可劃分為物理空間、映射地址及存儲介質(zhì)，而設計配用電數(shù)據(jù)應用框架時盡量劃分為實際數(shù)據(jù)管理、元數(shù)據(jù)管理及資源管理3個層面，做好數(shù)據(jù)預處理工作，詳細區(qū)分元數(shù)據(jù)的類型，靈活運用中間件技術，充分發(fā)揮其技術優(yōu)勢及作用，大大提高非結(jié)構(gòu)化數(shù)據(jù)的處理效率。

2.2 元數(shù)據(jù)管理

存儲數(shù)據(jù)時以系統(tǒng)是否能根據(jù)配電數(shù)據(jù)大小為依據(jù)，大大提高存儲空間的分配效率，并且所產(chǎn)生的地址映射（即元數(shù)據(jù)）進行妥善處理，尤其是存儲數(shù)據(jù)時做好標準化元數(shù)據(jù)的管理工作。同時，預處理數(shù)據(jù)期間提前篩選數(shù)據(jù)，區(qū)分非機構(gòu)化數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)，及時轉(zhuǎn)換不同類型數(shù)據(jù)，形成標準化元數(shù)據(jù)，并且以XML格式為呈現(xiàn)形式，將完成轉(zhuǎn)換的元數(shù)據(jù)存儲至Master節(jié)點之中。此外，中間件技術的應用形式相對多樣，例如：仿真終端、整合數(shù)據(jù)及訪問數(shù)據(jù)等，基本實現(xiàn)不同技術間信息資源共享的目標，大大提高數(shù)據(jù)整合的運行效率，強化總體管理效果。

2.3 實際數(shù)據(jù)管理

與其他類型數(shù)據(jù)相比，實際數(shù)據(jù)具有多源異構(gòu)類及高緯度等鮮明特點。因此在實際管理的過程中，相關技術人員結(jié)合實際數(shù)據(jù)與元數(shù)據(jù)間映射關系，利用NoSQL技術手段分布式存儲具體數(shù)據(jù)，即綜合考慮實際數(shù)據(jù)與智能電網(wǎng)間位置差異性，采取相應的分層存儲措施，針對處于內(nèi)部電網(wǎng)中實際數(shù)據(jù)則存儲于電網(wǎng)內(nèi)部，針對處于電網(wǎng)外部的實際數(shù)據(jù)則存儲于電網(wǎng)外部。

3? 結(jié)語

通過本文探究，認識到受智能電網(wǎng)大范圍普及的影響，其配用電數(shù)據(jù)存儲及處理水平高低直接決定電網(wǎng)總體運行狀況，占據(jù)著極其重要的地位及作用，而應用大數(shù)據(jù)處理技術能分門別類存儲不同類型數(shù)據(jù)信息，極大程度上優(yōu)化電網(wǎng)內(nèi)部空間，大大提高電網(wǎng)運行效率。因此，相關技術人員秉持實事求是的工作原則，將元數(shù)據(jù)視為基礎設計完整的技術框架，為促進我國智能電網(wǎng)配電數(shù)據(jù)存儲技術水平進步提供強有力的支持。

參考文獻

[1] 王林童，趙騰，張焰，等，田世明.配用電大數(shù)據(jù)多源集成及存儲優(yōu)化方法[J].高電壓技術，2018，44（4）：1131-1139.

[2] 施康，朱超平.基于大數(shù)據(jù)技術下智能電網(wǎng)配用電數(shù)據(jù)存儲技術研究[J].自動化與儀器儀表，2018（2）：65-67.

[3] 張福錚，黃文琦，陳華軍，等.基于HBase的配用電海量時序數(shù)據(jù)存取研究[J].現(xiàn)代電子技術，2017，40（13）：159-163.