智能配用電大數(shù)據(jù)存儲(chǔ)架構(gòu)設(shè)計(jì)

王春龍

【摘 ?要】智能電網(wǎng)隨著信息化技術(shù)的發(fā)展不斷的進(jìn)步。在大數(shù)據(jù)環(huán)境下，為了能夠更好地完善智能電網(wǎng)，提高智能電網(wǎng)的工作效率，提高智能電網(wǎng)的數(shù)據(jù)信息處理能力，提高整體運(yùn)營(yíng)的經(jīng)濟(jì)性，必須要對(duì)智能電網(wǎng)相關(guān)的大數(shù)據(jù)平臺(tái)進(jìn)行完善。

【關(guān)鍵詞】智能電網(wǎng);大數(shù)據(jù);存儲(chǔ)

伴隨社會(huì)的不斷發(fā)展，科學(xué)技術(shù)便得到飛速進(jìn)步，現(xiàn)今，在信息化不斷發(fā)展的時(shí)代背景下，人們便與信息化技術(shù)緊密聯(lián)系在一起，同時(shí)，人們對(duì)電力系統(tǒng)的依賴程度逐漸加大。此外，對(duì)于電力系統(tǒng)而言，其在運(yùn)行過(guò)程中會(huì)產(chǎn)生相應(yīng)的數(shù)據(jù)，且數(shù)據(jù)具有復(fù)雜的特點(diǎn)，并呈現(xiàn)逐漸增加的趨勢(shì)，傳統(tǒng)的數(shù)據(jù)處理技術(shù)未能迎合數(shù)據(jù)發(fā)展的需要，因此，在此種情況下，便應(yīng)將大數(shù)據(jù)技術(shù)應(yīng)用于智能電網(wǎng)中，以使數(shù)據(jù)處理質(zhì)量得到保障，符合電網(wǎng)行業(yè)的發(fā)展需求。

1智能電網(wǎng)和大數(shù)據(jù)之間的聯(lián)系

當(dāng)前我國(guó)智能電網(wǎng)的運(yùn)用較為廣泛，信息技術(shù)、通訊技術(shù)、計(jì)算機(jī)技術(shù)也得以綜合運(yùn)用，不同信息之間的聯(lián)系也日益緊密。智能電網(wǎng)能夠從電量的耗損狀況中獲得大數(shù)據(jù)，即用戶的用電情況、區(qū)域的用電情況、晝夜的用電狀況等，利用現(xiàn)代信息技術(shù)對(duì)得到數(shù)據(jù)進(jìn)行交換、分析，收集出有效的信息，對(duì)不同地區(qū)的電網(wǎng)進(jìn)行宏觀調(diào)控，及時(shí)對(duì)不同地區(qū)的用電需求進(jìn)行有效調(diào)控和滿足。但是在當(dāng)前社會(huì)中，大數(shù)據(jù)的發(fā)展并沒有很成熟，大數(shù)據(jù)平臺(tái)構(gòu)建尚在進(jìn)行中。

2電力大數(shù)據(jù)在智能電網(wǎng)中的分布

2.1發(fā)電側(cè)

目前，國(guó)內(nèi)一些大型的發(fā)電廠紛紛開展了數(shù)字化建設(shè)，在這一前提下產(chǎn)生了海量的過(guò)程數(shù)據(jù)，這些數(shù)據(jù)中蘊(yùn)含著豐富的信息，它們的產(chǎn)生來(lái)源是監(jiān)測(cè)和檢測(cè)過(guò)程，由此使得這部分?jǐn)?shù)據(jù)對(duì)電力設(shè)備的運(yùn)行狀態(tài)評(píng)估以及故障問題檢測(cè)具有重要的作用。

2.2 輸變電側(cè)

電力系統(tǒng)的 PMU（相量測(cè)量裝置）每天會(huì)對(duì)數(shù)以萬(wàn)計(jì)的數(shù)據(jù)點(diǎn)進(jìn)行數(shù)據(jù)采集，同時(shí)輸電網(wǎng)和無(wú)人值守的智能變電站的安全監(jiān)測(cè)也會(huì)產(chǎn)生出海量的非結(jié)構(gòu)化數(shù)據(jù)，如圖像、音視頻等等。

2.3 用電側(cè)

現(xiàn)如今，我國(guó)電網(wǎng)的智能化程度較之以往獲得了大幅度提升，智能電表也獲得了廣泛應(yīng)用，由于智能電表可以進(jìn)行雙向通信，其每天產(chǎn)生的數(shù)據(jù)都多達(dá)數(shù)百萬(wàn)條。

3基于Mongo DB的用電信息大數(shù)據(jù)存儲(chǔ)技術(shù)

3.1用電信息系統(tǒng)大數(shù)據(jù)存儲(chǔ)架構(gòu)

用電信息采集系統(tǒng)對(duì)用電信息的自動(dòng)采集、計(jì)量異常和電能質(zhì)量監(jiān)測(cè)、用電分析和管理提供了技術(shù)支持。為適應(yīng)大規(guī)模用電信息數(shù)據(jù)的存儲(chǔ)要求，設(shè)計(jì)了一種具有高并發(fā)、高可靠性和高效存儲(chǔ)等特點(diǎn)的存儲(chǔ)架構(gòu)，加快數(shù)據(jù)訪問速度，為實(shí)現(xiàn)用電信息的自動(dòng)采集、計(jì)量異常等功能，并適應(yīng)用電數(shù)據(jù)種類繁多的特點(diǎn)，將數(shù)據(jù)平臺(tái)劃分為前置通信平臺(tái)數(shù)據(jù)庫(kù)、生產(chǎn)數(shù)據(jù)庫(kù)和分析數(shù)據(jù)庫(kù)。

3.2元數(shù)據(jù)管理

對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)，首先要求系統(tǒng)能夠根據(jù)配電數(shù)據(jù)的大小，快速分配存儲(chǔ)空間，并產(chǎn)生對(duì)應(yīng)的地址映射，也即元數(shù)據(jù)。由此，在對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)，需要生成標(biāo)準(zhǔn)化的元數(shù)據(jù)，并對(duì)其進(jìn)行管理：

3.2.1數(shù)據(jù)預(yù)處理

對(duì)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，其流程是先對(duì)數(shù)據(jù)進(jìn)行篩選，以區(qū)分結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，對(duì)不同的數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換，形成標(biāo)準(zhǔn)化元數(shù)據(jù)，并以 XML 格式將轉(zhuǎn)換后的元數(shù)據(jù)存儲(chǔ)至 Master 節(jié)點(diǎn)中。

3.2.2中間件技術(shù)

中間件技術(shù)具有多種應(yīng)用形式，如數(shù)據(jù)訪問、數(shù)據(jù)整合、終端仿真等，其主要功能是在不同的技術(shù)之間實(shí)現(xiàn)信息資源的共享，提高數(shù)據(jù)整合運(yùn)行效率。本次設(shè)計(jì)中，通過(guò)采用數(shù)據(jù)中間件技術(shù)，將各類元數(shù)據(jù)進(jìn)行了整合、連接，并對(duì) XML 數(shù)據(jù)資源庫(kù)重新進(jìn)行了配置，設(shè)置了查關(guān)聯(lián)、刪除等多個(gè)子模塊，加強(qiáng)了管理效果，更有利于系統(tǒng)運(yùn)行效率的提升。

3.3實(shí)際數(shù)據(jù)管理

1）根據(jù)實(shí)際數(shù)據(jù)在智能電網(wǎng)的不同位置，進(jìn)行分層存儲(chǔ)，若實(shí)際數(shù)據(jù)位于內(nèi)部電網(wǎng)，則將其存儲(chǔ)于電網(wǎng)內(nèi)部，若實(shí)際數(shù)據(jù)位于電網(wǎng)外部，則將其存儲(chǔ)于電網(wǎng)外部;

2）根據(jù)各系統(tǒng)的電壓等級(jí)情況重新進(jìn)行分類，包括 GIS 系統(tǒng)、信息采集系統(tǒng)等，位于電網(wǎng)內(nèi)部的數(shù)據(jù)，分為 110k V、35k V、10k V 等類別，并對(duì)應(yīng)存儲(chǔ)，位于電網(wǎng)外的數(shù)據(jù)，分為政府機(jī)構(gòu)、企業(yè)用戶等類別，同樣對(duì)應(yīng)存儲(chǔ);

3）對(duì)元數(shù)據(jù)資源庫(kù)進(jìn)行查詢，將不同類別的數(shù)據(jù)與其XML表格對(duì)應(yīng)，根據(jù)XML表格為實(shí)際數(shù)據(jù)分配存儲(chǔ)空間，按照一定的順序，確保所有數(shù)據(jù)能夠分配到足夠的存儲(chǔ)空間，若出現(xiàn)存儲(chǔ)空間剩余不足現(xiàn)象，則將其臨近的剩余存儲(chǔ)空間分配給對(duì)應(yīng)的缺額實(shí)際數(shù)據(jù)，分配完畢后，依據(jù)統(tǒng)一的存儲(chǔ)指令，進(jìn)行存儲(chǔ)。

3.4基于Mongo DB私有云的電力大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)

3.4.1存儲(chǔ)模式

作為分布式文檔存儲(chǔ)數(shù)據(jù)庫(kù)的一種，Mong DB能夠存儲(chǔ)相對(duì)較為復(fù)雜的數(shù)據(jù)類型，本節(jié)提出通過(guò)對(duì)不同類型的采集數(shù)據(jù)采取不同的存儲(chǔ)方式來(lái)對(duì)大規(guī)模數(shù)據(jù)的查詢和存儲(chǔ)工作進(jìn)行優(yōu)化，在對(duì)數(shù)據(jù)讀寫速率進(jìn)行提高的過(guò)程中可以采用多集群存儲(chǔ)方式。Mongo DB的自動(dòng)分片機(jī)制支持集群擴(kuò)展，一個(gè)Mongo DB集群通常有9臺(tái)服務(wù)器組成，提供路由服務(wù)的有3臺(tái)服務(wù)器，提供配置服務(wù)的有3臺(tái)服務(wù)器，除此以外還包括由副本集構(gòu)成的3組數(shù)據(jù)分片。經(jīng)大量測(cè)試發(fā)現(xiàn)，配置服務(wù)和路由服務(wù)對(duì)內(nèi)存的依賴程度相對(duì)較低，所以可將配置服務(wù)和路由服務(wù)置于數(shù)據(jù)分片所在的服務(wù)器上，有效將云資源的利用率提高上來(lái)。

3.4.2分片負(fù)載均衡

Mongo DB 的自動(dòng)分片機(jī)制推動(dòng)了分布式存儲(chǔ)的水平擴(kuò)展，均衡器從根本上保證了數(shù)據(jù)塊在每個(gè)分片上的均勻分布。Mongo DB 將數(shù)據(jù)按用戶指定的分片鍵劃分為多個(gè)chunk（均衡器進(jìn)行數(shù)據(jù)遷移的基本單位），在對(duì)各分片內(nèi)的chunk數(shù)檢查的時(shí)候可以使用均衡器來(lái)進(jìn)行，若擁有chunk最多的分片和擁有chunk最少的分片的chunk數(shù)之差要比某個(gè)閾值高的話，均衡器則需要遷移這些不均勻的分片，將前者的chunk移至后者。要想徹底解決云存儲(chǔ)數(shù)據(jù)訪問的動(dòng)態(tài)均衡問題僅對(duì)各分片內(nèi)chunk的數(shù)目進(jìn)行考慮是不行的，本文考慮分片所在數(shù)據(jù)節(jié)點(diǎn)負(fù)載差異，提出從負(fù)載以及數(shù)據(jù)量?jī)煞矫鎸?duì)負(fù)載均衡進(jìn)行優(yōu)化，通過(guò)路由mongos獲取分片所在節(jié)點(diǎn)負(fù)載，考慮負(fù)載因素在遷移限制條件判斷、遷移源分片與目標(biāo)分片選取等環(huán)節(jié)帶來(lái)的影響。

結(jié)束語(yǔ)

通過(guò)以上的內(nèi)容，先是分析了智能電網(wǎng)和電力大數(shù)據(jù)的主要關(guān)系，兩者相輔相成，相互促進(jìn)，智能電網(wǎng)和電力大數(shù)據(jù)的發(fā)展不可分割。也探究了電力大數(shù)據(jù)在電網(wǎng)中的分布，最后著重分析了面向智能電網(wǎng)的電力大數(shù)據(jù)存儲(chǔ)技術(shù)，在智能電網(wǎng)中有效運(yùn)用電力大數(shù)據(jù)存儲(chǔ)，能夠使得智能電網(wǎng)更好的發(fā)展。

參考文獻(xiàn)：

[1]劉銘，陳艷，吳佳，張春平，張琦.基于分布式文件系統(tǒng)電力大數(shù)據(jù)存儲(chǔ)策略探討[J].自動(dòng)化技術(shù)與應(yīng)用，2016，35（10）：70-75.

[2]毛羽豐.基于云計(jì)算的海量電力數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京交通大學(xué)，2015.

[3]王曙霞，陳茂輝.面向電力大數(shù)據(jù)分布式云存儲(chǔ)的性能分析與優(yōu)化[J].電氣應(yīng)用，2015，34（06）：46-50.

（作者單位：國(guó)網(wǎng)太原供電公司）