電力大數(shù)據(jù)高速存儲及檢索關(guān)鍵技術(shù)研究

李旭輝　徐玉生

摘 要：本文首先對當前電網(wǎng)典型業(yè)務(wù)系統(tǒng)大數(shù)據(jù)架構(gòu)進行簡單分析，重點研究而電力大數(shù)據(jù)高速存儲及檢索特征和關(guān)鍵技術(shù)，了解電力大數(shù)據(jù)的重點技術(shù)，在此基礎(chǔ)上深入研究即時處理技術(shù)對于大數(shù)據(jù)典型應(yīng)用的有效性，希望通過本文的研究能夠更加全面的掌握關(guān)于電網(wǎng)業(yè)務(wù)系統(tǒng)大數(shù)據(jù)框架結(jié)構(gòu)的基本情況，了解在電力大數(shù)據(jù)系統(tǒng)中應(yīng)用的各種先進技術(shù)及主要特點，同時也為后期更好的研究即使處理技術(shù)及電力大數(shù)據(jù)提供參考。

關(guān)鍵詞：電力大數(shù)據(jù)；高速存儲；檢索

中圖分類號：TM769 文獻標識碼：A 文章編號：1671-2064（2018）03-0038-02

1 引言

近年來隨著我國電力行業(yè)的不斷發(fā)展，電力系統(tǒng)規(guī)模不斷擴大，電力企業(yè)在運行中產(chǎn)生的數(shù)據(jù)發(fā)生較大的變化，數(shù)量越來越多、種類愈加復(fù)雜、來源更加多樣化，在系統(tǒng)運行訪問中容易出現(xiàn)響應(yīng)不及時的情況，對電力企業(yè)的生產(chǎn)、運營管理等各環(huán)節(jié)的業(yè)務(wù)都產(chǎn)生較大的影響。而且隨著大數(shù)據(jù)時代的到來，更好的應(yīng)用電力企業(yè)產(chǎn)生的各種數(shù)據(jù)對于企業(yè)的發(fā)展具有重要的意義。因此在現(xiàn)階段加強對于電力大數(shù)據(jù)及其高速存儲、檢索等關(guān)鍵技術(shù)的研究具有重要的現(xiàn)實意義，能夠更加深入的分析研究大數(shù)據(jù)，發(fā)揮大數(shù)據(jù)的價值，全面掌握電網(wǎng)運行中各種典型業(yè)務(wù)系統(tǒng)的數(shù)據(jù)架構(gòu)，更好的發(fā)揮高速存儲、檢索、即使處理等各種先進技術(shù)的作用，解決大數(shù)據(jù)系統(tǒng)建設(shè)存在的問題，也為電力大數(shù)據(jù)技術(shù)的應(yīng)用提供指導(dǎo)和支撐。

2 電網(wǎng)典型業(yè)務(wù)系統(tǒng)大數(shù)據(jù)架構(gòu)分析

隨著電網(wǎng)技術(shù)的不斷升級，大數(shù)據(jù)已經(jīng)成為電力企業(yè)發(fā)展中的重要特征，數(shù)據(jù)的應(yīng)用對企業(yè)發(fā)展的應(yīng)用的也愈加深刻。在電網(wǎng)運行中的典型業(yè)務(wù)就是電力系統(tǒng)用電信息的采集，該系統(tǒng)中存在諸多用戶，基數(shù)比較大，而且每天都會產(chǎn)生大量的數(shù)據(jù)，在業(yè)務(wù)系統(tǒng)運行中，數(shù)據(jù)的統(tǒng)計分析容易出現(xiàn)響應(yīng)緩慢的情況，用戶在使用系統(tǒng)時需要等待較長的時間。電力大數(shù)據(jù)一方面能夠拓寬電力行業(yè)的深度，對供給側(cè)、需求側(cè)進行整合；另一方面也打破便捷，挑戰(zhàn)壟斷地位。針對這種業(yè)務(wù)系統(tǒng)，首先要對用電信息采集業(yè)務(wù)系統(tǒng)中使用的數(shù)據(jù)存儲、數(shù)據(jù)檢索以及信息流計算等各種技術(shù)的架構(gòu)進行全面的分析，其次要對各種不同數(shù)據(jù)使用的存儲檢索技術(shù)的性能及架構(gòu)進行分析總結(jié)，包括非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)；在此基礎(chǔ)上，深入研究電網(wǎng)運行中各種典型業(yè)務(wù)系統(tǒng)對即時信息流的處理技術(shù)的需求及應(yīng)用現(xiàn)狀。應(yīng)用電力大數(shù)據(jù)，能全面掌握電力企業(yè)乃至整個行業(yè)的發(fā)展狀況，預(yù)測未來的發(fā)展趨勢，調(diào)整企業(yè)的發(fā)展規(guī)劃，比如并網(wǎng)電價等，促進電力企業(yè)的發(fā)展[1]。

3 電力大數(shù)據(jù)高速存儲及檢索特征和關(guān)鍵技術(shù)

3.1 電力大數(shù)據(jù)高速存儲及關(guān)鍵技術(shù)

大數(shù)據(jù)高速存儲系統(tǒng)體系結(jié)構(gòu)的研究主要幾方面的問題；（1）基于Hadoop分布式存儲系統(tǒng)的副本管理機制，重點研究在元數(shù)據(jù)服務(wù)器出現(xiàn)異常情況時需要使用的副本替換和重定向算法，從而避免受單一故障影響出現(xiàn)整個文件系統(tǒng)癱瘓的情況；（2）研究基于Hadoop分布式文件系統(tǒng)的備份恢復(fù)機制和動態(tài)擴展機制，重點研究如何對原有SAN網(wǎng)絡(luò)等設(shè)備文件系統(tǒng)與分布式文件系統(tǒng)進行兼容，以及如何快速對分布式文件系統(tǒng)中的文件進行恢復(fù)同時進行增量式備份。

面向電力大數(shù)據(jù)的存儲系統(tǒng)自配置自優(yōu)化技術(shù)?；贖adoop分布式文件系統(tǒng)的存儲系統(tǒng)性能會受配置參數(shù)的影響產(chǎn)生較大的波動，而且系統(tǒng)的配置也比較靈活，各種應(yīng)用數(shù)據(jù)也比較豐富，因此需要深入研究在大數(shù)據(jù)系統(tǒng)運行中影響系統(tǒng)存儲性能的各種關(guān)鍵因素，針對這些因素設(shè)計合理的算法對系統(tǒng)進行自適應(yīng)動態(tài)采樣。同時要研究如何應(yīng)用多節(jié)點協(xié)同配置優(yōu)化技術(shù)、異構(gòu)分布式跨層配置降維機制以及性能評測數(shù)據(jù)生成技術(shù)，在此基礎(chǔ)上設(shè)計系統(tǒng)對面向大數(shù)據(jù)應(yīng)用的存儲系統(tǒng)的性能基準進行測試[2]。

電力大數(shù)據(jù)的存儲速度要求比較高，但是信息的處理速度要求不高，針對這種情況在存儲方案中需要引入數(shù)據(jù)緩存單元，一方面能夠滿足信息高速收集的要求，另一方面能夠降低數(shù)據(jù)處理的成本。一種方式是應(yīng)用FIFO存儲器，信息數(shù)據(jù)從一頭進入，另一頭流出，而且有順序要求。信息數(shù)據(jù)的傳輸效率比較高，但是只能按照順序進行數(shù)據(jù)讀寫，而且成本也比較高。第二種方式是采用雙口PAM，利用兩套獨立的端口進行數(shù)據(jù)的收集緩存，而且彼此可以進行數(shù)據(jù)交流，隨時對數(shù)據(jù)進行讀取。第三種方式是SRAM切換，雖然能夠隨時讀寫，但是占地面積比較大。

3.2 電力大數(shù)據(jù)檢索特征及其關(guān)鍵技術(shù)

（1）電力大數(shù)據(jù)索引結(jié)構(gòu)分析研究。首先要對大數(shù)據(jù)檢索體系的結(jié)構(gòu)、查詢方法以及檢索特征等進行分析，深入研究檢索系統(tǒng)在電力大數(shù)據(jù)中應(yīng)用的體系結(jié)構(gòu)需求。其次對各種采集類和檔案類數(shù)據(jù)進行采樣分析，并分別研究不同數(shù)據(jù)的特征，根據(jù)其特點的不同，對使用的檢索方法等進行總結(jié)歸類。在此基礎(chǔ)上深入研究電網(wǎng)業(yè)務(wù)中的大數(shù)據(jù)特征以及檢索業(yè)務(wù)的邏輯結(jié)構(gòu)需求等。（2）面向電力大數(shù)據(jù)的多維索引關(guān)鍵技術(shù)研究。目前還沒有形成關(guān)于大數(shù)據(jù)多維索引的成熟技術(shù)，需要針對電力大數(shù)據(jù)系統(tǒng)設(shè)計專用的多維索引結(jié)構(gòu)，該結(jié)構(gòu)必須具備基礎(chǔ)的多維區(qū)間查詢功能和多表連接技術(shù)。因此要做好幾方面的研究：一是對索引存儲方法和壓縮算法的研究，要求存儲方法和壓縮方法能夠滿足自適應(yīng)和動態(tài)可擴展的要求，而且具備分布式的特點；二是研究故障恢復(fù)方法及負載均衡算法，電力系統(tǒng)中的數(shù)據(jù)量比較大，在大數(shù)據(jù)環(huán)境下必須保障索引的快速建立及存儲；另外多維索引需要應(yīng)用預(yù)計算及高速訪問等技術(shù)。（3）要想實現(xiàn)對于電力大數(shù)據(jù)的高速采集，需要滿足高采樣頻率，一般可以借助高速數(shù)據(jù)轉(zhuǎn)化芯片來實現(xiàn)，但是成本比較高，分辨率也比較低，因此需要采用并行采樣技術(shù)，將數(shù)據(jù)采集的時間進行交叉，多個芯片同時工作。比如說同時使用N路芯片進行采樣作業(yè)，穩(wěn)定不同路徑的相位差，合并多個路徑，實現(xiàn)高倍頻率的采樣，提高信息收集及傳遞的效率。

4 即時處理技術(shù)對于大數(shù)據(jù)典型應(yīng)用的有效性

流技術(shù)的即使處理技術(shù)能夠滿足電力大數(shù)據(jù)的各種應(yīng)用需求，主要表現(xiàn)在以下幾方面[3]：

4.1 用戶信息采集

電力大數(shù)據(jù)系統(tǒng)需要在短時間內(nèi)實現(xiàn)用電信息數(shù)據(jù)的采集及分析判斷，針對這種需求，應(yīng)用流計算即使處理技術(shù)能夠?qū)Σ杉降膶崟r數(shù)據(jù)進行預(yù)處理，對于異常數(shù)據(jù)進行準確的過濾篩選，并發(fā)出警報。結(jié)合系統(tǒng)運行的實際情況設(shè)計合理的算法，對異常數(shù)據(jù)進行實時監(jiān)測處理，而且能夠數(shù)據(jù)進行均勻化操作。

4.2 數(shù)據(jù)質(zhì)量監(jiān)測

電力大數(shù)據(jù)系統(tǒng)中需要對各種業(yè)務(wù)數(shù)據(jù)的質(zhì)量進行實時監(jiān)測，借助即時處理技術(shù)能夠從數(shù)據(jù)的頻度、來源、所屬業(yè)務(wù)、單位等不同的維度對數(shù)據(jù)質(zhì)量進行監(jiān)測，同時與數(shù)據(jù)異常監(jiān)測現(xiàn)結(jié)合實現(xiàn)對于數(shù)據(jù)質(zhì)量的綜合通報，而且有利于對數(shù)據(jù)質(zhì)量進行改進。

4.3 視頻圖像處理

借助即時處理技術(shù)能夠?qū)﹄娏Υ髷?shù)據(jù)中的視頻監(jiān)控圖像進行實時的計算，根據(jù)需要提取特定目標，并對其進行分割處理，包括光影變化的分析處理等，通過這種分析能夠全面掌握電力設(shè)備運行中的各種原始數(shù)據(jù)，實時掌握設(shè)備的運行狀態(tài)，預(yù)測可能出現(xiàn)的設(shè)備故障，從而降低電力大數(shù)據(jù)中人工成本，進一步提升系統(tǒng)的運行效率。

5 結(jié)語

通過本文的分析可知，大數(shù)據(jù)已經(jīng)成為電力企業(yè)發(fā)展的顯著特征，數(shù)據(jù)繁多也深刻影響道電力企業(yè)的發(fā)展，發(fā)展電力大數(shù)據(jù)符合當前電力企業(yè)發(fā)展的需求。本文重點研究了電網(wǎng)典型業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)架構(gòu)，高速存儲、檢索等關(guān)鍵技術(shù)，也深刻論證了即時處理技術(shù)對于大數(shù)據(jù)典型應(yīng)用的有效性，未來隨著電力企業(yè)的不斷發(fā)展，電力大數(shù)據(jù)將會對電力企業(yè)的發(fā)展產(chǎn)生更加深刻的影響，同時也會遇到更多更復(fù)雜的問題。當前關(guān)于電力大數(shù)據(jù)的研究仍處于起步階段，需要電力企業(yè)不斷加強對于電力大數(shù)據(jù)的研究，不斷優(yōu)化大數(shù)據(jù)架構(gòu)，研究更加合理的大數(shù)據(jù)方案，充分發(fā)揮各種技術(shù)的優(yōu)勢，不斷推進我國電力大數(shù)據(jù)的發(fā)展，增強電力企業(yè)的競爭力，實現(xiàn)良好的經(jīng)濟社會效益。

參考文獻

[1]齊俊，曲朝陽，婁建樓，等.一種基于Hadoop的電力大數(shù)據(jù)屬性實體識別算法[J].電力系統(tǒng)保護與控制，2016，（24）：52-57.

[2]薛禹勝，賴業(yè)寧.大能源思維與大數(shù)據(jù)思維的融合（一）大數(shù)據(jù)與電力大數(shù)據(jù)[J].電力系統(tǒng)自動化，2016，（1）：1-8.

[3]彭小圣，鄧迪元，程時杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國電機工程學(xué)報，2015，（3）：503-511.