大數(shù)據(jù)關(guān)鍵技術(shù)在用電信息采集系統(tǒng)架構(gòu)優(yōu)化中的應(yīng)用研究

楊 懿，王 鑫，楊開瓊，潘可佳

國網(wǎng)四川省電力公司信息通信公司信息通信調(diào)度監(jiān)控中心，四川成都 610041

大數(shù)據(jù)關(guān)鍵技術(shù)在用電信息采集系統(tǒng)架構(gòu)優(yōu)化中的應(yīng)用研究

楊 懿，王 鑫，楊開瓊，潘可佳

國網(wǎng)四川省電力公司信息通信公司信息通信調(diào)度監(jiān)控中心，四川成都 610041

近幾年來，用電信息采集系統(tǒng)的數(shù)據(jù)采集范圍、應(yīng)用范圍持續(xù)擴大，伴隨著用戶量和業(yè)務(wù)需求的增長，系統(tǒng)的復(fù)雜度也大幅度增加。傳統(tǒng)數(shù)據(jù)采集處理技術(shù)和系統(tǒng)架構(gòu)已經(jīng)無法滿足當(dāng)前業(yè)務(wù)發(fā)展對系統(tǒng)數(shù)據(jù)處理分析的要求。而大數(shù)據(jù)技術(shù)隨著其從理論研究向?qū)嶋H應(yīng)用的發(fā)展，也為解決用電信息采集系統(tǒng)數(shù)據(jù)量快速增長、數(shù)據(jù)關(guān)聯(lián)性越來越高的現(xiàn)狀需求提供了理論及應(yīng)用基礎(chǔ)。本文通過對大數(shù)據(jù)相關(guān)關(guān)鍵技術(shù)的研究，對大數(shù)據(jù)技術(shù)在用電信息采集系統(tǒng)架構(gòu)優(yōu)化方面的應(yīng)用進行了設(shè)計，并對后續(xù)系統(tǒng)架構(gòu)發(fā)展進行了分析。

用電信息采集系統(tǒng)；大數(shù)據(jù)；分布式集群；架構(gòu)優(yōu)化

1 背景

隨著智能電網(wǎng)建設(shè)帷幕的拉開，為實現(xiàn)電力營銷精益化管理能力增強，促進營銷業(yè)務(wù)模式集約化發(fā)展，推動營銷管理變革和突破，全面提升營銷管理與服務(wù)的信息化、自動化、智能化、互動化水平，用電信息采集系統(tǒng)建設(shè)在電力行業(yè)內(nèi)持續(xù)推進，業(yè)務(wù)應(yīng)用不斷深入開展。傳統(tǒng)數(shù)據(jù)采集處理技術(shù)和系統(tǒng)架構(gòu)已經(jīng)無法滿足當(dāng)前業(yè)務(wù)發(fā)展對用電信息采集系統(tǒng)數(shù)據(jù)處理、數(shù)據(jù)應(yīng)用的要求。因此，為滿足系統(tǒng)建設(shè)和發(fā)展要求，需根據(jù)業(yè)務(wù)應(yīng)用需求對用電信息采集系統(tǒng)架構(gòu)進行優(yōu)化。

目前，利用新的信息技術(shù)解決當(dāng)前信息系統(tǒng)面臨的系統(tǒng)性能問題，為系統(tǒng)性能優(yōu)化提供技術(shù)支撐方案，已成為被廣泛采用的方式。新一代信息技術(shù)的代表，大數(shù)據(jù)技術(shù)已從理論研究向?qū)嶋H應(yīng)用發(fā)展，有著豐富的理論基礎(chǔ)和應(yīng)用實例。作為大數(shù)據(jù)平臺中應(yīng)用率最高的技術(shù)Hadoop，已得到了多個領(lǐng)域的研究應(yīng)用，本文通過研究相關(guān)關(guān)鍵技術(shù)，將大數(shù)據(jù)應(yīng)用到用電信息采集系統(tǒng)架構(gòu)優(yōu)化改造中，有針對性的解決當(dāng)前系統(tǒng)存在的問題，為后續(xù)系統(tǒng)推廣應(yīng)用提供可擴展可復(fù)用的架構(gòu)基礎(chǔ)。

2 大數(shù)據(jù)關(guān)鍵技術(shù)研究

圖1 基于Hadoop的考核單元電量計算

用電信息采集系統(tǒng)全覆蓋目標(biāo)實現(xiàn)后，采集數(shù)據(jù)量將呈線性增長，海量數(shù)據(jù)的計算成為一個重要的問題，開源分布式計算平臺Hadoop能夠面向海量數(shù)據(jù)提供高性能存儲、分布式并行處理與計算服務(wù)，具有高容錯性和強擴展性，并在海量數(shù)據(jù)存儲及分布式并行處理方面已得到了廣泛應(yīng)用。為解決用電信息采集系統(tǒng)高并發(fā)大容量采集數(shù)據(jù)實時處理及存儲的問題，基于Hadoop的平臺進行了以下大數(shù)據(jù)關(guān)鍵技術(shù)的研究。

1）分布式計算。

基于Hadoop的海量用電信息分布式計算平臺的構(gòu)建，應(yīng)用于電信息采集系統(tǒng)線損計算服務(wù)，傳統(tǒng)使用串行方式處理時需要數(shù)個小時才能夠完成，使用并行處理方式后可將計算時間大幅降低。除此之外，將計算過程中除數(shù)據(jù)讀取和回寫外的其他環(huán)節(jié)脫離現(xiàn)有oracle數(shù)據(jù)庫，降低頻繁讀寫給現(xiàn)有oracle數(shù)據(jù)庫帶來的壓力。同時，該技術(shù)的應(yīng)用可滿足不斷增長的終端海量數(shù)據(jù)實時處理需求。圖1所示為基于Hadoop分布式框架下的用電信息采集系統(tǒng)考核單元電量計算過程。

2）分布式緩存。

基于分布式緩存技術(shù)可有效解決用電信息采集系統(tǒng)的擴展瓶頸，同時減少對現(xiàn)有關(guān)系數(shù)據(jù)庫的讀寫壓力。系統(tǒng)使用基于分布式文件存儲方法，可以實現(xiàn)每秒3萬條記錄的讀寫，且可以實現(xiàn)并發(fā)處理，結(jié)合BATCH批處理技術(shù)，相比傳統(tǒng)模式的逐條寫入，該設(shè)計能有效解決入庫壓力，可以做到數(shù)據(jù)采集完成同時實現(xiàn)數(shù)據(jù)存儲完成，架構(gòu)調(diào)整完成后數(shù)據(jù)采集入庫的時間可大大縮減，以3000萬用戶規(guī)模為例測算，日凍結(jié)電能示值數(shù)據(jù)采集入庫時間僅需30分鐘。圖2所示為采用分布式緩存的用電信息采集系統(tǒng)數(shù)據(jù)入庫過程。

圖2 用電信息采集系統(tǒng)數(shù)據(jù)采集入庫示意圖

圖3 用電信息采集系統(tǒng)主站優(yōu)化架構(gòu)

3 優(yōu)化設(shè)計

用電信息采集系統(tǒng)架構(gòu)優(yōu)化是在現(xiàn)有系統(tǒng)所有功能的基礎(chǔ)上進行的優(yōu)化及改造。用電信息采集系統(tǒng)總體架構(gòu)由采集對象、通信信道、系統(tǒng)主站等三部分組成，目前系統(tǒng)主站部分則是由傳統(tǒng)架構(gòu)構(gòu)成，系統(tǒng)的讀寫集中，數(shù)據(jù)庫壓力大，許多報表分析以及準(zhǔn)實時分析無法在規(guī)定時間內(nèi)完成。在系統(tǒng)主站部分引入Hadoop分布式存儲和計算框架，且要保留原有的功能架構(gòu)，按照上述關(guān)鍵技術(shù)研究中的分析，在用電信息采集系統(tǒng)中主站架構(gòu)中采用大數(shù)據(jù)分布式計算架構(gòu)和傳統(tǒng)關(guān)系型數(shù)據(jù)庫并存的模式，將Hadoop分布式計算框架作為現(xiàn)有主站系統(tǒng)的補充。通過對主站系統(tǒng)現(xiàn)有功能進行重新規(guī)劃，以提升系統(tǒng)的整體性能。

優(yōu)化架構(gòu)將原有主站系統(tǒng)僅有生產(chǎn)數(shù)據(jù)庫的架構(gòu)擴展為由生產(chǎn)數(shù)據(jù)庫、業(yè)務(wù)應(yīng)用庫、歷史數(shù)據(jù)庫、及大數(shù)據(jù)分布式集群構(gòu)成的新架構(gòu)。通過從業(yè)務(wù)層面對業(yè)務(wù)進行切割，對現(xiàn)有業(yè)務(wù)和后期需要業(yè)務(wù)進行統(tǒng)計，切割出適合傳統(tǒng)數(shù)據(jù)庫架構(gòu)上運行的事務(wù)處理業(yè)務(wù)和適合大數(shù)據(jù)技術(shù)架構(gòu)上的分析統(tǒng)計業(yè)務(wù)，從而減輕生產(chǎn)數(shù)據(jù)庫的壓力。如圖3所示，前置采集服務(wù)器集群將采集到的用戶用電信息數(shù)據(jù)同時寫入原有生產(chǎn)數(shù)據(jù)庫和分布式計算集群中。

1）生產(chǎn)數(shù)據(jù)庫。

保留主站原有生產(chǎn)數(shù)據(jù)庫，將部分功能剝離出去，僅應(yīng)用于系統(tǒng)采集數(shù)據(jù)的入庫。生產(chǎn)數(shù)據(jù)庫側(cè)重于數(shù)據(jù)寫入操作，以及與現(xiàn)場交互性較強，對時效性要求高的數(shù)據(jù)查詢、業(yè)務(wù)操作類應(yīng)用功能，如電價下發(fā)、電價巡檢、實時費控等業(yè)務(wù)。作為數(shù)據(jù)采集唯一數(shù)據(jù)源，原則上，生產(chǎn)數(shù)據(jù)庫存儲最近3-6個月的數(shù)據(jù)。

2）業(yè)務(wù)應(yīng)用庫。

用于采集數(shù)據(jù)的應(yīng)用和統(tǒng)計分析，側(cè)重于數(shù)據(jù)的讀取以及上層的統(tǒng)計分析操作，為其他業(yè)務(wù)系統(tǒng)提供統(tǒng)一數(shù)據(jù)接口。原則上業(yè)務(wù)應(yīng)用庫存儲數(shù)據(jù)范圍包括從生產(chǎn)庫同步的原始采集數(shù)據(jù)、全部檔案數(shù)據(jù)以及通過統(tǒng)計分析計算出來的報表數(shù)據(jù)。通過數(shù)據(jù)庫復(fù)制軟件，實現(xiàn)生產(chǎn)數(shù)據(jù)庫和業(yè)務(wù)應(yīng)用庫的數(shù)據(jù)實時同步，統(tǒng)計分析數(shù)據(jù)則由業(yè)務(wù)應(yīng)用庫和分布式計算環(huán)境產(chǎn)生。

3）歷史數(shù)據(jù)庫。

歷史數(shù)據(jù)庫主要分擔(dān)生產(chǎn)庫、業(yè)務(wù)應(yīng)用庫數(shù)據(jù)存儲壓力，保證生產(chǎn)數(shù)據(jù)庫、應(yīng)用分析數(shù)據(jù)庫不因數(shù)據(jù)量過大而造成性能的下降。歷史數(shù)據(jù)庫原則上只保留業(yè)務(wù)應(yīng)用庫之前的原始采集數(shù)據(jù)（3年以前的數(shù)據(jù)）。歷史庫數(shù)據(jù)與業(yè)務(wù)應(yīng)用庫數(shù)據(jù)同步可采用ETL數(shù)據(jù)抽取、存儲過程定時抽取等方式進行定時同步。

4）大數(shù)據(jù)分布式集群。

大數(shù)據(jù)分布式集群負(fù)責(zé)對數(shù)據(jù)存儲層的基礎(chǔ)數(shù)據(jù)進行分析計算，為上層業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。前置采集服務(wù)器集群采集到的用戶用電信息數(shù)據(jù)通過流計算的方式寫入大數(shù)據(jù)分布式計算集群。通過實現(xiàn)海量數(shù)據(jù)實時處理及布式存儲架構(gòu)，滿足不斷增長的終端帶來的海量數(shù)據(jù)實時處理需求。

4 應(yīng)用效果

用電信息采集系統(tǒng)架構(gòu)優(yōu)化選擇分布式并行計算、分布式存儲等大數(shù)據(jù)關(guān)鍵技術(shù)對系統(tǒng)主站架構(gòu)進行改造，提升了用電信息采集系統(tǒng)整體性能，使之具備接入大量用戶的能力，并具備了實現(xiàn)“全覆蓋、全采集、全費控“目標(biāo)的數(shù)據(jù)處理能力。

1）讀寫分離。

將大數(shù)據(jù)分布式集群加入用電信息采集系統(tǒng)主站架構(gòu)中，實現(xiàn)了系統(tǒng)的讀寫分離。將對數(shù)據(jù)庫讀和寫的操作分離開，分別對應(yīng)不同的數(shù)據(jù)庫服務(wù)器進行操作，有效地減輕數(shù)據(jù)庫壓力及I/O壓力。生產(chǎn)數(shù)據(jù)庫主要進行寫操作，大數(shù)據(jù)分布式計算集群及業(yè)務(wù)應(yīng)用庫主要進行讀操作。當(dāng)生產(chǎn)數(shù)據(jù)庫進行寫操作時，數(shù)據(jù)同步至分布式計算集群及業(yè)務(wù)應(yīng)用庫，有效保證數(shù)據(jù)完整性。通過大數(shù)據(jù)分布式集群的引入，將統(tǒng)計分析類業(yè)務(wù)分割出去，實現(xiàn)采集平臺和應(yīng)用平臺的分離，有效的解決系統(tǒng)規(guī)模的不斷增長導(dǎo)致的業(yè)務(wù)高峰時段的數(shù)據(jù)庫運行效率緩慢問題，提升了系統(tǒng)性能。

2）系統(tǒng)架構(gòu)可擴展。

在用電信息采集系統(tǒng)架構(gòu)調(diào)整過程中，將大數(shù)據(jù)分布式計算集群作為系統(tǒng)的補充引入原有的架構(gòu)，原有架構(gòu)功能保持不變，保證了用電信息采集系統(tǒng)在架構(gòu)調(diào)整期間不受影響正常使用，也使得系統(tǒng)架構(gòu)具有可擴展性。大數(shù)據(jù)分布式計算集群具有物理設(shè)備靈活部署的特點，作為架構(gòu)中可靈活擴展的一部分，為后續(xù)系統(tǒng)面對不斷增長擴大的業(yè)務(wù)需求進行架構(gòu)優(yōu)化提供了擴展基礎(chǔ)。

3）提升數(shù)據(jù)分析能力。

結(jié)合用電信息采集系統(tǒng)海量數(shù)據(jù)環(huán)境、業(yè)務(wù)發(fā)展趨勢以及日益增長的決策分析需求，通過引入Hadoop平臺，在架構(gòu)中運用分布式并行計算、分布式存儲等技術(shù)，大幅提升了用電信息采集系統(tǒng)的計算效率，有效解決了系統(tǒng)中統(tǒng)計類業(yè)務(wù)的計算及時性及數(shù)據(jù)完整性問題，提升了系統(tǒng)的數(shù)據(jù)分析能力。

5 結(jié)論

大數(shù)據(jù)技術(shù)的引入已經(jīng)成為解決用電信息采集系統(tǒng)瓶頸和業(yè)務(wù)高要求的重要手段。用電信息采集系統(tǒng)的數(shù)據(jù)量大、效率要求高的需求特點也迎合了大數(shù)據(jù)的技術(shù)特點。完善用電信息采集系統(tǒng)大數(shù)據(jù)平臺的建設(shè)將會給系統(tǒng)帶來更高的用戶體驗度。用電信息采集系統(tǒng)也可作為試點，為電力行業(yè)其他信息系統(tǒng)的發(fā)展指引方向，為電力大數(shù)據(jù)平臺的建設(shè)發(fā)展提供應(yīng)用基礎(chǔ)。

[1]宋亞奇，周國亮，朱永利.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].電網(wǎng)技術(shù)，2013.

[2]程學(xué)旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學(xué)報，2014.

[3]任仁.Hadoop在大數(shù)據(jù)處理中的應(yīng)用優(yōu)勢分析[J].電子技術(shù)與軟件工程，2014.

[4]黃偉，龐琳，曹彬，等.基于數(shù)據(jù)級任務(wù)分解的配電網(wǎng)分布式并行計算平臺[J].電網(wǎng)技術(shù)，2014.

[5]張迎.智能用電信息采集管理系統(tǒng)優(yōu)化研究[D].華北電力大學(xué)，2013.

TP3

A

1674-6708（2015）149-0116-03

楊懿，工程師，從事營銷信息系統(tǒng)運維工作