分布式海量時序數(shù)據(jù)管理平臺研究

喻 宜，呂志來，齊國印

?

分布式海量時序數(shù)據(jù)管理平臺研究

喻 宜，呂志來，齊國印

(北京許繼電氣有限公司，北京 100085)

為了解決電力大數(shù)據(jù)環(huán)境下目前數(shù)據(jù)庫產(chǎn)品無法高效管理海量時序類型數(shù)據(jù)難題，引入當(dāng)前主流的分布式技術(shù)架構(gòu)實現(xiàn)了真正意義分布式架構(gòu)GAIA海量時序數(shù)據(jù)管理平臺，保證系統(tǒng)更加穩(wěn)定、可靠。采用具有可配置層次關(guān)系結(jié)構(gòu)的模型中心來解決海量測點的管理問題?；跁r間分片、事件驅(qū)動的前置數(shù)據(jù)采集系統(tǒng)有效解決海量終端的實時數(shù)據(jù)采集性能問題。從而能夠提高大規(guī)模時序數(shù)據(jù)的管理能力，滿足電力行業(yè)數(shù)據(jù)管理平臺的要求，大力推進(jìn)電力行業(yè)信息化發(fā)展。

電力大數(shù)據(jù)；實時數(shù)據(jù)庫；分布式存儲；信息化

0 引言

隨著國家電網(wǎng)公司堅強(qiáng)智能電網(wǎng)建設(shè)的逐步推進(jìn)，尤其是各類信息化項目的試點與推廣，大量實時數(shù)據(jù)得以產(chǎn)生，繼而沉淀生成海量的歷史數(shù)據(jù)，電力大數(shù)據(jù)時代已經(jīng)到來。這些海量實時/歷史數(shù)據(jù)是推動智能電網(wǎng)進(jìn)一步發(fā)展的重要基礎(chǔ)，同時，實現(xiàn)海量實時/歷史數(shù)據(jù)的高效管理也是推進(jìn)電網(wǎng)建設(shè)的關(guān)鍵。解決大規(guī)模時序數(shù)據(jù)的快速存儲和訪問處理難題，有效提高大規(guī)模時序數(shù)據(jù)管理能力是電力企業(yè)面臨的重要課題。為此，數(shù)據(jù)采集技術(shù)[1-2]、分布式數(shù)據(jù)存儲技術(shù)[3-5]及實時數(shù)據(jù)庫技術(shù)[6-8]得以不斷改進(jìn)與發(fā)展。

國外的實時數(shù)據(jù)庫主要有OSI公司的PI、ASPENTECH公司的IP21、HONEYWELL公司的PHD、WONDERWAR公司的HISTORIAN等，國內(nèi)的實時數(shù)據(jù)庫主要有SUPCON公司的ESP-ISYS，中國科學(xué)院研制的AGILOR，麥杰科技的OPENPLANT實時數(shù)據(jù)庫等。

當(dāng)前已有的實時數(shù)據(jù)庫產(chǎn)品以集中式架構(gòu)為主，在單臺數(shù)據(jù)服務(wù)器上完成實時數(shù)據(jù)的管理；部分的實時數(shù)據(jù)庫產(chǎn)品支持分布式架構(gòu)，但服務(wù)器節(jié)點之間的數(shù)據(jù)處理工作仍然各自獨立，數(shù)據(jù)處理技術(shù)難以適應(yīng)快速的需求增長。文獻(xiàn)[9]從實時性、可靠性和對IEC61970標(biāo)準(zhǔn)的支持3個方面闡述了EMS對實時數(shù)據(jù)庫管理系統(tǒng)的要求，研究了新一代分布式面向?qū)ο髮崟r數(shù)據(jù)庫管理系統(tǒng)。文獻(xiàn)[10]提出了入侵容忍的數(shù)據(jù)庫體系結(jié)構(gòu)，從應(yīng)用層面探討了下一代數(shù)據(jù)庫系統(tǒng)的架構(gòu)方式。文獻(xiàn)[11]提出一種針對智能電網(wǎng)中基于IEC61970標(biāo)準(zhǔn)的實時數(shù)據(jù)庫中數(shù)據(jù)的完整性恢復(fù)算法——RDIR算法，縮短了數(shù)據(jù)庫恢復(fù)所用的時間，提高了實時數(shù)據(jù)庫系統(tǒng)的生存性。文獻(xiàn)[12]研究了基于云技術(shù)的數(shù)據(jù)檢索機(jī)制。

但是目前的實時數(shù)據(jù)庫產(chǎn)品主要存在以下幾個方面的問題：

1) 沒有實現(xiàn)真正意義的分布式架構(gòu)，數(shù)據(jù)的可擴(kuò)展性和穩(wěn)定性差。

2) 簡單的平面化測點模型結(jié)構(gòu)難以應(yīng)對上層應(yīng)用對海量時序數(shù)據(jù)的數(shù)據(jù)挖掘處理需求。

3) 難以適應(yīng)基于物聯(lián)網(wǎng)的海量智能終端數(shù)據(jù)采集，包括數(shù)據(jù)源的多樣性和海量終端采集處理性能瓶頸。

4) 缺乏靈活有效的數(shù)據(jù)安全保障機(jī)制。

本文設(shè)計的GAIA海量時序數(shù)據(jù)管理平臺結(jié)合當(dāng)前主流的分布式技術(shù)和架構(gòu)，實現(xiàn)了真正意義的分布式架構(gòu)，系統(tǒng)更加穩(wěn)定、可靠；采用具有可配置層次關(guān)系結(jié)構(gòu)的模型中心來解決海量測點的管理問題；基于時間分片、事件驅(qū)動的前置數(shù)據(jù)采集系統(tǒng)有效解決海量終端的實時數(shù)據(jù)采集性能問題；平臺的控制中心有專門的權(quán)限管理程序，采用基于角色的訪問控制靈活地進(jìn)行系統(tǒng)權(quán)限管理。

GAIA分布式海量時序數(shù)據(jù)管理平臺更加符合電力行業(yè)對時序數(shù)據(jù)管理平臺的主流要求，整體系統(tǒng)功能更加貼近用戶需求，具有很大的應(yīng)用前景和市場競爭力。文中給出了GAIA分布式海量時序數(shù)據(jù)管理平臺的體系架構(gòu)，主要構(gòu)成模塊，并對主要的平臺功能進(jìn)行了詳細(xì)介紹。

1 平臺體系架構(gòu)

系統(tǒng)總體上采用了主流分布式處理架構(gòu)，由多個實時數(shù)據(jù)庫和外圍管理工具構(gòu)成企業(yè)的實時數(shù)據(jù)管理平臺，并且提供多種數(shù)據(jù)庫訪問接口以滿足不同的應(yīng)用需求。分為分布式實時數(shù)據(jù)庫系統(tǒng)、監(jiān)控應(yīng)用開發(fā)平臺、監(jiān)控應(yīng)用運行平臺，軟件架構(gòu)如圖1所示。

核心部分是分布式實時數(shù)據(jù)庫系統(tǒng)，它采用三層體系結(jié)構(gòu)，即數(shù)據(jù)采集接口層、實時數(shù)據(jù)管理服務(wù)層和應(yīng)用接口層，采用X86分布式集群技術(shù)和分布式存儲技術(shù)，利用多臺高檔的PC服務(wù)器構(gòu)建的數(shù)據(jù)庫集群，為業(yè)務(wù)系統(tǒng)提供強(qiáng)勁、穩(wěn)固的后臺系統(tǒng)；采用分布式網(wǎng)絡(luò)存儲技術(shù)將數(shù)據(jù)分散的存儲于多臺獨立的機(jī)器設(shè)備上；并采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，實現(xiàn)分布式網(wǎng)絡(luò)存儲。解決傳統(tǒng)集中式存儲系統(tǒng)中單存儲服務(wù)器的瓶頸問題，并提高了系統(tǒng)的可靠性、可用性和擴(kuò)展性。

平臺還采用可靈活配置的通用層次結(jié)構(gòu)模型中心，可以通過配置滿足不同上層應(yīng)用業(yè)務(wù)需求。

2 平臺模塊構(gòu)成

GAIA分布式海量時序數(shù)據(jù)管理平臺主要包括四個組成部分：GAIA FES數(shù)據(jù)采集服務(wù)、GAIA HDB分布式實時庫、GAIA客戶端產(chǎn)品、GAIA維護(hù)工作站產(chǎn)品，具體模塊分布如圖2所示。

2.1 GAIA FES數(shù)據(jù)采集服務(wù)

GAIA FES可實現(xiàn)從廠站自動控制系統(tǒng)和廠站管理數(shù)據(jù)源獲取準(zhǔn)實時數(shù)據(jù)與管理數(shù)據(jù)，經(jīng)過預(yù)處理與過濾后傳送到『GAIA HDB』或者上級數(shù)據(jù)中心；支持?jǐn)?shù)據(jù)的壓縮存儲；支持SOE功能；支持圖形化與表格化瀏覽。

2.2 GAIA HDB分布式實時庫服務(wù)

GAIA HDB提供高效快速的數(shù)據(jù)存儲和訪問，實現(xiàn)屏蔽不同數(shù)據(jù)特性的透明數(shù)據(jù)支持；支持多種標(biāo)準(zhǔn)數(shù)據(jù)庫訪問驅(qū)動(例如OPCSVR，ADO.NET DRIVER，DDESVR，)；制定了模型驅(qū)動的數(shù)據(jù)壓縮存儲策略。

2.3 GAIA客戶端產(chǎn)品

GAIA SDK提供豐富的二次開發(fā)支撐，支持大量的標(biāo)準(zhǔn)數(shù)據(jù)訪問接口以及工業(yè)化的高效實時信息訪問接口GAIA HOTLINK API；GAIA REPORT實現(xiàn)可定制的實時信息報表功能；GAIA VIEWER實現(xiàn)豐富的圖形化數(shù)據(jù)表現(xiàn)；GAIA PORTAL實現(xiàn)數(shù)據(jù)中心信息的WEB發(fā)布。

2.4 GAIA維護(hù)工作站產(chǎn)品

GAIA MODEL實現(xiàn)數(shù)據(jù)中心模型驅(qū)動元數(shù)據(jù)定義；GAIA EASYWEB實現(xiàn)可視化的數(shù)據(jù)圖形表現(xiàn)界面定義。

3 平臺主要功能

3.1 前置通信網(wǎng)關(guān)

GAIA分布式海量時序數(shù)據(jù)管理平臺的前置通信網(wǎng)關(guān)(GAIA_FES)能夠屏蔽各種底層軟硬件設(shè)施及實際通信環(huán)境的差異，使系統(tǒng)內(nèi)功能模塊得以靈活部署，處于復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)的系統(tǒng)間得以簡便互聯(lián)。針對各種具體的底層網(wǎng)絡(luò)硬件，在具體部署時，會從“介質(zhì)處理庫”中加載相應(yīng)的處理模塊，目前GAIA_FES 中的“介質(zhì)庫”中有：以太網(wǎng)TCP服務(wù)端，以太網(wǎng)TCP客戶端，以太網(wǎng)UDP(單播，組播)，串口RS232(RS485)，LONWORKS，CAN等多種媒介處理模塊。

網(wǎng)絡(luò)通信與數(shù)據(jù)傳輸采用動態(tài)平衡雙網(wǎng)技術(shù)，對底層網(wǎng)絡(luò)數(shù)據(jù)傳輸進(jìn)行封裝，實現(xiàn)服務(wù)器和工作站各個節(jié)點之間透明的網(wǎng)絡(luò)數(shù)據(jù)傳輸，同時可以監(jiān)視網(wǎng)絡(luò)流量、網(wǎng)絡(luò)傳輸異常，并自動進(jìn)行告警。

GAIA FES前置通信網(wǎng)關(guān)采用基于時間分片異步通信處理框架模式，極大提高數(shù)據(jù)采集并發(fā)處理性能，并簡化了通信插件的編寫和調(diào)試；同時提供數(shù)據(jù)緩存功能，數(shù)據(jù)庫服務(wù)器停機(jī)或網(wǎng)絡(luò)中斷時，接口機(jī)可以將數(shù)據(jù)緩存在本地，等數(shù)據(jù)庫服務(wù)器工作正?；蚓W(wǎng)絡(luò)連通后，自動將緩存的數(shù)據(jù)發(fā)送到數(shù)據(jù)庫服務(wù)器。

3.2 集群管理

集群管理是GAIA分布式時序數(shù)據(jù)管理平臺提供的最主要功能之一，主要負(fù)責(zé)對實時數(shù)據(jù)庫服務(wù)節(jié)點的集群管理，其子功能如圖3所示。

圖3 集群管理功能

1) 主節(jié)點選舉：為保證管理平臺數(shù)據(jù)的順序一致性、原子性、在平臺中處于主導(dǎo)地位的節(jié)點，系統(tǒng)通過Raft一致性算法保證系統(tǒng)內(nèi)只有一個主服務(wù)節(jié)點，其他都為從節(jié)點。

2) 名字服務(wù)與透明訪問：通過創(chuàng)建節(jié)點接口，能夠創(chuàng)建一個全局唯一容易管理維護(hù)的路徑，這個路徑就可以作為一個名稱對外提供訪問，各個應(yīng)用程序或節(jié)點不關(guān)心服務(wù)在哪里，只要通過名字服務(wù)就能進(jìn)行網(wǎng)絡(luò)通信。

3) 配置管理：實現(xiàn)由配置服務(wù)器統(tǒng)一配置，一旦配置發(fā)生變化，及時廣播，如果是本節(jié)點的配置，及時同步配置，達(dá)到全網(wǎng)配置一致性。解決熱加載問題(熱加載：程序更改配置，不需重啟就能快速響應(yīng))。

4) 分布式同步：系統(tǒng)必須在原子廣播的模式下工作，一旦各個服務(wù)狀態(tài)同步后，即可進(jìn)入廣播模式，保證每個服務(wù)的狀態(tài)一致性。當(dāng)服務(wù)啟動或者在領(lǐng)導(dǎo)者崩潰后，就進(jìn)入了恢復(fù)模式，當(dāng)新的領(lǐng)導(dǎo)者被選舉出來后，即可完成狀態(tài)的同步，保證系統(tǒng)實時性。

5) 資源監(jiān)視：實現(xiàn)對節(jié)點、應(yīng)用等資源的監(jiān)視，包括集群狀態(tài)監(jiān)視、機(jī)器節(jié)點監(jiān)視、參數(shù)配置和報警監(jiān)視。

6) 備份恢復(fù)：為了防止數(shù)據(jù)的失效、數(shù)據(jù)的丟失等事件的發(fā)生，就必然要考慮數(shù)據(jù)的有效保護(hù)方式。特別是遇到人為的或自然災(zāi)害的情況下，能夠通過備份內(nèi)容對系統(tǒng)進(jìn)行有效的災(zāi)難恢復(fù)。

3.3 實時歷史數(shù)據(jù)庫

GAIA HDB采用自主開發(fā)的『X-STEP』壓縮算法，將無損壓縮和有損壓縮相結(jié)合，大大節(jié)省了硬盤空間，延長了在線數(shù)據(jù)年限(軟件本身可以支持的數(shù)據(jù)存儲年限沒有限制)。

歷史數(shù)據(jù)管理主要負(fù)責(zé)存儲測點的歷史值和歷史狀態(tài)，提供高效可靠的歷史數(shù)據(jù)訪問和存儲服務(wù)。采用時態(tài)數(shù)據(jù)模型，其存儲分為三級：歷史數(shù)據(jù)緩沖池、當(dāng)前歷史數(shù)據(jù)文件隊列和歷史數(shù)據(jù)歸檔文件，分別記錄現(xiàn)場準(zhǔn)實時數(shù)據(jù)的近期、中期和遠(yuǎn)期數(shù)據(jù)。

GAIA分布式海量時序數(shù)據(jù)管理平臺的歷史數(shù)據(jù)管理采用異步存儲方式，即數(shù)據(jù)存儲操作只需將歷史數(shù)據(jù)追加在歷史數(shù)據(jù)緩沖隊列的末尾就立即返回，然后再由系統(tǒng)的內(nèi)部工作線程將歷史數(shù)據(jù)緩沖隊列的數(shù)據(jù)寫入歷史數(shù)據(jù)緩沖池，可以避免文件操作和數(shù)據(jù)封鎖帶來的不可預(yù)測的時間延遲。

3.4 模型中心

根據(jù)以往實時庫在數(shù)據(jù)中心和生產(chǎn)管理系統(tǒng)中的應(yīng)用，沒有關(guān)系模型的實時庫很難對海量數(shù)據(jù)進(jìn)行有效數(shù)據(jù)分析與挖掘處理，因為缺少了數(shù)據(jù)之間的邏輯關(guān)系。模型中心結(jié)合電力系統(tǒng)的特點和CIM模型在電力系統(tǒng)的應(yīng)用，配置為通用樹形層次結(jié)構(gòu)關(guān)系模型，充分滿足各種上層應(yīng)用業(yè)務(wù)系統(tǒng)需求。如圖4所示，它包括模型管理和模型服務(wù)模塊，模型管理可以根據(jù)不同業(yè)務(wù)需求對設(shè)備和測點的相關(guān)屬性進(jìn)行擴(kuò)展定義。

圖4 模型中心功能

GAIA分布式海量時序數(shù)據(jù)管理平臺的測點配置管理可在不停止系統(tǒng)運行，同時不影響系統(tǒng)正常運行的條件下對測點進(jìn)行基本維護(hù)管理，包括添加、修改測點的數(shù)據(jù)信息(名稱、描述、狀態(tài)、限值，量程、壓縮精度)和刪除測點等。此外，還可提供測點的數(shù)據(jù)來源信息；支持測點信息以固定格式(文本、EXCEL等)的批量導(dǎo)入/導(dǎo)出。

3.5 計算服務(wù)管理

GAIA分布式海量時序數(shù)據(jù)管理平臺的計算規(guī)則庫模塊實現(xiàn)對計算規(guī)則的設(shè)置與管理，同時支持用戶自定義算法的調(diào)用。

可以根據(jù)用戶需求提供在線計算引擎，引擎通過時間、優(yōu)先級等配置策略，調(diào)用腳本引擎執(zhí)行對應(yīng)的計算算法，對系統(tǒng)采集的狀態(tài)和數(shù)值進(jìn)行各種統(tǒng)計計算，生成計算結(jié)果，并作為測點的結(jié)果值和狀態(tài)轉(zhuǎn)存到數(shù)據(jù)庫中，用戶可調(diào)用和查詢統(tǒng)計結(jié)果。

3.6 報警服務(wù)管理

報警服務(wù)是GAIA分布式海量時序數(shù)據(jù)管理平臺的基本功能。GAIA報警管理可實現(xiàn)報警項配置、設(shè)定閾值、級別設(shè)定、報警信息統(tǒng)計查詢、定時檢查匯報等功能，保證系統(tǒng)安全、穩(wěn)定運行。

3.7 安全保障機(jī)制

在實時數(shù)據(jù)庫管理系統(tǒng)安全方面，平臺的控制中心有專門的權(quán)限管理系統(tǒng)，能夠靈活地進(jìn)行權(quán)限管理。權(quán)限管理系統(tǒng)模型采用基于角色的訪問控制RBAC(Role-Based policies Access Control)模型中的基本模型RBAC0，由數(shù)據(jù)庫管理員將用戶進(jìn)行分類，對不同的用戶賦予不同的訪問權(quán)限，并根據(jù)實際情況做出權(quán)限調(diào)整，以支持用戶對數(shù)據(jù)的存取授權(quán)和控制。同時，針對越權(quán)使用資源的行為提供了防御措施。

3.8 二次開發(fā)接口

GAIA分布式海量時序數(shù)據(jù)管理平臺提供了靈活的消息獲取接口，如信息查詢、追加接口，測點管理接口，提供二次開發(fā)接口，以API/SDK的方式提供函數(shù)調(diào)用接口等，并且接口對目前主流開發(fā)語言(包括C/C++/JAVA/PATHON/C#/VB/RUBY等)均提供有效支持，因此通過客戶端可方便開發(fā)或集成新應(yīng)用。

此外，GAIA分布式海量時序數(shù)據(jù)管理平臺提供基于數(shù)據(jù)存儲和通用數(shù)據(jù)服務(wù)之上的應(yīng)用服務(wù)。包括報警、性能公式、總加器、第三方函數(shù)動態(tài)鏈接庫，該應(yīng)用服務(wù)保證了用戶獲得其桌面計算機(jī)應(yīng)用所需的信息，而不用在客戶端進(jìn)行復(fù)雜運算。

4 結(jié)論

文中設(shè)計的GAIA分布式海量時序數(shù)據(jù)管理平臺結(jié)合當(dāng)前主流的分布式技術(shù)和架構(gòu)，實現(xiàn)了國產(chǎn)實時數(shù)據(jù)庫真正意義上的分布式架構(gòu)，解決了傳統(tǒng)集中式存儲系統(tǒng)中單存儲服務(wù)器的瓶頸問題，提高了系統(tǒng)的穩(wěn)定性、可靠性；采用具有層次關(guān)系結(jié)構(gòu)的模型中心解決了海量測點的復(fù)雜管理問題；基于時間分片事件驅(qū)動的前置數(shù)據(jù)采集系統(tǒng)有效解決了海量智能終端的實時數(shù)據(jù)采集問題；平臺的控制中心有專門的權(quán)限管理程序，采用基于角色的訪問控制能夠靈活地進(jìn)行權(quán)限管理。

目前該平臺已經(jīng)成功應(yīng)用到國網(wǎng)山東省電力公司配電網(wǎng)能效管理項目中，面對山東全省17地市(包括97個縣)，有效解決了近4萬臺智能臺區(qū)終端數(shù)據(jù)(約1300萬測點)的采集、存儲和管理應(yīng)用難題，有力保障整個能效管理系統(tǒng)的高效、穩(wěn)定運行。

[1] 高強(qiáng), 王霖. 基于GSIG的分布式電源信息采集模型[J].電力系統(tǒng)保護(hù)與控制, 2016, 44(5): 55-59.

GAO Qiang, WANG Lin. Research on information acquisition model of distributed generation based on GSIG[J]. Power System Protection and Control, 2016, 44(5): 55-59.

[2] 暢廣輝, 鎬俊杰, 劉寶江, 等. 電網(wǎng)調(diào)控信息智能分級采集系統(tǒng)的研究與開發(fā)[J]. 電力系統(tǒng)保護(hù)與控制, 2015, 43(6): 115-120.

CHANG Guanghui, HAO Junjie, LIU Baojiang, et al. Research and development of intelligent and classified collection system for electric power dispatching and control information[J]. Power System Protection and Control, 2015, 43(6): 115-120.

[3] 金小明, 吳鴻亮, 周保榮, 等. 電網(wǎng)規(guī)劃運行數(shù)據(jù)庫與集成管理平臺的設(shè)計與實現(xiàn)[J]. 電力系統(tǒng)保護(hù)與控制, 2015, 43(15): 126-131.

JIN Xiaoming, WU Hongliang, ZHOU Baorong, et al. Design and implementation of integrated database management platform for power grid planning and operation[J]. Power System Protection and Control, 2015, 43(15): 126-131.

[4] 張少敏, 李曉強(qiáng), 王保義. 基于Hadoop的智能電網(wǎng)數(shù)據(jù)安全存儲設(shè)計[J]. 電力系統(tǒng)保護(hù)與控制, 2013, 41(14): 136-140.

ZHANG Shaomin, LI Xiaoqiang, WANG Baoyi. Design of data security storage in smart grid based on Hadoop[J]. Power System Protection and Control, 2013, 41(14): 136-140.

[5] 楊宇. 分布式存儲系統(tǒng)中海量文件隨機(jī)存取技術(shù)研究[D]. 北京: 北京郵電大學(xué), 2015.

YANG Yu. Research on random access technologies for massive files in distributed storage system[D]. Beijing: Beijing University of Posts and Telecommunications, 2015.

[6] 劉應(yīng)波. 太陽望遠(yuǎn)鏡海量數(shù)據(jù)存儲關(guān)鍵技術(shù)研究[D].云南: 中國科學(xué)院研究生院(云南天文臺), 2014.

LIU Yingbo. Research on the key technologies of massive data storage for solar telescope[D]. Yunnan: The University of Chinese Academy of Sciences (Yunnan Observatories), 2014.

[7] 翟明玉, 王瑾, 吳慶曦, 等. 電網(wǎng)調(diào)度廣域分布式實時數(shù)據(jù)庫系統(tǒng)體系架構(gòu)和關(guān)鍵技術(shù)[J]. 電力系統(tǒng)自動化, 2013, 37(2): 67-71.

ZHAI Mingyu, WANG Jin, WU Qingxi, et al. Architecture and key technologies of wide-area distributed real-time database system for power dispatching automation system[J]. Automation of Electric Power Systems, 2013, 37(2): 67-71.

[8] 張嶄. 基于組態(tài)軟件的電力系統(tǒng)實時數(shù)據(jù)庫設(shè)計與實現(xiàn)[D]. 北京: 中國科學(xué)院大學(xué), 2014.

ZHANG Zhan. Design and implementation of power system real-time database based on configuration software[D]. Beijing: The University of Chinese Academy of Sciences, 2014.

[9] 姚陽春, 柴世友, 呂行, 等. 新一代分布式面向?qū)ο髮崟r數(shù)據(jù)庫管理系統(tǒng)[J]. 電網(wǎng)技術(shù), 2007, 31(增刊2): 284-287.

YAO Chunyang, CHAI Shiyou, Lü Xing, et al. New generation of distributed object-oriented real-time database management system[J]. Power System Technology, 2007, 31(S2): 284-287.

[10] 陳池, 馮登國, 徐震. 數(shù)據(jù)庫事務(wù)恢復(fù)日志和入侵響應(yīng)模型研究[J]. 計算機(jī)研究與發(fā)展, 2010, 47(10): 1797-1804.

CHEN Chi, FENG Dengguo, XU Zhen. Research on database transaction recovery log and intrusion response[J]. Journal of Computer Research and Development, 2010, 47(10): 1797-1804.

[11] 張少敏, 李志熊, 王寶義. 一種面向智能電網(wǎng)的實時數(shù)據(jù)庫數(shù)據(jù)完整性恢復(fù)方法[J]. 電力系統(tǒng)自動化, 2013, 37(13): 93-98.

ZHANG Shaomin, LI Zhixiong, WANG Baoyi. A data integrity recovery method in real-time database for smart grid[J]. Automation of Electric Power Systems, 2013, 37(13): 93-98.

[12] 錢益舟. 基于云技術(shù)分布式實時數(shù)據(jù)庫高性能數(shù)據(jù)存儲檢索機(jī)制的研究[D]. 杭州: 浙江大學(xué), 2012.

QIAN Yizhou. Research of high performance data stroage and retrieval of distributed realtime database based on cloud computing technology[D]. Hangzhou: Zhejiang University, 2012.

(編輯 周金梅)

Research on distributed large-scale time seriesdata management platform

YU Yi, Lü Zhilai, QI Guoyin

(Beijing XJ Electric Co., Ltd., Beijing 100085, China)

To solve problem that current database is unable to manage large-scale time series data efficiently under power big data environment, the GAIA distributed large-scale time series data management platform using popular distributed architecture is established, to ensure stability and reliability of system. It uses model center of configurable hierarchical relation to solve problem for large-scale measure point management. It adopts event-driven and time slicing technology to effectively solve the problem for performance of large-scale terminal real time data acquisition. The proposed platform can greatly improve the capabilities to manage large-scale time series data, meet the requirements of the power industry data management platform and vigorously promote the development of electric power industry information.

power big data; real-time database; distributed storage; information technology

10.7667/PSPC160792

2016-04-16

喻 宜(1972-)，男，通信作者，碩士，工程師，從事電力系統(tǒng)自動化、信息化研究工作；E-mail: yuyi98@163.com呂志來(1973-)，男，博士，高級工程師，從事電力系統(tǒng)自動化、信息化研究工作；E-mail: helen_lr@163.com 齊國印(1981-)，男，學(xué)士，工程師，從事電力系統(tǒng)自動化工作。E-mail: qiguoyin81@163.com