海量數(shù)據(jù)管理平臺(tái)統(tǒng)一接入訪問(wèn)工具的設(shè)計(jì)與實(shí)現(xiàn)

費(fèi)冬虎, 陸生兵, 李也白, 丁學(xué)峰

(國(guó)網(wǎng)浙江長(zhǎng)興縣供電公司, 浙江 長(zhǎng)興 313100)

海量數(shù)據(jù)管理平臺(tái)統(tǒng)一接入訪問(wèn)工具的設(shè)計(jì)與實(shí)現(xiàn)

費(fèi)冬虎, 陸生兵, 李也白, 丁學(xué)峰

(國(guó)網(wǎng)浙江長(zhǎng)興縣供電公司, 浙江 長(zhǎng)興 313100)

簡(jiǎn)要介紹了實(shí)時(shí)數(shù)據(jù)庫(kù)的特點(diǎn)及數(shù)據(jù)在實(shí)時(shí)庫(kù)中的存儲(chǔ)結(jié)構(gòu),利用關(guān)系數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)的核心技術(shù),實(shí)現(xiàn)了海量數(shù)據(jù)管理平臺(tái)對(duì)準(zhǔn)實(shí)時(shí)數(shù)據(jù)的統(tǒng)一接入、存儲(chǔ)、共享及訪問(wèn);著重介紹了3種海量數(shù)據(jù)接入方式的設(shè)計(jì)與實(shí)現(xiàn),并分析了各種數(shù)據(jù)接入方式的適用范圍.

實(shí)時(shí)數(shù)據(jù)庫(kù); 海量數(shù)據(jù)管理平臺(tái); 訪問(wèn)工具

隨著國(guó)家電網(wǎng)公司堅(jiān)強(qiáng)智能電網(wǎng)建設(shè)的逐步推進(jìn),尤其是輸變電設(shè)備狀態(tài)監(jiān)測(cè)、用電信息采集、配電自動(dòng)化等大型系統(tǒng)的廣泛推廣使用,產(chǎn)生了大量實(shí)時(shí)數(shù)據(jù),繼而沉淀生成海量歷史數(shù)據(jù),加上調(diào)度生產(chǎn)大區(qū)已經(jīng)生成的電網(wǎng)運(yùn)行方式、關(guān)口電量、保護(hù)等實(shí)時(shí)數(shù)據(jù),這些數(shù)據(jù)都是國(guó)網(wǎng)公司生產(chǎn)運(yùn)行過(guò)程中的重要財(cái)富,是實(shí)現(xiàn)精益化管理的重要基礎(chǔ).在這樣的背景下,各省(市)電力公司迫切需要建立海量數(shù)據(jù)管理平臺(tái)(以下簡(jiǎn)稱“海量平臺(tái)”),以滿足各業(yè)務(wù)應(yīng)用對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行存儲(chǔ)、整合、共享及標(biāo)準(zhǔn)訪問(wèn)的需求.

統(tǒng)一接入訪問(wèn)工具在海量平臺(tái)中扮演著重要角色,它為歷史、準(zhǔn)實(shí)時(shí)數(shù)據(jù)接入海量平臺(tái)提供多樣化的接入方式,同時(shí)對(duì)外提供豐富的數(shù)據(jù)訪問(wèn)方式.它使各業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合成為可能,同時(shí)也為不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交互提供了共享平臺(tái).

1 海量平臺(tái)及海迅實(shí)時(shí)數(shù)據(jù)庫(kù)

1.1 海量平臺(tái)概述

海量平臺(tái)支持多個(gè)同構(gòu)或異構(gòu)的準(zhǔn)實(shí)時(shí)數(shù)據(jù)庫(kù)組成集群[1-2],對(duì)平臺(tái)內(nèi)測(cè)點(diǎn)模型進(jìn)行統(tǒng)一管理,實(shí)現(xiàn)業(yè)務(wù)應(yīng)用系統(tǒng)對(duì)集群內(nèi)測(cè)點(diǎn)數(shù)據(jù)的透明訪問(wèn).

海量平臺(tái)由群集管理、平臺(tái)管理、數(shù)據(jù)接入管理、數(shù)據(jù)加工管理、平臺(tái)管控管理和高速數(shù)據(jù)傳輸管理等6個(gè)模塊組成,具體如下.

(1) 群集管理 由于單個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)[3-5]節(jié)點(diǎn)的容量有限,海量平臺(tái)使用多個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)節(jié)點(diǎn)組合構(gòu)成群集庫(kù)來(lái)管理歷史、實(shí)時(shí)數(shù)據(jù),群集數(shù)據(jù)庫(kù)對(duì)外是一個(gè)統(tǒng)一的整體,提供與測(cè)點(diǎn)位置無(wú)關(guān)的透明訪問(wèn).

(2) 平臺(tái)管理 主要是供平臺(tái)管理員管理平臺(tái)用戶,控制用戶訪問(wèn)平臺(tái)權(quán)限,分配角色訪問(wèn)數(shù)據(jù)源的權(quán)限,對(duì)數(shù)據(jù)源的增加、修改、刪除進(jìn)行維護(hù),通過(guò)平臺(tái)運(yùn)行監(jiān)控功能查看平臺(tái)運(yùn)行情況,日志管理功能可以跟蹤分析平臺(tái)運(yùn)行過(guò)程中出現(xiàn)的異常情況.

(3) 數(shù)據(jù)接入管理 海量平臺(tái)中的數(shù)據(jù)都是通過(guò)數(shù)據(jù)接入工具從數(shù)據(jù)源系統(tǒng)中接入的,海量平臺(tái)中采用的數(shù)據(jù)接入方式主要有E文件解析和Oracle數(shù)據(jù)抽取兩種.其中,E文件需要從ftp上下載,所以需要文件傳輸功能.數(shù)據(jù)接入模塊的運(yùn)行原理是在Web界面中配置接口參數(shù),然后將接口掛載到數(shù)據(jù)接入服務(wù)器上,接口啟動(dòng)后會(huì)將配置的接口參數(shù)傳遞到數(shù)據(jù)接入服務(wù)器中,由數(shù)據(jù)接入服務(wù)器根據(jù)傳入的接口類型及接口參數(shù)采用相應(yīng)的方式將數(shù)據(jù)接入到海量平臺(tái).

(4) 數(shù)據(jù)加工管理 對(duì)海量平臺(tái)中的測(cè)點(diǎn)值進(jìn)行計(jì)算,通過(guò)配置計(jì)算公式就可以對(duì)測(cè)點(diǎn)值進(jìn)行相關(guān)計(jì)算,并將計(jì)算結(jié)果以圖表的方式展示在界面上.

(5) 平臺(tái)管控管理 對(duì)海量平臺(tái)數(shù)據(jù)接入訪問(wèn)功能進(jìn)行全面監(jiān)控,包括監(jiān)測(cè)實(shí)時(shí)數(shù)據(jù)庫(kù)中測(cè)點(diǎn)接入總量、實(shí)時(shí)數(shù)據(jù)庫(kù)空閑空間監(jiān)測(cè)、測(cè)點(diǎn)接入訪問(wèn)頻率展示、數(shù)據(jù)接入瞬時(shí)吞吐率和平均吞吐率展示、關(guān)鍵實(shí)時(shí)指標(biāo)監(jiān)測(cè)等.

(6) 高速數(shù)據(jù)傳輸管理 在海量平臺(tái)中存在著眾多的應(yīng)用和服務(wù),這些進(jìn)程間需要進(jìn)行數(shù)據(jù)通信.高速數(shù)據(jù)傳輸包括高速傳輸拓?fù)湔宫F(xiàn)、鏈路信息管理、節(jié)點(diǎn)管理和進(jìn)程信息管理等功能.

海量平臺(tái)是建立于公司層面的實(shí)時(shí)數(shù)據(jù)平臺(tái),實(shí)現(xiàn)歷史、準(zhǔn)實(shí)時(shí)數(shù)據(jù)的統(tǒng)一管理,提供高效的信息整合、數(shù)據(jù)交換及數(shù)據(jù)存儲(chǔ)等功能,為跨部門、跨業(yè)務(wù)的實(shí)時(shí)數(shù)據(jù)應(yīng)用提供有力的數(shù)據(jù)支撐,實(shí)現(xiàn)各種應(yīng)用系統(tǒng)對(duì)實(shí)時(shí)應(yīng)用的快速部署,以提升管理能力.

1.2 海迅實(shí)時(shí)數(shù)據(jù)庫(kù)

海迅實(shí)時(shí)數(shù)據(jù)庫(kù)是處理具有時(shí)間序列特性數(shù)據(jù)的數(shù)據(jù)庫(kù)管理系統(tǒng),其主要特點(diǎn)在于有著極高的數(shù)據(jù)插入和數(shù)據(jù)查詢檢索效率.同時(shí),為了長(zhǎng)時(shí)間存儲(chǔ)海量歷史數(shù)據(jù),海迅實(shí)時(shí)數(shù)據(jù)庫(kù)還使用高效的有損壓縮算法和無(wú)損壓縮算法,大大減少了數(shù)據(jù)所占的空間.

在數(shù)據(jù)處理方面,海迅實(shí)時(shí)數(shù)據(jù)庫(kù)采用“測(cè)點(diǎn)名稱”這一標(biāo)識(shí)符來(lái)標(biāo)識(shí)所存儲(chǔ)的數(shù)據(jù),每一個(gè)數(shù)據(jù)都由時(shí)標(biāo)、值和質(zhì)量碼3部分組成,其數(shù)據(jù)格式如圖1所示.

圖1 海迅實(shí)時(shí)數(shù)據(jù)庫(kù)數(shù)據(jù)格式

基于上面的“三元”式數(shù)據(jù)結(jié)構(gòu),海迅數(shù)據(jù)庫(kù)采用了有損和無(wú)損混合壓縮算法對(duì)數(shù)據(jù)進(jìn)行平滑、高效壓縮,開(kāi)發(fā)質(zhì)量碼存儲(chǔ),支持跨平臺(tái)數(shù)據(jù)處理、每秒百萬(wàn)的數(shù)據(jù)提交效率,以及每秒數(shù)十萬(wàn)的數(shù)據(jù)查詢效率;它支持原始值、插值和階梯值3種數(shù)據(jù)檢索模式,可以滿足對(duì)歷史數(shù)據(jù)查詢的多樣化需求.

2 統(tǒng)一接入訪問(wèn)工具

2.1 統(tǒng)一接入訪問(wèn)工具開(kāi)發(fā)原因及背景

通過(guò)統(tǒng)計(jì)各省(市)海量平臺(tái)數(shù)據(jù)接入方式的總體情況發(fā)現(xiàn),目前各省(市)電力公司存在E格式文件接入、關(guān)系數(shù)據(jù)庫(kù)接入和Web Service接入等多種不同的接入方式,并且相同業(yè)務(wù)系統(tǒng)數(shù)據(jù)都采用不同的接入方式,導(dǎo)致各現(xiàn)場(chǎng)現(xiàn)有的接入訪問(wèn)工具僅能適應(yīng)自己現(xiàn)場(chǎng)的數(shù)據(jù)接入環(huán)境,沒(méi)有通用性,形成各現(xiàn)場(chǎng)數(shù)據(jù)接入各自為營(yíng)、相互獨(dú)立的局面,出現(xiàn)了數(shù)據(jù)孤島的困境,因此開(kāi)發(fā)統(tǒng)一接入訪問(wèn)工具就顯得十分迫切和必要.此外,統(tǒng)一接入訪問(wèn)工具要有足夠的靈活性和可配置性,要能夠滿足各個(gè)現(xiàn)場(chǎng)數(shù)據(jù)接入訪問(wèn)的需求,這樣接入工具才能真正在不同環(huán)境中發(fā)揮統(tǒng)一接入訪問(wèn)數(shù)據(jù)的功能.

統(tǒng)一接入訪問(wèn)工具包含兩方面的功能,一是數(shù)據(jù)接入功能,包括E格式文件接入、關(guān)系數(shù)據(jù)庫(kù)接入和Web Service接入等3種數(shù)據(jù)接入方式,目的是將各系統(tǒng)歷史、準(zhǔn)實(shí)時(shí)數(shù)據(jù)接入海量平臺(tái);二是數(shù)據(jù)訪問(wèn)功能,包括直接調(diào)用海量平臺(tái)UAPI和提供Web Service訪問(wèn)接口兩種數(shù)據(jù)訪問(wèn)方式,主要供用戶訪問(wèn)海量平臺(tái)數(shù)據(jù).

2.2 數(shù)據(jù)接入功能介紹

數(shù)據(jù)接入功能是將不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)通過(guò)接入訪問(wèn)工具統(tǒng)一接入海量平臺(tái),不再需要各現(xiàn)場(chǎng)針對(duì)不同業(yè)務(wù)系統(tǒng)單獨(dú)開(kāi)發(fā)相對(duì)獨(dú)立的數(shù)據(jù)接入程序,從而可以保證各現(xiàn)場(chǎng)都能夠高效、實(shí)時(shí)、穩(wěn)定地將數(shù)據(jù)接入海量平臺(tái),同時(shí)也可以減輕海量平臺(tái)維護(hù)人員的工作量.

統(tǒng)一接入訪問(wèn)工具如圖2所示.其數(shù)據(jù)接入方式包括E文件接入,關(guān)系數(shù)據(jù)庫(kù)接入,Web Service接入3種方式.

圖2 統(tǒng)一接入訪問(wèn)工具

接入訪問(wèn)工具只需在Web界面上進(jìn)行簡(jiǎn)單的初始化配置就可以啟動(dòng)數(shù)據(jù)接入服務(wù)器,然后將配置好的數(shù)據(jù)接入接口掛載到已經(jīng)啟動(dòng)的數(shù)據(jù)接入服務(wù)器上,通過(guò)接口啟停按鈕控制該接口的啟動(dòng)和停止?fàn)顟B(tài),接口啟動(dòng)后就不再需要人工干預(yù),接口會(huì)自動(dòng)通過(guò)之前配置的啟動(dòng)時(shí)間和執(zhí)行周期來(lái)定期自動(dòng)執(zhí)行任務(wù),從而實(shí)現(xiàn)數(shù)據(jù)接入訪問(wèn)的自動(dòng)化.

由于不同業(yè)務(wù)系統(tǒng)的業(yè)務(wù)及需求的差異,作為數(shù)據(jù)源會(huì)用不同的方式提供數(shù)據(jù),因此我們需要根據(jù)第三方數(shù)據(jù)源的特點(diǎn),采用不同的數(shù)據(jù)接入方式將數(shù)據(jù)接入海量平臺(tái),如此看來(lái),統(tǒng)一接入訪問(wèn)工具更像是一個(gè)數(shù)據(jù)接入訪問(wèn)適配器,即針對(duì)不同的數(shù)據(jù)源提供不同的數(shù)據(jù)接入訪問(wèn)接口,最終用統(tǒng)一的方式將數(shù)據(jù)接入海量平臺(tái).

統(tǒng)一接入訪問(wèn)工具從數(shù)據(jù)源中解析數(shù)據(jù)后存入海量平臺(tái)的數(shù)據(jù)接入流程如圖3所示.

圖3 統(tǒng)一接入訪問(wèn)工具數(shù)據(jù)接入流程

2.2.1 E文件方式接入

E文件[6-7]是國(guó)家電力調(diào)度通信中心制定的一種通用的實(shí)時(shí)數(shù)據(jù)傳輸標(biāo)準(zhǔn),可以通過(guò)文本文件穿越單向隔離網(wǎng)閘,在調(diào)度與信息的數(shù)據(jù)交換領(lǐng)域得到了廣泛的應(yīng)用.采用E文件方式進(jìn)行數(shù)據(jù)接入的具體過(guò)程為,首先定期從ftp服務(wù)器或數(shù)據(jù)總線上獲得文件,與ftp服務(wù)器或數(shù)據(jù)總線斷連后自動(dòng)重連,當(dāng)連接或斷連海量平臺(tái)后與測(cè)點(diǎn)同步,完成實(shí)時(shí)數(shù)據(jù)庫(kù)中測(cè)點(diǎn)標(biāo)記與數(shù)據(jù)源系統(tǒng)通信界面地址的匹配與維護(hù)工作,可手動(dòng)或定時(shí)觸發(fā)數(shù)據(jù)接入程序內(nèi)部測(cè)點(diǎn)映射表的更新操作,然后解析獲取的E文件,提取實(shí)時(shí)數(shù)據(jù),再對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行量綱轉(zhuǎn)換(可選),將獲得的數(shù)據(jù)寫(xiě)入海量平臺(tái),最后斷開(kāi)平臺(tái)連接.

E文件解析過(guò)程中的關(guān)鍵點(diǎn)是接口如何設(shè)計(jì)才能將不同格式的E文件中的數(shù)據(jù)解析出來(lái),即要知道E文件中各字段之間的分隔符是什么,并明確知道該文件中有哪些字段分別組成測(cè)點(diǎn)名、測(cè)點(diǎn)描述、測(cè)點(diǎn)值、測(cè)點(diǎn)值對(duì)應(yīng)時(shí)間等.因此,在解析E文件過(guò)程中,首先要獲取E文件中的所有字段并顯示在Web界面上,然后由用戶靈活配置各字段組成測(cè)點(diǎn)名、測(cè)點(diǎn)值等,這樣可以有足夠的靈活性去適應(yīng)各現(xiàn)場(chǎng)的E文件.在用戶將該E文件解析接口配置完成并啟動(dòng)后,數(shù)據(jù)接入服務(wù)器會(huì)根據(jù)該E文件接口配置參數(shù)為該接口單獨(dú)啟動(dòng)一個(gè)進(jìn)程來(lái)執(zhí)行該任務(wù),因?yàn)閱为?dú)啟動(dòng)的進(jìn)程不會(huì)受到其他進(jìn)程的影響,可以保證數(shù)據(jù)接入過(guò)程中的效率性、隔離性和安全性.

2.2.2 Oracle關(guān)系庫(kù)方式接入

Oracle關(guān)系庫(kù)接入也是目前現(xiàn)場(chǎng)采用最普遍的一種接入方式,關(guān)系庫(kù)接入一般有如下兩種情況.

一是接入工具直接訪問(wèn)數(shù)據(jù)源系統(tǒng)的關(guān)系庫(kù),如圖4所示.

圖4 接入工具直連數(shù)據(jù)源系統(tǒng)

采用直接訪問(wèn)數(shù)據(jù)源關(guān)系庫(kù)的方式接入數(shù)據(jù)比較好,因?yàn)橹苯釉L問(wèn)數(shù)據(jù)源系統(tǒng),就可以根據(jù)數(shù)據(jù)源采集數(shù)據(jù)的頻率去訪問(wèn)數(shù)據(jù),這樣接入的數(shù)據(jù)具有實(shí)時(shí)性強(qiáng)、數(shù)據(jù)完整性好、接入流程簡(jiǎn)單,并且歷史數(shù)據(jù)保存完整、可以隨時(shí)接入歷史數(shù)據(jù)等諸多優(yōu)點(diǎn),但對(duì)數(shù)據(jù)源系統(tǒng)壓力較大.該方式適合數(shù)據(jù)量小的系統(tǒng),所以一般不會(huì)直接開(kāi)放訪問(wèn)數(shù)據(jù)源的權(quán)限.

二是訪問(wèn)數(shù)據(jù)源系統(tǒng)映射的中間關(guān)系庫(kù),如圖5所示.

在數(shù)據(jù)源系統(tǒng)映射中間庫(kù)的情況下,首先需要數(shù)據(jù)源將數(shù)據(jù)推送至中間庫(kù)中,然后才能訪問(wèn)中間關(guān)系庫(kù)中的數(shù)據(jù),而數(shù)據(jù)源一般會(huì)選擇在其系統(tǒng)壓力較小時(shí)才將數(shù)據(jù)推送至中間關(guān)系庫(kù),所以這種方式存在很多弊端.如數(shù)據(jù)源采集到數(shù)據(jù)后不會(huì)立刻推送數(shù)據(jù)至中間庫(kù),并且推送數(shù)據(jù)需要耗費(fèi)一定的時(shí)間,導(dǎo)致接入實(shí)時(shí)數(shù)據(jù)庫(kù)中的數(shù)據(jù)延時(shí)非常嚴(yán)重;數(shù)據(jù)接入頻率受數(shù)據(jù)源推送頻率的限制,數(shù)據(jù)完整性差,因?yàn)閿?shù)據(jù)源在向中間關(guān)系庫(kù)推送數(shù)據(jù)過(guò)程中可能會(huì)有數(shù)據(jù)丟失;若中間關(guān)系庫(kù)設(shè)計(jì)不合理,會(huì)增加中間庫(kù)的維護(hù)成本及讀取歷史數(shù)據(jù)的困難.

圖5 接入工具連接中間關(guān)系庫(kù)

針對(duì)此種情況,可以采用Oracle組件Oracle Golden Gate解決上述問(wèn)題.Oracle Golden Gate 軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件,它通過(guò)解析源數(shù)據(jù)庫(kù)在線日志或歸檔日志獲得數(shù)據(jù)的增量變化,再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù),從而實(shí)現(xiàn)源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)的同步.Oracle Golden Gate可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)(包括幾乎所有常用操作系統(tǒng)平臺(tái)和數(shù)據(jù)庫(kù)平臺(tái))之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒級(jí)的實(shí)時(shí)復(fù)制,可以解決上述數(shù)據(jù)延時(shí)嚴(yán)重、數(shù)據(jù)完整性差等問(wèn)題.但Oracle Golden Gate是一款商業(yè)軟件,價(jià)格昂貴,所以在第二種關(guān)系庫(kù)數(shù)據(jù)接入方式中,如何向中間關(guān)系庫(kù)中實(shí)時(shí)高效地寫(xiě)入數(shù)據(jù)成了一個(gè)最大的瓶頸,它也是影響數(shù)據(jù)實(shí)時(shí)性和完整性的最大障礙.

此外,為了提高中間關(guān)系庫(kù)的性能,在中間關(guān)系庫(kù)中僅保留最近幾天的數(shù)據(jù),將幾天以前的歷史數(shù)據(jù)備份成DMP文件保存,這樣不但浪費(fèi)存儲(chǔ)空間,而且歷史數(shù)據(jù)訪問(wèn)比較麻煩,需要將保存歷史數(shù)據(jù)的DMP文件先導(dǎo)入中間關(guān)系庫(kù),然后才能接入歷史數(shù)據(jù),操作繁瑣,歷史數(shù)據(jù)導(dǎo)入效率低.

2.2.3 Web Service方式接入

Web Service是一種不同機(jī)器、不同應(yīng)用系統(tǒng)之間進(jìn)行交互或交換數(shù)據(jù)[8]的重要技術(shù).Web Service利用SOAP和XML等技術(shù)實(shí)現(xiàn)異構(gòu)系統(tǒng)之間的應(yīng)用集成和數(shù)據(jù)交換.Web Service使用HTTP協(xié)議,所以比JMS和FTP更便于穿過(guò)防火墻進(jìn)行數(shù)據(jù)交換.Web Serice使用XML技術(shù)封裝、存儲(chǔ)和傳輸數(shù)據(jù),由于在數(shù)據(jù)之外附帶了大量的標(biāo)簽和數(shù)據(jù)說(shuō)明信息(往往會(huì)使數(shù)據(jù)體積和傳輸量“暴增”數(shù)倍),從而大大增加了網(wǎng)絡(luò)帶寬占用,降低了數(shù)據(jù)傳輸處理的效率和時(shí)效性.

綜上所述,在有大數(shù)據(jù)包、大文件交換,交換傳輸數(shù)據(jù)量較大,數(shù)據(jù)復(fù)用需求較高、系統(tǒng)交互比較頻繁、傳輸效率要求較高,安全性、穩(wěn)定性、可靠性和靈活性要求較高等幾種情況時(shí),都不適合使用Web Service,其比較適合小數(shù)據(jù)量、小數(shù)據(jù)包,傳輸效率等要求不高的場(chǎng)合.

2.3 數(shù)據(jù)訪問(wèn)功能介紹

數(shù)據(jù)訪問(wèn)功能的作用是將海量平臺(tái)作為數(shù)據(jù)中心,對(duì)外界開(kāi)放統(tǒng)一的數(shù)據(jù)訪問(wèn)接口,以供營(yíng)銷部的營(yíng)銷業(yè)務(wù)系統(tǒng)和營(yíng)銷稽查系統(tǒng)、運(yùn)檢部的供電電壓采集系統(tǒng)、交易中心的結(jié)算系統(tǒng)、發(fā)展策劃部的線損系統(tǒng),以及其他可能用到海量平臺(tái)數(shù)據(jù)的系統(tǒng)提供統(tǒng)一的數(shù)據(jù)訪問(wèn)接口,實(shí)現(xiàn)跨部門的數(shù)據(jù)整合和共享.

目前,實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)功能的方案有兩種:一是用戶直接調(diào)用海量平臺(tái)UAPI訪問(wèn)海量平臺(tái)數(shù)據(jù),該方法效率較高,數(shù)據(jù)實(shí)時(shí)性強(qiáng),數(shù)據(jù)安全性和完整性有保障,但這一方法對(duì)海量平臺(tái)UAPI依賴性非常強(qiáng),客戶必須熟悉海量平臺(tái)UAPI的使用方法后才能使用;二是提供Web Service訪問(wèn)接口,通過(guò)調(diào)用Web Service接口去訪問(wèn)數(shù)據(jù),這一方式適合小數(shù)據(jù)量、小數(shù)據(jù)包,傳輸效率要求不高的情況.

3 工程實(shí)用

通過(guò)對(duì)上述各種數(shù)據(jù)接入方式的分析,如E文件接入、關(guān)系數(shù)據(jù)庫(kù)接入和 Web Service接入等,結(jié)合第三方數(shù)據(jù)源的特點(diǎn),采用不同的數(shù)據(jù),設(shè)計(jì)了一個(gè)數(shù)據(jù)接入訪問(wèn)適配器,對(duì)不同的數(shù)據(jù)源提供不同的數(shù)據(jù)接入訪問(wèn)接口,最終實(shí)現(xiàn)用統(tǒng)一的方式將數(shù)據(jù)接入海量平臺(tái).

在系統(tǒng)的使用過(guò)程中,通過(guò)設(shè)置開(kāi)始時(shí)間、延遲時(shí)間及時(shí)間步長(zhǎng),系統(tǒng)以一定的周期和頻率從數(shù)據(jù)源中接入數(shù)據(jù),也可以通過(guò)海量平臺(tái)為外界提供統(tǒng)一的數(shù)據(jù)訪問(wèn)接口.如果某一時(shí)刻數(shù)據(jù)接入或訪問(wèn)存在異常,系統(tǒng)將會(huì)打印詳細(xì)的日志信息,以供參考,排除系統(tǒng)存在問(wèn)題.通過(guò)改變步長(zhǎng),還可以更加精細(xì)化接入不同頻率的數(shù)據(jù),可以更加實(shí)時(shí)地將海量數(shù)據(jù)存入海量平臺(tái)中,從而保證海量平臺(tái)中數(shù)據(jù)的可靠性和實(shí)時(shí)性.實(shí)際應(yīng)用結(jié)果表明,本系統(tǒng)可使海量平臺(tái)數(shù)據(jù)接入、數(shù)據(jù)訪問(wèn)的速度和可靠性有了大幅度的提高,為電網(wǎng)數(shù)據(jù)整合和數(shù)據(jù)共享提供了有力的保障.

4 結(jié) 論

(1) 本文所設(shè)計(jì)的統(tǒng)一接入訪問(wèn)工具可實(shí)現(xiàn)對(duì)不同類型的數(shù)據(jù)進(jìn)行訪問(wèn),大大提高了海量平臺(tái)數(shù)據(jù)接入和訪問(wèn)的速度和可靠性,為電網(wǎng)數(shù)據(jù)整合和數(shù)據(jù)共享提供了有力的保障;

(2) 利用海量平臺(tái)UAPI訪問(wèn)海量平臺(tái)數(shù)據(jù)效率較高,數(shù)據(jù)實(shí)時(shí)性強(qiáng),數(shù)據(jù)安全性和完整性有保障,但這種方法對(duì)海量平臺(tái)UAPI的依賴性非常強(qiáng),客戶必須熟悉海量平臺(tái)UAPI的使用方法后才能使用;

(3) Web Service訪問(wèn)接口適用于小數(shù)據(jù)量、小數(shù)據(jù)包、傳輸效率要求不高的場(chǎng)合.

[1] 孟相武,程勁,羅克露,等.基于Linux的高可用集群系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[J].電子科技大學(xué)學(xué)報(bào),2005,34(4):86-93.

[2] 王霜,修保新,肖衛(wèi)東,等.Web服務(wù)器集群的負(fù)載均衡算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2004,40(25):234-241.

[3] 黃海峰,張珂珩,張鴻,等.電力系統(tǒng)動(dòng)態(tài)信息數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用,2011,31(6):1 681-1 684.

[4] 雷霆,黃太貴,袁林.動(dòng)態(tài)信息數(shù)據(jù)庫(kù)在調(diào)度自動(dòng)化系統(tǒng)中的應(yīng)用[J].電力系統(tǒng)自動(dòng)化,2007,31(s):106-110.

[5] 鄧大為,李可,陸俊,等.基于CIM/E文件的電網(wǎng)全景建模技術(shù)研究[J].廣東電力,2013,26(11):51-54.

[6] 常品要,李國(guó)喜,張萌,等.基于Pro/TOOLKIT的Pro/E裝配體文件整體存入數(shù)據(jù)庫(kù)技術(shù)[J].機(jī)械制造,2009,7(10):23-28.

[7] 王亮,郭一平.基于Webservice的異構(gòu)數(shù)據(jù)庫(kù)檢索系統(tǒng)[J].大學(xué)圖書(shū)館學(xué)報(bào),2004,22(1):61-75.

[8] 彭玢,代潔.基于中間庫(kù)與Web Service平臺(tái)信息交互接口設(shè)計(jì)[J].計(jì)算機(jī)與數(shù)字工程,2013,41(11):34-45.

DesignandImplementationofaUnifiedAccessToolintheMassiveHistory/NearReal-timeDataManagementPlatform

FEI Donghu, LU Shengbing, LI Yebai, DING Xuefeng

(StateGridChangxingPowerSupplyCompany,Changxing313100,China)

Research is conducted on the features of real-time database and the data storage structure in real-time library.By means of comprehensive utilization of the core technology of the relational database and real-time database,massive history/near real-time data management platform for near real-time data access,storage,sharing and access is realized.Three kinds of access ways are proposed to design and implementation which make the historical/near real-time data access to huge amounts of platform.Also the applicable scope of the various data access is analyzed,the results of which have practical application in the massive history/near real-time data management platform.

real-time database; massive data management platform; access tool

10.3969/j.issn.1006-4729.2017.05.011

2016-10-12

費(fèi)冬虎(1974-),男,高級(jí)工程師,浙江長(zhǎng)興人.主要研究方向?yàn)樽詣?dòng)化系統(tǒng)應(yīng)用.E-mail:cxdl_fdh@163.com.

TM712;TP311.13

A

1006-4729(2017)05-0466-05

(編輯 胡小萍)