數(shù)據(jù)倉(cāng)庫技術(shù)在電力負(fù)荷管理方面的應(yīng)用

【摘要】本文介紹數(shù)據(jù)倉(cāng)庫技術(shù)在電力負(fù)荷管理方面的應(yīng)用。實(shí)例以電力負(fù)荷管理為主題說明數(shù)據(jù)倉(cāng)庫開發(fā)的過程，包括選定供電局電力負(fù)荷管理系統(tǒng)為數(shù)據(jù)源，設(shè)計(jì)數(shù)據(jù)倉(cāng)庫物理結(jié)構(gòu)；建立多維數(shù)據(jù)模型，使用ETL工具將負(fù)荷數(shù)據(jù)抽取到省級(jí)數(shù)據(jù)中心數(shù)據(jù)倉(cāng)庫中；使用SQL Server 2005分析服務(wù)工具進(jìn)行多維分析與查詢；最后生成分析報(bào)表并展現(xiàn)結(jié)果的過程。同時(shí)介紹了實(shí)例開發(fā)中遇到的數(shù)據(jù)存儲(chǔ)查詢、多維分析服務(wù)器性能問題的解決辦法。

【關(guān)鍵字】數(shù)據(jù)倉(cāng)庫；數(shù)據(jù)中心；OLAP

1、引言

近年來，供電局建立了電力負(fù)荷管理信息系統(tǒng)，實(shí)現(xiàn)了遠(yuǎn)方自動(dòng)抄表，同時(shí)實(shí)現(xiàn)對(duì)用電客戶的實(shí)時(shí)負(fù)荷數(shù)據(jù)的采集與監(jiān)測(cè)。目前，系統(tǒng)中存儲(chǔ)了大量的、細(xì)粒度的歷史數(shù)據(jù)，可被利用分析，進(jìn)行數(shù)據(jù)挖掘，使供電局管理者更好的掌握電力負(fù)荷趨勢(shì)。數(shù)據(jù)倉(cāng)庫技術(shù)滿足這方面的應(yīng)用需求，利用數(shù)據(jù)倉(cāng)庫技術(shù)，向下整合各供電局電力負(fù)荷管理系統(tǒng)的數(shù)據(jù)，對(duì)歷史數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，為供電局管理者提供有效的決策支持。本文先介紹了數(shù)據(jù)倉(cāng)庫體系，再以實(shí)例電力負(fù)荷管理為主題說明數(shù)據(jù)倉(cāng)庫開發(fā)有關(guān)過程，并介紹實(shí)例開發(fā)中遇到的數(shù)據(jù)存儲(chǔ)查詢、多維分析服務(wù)器性能問題的解決辦法。

2、數(shù)據(jù)倉(cāng)庫體系簡(jiǎn)介

三層結(jié)構(gòu)是一種典型的數(shù)據(jù)倉(cāng)庫結(jié)構(gòu)，由數(shù)據(jù)管理和存儲(chǔ)、OLAP服務(wù)器以及前端工具組成。圖1是省級(jí)電網(wǎng)公司數(shù)據(jù)中心數(shù)據(jù)倉(cāng)庫的典型應(yīng)用。數(shù)據(jù)管理和存儲(chǔ)主要采用集中型的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫，將各個(gè)信息系統(tǒng)的數(shù)據(jù)有效存儲(chǔ)在一起；通過OLAP服務(wù)器對(duì)數(shù)據(jù)按多維模型分析；最后通過前端工具進(jìn)行展現(xiàn)。

3、數(shù)據(jù)倉(cāng)庫開發(fā)過程

以電力負(fù)荷管理對(duì)象模型為實(shí)例簡(jiǎn)單說明開發(fā)數(shù)據(jù)倉(cāng)庫的5個(gè)步驟過程。

3.1確定主題

選擇以電力負(fù)荷管理為主題，實(shí)現(xiàn)不同供電局、不同行業(yè)在不同時(shí)間點(diǎn)的負(fù)荷數(shù)據(jù)分析。首先根據(jù)這個(gè)主題，選擇與主題相關(guān)的數(shù)據(jù)源，包括信息系統(tǒng)和數(shù)據(jù)庫表。確認(rèn)了主要數(shù)據(jù)來源為電力營(yíng)銷系統(tǒng)的數(shù)據(jù)庫和電力負(fù)荷管理系統(tǒng)的數(shù)據(jù)庫，并且數(shù)據(jù)庫表為供電局信息表、行業(yè)信息表和負(fù)荷與時(shí)間關(guān)聯(lián)表，選定后確認(rèn)數(shù)據(jù)庫表間關(guān)聯(lián)關(guān)系。

3.2設(shè)計(jì)數(shù)據(jù)倉(cāng)庫中的數(shù)據(jù)庫

設(shè)計(jì)多維數(shù)據(jù)結(jié)構(gòu)的事實(shí)表和維度表，設(shè)置數(shù)據(jù)倉(cāng)庫的物理存儲(chǔ)結(jié)構(gòu)。根據(jù)主題內(nèi)容設(shè)計(jì)了星型模型的多維數(shù)據(jù)關(guān)系，由3張維度表（供電局表、行業(yè)表、時(shí)間表）和一張事實(shí)表（負(fù)荷表）組成。表關(guān)系如圖2所示。

3.3ETL

ETL是一個(gè)數(shù)據(jù)抽取、數(shù)據(jù)清理、數(shù)據(jù)一致性格式化、數(shù)據(jù)整合和裝載的過程。ETL工具一般具備對(duì)不同平臺(tái)的各種數(shù)據(jù)庫的訪問能力，通常通過ODBC、JDBC和OLEDB等訪問方式訪問目標(biāo)數(shù)據(jù)庫。以電力負(fù)荷管理主題的ELT為例，數(shù)據(jù)整合遇到的問題是供電局電力負(fù)荷管理系統(tǒng)由不同的廠家開發(fā)，使用不同數(shù)據(jù)庫并且各系統(tǒng)編碼沒有進(jìn)行全省的統(tǒng)一設(shè)計(jì)，數(shù)據(jù)編碼各有不同表達(dá)。為克服這類困難，統(tǒng)一使用OLEDB的方式訪問各供電局電力負(fù)荷管理系統(tǒng)的數(shù)據(jù)庫，并在省級(jí)層面進(jìn)行對(duì)公共信息的建模，重新制定各系統(tǒng)共同遵守的編碼規(guī)則，統(tǒng)一度量單位，實(shí)現(xiàn)了對(duì)數(shù)據(jù)定義、組織及加工的規(guī)范化過程。ELT數(shù)據(jù)抽取的頻率是一天一次，基本滿足需求應(yīng)用。由于實(shí)際平臺(tái)使用的是SQL Server 2005數(shù)據(jù)倉(cāng)庫，所以實(shí)例中采用了SQL Server 2005的SSIS服務(wù)來處理數(shù)據(jù)抽取，快速的建立起ETL工程，并將數(shù)據(jù)裝載到目標(biāo)庫中。

3.4數(shù)據(jù)分析

電力負(fù)荷管理主題有三個(gè)維度：供電局、行業(yè)、時(shí)間，可采用數(shù)據(jù)倉(cāng)庫的數(shù)據(jù)分析工具實(shí)現(xiàn)對(duì)多維數(shù)據(jù)集分析。常用的分析方法有數(shù)據(jù)切片、切塊、鉆取、上翻、旋轉(zhuǎn)，可分別從不同的側(cè)面得到電力負(fù)荷狀態(tài)信息。實(shí)例中使用的是SQL Server 2005的SSAS分析服務(wù)工具，通過編寫多維表達(dá)式（MDX）語句來查詢分析數(shù)據(jù)模型，檢索多維數(shù)據(jù)。

3.5數(shù)據(jù)展現(xiàn)

最后將MDX查詢的結(jié)果通過WEB服務(wù)器發(fā)布，以圖形、圖像、報(bào)表等方式展現(xiàn)數(shù)據(jù)傳遞的信息和數(shù)據(jù)挖掘結(jié)果。實(shí)例中為了保證兼容性，采用了SQL Server 2005報(bào)表服務(wù)，通過配置報(bào)表模型、報(bào)表數(shù)據(jù)源和查詢語句，提供展現(xiàn)結(jié)果。

4、瓶頸和解決方法

4.1數(shù)據(jù)存儲(chǔ)查詢瓶頸

數(shù)據(jù)倉(cāng)庫主要以關(guān)系數(shù)據(jù)庫技術(shù)為基礎(chǔ)，由數(shù)據(jù)庫系統(tǒng)管理海量數(shù)據(jù)的存儲(chǔ)，因此同樣面臨著一般數(shù)據(jù)庫所遇到的查詢瓶頸問題。實(shí)例中由于存儲(chǔ)數(shù)據(jù)量大，在源數(shù)據(jù)的批量輸入及更新、接受來自O(shè)LAP服務(wù)器的只讀匯總查詢的時(shí)候，數(shù)據(jù)庫服務(wù)器壓力較大。針對(duì)這種情況，可對(duì)其中一些存儲(chǔ)記錄過多的大型事實(shí)表進(jìn)行優(yōu)化，采用動(dòng)態(tài)分區(qū)和建立索引等方式提高速度。

4.2OLAP服務(wù)器的瓶頸

OLAP服務(wù)器的主要任務(wù)是接受及分析來自前端工具的查詢語句，處理多維運(yùn)算，并緩存結(jié)果對(duì)象。實(shí)例中，測(cè)試過在更多的資源查詢請(qǐng)求下，OLAP服務(wù)器同樣面臨的連接量和處理量大的問題，此時(shí)可采用多個(gè)OLAP服務(wù)器，并與負(fù)載均衡器的結(jié)合方式對(duì)外提供服務(wù)。

5、結(jié)語

數(shù)據(jù)倉(cāng)庫技術(shù)為供電局電力負(fù)荷管理分析提供有力的技術(shù)支撐，提高了數(shù)據(jù)的利用率。供電局管理者可以利用數(shù)據(jù)倉(cāng)庫工具建立有效而準(zhǔn)確的集成決策支持系統(tǒng)，提高科學(xué)管理和科學(xué)決策能力。