電力企業(yè)中數(shù)據(jù)倉庫的構(gòu)建與應(yīng)用

常永娟 賀月

摘? 要：隨著電力企業(yè)的信息化建設(shè)的發(fā)展，運(yùn)行的事務(wù)管理系統(tǒng)保存了海量的運(yùn)行數(shù)據(jù)，成為電力企業(yè)決策管理的最有價值的原始資源。然而，各地區(qū)及部門間信息化建設(shè)的不平衡性和獨(dú)立性致使無法構(gòu)建有效的知識管理系統(tǒng)，難以提供企業(yè)級的決策分析支持。數(shù)據(jù)倉庫的建立可以解決為電力企業(yè)提供決策分析信息存在的困難。本文引入了數(shù)據(jù)倉庫的概念，詳細(xì)介紹了數(shù)據(jù)倉庫的構(gòu)成、內(nèi)容和技術(shù)特點(diǎn)。研究了數(shù)據(jù)倉庫建模的方法。結(jié)合電力系統(tǒng)的特點(diǎn)，提取出適合于數(shù)據(jù)倉庫建立的主題概念。通過數(shù)據(jù)處理技術(shù)對電力系統(tǒng)事務(wù)管理系統(tǒng)保存的海量數(shù)據(jù)進(jìn)行整合，構(gòu)造面向決策的電力系統(tǒng)數(shù)據(jù)倉庫。

關(guān)鍵詞：電力企業(yè)? 電力系統(tǒng)? 電力主題? 邏輯模型? 物理模型

中圖分類號：TP311.1 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2021）02（c）-0124-03

Construction and Application of Data Warehouse in Electric Power Enterprise

CHANG Yongjuan? HE Yue

（Information and communication branch of State Grid Hebei Electric Power Co.， Ltd.， Shijiazhuang， Hebei Province， 050013 China）

Abstract： With the development of information construction of power enterprises， the running transaction management system has saved a large amount of operation data， and has become the most valuable original resource for decision-making and management of power enterprises. However， due to the imbalance and independence of information construction among regions and departments， it is difficult to build an effective knowledge management system and provide enterprise level decision analysis support. The establishment of data warehouse can solve the difficulty of providing decision analysis information for power enterprises. This paper introduces the concept of data warehouse， introduces the structure， content and technical characteristics of data warehouse in detail. The method of data warehouse modeling is studied. Combined with the characteristics of power system， the topic concept suitable for data warehouse is extracted. Through the data processing technology， the massive data stored in the power system transaction management system are integrated， and the decision-making oriented power system data warehouse is constructed.

Key Words： Power enterprise; Power system; Power theme; Logical model; Physical model

電力系統(tǒng)數(shù)據(jù)倉庫的體系化結(jié)構(gòu)環(huán)境與操作型數(shù)據(jù)庫的環(huán)境存在著很大程度的不同[1]，集中體現(xiàn)在兩個方面。（1）應(yīng)用層面上：基于操作型環(huán)境的應(yīng)用主要體現(xiàn)在聯(lián)機(jī)事務(wù)處理（OLTP）的處理上，而體系化結(jié)構(gòu)的數(shù)據(jù)倉庫環(huán)境則主要表現(xiàn)在獲取決策分析層面上;（2）數(shù)據(jù)源層面：電力系統(tǒng)中操作型數(shù)據(jù)庫的數(shù)據(jù)來源通常為手工錄入數(shù)據(jù)和自動錄入的遙測、遙信等信息量，而體系化的數(shù)據(jù)倉庫環(huán)境的數(shù)據(jù)來源來自操作型數(shù)據(jù)庫，其在電力系統(tǒng)中的應(yīng)用體現(xiàn)在自動化的應(yīng)用場所[2]。

為了簡化方案設(shè)計、組織管理和最終實現(xiàn)的措施和方法，本文提出數(shù)據(jù)倉庫體系結(jié)構(gòu)，描述電力系統(tǒng)數(shù)據(jù)倉庫中組件之間的相互關(guān)系。電力系統(tǒng)數(shù)據(jù)倉庫的體系結(jié)構(gòu)如圖1所示。由數(shù)據(jù)源，ETL（Extract-抽取、Transform-轉(zhuǎn)換、Load-加載）工具、數(shù)據(jù)倉庫主體以及分析主題數(shù)據(jù)庫等四個方面構(gòu)成。

1? 電力系統(tǒng)的數(shù)據(jù)特點(diǎn)

近年來，電力公司逐年增加了建筑信息化建設(shè)的成本，這在電力企業(yè)信息化方面取得了長足的進(jìn)步。電力公司已經(jīng)積累了大量的電力系統(tǒng)運(yùn)行數(shù)據(jù)。這些數(shù)據(jù)主要來自一些已經(jīng)建立并運(yùn)行的自動化應(yīng)用系統(tǒng)，例如SCADA/EMS，DMS，MIS和GIS[3]，對于電力公司而言，它成為重要的原始運(yùn)營數(shù)據(jù)。在市場經(jīng)濟(jì)環(huán)境中，當(dāng)取消對電力公司的管制并將其整合到商業(yè)環(huán)境中時，準(zhǔn)確的能源市場信息和知識將為電力公司提供基本的決策計劃。然而，由于公司之間的信息化結(jié)構(gòu)的不平衡以及業(yè)務(wù)運(yùn)營的獨(dú)立性，當(dāng)今的電力公司無法基于散布在業(yè)務(wù)部門之間的信息來構(gòu)建有效的知識管理系統(tǒng)。結(jié)果，累積的原始數(shù)據(jù)不能為公司提供良好的決策分析，這主要表現(xiàn)在以下幾個方面：（1）數(shù)據(jù)整合不良;（2）各種信息來源導(dǎo)致數(shù)據(jù)冗余;（3）缺乏用于企業(yè)級決策的支持系統(tǒng)[4]。

在已有的信息系統(tǒng)的基礎(chǔ)之上建立數(shù)據(jù)倉庫，形成“數(shù)據(jù)驅(qū)動”型的結(jié)構(gòu)是解決當(dāng)前電力企業(yè)應(yīng)用系統(tǒng)各種弊端的有效手段[5]。數(shù)據(jù)倉庫建立的目的是為決策服務(wù)提供支持，由于數(shù)據(jù)倉庫的數(shù)據(jù)量龐大，其數(shù)據(jù)更新必須簡單易操作，否則對數(shù)據(jù)倉庫的維護(hù)存在的很大的困難。因此在數(shù)據(jù)倉庫建立伊始，必須進(jìn)行合理的設(shè)計，使數(shù)據(jù)倉庫滿足在數(shù)據(jù)量不斷增加的情況下對數(shù)據(jù)的查詢保持高效的要求，實現(xiàn)為決策者提供強(qiáng)有力的信息支持[6]。

2? 電力系統(tǒng)數(shù)據(jù)倉庫的設(shè)計

電力系統(tǒng)數(shù)據(jù)倉庫的設(shè)計可以分為以下四個階段：

（1）主題概念的設(shè)計：必須從分的調(diào)研電力企業(yè)的實際業(yè)務(wù)和用戶需求，從而能夠根據(jù)用戶的需求劃分成主題元素;（2）邏輯模型的設(shè)計：建立與主題元素對應(yīng)的并且適合當(dāng)前數(shù)據(jù)倉庫的邏輯表示方法（星形模型或者雪花模型）;（3）物理模型的設(shè)計：設(shè)計符合邏輯模型的數(shù)據(jù)倉庫存儲方式（即數(shù)據(jù)倉庫的表的結(jié)構(gòu)、字段等屬性）;（4）數(shù)據(jù)處理的設(shè)計：構(gòu)建數(shù)據(jù)倉庫時，數(shù)據(jù)進(jìn)入倉庫前的數(shù)據(jù)檢查工作、數(shù)據(jù)倉庫構(gòu)建后對倉庫中數(shù)據(jù)的進(jìn)行追加、抽取等工作。

2.1 電力主題概念的設(shè)計

數(shù)據(jù)倉庫的建設(shè)需要具備可行性和實用性，必須從“需求驅(qū)動”和“數(shù)據(jù)驅(qū)動”的角度出發(fā)考慮，并制定相應(yīng)的建設(shè)方法。根據(jù)不同的業(yè)務(wù)范圍，對發(fā)電企業(yè)提出如下的數(shù)據(jù)倉庫主題設(shè)計方法。

（1）發(fā)電量/負(fù)荷量數(shù)據(jù)倉庫。

在進(jìn)行數(shù)據(jù)倉庫的建設(shè)時，首選的主題應(yīng)是發(fā)電量及負(fù)荷量。發(fā)電量/負(fù)荷量數(shù)據(jù)倉庫能夠?qū)ψ钚r間間隔內(nèi)每臺機(jī)組的發(fā)電量、上網(wǎng)電價、所帶負(fù)荷等相關(guān)數(shù)據(jù)信息進(jìn)行準(zhǔn)確的記錄。這里所說的最小時間間隔應(yīng)視其具體條件來取值，一般為1/4h或者1/2h。發(fā)電量或負(fù)荷量均可以通過數(shù)據(jù)倉庫調(diào)出供用戶分析使用，并統(tǒng)計、描繪時、日、月、年的發(fā)電量以及相應(yīng)的負(fù)荷曲線。

（2）電力設(shè)備數(shù)據(jù)倉庫。

對各個發(fā)電設(shè)備的基礎(chǔ)數(shù)據(jù)、缺陷數(shù)據(jù)、檢修方式數(shù)據(jù)、可靠性統(tǒng)計數(shù)據(jù)等信息，參照設(shè)備的實時運(yùn)行參數(shù)進(jìn)行集成操作，形成統(tǒng)一的格式，按照時間先后順序錄入到數(shù)據(jù)倉庫中，形成決策分析的知識數(shù)據(jù)，從而為設(shè)備狀態(tài)的綜合評價提供良好的數(shù)據(jù)基礎(chǔ)。在統(tǒng)一格式的運(yùn)行數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步采用智能算法等數(shù)據(jù)挖掘方法，設(shè)計研發(fā)電力設(shè)備狀態(tài)檢修的輔助決策支持系統(tǒng)。

（3）發(fā)電成本數(shù)據(jù)倉庫。

作為最為直接有效的信息資源，各項成本費(fèi)用的發(fā)生情況是進(jìn)行成本分析的原始資料。成本費(fèi)用分為固定成本和動態(tài)成本兩方面。通過按時間（小時、日、月、年）的計算方式得到各自成本。采用統(tǒng)計計算方法計算供電企業(yè)每小時、每日及每月的成本。計算結(jié)果保存作為數(shù)據(jù)源數(shù)據(jù)存儲到發(fā)電成本數(shù)據(jù)倉庫，成為電廠“競價上網(wǎng)”依據(jù)的數(shù)據(jù)基礎(chǔ)。在數(shù)據(jù)倉庫的基礎(chǔ)上構(gòu)筑電廠成本模型，開展深層成本分析，為進(jìn)一步進(jìn)行發(fā)電成本的預(yù)測和控制奠定基礎(chǔ)。

2.2 邏輯模型的設(shè)計

OLTP采用實體-關(guān)系模型解釋數(shù)據(jù)間關(guān)系，不僅消除冗余數(shù)據(jù)，并且確定了數(shù)據(jù)的正確性。維度建模采用直觀的標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)表達(dá)數(shù)據(jù)，是符合這種實體--關(guān)系模型的邏輯設(shè)計方法。維度模型由事實表和維度表組成。事實表和維度表均為復(fù)合索引。同時，通過索引每個維度表與事實表的特定的部分精確對應(yīng)。

設(shè)計出一個企業(yè)級的數(shù)據(jù)倉庫是數(shù)據(jù)倉庫構(gòu)建的具體實施方案首條任務(wù)。當(dāng)數(shù)據(jù)倉庫建成之后，再按照該數(shù)據(jù)倉庫中的數(shù)據(jù)模型來構(gòu)建數(shù)據(jù)集市。深入透徹的研究企業(yè)的數(shù)據(jù)結(jié)構(gòu)，并廣泛調(diào)研用戶的需求是進(jìn)行數(shù)據(jù)倉庫的建模之前必須完成的任務(wù)。

2.3 物理模型的設(shè)計

不同的數(shù)據(jù)集市通過維度表的密切關(guān)聯(lián)，是通過對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行有效的物理建模實現(xiàn)的。集成不同主題之間的數(shù)據(jù)，解決了企業(yè)的信息“孤島”，并最終實現(xiàn)企業(yè)級的數(shù)據(jù)倉庫的建設(shè)。

以電力營銷的業(yè)務(wù)為例，對數(shù)據(jù)倉庫的物理建模技術(shù)進(jìn)行詳細(xì)的說明。通過對電力營銷部門相關(guān)企業(yè)數(shù)據(jù)以及業(yè)務(wù)流程圖的分析，確定出相應(yīng)的決策主題，列寫出與各主題相對應(yīng)的事實表及維度表。

3? 客戶的應(yīng)用

電力系統(tǒng)數(shù)據(jù)倉庫的使用流程圖可以表示成圖3的形式。最終建設(shè)電力系統(tǒng)數(shù)據(jù)倉庫的目的，是能夠讓電力系統(tǒng)企業(yè)的工作人員容易方便地使用數(shù)據(jù)倉庫技術(shù)，用以獲取最有價值的決策信息。從而能夠迅速、準(zhǔn)確判斷實時變化的網(wǎng)絡(luò)運(yùn)行狀態(tài)，并制定相應(yīng)的應(yīng)對策略。因此需要在數(shù)據(jù)倉庫的服務(wù)端設(shè)計出的服務(wù)接口，提供友好的操作界面。目前較為廣泛采用的是B/S模式，它通過Web為各用戶提供查詢、分析等服務(wù)。

電力設(shè)備的數(shù)據(jù)倉庫用Oracle Discover作為前端數(shù)據(jù)展現(xiàn)工具。用戶可以對查詢的字段以及顯示的形式等進(jìn)行自定義，并提供了動態(tài)隨機(jī)的查詢方法。不僅可以實現(xiàn)報表生成、Web發(fā)布等功能外，還可以對那些規(guī)模比較大的報表以餅圖、曲線圖等各形式直觀地反映給用戶。

4? 結(jié)語

隨著電網(wǎng)建設(shè)的進(jìn)步，電力公司的信息化建設(shè)取得了長足的進(jìn)步。由于各個地區(qū)和部門之間信息化建設(shè)的不平衡，交易管理系統(tǒng)之間的信息交換存在障礙，并且從大量數(shù)據(jù)中獲取支持決策所需的信息存在技術(shù)困難。有關(guān)電力公司的運(yùn)營信息以及部門之間聯(lián)合運(yùn)營的困難，數(shù)據(jù)倉庫技術(shù)為電力公司提供了有關(guān)其決策信息的良好而有效的手段。

在實際應(yīng)用中，由于整個企業(yè)范圍的數(shù)據(jù)倉庫的構(gòu)建非常龐大，因此設(shè)計復(fù)雜，需要大量的業(yè)務(wù)和技術(shù)專家，這不可能一蹴而就。因此，在實際應(yīng)用中，具有緊急決策分析需求和大量歷史數(shù)據(jù)的部門應(yīng)首先建立部門級數(shù)據(jù)集市，然后積累經(jīng)驗，擴(kuò)大應(yīng)用范圍，并逐步統(tǒng)一，公司中每個部門的數(shù)據(jù)集市根據(jù)數(shù)據(jù)倉庫總線的結(jié)構(gòu)而定。同時，由于電力系統(tǒng)數(shù)據(jù)倉庫的建設(shè)仍處于初期階段，因此在業(yè)務(wù)需求和功能實現(xiàn)方面仍有許多方面需要改進(jìn)。此外，電力系統(tǒng)數(shù)據(jù)倉庫的設(shè)計需要根據(jù)用戶使用的反饋信息進(jìn)行進(jìn)一步修改。

參考文獻(xiàn)

[1] 楊雷.基于數(shù)據(jù)挖掘的電力調(diào)度管理系統(tǒng)設(shè)計與實現(xiàn)[D].北京：電子科技大學(xué)，2019.

[2] 莊新闖.電力負(fù)荷數(shù)據(jù)管理系統(tǒng)的設(shè)計[D].上海：東華大學(xué)，2018.

[3] 邱菊，王巖，黃佩卓，等.大型電力企業(yè)基于GBase分布式數(shù)據(jù)倉庫建設(shè)初探[J].計算機(jī)應(yīng)用與軟件，2018，35（5）：184-189.

[4] 張瑜，潘紅芳.內(nèi)蒙古電力數(shù)據(jù)倉庫的應(yīng)用[J].電信科學(xué)，2016，32（4）：175-180.

[5] 許楊子.電力交易運(yùn)營數(shù)據(jù)倉庫主題模型建立的研究及應(yīng)用[J].信息記錄材料，2018，19（7）：194-195.

[6] 童光華，李寧，張銀昌，等.基于數(shù)據(jù)挖掘技術(shù)下電力計量數(shù)據(jù)倉庫模型研究[J].自動化與儀器儀表，2018（5）：40-42.