熱電企業(yè)經(jīng)營管理數(shù)據(jù)倉庫建設

戴小廷

[摘 要] 數(shù)據(jù)倉庫技術(shù)是當前企業(yè)信息化應用領(lǐng)域的熱點話題?本文對熱電企業(yè)經(jīng)營管理過程中如何構(gòu)建數(shù)據(jù)倉庫提出了新的解決方案,即將“自頂向下”和“自底向上”兩種實施方式結(jié)合起來?首先分析了熱電企業(yè)數(shù)據(jù)倉庫體系化結(jié)構(gòu)模型,然后具體介紹了熱電企業(yè)數(shù)據(jù)倉庫建設步驟,結(jié)合熱力營銷實例分析了數(shù)據(jù)倉庫維度數(shù)據(jù)模型的設計方法?

[關(guān)鍵詞] 熱電企業(yè);數(shù)據(jù)倉庫;維度;數(shù)據(jù)集市

[中圖分類號]F270.7[文獻標識碼]A[文章編號]1673-0194(2009)03-0061-03

1 引 言

數(shù)據(jù)倉庫的建設是當前熱電企業(yè)信息化的新熱點,許多企業(yè)開始嘗試建設數(shù)據(jù)倉庫,試圖通過這種信息技術(shù)的新手段,解決企業(yè)信息化建設中的“信息孤島”問題,分析企業(yè)經(jīng)營過程的問題,改善熱電企業(yè)經(jīng)營運作效率?數(shù)據(jù)倉庫平臺的建設要求性能優(yōu)越,容易擴展,以便于適應企業(yè)多變的?動態(tài)的數(shù)據(jù)環(huán)境?要達到這一要求,重要的是要建立一個可擴展的系統(tǒng)結(jié)構(gòu)?而對于數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)實施方案,業(yè)界存在“自頂向下”和“自底向上”兩種觀點,“自頂向下”的實施方式是先建立一個覆蓋所有業(yè)務流程的企業(yè)級數(shù)據(jù)倉庫,然后再根據(jù)不同的主題建立數(shù)據(jù)集市,這種實施方案存在的不足是耗費時間多?費用比較高;而“自底向上”實施是先設計部門級的數(shù)據(jù)集市,然后再在數(shù)據(jù)集市基礎上構(gòu)建企業(yè)級的數(shù)據(jù)倉庫,這種方案在實施過程中由于單獨設計數(shù)據(jù)集市,容易形成新的“信息孤島”?

本文提出的解決方案是將“自頂向下”和“自底向上”二者結(jié)合起來,彌補相互存在的不足?具體思路是:首先站在全局的基礎上規(guī)劃企業(yè)級數(shù)據(jù)倉庫的數(shù)據(jù)模型;然后根據(jù)這些數(shù)據(jù)模型,分步實施部門級的數(shù)據(jù)集市,最終再將這些數(shù)據(jù)集市組裝成一個企業(yè)級的數(shù)據(jù)倉庫?

2 熱電企業(yè)數(shù)據(jù)倉庫體系化結(jié)構(gòu)模型

根據(jù)熱電企業(yè)信息化實際情況,我們得出熱電企業(yè)數(shù)據(jù)倉庫的體系結(jié)構(gòu)模型(見圖1)?從模型中可看出,整個體系結(jié)構(gòu)共分4層:熱電企業(yè)數(shù)據(jù)源層?數(shù)據(jù)轉(zhuǎn)換層?數(shù)據(jù)倉庫(數(shù)據(jù)集市)層以及終端用戶層?

系統(tǒng)最左端為熱電企業(yè)數(shù)據(jù)源層,主要包括各種業(yè)務管理系統(tǒng)(如計費?財務?物資?燃料?設備等)和外部數(shù)據(jù)(如市場數(shù)據(jù)?氣象數(shù)據(jù)?人口統(tǒng)計數(shù)據(jù)等)?

數(shù)據(jù)轉(zhuǎn)換層主要包括各種數(shù)據(jù)抽取?轉(zhuǎn)換工具,如數(shù)據(jù)抽取(ETL,extract,transform and load)工具實現(xiàn)從數(shù)據(jù)源抽取?轉(zhuǎn)換?加載數(shù)據(jù);數(shù)據(jù)清洗工具實現(xiàn)數(shù)據(jù)的凈化,消除數(shù)據(jù)冗余和噪聲等?正是通過數(shù)據(jù)轉(zhuǎn)換層,實現(xiàn)了從細節(jié)級?輕度綜合?中度綜合直至高度綜合的企業(yè)級全局數(shù)據(jù)倉庫?

終端用戶通過聯(lián)機分析(OLAP)和數(shù)據(jù)挖掘等的分析引擎,可以圍繞某個主題(分析主題包括客戶?經(jīng)營分析?設備狀態(tài)檢修?服務質(zhì)量等)進行不同角度?不同層次的OLAP分析,從而得到各類分析報告,解決決策支持需要;還可以通過數(shù)據(jù)挖掘的各種功能實現(xiàn)包括熱力需求預測?設備檢修預測?客戶關(guān)系分析等?

3 熱電企業(yè)經(jīng)營管理數(shù)據(jù)倉庫建設過程

熱電企業(yè)經(jīng)營管理數(shù)據(jù)倉庫的開發(fā)流程如下:

(1)系統(tǒng)規(guī)劃?根據(jù)企業(yè)管理的目標?內(nèi)容?規(guī)模?性質(zhì)等具體情況,通過規(guī)劃確定熱電企業(yè)經(jīng)營管理數(shù)據(jù)倉庫建立的方向和目標,制訂實施計劃,合理分配和利用各種資源(人?技術(shù)設備?資金?時間)?

(2)構(gòu)建技術(shù)平臺?根據(jù)熱電企業(yè)特點,選擇實現(xiàn)數(shù)據(jù)倉庫的開發(fā)平臺?數(shù)據(jù)存儲平臺?開發(fā)工具?數(shù)據(jù)倉庫的建設應該根據(jù)系統(tǒng)規(guī)劃的方向和目標,提出適合本企業(yè)的解決方案?不要一味追求大而全,造成資金的浪費?

考慮到熱電企業(yè)數(shù)據(jù)量每天的增量應該在百兆以內(nèi),每年的數(shù)據(jù)量只是幾個G左右,因而PC服務器可以滿足數(shù)據(jù)倉庫建設需要?所以選擇PC服務器+Windows 2000 Advanced Server作為服務器平臺,數(shù)據(jù)庫平臺選用SQL Server 2005,數(shù)據(jù)抽取工具選擇DTS,多維分析引擎選擇SQL Server Analyses Service?

(3)進行數(shù)據(jù)倉庫維度模型的設計?根據(jù)企業(yè)具體情況,確定數(shù)據(jù)倉庫主題,選擇數(shù)據(jù)源,設計領(lǐng)域模型?多維數(shù)據(jù)表模型,設計物理模型即事實表和維表對應的物理表?

(4)數(shù)據(jù)轉(zhuǎn)換?選用特定的轉(zhuǎn)換工具實現(xiàn)從不同的數(shù)據(jù)源抽取?轉(zhuǎn)換?清洗數(shù)據(jù),進行數(shù)據(jù)一致性處理?建立起數(shù)據(jù)倉庫?

(5)開展數(shù)據(jù)分析?數(shù)據(jù)挖掘?利用OLAP工具開展數(shù)據(jù)分析工作;使用Analysis Server工具進行維度?度量值以及多維數(shù)據(jù)集的創(chuàng)建,運用維度瀏覽器進行多維數(shù)據(jù)的查詢?編輯操作,對多維數(shù)據(jù)集進行切片?切塊?旋轉(zhuǎn)?鉆取操作,開展各類數(shù)據(jù)挖掘工作,從而實現(xiàn)決策支持?

4 熱電企業(yè)經(jīng)營管理數(shù)據(jù)倉庫維度模型設計

數(shù)據(jù)倉庫系統(tǒng)的維度建模得出的模型應該容易為數(shù)據(jù)倉庫的使用者理解,而基于星型連接的維度模型是比較易于理解的呈現(xiàn)方式?采用星型模式設計的數(shù)據(jù)倉庫主要數(shù)據(jù)都存儲在事實表中,查詢時只要掃描事實,不必連接多個龐大的表,訪問效率較高?從國內(nèi)外的數(shù)據(jù)倉庫項目實踐經(jīng)驗看,數(shù)據(jù)倉庫項目成敗,維度模型設計是其中的關(guān)鍵因素?

4. 1熱電企業(yè)經(jīng)營管理維度數(shù)據(jù)模型的設計

維度模型一般有兩種不同性質(zhì)的表:事實表和維度表?事實表是維度模型的基本表,存放業(yè)務性能的度量值;維度表是進入事實表的入口,提供觀察度量值的角度?維度屬性的豐富決定了數(shù)據(jù)倉庫的分析和切割能力?基于熱電企業(yè)數(shù)據(jù)倉庫系統(tǒng)的響應速度?復雜性和系統(tǒng)的維護工作量等方面考慮,在實施數(shù)據(jù)倉庫系統(tǒng)的建設時,采用星型模式?

按照數(shù)據(jù)倉庫總線結(jié)構(gòu)的實施方案,必須首先設計好企業(yè)級數(shù)據(jù)倉庫的數(shù)據(jù)模型,然后才能按照該數(shù)據(jù)模型實施獨立的數(shù)據(jù)集市?在設計數(shù)據(jù)倉庫維度數(shù)據(jù)模型時必須徹底研究企業(yè)數(shù)據(jù)源,并且充分調(diào)研用戶需求?熱電企業(yè)數(shù)據(jù)倉庫維度模型的設計大致可以分為如下幾個步驟:

(1)業(yè)務流程調(diào)查?可將熱電企業(yè)按照熱電建設?熱電生產(chǎn)?資產(chǎn)維護?熱電營銷以及熱力交易市場等5個帶有較強獨立性的業(yè)務流,全面細致地了解整個系統(tǒng)各方面的業(yè)務流程,商流?物流和信息流的流通狀況?

(2)針對各個業(yè)務部門分別繪出一二級數(shù)據(jù)流程圖,弄清其輸入?處理?存貯?輸出?立即存取要求,收集相應資料?理順各個崗位?各個業(yè)務流程之間的關(guān)系?

(3)選取維度?選定事實表的粒度后,時間?繳費與供熱等方面的維度就隨之被確定下來?在確定了維度之后,還需要對其加以細化?結(jié)合前面對數(shù)據(jù)流程圖等的分析,列出熱電企業(yè)基本的數(shù)據(jù)集市以及相關(guān)維度?

(4)對數(shù)據(jù)倉庫系統(tǒng)維度模型進行優(yōu)化,避免多表連接?表的累計?數(shù)據(jù)排序?大表掃描,提高系統(tǒng)響應速度?

通過上面的幾個步驟可以基本實現(xiàn)企業(yè)級的概念數(shù)據(jù)模型和數(shù)據(jù)倉庫總線結(jié)構(gòu)的設計,基于這種可擴展的數(shù)據(jù)模型就可以逐個建立獨立的數(shù)據(jù)集市?

4. 2實例分析

通過維度模型可以實現(xiàn)數(shù)據(jù)倉庫基于一致性維度和事實的總線結(jié)構(gòu),從而把不同的數(shù)據(jù)集市通過維度表緊密關(guān)聯(lián)起來,實現(xiàn)主題間數(shù)據(jù)的集成,消除企業(yè)信息孤島,解決多數(shù)據(jù)源問題,并最終建成企業(yè)級的數(shù)據(jù)倉庫?這里以熱力營銷業(yè)務為實例,對數(shù)據(jù)倉庫維度建模技術(shù)的實際應用進行說明?針對熱電企業(yè)數(shù)據(jù)倉庫系統(tǒng)的特點,并通過對數(shù)據(jù)源的分析,熱電企業(yè)數(shù)據(jù)倉庫采用星型模型維度建模,熱量計量和熱費繳納作為事實表,對熱力營銷部門相關(guān)業(yè)務數(shù)據(jù)和業(yè)務流程的分析,可以確定相應的決策主題,列出各應用項目相對應的相關(guān)維度,如表1所示;然后針對每個主題建立維度模型,即建立單元數(shù)據(jù)集市,圖2是其中的熱量計量和熱費繳納兩個主題的維度模型實例?實際上,通過一個主題維度模型即可以建立一個單元數(shù)據(jù)集市?從圖2中可以看出,這兩個數(shù)據(jù)集市通過用戶維?時間維緊密連接,當繼續(xù)建立新的數(shù)據(jù)集市并逐步擴展到整個熱電企業(yè),就可以構(gòu)建企業(yè)級數(shù)據(jù)倉庫?

5 總 結(jié)

數(shù)據(jù)倉庫具有主要面向分析型應用?輔助企業(yè)進行分析決策的強大優(yōu)勢,它可以應用于熱電企業(yè)各個部門?熱電企業(yè)經(jīng)營管理數(shù)據(jù)倉庫的建設是一項龐大復雜的系統(tǒng)工程,必須嚴密組織?細致規(guī)劃?逐步實施,充分結(jié)合熱電行業(yè)的特點,有的放矢?同時它的建設不可能一蹴而就,需要信息管理專家?業(yè)務專家?管理專家的共同參與,在實踐中不斷調(diào)整,積累經(jīng)驗?

當前數(shù)據(jù)倉庫在熱電企業(yè)中的應用還處于初期階段,許多功能仍在探索中?隨著數(shù)據(jù)倉庫技術(shù)的發(fā)展,我們相信數(shù)據(jù)倉庫技術(shù)在熱電企業(yè)經(jīng)營管理中的應用也將進一步完善?

主要參考文獻

[1] 葉彬,曾偉民,肖治華.數(shù)據(jù)倉庫在電力系統(tǒng)中的應用[J]. 電力系統(tǒng)及其自動化學報,2005(3):10-14.

[2] Su Chao-ton,Hsu J H.Precision Parameter in the Variable Precision Rough Sets Model:An Application[J]. The International Journal of Management Science,2006,34(2):149-157.

[3] 谷海彤. 地區(qū)電力調(diào)度數(shù)據(jù)倉庫建模與數(shù)據(jù)處理[J]. 電力自動化設備,2006(10).

[4] 何曉峰. 調(diào)度自動化系統(tǒng)增強型數(shù)據(jù)倉庫平臺構(gòu)建及應用[J]. 電力系統(tǒng)自動化,2008(4).

[5] 呂海燕. 數(shù)據(jù)倉庫在銀行客戶關(guān)系管理中的應用[J]. 大連海事大學學報,2007(S1).

[6] Du Timon C,Wong Jacqueline. Design Data Warehouse for Supply Chain Manage-ment[C]// Proceeding of the IEEE International Conference on E-Commerce Technology,2004:170-177.

[7] 楊峰,孫莉,汪湲. 電力企業(yè)信息化新技術(shù)研究——數(shù)據(jù)倉庫[J]. 山東電力技術(shù),2005(6).

[8] 陸昌輝. 基于多維數(shù)據(jù)建模的一體化平臺[J]. 計算機工程,2007(21).

[9] 沈軼. 基于數(shù)據(jù)倉庫技術(shù)設計與實現(xiàn)的企業(yè)設備管理系統(tǒng)[J]. 華中科技大學學報:自然科學版,2005(12).

[10] 王海峰. 一個數(shù)據(jù)倉庫建模工具的設計與實現(xiàn)[J]. 計算機工程,2005(13).