打造數(shù)據(jù)倉(cāng)庫(kù)，建設(shè)節(jié)能校園

朱宇華

摘要：建設(shè)資源節(jié)約型、環(huán)境友好型社會(huì)是中央的一項(xiàng)重要任務(wù)，高校作為社會(huì)構(gòu)成中的重要組成部分，資源占有量大，能源消耗量大，因此“節(jié)約型校園”建設(shè)勢(shì)在必行。該文以蘇州工藝美術(shù)職業(yè)技術(shù)學(xué)院校園一卡通系統(tǒng)的歷史流水為樣本，通過(guò)大數(shù)據(jù)技術(shù)對(duì)其進(jìn)行清洗、轉(zhuǎn)換等操作，并最終加載到數(shù)據(jù)倉(cāng)庫(kù)中，找出學(xué)院水能源損耗規(guī)律，發(fā)現(xiàn)平時(shí)未留意的問(wèn)題，將學(xué)院“節(jié)約型校園”建設(shè)工作提升到一個(gè)新的臺(tái)階。

關(guān)鍵詞：節(jié)約型校園；數(shù)據(jù)倉(cāng)庫(kù)；OLAP

中圖分類號(hào)：TP274 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）24-0013-03

中國(guó)是一個(gè)自然資源總量大國(guó)，又是一個(gè)人均資源小國(guó)，各類主要資源的人均占有量遠(yuǎn)低于世界平均水平。長(zhǎng)期以來(lái)，中國(guó)經(jīng)濟(jì)飛速發(fā)展，粗獷型的經(jīng)濟(jì)增長(zhǎng)方式導(dǎo)致資源利用率低，浪費(fèi)破壞現(xiàn)象嚴(yán)重，環(huán)境逐步惡化，資源的供需矛盾不斷加劇。為了有效緩解這種矛盾，中央將構(gòu)建“節(jié)約型社會(huì)”列為一項(xiàng)重要任務(wù)。中國(guó)的高校不僅是社會(huì)資源占有大戶，而且是能源消耗大戶，更是傳播節(jié)約理念，創(chuàng)造節(jié)約節(jié)能技術(shù)的基地，因此節(jié)約型校園的建設(shè)對(duì)整個(gè)國(guó)家的和諧發(fā)展具有非常重要的意義。

校園一卡通系統(tǒng)學(xué)院的各項(xiàng)工作中都起著重要的作用，每天都產(chǎn)生數(shù)以萬(wàn)計(jì)的歷史數(shù)據(jù)，這些數(shù)據(jù)均具有時(shí)效性，在報(bào)表完成后，其就變成了垃圾數(shù)據(jù)，每到一定時(shí)間系統(tǒng)就將其自動(dòng)覆蓋掉，但隨著大數(shù)據(jù)技術(shù)的發(fā)展和應(yīng)用，如果將歷史數(shù)據(jù)變廢為寶，使其能夠?yàn)閷W(xué)院的輔助決策提供依據(jù)成為亟需解決的問(wèn)題。本文以蘇州工藝美術(shù)職業(yè)技術(shù)學(xué)院的校園一卡通系統(tǒng)的歷史數(shù)據(jù)為樣本，通過(guò)大數(shù)據(jù)技術(shù)的綜合使用，找出學(xué)院水能消耗規(guī)律，為學(xué)院的水能調(diào)配工作提供事實(shí)依據(jù)，從而將學(xué)院的節(jié)約型校園工作提升到一個(gè)新的臺(tái)階。

1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介

1.1 數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介

到底什么叫數(shù)據(jù)倉(cāng)庫(kù)？這可能是每一個(gè)技術(shù)人員剛剛接觸數(shù)據(jù)倉(cāng)庫(kù)時(shí)都會(huì)問(wèn)的問(wèn)題，有人說(shuō)它是一個(gè)特別大的數(shù)據(jù)庫(kù)，也有人說(shuō)它是一種數(shù)據(jù)管理和分析的技術(shù)，其實(shí)這些都從側(cè)面反映了數(shù)據(jù)倉(cāng)庫(kù)的概念。

目前，業(yè)內(nèi)公認(rèn)的數(shù)據(jù)倉(cāng)庫(kù)概念的概念是由美國(guó)著名信息工程學(xué)家 W. H. Inmon 在他的《Building the Data Warehouse》一書中定義的，即數(shù)據(jù)倉(cāng)庫(kù)是集成的反映歷史變化的（Time-variant）、（Integrated）、穩(wěn)定的（Non-volatile）、面向主題的（Subject-oriented）數(shù)據(jù)集合，用于決策支持。正如Inmon所說(shuō)的，數(shù)據(jù)倉(cāng)庫(kù)具有以下特點(diǎn)：

（1） 面向主題的

與OLTP事務(wù)性數(shù)據(jù)庫(kù)相比，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是面向主題進(jìn)行組織的。主題就是指將信息系統(tǒng)中的數(shù)據(jù)綜合歸類并進(jìn)行分析利用的抽象。

（2） 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是集成的

為了更易于訪問(wèn)和減少用戶的查詢相應(yīng)時(shí)間，應(yīng)把數(shù)據(jù)從數(shù)據(jù)源中提取到數(shù)據(jù)倉(cāng)庫(kù)中，而這些被提取的屬于應(yīng)該進(jìn)過(guò)數(shù)據(jù)預(yù)處理，將原始數(shù)據(jù)做出又應(yīng)用層面到面相主題層面的轉(zhuǎn)變。

（3） 不可更新的

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要是為了決策分析之用，一般情況下并不進(jìn)行修改操作。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)相對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)要簡(jiǎn)單很多，可以最大限度地對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行性能優(yōu)化。

（4） 隨時(shí)間不斷變化的

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)雖穩(wěn)定，數(shù)據(jù)倉(cāng)庫(kù)隨著時(shí)間的積累，其中也會(huì)不斷增加新的數(shù)據(jù)內(nèi)容和去除過(guò)去的數(shù)據(jù)內(nèi)容。

1.2 數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)的比較

傳統(tǒng)數(shù)據(jù)庫(kù)是為特定的應(yīng)用服務(wù)，它的相應(yīng)時(shí)間、數(shù)據(jù)安全性和完整性是人們主要關(guān)心的方面。因此，數(shù)據(jù)庫(kù)提供完善的數(shù)據(jù)鎖、事務(wù)日志和并發(fā)控制等機(jī)制，可以安全可靠的處理業(yè)務(wù)。而數(shù)據(jù)倉(cāng)庫(kù)雖然是又?jǐn)?shù)據(jù)基礎(chǔ)上發(fā)展而來(lái)，但是它更多的作用是為復(fù)雜的數(shù)據(jù)分析和高層決策提供支持。盡管目前的數(shù)據(jù)倉(cāng)庫(kù)還是采用關(guān)系數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)，但是他們面相的應(yīng)用已是不同，無(wú)論是在數(shù)據(jù)模型的設(shè)計(jì)還是數(shù)據(jù)的物理組織上都存在很大的差異如表1所示：

2 數(shù)據(jù)倉(cāng)庫(kù)工具簡(jiǎn)介

隨著大數(shù)據(jù)技術(shù)越來(lái)越被人所重視，各大軟件廠商積極投入到數(shù)據(jù)倉(cāng)庫(kù)解決方案的競(jìng)爭(zhēng)中，形成了諸侯紛爭(zhēng)的局面，但截至目前為止，還沒(méi)有形成某一家廠商的產(chǎn)品壟斷的局面。本文選用Microsoft的SQL server 2005作為數(shù)據(jù)倉(cāng)庫(kù)工具。

Microsoft SQL server 2005有兩大體系，一是關(guān)于數(shù)據(jù)庫(kù)管理的，一是關(guān)于商業(yè)智能應(yīng)用的。其中商業(yè)智能方面SQL Server 2005提供了三大服務(wù)，分別是：SQL Server 2005 Analysis Services（SSAS）、SQL Server 2005 Integration Services（SSIS）、SQL Server 2005 Reporting Services（SSRS），其體系結(jié)構(gòu)如圖1所示：

本文通過(guò)使用SSIS服務(wù)從各種異構(gòu)數(shù)據(jù)源中整合業(yè)務(wù)數(shù)據(jù)，構(gòu)建能耗分析數(shù)據(jù)倉(cāng)庫(kù)，再使用SSAS服務(wù)構(gòu)建數(shù)據(jù)立方（Cube），也就是多維數(shù)據(jù)集，最后進(jìn)行OLAP分析。

3 項(xiàng)目具體實(shí)施步驟

能耗分析數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建工作主要分為以下幾個(gè)步驟：

3.1 校園一卡通系統(tǒng)數(shù)據(jù)理解建立數(shù)據(jù)倉(cāng)庫(kù)模型

首先，需要對(duì)校園一卡通的業(yè)務(wù)數(shù)據(jù)進(jìn)行詳盡的了解，進(jìn)而確定分析主題。經(jīng)了解，校園一卡通包含了學(xué)生消費(fèi)、圖書借閱、考勤等多種數(shù)據(jù)，此次目的是對(duì)學(xué)院的水能消耗情況進(jìn)行一個(gè)宏觀觀察，因此選取學(xué)生消費(fèi)信息中的水能消費(fèi)流水為基礎(chǔ)，建立能耗分析主題，抽取相關(guān)數(shù)據(jù)，建立數(shù)據(jù)倉(cāng)庫(kù)模型，模型如圖2所示：

3.2 校園一卡通數(shù)據(jù)預(yù)處理

因?yàn)楝F(xiàn)實(shí)中的數(shù)據(jù)或多或少的都會(huì)存在數(shù)據(jù)不完整，數(shù)據(jù)不一致和包含不需要的成分等各種問(wèn)題，而這些問(wèn)題會(huì)給分析結(jié)果帶來(lái)干擾，因此為了提高數(shù)據(jù)分析結(jié)果的準(zhǔn)確性，數(shù)據(jù)預(yù)處理非常的重要。

經(jīng)查詢發(fā)現(xiàn)，校園一卡通數(shù)據(jù)庫(kù)中由于賬戶的異動(dòng)、讀卡錯(cuò)誤、流水丟失等問(wèn)題，也產(chǎn)生了部分噪聲數(shù)據(jù)，需要通過(guò)數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約等技術(shù)對(duì)校園一卡通數(shù)據(jù)庫(kù)內(nèi)的噪聲數(shù)據(jù)進(jìn)行預(yù)處理，其主要過(guò)程如圖3所示：

3.3維度的設(shè)計(jì)與建立

根據(jù)E-R模型，分別建立學(xué)生維度表、商戶維度表、時(shí)間維度表和事實(shí)表，在此只展示商戶維度表（如表2）和事實(shí)維度表（如表3），其他類似。

鑒于時(shí)間維度表的特殊性，不能夠從校園一卡通數(shù)據(jù)庫(kù)中直接抽取，因此需要使用SQL對(duì)其進(jìn)行轉(zhuǎn)換，其部分代碼如下：

SELECT @addday = 1

SELECT @dDate = '08/31/2013' --開始日期

WHILE @dDate < '08/31/2014' --結(jié)束日期

BEGIN

SELECT @Month = DATENAME（ mm， @dDate ）

SELECT @DayOfMonth = DATENAME （ dd， @dDate ）

SELECT @ WeekString = DATENAME （ dw， @dDate ）

SELECT @Year = DATENAME （ yy， @dDate ）

SELECT @MonthOfYea r = DATEPART（ month， @dDate ）

SELECT @WeekOfYea = DATENAME （ week， @dDate ）

SELECT @Quarter = 'Q' + CAST （DATENAME （ quarter， @dDate ） as varchar（1））

End

3.4 使用OLAP進(jìn)行分析處理

接下來(lái)通過(guò)SQL Server數(shù)據(jù)倉(cāng)庫(kù)工具對(duì)數(shù)據(jù)源和維度表進(jìn)行設(shè)置即可形成數(shù)據(jù)立方體，然后通過(guò)OLAP聯(lián)機(jī)分析處理技術(shù)對(duì)其進(jìn)行鉆取、切片、旋轉(zhuǎn)對(duì)學(xué)院的水能消耗情況進(jìn)行一個(gè)全方位立體分析，將分析結(jié)果通過(guò)excel透析表方式進(jìn)行呈現(xiàn)，結(jié)果如圖4所示：

從上圖可以看出，有的月份用水量較高，而有的月份用水量偏少，結(jié)合學(xué)院的自身情況和天氣規(guī)律，就很容易找到學(xué)院水能消耗規(guī)律，從而有針對(duì)性的調(diào)配水資源。

4 結(jié)論和展望

通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)和OLAP聯(lián)機(jī)分析處理技術(shù)的綜合運(yùn)用，對(duì)校園一卡通數(shù)據(jù)庫(kù)內(nèi)的歷史數(shù)據(jù)完成了篩選，清洗，加載等操作，建立了水能消耗數(shù)據(jù)倉(cāng)庫(kù)，找到了學(xué)院水能消耗規(guī)律，為學(xué)院后勤對(duì)水能的供應(yīng)調(diào)配，提供了事實(shí)依據(jù)，既滿足了學(xué)生的用水，又防止了盲目供熱，浪費(fèi)能源，最大限度地節(jié)約了學(xué)院能源損耗。

落實(shí)科學(xué)發(fā)展觀、建設(shè)生態(tài)文明是全社會(huì)的一項(xiàng)重要舉措，節(jié)約型校園的建設(shè)對(duì)全社會(huì)有著重要的現(xiàn)實(shí)意義。水資源作為我國(guó)珍貴的稀缺資源，本文通過(guò)先進(jìn)的技術(shù)手段，對(duì)學(xué)院的水資源的合理調(diào)配，最大限度地節(jié)約了水能消耗，既滿足了學(xué)院廣大師生的需求，又切實(shí)地將節(jié)約型校園工作落到了實(shí)處。同樣，依照此方法，也可以對(duì)學(xué)院的其他能源做出相應(yīng)的處理，最終形成學(xué)院能耗檢測(cè)平臺(tái)，使學(xué)院的節(jié)能減排工作上升到一個(gè)新的臺(tái)階。

參考文獻(xiàn)：

[1] 中華人民共和國(guó)住房和城鄉(xiāng)建設(shè)部、教育部.高等學(xué)校節(jié)約型校園建設(shè)管理與技術(shù)導(dǎo)則（試行）[S]，2008.

[2] 張福麟.高校節(jié)約型校園建設(shè)示范進(jìn)展及工作要求[Z].

[3] 建科[2008]90號(hào).中華人民共和國(guó)住房和城鄉(xiāng)建設(shè)部、教育部關(guān)于推進(jìn)高等學(xué)校節(jié)約型校園建設(shè)進(jìn)一步加強(qiáng)高等學(xué)校節(jié)能節(jié)水工作的意見(jiàn)[S].