數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在零售行業(yè)中的應(yīng)用

[摘 要] 隨著零售行業(yè)的迅猛發(fā)展，競(jìng)爭(zhēng)日益激烈，如何降低運(yùn)營(yíng)成本、最大限度滿足消者購(gòu)物需求成為大多數(shù)企業(yè)面臨的考驗(yàn)。通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)、OLAP及多維數(shù)據(jù)模型的論述，實(shí)現(xiàn)了基于零售系統(tǒng)決策支持的數(shù)據(jù)倉(cāng)庫(kù)，使其能夠更充分地了解客戶需求，協(xié)助企業(yè)做出決策，以提高其自身競(jìng)爭(zhēng)力。

[關(guān)鍵詞] 數(shù)據(jù)倉(cāng)庫(kù) OLAP 多維數(shù)據(jù)模型

隨著商品經(jīng)濟(jì)和電子商務(wù)的飛速發(fā)展，銷售系統(tǒng)數(shù)據(jù)庫(kù)中存放了大量關(guān)于商品銷售情況的數(shù)據(jù)，這些數(shù)據(jù)為企業(yè)提供了更深入了解客戶需求信息和購(gòu)物行為特征的參考信息，但傳統(tǒng)的應(yīng)用環(huán)境不能完全地滿足這樣的需求，隨著數(shù)據(jù)庫(kù)及相關(guān)技術(shù)的發(fā)展，通過(guò)將數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘與聯(lián)機(jī)分析處理技術(shù)三者的結(jié)合，利用企業(yè)內(nèi)部的海量數(shù)據(jù)，挖掘出有價(jià)值的知識(shí)和規(guī)則，則可以幫助和支持企業(yè)決策，提高企業(yè)的決策力和競(jìng)爭(zhēng)力。

一、數(shù)據(jù)倉(cāng)庫(kù)(DW)

數(shù)據(jù)倉(cāng)庫(kù)用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作性數(shù)據(jù)庫(kù)；數(shù)據(jù)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，然后按主題重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉(cāng)庫(kù)具有以下幾個(gè)特點(diǎn)：

1.面向主題的

操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織，如顧客、商品、供應(yīng)商、銷售組織。數(shù)據(jù)倉(cāng)庫(kù)關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織結(jié)構(gòu)的日常操作和事務(wù)處理。數(shù)據(jù)倉(cāng)庫(kù)排除對(duì)于決策無(wú)用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖。

2.集成的

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來(lái)自多個(gè)外部應(yīng)用系統(tǒng)或本系統(tǒng)中不同的使用部門，數(shù)據(jù)的組織結(jié)構(gòu)會(huì)有所不同，因此需要對(duì)來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行清理和集成，確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性，有力地克服了基于關(guān)系數(shù)據(jù)庫(kù)決策支持?jǐn)?shù)據(jù)分散且不易集成的缺點(diǎn)，并支持聯(lián)機(jī)分析處理。

3.數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是不可更新的

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)主要提供企業(yè)決策分析之用，主要的操作是查詢，一般不執(zhí)行修改，但在需要進(jìn)行新的分析決策時(shí)，可能需要進(jìn)行更新或刪除數(shù)據(jù)，這是由數(shù)據(jù)篡改庫(kù)管理員后臺(tái)實(shí)現(xiàn)，終端用戶不允許操作。

4.數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)隨時(shí)間不斷變化

可以進(jìn)行增加新數(shù)據(jù)、刪除舊數(shù)據(jù)、更新與時(shí)間有關(guān)的一些綜合數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)不同于數(shù)據(jù)庫(kù)，兩者的應(yīng)用層次不同，傳統(tǒng)數(shù)據(jù)庫(kù)用于事務(wù)管理，數(shù)據(jù)倉(cāng)庫(kù)用于決策支持、決策分析，是建立決策支持系統(tǒng)（DSS）的基礎(chǔ)，數(shù)據(jù)庫(kù)為數(shù)據(jù)倉(cāng)庫(kù)提供數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)。

二、聯(lián)機(jī)分析處理(OLAP）

如果要有效地利用DW中的信息資源，必須有強(qiáng)大的工具對(duì)信息進(jìn)行分析和決策，OLAP就是一個(gè)得到廣泛應(yīng)用的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。它專門用于支持復(fù)雜的決策分析，是支持信息管理和業(yè)務(wù)人員決策活動(dòng)的一種決策分析工具，它可以根據(jù)分析人員的要求，迅速、靈活地對(duì)大量數(shù)據(jù)進(jìn)行復(fù)雜的查詢處理，并以直觀、容易理解的形式將結(jié)果提供給各種決策人員，使他們迅速、準(zhǔn)確地掌握企業(yè)的運(yùn)作情況，了解客戶和市場(chǎng)的需求。

OLAP是多維數(shù)據(jù)存儲(chǔ)，通常將三維立方體的數(shù)據(jù)進(jìn)行切片來(lái)顯示三維的某一個(gè)方面。OLAP的多維分析突破了三維概念，采用旋轉(zhuǎn)、潛逃、切片、鉆取和三維可視化技術(shù)并在屏幕上展示多維視圖的結(jié)構(gòu)，使用戶直觀地理解和分析數(shù)據(jù)以及進(jìn)行決策支持。

OLAP有兩個(gè)特點(diǎn)，一是在線，表現(xiàn)在對(duì)用戶的請(qǐng)求快速響應(yīng)和交互操作，由客戶機(jī)/服務(wù)器體系結(jié)構(gòu)完成的；二是多維分析，這則是聯(lián)機(jī)分析處理的核心。

三、多維數(shù)據(jù)模型

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織方式可以是關(guān)系數(shù)據(jù)存儲(chǔ)的也可以是多維數(shù)據(jù)立方體，最常用的是多維數(shù)據(jù)模型。數(shù)據(jù)倉(cāng)庫(kù)和OLAP工具都基于該模型，該模型將數(shù)據(jù)看做數(shù)據(jù)立方體形式，由維和事實(shí)定義，提供多維視圖，并允許預(yù)計(jì)算和快速訪問(wèn)匯總的數(shù)據(jù)。

通常多維數(shù)據(jù)模型圍繞中心主題組織數(shù)據(jù)，包括事實(shí)表的名稱、度量以及每個(gè)相關(guān)維表的關(guān)鍵字。當(dāng)利用數(shù)據(jù)展現(xiàn)工具確定要觀察的維和度量值后，展現(xiàn)工具利用事實(shí)表與維度表的關(guān)聯(lián)字段找到各維表的相應(yīng)值，把它們作為用戶分析數(shù)據(jù)的角度，再根據(jù)事實(shí)表中的度量值進(jìn)行統(tǒng)計(jì)，最后得到用戶想要得到的數(shù)據(jù)。

在零售決策支持系統(tǒng)中，多維數(shù)據(jù)庫(kù)是建立在數(shù)據(jù)倉(cāng)庫(kù)之上，是實(shí)現(xiàn)OLAP的數(shù)據(jù)引擎，確定多維數(shù)據(jù)庫(kù)的維數(shù)和維的內(nèi)容是多維數(shù)據(jù)庫(kù)設(shè)計(jì)的關(guān)鍵。根據(jù)決策需求，可以設(shè)計(jì)如下：分類、品牌、供應(yīng)商、時(shí)間、地區(qū)，實(shí)際是對(duì)數(shù)據(jù)倉(cāng)庫(kù)主題域的局部細(xì)化，各維匯總層次的劃分可以根據(jù)零售決策需求靈活定義，形成多層系的匯總。

四、實(shí)例說(shuō)明

以普通商場(chǎng)為例，研究幾個(gè)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的主要環(huán)節(jié)。

1.需求分析

(1)銷售毛利分析：可以從商品分類或柜組的角度，對(duì)銷售額、成本、毛利、毛利率進(jìn)行分析。

(2)商品銷售與毛利排行：將某分類或柜組的商品進(jìn)行銷售或毛利指標(biāo)排序。

(3)銷售趨勢(shì)分析：從商品分類或柜組的角度，分析在一個(gè)時(shí)間階段內(nèi)，銷售額、毛利、毛利率的走向趨勢(shì)。

(4)供應(yīng)商銷售分析:按照商品供應(yīng)商的角度，對(duì)各供應(yīng)商的銷售、毛利進(jìn)行分析，并對(duì)供應(yīng)商的指標(biāo)以分類逐步深入鉆取，比較一個(gè)供應(yīng)商的經(jīng)營(yíng)業(yè)績(jī)是由哪些分類的商品組成。也能比較同類或同柜組的商品有哪些供應(yīng)商在供貨以及經(jīng)營(yíng)狀況。

2.設(shè)計(jì)方法

數(shù)據(jù)倉(cāng)庫(kù)的建立是在原有數(shù)據(jù)庫(kù)的基礎(chǔ)上進(jìn)行的，設(shè)計(jì)可以采用自底向上的應(yīng)用驅(qū)動(dòng)方法來(lái)實(shí)現(xiàn)：選擇來(lái)自不同事務(wù)系統(tǒng)的數(shù)據(jù)源通過(guò)整理和傳送，加載到數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)，并不斷根據(jù)不同的應(yīng)用，向混合數(shù)據(jù)載體中添加越來(lái)越多的數(shù)據(jù)源，最終達(dá)到覆蓋所有數(shù)據(jù)資源而完成數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)構(gòu)筑的目的。

3.數(shù)據(jù)倉(cāng)庫(kù)的建立

(1)概念模型的設(shè)計(jì)。概念模型主要是對(duì)原有數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行分析，界定系統(tǒng)邊界和確定主要的主題域。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的，零售系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的主題可以從銷售主題、庫(kù)存主題和采購(gòu)主題這三方面來(lái)考慮。

(2)邏輯模型的設(shè)計(jì)。邏輯建模是數(shù)據(jù)倉(cāng)庫(kù)構(gòu)筑中的重要環(huán)節(jié)，在本零售系統(tǒng)的中，包括粒度的選擇、關(guān)系模式定義和提煉表中數(shù)據(jù)。邏輯結(jié)構(gòu)模型主要有星形模型和雪花模型。本例中，筆者認(rèn)為應(yīng)采用星形模式建模，這種模型交叉點(diǎn)少，通過(guò)使用一個(gè)包含主題的事實(shí)表和多個(gè)維度表來(lái)執(zhí)行典型的決策支持系統(tǒng)查詢，同時(shí)它針對(duì)“維”做了大量的預(yù)處理，查詢速度非?？?。事實(shí)表可分為商品進(jìn)銷事實(shí)表，維度表為商品維度表、時(shí)間維度表、供應(yīng)商維度表、地區(qū)維度表、品牌維度表和柜組維度表。

（3)物理模型設(shè)計(jì)。包括確定數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)、確定索引策略（對(duì)大記錄數(shù)的表如商品銷售明細(xì)、分類銷售明細(xì)表等建立索引，以獲得最大的查詢功能）、確定數(shù)據(jù)存放位置和確定存儲(chǔ)分配。

4.數(shù)據(jù)倉(cāng)庫(kù)的生成

數(shù)據(jù)倉(cāng)庫(kù)中存有大量的歷史數(shù)據(jù)，以及當(dāng)前細(xì)節(jié)數(shù)據(jù)、輕度綜合和高級(jí)綜合數(shù)據(jù)，以滿足決策者對(duì)不同時(shí)間和不同力度層次的要求。數(shù)據(jù)的來(lái)源可以是企業(yè)內(nèi)部或外部，常常是由不同的數(shù)據(jù)系統(tǒng)、操作系統(tǒng)及應(yīng)用生成，因此，生成數(shù)據(jù)倉(cāng)庫(kù)時(shí)，最關(guān)鍵的是數(shù)據(jù)質(zhì)量，使數(shù)據(jù)整齊一致。使用DTS工具進(jìn)行數(shù)據(jù)轉(zhuǎn)換或數(shù)據(jù)導(dǎo)入/導(dǎo)出到數(shù)據(jù)倉(cāng)庫(kù)中時(shí)，需要考慮數(shù)據(jù)提取、轉(zhuǎn)換、清理、加載和匯總這幾個(gè)過(guò)程。

5.基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)

基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)設(shè)計(jì)的具體的步驟是：存放于各柜組（店鋪）的數(shù)據(jù)通過(guò)DTS被抽取到ETL數(shù)據(jù)庫(kù)（SQL Server），數(shù)據(jù)在ETL數(shù)據(jù)庫(kù)中完成清洗和轉(zhuǎn)換，再通過(guò)DTS加載到倉(cāng)庫(kù)數(shù)據(jù)庫(kù)（DB2），數(shù)據(jù)進(jìn)入倉(cāng)庫(kù)數(shù)據(jù)庫(kù)后按維度和事實(shí)存放，通過(guò)DTS調(diào)用把倉(cāng)庫(kù)數(shù)據(jù)按主題裝載到多維數(shù)據(jù)庫(kù)（ESSBASE）.TONGUO HPs Server發(fā)布編譯好的決策支持分析系統(tǒng)腳本，通過(guò)Web服務(wù)器，用戶就可以使用瀏覽器訪問(wèn)決策支持系統(tǒng)并分析瀏覽數(shù)據(jù)了。

可以采用DB2數(shù)據(jù)庫(kù)作為倉(cāng)庫(kù)數(shù)據(jù)庫(kù)，ESSBASE產(chǎn)品作為OLAP分析工具，微軟DTS工具作為ETL工具，開(kāi)發(fā)模式選擇B/S模式。

五、結(jié)束語(yǔ)

數(shù)據(jù)倉(cāng)庫(kù)的根本任務(wù)是把數(shù)據(jù)加以整理歸納，并及時(shí)提供給相應(yīng)的管理決策人員，供他們做出改善其業(yè)務(wù)經(jīng)營(yíng)的決策，使信息發(fā)揮作用，支持決策。在零售系統(tǒng)或電子商務(wù)中，根據(jù)企業(yè)自身的發(fā)展需求建立數(shù)據(jù)倉(cāng)庫(kù)，將數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘技術(shù)相結(jié)合，有助于發(fā)現(xiàn)客戶購(gòu)買模式和趨勢(shì)、提供可靠的貨物進(jìn)銷比率、控制庫(kù)存及降低商業(yè)成本等，對(duì)企業(yè)經(jīng)濟(jì)效益的提高具有舉足輕重的作用。

參考文獻(xiàn):

[1]牛 莉:中小企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建與應(yīng)用[J].華南師范大學(xué)學(xué)報(bào)，2007，(02)

[2][美]W.H.Inmon，R.H.Terdeman，Joyce Norris-Montanari，Dan Meers 電子商務(wù)中的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)[M].北京：機(jī)械工業(yè)出版社，2004