商業(yè)智能——發(fā)掘數(shù)據(jù)金礦的工具

[摘要] 本論文先簡單地說明企業(yè)經(jīng)營管理活動對商業(yè)智能的需求，從而明確實(shí)施商業(yè)智能（BI）的原因，解決Why的問題；再闡明商業(yè)智能的技術(shù)構(gòu)成，如數(shù)據(jù)倉庫（DW）、數(shù)據(jù)挖掘（DM）、聯(lián)機(jī)在線分析工具（OLAP）等進(jìn)行概要的分析，大概了解如何實(shí)現(xiàn)商業(yè)智能，解決What和How的問題；最后列舉一些實(shí)際部署的商業(yè)智能項(xiàng)目結(jié)果，解決What Effect的問題，明確商業(yè)智能在企業(yè)經(jīng)營決策過程中的具有很高的實(shí)用價(jià)值。

[關(guān)鍵詞] 商業(yè)智能 數(shù)據(jù)挖掘 ETL OLAP

一、商業(yè)智能概念提出的背景和定義

商業(yè)智能（Business Intelligence ，簡稱BI）的概念最早是 Gartner Group 于 1996 年提出來的。當(dāng)時(shí)將商業(yè)智能定義為一類由數(shù)據(jù)倉庫（或數(shù)據(jù)集市）、查詢報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的、以幫助企業(yè)決策為目的技術(shù)及其應(yīng)用。目前，商業(yè)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的工具。這里所談的數(shù)據(jù)包括來自企業(yè)業(yè)務(wù)系統(tǒng)的訂單、庫存、交易賬目、客戶和供應(yīng)商資料來自企業(yè)所處行業(yè)和競爭對手的數(shù)據(jù)，以及來自企業(yè)所處的其他外部環(huán)境中的各種數(shù)據(jù)。而商業(yè)智能能夠輔助的業(yè)務(wù)經(jīng)營決策，既可以是操作層的，也可以是戰(zhàn)術(shù)層和戰(zhàn)略層的決策。為了將數(shù)據(jù)轉(zhuǎn)化為知識，需要利用數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理（OLAP)工具和數(shù)據(jù)挖掘等技術(shù)。因此，從技術(shù)層面上講，商業(yè)智能不是什么新技術(shù)，它只是數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘等技術(shù)的綜合運(yùn)用。

為此，把商業(yè)智能看成是一種解決方案應(yīng)該比較恰當(dāng)。BI的關(guān)鍵是從許多來自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中，提取出有用的數(shù)據(jù)，進(jìn)行清理以保證數(shù)據(jù)的正確性，然后經(jīng)過抽?。‥xtraction）、轉(zhuǎn)換（Transformation）和裝載（Load），即 ETL 過程，合并到一個企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)數(shù)據(jù)的一個全局視圖，在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識），最后將知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。因此，BI是涉及一個很寬領(lǐng)域的，集收集、合并、分析和提供信息存取功能為一身的解決方案，包括 ETL 軟件、數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)查詢和報(bào)告、多維/聯(lián)機(jī)數(shù)據(jù)分析、數(shù)據(jù)挖掘和可視化工具。 圖1是一個典型的商業(yè)智能系統(tǒng)。

圖1 商業(yè)智能系統(tǒng)構(gòu)圖

二、商業(yè)智能的技術(shù)構(gòu)成

商業(yè)智能所要解決的問題不同，其應(yīng)用到的技術(shù)也不盡相同，一般地講包括以下的部分（不同的體系，劃分的方法可能有些差別，但本質(zhì)相同）。

1.ETL：即數(shù)據(jù)的抽取/轉(zhuǎn)換/加載。也就是將原來不同形式、分布在不同地方的數(shù)據(jù)，轉(zhuǎn)換到一個整理好、統(tǒng)一的存放數(shù)據(jù)的地方(數(shù)據(jù)倉庫)。ETL可以通過專門的工具來實(shí)現(xiàn)，也可以通過任何編程或類似的技術(shù)來實(shí)現(xiàn)。

2.數(shù)據(jù)倉庫：一個標(biāo)準(zhǔn)的定義是：數(shù)據(jù)倉庫是一個面向主題、集成、時(shí)變、非易失的數(shù)據(jù)集合，是支持管理部門的決策過程。簡單地說，數(shù)據(jù)倉庫就是儲存數(shù)據(jù)的地方。它既可能是原始的業(yè)務(wù)數(shù)據(jù)庫，也可能是另外生成的。既可能是標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫，也可能是包括了一些特定面向分析特性的專門產(chǎn)品。

3.查詢：找出所需要的數(shù)據(jù)。由于需求的多樣性和復(fù)雜程度的差異，查詢可能是最簡單的從一張表中找出“所有姓張的人”，到基于非常復(fù)雜的條件、對關(guān)系非常復(fù)雜的數(shù)據(jù)進(jìn)行查找和生成復(fù)雜的結(jié)果。

4.報(bào)表分析：以預(yù)先定義好的或隨時(shí)定義的形式查看結(jié)果和分析數(shù)據(jù)。將人工或自動查詢出來的數(shù)據(jù)，以所需要的形式(包括進(jìn)行各種計(jì)算、比較，生成各種展現(xiàn)格式，生成各種圖表等)展現(xiàn)給用戶，甚至讓用戶可以進(jìn)一步逐層深入鉆取這些數(shù)據(jù)，乃至靈活地按照各種需求進(jìn)行新的分析并查看其結(jié)果。在這個領(lǐng)域，報(bào)表已經(jīng)由原來狹義的做好固定報(bào)表發(fā)展為靈活地按業(yè)務(wù)要求隨時(shí)制作各種報(bào)表、進(jìn)行各種分析和數(shù)據(jù)研究處理。

5.OLAP分析：多維數(shù)據(jù)分析，從多個不同的角度立體地同時(shí)對數(shù)據(jù)進(jìn)行分析。理解OLAP分析，最簡單的例子是Excel中的數(shù)據(jù)透視表。需要指出的是，OLAP有廣義與狹義之分，廣義的OLAP是相對OLTP而言，可以說包括了查詢、報(bào)表分析、OLAP分析和數(shù)據(jù)挖掘，但真正大家所講的實(shí)際是狹義的OLAP，即多維數(shù)據(jù)分析。OLAP分析一般講應(yīng)該是通過建模和建立立方體(CUBE)來實(shí)現(xiàn)，但現(xiàn)在也有一些簡單的OLAP工具可以不建模即進(jìn)行小數(shù)據(jù)量、低復(fù)雜度的分析(EXCEL的數(shù)據(jù)透視表即是一例)。

6.數(shù)據(jù)挖掘：一種在大型數(shù)據(jù)庫中尋找你感興趣或是有價(jià)值信息的過程。相比于上面幾個部分，數(shù)據(jù)挖掘是最不確定的。如果理解它與查詢的區(qū)別，似乎是數(shù)據(jù)如果容易查出來，就是查詢。如果費(fèi)很大勁才能找出來，就是挖掘。

上面這若干部分，并不是每一部分都必不可少，而是要根據(jù)應(yīng)用的實(shí)際情況，具體問題具體分析。一般地講，數(shù)據(jù)倉庫(這里是廣義的，其中相當(dāng)一部分情況就是指標(biāo)準(zhǔn)的關(guān)系型數(shù)據(jù)庫)和查詢、報(bào)表分析是必不可少的，而其他一些功能則視應(yīng)用的需要可能有不同程度的應(yīng)用。

除了上面所講的這些實(shí)質(zhì)性、技術(shù)性的組成部分外，與商業(yè)智能相關(guān)的還有很多應(yīng)用層面的概念，如EPM(企業(yè)績效管理)、DashBoard(儀表盤)、預(yù)警、決策支持等等。這些概念在應(yīng)用上有很大意義，也有一些相關(guān)的輔助技術(shù)，但本質(zhì)上還是基于上述的幾個組成部分。

三、實(shí)施商業(yè)智能的步驟

實(shí)施商業(yè)智能系統(tǒng)是一項(xiàng)復(fù)雜的系統(tǒng)工程，整個項(xiàng)目涉及企業(yè)管理、運(yùn)作管理、信息系統(tǒng)、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析等眾多門類的知識。因此用戶除了要選擇合適的商業(yè)智能軟件工具外還必須按照正確的實(shí)施方法才能保證項(xiàng)目得以成功。商業(yè)智能項(xiàng)目的實(shí)施步驟可分為：

1.商業(yè)需求分析/整理→商業(yè)需求確認(rèn)/修正： 需求分析是商業(yè)智能實(shí)施的第一步，在其他活動開展之前必須明確的定義企業(yè)對商業(yè)智能的期望和需求，包括需要分析的主題，各主題可能查看的角度(維度)；需要發(fā)現(xiàn)企業(yè)那些方面的規(guī)律，用戶的需求必須明確。對比規(guī)劃的商業(yè)需求滿足現(xiàn)有業(yè)務(wù)需求的程度，通過對比，修正并確認(rèn)用戶對BI的需求。包括報(bào)表的需求、分析模式的需求。

2.數(shù)據(jù)倉庫建模：通過對企業(yè)需求的分析， 建立企業(yè)數(shù)據(jù)倉庫的邏輯模型和物理模型，并規(guī)劃好系統(tǒng)的應(yīng)用架構(gòu)，將企業(yè)各類數(shù)據(jù)按照分析主題進(jìn)行組織和歸類。

(1)制定數(shù)據(jù)ETL（抽取、轉(zhuǎn)換、上載）的規(guī)則;(2)制定有利于布置、分析效率的DW存儲模式;(3)物理實(shí)現(xiàn)。

3.數(shù)據(jù)抽取:數(shù)據(jù)倉庫建立后必須將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)中抽取到數(shù)據(jù)倉庫中，在抽取的過程中還必須將數(shù)據(jù)進(jìn)行轉(zhuǎn)換，清洗，以適應(yīng)分析的需要。

4.建立商業(yè)智能分析報(bào)表:商業(yè)智能分析報(bào)表需要專業(yè)人員按照用戶制訂的格式進(jìn)行開發(fā)，用戶也可自行開發(fā)(開發(fā)方式簡單，快捷)。

5.用戶培訓(xùn)和數(shù)據(jù)模擬測試:對于開發(fā)－使用分離型的商業(yè)智能系統(tǒng)，最終用戶的使用是相當(dāng)簡單的，只需要點(diǎn)擊操作就可針對特定的商業(yè)問題進(jìn)行分析。

6.系統(tǒng)改進(jìn)和完善:任何系統(tǒng)的實(shí)施都必須是不斷完善的，商業(yè)智能系統(tǒng)更是如此，在用戶使用一段時(shí)間后可能會提出更多的，更具體的要求，這時(shí)需要再按照上述步驟對系統(tǒng)進(jìn)行重構(gòu)或完善。

四、商業(yè)智能的發(fā)展趨勢

商業(yè)職能與DSS、EIS系統(tǒng)相比，具有更美好的發(fā)展前景。近些年來，商業(yè)智能市場持續(xù)增長。IDC預(yù)測，到2005年，BI市場將達(dá)到118億美元，平均年增長率為27%（Information Access Tools Market Forecast and Analysis：2001-2005，IDC#24779， June 2001）。隨著企業(yè)CRM、ERP、SCM等應(yīng)用系統(tǒng)的引入，企業(yè)不停留在事務(wù)處理過程而注重有效利用企業(yè)的數(shù)據(jù)為準(zhǔn)確和更快的決策提供支持的需求越來越強(qiáng)烈，由此帶動的對商業(yè)智能的需求將是巨大的。

商業(yè)智能的發(fā)展趨勢可以歸納為以下幾點(diǎn)：

1.功能上具有可配置性、靈活性、可變化性。BI系統(tǒng)的范圍從為部門的特定用戶服務(wù)擴(kuò)展到為整個企業(yè)所有用戶服務(wù)。同時(shí)，由于企業(yè)用戶在職權(quán)、需求上的差異，BI系統(tǒng)提供廣泛的、具有針對性的功能。從簡單的數(shù)據(jù)獲取，到利用WEB和局域網(wǎng)、廣域網(wǎng)進(jìn)行豐富的交互、決策信息和知識的分析和使用。

解決方案更開放、可擴(kuò)展、可按用戶定制，在保證核心技術(shù)的同時(shí)，提供客戶化的界面針對不同企業(yè)的獨(dú)特的需求，BI系統(tǒng)在提供核心技術(shù)的同時(shí)，使系統(tǒng)又具個性化，即在原有方案基礎(chǔ)上加入自己的代碼和解決方案，增強(qiáng)客戶化的接口和擴(kuò)展特性；可為企業(yè)提供基于商業(yè)智能平臺的定制的工具，使系統(tǒng)具有更大的靈活性和使用范圍。

2.從單獨(dú)的商業(yè)智能向嵌入式商業(yè)智能發(fā)展。這是目前商業(yè)智能應(yīng)用的一大趨勢，即在企業(yè)現(xiàn)有的應(yīng)用系統(tǒng)中，如財(cái)務(wù)、人力、銷售等系統(tǒng)中嵌入商業(yè)智能組件，使普遍意義上的事務(wù)處理系統(tǒng)具有商業(yè)智能的特性。考慮BI系統(tǒng)的某個組件而不是整個BI系統(tǒng)并非一件簡單的事，比如將OLAP技術(shù)應(yīng)用到某一個應(yīng)用系統(tǒng)，一個相對完整的商業(yè)智能開發(fā)過程，如企業(yè)問題分析、方案設(shè)計(jì)、原型系統(tǒng)開發(fā)、系統(tǒng)應(yīng)用等過程是不可缺少的。

3.從傳統(tǒng)功能向增強(qiáng)型功能轉(zhuǎn)變。增強(qiáng)型的商業(yè)智能功能是相對于早期的用SQL工具實(shí)現(xiàn)查詢的商業(yè)智能功能。目前應(yīng)用中的BI系統(tǒng)除實(shí)現(xiàn)傳統(tǒng)的BI系統(tǒng)功能之外，大多數(shù)已實(shí)現(xiàn)了數(shù)據(jù)分析層的功能。而數(shù)據(jù)挖掘、企業(yè)建模是BI系統(tǒng)應(yīng)該加強(qiáng)的應(yīng)用，以更好地提高系統(tǒng)性能。

4.應(yīng)用領(lǐng)域更加寬廣。2006年，商業(yè)智能在中國的應(yīng)用主要集中在金融、電信、保險(xiǎn)、能源、制造、零售、政府等行業(yè)，應(yīng)用比例見下圖2：

圖2 2006年中國BI市場各行業(yè)所占比例

隨著商業(yè)智能在13個行業(yè)成功的應(yīng)用案例，商業(yè)智能的應(yīng)用領(lǐng)域越來越廣闊。這13個行業(yè)是：衛(wèi)生行業(yè)（廣州藥業(yè)）、空調(diào)行業(yè)（上海雙菱）、電子行業(yè)（西門子AD集團(tuán)）、鋼鐵行業(yè)（寶鋼）、制藥行業(yè)（廣藥）、保險(xiǎn)行業(yè)（泰康人壽）、電信行業(yè)（天津聯(lián)通）、啤酒行業(yè)（珠江啤酒）、證券行業(yè)（上海證交所）、金融行業(yè)（光大銀行）、煙草行業(yè)（重慶煙草）、政府部門（國稅總局）、汽車行業(yè)（上海汽車銷售總公司）。

參考文獻(xiàn)：

[1]（美）Michael J.A.BerryGordon S.Linoff著，別榮芳尹靜鄧六愛譯：數(shù)據(jù)挖掘技術(shù)：市場營銷、銷售與客戶關(guān)系管理領(lǐng)域應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2006年7月第1版第1次印刷

[2]朱德利:數(shù)據(jù)挖掘與商業(yè)智能完全解決方案[M].北京：電子工業(yè)出版社，2007年10月第1次印刷

[3]張蓉:數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)在銀行客戶關(guān)系管理(CRM)系統(tǒng)中的應(yīng)用，來源于http://www.ahcit.com/lanmuyd.asp?id=1920

[4]李丹丹:數(shù)據(jù)挖掘技術(shù)及其發(fā)展趨勢[J].電腦應(yīng)用技術(shù)，2007年總第六十九期

[5]邵蜂晶等:數(shù)據(jù)挖掘原理與算法[M].中國水利出版社，2003