商務(wù)智能架構(gòu)中的數(shù)據(jù)采集平臺(tái)

丁 琳

SAP中國思愛普（北京）軟件系統(tǒng)有限公司,上海 201203

1 關(guān)于商務(wù)智能

商務(wù)智能（Business Intelligence, BI）是企業(yè)利用數(shù)據(jù)倉庫（DW）、數(shù)據(jù)挖掘（DM）、在線分析處理（OLAP）和決策支持系統(tǒng)（DSS）等現(xiàn)代信息技術(shù)對(duì)企業(yè)經(jīng)營過程中產(chǎn)生的大量結(jié)構(gòu)化和非結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)和信息進(jìn)行收集、整理、分析，以便輔助企業(yè)做出爭取決策，采取有效戰(zhàn)術(shù)行動(dòng)，優(yōu)化業(yè)務(wù)流程，全面提升企業(yè)績效的工具、方法和技術(shù)的統(tǒng)稱。借助商務(wù)智能這一手段，企業(yè)可以在市場日益變化，競爭愈加激烈，組織結(jié)構(gòu)復(fù)雜，企業(yè)規(guī)模快速擴(kuò)張龐大的商業(yè)環(huán)境之下，保持高效運(yùn)營、正確決策、快速響應(yīng)，實(shí)現(xiàn)企業(yè)從數(shù)據(jù)到信息、從信息到知識(shí)、從知識(shí)到利潤的轉(zhuǎn)化。

2 商務(wù)智能數(shù)據(jù)采集的問題

企業(yè)實(shí)施商務(wù)智能項(xiàng)目時(shí)，數(shù)據(jù)的采集和集成是通常遇到的問題。由于實(shí)施過程一般分階段分梯度進(jìn)行，因此企業(yè)BI始終要面對(duì)業(yè)務(wù)流程隨市場環(huán)境趨勢不斷變化的現(xiàn)狀，系統(tǒng)架構(gòu)始終處于不斷補(bǔ)充擴(kuò)大的過程。

在企業(yè)內(nèi)部隨著信息化的歷史變遷，從部門級(jí)應(yīng)用，到各公司獨(dú)立應(yīng)用，再到企業(yè)一體化應(yīng)用，企業(yè)使用不同廠商、不同版本的各種管理軟件。如果說這種系統(tǒng)應(yīng)用的廣度已經(jīng)使人頭痛，更頭痛的是集團(tuán)型企業(yè)各種信息系統(tǒng)的集成問題。如從數(shù)據(jù)集成到應(yīng)用系統(tǒng)集成，再到集團(tuán)型企業(yè)所面臨的人員集成、信息集成、流程集成、應(yīng)用平臺(tái)集成等方面，涉及面越來越多，集成重點(diǎn)也愈來愈從技術(shù)走向業(yè)務(wù)系統(tǒng)。

與此同時(shí)，行業(yè)市場激烈的競爭環(huán)境，迫使企業(yè)不得不在應(yīng)用系統(tǒng)逐步整合集中的進(jìn)程中，同步進(jìn)行大規(guī)模的企業(yè)范圍內(nèi)的數(shù)據(jù)整合，以BI作為企業(yè)戰(zhàn)略重要支撐。那么企業(yè)BI必然率先解決數(shù)據(jù)驅(qū)動(dòng)的根本，即解決數(shù)據(jù)的獲取、轉(zhuǎn)換和整合等問題。

3 數(shù)據(jù)采集平臺(tái)作為商務(wù)智能架構(gòu)補(bǔ)充

目前，全球各大軟件廠商提供的商務(wù)智能解決方案均是將業(yè)務(wù)應(yīng)用的操作型關(guān)系數(shù)據(jù)庫作為商務(wù)智能數(shù)據(jù)倉庫或集市的ETL數(shù)據(jù)源，這種解決方案旨在將業(yè)務(wù)流程和操作與業(yè)務(wù)分析和查詢分離，應(yīng)用組合各司其職合理架構(gòu)。因此，市面上大部分BI產(chǎn)品本身只對(duì)數(shù)據(jù)倉庫或集市或OLAP進(jìn)行單向提取和展現(xiàn)操作，也就是“只讀”的操作，展現(xiàn)層不提供大量和頻繁的數(shù)據(jù)寫操作。試想一旦BI產(chǎn)品具備數(shù)據(jù)寫處理，BI的產(chǎn)品定位和架構(gòu)界限劃分將變得模糊不清，在實(shí)際應(yīng)用中也難免出現(xiàn)業(yè)務(wù)需求匹配解決方案時(shí)的定位混淆問題。即使市面上有少數(shù)BI產(chǎn)品具備訪問權(quán)限可控的“回寫、轉(zhuǎn)存”功能，啟用功能時(shí)勢必要謹(jǐn)慎考慮對(duì)數(shù)據(jù)倉庫或OLAP多維分析的數(shù)據(jù)更新頻率和重構(gòu)立方體的工作量問題，事實(shí)上這類BI產(chǎn)品的“寫處理”能力非常局限，一般僅處理單表中度量型或備注型的字段更新，也不具備工作流和規(guī)則引擎等基本流程控制功能。

筆者提出，在商務(wù)智能體系架構(gòu)中增加構(gòu)建一層數(shù)據(jù)采集平臺(tái)，作為核心業(yè)務(wù)應(yīng)用組合架構(gòu)中的重要補(bǔ)充來源，從而解決企業(yè)快速獲取非系統(tǒng)性數(shù)據(jù)來源或外部來源數(shù)據(jù)導(dǎo)入系統(tǒng)的問題，以保證企業(yè)數(shù)據(jù)資產(chǎn)完整性以及信息充分有效性，實(shí)現(xiàn)商務(wù)智能支撐企業(yè)決策的要求。

4 數(shù)據(jù)采集平臺(tái)的解決方案

數(shù)據(jù)采集情況復(fù)雜，方式種類繁多。較為常見的情況是業(yè)務(wù)應(yīng)用系統(tǒng)之間跨多數(shù)據(jù)庫，結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)源，以及手工填報(bào)錄入和導(dǎo)入源文件等。簡單的采集方式可以是網(wǎng)頁手工錄入數(shù)據(jù)，掃描條形碼，自動(dòng)化定時(shí)數(shù)據(jù)抽取，修正或者補(bǔ)錄過程等方式，最終是為數(shù)據(jù)存儲(chǔ)或數(shù)據(jù)分析提供基礎(chǔ)內(nèi)容。可見無論何種情況方式，數(shù)據(jù)采集都包括了數(shù)據(jù)源收集、識(shí)別、選取和存儲(chǔ)等環(huán)節(jié)，是一個(gè)從目標(biāo)處理到完成輸入輸出的復(fù)雜過程。

4.1 數(shù)據(jù)采集平臺(tái)架構(gòu)

商務(wù)智能的數(shù)據(jù)采集平臺(tái)包括對(duì)業(yè)務(wù)數(shù)據(jù)、協(xié)同數(shù)據(jù)、公用資源以及公司各級(jí)下屬單位或部門的數(shù)據(jù)進(jìn)行采集。數(shù)據(jù)采集工作主要通過數(shù)據(jù)采集適配器、網(wǎng)頁在線數(shù)據(jù)填報(bào)、客戶端數(shù)據(jù)上報(bào)、以及后臺(tái)批量數(shù)據(jù)導(dǎo)入等方式，迅速地從生產(chǎn)數(shù)據(jù)庫、文件系統(tǒng)采集到數(shù)據(jù)，存儲(chǔ)到采集數(shù)據(jù)庫及文件系統(tǒng)，并盡量降低給生產(chǎn)數(shù)據(jù)庫帶來的影響。

數(shù)據(jù)采集平臺(tái)要求數(shù)據(jù)的準(zhǔn)確一致、格式符合BI分析使用，因此設(shè)計(jì)了數(shù)據(jù)上報(bào)和審核的業(yè)務(wù)流程，系統(tǒng)層次結(jié)構(gòu)和流程設(shè)計(jì)如下：

審批層：由具體填報(bào)人員以網(wǎng)頁在線填報(bào)或客戶端填報(bào)方式，將數(shù)據(jù)錄入填報(bào)系統(tǒng)中（系統(tǒng)自動(dòng)將數(shù)據(jù)標(biāo)示為狀態(tài)寫為提交）。

填報(bào)層：各分支結(jié)構(gòu)審核人員將在系統(tǒng)中對(duì)數(shù)據(jù)審核（系統(tǒng)中只顯示待審核數(shù)據(jù)），如數(shù)據(jù)符合要求則通過審核（系統(tǒng)將標(biāo)志位改為審核），否則退回（系統(tǒng)將標(biāo)志位改為提交）。

ETL層：由系統(tǒng)自動(dòng)通過ETL工具將數(shù)據(jù)寫入公司總部采集平臺(tái)的數(shù)據(jù)庫，ETL過程需根據(jù)業(yè)務(wù)需求具體設(shè)計(jì)。

2）數(shù)據(jù)存儲(chǔ)分為兩層級(jí)

各下屬單位數(shù)據(jù)存儲(chǔ)：各個(gè)下屬單位有各自數(shù)據(jù)庫，存儲(chǔ)在線填報(bào)系統(tǒng)數(shù)據(jù)。

總部數(shù)據(jù)中心：總部采集平臺(tái)數(shù)據(jù)庫，存儲(chǔ)各下屬單位數(shù)據(jù)。（審核后數(shù)據(jù)）。

3）數(shù)據(jù)采集內(nèi)容

數(shù)據(jù)采集平臺(tái)為數(shù)據(jù)集成和整合應(yīng)用提供數(shù)據(jù)基礎(chǔ)，數(shù)據(jù)采集覆蓋整個(gè)醫(yī)藥企業(yè)應(yīng)用系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，采集數(shù)據(jù)主要用于為主數(shù)據(jù)管理及商務(wù)智能系統(tǒng)提供數(shù)據(jù)來源。通過數(shù)據(jù)采集平臺(tái)，可以將公司商務(wù)智能分析需要的各類業(yè)務(wù)分析主題的維度和事實(shí)都導(dǎo)入到數(shù)據(jù)倉庫的ODS數(shù)據(jù)區(qū)中。

4.2 數(shù)據(jù)采集平臺(tái)的四種采集方式

1）數(shù)據(jù)采集適配器

數(shù)據(jù)采集適配器是利用Web Service提供服務(wù)，自動(dòng)將需要采集的各級(jí)數(shù)據(jù)中心的應(yīng)用系統(tǒng)數(shù)據(jù)源讀入中間暫存數(shù)據(jù)集，然后從數(shù)據(jù)集將已更改數(shù)據(jù)寫入采集平臺(tái)數(shù)據(jù)庫中。

適配器方式數(shù)據(jù)采集過程如下：

適配器客戶端發(fā)起連接請(qǐng)求；

服務(wù)端應(yīng)答，通過SSL與之建立連接；

適配器客戶端發(fā)送數(shù)據(jù)；

服務(wù)端接收數(shù)據(jù)，并在接收完畢后反饋接收狀態(tài)；

服務(wù)端識(shí)別數(shù)據(jù)類型和數(shù)據(jù)格式的標(biāo)記，根據(jù)類型格式標(biāo)記從規(guī)則引擎中取得數(shù)據(jù)處理規(guī)則對(duì)采集到的數(shù)據(jù)內(nèi)容進(jìn)行校驗(yàn)；

將校驗(yàn)信息存入信息反饋庫中，校驗(yàn)通過的數(shù)據(jù)裝載采集數(shù)據(jù)庫庫，校驗(yàn)失敗的缺陷信息到信息反饋庫，不進(jìn)行載入處理。

2）網(wǎng)頁在線數(shù)據(jù)填報(bào)

網(wǎng)頁數(shù)據(jù)采集是B/S架構(gòu)部署的人工在線填報(bào)方式，文本信息通過HTML表單形式進(jìn)行填報(bào)，Excel或XML文件以附件的形式上傳導(dǎo)入數(shù)據(jù)庫，審批流程控制和工作流由WebService提供服務(wù)，數(shù)據(jù)校驗(yàn)規(guī)則在瀏覽器實(shí)現(xiàn)，數(shù)據(jù)復(fù)雜計(jì)算規(guī)則在數(shù)據(jù)庫后臺(tái)批處理實(shí)現(xiàn)。

數(shù)據(jù)填報(bào)采集流程如下：

用戶登陸網(wǎng)頁在線填報(bào)頁面；

根據(jù)模板進(jìn)行數(shù)據(jù)填報(bào)，并提交數(shù)據(jù)；

服務(wù)端識(shí)別數(shù)據(jù)類型和數(shù)據(jù)格式的標(biāo)記，根據(jù)類型格式標(biāo)記從規(guī)則引擎中取得數(shù)據(jù)處理規(guī)則對(duì)采集到的數(shù)據(jù)內(nèi)容進(jìn)行校驗(yàn)；

將校驗(yàn)信息存入信息反饋庫中，校驗(yàn)通過的數(shù)據(jù)裝載采集數(shù)據(jù)庫庫，校驗(yàn)失敗的缺陷信息到信息反饋庫，不進(jìn)行載入處理。

3）客戶端數(shù)據(jù)上報(bào)

數(shù)據(jù)填報(bào)客戶端是C/S架構(gòu)部署在用戶終端的數(shù)據(jù)收集和報(bào)送的軟件工具。

客戶端數(shù)據(jù)采集過程如下：

客戶端發(fā)起連接請(qǐng)求；

服務(wù)端應(yīng)答，驗(yàn)證客戶端的用戶權(quán)限，通過SSL與之建立連接；

客戶端發(fā)送數(shù)據(jù)；

服務(wù)端接收數(shù)據(jù)，并在接收完畢后反饋接收狀態(tài)；

服務(wù)端識(shí)別數(shù)據(jù)類型和數(shù)據(jù)格式的標(biāo)記，根據(jù)類型格式標(biāo)記從規(guī)則引擎中取得數(shù)據(jù)處理規(guī)則對(duì)采集到的數(shù)據(jù)內(nèi)容進(jìn)行校驗(yàn)；

將校驗(yàn)信息存入信息反饋庫中，校驗(yàn)通過的數(shù)據(jù)裝載采集數(shù)據(jù)庫庫，校驗(yàn)失敗的缺陷信息到信息反饋庫，不進(jìn)行載入處理。

采用客戶端填報(bào)數(shù)據(jù)有如下優(yōu)點(diǎn)：

可以在線填寫數(shù)據(jù)，也可以離線填寫數(shù)據(jù)，本地存儲(chǔ)，在線同步；

可以將校驗(yàn)規(guī)則預(yù)置到客戶端，減少缺陷數(shù)據(jù)的產(chǎn)生；

可以將報(bào)送失敗的數(shù)據(jù)重新上報(bào)；

可以查詢上報(bào)批次數(shù)據(jù)；

通過客戶端的更新功能可以自動(dòng)獲取服務(wù)端的最新業(yè)務(wù)規(guī)則以及報(bào)送狀態(tài)信息，可以進(jìn)行客戶端桌面數(shù)據(jù)庫中數(shù)據(jù)的備份，查詢統(tǒng)計(jì)等操作。

4）后臺(tái)批量數(shù)據(jù)導(dǎo)入

批量導(dǎo)入方式提供后臺(tái)批量數(shù)據(jù)進(jìn)行集中入庫的功能，系統(tǒng)管理人員將符合要求的數(shù)據(jù)上傳服務(wù)器系統(tǒng)指定目錄即可完成導(dǎo)入工作。

批量導(dǎo)入的數(shù)據(jù)獲取過程:

系統(tǒng)管理人員將上報(bào)數(shù)據(jù)方上報(bào)的數(shù)據(jù)組織成符合要求的數(shù)據(jù)文件，并存儲(chǔ)在離線介質(zhì)上。

服務(wù)器端得到存儲(chǔ)介質(zhì)的離線數(shù)據(jù)進(jìn)行校驗(yàn)及導(dǎo)入操作。

將導(dǎo)入結(jié)果狀態(tài)記錄在信息反饋庫中。

5 結(jié)論

數(shù)據(jù)采集平臺(tái)，對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)相互孤立，軟件產(chǎn)品系統(tǒng)不兼容，企業(yè)應(yīng)用系統(tǒng)大整合尚未完成的企業(yè)，也能盡早的實(shí)施商務(wù)智能應(yīng)用，通過中間的數(shù)據(jù)采集處理，率先完成數(shù)據(jù)整合，有助于解決企業(yè)在信息系統(tǒng)建設(shè)過程中的數(shù)據(jù)不集中不完整等問題，作為商務(wù)智能底層架構(gòu)的補(bǔ)充數(shù)據(jù)來源，是企業(yè)實(shí)施商務(wù)智能應(yīng)用的基礎(chǔ)。

[1]W.H.Inmon Building the Data Warehouse，機(jī)械工業(yè)出版社，2003，3.

[2]余長慧，潘和平.商務(wù)智能及其核心技術(shù).計(jì)算機(jī)應(yīng)用研究，2006(9).

[3]趙青，余志毅，趙洪明.商務(wù)智能在企業(yè)管理應(yīng)用中的障礙及策略.科技創(chuàng)業(yè)月刊，2008(7).

[4]夏國恩，金煒東，張葛祥.商務(wù)智能在中國的現(xiàn)狀和發(fā)展.科技進(jìn)步與對(duì)策，2012(2).