數(shù)據(jù)倉庫成跨系統(tǒng)整合趨勢

謝偉鋒

福建燕京惠泉啤酒股份有限公司(簡稱燕京惠泉)是由70年前的一家以地瓜干造酒的小作坊改造、成長、發(fā)展起來的啤酒集團。自2003年,燕京惠泉進行信息化建設以來,先后成功建設了若干信息應用系統(tǒng),各應用系統(tǒng)的建設是在不同時期循序漸進、逐步完成的。正是由于這種階段性的發(fā)展,各應用系統(tǒng)之間不可避免地存在數(shù)據(jù)交叉重復的現(xiàn)象。為了解決這個問題必須建立數(shù)據(jù)接口,實現(xiàn)各系統(tǒng)的對接,達到數(shù)據(jù)自由交換的目的。

其實,經(jīng)歷過信息化建設的企業(yè)基本上都會遇到數(shù)據(jù)接口的問題。那么,接口到底能起到什么樣的作用呢?又怎樣才能真正打破各系統(tǒng)的信息孤島呢?我們以燕京惠泉目前各信息系統(tǒng)的應用和數(shù)據(jù)接口為例,探討企業(yè)應該如何做跨系統(tǒng)的數(shù)據(jù)接口,實現(xiàn)多系統(tǒng)整合。

傳統(tǒng)整合無法滿足分析需求

目前,燕京惠泉的業(yè)務應用系統(tǒng)基本有三套,即啤酒分銷系統(tǒng)、U8用友財務與庫存系統(tǒng)和生產(chǎn)管理系統(tǒng)。

其中,啤酒分銷系統(tǒng)的功能是采用信息工程方法進行系統(tǒng)戰(zhàn)略規(guī)劃和設計,它涵蓋了瓶場管理、銷售開票、物流調(diào)運、成品庫存、賬款管理、返利促銷核算等多方面功能,為企業(yè)提高市場競爭力提供了強有力的后盾。

U871版本的用友軟件主要用于燕京惠泉的總賬、UFO報表、薪資管理、固定資產(chǎn)、應收款管理、應付款管理等系統(tǒng)的功能及應用;U852 用友供應鏈管理軟件主要用于公司原輔料倉庫、包裝物倉庫、五金器材倉庫、勞保用品倉庫、化試倉庫等倉庫的庫存運轉(zhuǎn)管理和存貨核算統(tǒng)計。

而生產(chǎn)管理系統(tǒng)是要在統(tǒng)一平臺上集成諸如工藝配方、生產(chǎn)記錄、質(zhì)量跟蹤、成本核算、網(wǎng)絡報表等管理功能,使用統(tǒng)一的數(shù)據(jù)庫和通過網(wǎng)絡聯(lián)接可以同時為生產(chǎn)部門、質(zhì)檢部門、工藝部門、物流部門、財務部門等提供車間管理信息服務。系統(tǒng)通過強調(diào)制造過程的整體優(yōu)化來幫助企業(yè)實施完整的閉環(huán)生產(chǎn),協(xié)助企業(yè)建立一體化和實時化的生產(chǎn)管理體系。

通過傳統(tǒng)操作型數(shù)據(jù)庫技術,燕京惠泉實現(xiàn)了現(xiàn)有業(yè)務應用系統(tǒng)以及與金稅防偽稅控開票系統(tǒng)之間的數(shù)據(jù)整合和接口。金稅防偽稅控開票系統(tǒng)是燕京惠泉的一個小的應用軟件,它用于開具啤酒銷售的正式稅務發(fā)票和增值稅發(fā)票,運用數(shù)字密碼和電子信息存儲技術,強化專用發(fā)票的防偽功能,實現(xiàn)對增值稅一般納稅人稅源監(jiān)控的計算機管理系統(tǒng)。

有關啤酒分銷系統(tǒng)和金稅防偽稅控系統(tǒng)之間的聯(lián)系接口,在整合之前金稅防偽稅控系統(tǒng)打印的發(fā)票必須重復輸入啤酒分銷系統(tǒng)的銷售發(fā)票模塊里;而整合之后,燕京惠泉將防偽稅控開票功能嵌入企業(yè)銷售軟件內(nèi),組件調(diào)用軟件基于ActiveX規(guī)范,提供標準開票界面和后臺命令兩種接口方式,實現(xiàn)企業(yè)日常開具、作廢和打印稅控發(fā)票的功能。

而啤酒分銷系統(tǒng)和U871用友財務管理軟件之間的聯(lián)系接口,在整合前啤酒分銷系統(tǒng)的銷售開票憑證、瓶款轉(zhuǎn)賬憑證需要重復輸入到U871用友財務管理軟件的總賬憑證里;整合后燕京惠泉將啤酒分銷系統(tǒng)的銷售開票憑證、瓶款轉(zhuǎn)賬憑證通過查詢生成TXT文本文件,然后通過U871用友財務管理軟件的總賬工具把憑證引入到U871用友財務管理軟件的總賬系統(tǒng)里。

之前,U852用友存貨管理軟件是針對原輔料倉庫、包裝物倉庫、五金器材倉庫進行庫存核算管理,需要對各生產(chǎn)車間進行生產(chǎn)領料出庫登記。這些出庫單據(jù)要重復輸入生產(chǎn)管理系統(tǒng)里,作為各車間的物料消耗來源。而在整合生產(chǎn)管理系統(tǒng)和U852用友存貨管理軟件之間的聯(lián)系接口后,生產(chǎn)管理系統(tǒng)中增加一個模塊,直接根據(jù)相應的條件(如領料車間、領料日期、U8源賬套)從U852用友存貨管理軟件的數(shù)據(jù)庫里讀取相關數(shù)據(jù),然后自動生成新的單據(jù)存進生產(chǎn)管理系統(tǒng)的數(shù)據(jù)庫里。

傳統(tǒng)操作型數(shù)據(jù)庫技術在聯(lián)機事物處理(OLTP)中獲得了成功,但是無法滿足隨著市場競爭的加劇而帶來的管理人員對決策分析數(shù)據(jù)提供的要求。因為,第一,傳統(tǒng)的操作型數(shù)據(jù)庫主要關心當前某一個時間段內(nèi)的數(shù)據(jù),一般只保留當前或近期的數(shù)據(jù)信息,缺乏決策所需要的大量歷史數(shù)據(jù)信息;第二,傳統(tǒng)的操作型數(shù)據(jù)庫的數(shù)據(jù)組織是面向事物處理任務(面向應用)的,業(yè)務系統(tǒng)之間各自分離,通常與某些特定的應用相關,數(shù)據(jù)庫之間相互獨立,并且往往是異構的。

為滿足中高層管理人員預測、決策分析的需要,在傳統(tǒng)數(shù)據(jù)庫的基礎上產(chǎn)生了能夠滿足預測、決策分析需要的數(shù)據(jù)環(huán)境——數(shù)據(jù)倉庫,它成為系統(tǒng)整合大勢所趨。數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失且隨時間變化的數(shù)據(jù)集合,用于支持管理決策。

筆者就燕京惠泉的信息應用系統(tǒng)的實施和架設,對跨系統(tǒng)整合的趨勢——數(shù)據(jù)倉庫做出了初步探討。在目前競爭激烈的知識經(jīng)濟環(huán)境和電子商務經(jīng)濟模式下,重要的信息往往決定企業(yè)的成敗。因此,數(shù)據(jù)倉庫解決方案已是各大企業(yè)信息系統(tǒng)發(fā)展的趨勢,并將逐漸成為企業(yè)決策的智囊和參謀。

數(shù)據(jù)倉庫實現(xiàn)三大系統(tǒng)無縫整合

對比傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫,后者的優(yōu)點和拓展性表現(xiàn)在:首先,數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息,系統(tǒng)記錄了企業(yè)從過去某一時點到目前的各個階段的信息,通過這些信息,可以對企業(yè)的發(fā)展歷程和未來趨勢作出定量的分析和預測。其次,數(shù)據(jù)倉庫中的數(shù)據(jù)是對原有分散的數(shù)據(jù)庫數(shù)據(jù)在抽取、清理的基礎上經(jīng)過系統(tǒng)加工、匯總和整理得到的,必須消除源數(shù)據(jù)中的不一致性,以保證數(shù)據(jù)倉庫內(nèi)的信息是關于整個企業(yè)的一致的全局信息。

而要構建數(shù)據(jù)倉庫,要考慮好其框架,在筆者看來,數(shù)據(jù)倉庫應分為基本功能層、管理層和環(huán)境支持層三個層面。

數(shù)據(jù)倉庫基本功能層的功能是從數(shù)據(jù)源抽取數(shù)據(jù),對所抽取的數(shù)據(jù)進行篩選、清理,將處理過的數(shù)據(jù)導入或加載到數(shù)據(jù)倉庫中,根據(jù)用戶的需求設立數(shù)據(jù)集市,完成數(shù)據(jù)倉庫的復雜查詢、決策分析和知識的挖掘等。數(shù)據(jù)倉庫管理層包含數(shù)據(jù)抽取、新數(shù)據(jù)需求與查詢管理,數(shù)據(jù)加載、存儲、刷新和更新系統(tǒng),安全性與用戶授權管理系統(tǒng)以及數(shù)據(jù)歸納、恢復及凈化系統(tǒng)等。數(shù)據(jù)倉庫的環(huán)境支持層包含工作流程管理、存儲系統(tǒng)、數(shù)據(jù)傳輸和傳送網(wǎng)絡、客戶/服務器代理和中間件、復制系統(tǒng)以及數(shù)據(jù)傳輸層的安全保障系統(tǒng)。

數(shù)據(jù)倉庫的體系結構一般包含數(shù)據(jù)源、數(shù)據(jù)準備區(qū)、數(shù)據(jù)倉庫、數(shù)據(jù)集市、知識挖掘/OLAP服務器以及各種查詢工具、報表工具、分析工具等。

在筆者看來,數(shù)據(jù)倉庫接口技術具有多技術兼容、語言可操作、數(shù)據(jù)高效率加載、三層或多層結構模式等優(yōu)勢。面向多種多樣的數(shù)據(jù)源,數(shù)據(jù)倉庫不可能只有一種技術來完成數(shù)據(jù)的抽取與傳送。這就需要數(shù)據(jù)倉庫具有支持各種技術的接口,而且為了能夠提高數(shù)據(jù)倉庫的運行效率,接口技術盡量能夠在批處理方式下運行。數(shù)據(jù)倉庫的實際應用必須選擇合適的語言來完成,這種語言接口要能夠使用SQL語言,能夠插入、刪除或更新數(shù)據(jù)。即數(shù)據(jù)倉庫的語言接口必須健壯,能夠容易地進入數(shù)據(jù)倉庫的接口并且訪問數(shù)據(jù)。在數(shù)據(jù)倉庫的實際應用中,經(jīng)常需要從數(shù)據(jù)源加載數(shù)據(jù)。所以必須優(yōu)化裝載程序,提高裝載效率,不同的裝載程序要在不同的時間運行,要確定一個合理的數(shù)據(jù)抽取計劃。由于訪問ERP數(shù)據(jù)倉庫的用戶分布于不同的部門和組織,主要通過Internet/Intranet訪問信息,因此OLAP采用三層/多層結構模式。OLAP服務器用來對數(shù)據(jù)倉庫中的數(shù)據(jù)進行多維化或預綜合處理,形成多維視圖,使用戶能從多角度、多側(cè)面、多層次地分析數(shù)據(jù),為具有明確查詢分析需求的用戶提供高性能的決策支持。

對于燕京惠泉目前的三大應用系統(tǒng),即啤酒分銷系統(tǒng)、用友-U8(財務、庫存)、生產(chǎn)管理系統(tǒng),如何通過構建數(shù)據(jù)倉庫,實現(xiàn)更加智能化的分析,為企業(yè)今后的經(jīng)營決策提供輔助支持呢?

首先,數(shù)據(jù)源的問題。這三大系統(tǒng)(分銷、U8、生產(chǎn))的數(shù)據(jù)庫平臺剛好都是SQL Server2000,這在數(shù)據(jù)源數(shù)據(jù)的抽取、清理方面提供了方便。

其次,目前三大系統(tǒng)的服務器平臺和客戶端系統(tǒng)都是采用 Microsort Windows操作系統(tǒng),這樣后期的查詢工具、報表工具、分析工具都可以繼續(xù)引用基于Windows的圖形化人機界面,方便中高層領導的使用。

再次,建立新的數(shù)據(jù)倉庫數(shù)據(jù)庫,對凈化后、重整完的新數(shù)據(jù)進行存儲和管理。決定采用什么產(chǎn)品和技術來建立數(shù)據(jù)倉庫的核心,則須從原有系統(tǒng)和新的決策分析的技術特點出發(fā)。在筆者看來,Microsoft將OLAP功能集成到SQL Server中,提供可擴充的基于COM的OLAP接口,它通過一系列服務支持數(shù)據(jù)倉庫應用。SQL Server和Microsoft開發(fā)平臺結合較好,使用方便。但Microsoft公司的策略目標是將客戶都鎖定到Windows平臺的環(huán)境當中,只有隨著Windows性能的改善,SQL Server才能進一步提高。而在操作平臺上Oracle是完全優(yōu)勝于SQL Server的,而且Oracle有著可靠安全性,速度比SQL Server快上幾倍,但其價格在實施中也比SQL Server高出了幾倍:一方面Oracle的初始花費相對較高,另一方面Oracle很多工具軟件需要另外購買。