分級存儲數(shù)據(jù)多維分析技術(shù)的研究與應(yīng)用

項玉良，任開銀，張明明，黃高攀

(1.南京南瑞集團公司，江蘇 南京 210003;2.江蘇省電力公司，江蘇 南京 210003)

0 引言

信息技術(shù)隨著需求的變化在不斷地向前發(fā)展，從最初單機版的應(yīng)用軟件發(fā)展到網(wǎng)絡(luò)版的管理系統(tǒng)(MIS)，然后又出現(xiàn)了ERP(企業(yè)資源計劃)、CRM(客戶關(guān)系管理)等。商業(yè)智能則是最近幾年信息技術(shù)領(lǐng)域研究和應(yīng)用比較多的一個概念，多維數(shù)據(jù)分析是商業(yè)智能應(yīng)用中的一項主要技術(shù)，其往往通過商業(yè)智能前端展現(xiàn)工具進行體現(xiàn)，后端則一般是基于數(shù)據(jù)倉庫和OLAP 服務(wù)器來實現(xiàn)。針對目前大量的數(shù)據(jù)信息都是存儲在關(guān)系數(shù)據(jù)庫中，需要找到一種解決辦法，使關(guān)系數(shù)據(jù)庫中數(shù)據(jù)能夠以多維形式進行展現(xiàn)，并且能將這種展現(xiàn)應(yīng)用于日常的業(yè)務(wù)系統(tǒng)中。IBM公司開發(fā)的Cognos 系統(tǒng)以及SAP 公司開發(fā)的BI 系統(tǒng)都是針對大量數(shù)據(jù)的智能分析系統(tǒng)，這2 種系統(tǒng)都是采用讀取配置的數(shù)據(jù)源進行建模和數(shù)據(jù)分析，所分析的數(shù)據(jù)僅局限在本地數(shù)據(jù)源中，不能分析分布式系統(tǒng)的數(shù)據(jù)。

通過對分布式存儲的數(shù)據(jù)結(jié)構(gòu)的分析，采用統(tǒng)一建模的方式，配置分布式數(shù)據(jù)計算代理服務(wù)抽取所需數(shù)據(jù)到主站，最后進行統(tǒng)一的數(shù)據(jù)分析展示。在某OMS 項目的應(yīng)用中，集成該多維數(shù)據(jù)分析工具，實現(xiàn)分布式數(shù)據(jù)的多維分析和展現(xiàn)，增強了數(shù)據(jù)統(tǒng)計的真實性、靈活性和直觀性。

本文解決的主要問題有:

1)大多數(shù)多維分析方法及工具不支持分析展現(xiàn)分級存儲的數(shù)據(jù)，需要先把分級存儲數(shù)據(jù)抽取到主站的數(shù)據(jù)中心后才能進行全局性多維分析。這樣就導致多維分析的即時性較差，影響對數(shù)據(jù)價值的利用。

2)多數(shù)多維分析產(chǎn)品在使用上主要面對具有專業(yè)知識的技術(shù)人員，對用戶的要求比較高。當業(yè)務(wù)發(fā)生變化時，用戶不能自助式做模型調(diào)整，影響系統(tǒng)使用的友好性。

1 分布式多維方法的基本原理

本文提出用于快速實現(xiàn)分級存儲數(shù)據(jù)的多維分析方法，其流程如圖1 所示。

圖1 多維分析流程

分級存儲數(shù)據(jù)的多維分析系統(tǒng)由統(tǒng)一存儲模型管理、多維分析模型管理、多維分析分布式計算引擎3 個組件組成，相互協(xié)作完成多維分析及展示。

1.1 分級數(shù)據(jù)多維分析方法組成模型

分級存儲數(shù)據(jù)的多維分析方法主要組成模型如下:

1)統(tǒng)一存儲模型。

負責把多級存儲數(shù)據(jù)映射成統(tǒng)一存儲模型，屏蔽多級存儲的位置差異，實現(xiàn)多級存儲數(shù)據(jù)的統(tǒng)一數(shù)據(jù)模型描述。

2)多維分析模型。

負責把統(tǒng)一數(shù)據(jù)模型按照業(yè)務(wù)規(guī)則映射成多維分析模型，多維分析模型是多維分析計算的基礎(chǔ)，多維分析模型的好壞直接影響多維分析功能的復雜度和效率，本文的多維分析模型結(jié)合國內(nèi)用戶的使用習慣，比常用的多維分析工具功能更加強大，能夠?qū)崿F(xiàn)不規(guī)則的多維分析業(yè)務(wù)場景。

3)多維分析計算引擎。

負責解析多維分析模型，生成多維分析計算指令，并把指令智能路由到計算節(jié)點，執(zhí)行預(yù)聚合操作。操作結(jié)果返回計算引擎，由計算引擎執(zhí)行二次聚合計算，生成多維分析計算結(jié)果集。

1.2 分級數(shù)據(jù)多維分析方法步驟

多級存儲數(shù)據(jù)的多維分析方法包括以下步驟:

1)統(tǒng)一數(shù)據(jù)建模。結(jié)合智能路由算法，按照一定規(guī)則將多級存儲數(shù)據(jù)構(gòu)建成統(tǒng)一數(shù)據(jù)模型。

2)構(gòu)建多維分析模型。在多維分析模型可視化構(gòu)建界面，按照多維分析業(yè)務(wù)場景，將統(tǒng)一數(shù)據(jù)模型中的屬性映射成多維分析模型中的指標或維度信息。

3)多維分析計算。計算引擎把多維分析模型按照路由信息自動生成下級計算節(jié)點對應(yīng)的聚合計算語句，并由計算代理執(zhí)行聚合操作，生成預(yù)聚合結(jié)果并上傳到主站，然后執(zhí)行二次聚合計算，生成多維計算結(jié)果集。

4)多維分析展現(xiàn)。計算引擎根據(jù)多維分析模型，結(jié)合統(tǒng)一存儲模型，形成維度成員查詢算法，查詢出維度成員，生成展現(xiàn)報表的單元格對象，并把多維分析結(jié)果填充到單元格對象，展現(xiàn)多維分析結(jié)果。

2 分布式多維數(shù)據(jù)分析的實現(xiàn)及應(yīng)用

2.1 系統(tǒng)架構(gòu)

基于分布式的多維數(shù)據(jù)分析系統(tǒng)，主要有瀏覽器、服務(wù)引擎和分布式計算代理等，基于此設(shè)計的系統(tǒng)架構(gòu)如圖2 所示。

圖2 分布式多維數(shù)據(jù)分析架構(gòu)圖

整個系統(tǒng)核心的部分是報表引擎和分布式計算代理。報表引擎主要用于解析報表展示模型，執(zhí)行統(tǒng)計運算，生成展示結(jié)果，由報表展示模塊實現(xiàn)展示。分布式計算代理則是對分布式的數(shù)據(jù)進行處理并發(fā)送至主站。

1)客戶端。

瀏覽器主要功能有報表發(fā)布、應(yīng)用管理、統(tǒng)一存儲及分析模型配置和報表展現(xiàn)。

2)服務(wù)引擎。

服務(wù)引擎由數(shù)據(jù)服務(wù)、模型解析、模型緩存、任務(wù)調(diào)度、智能路由、維度管理和聚合計算組成。其中維度管理主要分2 種私有維度和公共維度，維度值數(shù)據(jù)由分布式方式匯總得到。聚合計算實現(xiàn)了對聚集表的管理，主要針對OLAP 緩存的管理，緩存了各個計算代理的查詢結(jié)果，即單元格數(shù)據(jù)集合，如果計算模塊所需的數(shù)據(jù)不在緩存中，則從相應(yīng)的代理節(jié)點進行查詢獲取數(shù)據(jù)并緩存。

負責接受客戶端分布式數(shù)據(jù)請求、模型和維度緩存管理、歷史快照管理以及分布式數(shù)據(jù)的聚合和匯總計算。

3)分布式計算代理。

分布式計算代理由路由監(jiān)聽、請求解析、數(shù)據(jù)獲取、聚合計算組件和計算單元格對象組成，負責接收主站發(fā)送的計算請求，將系統(tǒng)業(yè)務(wù)數(shù)據(jù)加載到內(nèi)存中進行預(yù)計算，包括聚合計算、編碼轉(zhuǎn)換、日期聚合轉(zhuǎn)換，得出中間結(jié)果集，異步發(fā)送給主站系統(tǒng)的消息隊列。

在計算代理中采用數(shù)據(jù)同步與緩存機制，緩存存放的數(shù)據(jù)一般是對數(shù)據(jù)庫數(shù)據(jù)處理后的拷貝，可通過讀寫緩存中的數(shù)據(jù)，提升讀取性能。計算代理每次回答主站的計算請求時，要在底層關(guān)系數(shù)據(jù)庫中執(zhí)行很多SQL 語句來構(gòu)建多維查詢結(jié)果，因此應(yīng)該盡可能利用已查詢到的結(jié)果集，節(jié)省訪問物理數(shù)據(jù)庫的時間。由于用戶查詢遵循一定規(guī)則，下一次查詢經(jīng)常會用到最近的查詢結(jié)果，因此將緩存機制引入計算代理中是提高性能的有效方法。

2.2 分布式多維分析系統(tǒng)的數(shù)據(jù)模型

圖3 數(shù)據(jù)模型

分布式多維分析系統(tǒng)的數(shù)據(jù)模型主要包括對象模型和報表模型，如圖3 所示。對象模型由類、數(shù)據(jù)源、屬性、屬性關(guān)聯(lián)組成，其關(guān)系是類由屬性聚合而來，屬性之間通過屬性關(guān)聯(lián)進行關(guān)聯(lián)。同時類依賴于數(shù)據(jù)源和包;報表模型由指標集、指標、維度和報表描述規(guī)范構(gòu)成，其中指標集由多個指標和維度聚合而成，報表描述規(guī)范依賴于所定義的指標集。指標集是由類派生而來。

為了靈活快速展現(xiàn)不同業(yè)務(wù)系統(tǒng)的各種指標數(shù)據(jù)，以適應(yīng)多變的業(yè)務(wù)現(xiàn)場需求，本系統(tǒng)采用了業(yè)務(wù)對象的二次建模方式。第一層次，從業(yè)務(wù)對象構(gòu)建對象模型及其關(guān)聯(lián);第二層次，基于對象模型構(gòu)建指標集模型和報表描述規(guī)范，迅速生成所需報表，而且可以任意增刪維度和指標，同時還可以針對不同指標進行聚合運算。通常多維分析工具只針對單一數(shù)據(jù)源進行展現(xiàn)，而本系統(tǒng)通過定義分布式數(shù)據(jù)源，由多個路由節(jié)點同時匯總至主站聚合展現(xiàn)，滿足了分布式業(yè)務(wù)系統(tǒng)的報表分析需求。這是本系統(tǒng)的一大創(chuàng)新點。

2.3 分布式多維分析系統(tǒng)執(zhí)行流程

多維分析系統(tǒng)執(zhí)行流程如圖4 所示。

圖4 請求執(zhí)行算法流程圖

1)系統(tǒng)初始化:報表引擎服務(wù)啟動初始化，加載對象模型、路由及公共維度數(shù)據(jù)。

2)執(zhí)行一次請求過程:

①構(gòu)造請求實體:當客戶端發(fā)起請求報表展現(xiàn)，首先從歷史快照中根據(jù)請求過期時間范圍查找，如果存在則直接返回，否則繼續(xù)向報表引擎請求，引擎根據(jù)請求對象的指標、維度和條件構(gòu)造生成計算請求對象。

②動態(tài)路由:報表引擎從路由表中查找各個地區(qū)的請求地址，通過Hessian 通信組件異步發(fā)送計算請求對象。

③代理計算:每個計算代理節(jié)點在初始化時將業(yè)務(wù)數(shù)據(jù)預(yù)加載;計算代理采用內(nèi)存數(shù)據(jù)庫進行計算，把數(shù)據(jù)存放在服務(wù)器的內(nèi)存中，可以直接在代理節(jié)點對數(shù)據(jù)進行分析查詢操作，不需要把代理節(jié)點的數(shù)據(jù)下載，減少了數(shù)據(jù)傳輸?shù)臅r間。當主站發(fā)送計算請求，計算代理從緩存中取數(shù)據(jù)，通過聚合計算、編碼轉(zhuǎn)換、日期聚合轉(zhuǎn)換，將計算得出中間結(jié)果集發(fā)送給主站消息隊列。

④匯總和聚合計算:當所有數(shù)據(jù)都異步發(fā)送到主站消息隊列上，報表引擎將其作為中間結(jié)果集匯總插入一張臨時表的內(nèi)存數(shù)據(jù)庫來計算。報表引擎為每個生成的計算單元格執(zhí)行內(nèi)存表達式計算，比如常用的聚合計算:求和、求平均值、同比等;每個單元格由其約束條件生成一條SQL 語句，從內(nèi)存庫的臨時表匯總查詢值填充到每個計算單元格。最終將報表單元格集合以JSON 形式返回給請求的客戶端。

3 結(jié)束語

多維數(shù)據(jù)分析是商業(yè)智能應(yīng)用的主要內(nèi)容之一，本文在多維數(shù)據(jù)分析理論研究的基礎(chǔ)上，提出了一種基于關(guān)系數(shù)據(jù)庫的分布式多維數(shù)據(jù)分析與實現(xiàn)，通過預(yù)定義維度、指標模型，實現(xiàn)了E-R 模型到多維模型的一種映射，在這種映射的基礎(chǔ)上，將多維分析的操作轉(zhuǎn)化為結(jié)構(gòu)化查詢語句，完成了對分布式數(shù)據(jù)的統(tǒng)計查詢。為分布式數(shù)據(jù)的統(tǒng)計分析提供了多角度、多層次的分析特性，更增加了數(shù)據(jù)統(tǒng)計的直觀性。

［1］王珊.數(shù)據(jù)倉庫技術(shù)與聯(lián)機分析處理［M］.北京:北京科學技術(shù)出版社，1998.

［2］劉云峰，王倩宜，楊旭，等.一種支持大數(shù)據(jù)集成架構(gòu)的多維分析系統(tǒng)［J］.華東師范大學學報(自然科學版)，2015，23(7):4-7，12.

［3］宋擒豹，楊向榮，沈均毅.數(shù)據(jù)倉庫技術(shù)研究［J］.計算機工程，2002，28(1):125-127.

［4］楊光，張雷，艾波.OLAP 技術(shù)及其發(fā)展［J］.計算機應(yīng)用研究［J］，1999，16(7):7-10.

［5］王勝.商務(wù)智能系統(tǒng)關(guān)鍵技術(shù)研究［D］.青島:山東科技大學，2009.

［6］Jake Sturm.Microsoft SQL Server 7.0 數(shù)據(jù)倉庫技術(shù)指南［M］.劉漢宇，郝春明，裴瑩，等譯.北京:機械工業(yè)出版社，2000.

［7］孫泳，劉少輝，史中植.數(shù)據(jù)倉庫中多維分析的數(shù)據(jù)展現(xiàn)［J］.計算機工程與應(yīng)用，2004，40(4):174-177.

［8］David Iseminger.數(shù)據(jù)庫與數(shù)據(jù)倉庫實用操作大全［M］.北京:北京大學出版社，2001.

［9］蔣建民，張世勇.在關(guān)系數(shù)據(jù)庫上實現(xiàn)OLAP 多維分析［J］.渝州大學學報(自然科學版)，2002，19(1):18-20.

［10］Paulraj Ponniah.數(shù)據(jù)倉庫基礎(chǔ)［M］.段云峰，李建威，韓潔，等譯.北京:電子工業(yè)出版社，2004:394-431.

［11］潘東靜.基于OLAP 的多維分析模型設(shè)計及應(yīng)用［J］.德州學院學報，2004，20(6):55-58.

［12］Tom Soukup，Lan Davidson.可視化數(shù)據(jù)挖掘［M］.朱建秋，蔡偉杰譯.北京:電子工業(yè)出版社，2004:4-21.

［13］姚家奕.多維數(shù)據(jù)分析原理與應(yīng)用［M］.北京:清華大學出版社，2004.

［14］李澤海，孫吉貴，趙君.商業(yè)智能技術(shù)及行業(yè)應(yīng)用分析［J］.吉林大學學報(信息科學版)，2003，21(1):54-60.

［15］余長慧，潘和平.商業(yè)智能及其核心技術(shù)［J］.計算機應(yīng)用研究，2002，19(9):14-16.

［16］Efrem G Mallach.Decision Support and Data Warehouse Systems［M］.Boston:Mcgraw-Hill，2005:79-80.

［17］Mohamrned J Zaki，Yi Pan.Introduction:Recent Developments in Parallel and Distributed Data Mining［M］.Kluwer Academic Publishers，2002.

［18］Wikipedia.Business Intelligence［EB/OL］.http://en.wikipedia.org/wiki/Business_intelligence，2015-08-26.