基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理體系研究

余葉蘭

(閩江學(xué)院 軟件學(xué)院， 福州 350011)

基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理體系研究

余葉蘭

(閩江學(xué)院 軟件學(xué)院， 福州 350011)

在數(shù)據(jù)倉庫技術(shù)領(lǐng)域，元數(shù)據(jù)管理是其研究的重點(diǎn)。本文討論了元數(shù)據(jù)相關(guān)概念及應(yīng)用，并基于銀行業(yè)務(wù)背景，分析了元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)原則，設(shè)計(jì)了一種基于銀行數(shù)據(jù)倉庫系統(tǒng)的物理架構(gòu)，給出了系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)，且從用戶及安全分組兩方面論述了系統(tǒng)的實(shí)施安全。

數(shù)據(jù)倉庫系統(tǒng)；元數(shù)據(jù)；元數(shù)據(jù)管理；元模型

1 引言

某銀行為了實(shí)現(xiàn)不同系統(tǒng)之間的數(shù)據(jù)同步，使業(yè)務(wù)流程和數(shù)據(jù)流程實(shí)現(xiàn)標(biāo)準(zhǔn)化，進(jìn)行了應(yīng)用與數(shù)據(jù)整合元數(shù)據(jù)管理項(xiàng)目建設(shè)。通過對(duì)某銀行的業(yè)務(wù)流程、各業(yè)務(wù)系統(tǒng)應(yīng)用及數(shù)據(jù)的分析，對(duì)某銀行數(shù)據(jù)倉庫項(xiàng)目元數(shù)據(jù)管理項(xiàng)目建設(shè)進(jìn)行規(guī)劃和建議，并提出可實(shí)施性計(jì)劃，根據(jù)此計(jì)劃完成所涉及范圍的元數(shù)據(jù)管理項(xiàng)目的建設(shè)。元數(shù)據(jù)管理系統(tǒng)最終將為整個(gè)企業(yè)提供元數(shù)據(jù)管理，實(shí)現(xiàn)企業(yè)級(jí)的操作環(huán)境視圖。

元數(shù)據(jù)管理以數(shù)據(jù)倉庫的數(shù)據(jù)環(huán)境為核心，貫穿于系統(tǒng)的整個(gè)生命周期，包括規(guī)劃、業(yè)務(wù)分析、設(shè)計(jì)、實(shí)現(xiàn)、維護(hù)、擴(kuò)容。元數(shù)據(jù)協(xié)助銀行的規(guī)劃和設(shè)計(jì)，為系統(tǒng)開發(fā)提供指導(dǎo)。本文基于此背景，構(gòu)建該環(huán)境下的數(shù)據(jù)倉庫系統(tǒng)的元數(shù)據(jù)管理體系結(jié)構(gòu)，分析了元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)原則、系統(tǒng)的物理架構(gòu)及該管理系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)，并從用戶分組和安全分組兩方面論述了系統(tǒng)的實(shí)施安全。

2 數(shù)據(jù)倉庫元數(shù)據(jù)定義、分類和作用

元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)(Technical Metadata)和業(yè)務(wù)元數(shù)據(jù)(Business Metadata)[1，2]，通過有效的元數(shù)據(jù)管理，不僅可以提高業(yè)務(wù)人員與技術(shù)人員的溝通效率，而且可以幫助數(shù)據(jù)管理工作者提高對(duì)數(shù)據(jù)的管理的深度，提升管理效率，因此，元數(shù)據(jù)需求對(duì)象不僅包括業(yè)務(wù)用戶和技術(shù)用戶，還包括數(shù)據(jù)管理用戶。

在數(shù)據(jù)倉庫系統(tǒng)中，根據(jù)元數(shù)據(jù)工作機(jī)制，本身含有五類系統(tǒng)管理功能，而元數(shù)據(jù)管理系統(tǒng)的構(gòu)建，不僅能實(shí)現(xiàn)信息資產(chǎn)的有效管理和使用，使企業(yè)信息在經(jīng)營層面可得到有效的整合，而且在軟件應(yīng)用的全生命周期內(nèi)發(fā)揮作用。加強(qiáng)了業(yè)務(wù)部門和IT部門的溝通，為業(yè)務(wù)部門提供實(shí)時(shí)有效的應(yīng)用信息，幫助企業(yè)成長(zhǎng)為數(shù)據(jù)驅(qū)動(dòng)型企業(yè),幫助企業(yè)解決數(shù)據(jù)孤島問題，創(chuàng)建知識(shí)傳承的平臺(tái)并統(tǒng)一指標(biāo)定義和管理，明確管理人員的職責(zé)。

3 元數(shù)據(jù)管理及應(yīng)用

元數(shù)據(jù)管理包括了元數(shù)據(jù)定義、元數(shù)據(jù)集成、元數(shù)據(jù)存儲(chǔ)以及元數(shù)據(jù)變更管理四個(gè)部分。元數(shù)據(jù)定義即元數(shù)據(jù)數(shù)據(jù)源范圍確定，確定后的范圍包括了數(shù)據(jù)源系統(tǒng)、ODS系統(tǒng)、DDS系統(tǒng)、ETL系統(tǒng)、數(shù)據(jù)模型、前端應(yīng)用六個(gè)部分的相關(guān)技術(shù)和業(yè)務(wù)元數(shù)據(jù)。元數(shù)據(jù)集成主要是指元數(shù)據(jù)橋接器(MetaBridge)的設(shè)計(jì)及實(shí)現(xiàn)。元數(shù)據(jù)橋接器一般包括CLI橋接器、Excel橋接器、XML橋接器三類元數(shù)據(jù)集成工具。元數(shù)據(jù)存儲(chǔ)主要包括對(duì)元模型設(shè)計(jì)、容量規(guī)劃、數(shù)據(jù)庫用戶及權(quán)限規(guī)劃等。元數(shù)據(jù)變更管理用于管理和控制整個(gè)數(shù)據(jù)倉庫系統(tǒng)的變更，包括ODS、DDS、ETL系統(tǒng)、前端應(yīng)用系統(tǒng)等各個(gè)系統(tǒng)組件的變更，以及與數(shù)據(jù)倉庫系統(tǒng)相關(guān)數(shù)據(jù)源的變更。通過變更管理，不僅保證物理數(shù)據(jù)的完整和正確，同時(shí)也確保了元數(shù)據(jù)系統(tǒng)中數(shù)據(jù)的一致和完整。

元數(shù)據(jù)的應(yīng)用可分為三類，分別是元數(shù)據(jù)查詢、報(bào)表、分析。元數(shù)據(jù)管理包括管理功能(GOVERNANCE)和指導(dǎo)功能(GUIDANCE)兩大基本功能[3]。根據(jù)元數(shù)據(jù)業(yè)務(wù)、技術(shù)以及管理需求，元數(shù)據(jù)應(yīng)用將分為五大模塊：數(shù)據(jù)結(jié)構(gòu)管理、元數(shù)據(jù)查詢、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)模型管理、業(yè)務(wù)信息管理以及變更管理。

4 元數(shù)據(jù)管理系統(tǒng)的系統(tǒng)結(jié)構(gòu)

元數(shù)據(jù)管理系統(tǒng)包括用戶需求(needs)、元數(shù)據(jù)管理(deeds)、元數(shù)據(jù)應(yīng)用(seeds)、元數(shù)據(jù)集成(Feeds)四個(gè)主要部分組成的。該體系架構(gòu)設(shè)計(jì)以其兩大功能為出發(fā)點(diǎn)，以數(shù)據(jù)環(huán)境和元數(shù)據(jù)需求為基石，通過設(shè)計(jì)合理的元數(shù)據(jù)存儲(chǔ)架構(gòu)(Metamodel)，有效地進(jìn)行元數(shù)據(jù)集中，實(shí)現(xiàn)元數(shù)據(jù)的統(tǒng)一管理，并在此基礎(chǔ)上，針對(duì)元數(shù)據(jù)需求，規(guī)劃元數(shù)據(jù)應(yīng)用，制定元數(shù)據(jù)操作流程,并通過集中的權(quán)限管理和用戶配置管理，使用戶獲取應(yīng)該得到的信息。

元數(shù)據(jù)管理系統(tǒng)是一個(gè)完整的數(shù)據(jù)信息管理系統(tǒng)，構(gòu)建其體系應(yīng)包含從需求分析、應(yīng)用設(shè)計(jì)，再到用戶規(guī)劃的整個(gè)過程。所以，構(gòu)建元數(shù)據(jù)管理系統(tǒng)應(yīng)遵從五個(gè)步驟：元數(shù)據(jù)需求定義、元數(shù)據(jù)管理實(shí)現(xiàn)、元數(shù)據(jù)應(yīng)用實(shí)現(xiàn)、系統(tǒng)管理定義及系統(tǒng)運(yùn)行維護(hù)定義。經(jīng)過五個(gè)步驟的構(gòu)建，元數(shù)據(jù)系統(tǒng)將涉及元數(shù)據(jù)應(yīng)用模塊、元數(shù)據(jù)管理模塊、元數(shù)據(jù)展現(xiàn)模塊、系統(tǒng)管理模塊及系統(tǒng)運(yùn)行維護(hù)模塊。

5 元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)原則

在元數(shù)據(jù)管理系統(tǒng)的建立過程中應(yīng)盡量OMG組織的CWM標(biāo)準(zhǔn),增加系統(tǒng)的可擴(kuò)展性。本文研究的元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)原則應(yīng)遵循以下四點(diǎn)：

(1)選用元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)倉庫構(gòu)建策略，數(shù)據(jù)模型、ETL[4]、以及數(shù)據(jù)質(zhì)量的相關(guān)信息應(yīng)保存在元數(shù)據(jù)中，通過元數(shù)據(jù)管理系統(tǒng)來實(shí)現(xiàn)數(shù)據(jù)的同步。

(2)考慮到元模型設(shè)計(jì)的靈活性和可擴(kuò)展性，應(yīng)為進(jìn)一步的系統(tǒng)升級(jí)及應(yīng)用程序，提供可擴(kuò)展的方案。

(3)元數(shù)據(jù)管理的前端建立在應(yīng)用服務(wù)器上，提供網(wǎng)頁形式的頁面供用戶讀取，用戶通過本地的IE瀏覽器對(duì)指定的數(shù)據(jù)頁面進(jìn)行瀏覽。

(4)通過元數(shù)據(jù)管理系統(tǒng)，整合元數(shù)據(jù)的管理流程。

6 元數(shù)據(jù)管理系統(tǒng)物理架構(gòu)

本文的數(shù)據(jù)應(yīng)用工具采用WEB方式，即用戶訪問為B/S方式。元數(shù)據(jù)管理系統(tǒng)的范圍應(yīng)涉及數(shù)據(jù)倉庫的全環(huán)節(jié)。元數(shù)據(jù)管理系統(tǒng)物理架構(gòu)主要分為四個(gè)層次，用戶層、統(tǒng)一認(rèn)證層、應(yīng)用系統(tǒng)層、數(shù)據(jù)庫層。如圖1。

圖1 元數(shù)據(jù)管理系統(tǒng)物理架構(gòu)

7 元數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)

數(shù)據(jù)庫模型應(yīng)切實(shí)遵循標(biāo)準(zhǔn)的三范式。在數(shù)據(jù)模型物理化的過程中可以考慮從性能問題進(jìn)行降范式處理，將數(shù)據(jù)操作、業(yè)務(wù)邏輯封裝在宏內(nèi)，對(duì)數(shù)據(jù)庫的操作通過宏來實(shí)現(xiàn)，在應(yīng)用中盡量不含有業(yè)務(wù)邏輯。建議平臺(tái)數(shù)據(jù)庫空間不少于10G，可在平臺(tái)建設(shè)初期劃分2-4G用于元數(shù)據(jù)存儲(chǔ)庫。針對(duì)本文的元數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)的系統(tǒng)總實(shí)體如圖2。

圖2 系統(tǒng)總實(shí)體-ER關(guān)系圖

8 元數(shù)據(jù)管理系統(tǒng)的實(shí)施安全

可將元數(shù)據(jù)系統(tǒng)管理分為用戶分組和安全分組兩個(gè)部分。元數(shù)據(jù)用戶分為系統(tǒng)用戶和應(yīng)用用戶，其中應(yīng)用用戶又分為普通用戶和數(shù)據(jù)管理用戶。普通用戶中包括業(yè)務(wù)用戶和技術(shù)用戶。其架構(gòu)如圖3，普通用戶是元數(shù)據(jù)查詢用戶，包括了技術(shù)用戶和業(yè)務(wù)用戶，該類用戶僅能查詢相應(yīng)區(qū)域的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)。數(shù)據(jù)管理用戶是各個(gè)元數(shù)據(jù)源的數(shù)據(jù)管理員，該用戶應(yīng)擁有修改數(shù)據(jù)源系統(tǒng)的權(quán)利，他同時(shí)也是該部分元數(shù)據(jù)的管理者，他可以在得到元數(shù)據(jù)管理員(MDA)許可的情況下，更改其管轄的元數(shù)據(jù)。系統(tǒng)用戶是指元數(shù)據(jù)系統(tǒng)的管理者，包括加載用戶和管理用戶。加載用戶負(fù)責(zé)元數(shù)據(jù)的加載和更新。管理用戶負(fù)責(zé)數(shù)據(jù)及用戶安全。

圖3 用戶分組架構(gòu)圖

安全分組即對(duì)數(shù)據(jù)的安全進(jìn)行分組，在MDS元數(shù)據(jù)管理系統(tǒng)[5]中，數(shù)據(jù)的安全是通過用戶與安全配置(Security Profile)共同來完成的。在安全配置中，可以定義多個(gè)用戶，擁有不同的權(quán)限。同時(shí)，每個(gè)元數(shù)據(jù)對(duì)象都有一個(gè)安全配置。通過這種組合，實(shí)現(xiàn)用戶對(duì)不同的元數(shù)據(jù)對(duì)象有不同的權(quán)限。元數(shù)據(jù)源包括：Oracle數(shù)據(jù)源系統(tǒng)、FlatFile數(shù)據(jù)源、ETL系統(tǒng)、ODS系統(tǒng)、DDS系統(tǒng)、數(shù)據(jù)模型、前端應(yīng)用系統(tǒng)和業(yè)務(wù)信息源。因此，對(duì)于每個(gè)元數(shù)據(jù)源應(yīng)調(diào)配獨(dú)立的安全配置(Security Profile)。所以，在元數(shù)據(jù)系統(tǒng)中，至少需增加7個(gè)安全配置，分別對(duì)應(yīng)不同的元數(shù)據(jù)源。

9 總結(jié)

本文通過構(gòu)建元數(shù)據(jù)管理系統(tǒng)，利用元數(shù)據(jù)的整合，使維護(hù)人員、管理人員以及系統(tǒng)開發(fā)人員能夠完整地認(rèn)識(shí)數(shù)據(jù)倉庫的數(shù)據(jù)定義及系統(tǒng)架構(gòu)。當(dāng)元數(shù)據(jù)加載到元數(shù)據(jù)系統(tǒng)后，數(shù)據(jù)發(fā)生變化時(shí)，有效地預(yù)期數(shù)據(jù)的影響范圍。尤其近年來，對(duì)數(shù)據(jù)質(zhì)量控制的高要求，進(jìn)一步凸顯了元數(shù)據(jù)管理的重要性。

[1](美)David Marco著，張銘，李欽等譯.元數(shù)據(jù)倉儲(chǔ)的構(gòu)建與管理[M].北京：機(jī)械工業(yè)出版社，2004.

[2]K.Brigitte and G.Olvier．Models for Metadata or Metamodels for Data[C]．The Second Proceeding of Metadata，1997．

[3]黃展輝,項(xiàng)穎. 數(shù)據(jù)倉庫元數(shù)據(jù)管理研究[J]. 福建電腦,2010,(1):53-54.

[4]廉博. 數(shù)據(jù)倉庫中ETL技術(shù)的研究與實(shí)現(xiàn)[D].沈陽工業(yè)大學(xué),2006.

[5]謝福成,王備戰(zhàn),史亮,姜青山. 基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理系統(tǒng)[J]. 計(jì)算機(jī)工程,2009,(9):79-81.

Metadata Management System Based on Bank Data Warehouse

YU Ye-lan

(Software School, Minjiang University, Fuzhou 350011, China)

In the field of data warehouse technology, metadata management is the research focus. This paper discusses the concepts and application of metadata, analyzes the design principle, designs a physical architecture based on bank data warehouse and presents data model design of metadata manage system. What’s more, this paper discusses the implementation safety of the system from two aspects of users and security group respectively.

data warehouse; metadata; metadata management; meta-model

2017-01-02

余葉蘭(1986-)，女，福建仙游人，助教，碩士，研究方向?yàn)檐浖こ獭?/p>

TP31

A

1674-344X(2017)2-0038-03