廣東省水利數(shù)據(jù)中心數(shù)據(jù)架構(gòu)研究

夏寧寧

（廣東省防汛搶險(xiǎn)技術(shù)保障中心，廣東 廣州510000）

0 前言

隨著廣東水利信息化事業(yè)的快速發(fā)展，先后啟動(dòng)了省三防指揮系統(tǒng)等骨干項(xiàng)目和實(shí)際應(yīng)用，內(nèi)涵涵蓋多個(gè)職能部門(mén)和專業(yè)領(lǐng)域，并形成了海量水利數(shù)據(jù)信息， 由于缺乏有效的整合利用手段和共享平臺(tái)，許多業(yè)務(wù)應(yīng)用系統(tǒng)開(kāi)發(fā)附帶的具有公共價(jià)值的數(shù)據(jù)資源處于獨(dú)立專用狀態(tài)，形成“信息孤島”。 廣東省水利數(shù)據(jù)中心是一項(xiàng)大型信息系統(tǒng)工程，通過(guò)建立完善的水利數(shù)據(jù)庫(kù)，有效匯聚全省水雨情信息，并按照一數(shù)一源的原則，優(yōu)化數(shù)據(jù)庫(kù)表結(jié)構(gòu)，解決數(shù)據(jù)資源整合及共享問(wèn)題，更好的為廣東水利事業(yè)提供信息共享交換服務(wù)。

1 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)

數(shù)據(jù)中心的數(shù)據(jù)架構(gòu)圖如圖所示，主要由ODS 區(qū)、數(shù)據(jù)倉(cāng)庫(kù)區(qū)、數(shù)據(jù)緩沖區(qū)（交換數(shù)據(jù)臨時(shí)存儲(chǔ)區(qū)）、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)區(qū)、元數(shù)據(jù)及資源信息目錄等區(qū)域構(gòu)成，并通過(guò)數(shù)據(jù)對(duì)上接口區(qū)與水利部進(jìn)行數(shù)據(jù)交換，通過(guò)數(shù)據(jù)對(duì)下接口區(qū)實(shí)現(xiàn)與各地市及流域局的數(shù)據(jù)交換。

1.1 ODS 區(qū)

ODS 區(qū)即操作型數(shù)據(jù)存儲(chǔ)區(qū)（Operational Data Store，ODS），存放集成的、可更新的、近實(shí)時(shí)的業(yè)務(wù)數(shù)據(jù)，用于業(yè)務(wù)系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)之間的數(shù)據(jù)遷移，支持基于主題域的實(shí)時(shí)查詢，省數(shù)據(jù)中心的ODS 區(qū)主要存放25 類(lèi)數(shù)據(jù)庫(kù)以及水利普查數(shù)據(jù)庫(kù)。

為最大程度地集成既有業(yè)務(wù)系統(tǒng)完整的數(shù)據(jù)信息源，降低對(duì)業(yè)務(wù)系統(tǒng)的影響，ODS 區(qū)還辟有業(yè)務(wù)數(shù)據(jù)暫存區(qū)， 主要存放既有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)的全量備份，并以此作為25 類(lèi)數(shù)據(jù)庫(kù)的數(shù)據(jù)來(lái)源。

圖1 數(shù)據(jù)中心數(shù)據(jù)架構(gòu)圖

1.2 數(shù)據(jù)倉(cāng)庫(kù)區(qū)

數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse，DW)存放面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)統(tǒng)一存放與管理經(jīng)整合后、具有分析價(jià)值的歷史數(shù)據(jù)與現(xiàn)狀數(shù)據(jù)，支持基于大量歷史數(shù)據(jù)的企業(yè)決策分析。 數(shù)據(jù)倉(cāng)庫(kù)區(qū)分兩個(gè)層次，第一層次為Master 庫(kù)，該庫(kù)中的數(shù)據(jù)是面向主題存放的基礎(chǔ)明細(xì)數(shù)據(jù)， 可用于決策支持。 第二層次為Master 庫(kù)的子集，包含數(shù)據(jù)集市、數(shù)據(jù)挖掘庫(kù)和共享信息庫(kù)，數(shù)據(jù)集市面向特定的分析應(yīng)用，數(shù)據(jù)挖掘庫(kù)提供深層次的數(shù)據(jù)挖掘服務(wù)，共享信息庫(kù)是根據(jù)特定需求從Master 庫(kù)抽取的可共享的數(shù)據(jù)庫(kù)。

1.3 元數(shù)據(jù)及資源信息目錄存儲(chǔ)區(qū)

本項(xiàng)目中，元數(shù)據(jù)用于存放ODS 和DW 中基礎(chǔ)庫(kù)、專題庫(kù)、Master庫(kù)中數(shù)據(jù)的機(jī)構(gòu)信息，資源目錄用于存放數(shù)據(jù)資源信息，通過(guò)資源目錄體系建設(shè)，形成全省水利行業(yè)統(tǒng)一管理和服務(wù)的資源目錄體系。

2 數(shù)據(jù)庫(kù)設(shè)計(jì)

2.1 數(shù)據(jù)庫(kù)架構(gòu)

廣東省水利數(shù)據(jù)中心數(shù)據(jù)架構(gòu)ODS 存儲(chǔ)區(qū)中，ODS 存儲(chǔ)區(qū)如圖2 所示，主要包含基礎(chǔ)數(shù)據(jù)庫(kù)、專業(yè)數(shù)據(jù)庫(kù)、數(shù)據(jù)暫存區(qū)數(shù)據(jù)庫(kù)和水利普查數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)中主要包含Master 數(shù)據(jù)庫(kù)、主題數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘庫(kù)和共享信息庫(kù)，其中Master 數(shù)據(jù)庫(kù)對(duì)用戶屏蔽，數(shù)據(jù)倉(cāng)庫(kù)通過(guò)主題數(shù)據(jù)庫(kù)對(duì)外提供服務(wù)。主題數(shù)據(jù)庫(kù)主要為基于數(shù)據(jù)中心的輔助決策類(lèi)業(yè)務(wù)應(yīng)用提供服務(wù)，由業(yè)務(wù)部門(mén)提出服務(wù)需求，數(shù)據(jù)中心根據(jù)需求信息生成業(yè)務(wù)模型，形成對(duì)應(yīng)于業(yè)務(wù)需求的數(shù)據(jù)信息。 主題數(shù)據(jù)庫(kù)提供的服務(wù)基于OLAP 業(yè)務(wù)應(yīng)用，以海量數(shù)據(jù)為基礎(chǔ)，能對(duì)數(shù)據(jù)進(jìn)行匯總，建立多維度分析、 查詢和報(bào)表， 側(cè)重于決策支持。

2.2 數(shù)據(jù)整合設(shè)計(jì)

數(shù)據(jù)整合主要包括橫向數(shù)據(jù)整合和縱向數(shù)據(jù)整合兩個(gè)部分， 橫向數(shù)據(jù)整合主要針對(duì)省廳各業(yè)務(wù)處室的現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合， 該部分業(yè)務(wù)系統(tǒng)通過(guò)全量復(fù)制數(shù)據(jù)在ODS 層落地， 與標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)建立映射關(guān)系， 對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換后存入標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)中。 其中ODS 區(qū)的數(shù)據(jù)需要經(jīng)過(guò)清洗、 轉(zhuǎn)換后按照相應(yīng)規(guī)則抽取到Master 庫(kù)中， 再經(jīng)過(guò)二次ETL得到面向應(yīng)用主題的主題數(shù)據(jù)庫(kù)以提供輔助決策功能。 縱向數(shù)據(jù)整合主要指地市系統(tǒng)與省系統(tǒng)、 國(guó)家系統(tǒng)與省系統(tǒng)的數(shù)據(jù)交換， 地市水利數(shù)據(jù)通過(guò)數(shù)據(jù)交換服務(wù)將數(shù)據(jù)發(fā)送到數(shù)據(jù)倉(cāng)庫(kù)的臨時(shí)存儲(chǔ)區(qū)， 然后再經(jīng)過(guò)ETL 方式將數(shù)據(jù)載入數(shù)據(jù)中心ODS 層對(duì)應(yīng)數(shù)據(jù)庫(kù)。 省級(jí)系統(tǒng)與國(guó)家系統(tǒng)的數(shù)據(jù)交換同樣通過(guò)數(shù)據(jù)交換平臺(tái)按照水利部提供的業(yè)務(wù)數(shù)據(jù)需求實(shí)現(xiàn)數(shù)據(jù)上報(bào)。

圖2 ODS 存儲(chǔ)區(qū)結(jié)構(gòu)圖

3 元數(shù)據(jù)

元數(shù)據(jù)被稱為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”目的是使數(shù)據(jù)能夠被正確理解和解釋。 廣東省水利數(shù)據(jù)中心覆蓋到端到端的元數(shù)據(jù)體系如圖3 所示。

圖3 數(shù)據(jù)中心元數(shù)據(jù)分布圖

元數(shù)據(jù)主要分布在以下幾個(gè)環(huán)節(jié)：

數(shù)據(jù)建模工具的元數(shù)據(jù)： 其數(shù)據(jù)項(xiàng)包含以下對(duì)象 （包括但不限于）：Model，ValidationRule，DefaultValue，Transform，Table，Column，Key(primaryKey,forei-gnKey，NonUniqueKey)，Relationship。

數(shù)據(jù)庫(kù)（ODS&DW）元數(shù)據(jù)：用來(lái)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)實(shí)體信息，該部分包含的元數(shù)據(jù)項(xiàng)至少有以下對(duì)象（包括但不限于）：Catalog，Schema，Table，View，Column，Procedure，SQLIndex，Trigger，CheckConstraint。

ETL 工具元數(shù)據(jù)：該工具的核心作用是對(duì)數(shù)據(jù)的處理，包括數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、裝載的過(guò)程。 ETL 工具的元數(shù)據(jù)體現(xiàn)為一些數(shù)據(jù)流圖，其描述數(shù)據(jù)處理過(guò)程(Transformation)，分析數(shù)據(jù)的來(lái)源及輸出等。ETL 元數(shù)據(jù)包含以下對(duì)象（包括但不限于）：repository；task(包括的類(lèi)型 有Workflow，Session，Command，Email，Worklet，Decision，Event ait，Event Raise，Timer，Assignment，Control)；Task (Mapping 里 的Sources，TargetTransformations) 等。OLAP 工具元數(shù)據(jù)：OLAP 展現(xiàn)在用戶面前是一幅幅多維視圖。 其元數(shù)據(jù)主要包括維的層次、 維的成員、度量的信息等。

BI 前端工具元數(shù)據(jù)：BI 工具屬于業(yè)務(wù)層面的工具，其主要包含的元數(shù)據(jù)是對(duì)統(tǒng)計(jì)分析指標(biāo)的業(yè)務(wù)定義、 統(tǒng)計(jì)口徑定義等。

4 數(shù)據(jù)服務(wù)設(shè)計(jì)

數(shù)據(jù)中心ODS 區(qū)各類(lèi)數(shù)據(jù)庫(kù)資源以及數(shù)據(jù)倉(cāng)庫(kù)中Master 庫(kù)對(duì)用戶屏蔽，用戶通過(guò)共享信息庫(kù)和主題數(shù)據(jù)庫(kù)訪問(wèn)數(shù)據(jù)中心的數(shù)據(jù)資源。

共享信息庫(kù)是指通過(guò)將實(shí)體數(shù)據(jù)根據(jù)業(yè)務(wù)需要抽象出來(lái)可供多個(gè)業(yè)務(wù)應(yīng)用訪問(wèn)的可共享信息倉(cāng)庫(kù)，用戶并不能直接訪問(wèn)Master 數(shù)據(jù)庫(kù)中的數(shù)據(jù)資源，在一定程度上保證了數(shù)據(jù)安全，又可以保證業(yè)務(wù)系統(tǒng)的基本穩(wěn)定。

主題數(shù)據(jù)庫(kù)為基于數(shù)據(jù)中心的輔助決策類(lèi)業(yè)務(wù)應(yīng)用提供服務(wù)，由業(yè)務(wù)應(yīng)用向數(shù)據(jù)中心提出申請(qǐng)，數(shù)據(jù)中心根據(jù)申請(qǐng)主題形成業(yè)務(wù)模型，生成對(duì)應(yīng)于業(yè)務(wù)的事實(shí)表和應(yīng)用與模型的維信息，主題數(shù)據(jù)庫(kù)的數(shù)據(jù)主要通過(guò)ETL 工具生成。

事實(shí)表（Fact Table），數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中的中央表，是存儲(chǔ)可度量的值的詳細(xì)數(shù)值或?qū)嶋H數(shù)值的關(guān)系數(shù)據(jù)庫(kù)中的表格，包含聯(lián)系事實(shí)與維表的數(shù)字度量值和鍵。

維表（Dimension Table），數(shù)據(jù)倉(cāng)庫(kù)中的表，其條目描述事實(shí)數(shù)據(jù)表中的數(shù)據(jù)，維表包含創(chuàng)建維度所需的數(shù)據(jù)。

5 結(jié)語(yǔ)

廣東省水利數(shù)據(jù)中心是全國(guó)首個(gè)省級(jí)水利數(shù)據(jù)中心，通過(guò)對(duì)數(shù)據(jù)中心數(shù)據(jù)架構(gòu)的分析和研究，總結(jié)數(shù)據(jù)架構(gòu)設(shè)計(jì)和匯交方式，通過(guò)存儲(chǔ)分區(qū)結(jié)構(gòu)，實(shí)現(xiàn)數(shù)據(jù)的快速查詢、數(shù)據(jù)挖掘和信息共享，通過(guò)數(shù)據(jù)整合設(shè)計(jì)實(shí)現(xiàn)數(shù)據(jù)的橫向整合和縱向整合， 為主題數(shù)據(jù)庫(kù)提供輔助決策，并實(shí)現(xiàn)地市和省級(jí)節(jié)點(diǎn)向國(guó)家節(jié)點(diǎn)的數(shù)據(jù)上報(bào)，通過(guò)數(shù)據(jù)庫(kù)及數(shù)據(jù)服務(wù)設(shè)計(jì)，定義數(shù)據(jù)庫(kù)結(jié)構(gòu)和元數(shù)據(jù)體系，確定數(shù)據(jù)中心對(duì)外提供服務(wù)的方式。 目前對(duì)水利數(shù)據(jù)中心的研究還存在很多難點(diǎn)，下一步要解決的問(wèn)題是如何利用數(shù)據(jù)中心中的大量數(shù)據(jù)為為預(yù)測(cè)洪澇災(zāi)害提供決策支持，希望通過(guò)本次研究能對(duì)廣大同行有所幫助。

［1］劉曉茜.云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D].合肥：中國(guó)科技大學(xué)，2011.

［2］鄧維.云計(jì)算數(shù)據(jù)中心的新能源應(yīng)用:研究現(xiàn)狀與趨勢(shì)[J].計(jì)算機(jī)學(xué)報(bào)，2013,(3).

［3］鄭華鋒.寧德市水電開(kāi)發(fā)[M].北京：水利水電出版社，2008.

［4］劉志強(qiáng)，潘志德，蔡陽(yáng).等.水利信息化[M].長(zhǎng)沙：中南大學(xué)出版社，2007.