數(shù)據(jù)倉(cāng)庫(kù)在漁業(yè)綜合平臺(tái)中的應(yīng)用

摘 要：為提升漁政服務(wù)能力，需要充分利用各種漁業(yè)信息化系統(tǒng)產(chǎn)生的大量寶貴的數(shù)據(jù)資源，建立基于數(shù)據(jù)倉(cāng)庫(kù)的漁業(yè)綜合平臺(tái)。文章以漁業(yè)綜合平臺(tái)系統(tǒng)為例，構(gòu)建多層次數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系架構(gòu)和模型設(shè)計(jì)。主要包括：多層次的系統(tǒng)數(shù)據(jù)架構(gòu)；數(shù)據(jù)倉(cāng)庫(kù)主題模型設(shè)計(jì)和多維度分析設(shè)計(jì)。

關(guān)鍵詞：漁業(yè)綜合平臺(tái) 系統(tǒng)架構(gòu) 主題模型 多維分析

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004-4914（2013）02-065-03

一、引言

（一）數(shù)據(jù)倉(cāng)庫(kù)及其應(yīng)用

數(shù)據(jù)倉(cāng)庫(kù)的概念產(chǎn)生于20世紀(jì)90年代，隨著互聯(lián)網(wǎng)技術(shù)的興起和企業(yè)信息化飛速發(fā)展，為在激烈的市場(chǎng)競(jìng)爭(zhēng)環(huán)境下獲得優(yōu)勢(shì)，企業(yè)需要基于其大量業(yè)務(wù)數(shù)據(jù)對(duì)其自身業(yè)務(wù)的運(yùn)作以及整個(gè)市場(chǎng)相關(guān)行業(yè)的態(tài)勢(shì)進(jìn)行分析并做出有利的決策，從而產(chǎn)生了專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù)的、可滿足決策支持和聯(lián)機(jī)分析應(yīng)用要求的數(shù)據(jù)中心，即數(shù)據(jù)倉(cāng)庫(kù)。在數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上，通過(guò)數(shù)據(jù)挖掘、聯(lián)機(jī)分析應(yīng)用，構(gòu)建經(jīng)營(yíng)分析系統(tǒng)和商業(yè)智能系統(tǒng)才成為可能，因此數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)也被稱為企業(yè)的“數(shù)字神經(jīng)系統(tǒng)”。由于在促進(jìn)企業(yè)獲取商業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)和改善優(yōu)化決策方面有明顯作用，數(shù)據(jù)倉(cāng)庫(kù)的概念一經(jīng)出現(xiàn)，就首先被應(yīng)用于金融、電信、保險(xiǎn)、零售等主要傳統(tǒng)競(jìng)爭(zhēng)激烈且數(shù)據(jù)處理密集型行業(yè)，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)應(yīng)用也日趨成熟并進(jìn)一步向構(gòu)建動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)的方向發(fā)展。

（二）數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵技術(shù)

1.數(shù)據(jù)抽取技術(shù)。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)抽取可以定時(shí)抽取，動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)則可以在不影響源系統(tǒng)負(fù)荷情況下進(jìn)行動(dòng)態(tài)抽取。數(shù)據(jù)抽取工具要滿足下述要求：廣泛支持各種數(shù)據(jù)源類型；具有良好的元數(shù)據(jù)管理能力，能及時(shí)發(fā)現(xiàn)數(shù)據(jù)源結(jié)構(gòu)的變動(dòng)；完善的任務(wù)管理能力，能夠靈活地制定數(shù)據(jù)抽取任務(wù)的執(zhí)行策略，管理任務(wù)的執(zhí)行狀態(tài)等；高效的執(zhí)行效率，對(duì)于特殊的大數(shù)據(jù)量的處理可能會(huì)采用人工開發(fā)的方式，以獲取最好的效率。

2.分布數(shù)據(jù)存儲(chǔ)和管理。面向決策支持?jǐn)U充的并行關(guān)系數(shù)據(jù)庫(kù)將是數(shù)據(jù)倉(cāng)庫(kù)的核心。數(shù)據(jù)倉(cāng)庫(kù)處理的數(shù)據(jù)量比傳統(tǒng)事務(wù)處理大得多，且隨時(shí)間的推移而累積。關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)目前已發(fā)展到支持?jǐn)?shù)據(jù)分割技術(shù)，能夠?qū)⒁粋€(gè)大的數(shù)據(jù)庫(kù)表分散在多個(gè)物理存儲(chǔ)設(shè)備中，進(jìn)一步增強(qiáng)了系統(tǒng)管理大數(shù)據(jù)量的擴(kuò)展能力，可以管理數(shù)百個(gè)GB甚至到TB的數(shù)據(jù)。另一方面跨省中心數(shù)據(jù)倉(cāng)庫(kù)可以采用基于分布式聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)系統(tǒng)，進(jìn)一步增加系統(tǒng)的可擴(kuò)展性。

3.并行數(shù)據(jù)庫(kù)處理技術(shù)。并行處理技術(shù)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)性能的關(guān)鍵。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，用戶訪問(wèn)系統(tǒng)的特點(diǎn)是龐大而稀疏，即聯(lián)機(jī)分析的查詢和統(tǒng)計(jì)都很復(fù)雜，系統(tǒng)需要將所有的處理機(jī)調(diào)動(dòng)起來(lái)并行處理復(fù)雜的查詢請(qǐng)求服務(wù)。在并行及分布式數(shù)據(jù)結(jié)構(gòu)中，可采用多個(gè)SMP的主機(jī)組成集群或分布式聯(lián)網(wǎng)，通過(guò)對(duì)數(shù)據(jù)的分布以及數(shù)據(jù)庫(kù)處理的分布，提高整個(gè)系統(tǒng)的處理能力。而且在日后系統(tǒng)規(guī)模擴(kuò)大時(shí)，可方便地通過(guò)增加處理節(jié)點(diǎn)的方式擴(kuò)展整個(gè)數(shù)據(jù)庫(kù)系統(tǒng)。

4.多維分析模型技術(shù)。管理人員往往希望從不同的角度來(lái)審視業(yè)務(wù)情況，比如從市場(chǎng)、時(shí)間、地域、功能、利潤(rùn)、余額等來(lái)看，即多維分析技術(shù)。

多維分析模型技術(shù)的關(guān)鍵就是將信息按照多維的模型進(jìn)行組織，支持切片、分割、旋轉(zhuǎn)，再通過(guò)相應(yīng)的工具如以數(shù)字、直方圖、餅圖、曲線等展現(xiàn)給用戶，使得用戶可以以靈活、直觀的方式分析數(shù)據(jù)。多維聯(lián)機(jī)分析系統(tǒng)目前有采用多維數(shù)據(jù)庫(kù)系統(tǒng)的MOLAP、優(yōu)化的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的ROLAP和二者的混合系統(tǒng)HOLAP等幾種。

5.前端應(yīng)用工具。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)對(duì)用戶應(yīng)提供方便的圖形化應(yīng)用工具，除前面提到多維分析工具外，還包括針對(duì)決策優(yōu)化的報(bào)表及查詢工具等。

考慮到應(yīng)用環(huán)境的多樣性，前臺(tái)應(yīng)用工具應(yīng)支持Client/Server、Browser/Server以及Excel等多種應(yīng)用環(huán)境，其中Web前端聯(lián)機(jī)分析工具由于具有跨平臺(tái)特性使用上更為方便。

二、數(shù)據(jù)倉(cāng)庫(kù)在漁業(yè)綜合平臺(tái)系統(tǒng)中的應(yīng)用

縱觀建國(guó)以來(lái)我國(guó)漁業(yè)的發(fā)展史，漁業(yè)從單純的近海捕撈，到近海、外海、遠(yuǎn)洋捕撈，再到現(xiàn)代的海洋捕撈和海水增養(yǎng)殖業(yè)，漁業(yè)的范圍在不斷擴(kuò)大，漁業(yè)呈現(xiàn)多元發(fā)展趨勢(shì)，逐步形成了以漁業(yè)為主，一、二、三產(chǎn)業(yè)相互滲透、交叉發(fā)展的格局。向科技要效益、強(qiáng)化漁政管理、完善社會(huì)化服務(wù)體系是當(dāng)前漁業(yè)綜合平臺(tái)的主要任務(wù)。漁業(yè)信息化建設(shè)取得了顯著成效，漁業(yè)局MIS系統(tǒng)、海上GPS定位系統(tǒng)、電信通信計(jì)費(fèi)服務(wù)系統(tǒng)、氣象與漁業(yè)服務(wù)系統(tǒng)、漁政管理系統(tǒng)等已建成并穩(wěn)定運(yùn)行。隨著這些應(yīng)用系統(tǒng)的持續(xù)運(yùn)行，漁業(yè)部門積累了大量詳盡真實(shí)的歷史數(shù)據(jù)，各級(jí)漁業(yè)部門迫切需要對(duì)這些數(shù)據(jù)進(jìn)行綜合分析，從而保障漁民海上作業(yè)安全、準(zhǔn)確分析漁業(yè)資源情況合理利用、科學(xué)指導(dǎo)漁業(yè)養(yǎng)殖、為政府合理制定漁業(yè)政策提供依據(jù)。然而，當(dāng)前這些系統(tǒng)存在著部門自成體系的現(xiàn)象，無(wú)法對(duì)漁業(yè)高層進(jìn)行宏觀決策提供可靠的基礎(chǔ)支持，嚴(yán)重制約了高層的分析決策能力和漁業(yè)信息化建設(shè)?；诤Ａ康臉I(yè)務(wù)數(shù)據(jù)，為高層決策提供支持和分析預(yù)測(cè)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)無(wú)疑成為漁業(yè)部門關(guān)注的焦點(diǎn)。下文給出漁業(yè)綜合平臺(tái)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)一種應(yīng)用設(shè)計(jì)思路。

（一）系統(tǒng)架構(gòu)設(shè)計(jì)

漁業(yè)綜合平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的整體框架如圖1所示，由四部分組成，分別是業(yè)務(wù)數(shù)據(jù)源、數(shù)據(jù)抽取層、數(shù)據(jù)管理及使用以及漁政門戶，其中業(yè)務(wù)數(shù)據(jù)源、數(shù)據(jù)抽取層以及數(shù)據(jù)管理及使用構(gòu)成整個(gè)系統(tǒng)的數(shù)據(jù)中心。

1.業(yè)務(wù)數(shù)據(jù)源。業(yè)務(wù)數(shù)據(jù)源是整個(gè)漁業(yè)綜合平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)業(yè)務(wù)數(shù)據(jù)集合的源平臺(tái)，包括漁業(yè)局MIS系統(tǒng)、海上GPS定位系統(tǒng)、電信通信計(jì)費(fèi)服務(wù)系統(tǒng)、氣象與漁業(yè)服務(wù)系統(tǒng)、漁政管理系統(tǒng)等基礎(chǔ)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)。這個(gè)業(yè)務(wù)數(shù)據(jù)源并不是固定不變的，隨著新系統(tǒng)的加入，其對(duì)應(yīng)的數(shù)據(jù)庫(kù)也可以加入。

2.數(shù)據(jù)抽取層。在漁業(yè)綜合平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)中，ETL，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值。它負(fù)責(zé)將數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)源中提取出來(lái)，然后進(jìn)行必要的清洗、轉(zhuǎn)換、整理，最后再加載到主題數(shù)據(jù)庫(kù)中，是實(shí)現(xiàn)主題數(shù)據(jù)庫(kù)的重要步驟。

3.數(shù)據(jù)管理及使用。數(shù)據(jù)管理及使用是整個(gè)綜合平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的核心部分?？砂ㄖ黝}數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能等，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一保存與管理。

（1）主題數(shù)據(jù)庫(kù)是業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)經(jīng)過(guò)ETL工具的抽取、清洗、轉(zhuǎn)換形成的，其主要特征為：面向業(yè)務(wù)主題。主題數(shù)據(jù)庫(kù)是面向業(yè)務(wù)主題的數(shù)據(jù)組織存儲(chǔ)，是對(duì)各業(yè)務(wù)應(yīng)用數(shù)據(jù)進(jìn)行分析整理而設(shè)計(jì)的，不是各個(gè)業(yè)務(wù)應(yīng)用數(shù)據(jù)原樣復(fù)制。數(shù)據(jù)庫(kù)與漁業(yè)管理中要解決的主要問(wèn)題相關(guān)聯(lián)，而不是與通常的單個(gè)業(yè)務(wù)應(yīng)用相關(guān)聯(lián)。信息共享。數(shù)據(jù)庫(kù)不是對(duì)各個(gè)應(yīng)用系統(tǒng)“自建自用”的數(shù)據(jù)庫(kù)的徹底否定，而是強(qiáng)調(diào)建立各個(gè)應(yīng)用系統(tǒng)集中統(tǒng)一的共享數(shù)據(jù)庫(kù)。

（2）數(shù)據(jù)倉(cāng)庫(kù)通常包含全局?jǐn)?shù)據(jù)字典（即元數(shù)據(jù)）、訪問(wèn)工具、數(shù)據(jù)集市，數(shù)據(jù)倉(cāng)庫(kù)管理幾部分。元數(shù)據(jù)是描述數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，按用途的不同分為技術(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)兩類。元數(shù)據(jù)為訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄，這個(gè)目錄全面描述了數(shù)據(jù)庫(kù)中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、和怎么訪問(wèn)這些數(shù)據(jù)。元數(shù)據(jù)是數(shù)據(jù)庫(kù)運(yùn)行和維護(hù)的中心，數(shù)據(jù)庫(kù)服務(wù)器利用它來(lái)存貯和更新數(shù)據(jù)，用戶也通過(guò)它來(lái)了解和訪問(wèn)數(shù)據(jù)。

訪問(wèn)工具為用戶訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供手段。有數(shù)據(jù)查詢和報(bào)表工具；應(yīng)用開發(fā)工具；管理信息系統(tǒng)（EIS）工具；在線分析（OLAP）工具；數(shù)據(jù)挖掘工具等。

數(shù)據(jù)集市是為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)。在數(shù)據(jù)庫(kù)的實(shí)施過(guò)程中往往可以從一個(gè)部門的數(shù)據(jù)集市著手，以后再用幾個(gè)數(shù)據(jù)集市組成一個(gè)完整的數(shù)據(jù)庫(kù)。

數(shù)據(jù)倉(cāng)庫(kù)管理包括：安全和特權(quán)管理：跟蹤數(shù)據(jù)的更新：數(shù)據(jù)質(zhì)量檢查；管理和更新元數(shù)據(jù)：審計(jì)和報(bào)告數(shù)據(jù)倉(cāng)庫(kù)的使用和狀態(tài)；刪除數(shù)據(jù)；復(fù)制、分割和分發(fā)數(shù)據(jù)：備份和恢復(fù)；存儲(chǔ)管理。

（3）商業(yè)智能是通過(guò)數(shù)據(jù)倉(cāng)庫(kù)提供的訪問(wèn)工具、決策支持工具OLAP和數(shù)據(jù)挖掘工具等實(shí)現(xiàn)漁業(yè)數(shù)據(jù)的智能分析，包括報(bào)表定制、即席查詢、預(yù)警分析機(jī)制等。

4.漁政門戶。通過(guò)建立漁政門戶，漁業(yè)綜合平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)可以實(shí)現(xiàn)信息發(fā)布和共享；可以鞏固并有效地利用漁業(yè)現(xiàn)有的信息資產(chǎn)和H架構(gòu)投資，并充分發(fā)揮這兩者的杠桿作用：還能使系統(tǒng)提供的功能和信息更容易獲得，更容易為漁民、養(yǎng)殖戶、電信部門和氣象部門所訪問(wèn)，因此有效地提升了漁政最復(fù)雜的后臺(tái)辦公應(yīng)用系統(tǒng)的價(jià)值。一個(gè)好的漁政門戶必須具有以下五大特點(diǎn)：良好的合作性：強(qiáng)大的整合性；方便的流程管理；全面的內(nèi)容管理；先進(jìn)的個(gè)性化設(shè)置。

（二）數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)

1.模型主題域設(shè)計(jì)。數(shù)據(jù)倉(cāng)庫(kù)是按照主題來(lái)組織數(shù)據(jù)的，主題的劃分是以業(yè)務(wù)系統(tǒng)的信息模型為依據(jù)的，并由主題構(gòu)成企業(yè)運(yùn)作的框架，是企業(yè)信息在較高層次上的綜合與歸類。確定數(shù)據(jù)倉(cāng)庫(kù)的主題，是數(shù)據(jù)倉(cāng)庫(kù)模型建設(shè)的關(guān)鍵。那么如何合理確定主題？

漁業(yè)產(chǎn)量、漁民安全和用戶滿意度是衡量漁政工作的最關(guān)鍵的指標(biāo)，這就必然首先要求要關(guān)注客戶（漁民和養(yǎng)殖戶），捕撈和養(yǎng)殖產(chǎn)品是盈利來(lái)源，因此“客戶主題”、“產(chǎn)品主題”和“安全主題”是三個(gè)最基本的主題?？蛻糁黝}是作為數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的各種主題中最重要，也是最核心的內(nèi)容。客戶主題中，需要提供的分析主要定位于：有哪些客戶、他們關(guān)心什么、哪些客戶具備相關(guān)性、哪些客戶的需求類似、客戶為漁業(yè)收入做出了多大的貢獻(xiàn)等等。產(chǎn)品主題中，需要提供的業(yè)務(wù)分析主要定位于：產(chǎn)品有哪些、產(chǎn)品之間的關(guān)系組合怎么樣、在產(chǎn)品的質(zhì)量，產(chǎn)品的銷路、貢獻(xiàn)度如何等等。安全主題關(guān)注的內(nèi)容就是：海上安全區(qū)域，哪些船只發(fā)生警報(bào)，每年事故率等等。

客戶以及客戶的需求并不是一成不變的，產(chǎn)品也需要跟蹤，因此相應(yīng)地養(yǎng)殖戶和漁民滿意度也是衡量系統(tǒng)的重要指標(biāo)，因此，“滿意度”主題也是必須的。滿意度主題中，養(yǎng)殖戶對(duì)氣象預(yù)報(bào)、養(yǎng)殖知識(shí)指導(dǎo)、預(yù)防措施是否滿意，漁民對(duì)海上通話、報(bào)警是否滿意等。

上述四個(gè)主題是漁業(yè)綜合平臺(tái)常用的四個(gè)重要主題域，當(dāng)然還可以根據(jù)需要擴(kuò)展決策關(guān)心的系列主題。

2.邏輯模型設(shè)計(jì)。確定數(shù)據(jù)倉(cāng)庫(kù)主題后，下一步進(jìn)行維度分析并采用維度建模方法建立各主題的邏輯模型。下面以客戶主題為例說(shuō)明邏輯模型的構(gòu)建?？蛻艏仁蔷S度，又是主題?？蛻糇鳛榫S度，是考察其它主題的基本出發(fā)點(diǎn)，體現(xiàn)了“以客戶為中心”的宗旨。同時(shí)客戶又是主題，希望了解掌握與客戶相關(guān)的各種數(shù)據(jù)和活動(dòng)，強(qiáng)化客戶至上的原則?？蛻糁黝}包含的主要實(shí)體是客戶、用戶和賬戶實(shí)體。與客戶主題相關(guān)維度有：客戶類型維、價(jià)值級(jí)別維、證件類型維、信用度維、價(jià)值級(jí)別維行業(yè)類型維和時(shí)間維?？蛻糁黝}星型邏輯模型如圖2所示。邏輯模塊根據(jù)需要也可以用雪花模型或第三范式設(shè)計(jì)。星型模型查詢效率較雪花模型高。

三、結(jié)論

通過(guò)在數(shù)據(jù)倉(cāng)庫(kù)在漁業(yè)綜合平臺(tái)系統(tǒng)中應(yīng)用，對(duì)漁政工作起到很好的促進(jìn)作用：整合漁業(yè)部門數(shù)據(jù)，逐步（下轉(zhuǎn)第86頁(yè)）（上接第66頁(yè)）構(gòu)建和完善漁業(yè)綜合平臺(tái)。增強(qiáng)了漁業(yè)綜合平臺(tái)服務(wù)用戶的能力，提升了漁業(yè)信息化水平。

參考文獻(xiàn)：

1.Inomn W H. Building the data warehouse [M].北京：機(jī)械工業(yè)出版社，2007

2.蘇新寧，楊建林等.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘.北京：清華大學(xué)出版社，2006

3.陳文偉.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘教程.北京：清華大學(xué)出版社，2006

4.薩師煊，王珊.數(shù)據(jù)庫(kù)系統(tǒng)概論（第三版）.高等教育出版社

5.韓峰.基于Oracle的電力營(yíng)銷數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn).山東大學(xué)碩士論文，2007

6.唐九洲.電信行業(yè)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)建模研究.中南大學(xué)碩士論文，2004

（作者單位：南京厚華通信設(shè)備有限責(zé)任公司 江蘇南京 210016）

（責(zé)編：賈偉）