面向大數(shù)據(jù)的數(shù)據(jù)管理架構(gòu)分析

王 軍

（西安外事學(xué)院， 陜西 西安 710077）

引言

大多數(shù)數(shù)據(jù)管理方法會(huì)區(qū)分?jǐn)?shù)據(jù)、信息和知識(shí)。數(shù)據(jù)具體是真理和事實(shí)在數(shù)學(xué)上的集合，是某種形式的陳述，而沒(méi)有任何解釋；信息是具有上下文的數(shù)據(jù)，顯示某個(gè)特定實(shí)體的運(yùn)動(dòng)和操作，當(dāng)數(shù)據(jù)傳遞明確的變化時(shí)，它就成為了信息；知識(shí)是第三種形式，本質(zhì)上是有經(jīng)驗(yàn)的分析者所掌握的信息，傳達(dá)可能發(fā)生的事情。

一般來(lái)說(shuō)，為了將數(shù)據(jù)轉(zhuǎn)換為信息，必須指定一組明確的數(shù)據(jù)作為影響業(yè)務(wù)的數(shù)據(jù)，然后是收集相關(guān)數(shù)據(jù)的清晰和規(guī)則的方法，并加入某種形式的分析轉(zhuǎn)換數(shù)據(jù)的能力。將信息變?yōu)橹R(shí)是一個(gè)更為模糊的領(lǐng)域，主要受分析師的技能和公司需求的影響。一些商業(yè)知識(shí)直接來(lái)自信息，例如基于可靠制造數(shù)據(jù)的生產(chǎn)方法是直接從收集的信息中分支出來(lái)的一種知識(shí)類型，知識(shí)提供公司制定可靠政策的運(yùn)營(yíng)基礎(chǔ)。數(shù)據(jù)管理系統(tǒng)是指要實(shí)現(xiàn)三種類型轉(zhuǎn)換所涉及的結(jié)構(gòu)、方法和策略。

1 數(shù)據(jù)概述

1.1 元數(shù)據(jù)

元數(shù)據(jù)最常被定義為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，并且對(duì)于創(chuàng)建數(shù)據(jù)管理方法至關(guān)重要，在其基本形式中，元數(shù)據(jù)是放置在數(shù)據(jù)上的標(biāo)簽和類別，以便于分析。在公司的數(shù)據(jù)治理系統(tǒng)中，元數(shù)據(jù)用于對(duì)可用數(shù)據(jù)進(jìn)行分類和控制。分析師需要通過(guò)元數(shù)據(jù)收集的信息來(lái)選擇并操作大型數(shù)據(jù)組，這些元數(shù)據(jù)包括文件類型、名稱、時(shí)間戳、物理和電子位置、所有者以及訪問(wèn)權(quán)限，這些都是文件系統(tǒng)中常見(jiàn)的元數(shù)據(jù)類型[1]。

1.2 數(shù)據(jù)與信息

數(shù)據(jù)由原始事實(shí)構(gòu)成，如客戶姓名和地址，信息是以這樣一種方式組織的事實(shí)集合，它具有超越事實(shí)本身的更多價(jià)值。例如，客戶名稱和購(gòu)買數(shù)據(jù)庫(kù)可能提供有關(guān)公司市場(chǎng)人口統(tǒng)計(jì)信息、銷售趨勢(shì)和客戶忠誠(chéng)度/營(yíng)業(yè)額的信息，將數(shù)據(jù)轉(zhuǎn)化為信息是一個(gè)過(guò)程或一組邏輯上相關(guān)的任務(wù)，以達(dá)到預(yù)定的結(jié)果。定義各種數(shù)據(jù)之間關(guān)系的過(guò)程需要知識(shí)，知識(shí)是用于選擇，組織和操作數(shù)據(jù)以使其適用于特定任務(wù)的身體或規(guī)則、準(zhǔn)則和程序，因此通過(guò)應(yīng)用知識(shí)可以將信息視為更有用的數(shù)據(jù)。

2 數(shù)據(jù)處理

數(shù)據(jù)處理是指對(duì)一組數(shù)據(jù)或數(shù)據(jù)庫(kù)執(zhí)行特定操作的過(guò)程，數(shù)據(jù)庫(kù)是事實(shí)和信息的有組織的集合，例如員工、庫(kù)存、客戶和潛在客戶的記錄，存在多種形式的數(shù)據(jù)處理，并為業(yè)務(wù)環(huán)境中的各種應(yīng)用提供服務(wù)。

數(shù)據(jù)處理主要在信息系統(tǒng)上進(jìn)行，這是一個(gè)涵蓋計(jì)算機(jī)系統(tǒng)和相關(guān)設(shè)備的廣泛概念，信息系統(tǒng)的核心是輸入、處理和輸出。另外，信息系統(tǒng)提供了從輸出到輸入的反饋，輸入機(jī)制（例如鍵盤、掃描儀、麥克風(fēng)或相機(jī)）收集并捕獲原始數(shù)據(jù)，可以是手動(dòng)或自動(dòng)的，處理也可以手動(dòng)或自動(dòng)完成，涉及將數(shù)據(jù)轉(zhuǎn)換為有用的輸出，輸出通常采用報(bào)告和文檔的形式，利用反饋對(duì)信息系統(tǒng)的輸入和處理階段進(jìn)行必要的調(diào)整[2]。

處理階段管理層可以對(duì)數(shù)據(jù)施加最大的控制，管理層也可以從數(shù)據(jù)中獲得最大的價(jià)值?；净顒?dòng)包括用于管理的最常見(jiàn)的處理程序，例如將數(shù)字分組到相關(guān)組中、匯總、計(jì)算比率、繪制圖表和制作表格，這些處理活動(dòng)的目標(biāo)是將大量事實(shí)轉(zhuǎn)化為有意義的信息塊，然后將其用于知情決策、公司戰(zhàn)略和其他管理功能。

3 數(shù)據(jù)管理架構(gòu)

一個(gè)優(yōu)秀的數(shù)據(jù)管理系統(tǒng)應(yīng)該具備這樣幾種能力，包括：1）自動(dòng)監(jiān)控來(lái)自所有辦公室或數(shù)據(jù)中心的傳入數(shù)據(jù)的能力；2）跟蹤數(shù)據(jù)標(biāo)準(zhǔn)和組織隨時(shí)間變化的能力，以更好地理解所提供數(shù)據(jù)的準(zhǔn)確性和可用性；3）能夠整合其他系統(tǒng)的數(shù)據(jù)，并處理數(shù)據(jù)或數(shù)據(jù)組織中的突然變化；4）提供一個(gè)穩(wěn)定可靠的平臺(tái)來(lái)進(jìn)行數(shù)據(jù)決策的能力。

3.1 數(shù)據(jù)組織

數(shù)據(jù)組織對(duì)于最優(yōu)使用數(shù)據(jù)至關(guān)重要，以反映業(yè)務(wù)運(yùn)營(yíng)和實(shí)踐的方式組織數(shù)據(jù)非常重要，主要考慮內(nèi)容、訪問(wèn)、邏輯結(jié)構(gòu)和實(shí)體組織。內(nèi)容是指將要收集的數(shù)據(jù)；訪問(wèn)是指適當(dāng)時(shí)提供數(shù)據(jù)的用戶；邏輯結(jié)構(gòu)指的是如何排列數(shù)據(jù)；物理結(jié)構(gòu)指的是數(shù)據(jù)的位置。映射或圖表是數(shù)據(jù)庫(kù)設(shè)計(jì)人員用來(lái)顯示數(shù)據(jù)之間邏輯關(guān)系的一種工具，是數(shù)據(jù)模型，因此，數(shù)據(jù)建模需要了解商業(yè)實(shí)踐以及需要什么樣的數(shù)據(jù)和信息。

3.2 數(shù)據(jù)模型

大多數(shù)數(shù)據(jù)庫(kù)中關(guān)系的結(jié)構(gòu)遵循三種邏輯數(shù)據(jù)庫(kù)模型之一：層次結(jié)構(gòu)、網(wǎng)絡(luò)和關(guān)系。層次數(shù)據(jù)庫(kù)模型是將數(shù)據(jù)按照自頂向下或倒置樹(shù)狀結(jié)構(gòu)進(jìn)行組織的模型；網(wǎng)絡(luò)模型是分層數(shù)據(jù)庫(kù)模型的擴(kuò)展網(wǎng)絡(luò)模型，具有所有者成員關(guān)系，其中成員可以擁有多個(gè)所有者，而不是一對(duì)多關(guān)系；關(guān)系模型使用標(biāo)準(zhǔn)表格格式來(lái)描述數(shù)據(jù)，所有的數(shù)據(jù)元素被放置在稱為“關(guān)系”的二維表格中，數(shù)據(jù)查詢和操作可以通過(guò)給定特定標(biāo)準(zhǔn)的列或行進(jìn)行。

3.3 數(shù)據(jù)庫(kù)管理系統(tǒng)

數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）是一組用作數(shù)據(jù)庫(kù)與應(yīng)用程序之間接口的程序。DBMS根據(jù)它們支持的數(shù)據(jù)庫(kù)模型的類型進(jìn)行分類，例如，關(guān)系DBMS將遵循關(guān)系模型，DBMS的功能包括數(shù)據(jù)存儲(chǔ)和檢索、數(shù)據(jù)庫(kù)修改、數(shù)據(jù)操作和報(bào)告生成[3]。

數(shù)據(jù)定義語(yǔ)言（DDL）是一組指令和命令，用于定義和描述特定數(shù)據(jù)庫(kù)中的數(shù)據(jù)和數(shù)據(jù)關(guān)系。文件描述、區(qū)域描述、記錄描述和設(shè)置描述是DDL定義和使用的術(shù)語(yǔ)。

數(shù)據(jù)字典對(duì)數(shù)據(jù)庫(kù)管理也很重要，這是數(shù)據(jù)庫(kù)中結(jié)構(gòu)和預(yù)期內(nèi)容的詳細(xì)描述。例如，數(shù)據(jù)字典可能會(huì)指定每種類型字段中允許的最大字符數(shù)，以及字段內(nèi)容是否可以包含數(shù)字、字母或特殊格式的內(nèi)容（如日期或貨幣）。數(shù)據(jù)字典用于提供術(shù)語(yǔ)和數(shù)據(jù)元素的標(biāo)準(zhǔn)定義，幫助程序員設(shè)計(jì)和編寫程序，簡(jiǎn)化數(shù)據(jù)庫(kù)修改，減少數(shù)據(jù)冗余，提高數(shù)據(jù)可靠性并減少程序開(kāi)發(fā)時(shí)間。

典型的DBMS的選擇通常是幾個(gè)考慮因素的函數(shù)。經(jīng)濟(jì)成本考慮因素包括軟件購(gòu)置成本、維護(hù)成本、硬件購(gòu)置成本、數(shù)據(jù)庫(kù)創(chuàng)建和轉(zhuǎn)換成本、人員成本、培訓(xùn)成本和運(yùn)營(yíng)成本。大多數(shù)DBMS供應(yīng)商正在將他們的產(chǎn)品與文本編輯器和瀏覽器、報(bào)告生成器、列表實(shí)用程序、通信軟件、數(shù)據(jù)輸入和顯示功能以及圖形設(shè)計(jì)工具相結(jié)合，因此，尋找整個(gè)設(shè)計(jì)系統(tǒng)的人有很多選擇。

3.4 數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)涉及從主計(jì)算機(jī)獲取數(shù)據(jù)進(jìn)行分析，而不會(huì)減慢主計(jì)算機(jī)的速度。以這種方式，數(shù)據(jù)被存儲(chǔ)在另一個(gè)數(shù)據(jù)庫(kù)中，用于分析趨勢(shì)和新的關(guān)系，因此，數(shù)據(jù)倉(cāng)庫(kù)不是實(shí)時(shí)的活動(dòng)的系統(tǒng)，而是每天或每周更新一次。