工程數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)探討

錢(qián)立國(guó)（安徽建筑大學(xué)數(shù)理學(xué)院，安徽 合肥 230011）

1 概述

數(shù)據(jù)是信息的載體，是知識(shí)的載體。廣義上說(shuō)，一切可以用文字或符號(hào)記錄下來(lái)的東西，都可以叫數(shù)據(jù)，所以數(shù)據(jù)包括文檔、圖形、符號(hào)、視頻、圖片、數(shù)值。將人的活動(dòng)記錄下來(lái)，就是數(shù)據(jù)本身，就是最原始的數(shù)據(jù)。但從狹義上說(shuō)，數(shù)據(jù)就是數(shù)據(jù)值，我們通常研究的數(shù)據(jù)就是數(shù)值。但是，在計(jì)算機(jī)和網(wǎng)絡(luò)應(yīng)用成熟起來(lái)后，我們的數(shù)據(jù)也包括文檔、視頻、圖片。

當(dāng)用計(jì)算機(jī)來(lái)處理數(shù)據(jù)的時(shí)候，數(shù)據(jù)就需要存儲(chǔ)和管理了。早期的數(shù)據(jù)，就是用一個(gè)文件來(lái)實(shí)現(xiàn)的，即是文件系統(tǒng)。隨著處理的數(shù)據(jù)量增大，發(fā)展到用數(shù)據(jù)庫(kù)來(lái)管理和存儲(chǔ)數(shù)據(jù)了。

數(shù)據(jù)庫(kù)包括多媒體數(shù)據(jù)庫(kù)、對(duì)象關(guān)系數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)。關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)，已經(jīng)成為了事實(shí)上通用的數(shù)據(jù)庫(kù)系統(tǒng)，因?yàn)樗躁P(guān)系表格式存儲(chǔ)數(shù)據(jù)，并以簡(jiǎn)單明了的SQL標(biāo)準(zhǔn)的格式對(duì)數(shù)據(jù)進(jìn)行存取。

隨著數(shù)據(jù)量的增多，人們開(kāi)始尋找各種數(shù)據(jù)之間的關(guān)系，研究面向某一主題的數(shù)據(jù)，于是數(shù)據(jù)倉(cāng)庫(kù)問(wèn)世了。數(shù)據(jù)倉(cāng)庫(kù)是歷史的、主題的、集成的大量數(shù)據(jù)，以多維的角度分層次分析數(shù)據(jù)之間的關(guān)系，提供數(shù)據(jù)挖掘功能，尋找數(shù)據(jù)間的知識(shí)，為決策支持提供服務(wù)。

但互聯(lián)網(wǎng)的發(fā)展，使得數(shù)據(jù)的生產(chǎn)成幾何級(jí)數(shù)增長(zhǎng)，不管以數(shù)據(jù)庫(kù)還是數(shù)據(jù)倉(cāng)庫(kù)，都無(wú)法囊括如此海量數(shù)據(jù)時(shí)，大數(shù)據(jù)應(yīng)運(yùn)而生。大數(shù)據(jù)和云服務(wù)，是孿生兄弟。大數(shù)據(jù)，就是分布式數(shù)據(jù)庫(kù)系統(tǒng)，但此時(shí)的各個(gè)點(diǎn)上的數(shù)據(jù)，不再局限于數(shù)據(jù)庫(kù)系統(tǒng)，而是包括文件系數(shù)據(jù)庫(kù)系統(tǒng)等各種方式存儲(chǔ)的數(shù)據(jù)。就是說(shuō)，將數(shù)據(jù)分散在互聯(lián)網(wǎng)中無(wú)限個(gè)點(diǎn)，并且實(shí)現(xiàn)分布式處理，而獲得處理結(jié)果。云服務(wù)，可以為這種分布式文件系統(tǒng)提供落地的服務(wù)設(shè)施。本文分別介紹各種數(shù)據(jù)系統(tǒng)。

2 數(shù)據(jù)庫(kù)系統(tǒng)

數(shù)據(jù)庫(kù)是按照一定的數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的系統(tǒng)。數(shù)據(jù)庫(kù)管理系統(tǒng)多種管理類(lèi)型，包括多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)、對(duì)象數(shù)據(jù)庫(kù)管理系統(tǒng)、關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)等。數(shù)據(jù)庫(kù)按存儲(chǔ)數(shù)據(jù)的時(shí)效性，可分為實(shí)時(shí)數(shù)據(jù)庫(kù)管理系統(tǒng)、內(nèi)存數(shù)據(jù)庫(kù)管理系統(tǒng)、持久化的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)。

本節(jié)主要介紹關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，這是最普通最常用的數(shù)據(jù)庫(kù)管理系統(tǒng)，也是市場(chǎng)上成熟產(chǎn)品最多的數(shù)據(jù)庫(kù)管理系統(tǒng)。

2.1 數(shù)據(jù)庫(kù)系統(tǒng)構(gòu)成

2.1.1 數(shù)據(jù)

數(shù)據(jù)是描述事物的符號(hào)記錄，這是對(duì)事物的抽象。抽象的結(jié)果，是形式，但不能完整地表達(dá)數(shù)據(jù)的意義。這時(shí)必須要對(duì)數(shù)據(jù)進(jìn)行解釋?zhuān)凑Z(yǔ)義。而數(shù)據(jù)庫(kù)中存儲(chǔ)的就是這種抽象形式的記錄。如，張三、1992、安徽省、計(jì)算機(jī)系。這是一條記錄，是存儲(chǔ)在數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)，但需要語(yǔ)義的解釋?zhuān)矗簭埲?992年出生，籍貫為安徽省，在計(jì)算機(jī)系。

2.1.2 數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)是存放數(shù)據(jù)的倉(cāng)庫(kù)。這個(gè)倉(cāng)庫(kù)是通過(guò)計(jì)算機(jī)系統(tǒng)來(lái)管理并存儲(chǔ)的。而且這些數(shù)據(jù)，是有一定格式的。數(shù)據(jù)庫(kù)中的數(shù)據(jù)按一定的數(shù)據(jù)模型組織、描述和存儲(chǔ)。在關(guān)系數(shù)據(jù)庫(kù)中，數(shù)據(jù)是按二維表的形式組織和存儲(chǔ)，按一定的模型，將數(shù)據(jù)組織在不同的二維表中。

2.1.3 數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）

數(shù)據(jù)庫(kù)管理系統(tǒng)，是對(duì)數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)定義（DDL）、數(shù)據(jù)操縱（DML）、數(shù)據(jù)庫(kù)的運(yùn)行管理、數(shù)據(jù)庫(kù)的建立和維護(hù)等一系列管理與維護(hù)的系統(tǒng)，是建立在操作系統(tǒng)之上，由用戶(hù)或應(yīng)用程序使用。

2.1.4 數(shù)據(jù)庫(kù)系統(tǒng)（DBS）

數(shù)據(jù)庫(kù)系統(tǒng)，包括數(shù)據(jù)庫(kù)DB、數(shù)據(jù)庫(kù)管理系統(tǒng)DBMS、應(yīng)用程序AP、數(shù)據(jù)庫(kù)管理員DBA、和用戶(hù)USERS。通常說(shuō)的數(shù)據(jù)庫(kù)，就是指數(shù)據(jù)庫(kù)系統(tǒng)。企業(yè)級(jí)的數(shù)據(jù)庫(kù)系統(tǒng)，必須包括這些內(nèi)容，才有現(xiàn)實(shí)的意義。

2.2 關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ)模型

2.2.1 模型要求

數(shù)據(jù)庫(kù)的模型，要求真實(shí)地反應(yīng)現(xiàn)實(shí)世界，即是對(duì)現(xiàn)實(shí)世界的抽象；也要求容易理解與溝通，這就是誰(shuí)都能看的懂模型；最后，模型還要求計(jì)算機(jī)容易實(shí)現(xiàn)，即計(jì)算機(jī)也能看的懂。這些目前是理想的要求，在實(shí)際的抽象中，可能不能同時(shí)滿(mǎn)足這三個(gè)要求，但我們?cè)诔橄髸r(shí)，可能用不同的模型來(lái)描述。

2.2.2 模型層次及分類(lèi)

按照不同的要求，模型分為不同的層次，即概念模型和數(shù)據(jù)模型。

概念模型是對(duì)現(xiàn)實(shí)世界的抽象，站在用戶(hù)的角度看待數(shù)據(jù)和信息，一般用E-R圖表示，即實(shí)體關(guān)系圖，它包括實(shí)體、屬性、聯(lián)系。概念模型用于表示信息世界，是從現(xiàn)實(shí)世界到信息世界的抽象。

數(shù)據(jù)模型包括網(wǎng)狀模型、層次模型、關(guān)系模型。這里介紹關(guān)系模型。

關(guān)系模型包括數(shù)據(jù)結(jié)構(gòu)、關(guān)系數(shù)據(jù)模型操縱、完整性約束、存儲(chǔ)結(jié)構(gòu)。這些內(nèi)容是從數(shù)據(jù)存儲(chǔ)在計(jì)算機(jī)系統(tǒng)中的存儲(chǔ)組織形式描述的。數(shù)據(jù)結(jié)構(gòu)包括關(guān)系表、元組、屬性、主碼、域、分量、關(guān)系模式。關(guān)系數(shù)據(jù)模型操縱包括查詢(xún)、插入、刪除、修改。完整性約束包括實(shí)體完整性、參照完整性、用戶(hù)自定義完整性。存儲(chǔ)結(jié)構(gòu)為表。存儲(chǔ)結(jié)構(gòu)為表。

2.3 關(guān)系數(shù)據(jù)庫(kù)查詢(xún)語(yǔ)言

2.3.1 SQL標(biāo)準(zhǔn)及其特點(diǎn)

美國(guó)國(guó)家標(biāo)準(zhǔn)學(xué)會(huì)（American National Standards Institute,ANSI）負(fù)責(zé)維護(hù)SQL的標(biāo)準(zhǔn)?，F(xiàn)在，SQL標(biāo)準(zhǔn)由ANSI和國(guó)際標(biāo)準(zhǔn)化組織（International Standards Organization,ISO）作為ISO/IEC 9075標(biāo)準(zhǔn)維護(hù)。

ANSI到目前為止發(fā)布的SQL的標(biāo)準(zhǔn)有：ANSISQL-86、ANSISQL-89、ANSISQL-92、ANSISQL-99、ANSISQL-2008。

SQL的特點(diǎn)是以單一的表為操作對(duì)象、一體化解決DD/DM/DC、高度非過(guò)程化、同一種語(yǔ)法，兩種使用，即自主和嵌入，簡(jiǎn)單，易用。

2.3.2 數(shù)據(jù)查詢(xún)/定義/操縱/控制功能

數(shù)據(jù)定義包括創(chuàng)建、修改和刪除表、視圖和索引。如表1所示。創(chuàng)建使用CREATE關(guān)鍵字，分別創(chuàng)建表、視圖和索引。刪除使用DROP關(guān)鍵字，修改使用ALTER關(guān)鍵字。修改只能修改表，不能修改視圖和索引。視圖是虛擬的表，僅僅是定義。索引是表中記錄的查詢(xún)的快捷方式。

數(shù)據(jù)定義操作 表1

2.3.3 數(shù)據(jù)查詢(xún)

數(shù)據(jù)查詢(xún)是用SQL語(yǔ)言對(duì)數(shù)據(jù)庫(kù)表進(jìn)行查詢(xún)。查詢(xún)使用SELECT關(guān)鍵字，由SELECT語(yǔ)句。SELECT語(yǔ)句的格式如下：

SELECT[ALL|DISTINCT]<目標(biāo)列表達(dá)式>

[，<目標(biāo)列表達(dá)式>]…

FROM<表名或視圖名>[，<表名或視圖名>]…

[WHERE<條件表達(dá)式>]

[GROUPBY<列名1>[HAVING<條件表達(dá)式>]]

[ORDERBY< 列名 2>[ASC|DESC]]；

單表查詢(xún)是對(duì)一單獨(dú)的一個(gè)表進(jìn)行查詢(xún)，可以查詢(xún)表中幾列或幾個(gè)元組，還可以對(duì)查詢(xún)的結(jié)果進(jìn)行分組和排序。查詢(xún)可以有查詢(xún)條件，如表2所示。

查詢(xún)條件 表2

連接查詢(xún)就是對(duì)2個(gè)及2個(gè)以上的表進(jìn)行組合查詢(xún)，查詢(xún)的過(guò)程中，需要將多個(gè)表連接在一起。連接的種類(lèi)豐富，包括如下幾種。等值與非等值查詢(xún)使用邏輯操作符=、>、<、>=、<=、!=實(shí)現(xiàn)，自身連接是表自己和自己進(jìn)行連接，外連接包括左外連接、右外連接、全連接，復(fù)合條件查詢(xún)包括嵌套查詢(xún)、集合查詢(xún)、復(fù)雜查詢(xún)。

2.4 數(shù)據(jù)庫(kù)的當(dāng)前發(fā)展

數(shù)據(jù)庫(kù)系統(tǒng)目前發(fā)展非?；钴S，出現(xiàn)了各種使用環(huán)境的數(shù)據(jù)庫(kù)系統(tǒng)。

面向?qū)ο蟮臄?shù)據(jù)庫(kù)系統(tǒng)不再以關(guān)系表建模，而是以對(duì)象建模，存儲(chǔ)和使用的邏輯單元是對(duì)旬，是以面向?qū)ο蟮臄?shù)據(jù)模型為基礎(chǔ)。分布式數(shù)據(jù)庫(kù)系統(tǒng)是物理上分布在網(wǎng)絡(luò)中，但邏輯上是一個(gè)整體，當(dāng)前的大數(shù)據(jù)系統(tǒng)，就是分布式的數(shù)據(jù)系統(tǒng)，但主要以文件存儲(chǔ)為主。并行數(shù)據(jù)庫(kù)系統(tǒng)在并行機(jī)上運(yùn)行，且并行處理。Web數(shù)據(jù)庫(kù)系統(tǒng)更是一種以訪(fǎng)問(wèn)形式來(lái)定義的，其內(nèi)部的數(shù)據(jù)庫(kù)系統(tǒng)，可以是傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)。

多媒體數(shù)據(jù)庫(kù)系統(tǒng)是將多媒體引入數(shù)據(jù)庫(kù)系統(tǒng)，對(duì)存儲(chǔ)、管理、使用和表現(xiàn)，進(jìn)行重新設(shè)計(jì)和組織，并提供用戶(hù)方便使用。

2.5 數(shù)據(jù)庫(kù)產(chǎn)品

關(guān)系數(shù)據(jù)管理系統(tǒng)，目前非常成熟，有商業(yè)產(chǎn)品的很多，如Oracle、DB 2、MSSQL Server、Sybase、MySQL、PostgreSQL 等等。國(guó)產(chǎn)的數(shù)據(jù)庫(kù)有人大金倉(cāng)的Kingbase、武漢達(dá)夢(mèng)的DM數(shù)據(jù)庫(kù)、東大阿爾派的數(shù)據(jù)庫(kù)管理系統(tǒng)等。

除了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)外，實(shí)時(shí)數(shù)據(jù)庫(kù)管理系統(tǒng)、內(nèi)存數(shù)據(jù)庫(kù)管理系統(tǒng)產(chǎn)品也比較多。

3 數(shù)據(jù)倉(cāng)庫(kù)與OLAP分析

3.1 數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)

3.1.1 數(shù)據(jù)庫(kù)特征

數(shù)據(jù)庫(kù)的數(shù)據(jù)是操作性的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)庫(kù)用于事務(wù)處理，即聯(lián)機(jī)事務(wù)處理系統(tǒng)OLTP，數(shù)據(jù)庫(kù)的數(shù)據(jù)是描述實(shí)體、實(shí)體聯(lián)系、概念。

3.1.2 數(shù)據(jù)倉(cāng)庫(kù)特征

數(shù)據(jù)倉(cāng)庫(kù)用于聯(lián)機(jī)分析處理，即OLAP，為用戶(hù)提供決策支持，即決策支持系統(tǒng)DSS，最常見(jiàn)的應(yīng)用是商業(yè)智能BI。

數(shù)據(jù)倉(cāng)庫(kù)是面向主題的，以數(shù)據(jù)立方體Cube為模型基礎(chǔ)。數(shù)據(jù)Cube是抽象概念，是用戶(hù)關(guān)心點(diǎn)的主題，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。

數(shù)據(jù)倉(cāng)庫(kù)也是集成的、歷史的，反映歷史變化的。

3.2 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型

3.2.1 維度模型

數(shù)據(jù)倉(cāng)庫(kù)的基本模型是數(shù)據(jù)立方體，面向的是主題的、綜合的業(yè)務(wù)領(lǐng)域，如分析銷(xiāo)售這一主題。數(shù)據(jù)立方體的模型，決定了數(shù)據(jù)倉(cāng)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)完全不一樣的建模方式，因?yàn)殛P(guān)系數(shù)據(jù)庫(kù)是以表為基礎(chǔ)，是二維的平面的模型。

但在實(shí)際上，通常用關(guān)系表來(lái)表達(dá)數(shù)據(jù)立方體，這就出來(lái)了如何用二維表來(lái)表達(dá)多維的數(shù)據(jù)立方體。

3.2.2 維表

維，就是分析分析問(wèn)題的角度，也是度量數(shù)據(jù)有實(shí)際意義的所在。比如，我們說(shuō)銷(xiāo)售額500萬(wàn)元，誰(shuí)能明白？當(dāng)我們說(shuō)某公司某品牌某型號(hào)的產(chǎn)品，2015年1月在某地方的銷(xiāo)售額500萬(wàn)元時(shí)，才會(huì)實(shí)際上的意義。那這里的產(chǎn)品、時(shí)間和地區(qū)，就是3個(gè)角度，也就是3個(gè)維度。我們可以用3張二維表來(lái)存儲(chǔ)這樣的信息，就是維表。

在維里，我們可以看到，維是分層次的，如2015年1月，兩個(gè)層次，年和月。我們可以有月的數(shù)據(jù)，然后可以向年聚合，同時(shí)，有年的數(shù)據(jù)，可以向月下鉆。這就是多維分析中的上鉆和下鉆的功能。

維度表里可以存儲(chǔ)其它不構(gòu)成層次的屬性，也可以關(guān)聯(lián)其它的維度。維度中的層次，根據(jù)業(yè)務(wù)需要可以有多個(gè)。

3.2.3 事實(shí)表

數(shù)據(jù)倉(cāng)庫(kù)研究的是主題數(shù)據(jù)，是面向主題的，這就是度量，也就是一個(gè)或多個(gè)同一主題下的數(shù)據(jù)值，如上述的銷(xiāo)售額。這個(gè)銷(xiāo)售額就是度量，就是主題數(shù)據(jù)。存儲(chǔ)這個(gè)度量的表，就叫事實(shí)表。

事實(shí)表是數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)中的中央表，它不僅存儲(chǔ)聯(lián)系事實(shí)與維度表的數(shù)字度量值，更重要的還存儲(chǔ)著鍵，這鍵就是事實(shí)表與維表之前的外鍵關(guān)聯(lián)關(guān)系。

3.2.4 模型結(jié)構(gòu)

事實(shí)表和維度表之間的存儲(chǔ)結(jié)構(gòu)，根據(jù)業(yè)務(wù)模型簡(jiǎn)單和復(fù)雜性，以及建模的需要，可以分為星型結(jié)構(gòu)、雪花型結(jié)構(gòu)。

3.2.5 星形結(jié)構(gòu)

維度表利用維度關(guān)鍵字通過(guò)事實(shí)表中的外鍵約束于事實(shí)表中的某一行，實(shí)現(xiàn)與事實(shí)表的關(guān)聯(lián)。這種結(jié)構(gòu)就使得用戶(hù)能夠很容易的從維度表中的數(shù)據(jù)分析開(kāi)始，獲得維度的關(guān)鍵字，以便連接到中心的事實(shí)表，進(jìn)行查詢(xún)，這樣就減少了在事實(shí)表中掃描的數(shù)據(jù)量，以提高查詢(xún)性能。這是數(shù)據(jù)倉(cāng)庫(kù)模型的最簡(jiǎn)單的形式。

3.2.6 雪花型結(jié)構(gòu)

維度表除了具有星形模式中的維度表的功能之外，還連接對(duì)事實(shí)表進(jìn)行詳細(xì)描述的詳細(xì)類(lèi)別表，詳細(xì)類(lèi)別表通過(guò)對(duì)事實(shí)表在有關(guān)維度上的詳細(xì)描述達(dá)到了縮小事實(shí)表和提高查詢(xún)的目的。這是在星形模型基礎(chǔ)上更加復(fù)雜的形式。

3.2.7 數(shù)據(jù)粒度

在數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)存儲(chǔ)在事實(shí)表中，事實(shí)表中的數(shù)據(jù)通過(guò)外鍵關(guān)聯(lián)到維度表。但這個(gè)關(guān)聯(lián)，決定著數(shù)據(jù)的粒度。如2015年1月的銷(xiāo)售額。那這里的必須關(guān)聯(lián)到1月，而不是2015年。這里的1月就是數(shù)據(jù)的最小粒度，多維分析時(shí)，這是下鉆的最底層了。最小粒度存儲(chǔ)的是真正的實(shí)際的數(shù)據(jù)，其它粒度的數(shù)據(jù)，都是通過(guò)最小粒度的數(shù)據(jù)按一定的聚合規(guī)則進(jìn)行聚合后的數(shù)據(jù)，并不實(shí)際存儲(chǔ)。

3.3 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市

數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集，他面向部門(mén)級(jí)業(yè)務(wù)，并且只面向某個(gè)特定的主題。為了解決靈活性與性能之間的矛盾，數(shù)據(jù)集市就是數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中增加的一種小型的部門(mén)或工作組級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)集市存儲(chǔ)為特定用戶(hù)預(yù)先計(jì)算好的數(shù)據(jù)，從而滿(mǎn)足用戶(hù)對(duì)性能的需求。數(shù)據(jù)集市可以在一定程度上緩解訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。

3.4 OLAP分析

OLAP分析，是聯(lián)機(jī)分析處理，相應(yīng)于關(guān)系數(shù)據(jù)庫(kù)的事務(wù)處理OLTP。OLAP是面向主題的分析，而OLTP是面向業(yè)務(wù)的日常事務(wù)的數(shù)據(jù)處理。OLAP的目標(biāo)是分析，而OLTP的目標(biāo)是日常事務(wù)。OLAP分析的架構(gòu)如圖3所示。

OLAP分析是基于數(shù)據(jù)立方體，即多維模型。其分析方法有以下幾種。

3.4.1 數(shù)據(jù)切片（Slicing）

固定一個(gè)維的層次上的值，也就是固定該維的操作粒度，這樣就可以對(duì)維中特定的值進(jìn)行分析，如只選擇電子產(chǎn)品的銷(xiāo)售數(shù)據(jù)，或者2010年第二季度的數(shù)據(jù)。

3.4.2 數(shù)據(jù)切塊（Dicing）

固定一個(gè)維的層次上的一個(gè)區(qū)間范圍，在該區(qū)間的數(shù)據(jù)或者某批特定值進(jìn)行分析，比如選擇2010年第一季度到2010年第二季度的銷(xiāo)售數(shù)據(jù)，或者是某產(chǎn)品的銷(xiāo)售數(shù)據(jù)。

3.4.3 鉆取

數(shù)據(jù)下鉆（Drilling-down），維是有層次的，最小層次的數(shù)據(jù)粒度最小，其它層次的數(shù)據(jù)都是從最小層次聚合生成的，所以從上層往下查看更細(xì)節(jié)的數(shù)據(jù)，這就是下鉆。比如通過(guò)對(duì)2010年第二季度的總銷(xiāo)售數(shù)據(jù)進(jìn)行鉆取來(lái)查看2010年第二季度4、5、6 每個(gè)月的消費(fèi)數(shù)據(jù)。

即數(shù)據(jù)上鉆（Drilling-up）或數(shù)據(jù)上卷（Rolling-up），鉆取的逆操作，如果從最小層向上層進(jìn)行聚合，獲取更粗粒度的數(shù)據(jù)，這就是上鉆或上卷。上鉆和下鉆正好相反。

3.4.4 數(shù)據(jù)旋轉(zhuǎn)（Pivoting/Rotating）

在多維分析時(shí)，各個(gè)維度所處的位置不同，對(duì)維的位置互換，就像是二維表的行列轉(zhuǎn)換，這就是旋轉(zhuǎn)。

4 大數(shù)據(jù)

4.1 大數(shù)據(jù)概念

大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)強(qiáng)調(diào)的是處理，強(qiáng)調(diào)的數(shù)據(jù)量多、來(lái)源復(fù)雜、增長(zhǎng)快。

在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》[2]中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）。

4.2 大數(shù)據(jù)分析

大數(shù)據(jù)的分析，最終都需要可視化展現(xiàn)。但展現(xiàn)的是什么數(shù)據(jù)、知識(shí)或信息？這些知識(shí)和信息是怎么來(lái)的，如果僅僅是獲取的數(shù)據(jù)的展現(xiàn)，那是沒(méi)有意義的，更何況是不現(xiàn)實(shí)的，因?yàn)榇髷?shù)據(jù)量是TB級(jí)的，無(wú)法正常展現(xiàn)。

研究和應(yīng)用大數(shù)據(jù)，都是為了數(shù)據(jù)的分析。分析海量分布在各地的大數(shù)據(jù)之間潛在的邏輯關(guān)系，預(yù)測(cè)未來(lái)的趨勢(shì)，也就是潛在的知識(shí)和信息。所以，對(duì)大數(shù)據(jù)的分析，根本上是對(duì)數(shù)據(jù)的數(shù)據(jù)挖掘，再次是抽取、聚合和分類(lèi)。這也是大數(shù)據(jù)技術(shù)所在。

傳統(tǒng)的應(yīng)用統(tǒng)計(jì)的統(tǒng)計(jì)方法是非常成熟的，被廣泛應(yīng)用于大數(shù)據(jù)的數(shù)據(jù)挖掘分析。大數(shù)據(jù)的分析，基于海量高質(zhì)量的數(shù)據(jù)，同時(shí)，依賴(lài)于分布式處理，將處理分散化后，處理的容量就可以無(wú)限增大。

4.3 大數(shù)據(jù)技術(shù)

4.3.1 數(shù)據(jù)采集

數(shù)據(jù)要集的工具ETL，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

傳統(tǒng)的ETL是針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的，為數(shù)據(jù)倉(cāng)庫(kù)抽取數(shù)據(jù)。但大數(shù)據(jù)出現(xiàn)后，將ETL進(jìn)行擴(kuò)展，所有采集數(shù)據(jù)的功能都叫ETL。大數(shù)據(jù)的ETL就是從分布式的海量的數(shù)據(jù)中運(yùn)用各種算法，采集和抽取到應(yīng)用分析所需要的知識(shí)和信息。

數(shù)據(jù)存?。翰杉降臄?shù)據(jù)，一般用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)，也可以用基于NOSQL的非關(guān)系型數(shù)據(jù)庫(kù)，還可以用數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)。根據(jù)分析的業(yè)務(wù)需要，選擇合適的存儲(chǔ)方式。

4.3.2 基礎(chǔ)架構(gòu)

大數(shù)據(jù)與虛擬化服務(wù)是分不開(kāi)的，既然是分布式，那沒(méi)有誰(shuí)知道，大數(shù)據(jù)體系中的其它地方的數(shù)據(jù)是如何存儲(chǔ)，如何提供服務(wù)。這一切，都是依賴(lài)虛擬化服務(wù)提供統(tǒng)一的接口和服務(wù)。所以大數(shù)據(jù)的基礎(chǔ)架構(gòu)為云存儲(chǔ)、分布式文件存儲(chǔ)等。

4.3.3 數(shù)據(jù)處理

數(shù)據(jù)處理，是大數(shù)據(jù)的核所在。從嚴(yán)格意義上來(lái)講，大數(shù)據(jù)是沒(méi)有數(shù)據(jù)的，它的強(qiáng)大在于它的大數(shù)據(jù)處理平臺(tái)。正因?yàn)榇髷?shù)據(jù)是沒(méi)有數(shù)據(jù)的，所以它就可以包容一切地方的一切數(shù)據(jù)，能如此包容的，就是這個(gè)數(shù)據(jù)處理平臺(tái)了。所以大數(shù)據(jù)采用的是分布式并行處理模式，采用的處理算法，豐富多樣，包括自然語(yǔ)言處理方法、統(tǒng)計(jì)分析方法等。

4.3.4 統(tǒng)計(jì)分析

運(yùn)用于大數(shù)據(jù)的統(tǒng)計(jì)分析技術(shù)有：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、T檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線(xiàn)估計(jì)、因子分析、聚類(lèi)分析、主成分分析、因子分析、快速聚類(lèi)法與聚類(lèi)法、判別分析、對(duì)應(yīng)分析、多元對(duì)應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。

4.3.5 數(shù)據(jù)挖掘

獲取大數(shù)據(jù)中潛在的知識(shí)和信息，就需要運(yùn)用數(shù)據(jù)挖掘技術(shù)了。數(shù)據(jù)挖掘技術(shù)包括分類(lèi)（Classification）、估計(jì)（Estimation）、預(yù)測(cè)（Prediction）、相關(guān)性分組或關(guān)聯(lián)規(guī)則（Affinity grouping or association rules）、聚類(lèi)（Clustering）、描述和可視化、Description and Visualization）、復(fù)雜數(shù)據(jù)類(lèi)型挖掘(Text,Web,圖形圖像，視頻，音頻等)。

4.3.6 模型預(yù)測(cè)

大數(shù)據(jù)的模型有預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真，基于這些模型，可以獲取需要的知識(shí)。

4.3.7 結(jié)果呈現(xiàn)

云計(jì)算、標(biāo)簽云、關(guān)系圖等。

4.4 大數(shù)據(jù)產(chǎn)品

近年來(lái)，傳統(tǒng)的數(shù)據(jù)廠(chǎng)商，都不同程度地冠上大數(shù)據(jù)的標(biāo)簽，但有些廠(chǎng)商也開(kāi)發(fā)相應(yīng)有使用意義的大數(shù)據(jù)廠(chǎng)品。如Teradata、IBM、Oracle、SAP 等。

下面介紹流行的兩款大數(shù)據(jù)產(chǎn)品：

①Hadoop

Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop的核心是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)進(jìn)行存儲(chǔ)管理，使得使用者不需要了解底層的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和存儲(chǔ)地方。MapReduce為海量的數(shù)據(jù)提供了處理，此處理是分布式的、并行的。

Hadoop還包括數(shù)據(jù)倉(cāng)庫(kù)工具Hive和分布式數(shù)據(jù)庫(kù)Hbase。

②Spark

是UCBerkeley AMP lab所開(kāi)發(fā)的類(lèi)Hadoop MapReduce的通用并行框架，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是，支持內(nèi)存分布數(shù)據(jù)集，這就提高了由于需要頻繁讀寫(xiě)HDFS而降低的性能。

Spark是以Scala語(yǔ)言為最佳實(shí)現(xiàn)環(huán)境，當(dāng)然java可以實(shí)現(xiàn)，實(shí)際上scala就是基于java的。與Hadoop不同，Spark和Scala無(wú)縫集成，Scala可以像操作本地集合對(duì)象一樣輕松地操作分布式數(shù)據(jù)集。

Spark以?xún)?nèi)存管理系統(tǒng)支持分布式數(shù)據(jù)集上的迭代作業(yè)，但是實(shí)際上它是對(duì)Hadoop的補(bǔ)充，可以在Hadoo文件系統(tǒng)中并行運(yùn)行。通過(guò)名為Mesos的第三方集群框架可以支持此行為。

5 結(jié) 語(yǔ)

隨著互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)+的大規(guī)劃應(yīng)用，工程數(shù)據(jù)量以幾何級(jí)數(shù)增長(zhǎng)，如何處理這些大量的結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，顯得越來(lái)越重要。工程數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)，是互補(bǔ)的，誰(shuí)也替代不了誰(shuí)，他們將會(huì)協(xié)同發(fā)展，相互協(xié)作為應(yīng)用服務(wù)。

數(shù)據(jù)庫(kù)存儲(chǔ)的是事務(wù)型的日常處理的數(shù)據(jù)，解決工程施工、設(shè)計(jì)、咨詢(xún)等各方面的需要。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的分析，為人們提供決策支持需要。大數(shù)據(jù)，是海量數(shù)據(jù)的采取、抽取、統(tǒng)計(jì)、分析等等，最后形成可以使用的數(shù)據(jù)。