數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行監(jiān)視及性能優(yōu)化研究

摘要：數(shù)據(jù)倉(cāng)庫(kù)的初始建立只是數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的開(kāi)始，其后的更新維護(hù)和優(yōu)化需要投入大量的工作。數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行過(guò)程中需要監(jiān)視系統(tǒng)的運(yùn)行狀態(tài)，需要對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行維護(hù)和優(yōu)化。本文對(duì)數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行監(jiān)視及性能優(yōu)化進(jìn)行了研究。

關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)；運(yùn)行監(jiān)視；性能優(yōu)化

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9599 (2012) 07-0000-02

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)在規(guī)劃、設(shè)計(jì)完成之后，要將數(shù)據(jù)倉(cāng)庫(kù)投入運(yùn)行，為上層的決策提供數(shù)據(jù)，即將開(kāi)發(fā)好的數(shù)據(jù)倉(cāng)庫(kù)的各個(gè)組件的運(yùn)行系統(tǒng)組裝起來(lái)，從數(shù)據(jù)源將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中，然后在其上開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。

一、數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行監(jiān)視

數(shù)據(jù)倉(cāng)庫(kù)，尤其是大型的數(shù)據(jù)倉(cāng)庫(kù)，是一個(gè)龐大復(fù)雜的系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)管理員(DWA)在管理過(guò)程中經(jīng)常會(huì)感到很困惑，很難跟蹤到整個(gè)系統(tǒng)的各個(gè)方面。DWA急需一個(gè)穩(wěn)定可靠的跟蹤系統(tǒng)，使其能夠很方便地跟蹤、監(jiān)控整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的運(yùn)行情況。同時(shí)，系統(tǒng)應(yīng)該結(jié)合電子郵件和網(wǎng)站，使之成為一個(gè)集成的環(huán)境。DWA應(yīng)該關(guān)心數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)各方面的特性，這通常可以通過(guò)觀察它的ETL過(guò)程來(lái)確定。下面是一些DWA可能關(guān)心的跟蹤節(jié)點(diǎn)，由于實(shí)際情況的差異，這些節(jié)點(diǎn)可以根據(jù)實(shí)際情況進(jìn)行增刪。

（一）日志文件

ETL和其他一些應(yīng)用程序是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)，通常它們被用來(lái)組織成批作業(yè)，在夜間相對(duì)空聞時(shí)運(yùn)行。ETL日志文件反映了程序的運(yùn)行狀況，判別程序是否出錯(cuò)可以通過(guò)特別的字符串來(lái)進(jìn)行，或者可以通過(guò)查找某些關(guān)鍵字/詞來(lái)發(fā)現(xiàn)。例如，根據(jù)經(jīng)驗(yàn)，SAS ETL程序中有兩類錯(cuò)誤被認(rèn)為是嚴(yán)重的錯(cuò)誤，必須加以重視，它們是“…Because of errors”和“…was stopped”。因此可以通過(guò)讀取和分析日志文件發(fā)現(xiàn)其中的問(wèn)題。

（二）ETL數(shù)據(jù)

買際上從ETL日志文件中還可以得到ETL抽取源數(shù)據(jù)的一些指標(biāo)，如響應(yīng)時(shí)間和數(shù)據(jù)量。DWA可以通過(guò)跟蹤下載字節(jié)數(shù)和抽取速度來(lái)了解ETL的性版并以此作為作業(yè)編排和數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)充的依據(jù)。

（三）應(yīng)用服務(wù)器監(jiān)視

在數(shù)據(jù)倉(cāng)庫(kù)中會(huì)用到一些應(yīng)用服務(wù)器，如SAS/Share服務(wù)器、SAS/Internet服務(wù)器等，它們?cè)谙到y(tǒng)啟動(dòng)時(shí)就自動(dòng)啟動(dòng)了，但有時(shí)它們也會(huì)由于某些原因而停止運(yùn)行。在Unix系統(tǒng)中，通過(guò)檢查系統(tǒng)的進(jìn)程，可以判別這些應(yīng)用服務(wù)器的活動(dòng)狀況。同時(shí)，如果需要，這些應(yīng)用服務(wù)器的日志文件也可以用做進(jìn)一步的分析。

（四）硬盤(pán)空間

DWA需要清楚地知道磁盤(pán)空間的使用情況，包括磁盤(pán)空間的空余和數(shù)據(jù)增長(zhǎng)情況。例如，在Unix系統(tǒng)中，“df-k”命令可以列出所有文件系統(tǒng)當(dāng)前的使用情況。通過(guò)定期記錄這些數(shù)據(jù)，DWA就可以分析出磁盤(pán)的使用情況，尤其是數(shù)據(jù)的增長(zhǎng)情況。

（五）其他

還有其他許多方面是DWA所關(guān)心的，如派系統(tǒng)(即操作型系統(tǒng))的狀態(tài)、用戶訪問(wèn)和權(quán)限跟蹤等。對(duì)待殊的系統(tǒng)，就必須考慮這些特別的跟蹤點(diǎn)。

跟蹤系統(tǒng)實(shí)際上是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的一個(gè)重要組成部分，是數(shù)據(jù)倉(cāng)庫(kù)管理員和系統(tǒng)維護(hù)人員進(jìn)行系統(tǒng)跟蹤與維護(hù)的有力手段之一。另外，可以利用跟蹤的結(jié)果作為數(shù)據(jù)倉(cāng)庫(kù)性能優(yōu)化和調(diào)整的依據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)的性能優(yōu)化有兩個(gè)方面的內(nèi)容：一方面是數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)處理程序的優(yōu)化；另一方面是應(yīng)用程序的性能優(yōu)化。

二、數(shù)據(jù)處理程序調(diào)度優(yōu)化

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的數(shù)據(jù)處理程序很多，包括數(shù)據(jù)管理程序(如數(shù)據(jù)抽取程序、更新程序、歸檔程序)、數(shù)據(jù)集市以及數(shù)據(jù)立方生成程序、報(bào)表生成程序等。這些程序的執(zhí)行一般是在夜間以批處理的方式進(jìn)行的，但是對(duì)于大型企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，數(shù)據(jù)處理程序非常多。如果不能在指定的時(shí)間段完成，就會(huì)影響前端分析的及時(shí)性。另外，基于數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用在不斷地增加。因而，需要合理地調(diào)度數(shù)據(jù)倉(cāng)庫(kù)中任務(wù)的執(zhí)行，提高系統(tǒng)的數(shù)據(jù)處理能力。

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)巾的任務(wù)之間具有復(fù)雜的先后關(guān)系，構(gòu)成了一張任務(wù)工作流圖，只靠數(shù)據(jù)倉(cāng)庫(kù)管理員的手工調(diào)度是不行的。因此，需要使用工作流技術(shù)管理和調(diào)度數(shù)據(jù)倉(cāng)庫(kù)中的任務(wù)。一般情況下，數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器大都采用服務(wù)器、小型機(jī)或并行機(jī)，有多個(gè)CPU。因此，可以使用多線程改多進(jìn)程技術(shù)，使得任務(wù)在多個(gè)CPU上并行執(zhí)行。這樣，需要任務(wù)調(diào)度程序按照任務(wù)間的關(guān)系，合理地分派任務(wù)在不同的CPU上運(yùn)行。

三、前端應(yīng)用性能優(yōu)化

提高數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)前端應(yīng)用性能的方法有多種，如歸檔休眠數(shù)據(jù)、去規(guī)范化設(shè)計(jì)、預(yù)計(jì)算、列復(fù)制、預(yù)連接、建立索引等方法。

（一）歸檔休眠數(shù)據(jù)

所謂休眠數(shù)據(jù)是指長(zhǎng)時(shí)間不用的數(shù)據(jù)。這種數(shù)據(jù)的粒度不同，可能是某個(gè)數(shù)據(jù)集很長(zhǎng)時(shí)間末被使用，或者數(shù)據(jù)集中的某些屬性一直未被使用，或者數(shù)據(jù)集中的某些元組或值一直未被使用。大量的數(shù)據(jù)是最主要的性能障礙。數(shù)據(jù)倉(cāng)庫(kù)管理員用來(lái)提高數(shù)據(jù)倉(cāng)庫(kù)性能的最好的方法就是歸檔那些不用于此數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)。歸檔分為近線歸檔和離線歸檔。休眠數(shù)據(jù)有三種類型：關(guān)系表級(jí)休眠、屬性級(jí)休眠和值級(jí)休眠。

關(guān)系表級(jí)休眠是指某個(gè)數(shù)據(jù)表和數(shù)據(jù)集長(zhǎng)時(shí)間未被使用。這種情況在數(shù)據(jù)倉(cāng)庫(kù)中是常見(jiàn)的。例如，開(kāi)始時(shí)設(shè)計(jì)了一些基于數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用，產(chǎn)生了一些匯總數(shù)據(jù)表(集)，而后因?yàn)闃I(yè)務(wù)的原因，不再需要該應(yīng)用，從而進(jìn)行了重新的開(kāi)發(fā)，但是原來(lái)的數(shù)據(jù)表卻沒(méi)有清理。

屬性級(jí)休眠是指數(shù)據(jù)表(集)中的某些屬性一直未被使用。這種情況對(duì)于分析應(yīng)用來(lái)說(shuō)是很普遍的。用戶對(duì)數(shù)據(jù)之間的關(guān)系還不清楚，因此希望將所有的屬性都加入導(dǎo)出數(shù)據(jù)集中，可是在分析數(shù)據(jù)時(shí)卻只用其中的少數(shù)幾個(gè)，而開(kāi)始設(shè)想的分析卻一直沒(méi)有進(jìn)行，一些屬性列就長(zhǎng)期地處于休眠狀態(tài)。因此，建議在設(shè)計(jì)數(shù)據(jù)集市或主體數(shù)據(jù)榮時(shí)只選擇目前需要的局性列，而在需要時(shí)，再增加其他列。

值級(jí)休眠是指數(shù)據(jù)表中的某些元組長(zhǎng)時(shí)間沒(méi)有被存取。如計(jì)劃數(shù)據(jù)表中存儲(chǔ)5年的數(shù)據(jù)，可是實(shí)際分析中一般只用到近半年的數(shù)據(jù)。這樣，一大批數(shù)據(jù)就處于休眠狀態(tài)。

對(duì)于休眠數(shù)據(jù)的處理可以將它們轉(zhuǎn)儲(chǔ)到近線存儲(chǔ)器上，在需要的時(shí)候可以從其中讀出。歸檔休眠數(shù)據(jù)的關(guān)鍵問(wèn)題是如何監(jiān)視數(shù)據(jù)的使用以及確定哪些數(shù)據(jù)處于休眠。可以通過(guò)使用活動(dòng)監(jiān)視器來(lái)監(jiān)視數(shù)據(jù)的使用情況，有兩種基本類型的活動(dòng)監(jiān)視器：SQL插入式監(jiān)視器和非SQL插入式監(jiān)視器。SQL插入式監(jiān)視器是一種用來(lái)截取SQL查詢并可能重新表示這個(gè)查詢的監(jiān)視器。非SQL插入式監(jiān)視器則不能改變SQL查詢。

（二）去規(guī)范化設(shè)計(jì)

從性能的觀點(diǎn)，去規(guī)范化具有兩個(gè)主要的優(yōu)勢(shì)：首先，大型的、長(zhǎng)時(shí)間運(yùn)行的表格掃描或復(fù)雜的連接操作可以被簡(jiǎn)單地查找預(yù)先計(jì)算的結(jié)果所取代，由于預(yù)先計(jì)算結(jié)果與原始數(shù)據(jù)相比，在處理時(shí)間上相差幾個(gè)數(shù)量級(jí)，所以它能夠提高多個(gè)數(shù)量級(jí)的查詢響應(yīng)時(shí)間；其次，作為第一個(gè)優(yōu)勢(shì)的推論，去規(guī)范化可以大量減少系統(tǒng)為獲得某個(gè)特定查詢結(jié)果而需要處理的工作量，使系統(tǒng)資源的使用更加有效。下面討淪兩種主要的去規(guī)范化方法：預(yù)聚合計(jì)算和實(shí)例化視圖。

1.預(yù)聚合計(jì)算

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)可以采用滾動(dòng)的方法將細(xì)節(jié)數(shù)據(jù)進(jìn)行聚合運(yùn)算。例如，當(dāng)數(shù)據(jù)被輸入到數(shù)據(jù)倉(cāng)庫(kù)中時(shí)，以每小時(shí)為基礎(chǔ)存儲(chǔ)數(shù)據(jù)，在這一天結(jié)束時(shí)，以每天為基礎(chǔ)存儲(chǔ)每小時(shí)的數(shù)據(jù)。在一周結(jié)束時(shí)，以每周為基礎(chǔ)存儲(chǔ)每天的數(shù)據(jù)。以此類推，同時(shí)將細(xì)節(jié)數(shù)據(jù)歸檔。通過(guò)這種方式來(lái)組織數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)者將極大地減少存儲(chǔ)數(shù)據(jù)所而要的空間井潛在地提高性能。當(dāng)然．設(shè)計(jì)員也會(huì)喪失查看已過(guò)時(shí)的詳細(xì)數(shù)據(jù)的權(quán)利，越早獲取的數(shù)據(jù)，保留的詳情就越少。但是，許多類型的數(shù)據(jù)可接受這種處理，例如銷售、產(chǎn)品和市場(chǎng)數(shù)據(jù)。另外，如果既想保留細(xì)節(jié)數(shù)據(jù)，又想進(jìn)行匯總分析，如在OLAP分析應(yīng)用中，對(duì)于一些匯總的結(jié)果可以預(yù)先計(jì)算出來(lái)，在查詢分析時(shí)，查詢處理器通過(guò)查詢重寫(xiě)技術(shù)使用預(yù)算的匯總結(jié)果給出回答。這樣可以大大提高查詢分析效率。

2.實(shí)例化視圖

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)集實(shí)際是一些數(shù)據(jù)源的視圖，有的是OLTP數(shù)據(jù)源的視圖，有的是數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)集的視圖。每個(gè)視圖一般是建立在多個(gè)數(shù)據(jù)集之上的，因此就涉及許多連接操作，而連接操作在數(shù)據(jù)庫(kù)查詢中是最費(fèi)時(shí)的操作之一，尤其是在數(shù)據(jù)倉(cāng)庫(kù)中每個(gè)數(shù)據(jù)集的元組數(shù)又很大。因此，節(jié)省機(jī)器資源提高分析效率的只有效的技巧之一是將這些視圖的連接操作預(yù)先實(shí)現(xiàn)，并將連接結(jié)果存儲(chǔ)為一個(gè)實(shí)際數(shù)據(jù)集，形成實(shí)例化視圖。之后，無(wú)論何時(shí)用戶想執(zhí)行一個(gè)通常需要連接這兩個(gè)表格的查詢，都可以直接查詢預(yù)連接的、去規(guī)范化的表格來(lái)代替連接兩個(gè)表格。視圖實(shí)例化技術(shù)也帶來(lái)了額外的開(kāi)銷，如存儲(chǔ)空間開(kāi)銷、查詢重寫(xiě)開(kāi)銷和視圖維護(hù)開(kāi)銷等。因此，需要在效率和上述開(kāi)銷之間進(jìn)行權(quán)衡。建立索引是提高查詢效率最常用的技術(shù)。

（三）建立索引

索引技術(shù)不同于掃描整個(gè)關(guān)系表來(lái)查找某行中的某列能夠滿足“Where”于句的判定，而是創(chuàng)建一個(gè)有關(guān)此列的單獨(dú)索引結(jié)構(gòu)。這個(gè)索引結(jié)構(gòu)包含所有實(shí)際離散列值的一個(gè)分類表，表里的每個(gè)值與一個(gè)指針列表相關(guān)聯(lián)，這些指針指向包含此值的原始表格中的行。實(shí)際上，建立索引可以很好地改善數(shù)據(jù)倉(cāng)庫(kù)的性能。

為允許數(shù)據(jù)庫(kù)引擎快速地找到分類索引表中的任意一個(gè)元素，可使用一個(gè)B樹(shù)表示法來(lái)內(nèi)部存儲(chǔ)這種索引，為B樹(shù)索引。但是使用索引需要增加磁盤(pán)存儲(chǔ)量，增加了維護(hù)索引的開(kāi)銷，甚至能夠降低某些查詢的性能，B樹(shù)的代價(jià)相對(duì)較大。在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下，位圖索引對(duì)低離散值的索引有較大的優(yōu)勢(shì)，可以較好地滿足OLAP查詢的需求，也可以使用其他的索引技術(shù)。

參考文獻(xiàn)：

[1]江放，李海剛，高國(guó)安.基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)采掘及其在決策支持系統(tǒng)中的應(yīng)用[J].現(xiàn)代計(jì)算機(jī).1999，01

[2](美)[W.H.因曼](W.H.Inmon)著，王志海等譯.數(shù)據(jù)倉(cāng)庫(kù)[M].機(jī)械工業(yè)出版社，2000