數(shù)據(jù)倉庫技術(shù)在廣電檢測(cè)數(shù)據(jù)中的應(yīng)用

王紅勝，王 濤，佘方毅

（國家新聞出版廣電總局 廣播科學(xué)研究院，北京 100866）

數(shù)據(jù)倉庫技術(shù)在廣電檢測(cè)數(shù)據(jù)中的應(yīng)用

王紅勝，王 濤，佘方毅

（國家新聞出版廣電總局 廣播科學(xué)研究院，北京 100866）

檢測(cè)工作是質(zhì)量控制的關(guān)鍵環(huán)節(jié)，會(huì)根據(jù)測(cè)試對(duì)象的不同產(chǎn)生大量的數(shù)據(jù)，利用數(shù)據(jù)倉庫技術(shù)來管理測(cè)試數(shù)據(jù)，將會(huì)對(duì)檢測(cè)工作的長期發(fā)展產(chǎn)生巨大的作用。首先對(duì)數(shù)據(jù)倉庫的關(guān)鍵技術(shù)和實(shí)施工具進(jìn)行了介紹，接著在分析廣電檢測(cè)數(shù)據(jù)整體架構(gòu)的基礎(chǔ)上，進(jìn)行了邏輯模型和物理模型的初步設(shè)計(jì)，為廣電檢測(cè)數(shù)據(jù)倉庫的原型系統(tǒng)提供了框架和模型。

數(shù)據(jù)倉庫；檢測(cè)數(shù)據(jù)；模型

目前，被廣泛接受的數(shù)據(jù)倉庫的概念是由W.H.Inmon博士提出的，他對(duì)數(shù)據(jù)倉庫的描述為：“A data warehouse is a subject-oriented,integrated,nonvolatile,and time-variant col?lection of data in support of management’s decisions”[1]，賦予了數(shù)據(jù)倉庫面向主題、集成、相對(duì)穩(wěn)定和反應(yīng)歷史變化等特征。數(shù)據(jù)倉庫不同于關(guān)系型數(shù)據(jù)庫，其關(guān)鍵技術(shù)在于能夠進(jìn)行數(shù)據(jù)的抽取、存儲(chǔ)和管理、表現(xiàn)以及數(shù)據(jù)倉庫的設(shè)計(jì)。通過數(shù)據(jù)倉庫整合異源數(shù)據(jù)，從而建立用于支持決策管理的統(tǒng)一數(shù)據(jù)源。首先利用UML工具進(jìn)行數(shù)據(jù)倉庫邏輯建模，然后對(duì)那些頻繁訪問的對(duì)象屬性，應(yīng)該利用數(shù)據(jù)庫對(duì)其分配一定的區(qū)域[2]，并將其運(yùn)用在廣電檢測(cè)數(shù)據(jù)中，最終形成以數(shù)據(jù)倉庫為平臺(tái)，利用聯(lián)機(jī)分析處理技術(shù)和數(shù)據(jù)挖掘技術(shù)，自動(dòng)生成所需要的信息，并能夠以PDF、Excel等格式呈現(xiàn)出來，實(shí)現(xiàn)為廣電檢測(cè)數(shù)據(jù)的決策支持，更好地為廣電檢測(cè)服務(wù)提供數(shù)據(jù)便利。

1 數(shù)據(jù)倉庫技術(shù)及其工具介紹

1.1 數(shù)據(jù)倉庫建模

數(shù)據(jù)模型是表征抽象實(shí)體和實(shí)體之間的關(guān)系，數(shù)據(jù)倉庫模型可分為業(yè)務(wù)模型、領(lǐng)域概念模型、邏輯模型和物理模型。數(shù)據(jù)倉庫的建模方式可分為兩種，一種是多維模型，基于預(yù)先定義的關(guān)系來完成，基本結(jié)構(gòu)包括星形模型和雪花模型；一種是關(guān)系模型，其結(jié)構(gòu)特點(diǎn)能夠?yàn)樗蓄愋偷臄?shù)據(jù)集市提供數(shù)據(jù)源，反射用戶的業(yè)務(wù)規(guī)則。

根據(jù)預(yù)先定義的關(guān)系來完成建模，邏輯建模方式在考慮業(yè)務(wù)概念和事件屬性內(nèi)容的同時(shí)，并將其實(shí)體化。首先要關(guān)注的是數(shù)據(jù)倉庫的邏輯建模，按照文獻(xiàn)[3]的分析，構(gòu)建面向?qū)ο蟮臄?shù)據(jù)倉庫模型，系統(tǒng)流程如圖1所示。

1.2 數(shù)據(jù)倉庫關(guān)鍵技術(shù)

1）源系統(tǒng)，即外部數(shù)據(jù)源，可以為數(shù)據(jù)倉庫提供各種類型的數(shù)據(jù)。

圖1 構(gòu)建面向?qū)ο蟮臄?shù)據(jù)倉庫模型的流程

2）元數(shù)據(jù)（Meta Data）用于定義和描述數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)、操作和過程的信息[3]。可分為技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和過程元數(shù)據(jù)。

3）ETL，即Extraction，Transformation，Loading的縮寫，就是數(shù)據(jù)的提取、轉(zhuǎn)換和加載，負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫的轉(zhuǎn)換。

4）數(shù)據(jù)集市，俗稱“小數(shù)據(jù)倉庫”，是數(shù)據(jù)倉庫的一種面向主題的多維數(shù)據(jù)庫或者商業(yè)視圖。

1.3 OLAP技術(shù)

聯(lián)機(jī)分析處理（On-Line Analytical Processing，OLAP）委員會(huì)對(duì)其定義為：使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)特性的信息進(jìn)行快速、一致和交互的存取，從而獲得對(duì)數(shù)據(jù)更深入了解的一類軟件。按數(shù)據(jù)組織來說可分為3類：多維性O(shè)LAP、關(guān)系型OLAP和混合型OLAP。

1.4 數(shù)據(jù)倉庫體系結(jié)構(gòu)

標(biāo)準(zhǔn)的數(shù)據(jù)倉庫系統(tǒng)通常包括數(shù)據(jù)源、ETL、數(shù)據(jù)存儲(chǔ)、OLAP服務(wù)器和前端展示組成，如圖2所示。

圖2 數(shù)據(jù)倉庫體系結(jié)構(gòu)

2 廣電檢測(cè)數(shù)據(jù)體系結(jié)構(gòu)分析與設(shè)計(jì)

廣播電視作為宣傳溝通的渠道，一直發(fā)揮著不可替代的作用。為了確保高質(zhì)量的視聽享受，需要對(duì)各類和廣電相關(guān)的設(shè)備和系統(tǒng)在指定的檢測(cè)機(jī)構(gòu)進(jìn)行檢測(cè)。根據(jù)產(chǎn)品功能的不同進(jìn)行分類，總體來說主要有無線廣播電視、有線電視、電視中心、廣播電視軟件產(chǎn)品和電磁兼容五個(gè)大類。每個(gè)大類下面又根據(jù)具體功能分為多項(xiàng)產(chǎn)品和系統(tǒng)，針對(duì)每一類產(chǎn)品和系統(tǒng)會(huì)有不同的測(cè)試指標(biāo)和測(cè)試內(nèi)容，對(duì)于同一類產(chǎn)品和系統(tǒng)會(huì)存在有規(guī)律可循的測(cè)試數(shù)據(jù)。這些測(cè)試數(shù)據(jù)大部分是以doc、pdf、txt文檔或者其他的形式保存，由于各類數(shù)據(jù)是分散的，沒有統(tǒng)一格式，不便于對(duì)這些數(shù)據(jù)進(jìn)行分析處理，這樣利用數(shù)據(jù)倉庫技術(shù)建立統(tǒng)一的檢測(cè)數(shù)據(jù)整合平臺(tái)就顯得尤為重要了。

2.1 需求分析

檢測(cè)工作是用指定的方法檢驗(yàn)測(cè)試某種物體指定的技術(shù)性能指標(biāo)，已經(jīng)成為質(zhì)量控制的關(guān)鍵環(huán)節(jié)。

作為廣電儀器設(shè)備和系統(tǒng)的檢測(cè)部門，每天要處理大量的檢測(cè)數(shù)據(jù)，針對(duì)不同的檢測(cè)內(nèi)容，會(huì)有不同的技術(shù)指標(biāo)和測(cè)試結(jié)果。目前的狀況是伴隨著每個(gè)檢測(cè)任務(wù)的結(jié)束，相應(yīng)的檢測(cè)結(jié)果和數(shù)據(jù)也沉睡在了資料庫里；而且現(xiàn)存的檢測(cè)結(jié)果和數(shù)據(jù)是跟著業(yè)務(wù)單來走的，相互之間都是相對(duì)獨(dú)立的；如何更為有效地處理這些測(cè)試數(shù)據(jù)，將這些關(guān)聯(lián)信息串聯(lián)起來進(jìn)行分析，將會(huì)給檢測(cè)業(yè)務(wù)的長期有效發(fā)展帶來不可估量的價(jià)值。

2.2 數(shù)據(jù)來源分析

源數(shù)據(jù)是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是存儲(chǔ)在數(shù)據(jù)倉庫中的數(shù)據(jù)來源[4-5]。本文中數(shù)據(jù)來源主要是第三方實(shí)驗(yàn)室各類型的檢測(cè)結(jié)果以及相關(guān)信息。這其中既有實(shí)驗(yàn)室信息管理系統(tǒng)所產(chǎn)生的文檔數(shù)據(jù)，也有其他格式的文檔數(shù)據(jù)，以及未來可能將數(shù)據(jù)共享的其他實(shí)驗(yàn)室所產(chǎn)生的各類型數(shù)據(jù)。

在構(gòu)建用于數(shù)據(jù)分析的數(shù)據(jù)倉庫時(shí)[6]，往往采集到的數(shù)據(jù)來源眾多、數(shù)據(jù)不規(guī)范，對(duì)那些數(shù)值定義不完整、數(shù)據(jù)冗余等情況會(huì)影響后續(xù)數(shù)據(jù)分析的結(jié)果，建立一套針對(duì)性的規(guī)則對(duì)檢測(cè)數(shù)據(jù)進(jìn)行清洗，這就要使用數(shù)據(jù)的ETL技術(shù)，對(duì)各種屬性進(jìn)行概念分層。

數(shù)據(jù)的ETL相對(duì)數(shù)據(jù)倉庫建模和數(shù)據(jù)挖掘技術(shù)難度較低[7]，但是所包含的任務(wù)量卻是數(shù)據(jù)倉庫系統(tǒng)開發(fā)中比重較要的一部分。鑒于數(shù)據(jù)倉庫的海量數(shù)據(jù)特性，可以借助商業(yè)的ETL工具來完成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，目前比較成熟的ETL工具有OWB（Oracle Warehouse Builder）、Informatic PowerCenter、ODI（Oracle Data Integrator）和Datastage等。

2.3 邏輯模型設(shè)計(jì)

多維數(shù)據(jù)模型的設(shè)計(jì)主要是維度表和事實(shí)表的設(shè)計(jì)，而邏輯模型設(shè)計(jì)是對(duì)概念模型的細(xì)化，將信息維度展開成雪花模型，使用多個(gè)表來描述維度，多個(gè)事實(shí)表之間可以通過共享多個(gè)公共維度表連接起來[8]。

作為第三方公正的實(shí)驗(yàn)室，本中心不僅承擔(dān)著廣播電視儀器設(shè)備入網(wǎng)測(cè)試的任務(wù)，還融合了相關(guān)業(yè)務(wù)的委托測(cè)試。從業(yè)務(wù)范圍來說，主要是有線電視、無線廣播電視、光和數(shù)據(jù)網(wǎng)絡(luò)、移動(dòng)多媒體廣播、衛(wèi)星廣播電視、電視中心和嵌入式軟件等。根據(jù)工作性質(zhì)和內(nèi)容、方式等特點(diǎn)，本實(shí)驗(yàn)室檢測(cè)數(shù)據(jù)內(nèi)容結(jié)構(gòu)如圖3所示。

圖3 雪花模式數(shù)據(jù)建模

在圖3中，檢測(cè)數(shù)據(jù)可以作為一個(gè)事實(shí)表，它的屬性有檢測(cè)時(shí)間、檢測(cè)地點(diǎn)、檢測(cè)環(huán)境和檢測(cè)儀器等。由于檢測(cè)數(shù)據(jù)的出處可能是不同的，會(huì)有不同的檢測(cè)單位屬性，每個(gè)檢測(cè)單位的檢測(cè)業(yè)務(wù)范圍大致一致，每項(xiàng)檢測(cè)業(yè)務(wù)會(huì)涉及不同的樣品，樣品又會(huì)有不同的生成單位。

在對(duì)上圖進(jìn)行具體細(xì)化之后，可以得出以下幾個(gè)表，首先是檢測(cè)事實(shí)表，其存儲(chǔ)主要的維度及度量信息，或者一些必要的描述信息。如圖4所示，檢測(cè)事實(shí)表所包含的維度信息主要有時(shí)間、環(huán)境、儀器、類別和來源。基本上包含了檢測(cè)數(shù)據(jù)的屬性信息。

2.4 物理模型設(shè)計(jì)

圖4 檢測(cè)事實(shí)維度表

數(shù)據(jù)倉庫的物理模型設(shè)計(jì)要完成邏輯模型在物理系統(tǒng)中的實(shí)現(xiàn)，即將邏輯模型中所定義的事實(shí)表和維度表轉(zhuǎn)換成物理數(shù)據(jù)庫表，這其中包括表的數(shù)據(jù)結(jié)構(gòu)類型、索引策略、數(shù)據(jù)存放位置和數(shù)據(jù)存儲(chǔ)分配等。在進(jìn)行物理模型的設(shè)計(jì)實(shí)現(xiàn)時(shí)，要考慮的因素有：I/O存取時(shí)間、空間利用率和維護(hù)的代價(jià)等。考慮到數(shù)據(jù)倉庫的數(shù)據(jù)量大，但操作單一的特點(diǎn)，可采取其他的一些提高數(shù)據(jù)倉庫性能的技術(shù)，如合并表、建立數(shù)據(jù)序列、引入冗余、進(jìn)一步細(xì)分?jǐn)?shù)據(jù)、生成導(dǎo)出數(shù)據(jù)、建立廣義索引等[9]。

本課題采用SQL SERVER關(guān)系數(shù)據(jù)庫為數(shù)據(jù)倉庫的物理基礎(chǔ)，存儲(chǔ)事實(shí)表和維度表數(shù)據(jù)，見表1～4。在邏輯模型的基礎(chǔ)上，需要進(jìn)一步確定各事實(shí)表和維度表的物理結(jié)構(gòu)，包括表格字段數(shù)據(jù)類型、主鍵和索引等。

表1 檢測(cè)時(shí)間維表

表2 檢測(cè)事實(shí)維表

表4 檢測(cè)數(shù)據(jù)維表

3 小結(jié)

在上述內(nèi)容中，構(gòu)建了廣電檢測(cè)數(shù)據(jù)的數(shù)據(jù)模型，如何根據(jù)數(shù)據(jù)模型構(gòu)建數(shù)據(jù)倉庫的原型系統(tǒng)將是下一步工作的重點(diǎn)。利用數(shù)據(jù)倉庫強(qiáng)大的數(shù)據(jù)存儲(chǔ)和處理能力，構(gòu)建廣電檢測(cè)數(shù)據(jù)的智能化分析處理，一方面使得各種大量檢測(cè)數(shù)據(jù)的處理變得更為有效和科學(xué)，另一方面，利用數(shù)據(jù)倉庫技術(shù)管理龐大的檢測(cè)數(shù)據(jù)，可為廣電檢測(cè)數(shù)據(jù)的質(zhì)量控制提供系統(tǒng)化和科學(xué)化的依據(jù)。

檢測(cè)數(shù)據(jù)作為各行業(yè)質(zhì)量控制的重要環(huán)節(jié)，得到了快速的發(fā)展，各業(yè)務(wù)部門積累了大量的檢測(cè)數(shù)據(jù)，這對(duì)其來說是寶貴的資源，如何更有效地對(duì)這些檢測(cè)數(shù)據(jù)進(jìn)行整合，采用數(shù)據(jù)倉庫技術(shù)建立一個(gè)相對(duì)獨(dú)立的數(shù)據(jù)信息整合平臺(tái)。本文通過對(duì)數(shù)據(jù)倉庫技術(shù)和聯(lián)機(jī)處理技術(shù)進(jìn)行研究，結(jié)合廣電檢測(cè)數(shù)據(jù)的一些實(shí)際特點(diǎn)，對(duì)其邏輯模型和物理模型進(jìn)行了初步設(shè)計(jì)，為廣電檢測(cè)數(shù)據(jù)倉庫的原型系統(tǒng)提供了框架和模型。

[1] INMON W H.Building the data warehouse[M].4th ed.Indianapo?lis：Wiley Publishing，Inc，2005.

[2] MICHAEL R，BLAHA J R.Object-oriented modeling and design with UML[M].2nd ed.[S.l.]：Prentice Hall，2004.

[3]蔣秀艷.基于數(shù)據(jù)倉庫的生產(chǎn)成本分析研究與應(yīng)用[D].上海：上海交通大學(xué)，2013.

[4] HAYARDISI G，SITANGGANG I S，SYAUFINA L.Data ware?house and Web-based on OLAP for hotspot distribution in indo?nesia[C]//Proc.2009 2nd Conference on Data Mining and Optimi?zation.Kajand：IEEE Press，2009：1-4.

[5] ZHAO Xiaofei，HUANG Zhiqiu.A quality evaluation approach for OLAP metadata of multidimensional OLAP data[C]//Proc.Depart?ment of Computer Science and Technology Nanjing University of Science and Technology.Chengdu：IEEE Press，2010：357-361.

[6] 郭曙超.食品安全檢測(cè)數(shù)據(jù)倉庫技術(shù)的應(yīng)用與研究[J].食品研究與開發(fā)，2013（9）：125-128.

[7]廖振云.基于數(shù)據(jù)倉庫技術(shù)的交通管理系統(tǒng)研究與應(yīng)用[D].廣州：廣東工業(yè)大學(xué)，2013.

[8] 李炎強(qiáng).基于數(shù)據(jù)倉庫的廣電用戶收視數(shù)據(jù)研究與應(yīng)用[D].廣州：中山大學(xué)，2013.

[9]郭曉可.數(shù)據(jù)倉庫和OLAP在廣東中煙商業(yè)銷售分析中的應(yīng)用和研究[D].昆明：昆明理工大學(xué)，2013.

責(zé)任編輯：許 盈

Application of Data Warehouse Technology in Broadcasting Test Data

WANG Hongsheng,WANG Tao，SHE Fangyi
（Academy of Broadcasting Science,SAPPRFT,Beijing 100866,China）

According to the different test objects,Testing work will produce large amounts of data as a key link in quality control.It will have a huge role of long-term development of testing work to use data warehouse technology to manage the test data.Firstly,the article introduces the key technology and implementation tools of data warehouse, followed by the analysis of the overall architecture of broadcasting test data.A framework for the prototype system of the broadcasting test data is provided based on the initially designed of the logic and physical models.

data warehouse；test data；model

TP391

A

10.16280/j.videoe.2015.08.024

2014-08-26

【本文獻(xiàn)信息】王紅勝，王濤，佘方毅.數(shù)據(jù)倉庫技術(shù)在廣電檢測(cè)數(shù)據(jù)中的應(yīng)用[J].電視技術(shù)，2015，39（8）.