基于綜合加權(quán)法的主數(shù)據(jù)識別技術(shù)研究*

劉 濤，李少波，唐向紅

(貴州大學(xué)a.管理學(xué)院;b.教育部現(xiàn)代制造技術(shù)重點實驗室，貴陽 550003)

基于綜合加權(quán)法的主數(shù)據(jù)識別技術(shù)研究*

劉 濤a，b，李少波b，唐向紅b

(貴州大學(xué)a.管理學(xué)院;b.教育部現(xiàn)代制造技術(shù)重點實驗室，貴陽 550003)

為了提高主數(shù)據(jù)識別技術(shù)的高效性與精確性，論文通過對主數(shù)據(jù)識別方案及其關(guān)鍵技術(shù)的研究與比較分析，基于企業(yè)需求，設(shè)計出了一種規(guī)范化的企業(yè)主數(shù)據(jù)識別流程，并提出了一種基于綜合加權(quán)法的主數(shù)據(jù)識別評分模版?；诰C合加權(quán)法的主數(shù)據(jù)識別技術(shù)可快速準(zhǔn)確地確定企業(yè)主數(shù)據(jù)，有效提高大型企業(yè)主數(shù)據(jù)管理效率，具有一定的理論和實際意義。

主數(shù)據(jù);主數(shù)據(jù)識別;綜合加權(quán)法;評分模板

0 引言

目前，在大型企業(yè)數(shù)據(jù)資源管理中，由于缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，以及現(xiàn)有的數(shù)據(jù)標(biāo)準(zhǔn)與實際應(yīng)用需求不符造成數(shù)據(jù)資源的利用現(xiàn)狀與企業(yè)的實際需求差距較大，解決這一問題的關(guān)鍵因素就是實現(xiàn)主數(shù)據(jù)的標(biāo)準(zhǔn)化。

主數(shù)據(jù)(Master Data)是統(tǒng)一定義對象所需的核心數(shù)據(jù)。主數(shù)據(jù)管理將數(shù)據(jù)從應(yīng)用和流程中獨立出來，并且將其呈現(xiàn)為一系列可重用的服務(wù)，為企業(yè)提供共享的、完整的、準(zhǔn)確的主數(shù)據(jù)。由于流程管理、系統(tǒng)建設(shè)的差異，不同的企業(yè)所關(guān)注的主數(shù)據(jù)會有所不同;同一企業(yè)也會由于不同的業(yè)務(wù)發(fā)展和系統(tǒng)建設(shè)時期，關(guān)注不同的主數(shù)據(jù)。因此，精確的主數(shù)據(jù)識別技術(shù)是實現(xiàn)主數(shù)據(jù)管理的核心。

文獻(xiàn)［1］介紹了主數(shù)據(jù)識別的流程將其劃分為三個階段:①識別和集中化語義元數(shù)據(jù);②統(tǒng)一數(shù)據(jù)對象語義;③識別與資格化主數(shù)據(jù)。LeiWang等人通過研究從業(yè)務(wù)流程中識別主數(shù)據(jù)的步驟和方法學(xué)，提出了一個新的可以從企業(yè)業(yè)務(wù)進(jìn)程中捕獲主數(shù)據(jù)的設(shè)計方法論，同時，他們還提出了一種構(gòu)建元數(shù)據(jù)的方法論［2］。張德進(jìn)等人在文獻(xiàn)［3］中指出將主數(shù)據(jù)識別過程分為構(gòu)建數(shù)據(jù)邏輯模型，識別實體、關(guān)系、屬性、參考數(shù)據(jù)以及主數(shù)據(jù)等幾個環(huán)節(jié)。

目前，盡管有部分文獻(xiàn)對主數(shù)據(jù)識別進(jìn)行了研究，但是沒有形成一套完整的主數(shù)據(jù)識別技術(shù)體系。本文通過綜合分析主數(shù)據(jù)識別的步驟和方案，設(shè)計綜合加權(quán)法以精確確定主數(shù)據(jù)識別指標(biāo)權(quán)值，并將其應(yīng)用于主數(shù)據(jù)識別，實驗結(jié)果表明，基于綜合加權(quán)法的主數(shù)據(jù)識別技術(shù)可快速準(zhǔn)確的確定企業(yè)業(yè)務(wù)主數(shù)據(jù)，有效提高大型企業(yè)主數(shù)據(jù)管理效率。

1 主數(shù)據(jù)識別的流程

實施主數(shù)據(jù)管理，首先要解決如何從復(fù)雜且眾多的業(yè)務(wù)實體中準(zhǔn)確識別出企業(yè)主數(shù)據(jù)。主數(shù)據(jù)識別是一項復(fù)雜的工程，必須基于方法論設(shè)計一套完整的主數(shù)據(jù)識別方法，建立主數(shù)據(jù)識別的操作流程，才能有效完成主數(shù)據(jù)的識別工作。本文將主數(shù)據(jù)識別流程分為四個部分，如圖1所示。

圖1 主數(shù)據(jù)識別流程

(1)梳理數(shù)據(jù)實體類別。從業(yè)務(wù)角度出發(fā)，在不同粒度和層次上系統(tǒng)地分析整個企業(yè)的業(yè)務(wù)流程，得出在業(yè)務(wù)流程過程中涉及到的業(yè)務(wù)實體，并以此作為主數(shù)據(jù)識別的對象;

(2)劃分?jǐn)?shù)據(jù)主題域。通過參考IBM提出的IFW模型并充分結(jié)合企業(yè)實際情況，整理并劃分主數(shù)據(jù)的主題域;

(3)構(gòu)建數(shù)據(jù)概念模型。概念模型主要作用是描述事與物的概念化結(jié)構(gòu)。本文采用自底向上的概念模型設(shè)計模式，根據(jù)需求分析的結(jié)果對現(xiàn)實世界的數(shù)據(jù)進(jìn)行抽象，設(shè)計各個局部視圖，并集成局部實視圖形成整體視圖，設(shè)計全局概念模型;

(4)制定識別評分模版。評分模板的制定分為三個步驟:①確定主數(shù)據(jù)的識別指標(biāo);②利用綜合加權(quán)法確定識別指標(biāo)的權(quán)重;③制定主數(shù)據(jù)識別評分模版。

在主數(shù)據(jù)識別的四個步驟中，最為關(guān)鍵的是其評分模板的設(shè)計，通過對評分模板的設(shè)計，可以制定主數(shù)據(jù)的識別指標(biāo)，通過對評分模板的設(shè)計，可以實現(xiàn)識別指標(biāo)權(quán)重的最優(yōu)化選擇，從而進(jìn)一步，可以確定被識別數(shù)據(jù)是否為主數(shù)據(jù)。

2 主數(shù)據(jù)識別評分模版制定

2.1 主數(shù)據(jù)識別指標(biāo)

主數(shù)據(jù)評分指標(biāo)項的選取通過對主數(shù)據(jù)識別標(biāo)準(zhǔn)的分析而獲得。綜合業(yè)界研究成果，同時考慮大型企業(yè)集團(tuán)網(wǎng)省兩級架構(gòu)的特點，在確定主數(shù)據(jù)的評分指標(biāo)中，需要重點考慮以下因素。

(1)獨立性:主數(shù)據(jù)的獨立性是指主數(shù)據(jù)可以獨立存在，不依賴于其他對象。

(2)共享性:主數(shù)據(jù)通常作為不同業(yè)務(wù)部門之間的共享數(shù)據(jù)。

(3)需要:主數(shù)據(jù)帶有明顯的功利特征，是為具體業(yè)務(wù)場景、企業(yè)戰(zhàn)略服務(wù)的。

(4)企業(yè)范圍:主數(shù)據(jù)不涉及與外部系統(tǒng)的數(shù)據(jù)交換，即與外部系統(tǒng)的數(shù)據(jù)集成不在主數(shù)據(jù)研究范圍內(nèi)。

(5)業(yè)務(wù)價值:主數(shù)據(jù)描述了企業(yè)最核心的業(yè)務(wù)，是企業(yè)最有價值的資產(chǎn)。

(6)多特征屬性:主數(shù)據(jù)作為業(yè)務(wù)操作的主要對象，一般存在多個屬性，用于區(qū)分不同操作對象，不同于普通的編碼表。

(7)基礎(chǔ)性:主業(yè)務(wù)實體是基礎(chǔ)的業(yè)務(wù)單元，它支持所有主要的業(yè)務(wù)行為或交易基礎(chǔ)，一般最小不可拆分。

(8)復(fù)雜性:主數(shù)據(jù)一般涉及多個業(yè)務(wù)系統(tǒng)，因此具有較高的復(fù)雜性。

(9)周期性:通常主數(shù)據(jù)會在長時間內(nèi)被使用，生命周期較長，因此數(shù)據(jù)元素的生命周期可以用來作為判定它是否是主數(shù)據(jù)的標(biāo)準(zhǔn)之一。

(10)流動性:雖然主數(shù)據(jù)的變化應(yīng)該少于交易數(shù)據(jù)，但是完全不變化的數(shù)據(jù)元素不應(yīng)該判定為主數(shù)據(jù)。

根據(jù)主數(shù)據(jù)以上特性，結(jié)合大型企業(yè)的實際情況和專家組意見，最終確定了主數(shù)據(jù)識別的以下九大評分指標(biāo)，見表1。

表1 主數(shù)據(jù)識別指標(biāo)

2.2 基于綜合加權(quán)法的識別指標(biāo)權(quán)重確定

主數(shù)據(jù)識別過程中的關(guān)鍵步驟是確定識別指標(biāo)的權(quán)重。主觀賦權(quán)法和客觀賦權(quán)法是目前常用的兩類權(quán)重確定方法［5］。主觀賦權(quán)法依據(jù)決策者的意向確定各指標(biāo)間的權(quán)重系數(shù)，決策或評價結(jié)果具有很大的主觀隨意性，常用的有德爾菲法，層次分析法等。而客觀賦權(quán)法確定各指間的權(quán)重系數(shù)，決策或評價結(jié)果雖然具有較強的數(shù)學(xué)理論依據(jù)，但無法反應(yīng)決策者的意向，常見的有主成分分析法、因子分析法等［6-7］。為克服單一賦權(quán)法的缺陷［8］，本文提出一種將主成分分析法與德爾菲法進(jìn)行集成的綜合加權(quán)法。采用綜合加權(quán)法對識別指標(biāo)賦予權(quán)重。其核心思想如下:

首先，參考行業(yè)相關(guān)信息、IBM的IFW模型，并借鑒已建立起主數(shù)據(jù)管理體系的公司的經(jīng)驗及相應(yīng)統(tǒng)計信息，找出針對本企業(yè)的五個極具可能為主數(shù)據(jù)的實體，分別計算出主數(shù)據(jù)識別九大指標(biāo)的數(shù)據(jù)資料。

(1)將給出九大指標(biāo)的數(shù)據(jù)資料的原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理;

(2)采用德爾菲法對這九個指標(biāo)在主數(shù)據(jù)識別中的權(quán)重進(jìn)行打分，九項指標(biāo)的權(quán)重為:

對每一指標(biāo)變量分別乘以權(quán)重系數(shù)，得到修正以后的數(shù)據(jù)矩陣X'。

對X'中的指標(biāo)數(shù)據(jù)進(jìn)行主成分分析，得出最終的指標(biāo)權(quán)重。

(1)求指標(biāo)數(shù)據(jù)的相關(guān)矩陣

(2)用雅克比方法求相關(guān)系數(shù)矩陣R的特征值(λ1，λ2，…，λp)和相應(yīng)的特征向量 li=(li1，li2，…，lip)，i=1，2，…，p

(3)選擇重要的主成分，并寫出主成分表達(dá)式。

主成分分析可以得到p個主成分，但由于各個主成分的方差是遞減的，包含的信息量也是遞減的，所以實際分析時，一般不是選取p個主成分，而是根據(jù)各個主成分累計貢獻(xiàn)率的大小選取前m個主成分，這里貢獻(xiàn)率就是指某個主成分的方差占全部方差的比重，即某個特征值占全部特征值合計的比重，計算公式如下:

貢獻(xiàn)率越大，說明該主成分所包含的原始變量的信息越強。在主成分個數(shù)選取中，要求累計貢獻(xiàn)率達(dá)到85%以上，保證綜合變量能包括原始變量的絕大多數(shù)信息。

(4)根據(jù)主成分累計貢獻(xiàn)率85%，選擇m個主成分A=(k1，k2，…，km)。各特征值相應(yīng)的特征向量為:(l1，l2，…，lm)然后計算得出各指標(biāo)的權(quán)重:

2.3 構(gòu)建主數(shù)據(jù)識別評分模版

依據(jù)綜合加權(quán)法得到的主數(shù)據(jù)識別權(quán)重構(gòu)建主數(shù)據(jù)識別評分模板，通過評分模板工具得出被識別數(shù)據(jù)疑似為主數(shù)據(jù)的分?jǐn)?shù)。

取數(shù)據(jù)概念模型的業(yè)務(wù)實體Β，將分析出的九大識別指標(biāo)作為評分指標(biāo)項X，以及由綜合加權(quán)法得出的識別指標(biāo)權(quán)重W，構(gòu)成評分模板的行和列及各列值的權(quán)重，同時分析各業(yè)務(wù)實體與各識別指標(biāo)的關(guān)聯(lián)度填入評分模板。

對于任意業(yè)務(wù)實體 βj，j∈{1，2，3，…n}，假設(shè)它與第 i個評分指標(biāo)的關(guān)聯(lián)度為 λi，i∈{1，2，3，…9}，若符合第i個評分指標(biāo)，則λi=1，否則λi=0。最終構(gòu)建主數(shù)據(jù)識別評分模板工具。求出業(yè)務(wù)實體βj，j∈{1，2，3，…n}的最終評分結(jié)果。

通過評分模板分別求出各業(yè)務(wù)實體的分值，并依據(jù)企業(yè)需要及專家意見，設(shè)定主數(shù)據(jù)識別得分閾值，得分不小于閾值的業(yè)務(wù)實體，就是企業(yè)亟需管理的主數(shù)據(jù)。

3 仿真結(jié)果及分析

應(yīng)用綜合加權(quán)法，對某大型電力企業(yè)進(jìn)行了數(shù)據(jù)實體類別梳理、數(shù)據(jù)主題域劃分、數(shù)據(jù)概念模型構(gòu)建、識別評分模版制定，計算得出主數(shù)據(jù)識別試題得分，并對仿真結(jié)果進(jìn)行分析。

(1)參考IFW模型并充分結(jié)合企業(yè)的實際情況，整理并劃分出主數(shù)據(jù)的六大主題域，包括:參與方、資源、位置、分類、協(xié)議、經(jīng)營方針。分析得出參與方主題域中的數(shù)據(jù)實體及其指標(biāo)，如表2所示。

(2)基于綜合加權(quán)法得出主數(shù)據(jù)識別的九大指標(biāo)的權(quán)重。

首先，參考同行業(yè)相關(guān)信息、IBM的IFW模型，并借鑒已經(jīng)建立起主數(shù)據(jù)管理體系的公司的經(jīng)驗及相應(yīng)的統(tǒng)計信息，最終確定找出針對本企業(yè)的五個極具可能為主數(shù)據(jù)的實體分別為:供應(yīng)商，客戶，地址，資產(chǎn)，物資。

①統(tǒng)計得出這個主數(shù)據(jù)實體的主數(shù)據(jù)識別九大指標(biāo)的數(shù)據(jù)，并進(jìn)行標(biāo)準(zhǔn)化。

②根據(jù)企業(yè)的需求，專家給定的九個指標(biāo)在主數(shù)據(jù)識別中的權(quán)重分別為:(0.10，020，0.10，0.10，0.15，0.05，0.15，0.05，0.10)。利用綜合加權(quán)法計算得出九個指標(biāo)最終的權(quán)重如表3所示。

表2 實體主數(shù)據(jù)識別九大指標(biāo)數(shù)據(jù)

表3 主數(shù)據(jù)識別指標(biāo)權(quán)重

(3)根據(jù)企業(yè)情況需求和專家的意見，設(shè)定主數(shù)據(jù)識別得分閾值為0.75。

依據(jù)綜合加權(quán)法得到的主數(shù)據(jù)識別權(quán)重構(gòu)建主數(shù)據(jù)識別評分模板，通過評分模板工具得出被識別數(shù)據(jù)疑似為主數(shù)據(jù)的分?jǐn)?shù)，如表4所示。

表4 主數(shù)據(jù)識別實體得分

經(jīng)分析得出，實體組織機構(gòu)、員工、客戶、供應(yīng)商及電力企業(yè)的得分不低于已定的主數(shù)據(jù)識別得分閾值0.75，所以可以判定，在本企業(yè)中，組織機構(gòu)、員工、客戶、供應(yīng)商及電力企業(yè)為需要集中進(jìn)行管理的主數(shù)據(jù)，見圖2。

圖2 主數(shù)據(jù)識別實體得分

4 結(jié)束語

本文對主數(shù)據(jù)管理中的主數(shù)據(jù)識別技術(shù)進(jìn)行了研究，通過對主數(shù)據(jù)識別方案及其關(guān)鍵技術(shù)的研究與比較分析，基于企業(yè)需求，設(shè)計了一種規(guī)范化的企業(yè)主數(shù)據(jù)識別流程，包括數(shù)據(jù)實體類別梳理、數(shù)據(jù)主題域劃分、數(shù)據(jù)概念模型構(gòu)建、識別評分模版制定四個步驟。

為克服單一賦權(quán)法的缺陷，本文提出了將主成分分析法與德爾菲法進(jìn)行集成的綜合加權(quán)法，并基于綜合集成加權(quán)法設(shè)計主數(shù)據(jù)識別評分模版。

實驗結(jié)果表明基于綜合加權(quán)法的主數(shù)據(jù)識別技術(shù)是一套可以擴展的主數(shù)據(jù)識別方法，可快速準(zhǔn)確地確定企業(yè)主數(shù)據(jù)，有效提高大型企業(yè)主數(shù)據(jù)管理效率。

［1］David Loshin.Master Data Management［M］.New York，Morgan Kaufmann，2009.

［2］LeiWang，Xinguo Ming，Jing You.The Steps and Methodology of Identifying Master Data from Business Processes［J］.World Congress on Software Engineering，2009，97:329－333.

［3］張德進(jìn).企業(yè)主數(shù)據(jù)分析與表達(dá)技術(shù)研究［J］.機械設(shè)計與研究，2008，24(2):67 －71.

［4］王學(xué)建，康小強，李越新.基于層次分析法的主數(shù)據(jù)識別方法研究［J］.電信技術(shù)，2011(7):46－50.

［5］陶菊春，吳建民.綜合加權(quán)評分法的綜合權(quán)重確定新探［J］.系統(tǒng)工程理論與實踐，2001，8(8):43 －48.

［6］遲國泰，曹婷婷，張昆.基于相關(guān)主成分分析的人的全面發(fā)展評價指標(biāo)體系構(gòu)建［J］.系統(tǒng)工程理論與實踐，2012，32(1):111 －119.

［7］王俊英，李德華.群決策專家權(quán)重自適應(yīng)算法研究［J］.計算機應(yīng)用研究，2011，28(2):532 －540.

［8］于洋，李一軍.基于多策略評價的績效指標(biāo)權(quán)重確定方法研究［J］.系統(tǒng)工程理論與實踐，2003，8(8):8－15.

(編輯 李秀敏)

Research on the Master Data Identification Technology Based on the Synthetic W eighted Method

LIU Taoa，b，LIShao-bob，TANG Xiang-hongb
(a.School of Management;b.Key Laboratory of Advanced Manufacturing Technology of Ministry of Education，Guizhou University，Guiyang 550003，China)

In order to improve the efficiency and accuracy ofmaster data identification technology，this paper standardized the process of enterprisemaster data identification，and proposed themaster data Identify scoring pattern base on the synthetic weighted.Analyses of themaster data identification program and implementation stepswere needed through the process，which was based on the enterprise’s requirements.This technology，which has theoretical and practical significance，can identify the enterprise master data quickly and accurately，improve the efficiency of large-scale enterprisemaster datamanagement(MDM).

master data;identify master data;synthetic weighted;scoring pattern

TH166

A

1001－2265(2013)03－0056－04

2012－08－14

國家科技支撐計劃(2012BAF12B14);貴州省科技廳項目(黔科合計Z字［2012］4009)

劉濤(1987—)，女，山東德州人，貴州大學(xué)管理學(xué)院碩士研究生，主要研究方向為數(shù)據(jù)管理技術(shù);通訊作者:李少波(1973—)，男，湖南岳陽人，貴州大學(xué)教育部現(xiàn)代制造技術(shù)重點實驗室博士，教授，博士生導(dǎo)師，主要研究方向為物聯(lián)網(wǎng)技術(shù)、計算設(shè)計、制造業(yè)信息化，(E－mail)1106605909@qq.com;唐向紅(1979—)，男，湖南永州人，貴州大學(xué)教育部現(xiàn)代制造技術(shù)重點實驗室博士，副教授，碩士生導(dǎo)師，主要研究方向為實時數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)挖掘、數(shù)據(jù)管理技術(shù)。