基于DAMA體系運(yùn)營商數(shù)據(jù)資產(chǎn)管理體系構(gòu)建研究

劉南?！≈袊苿?dòng)通信集團(tuán)廣西有限公司信息系統(tǒng)部工程師

基于DAMA體系運(yùn)營商數(shù)據(jù)資產(chǎn)管理體系構(gòu)建研究

劉南海中國移動(dòng)通信集團(tuán)廣西有限公司信息系統(tǒng)部工程師

“大數(shù)據(jù)”時(shí)代，數(shù)據(jù)已成為實(shí)現(xiàn)企業(yè)目標(biāo)的關(guān)鍵資產(chǎn)。基于DAMA體系，結(jié)合省級(jí)運(yùn)營商實(shí)際，分析數(shù)據(jù)生命周期，構(gòu)建數(shù)據(jù)資產(chǎn)架構(gòu)，在組織、流程、IT方面做出相應(yīng)調(diào)整，給出省級(jí)運(yùn)營商數(shù)據(jù)資產(chǎn)管理體系構(gòu)建的實(shí)施思路。

大數(shù)據(jù)；數(shù)據(jù)資產(chǎn)管理；DAMA

1　引言

大數(shù)據(jù)時(shí)代，借助對(duì)客戶“通信高速公路”的管控，運(yùn)營商掌握了海量的數(shù)據(jù)。這些數(shù)據(jù)對(duì)于運(yùn)營商內(nèi)部和外部的“數(shù)據(jù)驅(qū)動(dòng)營銷”、“數(shù)據(jù)驅(qū)動(dòng)管理”以及普遍意義上的“數(shù)據(jù)驅(qū)動(dòng)XX”有著重要的價(jià)值。另一方面，雖然運(yùn)營商對(duì)數(shù)據(jù)的認(rèn)識(shí)、使用方法和管理實(shí)踐隨著IT技術(shù)的發(fā)展和信息化程度的提高不斷增強(qiáng)，如從沙漠中找到金子那般，從“4個(gè)V”的大數(shù)據(jù)中獲取知識(shí)，并轉(zhuǎn)化為價(jià)值仍然不容易。本文基于DAMA （DATAManagementAssociation）體系，結(jié)合實(shí)際，探討省級(jí)運(yùn)營商數(shù)據(jù)資產(chǎn)管理體系的構(gòu)建思路。

2　DAMA體系簡介

DAMA（DATA Management Associa tion）數(shù)據(jù)管理協(xié)會(huì)是一個(gè)國際組織。DAMA體系是該協(xié)會(huì)對(duì)過去20多年數(shù)據(jù)管理領(lǐng)域知識(shí)和實(shí)踐的總結(jié)。DAMA體系認(rèn)為，正如資金和人才長期被認(rèn)為是企業(yè)的資產(chǎn)，對(duì)其進(jìn)行精心管理有助于實(shí)現(xiàn)企業(yè)目標(biāo)一般，大數(shù)據(jù)時(shí)代，數(shù)據(jù)以及從數(shù)據(jù)產(chǎn)生的信息也已經(jīng)被公認(rèn)為企業(yè)的資產(chǎn)，各個(gè)組織都需要有效地管理日益重要的數(shù)據(jù)和信息資源，通過業(yè)務(wù)領(lǐng)導(dǎo)和技術(shù)專家的合作，有效地提供和控制數(shù)據(jù)資產(chǎn)。

如同任何其他資產(chǎn)，數(shù)據(jù)資產(chǎn)具有生命周期，包括計(jì)劃、規(guī)范定義、開發(fā)實(shí)施、創(chuàng)建&獲取、維護(hù)&使用、存檔&檢索和清除。對(duì)數(shù)據(jù)資產(chǎn)的管理就是生命周期的管理。根據(jù)不同業(yè)務(wù)對(duì)數(shù)據(jù)的不同需求，把數(shù)據(jù)資產(chǎn)管理分為十大職能，即數(shù)據(jù)管理、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)開發(fā)、數(shù)據(jù)操作管理、數(shù)據(jù)安全管理、數(shù)據(jù)質(zhì)量管理、參考數(shù)據(jù)和主數(shù)據(jù)管理、數(shù)據(jù)倉庫和商務(wù)智能管理、文檔和內(nèi)容管理、元數(shù)據(jù)管理（見圖1）。

圖1　DAMA數(shù)據(jù)生命周期和數(shù)據(jù)資產(chǎn)管理的十大職能

3　省級(jí)運(yùn)營商數(shù)據(jù)管理現(xiàn)狀和存在問題

運(yùn)營商的組織結(jié)構(gòu)和IT架構(gòu)通常采用“總部/省級(jí)”二級(jí)架構(gòu)，省級(jí)運(yùn)營商按地域承擔(dān)IT系統(tǒng)的運(yùn)、建、維。省級(jí)運(yùn)營商IT系統(tǒng)通常包括BSS（Business Support System，簡稱B域）、OSS（Operation Support System，簡稱O域）和MSS（Management Support System，簡稱M域）三域，分域獨(dú)立建設(shè)，域內(nèi)部形成各類子系統(tǒng)和模塊。

大數(shù)據(jù)時(shí)代，在B/O/M三域基礎(chǔ)之上設(shè)立融合的分析支撐域（Analysis Support System，簡稱A域），建設(shè)獨(dú)立的大數(shù)據(jù)平臺(tái)匯聚三域數(shù)據(jù)，提供企業(yè)級(jí)的分析能力支撐是省級(jí)電信運(yùn)營商大數(shù)據(jù)建設(shè)的一種最佳實(shí)踐。如圖2所示，B域數(shù)據(jù)主要來自BOSS系統(tǒng)、酬金管理系統(tǒng)、各類結(jié)算平臺(tái)，每日50億條記錄，1.2TB；O域數(shù)據(jù)來自網(wǎng)管、網(wǎng)優(yōu)、信測系統(tǒng)，每日160億條，5TB；M域數(shù)據(jù)來自MIS、資產(chǎn)、庫存、供應(yīng)鏈、每月3億條，0.1TB。

圖2　B/O/M三域數(shù)據(jù)匯聚到大數(shù)據(jù)平臺(tái)

B/O/M三域數(shù)據(jù)歷經(jīng)各系統(tǒng)十多年的“運(yùn)”、“建”、“維”而產(chǎn)生。由于模型層統(tǒng)一管理、生命周期管理、統(tǒng)一文檔知識(shí)管理等數(shù)據(jù)管理基礎(chǔ)工作的缺失。數(shù)據(jù)模型生長呈復(fù)雜網(wǎng)狀結(jié)構(gòu)，清單數(shù)據(jù)、輕度匯總數(shù)據(jù)、高度匯總數(shù)據(jù)、應(yīng)用數(shù)據(jù)相互關(guān)聯(lián)調(diào)用，交織成網(wǎng)狀，數(shù)據(jù)分層不清晰（見圖3）。

數(shù)據(jù)模型的網(wǎng)狀結(jié)構(gòu)以及數(shù)據(jù)管理上的缺失，影響了企業(yè)目標(biāo)的達(dá)成（見圖4）。數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一影響業(yè)務(wù)需求到數(shù)據(jù)需求的溝通；數(shù)據(jù)種類的不完整影響數(shù)據(jù)分析和數(shù)據(jù)挖掘?qū)Q策的支持程度；數(shù)據(jù)不精確影響效率；數(shù)據(jù)不安全泄露機(jī)密和隱私；數(shù)據(jù)不及時(shí)降低了數(shù)據(jù)的使用價(jià)值。因此，在大數(shù)據(jù)到來的時(shí)候，在IT系統(tǒng)建設(shè)的同時(shí)，需要加強(qiáng)對(duì)數(shù)據(jù)的管理。

4　基于DAMA構(gòu)建數(shù)據(jù)資產(chǎn)管理體系

DAMA是一個(gè)標(biāo)準(zhǔn)化的體系，通過“數(shù)據(jù)生命周期”和“數(shù)據(jù)管理十大職能”，“大而全”地涵蓋了企業(yè)數(shù)據(jù)管理所涉及的各方面?；谠擉w系，結(jié)合運(yùn)營商數(shù)據(jù)生命周期、數(shù)據(jù)管理組織機(jī)構(gòu)、流程、IT狀況等實(shí)際情況，構(gòu)建可落地可實(shí)施的數(shù)據(jù)資產(chǎn)管理體系。

4.1分析數(shù)據(jù)生命周期、角色

長期以來，各運(yùn)營商多采用外部集成商提供IT服務(wù)的模式進(jìn)行支撐，自身缺乏實(shí)際研發(fā)、部署運(yùn)維能力。數(shù)據(jù)生命周期上通常分為兩個(gè)主要階段：多層次匯總階段和應(yīng)用階段（見圖5）。

圖3　網(wǎng)狀數(shù)據(jù)結(jié)構(gòu)

圖4　數(shù)據(jù)管理存在的問題

圖5　運(yùn)營商數(shù)據(jù)生命周期

多層次匯總階段，數(shù)據(jù)加工者將原始的清單數(shù)據(jù)在Oracle/Hadoop/MPP等基礎(chǔ)設(shè)施上進(jìn)行多個(gè)層次的匯總處理，形成各層次匯總數(shù)據(jù)?；A(chǔ)設(shè)施廠商就是數(shù)據(jù)加工者（通常是1～2個(gè)），局方維護(hù)管理部門承擔(dān)平臺(tái)管理者的角色。

應(yīng)用階段，數(shù)據(jù)消費(fèi)者使用各層次的匯總數(shù)據(jù)，開發(fā)分析專題/應(yīng)用/統(tǒng)計(jì)報(bào)表/數(shù)據(jù)產(chǎn)品的過程。應(yīng)用開發(fā)商就是數(shù)據(jù)消費(fèi)者（多個(gè)，按照人天單價(jià)簽署框架合同，應(yīng)用功能點(diǎn)開發(fā)折合人天計(jì)算費(fèi)用），局方維護(hù)管理部門承擔(dān)平臺(tái)管理者的角色。開發(fā)出來應(yīng)用供產(chǎn)品消費(fèi)者使用（業(yè)務(wù)部門），直接或間接形成價(jià)值。

4.2構(gòu)建數(shù)據(jù)資產(chǎn)架構(gòu)

針對(duì)數(shù)據(jù)生命周期兩階段的實(shí)際，運(yùn)營商數(shù)據(jù)資產(chǎn)可歸為匯總層資產(chǎn)和應(yīng)用層資產(chǎn)，包含元數(shù)據(jù)、表結(jié)構(gòu)、處理流程以及相關(guān)的文檔、管理流程、組織結(jié)構(gòu)。

對(duì)于匯總層，首先是面向各數(shù)據(jù)接口的數(shù)據(jù)域，數(shù)據(jù)域模型從數(shù)據(jù)視角對(duì)清單數(shù)據(jù)進(jìn)行合并、降維、歸一等處理。業(yè)務(wù)域模型和數(shù)據(jù)挖掘域模型基于數(shù)據(jù)域模型。業(yè)務(wù)域模型面向統(tǒng)計(jì)分析，從業(yè)務(wù)視角進(jìn)行高度匯總，如個(gè)人客戶、集團(tuán)客戶視圖，渠道、產(chǎn)品、營銷視圖等。數(shù)據(jù)挖掘域模型面向數(shù)據(jù)挖掘，從業(yè)務(wù)視角對(duì)可能用于挖掘的用戶屬性和特征進(jìn)行匯總，如流失預(yù)警、XX產(chǎn)品潛在客戶挖掘模型等。

對(duì)于應(yīng)用層。包含支撐KPI/報(bào)表/臨時(shí)提數(shù)的模型，也包含實(shí)時(shí)狀態(tài)認(rèn)知、行業(yè)偏好、出行認(rèn)知等基于數(shù)據(jù)挖掘的預(yù)測模型。以及基于這些模型包裝的大數(shù)據(jù)產(chǎn)品，比如網(wǎng)格化平臺(tái)、旅游人流監(jiān)控平臺(tái)、大數(shù)據(jù)分析報(bào)告、金融征信服務(wù)API等。

4.3構(gòu)建數(shù)據(jù)資產(chǎn)管理體系

一個(gè)良好的數(shù)據(jù)資產(chǎn)管理組織方式和IT支撐模式，可以高效提升對(duì)內(nèi)精準(zhǔn)營銷、對(duì)外數(shù)據(jù)價(jià)值變現(xiàn)等的效率，是數(shù)據(jù)驅(qū)動(dòng)運(yùn)營的必然要求。在組織、規(guī)范制度、IT方面都要進(jìn)行考慮。組織方面，成立常態(tài)化的模型管控團(tuán)隊(duì)對(duì)匯總層和應(yīng)用層的數(shù)據(jù)模型進(jìn)行管控。規(guī)范及制度方面，流程再造，建章立制，確保數(shù)據(jù)資產(chǎn)管理常態(tài)化開展。IT方面，通過元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)生命周期管理等功能聯(lián)動(dòng)，進(jìn)行支撐（見圖6）。

4.3.1組織和流程

數(shù)據(jù)資產(chǎn)管理是是業(yè)務(wù)人員（產(chǎn)品消費(fèi)者）、技術(shù)人員（平臺(tái)管理者）、開發(fā)人員（數(shù)據(jù)生產(chǎn)者、消費(fèi)者）共同的職責(zé)。模型管控團(tuán)隊(duì)?wèi)?yīng)由相關(guān)部門的專家組成，定期對(duì)涉及匯總層/應(yīng)用層資產(chǎn)的增刪減的變更進(jìn)行審核，這種審核將確保數(shù)據(jù)資產(chǎn)在“概念——邏輯——實(shí)體”3個(gè)層次的統(tǒng)一（見圖7）。

數(shù)據(jù)資產(chǎn)管理應(yīng)包括：事前（包括表、過程、標(biāo)準(zhǔn)、規(guī)范等的預(yù)定義等，元數(shù)據(jù)）、事中（基于預(yù)先定義的元數(shù)據(jù)開展數(shù)據(jù)加工、生產(chǎn)的過程，是生產(chǎn)態(tài)或運(yùn)行態(tài)）、事后（對(duì)數(shù)據(jù)資產(chǎn)的稽核、監(jiān)控等事后環(huán)節(jié)）流程管控環(huán)節(jié)（見圖8）。兩個(gè)關(guān)鍵控制點(diǎn)在進(jìn)行數(shù)據(jù)加工和生產(chǎn)前，對(duì)需求階段、規(guī)劃設(shè)計(jì)階段輸出規(guī)范文檔等進(jìn)行評(píng)審，確保模型調(diào)整可控；在數(shù)據(jù)加工和生產(chǎn)工程之后，通過數(shù)據(jù)質(zhì)量監(jiān)控、元數(shù)據(jù)血緣分析對(duì)數(shù)據(jù)模型進(jìn)行事后稽核，確保生產(chǎn)態(tài)模型與方案態(tài)模型的一致性，為后續(xù)評(píng)估優(yōu)化提供指導(dǎo)建議。

圖6　數(shù)據(jù)資產(chǎn)管理體系要素

圖7　模型管控團(tuán)隊(duì)的構(gòu)成

4.3.2關(guān)鍵IT能力

為支撐模型管控團(tuán)隊(duì)的管理控制，需要具備如下關(guān)鍵IT支撐能力。數(shù)據(jù)訪問管控能力，支持多種數(shù)據(jù)訪問方式（服務(wù)、文件、視圖、數(shù)據(jù)庫連接等）、敏感數(shù)據(jù)脫敏、安全、審計(jì)方面的管控；資源管控能力，構(gòu)建多租戶中心，打造Oracle/Hadoop/MPP多租戶能力，對(duì)計(jì)算資源、數(shù)據(jù)存儲(chǔ)能力的隔離訪問；元數(shù)據(jù)管理平臺(tái)（數(shù)據(jù)資產(chǎn)管理），通過元數(shù)據(jù)收斂B/M/O三域數(shù)據(jù)管理（表結(jié)構(gòu)、處理邏輯）、統(tǒng)一數(shù)據(jù)字典/溯源、匯總/應(yīng)用二級(jí)數(shù)據(jù)資產(chǎn)目錄。關(guān)鍵IT能力之間的交互如圖9所示。

圖8　模型管控團(tuán)隊(duì)的控制點(diǎn)

圖9　關(guān)鍵IT能力之間的交互

數(shù)據(jù)訪問管控，資源隔離管控（多租戶中心）、元數(shù)據(jù)管理平臺(tái)（數(shù)據(jù)資產(chǎn)管理）之前協(xié)同工作，實(shí)現(xiàn)對(duì)個(gè)角色的支撐。

數(shù)據(jù)資產(chǎn)管理平臺(tái)采集統(tǒng)一數(shù)據(jù)接入中心ETL元數(shù)據(jù)，Hadoop、MPP、DB元數(shù)據(jù)，并實(shí)現(xiàn)管理和分析。提供的數(shù)據(jù)安全規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)生命周期的定義實(shí)現(xiàn)對(duì)數(shù)據(jù)的安全管控、質(zhì)量稽核以及數(shù)據(jù)的遷移。

數(shù)據(jù)資產(chǎn)管理平臺(tái)提供數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全規(guī)則、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)生命周期給能力服務(wù)中心的多租戶中心，能力服務(wù)中心的多租戶中心統(tǒng)一開發(fā)模塊基于提供的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行模型設(shè)計(jì)、物理建模。

數(shù)據(jù)加工者、數(shù)據(jù)消費(fèi)者、產(chǎn)品消費(fèi)者、平臺(tái)管理者可以通過能力服務(wù)門戶獲得對(duì)數(shù)據(jù)生命周期中相應(yīng)的能力。

4.4小結(jié)

基于DAMA體系“數(shù)據(jù)生命周期”、“數(shù)據(jù)管理職能”兩大關(guān)鍵點(diǎn)，結(jié)合省級(jí)運(yùn)營商數(shù)據(jù)管理實(shí)際初步構(gòu)建了可落地實(shí)施的數(shù)據(jù)資產(chǎn)管理體系，包括組織、流程和IT能力，在過程中舍棄了標(biāo)準(zhǔn)“數(shù)據(jù)生命周期”以及“數(shù)據(jù)管理職能”中的一些環(huán)節(jié)以確?！皬?到1”的過程的快速、可落地、可實(shí)際操作。

5　結(jié)束語

對(duì)數(shù)據(jù)的認(rèn)識(shí)和使用將成為大數(shù)據(jù)時(shí)代電信運(yùn)營商轉(zhuǎn)型成敗的關(guān)鍵。雖然為了確?！皬?到1”的快速落地，對(duì)DAMA體系做了相應(yīng)的裁剪。在“從1到5”乃至“從5到10”的過程中，仍然需要根據(jù)企業(yè)目標(biāo)和管理的精細(xì)化程度對(duì)DAMA體系進(jìn)行合理揚(yáng)棄，比如運(yùn)營商具備一定程度自主研發(fā)能力后，對(duì)數(shù)據(jù)資產(chǎn)的管控會(huì)涉及開發(fā)。對(duì)數(shù)據(jù)的認(rèn)識(shí)和使用永遠(yuǎn)是企業(yè)最核心的競爭力，需要培養(yǎng)專業(yè)的數(shù)據(jù)挖掘團(tuán)隊(duì)，管好、用好數(shù)據(jù)。

［1］DAMA International.DAMA數(shù)據(jù)管理知識(shí)體系指南［M］.馬歡，劉晨，譯.北京：清華大學(xué)出版社，2014.

［2］Bill Franks.駕馭大數(shù)據(jù)［M］.黃海，譯.北京：人民郵電出版社，2013.

The research and practice of the data asset management for telecom operator based DAMA

LIU Nanhai

In the age of Big Data，data has become a key asset to achieve corporate goals.Based the DAMA，with the actual situation of provincial operators，we analyzed the data life cycle，build the data assets structure，made a adjustment in the organization，process and IT.At last，we gave a the implementation of data assets management system for provincial operators.

Big Data；data asset management；DAMA

2016-08-26）