大型企業(yè)主數(shù)據(jù)管理項(xiàng)目實(shí)踐

姜進(jìn)成，趙慧杰

（兗礦集團(tuán)有限公司，山東 鄒城 273500）

0 引 言

“大數(shù)據(jù)”、“云計(jì)算”、“移動(dòng)互聯(lián)網(wǎng)”、“可穿戴設(shè)備”、“區(qū)塊鏈”，這些都是未來IT 技術(shù)發(fā)展的核心，每一項(xiàng)內(nèi)容對(duì)企業(yè)信息化管理都帶來了很大的轉(zhuǎn)變，其中大數(shù)據(jù)帶來的顛覆和沖擊最為明顯，而在企業(yè)大數(shù)據(jù)應(yīng)用過程中，主數(shù)據(jù)管理又是最基礎(chǔ)的一項(xiàng)工作，如果忽視了主數(shù)據(jù)的管理，對(duì)大數(shù)據(jù)分析、應(yīng)用也帶來很大的困難，影響數(shù)據(jù)分析結(jié)果。

主數(shù)據(jù)（MD Master Data）指系統(tǒng)間共享數(shù)據(jù)（例如，客戶、供應(yīng)商、物料和組織部門相關(guān)數(shù)據(jù)）。主數(shù)據(jù)是指具有高業(yè)務(wù)價(jià)值的、可在企業(yè)內(nèi)跨業(yè)務(wù)部門被重復(fù)使用并在各業(yè)務(wù)應(yīng)用系統(tǒng)間高度共享的基礎(chǔ)數(shù)據(jù)，具有特征一致性、識(shí)別唯一性、長期有效性、交易穩(wěn)定性四大特征。與記錄業(yè)務(wù)活動(dòng)、波動(dòng)較大的交易數(shù)據(jù)相比，主數(shù)據(jù)變化緩慢，是基礎(chǔ)數(shù)據(jù)，具有穩(wěn)定性、非交易性的特征。主數(shù)據(jù)必須進(jìn)行正確維護(hù)，才能業(yè)務(wù)系統(tǒng)的參照完整性。

主數(shù)據(jù)管理系統(tǒng)（MDM）是管理主數(shù)據(jù)的系統(tǒng)，包含了對(duì)企業(yè)主數(shù)據(jù)數(shù)據(jù)采集、創(chuàng)建、管理、分發(fā)、監(jiān)控等覆蓋企業(yè)主數(shù)據(jù)的整個(gè)生命周期管理的功能。MDM 可以通過規(guī)則配置、數(shù)據(jù)建模、應(yīng)用建模、流程建模建立業(yè)務(wù)模型，MDM 能與 MES、SRM、ERP 等不同系統(tǒng)對(duì)接，方便從企業(yè)異構(gòu)系統(tǒng)中采集、分發(fā)數(shù)據(jù)，對(duì)企業(yè)核心數(shù)據(jù)，如物料、供應(yīng)商、客戶、組織、人員進(jìn)行集中管理，實(shí)現(xiàn)企業(yè)核心數(shù)據(jù)的一致、規(guī)范、共享，增加企業(yè)的跨業(yè)務(wù)協(xié)調(diào)能力，提升企業(yè)數(shù)據(jù)的價(jià)值，促進(jìn)企業(yè)生產(chǎn)效率。

大型企業(yè)主數(shù)據(jù)較多，管理難度大，本文以物料主數(shù)據(jù)為例，按照項(xiàng)目實(shí)施的實(shí)踐，介紹主數(shù)據(jù)治理的過程。

1 主數(shù)據(jù)收集與治理

大型企業(yè)物料主數(shù)據(jù)數(shù)據(jù)量大，基本視圖通常能夠達(dá)到幾十萬條，業(yè)務(wù)視圖多達(dá)幾百萬條，收集與清洗工作量巨大。通常說信息化系統(tǒng)三分技術(shù)，七分實(shí)施，十二分?jǐn)?shù)據(jù),進(jìn)去的是垃圾，出來肯定也是垃圾。因此需要精心組織，才能有序開展企業(yè)信息化建設(shè)。

1.1 制定合理的計(jì)劃，做好準(zhǔn)備工作

開展主數(shù)據(jù)收集工作前，制定計(jì)劃，明確物料主數(shù)據(jù)收集遷移培訓(xùn)、確認(rèn)各單位使用物料范圍、物料主數(shù)據(jù)收集、物料主數(shù)據(jù)清洗、物料主數(shù)據(jù)確認(rèn)、增量物料主數(shù)據(jù)收集、物料主數(shù)據(jù)導(dǎo)入的時(shí)間節(jié)點(diǎn)，確定物料主數(shù)據(jù)收集策略、物料主數(shù)據(jù)收集模板。

1.2 召開啟動(dòng)會(huì)，做好動(dòng)員宣貫

眾所周知信息化建設(shè)是“一把手”工程，主數(shù)據(jù)收集參與單位多，治理難度大，企業(yè)高層同樣需要高度重視主數(shù)據(jù)治理，召開動(dòng)員會(huì)，明確工作目標(biāo)，宣貫工作內(nèi)容與時(shí)間節(jié)點(diǎn)，同時(shí)制定考核激勵(lì)機(jī)制，按照規(guī)定的時(shí)間節(jié)點(diǎn)進(jìn)行檢查考核，在集團(tuán)范圍內(nèi)進(jìn)行通報(bào)各單位的數(shù)據(jù)整理結(jié)果，確保主數(shù)據(jù)治理能夠按期完成。

1.3 確立組織架構(gòu)，完善保障機(jī)制

數(shù)據(jù)工作需要一個(gè)完整的機(jī)制來支持?jǐn)?shù)據(jù)治理工作的開展，而人員組織是其中的重要組成部分，還需要有一個(gè)完善的組織和機(jī)制來保障系統(tǒng)上線后的數(shù)據(jù)完整性，明確數(shù)據(jù)維護(hù)的流程與技術(shù)平臺(tái)。

1.3.1 建立組織

主數(shù)據(jù)管理工作是一個(gè)復(fù)雜、長期性的工程，為確保主數(shù)據(jù)管理工作有條不紊地進(jìn)行，企業(yè)需要建立主數(shù)據(jù)管理組織機(jī)構(gòu)，分為決策層、管理層、執(zhí)行層，組織機(jī)構(gòu)圖如圖1 所示：

圖1 企業(yè)組織機(jī)構(gòu)

主數(shù)據(jù)管理委員會(huì)是主數(shù)據(jù)管理的決策機(jī)構(gòu)，企業(yè)總經(jīng)理任委員會(huì)主任，信息化分管領(lǐng)導(dǎo)及相關(guān)業(yè)務(wù)分管領(lǐng)導(dǎo)任委員會(huì)成員。

主數(shù)據(jù)管理委員會(huì)下設(shè)主數(shù)據(jù)管理辦公室，是主數(shù)據(jù)管理的常設(shè)機(jī)構(gòu)。

各主數(shù)據(jù)主管部門、專家組和技術(shù)支持組是主數(shù)據(jù)管理工作的具體執(zhí)行組織，對(duì)各類主數(shù)據(jù)進(jìn)行歸口管理（主數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)全生命周期管理、主數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)安全管理等）。

明確組織之后，各單位提報(bào)各崗位人員，并在主數(shù)據(jù)管理系統(tǒng)配置。

1.3.2 建立流程

在項(xiàng)目實(shí)施及后續(xù)系統(tǒng)維護(hù)過程中，要充分考慮數(shù)據(jù)的維護(hù)和整理需求，為數(shù)據(jù)的維護(hù)以及編碼的申請(qǐng)、審批、編制、使用、查詢、廢棄等工作制定相應(yīng)的工作流程，保障數(shù)據(jù)增加、變更方便快捷。

1.3.3 確定技術(shù)平臺(tái)

進(jìn)行數(shù)據(jù)管理需要一套完整主數(shù)據(jù)管理系統(tǒng)，管理主數(shù)據(jù)人員組織、權(quán)限、數(shù)據(jù)維護(hù)流程、數(shù)據(jù)篩選清洗，保障數(shù)據(jù)質(zhì)量。同時(shí)考慮主數(shù)據(jù)管理系統(tǒng)與業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)傳輸、共享方式與技術(shù)實(shí)現(xiàn)。

主數(shù)據(jù)管理系統(tǒng)應(yīng)具備完整的主數(shù)據(jù)生命周期管理、數(shù)據(jù)采集治理、工作流和數(shù)據(jù)錄入、良好的安全控制及角色管理、數(shù)據(jù)發(fā)布、數(shù)據(jù)監(jiān)控與分析、數(shù)據(jù)模型等核心功能。

1.4 充分培訓(xùn)，掌握主數(shù)據(jù)收集方法

主數(shù)據(jù)收集涉及單位眾多，各單位數(shù)據(jù)收集人員對(duì)主數(shù)據(jù)的認(rèn)識(shí)也各有不同，因此培訓(xùn)就尤其重要，為了保證培訓(xùn)效果，要制定培訓(xùn)計(jì)劃，分批進(jìn)行培訓(xùn)，配合視頻教學(xué)，使每一位參與人員都能夠掌握主數(shù)據(jù)收集的工作方法。

1.5 開展主數(shù)據(jù)收集與清理

做了上述前期準(zhǔn)備工作之后，進(jìn)入數(shù)據(jù)收集階段。數(shù)據(jù)收集按以下步驟進(jìn)行。

1）分配任務(wù)，按單位按照數(shù)據(jù)收集模板展開收集工作。

2）數(shù)據(jù)收集按照挑選、收集、檢查、修正的步驟循環(huán)完善，如圖2 所示。

圖2 數(shù)據(jù)收集

3）按單位匯總、核對(duì)、確認(rèn)，導(dǎo)入新系統(tǒng)。需要說明的是，數(shù)據(jù)的確認(rèn)需要各單位簽字、蓋章進(jìn)行確認(rèn)，提高各單位對(duì)數(shù)據(jù)質(zhì)量的重視程度，同時(shí)保障數(shù)據(jù)的質(zhì)量。

4）主數(shù)據(jù)收集清理進(jìn)度跟蹤。為了確保主數(shù)據(jù)收集時(shí)間進(jìn)度，在數(shù)據(jù)收集過程中，需要及時(shí)跟蹤工作進(jìn)展，按每天、每周方式進(jìn)行，如圖3 所示：

圖3 主數(shù)據(jù)收集清理進(jìn)度跟蹤

2 制定主數(shù)據(jù)管理辦法

為加強(qiáng)和規(guī)范企業(yè)主數(shù)據(jù)管理，強(qiáng)化主數(shù)據(jù)治理，持續(xù)提高企業(yè)主數(shù)據(jù)標(biāo)準(zhǔn)化水平和數(shù)據(jù)質(zhì)量，明確主數(shù)據(jù)管理部門及職責(zé)和程序，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，為企業(yè)數(shù)據(jù)資產(chǎn)管理提供保障，需要制定主數(shù)據(jù)管理辦法，建立制度保障。將管理組織、職責(zé)分工、管理流程、考核制度以文件的方式固定下下來。主數(shù)據(jù)管理制度堅(jiān)持“統(tǒng)一標(biāo)準(zhǔn)、集中管控、專業(yè)負(fù)責(zé)、分級(jí)審核”的原則，進(jìn)行管理組織、管理機(jī)制、監(jiān)督考核機(jī)制等內(nèi)容的構(gòu)建。

3 主數(shù)據(jù)管理常見問題及應(yīng)對(duì)

在主數(shù)據(jù)治理項(xiàng)目實(shí)踐過程中通常會(huì)遇到各類問題，歸納起來主要有人員投入、部門協(xié)調(diào)、計(jì)劃執(zhí)行、數(shù)據(jù)模板等方面的問題，從項(xiàng)目實(shí)踐的角度，提出以下應(yīng)對(duì)方法。

3.1 人員投入問題。

1）問題描述。對(duì)數(shù)據(jù)收集要求的理解不準(zhǔn)確，或不認(rèn)真對(duì)待；負(fù)責(zé)部門推動(dòng)能力不足，各單位主收集人員日常工作忙，投入有限。

2）應(yīng)對(duì)方法。各上線單位要高度重視，單位負(fù)責(zé)人合理安排數(shù)據(jù)收集人員工作，適當(dāng)安排其他人員承擔(dān)一部分?jǐn)?shù)據(jù)收集人員的現(xiàn)有工作；各單位數(shù)據(jù)負(fù)責(zé)人，要全面負(fù)責(zé)且參與數(shù)據(jù)整理、確保數(shù)據(jù)的真實(shí)準(zhǔn)確。

3.2 部門協(xié)調(diào)問題

1）問題描述。跨部門數(shù)據(jù)收集核對(duì)工作量大，且存在數(shù)據(jù)口徑差異、數(shù)據(jù)缺乏結(jié)構(gòu)性等問題，提交上來的數(shù)據(jù)沒有互相核對(duì)。

2）應(yīng)對(duì)方法：跨部門數(shù)據(jù)收集核對(duì)工作量大，要由各單位數(shù)據(jù)對(duì)接人組織各部門協(xié)同，保障進(jìn)度。數(shù)據(jù)收集過程中多次核對(duì)、反復(fù)校對(duì)。

3.3 未按計(jì)劃執(zhí)行問題

1）問題描述。對(duì)于跨部門的數(shù)據(jù)收集難協(xié)調(diào)，未能計(jì)劃完成數(shù)據(jù)收集工作。提報(bào)數(shù)據(jù)時(shí)間滯后。

2）應(yīng)對(duì)方法。明確各單位主數(shù)據(jù)收集遷移工作計(jì)劃，對(duì)每一項(xiàng)工作任務(wù)每天跟蹤，確保項(xiàng)目進(jìn)度。各單位數(shù)據(jù)組組長應(yīng)花精力投入到數(shù)據(jù)收集清洗工作中，按時(shí)、保質(zhì)督促各部門完成數(shù)據(jù)收集、核對(duì)工作。

3.4 數(shù)據(jù)模板問題

1）問題描述。不按模板填寫數(shù)據(jù)，擅自修改格式，導(dǎo)致數(shù)據(jù)不規(guī)范，數(shù)據(jù)格式不一致，無法互相比對(duì)；數(shù)據(jù)項(xiàng)缺失，部分?jǐn)?shù)據(jù)收集不全，尤其是跨部門數(shù)據(jù)；數(shù)據(jù)點(diǎn)位數(shù)錯(cuò)誤，有非法字符、張冠李戴。

2）應(yīng)對(duì)方法。加強(qiáng)人員培訓(xùn)，必要時(shí)由項(xiàng)目組關(guān)鍵用戶對(duì)各公司數(shù)據(jù)收集人進(jìn)行針對(duì)性培訓(xùn)；強(qiáng)調(diào)數(shù)據(jù)收集模板重要性，嚴(yán)格按照數(shù)據(jù)收集要求進(jìn)行；對(duì)模板要求需要認(rèn)真理解，對(duì)主數(shù)據(jù)管理系統(tǒng)及業(yè)務(wù)系統(tǒng)要求邏輯需要認(rèn)真理解。

4 結(jié)束語

主數(shù)據(jù)管理是一項(xiàng)長期的系統(tǒng)工程，不是一次動(dòng)用大量的人員一次性治理就能完成，需要按照制定的管理制度與管理流程，持續(xù)進(jìn)行優(yōu)化完善，否則花大力氣整理的數(shù)據(jù)經(jīng)過一段時(shí)間運(yùn)行后又會(huì)變得混亂，總之主數(shù)據(jù)治理知易行難，企業(yè)要堅(jiān)持不懈的做好這項(xiàng)工作。