數(shù)據(jù)中心數(shù)據(jù)資源梳理及數(shù)據(jù)核查研究

馮 楠，賈大江，高 杰

（1.國網(wǎng)山西省電力公司，山西 太原 030001；2.南京南瑞集團(tuán)公司，江蘇 南京 211000）

0 引言

數(shù)據(jù)在企業(yè)生產(chǎn)、經(jīng)營管理過程中生成，直觀反映了公司運(yùn)營的基本狀況，對數(shù)據(jù)資產(chǎn)進(jìn)行深度挖掘?qū)μ嵘具\(yùn)營效率和效益，有效防范風(fēng)險具有重要意義。國網(wǎng)公司開展全業(yè)務(wù)數(shù)據(jù)中心建設(shè)，為各級運(yùn)監(jiān)中心開展數(shù)據(jù)資產(chǎn)管理，挖掘數(shù)據(jù)資產(chǎn)價值創(chuàng)造了有利條件。2017年，為加快推動公司全業(yè)務(wù)數(shù)據(jù)中心建設(shè)，按照總部工作安排，山西公司負(fù)責(zé)開展電網(wǎng)調(diào)度管理系統(tǒng)OMS（power dispatching management system） 系統(tǒng)、營銷基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)資源梳理工作，并對接入全業(yè)務(wù)數(shù)據(jù)中心的數(shù)據(jù)開展數(shù)據(jù)質(zhì)量監(jiān)測。應(yīng)用技術(shù)手段，發(fā)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典關(guān)鍵備注信息缺失、部分業(yè)務(wù)系統(tǒng)的數(shù)據(jù)表中包含垃圾數(shù)據(jù)、數(shù)據(jù)字段或記錄缺失、數(shù)據(jù)不符合標(biāo)準(zhǔn)等問題。針對發(fā)現(xiàn)的問題，通過完善數(shù)據(jù)字典關(guān)鍵信息，開展源端數(shù)據(jù)整治，督促業(yè)務(wù)系統(tǒng)提升數(shù)據(jù)質(zhì)量，推動全業(yè)務(wù)數(shù)據(jù)中心分析域建設(shè)水平提升。

1 數(shù)據(jù)資源梳理及數(shù)據(jù)核查工作思路

根據(jù)公司全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心建設(shè)方案，運(yùn)監(jiān)中心充分發(fā)揮數(shù)據(jù)管理和應(yīng)用方面的優(yōu)勢，開展厘清數(shù)據(jù)資源、開展數(shù)據(jù)核查、完善數(shù)據(jù)管理體系等工作，提升公司數(shù)據(jù)質(zhì)量及自主維護(hù)能力，挖掘和發(fā)揮數(shù)據(jù)價值。

a）全面厘清業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源，編制完整清晰的數(shù)據(jù)資源手冊，構(gòu)建數(shù)據(jù)全景視圖。

b）建立數(shù)據(jù)核查規(guī)則庫，開展數(shù)據(jù)核查，發(fā)現(xiàn)問題并督促整改，大力提升數(shù)據(jù)質(zhì)量。

c）建立健全數(shù)據(jù)管理制度，統(tǒng)一標(biāo)準(zhǔn)并落實(shí)到位，強(qiáng)化評價考核措施，構(gòu)建數(shù)據(jù)管理體系[1]。

2 開展數(shù)據(jù)資源梳理工作

以產(chǎn)生結(jié)構(gòu)化、一手業(yè)務(wù)數(shù)據(jù)為主的業(yè)務(wù)系統(tǒng)為對象，對公司業(yè)務(wù)系統(tǒng)逐個開展數(shù)據(jù)資源梳理、數(shù)據(jù)核查，基于現(xiàn)有數(shù)據(jù)構(gòu)建公司業(yè)務(wù)數(shù)據(jù)體系。

2.1 收集整理設(shè)計文檔

收集各業(yè)務(wù)系統(tǒng)設(shè)計文檔，對照系統(tǒng)實(shí)際運(yùn)行情況核對文檔的完整性、規(guī)范性和一致性，組織廠商補(bǔ)全信息并迭代整改。開展設(shè)計文檔與實(shí)際環(huán)境一致性比對，并完善數(shù)據(jù)字典設(shè)計文檔。標(biāo)記一手?jǐn)?shù)據(jù)，編制涵蓋數(shù)據(jù)存儲卷、應(yīng)用場景卷的數(shù)據(jù)資源手冊。

根據(jù)下發(fā)的業(yè)務(wù)系統(tǒng)相關(guān)設(shè)計文檔，包括數(shù)據(jù)字典文檔等。協(xié)調(diào)業(yè)務(wù)系統(tǒng)運(yùn)維單位，獲取業(yè)務(wù)系統(tǒng)生產(chǎn)環(huán)境數(shù)據(jù)字典信息，作為數(shù)據(jù)字典設(shè)計文檔核查的標(biāo)準(zhǔn)，主要通過兩種方式獲?。阂皇腔谑」静渴鸬臄?shù)據(jù)管理服務(wù)平臺實(shí)現(xiàn)，二是通過在生產(chǎn)庫中執(zhí)行腳本導(dǎo)出數(shù)據(jù)字典?；谙掳l(fā)的數(shù)據(jù)字典設(shè)計文檔，與運(yùn)行態(tài)數(shù)據(jù)字典比對，生成核查比對結(jié)果。

2.2 編制數(shù)據(jù)資源手冊并持續(xù)優(yōu)化

2.2.1 完善數(shù)據(jù)存儲卷

組織支撐人員完成對應(yīng)系統(tǒng)數(shù)據(jù)字典[2]（表、字段） 缺失信息補(bǔ)充完整和完善（包含表名、表備注、列名、列備注，是否主鍵，是否外鍵，數(shù)據(jù)類型、精度、長度、取值范圍，是否為空，取值范圍等）。

a）業(yè)務(wù)域描述信息。按照公司數(shù)據(jù)資源梳理和數(shù)據(jù)核查要求，提供完整的業(yè)務(wù)域信息，不僅要完成業(yè)務(wù)域的層級劃分，同時也要提供詳細(xì)業(yè)務(wù)描述信息。

b）表描述信息。按照公司數(shù)據(jù)資源梳理和數(shù)據(jù)核查要求，提供完整的表備注信息。

c）字段信息。按照公司數(shù)據(jù)資源梳理和數(shù)據(jù)核查要求，提供完整的字段信息（包括是否為標(biāo)準(zhǔn)編碼[3]和鍵值枚舉、業(yè)務(wù)信息描述、缺失單位、計算公式和主外鍵關(guān)系等）。

2.2.2 標(biāo)記一手?jǐn)?shù)據(jù)

一手?jǐn)?shù)據(jù)指業(yè)務(wù)信息經(jīng)過計算機(jī)人機(jī)界面后，在業(yè)務(wù)系統(tǒng)中形成的第一批數(shù)據(jù)。對一手?jǐn)?shù)據(jù)進(jìn)行復(fù)制、加工計算能進(jìn)一步形成二手、三手?jǐn)?shù)據(jù)（衍生數(shù)據(jù)）。一手?jǐn)?shù)據(jù)是業(yè)務(wù)系統(tǒng)中最精煉的核心數(shù)據(jù)，承載了未經(jīng)加工處理的原生態(tài)業(yè)務(wù)信息，并可依據(jù)計算模型推導(dǎo)出所有衍生數(shù)據(jù)。

一手?jǐn)?shù)據(jù)包括用戶錄入（檔案、單據(jù)等信息）、系統(tǒng)自動采集（采集數(shù)據(jù)、日志數(shù)據(jù)） 以及批量導(dǎo)入的數(shù)據(jù)（采購的外部數(shù)據(jù)等）。

2.2.3 編寫業(yè)務(wù)場景

依據(jù)功能點(diǎn)清單，梳理典型應(yīng)用場景及數(shù)據(jù)支撐關(guān)系，包括涉及的底層表、字段、編碼以及相應(yīng)的計算邏輯。依照總部統(tǒng)一下發(fā)的應(yīng)用場景卷樣例和模板，按系統(tǒng)編制應(yīng)用場景卷。

編寫對應(yīng)系統(tǒng)業(yè)務(wù)場景（包含場景名稱、業(yè)務(wù)操作、單據(jù)流程信息、服務(wù)對象、訪問路徑、設(shè)計業(yè)務(wù)領(lǐng)域、數(shù)據(jù)字典、系統(tǒng)輸入與輸出，數(shù)據(jù)層處理邏輯）。

2.2.4 編制數(shù)據(jù)資源手冊

按照公司要求將業(yè)務(wù)數(shù)據(jù)映射關(guān)系同源端系統(tǒng)設(shè)計文檔比對，修改完善映射關(guān)系；同時對比應(yīng)有數(shù)據(jù)集，完善業(yè)務(wù)數(shù)據(jù)資源，據(jù)此編制數(shù)據(jù)資源手冊。手冊與系統(tǒng)實(shí)際運(yùn)行情況能夠?qū)?yīng)完整、規(guī)范、一致，數(shù)據(jù)資源手冊能夠體現(xiàn)關(guān)鍵的業(yè)務(wù)信息，構(gòu)建數(shù)據(jù)全景視圖，指導(dǎo)數(shù)據(jù)的快速查詢、應(yīng)用。

2.2.5 核查數(shù)據(jù)字典關(guān)鍵信息缺失情況

組織人員通過對OMS系統(tǒng)、營銷基礎(chǔ)數(shù)據(jù)平臺開展數(shù)據(jù)資源梳理，發(fā)現(xiàn)數(shù)據(jù)字典存在關(guān)鍵信息缺失，主要體現(xiàn)在以下幾個方面，即數(shù)據(jù)表備注信息不全或者沒有備注信息，數(shù)據(jù)表字段信息描述不清楚或者缺失，主外鍵關(guān)系表述不清楚或者缺失，涉及到標(biāo)準(zhǔn)編碼和鍵值枚舉在字段注釋沒有詳細(xì)描述等。其中營銷基礎(chǔ)數(shù)據(jù)平臺梳理數(shù)據(jù)字段關(guān)鍵信息缺失情況如表1所示，OMS系統(tǒng)梳理數(shù)據(jù)字段關(guān)鍵信息缺失情況如表2所示。

表2 OMS系統(tǒng)數(shù)據(jù)字典信息缺失情況表

2.2.6 數(shù)據(jù)字典關(guān)鍵信息完善及改進(jìn)

組織相關(guān)部門收集OMS系統(tǒng)、營銷基礎(chǔ)數(shù)據(jù)平臺的數(shù)據(jù)字典和功能設(shè)計文檔，根據(jù)設(shè)計文檔業(yè)務(wù)描述將業(yè)務(wù)域、數(shù)據(jù)表、字段、主外鍵關(guān)系等相關(guān)信息補(bǔ)充完整。其中存在問題較大，嚴(yán)重缺失的信息，協(xié)調(diào)業(yè)務(wù)部門組織原系統(tǒng)廠商完善，OMS系統(tǒng)、營銷基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)字典關(guān)鍵信息經(jīng)過逐項補(bǔ)充完善后，數(shù)據(jù)字典質(zhì)量得到顯著提升。

a）OMS系統(tǒng)梳理功能業(yè)務(wù)域850項，數(shù)據(jù)表3490張，字段90921個。其中梳理涉及標(biāo)準(zhǔn)編碼字段有503個，鍵值枚舉的字段有3406個，外鍵關(guān)聯(lián)的字段有14個，鍵值碼表24個。

b） 營銷基礎(chǔ)數(shù)據(jù)平臺梳理功能業(yè)務(wù)域276項，數(shù)據(jù)表3582張，字段53160個。其中梳理涉及標(biāo)準(zhǔn)編碼和鍵值枚舉的字段有733個，外鍵關(guān)聯(lián)的字段有540個。

3 開展數(shù)據(jù)核查

重點(diǎn)從垃圾數(shù)據(jù)、缺項數(shù)據(jù)、不符合標(biāo)準(zhǔn)的數(shù)據(jù)等方面制定核查規(guī)則，編制核查腳本和核查操作手冊；結(jié)合業(yè)務(wù)監(jiān)測工作擴(kuò)充體現(xiàn)業(yè)務(wù)內(nèi)涵和數(shù)據(jù)間關(guān)聯(lián)關(guān)系的核查規(guī)則，持續(xù)優(yōu)化完善核查規(guī)則。核查垃圾數(shù)據(jù)、缺失數(shù)據(jù)、不符合標(biāo)準(zhǔn)的數(shù)據(jù)并反饋至業(yè)務(wù)系統(tǒng)源端。

3.1 核查規(guī)則制定

主要針對垃圾數(shù)據(jù)、數(shù)據(jù)缺項、數(shù)據(jù)不符合標(biāo)準(zhǔn)等基礎(chǔ)問題。垃圾數(shù)據(jù)主要指垃圾表、字段以及垃圾記錄。數(shù)據(jù)缺項主要指數(shù)據(jù)字段缺失或?yàn)榭?、記錄缺失。?shù)據(jù)不符合標(biāo)準(zhǔn)主要指不符合主數(shù)據(jù)規(guī)范。

編制數(shù)據(jù)質(zhì)量核查腳本。針對不同類型的數(shù)據(jù)質(zhì)量核查規(guī)則，同時結(jié)合總部下發(fā)數(shù)據(jù)核查腳本樣例，對涉及到的所有數(shù)據(jù)表逐表編制數(shù)據(jù)質(zhì)量核查腳本，經(jīng)過測試后，通過技術(shù)手段完成系統(tǒng)固化。定期開展數(shù)據(jù)質(zhì)量核查。提升數(shù)據(jù)字典的規(guī)范性和數(shù)據(jù)質(zhì)量的合規(guī)性。

3.2 開展數(shù)據(jù)質(zhì)量核查

根據(jù)公司統(tǒng)推業(yè)務(wù)系統(tǒng)部署實(shí)施情況，山西運(yùn)監(jiān)中心將業(yè)務(wù)系統(tǒng)分為經(jīng)營管理、生產(chǎn)調(diào)度兩類，組織人員分別制定數(shù)據(jù)核查規(guī)則，并對全業(yè)務(wù)數(shù)據(jù)中心接入數(shù)據(jù)進(jìn)行核查。對基礎(chǔ)數(shù)據(jù)進(jìn)行核查后發(fā)現(xiàn)，業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫中存在重復(fù)數(shù)據(jù)、數(shù)據(jù)項缺失、數(shù)據(jù)記錄缺失、數(shù)據(jù)不符合標(biāo)準(zhǔn)等問題。

3.3 開展數(shù)據(jù)整治

在匯總核查問題結(jié)果經(jīng)業(yè)務(wù)部門復(fù)核之后，協(xié)調(diào)業(yè)務(wù)系統(tǒng)運(yùn)維人員對存在疑似問題的數(shù)據(jù)表在源端進(jìn)行了整改。整改效果較好，平均達(dá)到99%，同時將數(shù)據(jù)核查納入常態(tài)監(jiān)控問題處理。

4 數(shù)據(jù)資源梳理及數(shù)據(jù)核查成效

4.1 數(shù)據(jù)字典關(guān)鍵信息得到完善

根據(jù)公司數(shù)據(jù)資源梳理工作要求，對照相關(guān)部門提供的數(shù)據(jù)字典，組織源業(yè)務(wù)系統(tǒng)廠商扎實(shí)開展數(shù)據(jù)資源梳理，全面完善系統(tǒng)的業(yè)務(wù)域、表、字段、標(biāo)準(zhǔn)編碼，并部署開發(fā)數(shù)據(jù)資源手冊完整性核查工具。實(shí)現(xiàn)自動比對數(shù)據(jù)資源梳理成果，并對未滿足梳理要求的字段進(jìn)行標(biāo)記。山西公司數(shù)據(jù)資源梳理成果得到了總部的充分肯定和認(rèn)可。

4.2 全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)質(zhì)量顯著提升

通過開展數(shù)據(jù)質(zhì)量核查及治理工作，對接入數(shù)據(jù)中心的各業(yè)務(wù)系統(tǒng)質(zhì)量有了準(zhǔn)確的核查結(jié)果。在全面核查的基礎(chǔ)上，對各業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量進(jìn)行整改治理，從業(yè)務(wù)系統(tǒng)源端促進(jìn)了數(shù)據(jù)質(zhì)量的顯著提升，全業(yè)務(wù)數(shù)據(jù)中心接入數(shù)據(jù)質(zhì)量達(dá)標(biāo)率可到92%，為公司各專業(yè)基于全業(yè)務(wù)數(shù)據(jù)中心分析域開展數(shù)據(jù)挖掘工作奠定了堅實(shí)基礎(chǔ)。

4.3 建立并運(yùn)行全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)質(zhì)量管控體制

按照公司“五位一體”的內(nèi)在要求，從職責(zé)、流程、制度、標(biāo)準(zhǔn)、考核5個方面加強(qiáng)數(shù)據(jù)管理，明確職責(zé)界面，細(xì)化、固化并持續(xù)優(yōu)化數(shù)據(jù)管理流程，建立健全全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)管理制度，統(tǒng)一標(biāo)準(zhǔn)并落實(shí)到位，強(qiáng)化評價考核措施，構(gòu)建全業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)質(zhì)量管控體制。從數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)權(quán)限、數(shù)據(jù)生成、數(shù)據(jù)維護(hù)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全、支撐與保障、考核評價管理等方面規(guī)范數(shù)據(jù)管理工作，加強(qiáng)數(shù)據(jù)自主維護(hù)，提升數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)可控、增值。組建數(shù)據(jù)管理專家團(tuán)隊，指導(dǎo)提出數(shù)據(jù)管理相關(guān)問題及解決措施，具備數(shù)據(jù)運(yùn)維和數(shù)據(jù)分析的能力。