基于全生命周期的數(shù)據(jù)質(zhì)量管理研究與實踐

范媛媛

[摘要]信息化時代呈現(xiàn)出數(shù)字化、網(wǎng)絡(luò)化、智能化特征，數(shù)據(jù)逐步成為新的生產(chǎn)要素，發(fā)揮著越來越重要的作用。如何提高數(shù)據(jù)的可靠性可用性，最大程度發(fā)揮數(shù)據(jù)資產(chǎn)價值，已經(jīng)提升到企業(yè)的核心戰(zhàn)略問題。本文簡要介紹了數(shù)據(jù)質(zhì)量管理定義、數(shù)據(jù)質(zhì)量問題成因和評價維度，并重點從組織、制度、技術(shù)和內(nèi)容四個方面對國開行的全生命周期數(shù)據(jù)質(zhì)量管理實踐進行了分析。

[關(guān)鍵詞]數(shù)據(jù)質(zhì)量；數(shù)據(jù)質(zhì)量管理；全生命周期

一、概述

（一）數(shù)據(jù)質(zhì)量管理定義

數(shù)據(jù)質(zhì)量是數(shù)據(jù)的可用程度，即數(shù)據(jù)滿足業(yè)務(wù)運行、管理與決策的程度，可通過準確性、完整性、一致性等指標予以衡量。

數(shù)據(jù)質(zhì)量管理是指對數(shù)據(jù)從獲取、存儲、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。

（二）數(shù)據(jù)質(zhì)量問題的成因和評價維度

數(shù)據(jù)質(zhì)量問題產(chǎn)生于數(shù)據(jù)管理整個生命周期的各個環(huán)節(jié)，是由業(yè)務(wù)、技術(shù)和管理等多方面因素造成的。例如：業(yè)務(wù)需求階段，業(yè)務(wù)部門重業(yè)務(wù)流程輕需求分析，導致數(shù)據(jù)需求不完備不準確：系統(tǒng)設(shè)計階段，架構(gòu)不合理功能重復建設(shè)，造成數(shù)據(jù)重復錄入內(nèi)容不一致；人工采錄階段，隨意性強不按格式要求填寫；系統(tǒng)記錄階段，缺少校驗與預警，造成錯誤數(shù)據(jù)輸入或信息缺失；數(shù)據(jù)整合階段，存在跨系統(tǒng)數(shù)據(jù)不一致或數(shù)據(jù)不及時情況：數(shù)據(jù)應(yīng)用階段，多頭管理造成名稱不統(tǒng)一口徑不一致。

結(jié)合數(shù)據(jù)質(zhì)量問題成因分析及業(yè)界通用方法，數(shù)據(jù)質(zhì)量問題的評價維度有五個方面。準確性描述數(shù)據(jù)是否準確、真實反映實際信息，以及是否符合數(shù)據(jù)標準的要求：完整性描述業(yè)務(wù)操作所需要的數(shù)據(jù)是否完備：一致性反映同一個業(yè)務(wù)實體的數(shù)據(jù)及其屬性是否具有一致的定義和含義，不同系統(tǒng)間的數(shù)據(jù)是否保持一致：時效性描述數(shù)據(jù)是否能夠及時被獲取，并反映當前業(yè)務(wù)情況：適當性描述數(shù)據(jù)是否在可控、安全的范圍內(nèi)發(fā)布和使用。

（三）數(shù)據(jù)質(zhì)量管理體系

數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理的核心內(nèi)容之一，需從組織、制度、流程、技術(shù)等多層面構(gòu)建數(shù)據(jù)質(zhì)量管理框架體系。只有建立完整的數(shù)據(jù)質(zhì)量管理框架，以制度規(guī)范為約束、以組織機制為保障、以技術(shù)工具為支撐，才能從設(shè)計、開發(fā)、生產(chǎn)等各個環(huán)節(jié)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，并提煉相應(yīng)的數(shù)據(jù)質(zhì)量檢查規(guī)則，進行貫穿事前、事中和事后的全面治理，有效提升數(shù)據(jù)整體質(zhì)量，從而提供更為精確的決策分析數(shù)據(jù)。

二、國開行基于全生命周期數(shù)據(jù)質(zhì)量管理實踐

基于“數(shù)據(jù)全生命周期管理理念”，國開行從組織、制度、技術(shù)和管理內(nèi)容四位一體開展工作，注重業(yè)務(wù)和技術(shù)銜接、落實與執(zhí)行，初步建立了企業(yè)級數(shù)據(jù)質(zhì)量管理框架體系。

（一）組織與角色

鑒于數(shù)據(jù)質(zhì)量管理工作的跨部門跨領(lǐng)域協(xié)作特點，國開行建立了高層決策、數(shù)據(jù)管理部門統(tǒng)籌、全行參與的企業(yè)級數(shù)據(jù)質(zhì)量管理組織機制。

決策層由信息科技委員會領(lǐng)導下的數(shù)據(jù)管控與應(yīng)用工作組構(gòu)成，負責數(shù)據(jù)質(zhì)量工作的整體組織與協(xié)調(diào)：管理層由數(shù)據(jù)管理中心構(gòu)成，是全行數(shù)據(jù)質(zhì)量歸口管理和監(jiān)督的職能部門，負責數(shù)據(jù)質(zhì)量管理工作的規(guī)劃、設(shè)計、實施和考核：執(zhí)行層由總行各業(yè)務(wù)部門、各分行和總行技術(shù)部門構(gòu)成，業(yè)務(wù)部門是所屬業(yè)務(wù)條線數(shù)據(jù)質(zhì)量推動的直接責任部門，負責從業(yè)務(wù)層面參與數(shù)據(jù)質(zhì)量管理工作，各分行負責按照業(yè)務(wù)流程進行數(shù)據(jù)錄入和維護，及時發(fā)現(xiàn)和提交數(shù)據(jù)質(zhì)量問題，參與數(shù)據(jù)質(zhì)量問題分析和整改工作。技術(shù)部門負責從技術(shù)層面參與數(shù)據(jù)質(zhì)量管理工作。

（二）制度與規(guī)范

通過數(shù)據(jù)質(zhì)量管理制度與規(guī)范的制定，使得數(shù)據(jù)管理工作更加體系化、規(guī)范化，為實現(xiàn)數(shù)據(jù)管理目標打下堅實的基礎(chǔ)。國開行建立了從管理辦法、工作指南到細則的制度體系，《管理辦法》提供數(shù)據(jù)質(zhì)量管理的高階規(guī)范，《工作指南》落地指導管理和考核工作，《細則》覆蓋了數(shù)據(jù)質(zhì)量考核、數(shù)據(jù)變更、采錄認責、管控前移、通報機制等數(shù)據(jù)質(zhì)量管理職能域的執(zhí)行規(guī)范。

（三）技術(shù)工具支撐

分層級數(shù)據(jù)質(zhì)量檢核是保障全過程數(shù)據(jù)質(zhì)量問題監(jiān)測的重要技術(shù)。國開行分別在業(yè)務(wù)源系統(tǒng)、數(shù)據(jù)平臺和數(shù)據(jù)類應(yīng)用系統(tǒng)建立從數(shù)據(jù)產(chǎn)生、數(shù)據(jù)集成到數(shù)據(jù)使用的多點多級聯(lián)動數(shù)據(jù)質(zhì)量檢核規(guī)則。

業(yè)務(wù)源系統(tǒng)錄入端是數(shù)據(jù)質(zhì)量問題產(chǎn)生的最初來源，加強源頭控制是數(shù)據(jù)質(zhì)量管理的切入點。在源系統(tǒng)錄入界面嵌入字段檢核規(guī)則，比如非空數(shù)據(jù)項的必輸校驗、數(shù)據(jù)格式校驗和一致性檢查、代碼類數(shù)據(jù)的菜單選擇等。

基礎(chǔ)數(shù)據(jù)平臺類系統(tǒng)集成不同源系統(tǒng)的數(shù)據(jù)，并按照數(shù)據(jù)模型進行整合，是企業(yè)內(nèi)部數(shù)據(jù)的最主要匯聚點，也是數(shù)據(jù)質(zhì)量問題暴露最多的地方，比如：系統(tǒng)間一致性的檢核、系統(tǒng)間關(guān)聯(lián)錯誤檢核。來自業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)每天會加載到基礎(chǔ)數(shù)據(jù)平臺，此處可跟蹤數(shù)據(jù)質(zhì)量問題的解決情況，作為數(shù)據(jù)質(zhì)量問題整改的依據(jù)。

數(shù)據(jù)類應(yīng)用系統(tǒng)是數(shù)據(jù)質(zhì)量檢核的最后一道防線，根據(jù)對數(shù)據(jù)的使用目標來定義數(shù)據(jù)應(yīng)當滿足的質(zhì)量標準并設(shè)計對應(yīng)的檢核規(guī)則。作為數(shù)據(jù)的最終使用者，此處可評估數(shù)據(jù)質(zhì)量治理的成效，并設(shè)定后續(xù)數(shù)據(jù)質(zhì)量治理目標。

（四）管理內(nèi)容和流程

從數(shù)據(jù)產(chǎn)生的時點審視，數(shù)據(jù)質(zhì)量管理的管理對象包括歷史數(shù)據(jù)、當前數(shù)據(jù)和未來數(shù)據(jù)，數(shù)據(jù)質(zhì)量提升要做到事前防范、事中監(jiān)控和事后改善。管理流程設(shè)計需包括數(shù)據(jù)質(zhì)量基礎(chǔ)建立、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)質(zhì)量改進和設(shè)計質(zhì)量評估五個方面。

事前防范側(cè)重面向未來的數(shù)據(jù)（指未來業(yè)務(wù)運營過程中可能新增的數(shù)據(jù)），防患于未然。通過業(yè)務(wù)流程優(yōu)化、源系統(tǒng)改造等方式保證未來數(shù)據(jù)質(zhì)量。事中監(jiān)控側(cè)重當前的數(shù)據(jù)（指當前數(shù)據(jù)質(zhì)量檢查周期內(nèi)更新的數(shù)據(jù)），根據(jù)數(shù)據(jù)質(zhì)量檢核規(guī)則，對數(shù)據(jù)質(zhì)量進行持續(xù)的周期性的監(jiān)測。事后改善側(cè)重面向歷史的數(shù)據(jù)（指某時間點前已經(jīng)生成的數(shù)據(jù)），按業(yè)務(wù)系統(tǒng)或者主題分批對數(shù)據(jù)進行剖析、清洗，提高既有數(shù)據(jù)的質(zhì)量。

三、結(jié)束語

隨著大數(shù)據(jù)技術(shù)不斷深入，面對模態(tài)繁多的數(shù)據(jù)類型和幾何級增長的海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)質(zhì)量管理面臨著新的挑戰(zhàn)和要求，下一步需要重點關(guān)注非結(jié)構(gòu)化數(shù)據(jù)和外部數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法，以保障大數(shù)據(jù)的風險可控、安全合規(guī)和價值創(chuàng)造。endprint