淺談企業(yè)數(shù)據(jù)質(zhì)量管理

郭會(huì)珍

數(shù)據(jù)質(zhì)量管理（Data Quality Management）是指對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其最終目標(biāo)是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價(jià)值，為企業(yè)贏得經(jīng)濟(jì)效益。一個(gè)完整的數(shù)據(jù)質(zhì)量管理，是人、流程和技術(shù)的完美配合，才能達(dá)到我們數(shù)據(jù)質(zhì)量管理的目標(biāo)。那數(shù)據(jù)質(zhì)量處理的流程是怎樣的呢？對(duì)于數(shù)據(jù)質(zhì)量的處理，我們把它分成兩大部分，一是面向數(shù)據(jù)質(zhì)量的分析過程，二是針對(duì)分析結(jié)果進(jìn)行增強(qiáng)的過程。首先要識(shí)別和量化數(shù)據(jù)質(zhì)量，然后定義數(shù)據(jù)質(zhì)量和目標(biāo)，接下來就要交給相關(guān)部門設(shè)計(jì)質(zhì)量提升的流程，其后就是實(shí)現(xiàn)質(zhì)量提升的過程，把原有低質(zhì)量數(shù)據(jù)變成高質(zhì)量數(shù)據(jù)，并交付給業(yè)務(wù)人員使用。同時(shí)，在整個(gè)環(huán)境中，還需要有相關(guān)的一些監(jiān)控和對(duì)比來評(píng)估是否達(dá)成了目標(biāo)，決定是否需要進(jìn)行新一輪的數(shù)據(jù)質(zhì)量提升。這是一個(gè)周而復(fù)始、螺旋上升的過程，并不是一蹴而就，一次就可以解決全部問題。

影響數(shù)據(jù)質(zhì)量的因素主要來源于四方面：信息因素、技術(shù)因素、流程因素和管理因素。

信息因素：主要有：元數(shù)據(jù)描述及理解錯(cuò)誤、數(shù)據(jù)度量的各種性質(zhì)（如：數(shù)據(jù)源規(guī)格不統(tǒng)一，信息系統(tǒng)編碼不規(guī)范）得不到保證和變化頻度不恰當(dāng)；計(jì)算機(jī)處理系統(tǒng)的用戶界面不方便用戶的錄入，或是不符合用戶常規(guī)的操作習(xí)慣，導(dǎo)致用戶容易出錯(cuò)或是錄入工作量大，對(duì)重要的錄入信息沒有加強(qiáng)效驗(yàn)。

技術(shù)因素：主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護(hù)等方面的內(nèi)容。

流程因素：是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護(hù)流程等各環(huán)節(jié)。

管理因素：是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問題。由于數(shù)據(jù)錄入人員的輸入失誤，或是違反操作流程，是造成數(shù)據(jù)質(zhì)量不高一個(gè)重要原因。這個(gè)問題，可以從兩個(gè)方面來看待：數(shù)據(jù)錄入人員的責(zé)任心不強(qiáng)和業(yè)務(wù)素質(zhì)不高?；鶎宇I(lǐng)導(dǎo)對(duì)數(shù)據(jù)質(zhì)量的不重視，業(yè)務(wù)收入是基層的生命線，基層領(lǐng)導(dǎo)不會(huì)投入大量的人力和物力來抓數(shù)據(jù)質(zhì)量，由于市場競爭的激烈，有時(shí)基層領(lǐng)導(dǎo)為了自身經(jīng)濟(jì)利益甚至?xí)屼浫肴藛T作出一些違規(guī)的操作，基層領(lǐng)導(dǎo)對(duì)數(shù)據(jù)的認(rèn)識(shí)與管理與高層領(lǐng)導(dǎo)對(duì)數(shù)據(jù)的需求形成矛盾，這一矛盾是造成數(shù)據(jù)質(zhì)量不高的一個(gè)核心矛盾。

新一代客戶數(shù)據(jù)整合（CDI）軟件和主數(shù)據(jù)管理（MDM）軟件給數(shù)據(jù)質(zhì)量的管理帶來了很大方便。但是，數(shù)據(jù)質(zhì)量的保證僅靠軟件顯然是不行的。實(shí)際上，在整個(gè)數(shù)據(jù)質(zhì)量的控制過程中，人仍然是關(guān)鍵因素。要想真正長期保證數(shù)據(jù)的高質(zhì)量，還必須從以下方面著手。

提高對(duì)數(shù)據(jù)的認(rèn)識(shí)，我們只有認(rèn)識(shí)到數(shù)據(jù)在管理中的重要作用，才會(huì)反過來重視數(shù)據(jù)質(zhì)量問題。要讓企業(yè)的每一個(gè)員工都能認(rèn)識(shí)到數(shù)據(jù)是企業(yè)重要的戰(zhàn)略資源，企業(yè)的一切決策都來源于數(shù)據(jù)。沒有正確的高質(zhì)量的數(shù)據(jù)，就沒有正確的決策。

信息技術(shù)要得到保證，采用先進(jìn)的開發(fā)技術(shù)，開發(fā)出用戶界面比較友好的系統(tǒng)，減少操作員的錄入工作量和出現(xiàn)錯(cuò)誤的可能性；同時(shí)在開發(fā)前要充分考慮用戶的需求，防止出現(xiàn)業(yè)務(wù)處理軟件不能滿足客戶要求、操作員采取違規(guī)操作的現(xiàn)象。開發(fā)數(shù)據(jù)檢測、檢查工具，及時(shí)的發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，及時(shí)糾正。

完善制度管理，在企業(yè)上下建立起完善的數(shù)據(jù)負(fù)責(zé)制度，并與員工的績效掛鉤，對(duì)于那些負(fù)責(zé)數(shù)據(jù)的產(chǎn)生、數(shù)據(jù)的合理化以及對(duì)數(shù)據(jù)進(jìn)行清理和維護(hù)的人，應(yīng)該給他們的活動(dòng)制訂明確的指標(biāo)，這樣他們才能真正理解人們到底希望他們達(dá)到什么目標(biāo)。有條件的企業(yè)可以成立專門的組織和機(jī)構(gòu)負(fù)責(zé)數(shù)據(jù)管理工作。把責(zé)任落實(shí)到人，

建立數(shù)據(jù)標(biāo)準(zhǔn)，明確數(shù)據(jù)定義。通常，獨(dú)立的應(yīng)用系統(tǒng)會(huì)有一個(gè)比較模糊的、有時(shí)也會(huì)有比較清晰的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義。為了保證系統(tǒng)的正常運(yùn)行，這些系統(tǒng)的用戶必須在數(shù)據(jù)的標(biāo)準(zhǔn)和數(shù)據(jù)的定義上達(dá)成一致。不過，這些標(biāo)準(zhǔn)和定義大多數(shù)時(shí)候與企業(yè)中其他系統(tǒng)中的數(shù)據(jù)標(biāo)準(zhǔn)和定義并不一致。因此，需要從整個(gè)企業(yè)的角度出發(fā)，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義，同時(shí)，整個(gè)企業(yè)必須就這個(gè)數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義達(dá)成共識(shí)。在具體建立新的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義時(shí)，需要仔細(xì)權(quán)衡，哪些定義和標(biāo)準(zhǔn)是出于企業(yè)內(nèi)部的原因（比如出于方便、習(xí)慣等）制訂的，哪些定義和標(biāo)準(zhǔn)是因?yàn)橐行Х从惩獠康恼鎸?shí)世界而制訂的。

建立一個(gè)可重復(fù)的數(shù)據(jù)收集、數(shù)據(jù)修改和數(shù)據(jù)維護(hù)流程。數(shù)據(jù)管理面臨的兩個(gè)主要挑戰(zhàn)是企業(yè)本身的復(fù)雜性和身份信息不斷變化。這兩個(gè)客觀原因的存在意味著企業(yè)的數(shù)據(jù)質(zhì)量保證行動(dòng)永遠(yuǎn)沒有結(jié)束之日，因此，企業(yè)在制訂數(shù)據(jù)質(zhì)量的保證措施和數(shù)據(jù)質(zhì)量指標(biāo)時(shí)，必須保證這些措施和指標(biāo)能夠不斷重復(fù)。

在數(shù)據(jù)轉(zhuǎn)化流程中設(shè)立多個(gè)性能監(jiān)控點(diǎn)。數(shù)據(jù)的質(zhì)量高低可以根據(jù)最終用戶的需求來評(píng)價(jià)，也可以通過與同類數(shù)據(jù)源的比較來評(píng)價(jià)，還可以通過與前一階段的數(shù)據(jù)質(zhì)量進(jìn)行比較來評(píng)價(jià)。但在制訂數(shù)據(jù)質(zhì)量的戰(zhàn)略時(shí)，比較理想的辦法還是根據(jù)最終用戶的需求來進(jìn)行。不過這里存在一個(gè)問題是，等到最終用戶拿到數(shù)據(jù)時(shí)再針對(duì)數(shù)據(jù)的問題進(jìn)行修正已經(jīng)太遲了。一個(gè)有效的數(shù)據(jù)質(zhì)量保證辦法是在每當(dāng)數(shù)據(jù)發(fā)生轉(zhuǎn)換后就與前一時(shí)期進(jìn)行比較，從而對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。如果此前所采用的數(shù)據(jù)質(zhì)量改進(jìn)方法有助于提高最終用戶的滿意度，那么，這些中間指標(biāo)的達(dá)標(biāo)也預(yù)示著項(xiàng)目的最終成功。

對(duì)流程不斷進(jìn)行改善和優(yōu)化。我們常常聽到有人說，他們制訂了很多辦法來迅速而且大幅度提升數(shù)據(jù)的質(zhì)量，但很少聽說最后他們能真正得到滿意的結(jié)果。其原因就在于數(shù)據(jù)的質(zhì)量改進(jìn)絕非一朝一夕的事情，而是一個(gè)持續(xù)的過程。正確的辦法是通過一個(gè)不斷改進(jìn)的流程，持續(xù)不斷地排除錯(cuò)誤、對(duì)數(shù)據(jù)進(jìn)行整合和標(biāo)準(zhǔn)化，最后達(dá)到流程的自動(dòng)化，從而降低數(shù)據(jù)質(zhì)量，保證計(jì)劃的總體開銷。