企業(yè)數(shù)據(jù)質(zhì)量管理框架研究

黃智敏

【摘要】作為一種戰(zhàn)略資源與生產(chǎn)要素的數(shù)據(jù)資源正在逐漸成為社會正常運(yùn)轉(zhuǎn)的基礎(chǔ)，成為企業(yè)的生命線。企業(yè)運(yùn)營效率主要依賴于數(shù)據(jù)獲取的可靠性和及時性，因此，數(shù)據(jù)質(zhì)量成了企業(yè)的IT執(zhí)行官們最關(guān)心的問題之一。本文主要研究企業(yè)的數(shù)據(jù)質(zhì)量管理。首先對數(shù)據(jù)質(zhì)量管理的重要性和現(xiàn)狀進(jìn)行了介紹，指出了企業(yè)中存在數(shù)據(jù)質(zhì)量問題的普遍性，以及數(shù)據(jù)質(zhì)量問題給企業(yè)帶來的損失。然后，介紹了數(shù)據(jù)質(zhì)量的有關(guān)理論，包括了質(zhì)量管理的發(fā)展簡史和數(shù)據(jù)質(zhì)量概述，在這部分主要敘述了數(shù)據(jù)質(zhì)量的概念以及其他一些和數(shù)據(jù)質(zhì)量管理相關(guān)的因素。再次，探討了企業(yè)現(xiàn)有的數(shù)據(jù)質(zhì)量管理的方法及企業(yè)數(shù)據(jù)質(zhì)量管理中存在的問題，通過對現(xiàn)有方法的分析對比并結(jié)合企業(yè)數(shù)據(jù)管理中存在的實(shí)際問題，選定全面數(shù)據(jù)質(zhì)量管理TDQM，并在此基礎(chǔ)上提出了數(shù)據(jù)質(zhì)量管理的框架模型。最后是對該框架的介紹，該框架模型主要建立在數(shù)據(jù)清洗技術(shù)、數(shù)據(jù)倉庫技術(shù)以及全面數(shù)據(jù)質(zhì)量管理理論之上，意在解決企業(yè)中的數(shù)據(jù)質(zhì)量問題。

【關(guān)鍵詞】數(shù)據(jù)；數(shù)據(jù)質(zhì)量；數(shù)據(jù)質(zhì)量管理

【中圖分類號】F830.49 【文獻(xiàn)標(biāo)識碼】B 【文章編號】2095-3089（2017）35-0005-02

一、數(shù)據(jù)質(zhì)量管理的基本理論

20世紀(jì)40年代以前，質(zhì)量管理的主要方法就是質(zhì)量檢驗(yàn)，各個企業(yè)一般都設(shè)有專門的質(zhì)量檢驗(yàn)部門，有一支專門的質(zhì)量檢驗(yàn)隊(duì)伍，通過檢驗(yàn)來確保產(chǎn)品的出廠質(zhì)量。這種方式可以保證出廠產(chǎn)品的質(zhì)量，但是這是一種事后檢驗(yàn)把關(guān)，質(zhì)量狀況即成事實(shí)，如果全是不合格產(chǎn)品，則必須全部重新制造，難以在生產(chǎn)過程中進(jìn)行控制。而且這種方式在檢驗(yàn)時要求全數(shù)檢驗(yàn)，比較費(fèi)時，也比較費(fèi)工，成本也很高。這種方式最大的不足是發(fā)揮不了一線工人的積極性，不能使他們參與到質(zhì)量管理的過程中來。到目前為止，質(zhì)量檢驗(yàn)任是企業(yè)進(jìn)行質(zhì)量管理的重要手段之一。要進(jìn)行數(shù)據(jù)質(zhì)量的管理，首先要搞清哪些是數(shù)據(jù)質(zhì)量問題。從表面上來看，這個問題很簡單：只要是因?yàn)閿?shù)據(jù)質(zhì)量不高而造成了損失，就可以認(rèn)為是數(shù)據(jù)質(zhì)量問題。但是在實(shí)際的應(yīng)用中，這個界限卻很難劃分。例如，由于缺少某項(xiàng)數(shù)據(jù)而導(dǎo)致無法得出所需的數(shù)據(jù)分析結(jié)果就不是數(shù)據(jù)質(zhì)量問題。那么如何來定義這個界限呢，最簡單的定義是：由于正在使用中的數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高而造成損失，就可以被認(rèn)為是數(shù)據(jù)質(zhì)量問題。這個定義的要點(diǎn)是正在使用的數(shù)據(jù)，即已經(jīng)存儲在業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。這個要點(diǎn)指出了與現(xiàn)有數(shù)據(jù)無關(guān)的內(nèi)容，并不在數(shù)據(jù)質(zhì)量管理的范圍內(nèi)。在實(shí)際的應(yīng)用中，要進(jìn)行數(shù)據(jù)質(zhì)量的管理首先就要區(qū)分清楚哪些是數(shù)據(jù)質(zhì)量問題。

二、企業(yè)數(shù)據(jù)質(zhì)量管理中存在的問題

目前企業(yè)在數(shù)據(jù)質(zhì)量管理中存在的問題，既有管理方面的也有技術(shù)方面的。存在的問題有下面一些。

1.數(shù)據(jù)質(zhì)量問題范圍劃分錯誤

許多企業(yè)在管理數(shù)據(jù)出現(xiàn)問題時，并不能分清哪些是數(shù)據(jù)質(zhì)量的問題。那么什么是數(shù)據(jù)質(zhì)量問題，由于正在使用中的數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高而造成損失，就可以被認(rèn)為是數(shù)據(jù)質(zhì)量問題。這個描述為數(shù)據(jù)質(zhì)量問題制定了一個前提條件：正在使用的數(shù)據(jù)，即已經(jīng)存儲在業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。在實(shí)際的工作中，企業(yè)的工作人員往往將一些與現(xiàn)有數(shù)據(jù)無關(guān)的內(nèi)容作為數(shù)據(jù)質(zhì)量問題來考慮，如找出現(xiàn)有系統(tǒng)中缺少的數(shù)據(jù)，這個不是數(shù)據(jù)質(zhì)量管理要考慮的范圍，但是在實(shí)際中往往會出現(xiàn)這種錯誤。如果企業(yè)搞不清數(shù)據(jù)質(zhì)量問題的范圍，那么就不可能真正解決數(shù)據(jù)質(zhì)量問題。

2.數(shù)據(jù)質(zhì)量的判斷標(biāo)準(zhǔn)的問題

數(shù)據(jù)質(zhì)量判斷標(biāo)準(zhǔn)是：適合當(dāng)前使用的數(shù)據(jù)就是高質(zhì)量的數(shù)據(jù)。雖然定義很簡單，但是到了實(shí)際的應(yīng)用中卻是很麻煩。

首先，什么是高質(zhì)量的數(shù)據(jù)，不同的人又不同的定義。例如，對管理客戶的聯(lián)系信息的人來說，高質(zhì)量的數(shù)據(jù)是指準(zhǔn)確的地址、郵箱之類的客戶聯(lián)系信息；對于客戶經(jīng)理來說，高質(zhì)量的數(shù)據(jù)是指準(zhǔn)確的客戶來往記錄；而對于從事科學(xué)研究的人來說，高質(zhì)量的數(shù)據(jù)是指清晰的描述數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。這些事例不僅說明數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)必須根據(jù)每一個具體的案例來定義，而且同時也說明數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)都是以滿足應(yīng)用要求為目標(biāo)的。所以實(shí)際的工作中具體定義高質(zhì)量的數(shù)據(jù)時會有一定的問題。

其次，數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)的制度不僅僅是技術(shù)部門的事，也需要業(yè)務(wù)部門的緊密配合。數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)時技術(shù)和業(yè)務(wù)協(xié)作的結(jié)果，在實(shí)際工作中，不但需要與業(yè)務(wù)部門溝通，檢查業(yè)務(wù)規(guī)則的合理性和實(shí)效性，而且還要與技術(shù)部門密切合作，對數(shù)據(jù)質(zhì)量業(yè)務(wù)標(biāo)準(zhǔn)涉及的每一個數(shù)據(jù)項(xiàng)，都進(jìn)行數(shù)據(jù)質(zhì)量調(diào)查，并隨時在兩個部門之間進(jìn)行溝通協(xié)調(diào)，才有可能形成最終的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。然而很多企業(yè)未能意識到這點(diǎn)，在這些企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的制定僅僅是技術(shù)部門的工作。

3.數(shù)據(jù)分散問題

如前所訴，在企業(yè)尤其是大型企業(yè)中一般存在許多個應(yīng)用系統(tǒng)，企業(yè)的數(shù)據(jù)可能以多種方式存在于不同的應(yīng)用系統(tǒng)當(dāng)中，并且被不同的應(yīng)用系統(tǒng)所維護(hù)。而這些數(shù)據(jù)中的一些是為多個系統(tǒng)所共享的，但是由于采用的技術(shù)和平臺以及數(shù)據(jù)庫的不同，企業(yè)的數(shù)據(jù)往往是以不同的格式存在于各個應(yīng)用系統(tǒng)之中的，這就使數(shù)據(jù)的共享出現(xiàn)了問題。許多企業(yè)往往能夠意識到建立應(yīng)用系統(tǒng)的重要性，但是對于建立一個數(shù)據(jù)集成平臺以解決數(shù)據(jù)分散問題的重要性卻認(rèn)識不夠。這導(dǎo)致了許多企業(yè)不能有效解決數(shù)據(jù)在不同系統(tǒng)之間共享的問題，增加了數(shù)據(jù)管理的難度和數(shù)據(jù)管理的成本。

三、數(shù)據(jù)質(zhì)量管理框架設(shè)計(jì)

1.數(shù)據(jù)質(zhì)量管理框架的構(gòu)建

（1）數(shù)據(jù)質(zhì)量的六大基本要素是否滿足，所謂六大基本要素是指：

完整性：主要包括實(shí)體不缺失、屬性不缺失、記錄不缺失和字段值不缺失

四個方面；

唯一性：指主鍵唯一和候選鍵唯一兩個方面；

一致性：指統(tǒng)一數(shù)據(jù)來源、統(tǒng)一存儲和統(tǒng)一數(shù)據(jù)口徑；

精確度：指計(jì)量誤差、度量單位等方面的精確程度；

合法性：主要包括格式、類型、域值和業(yè)務(wù)規(guī)則的有效性；

及時性：指數(shù)據(jù)刷新、修改和提取等操作的及時性和快速性。

（2）如何從用戶視角衡量數(shù)據(jù)質(zhì)量，重視用戶對數(shù)據(jù)的滿意程度；

（3）如何建立基于CWM標(biāo)準(zhǔn)的元數(shù)據(jù)管理功能平臺，支持?jǐn)?shù)據(jù)質(zhì)量管理，為將來全網(wǎng)共享元數(shù)據(jù)奠定基礎(chǔ)；

（4）如何建立數(shù)據(jù)質(zhì)量監(jiān)控手段，及時發(fā)現(xiàn)、報(bào)告、處理經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量問題；

（5）如何通過建立有效的數(shù)據(jù)質(zhì)量管理體系來保障和提升數(shù)據(jù)的價值。

2.數(shù)據(jù)倉庫

第一層是本模型進(jìn)行數(shù)據(jù)質(zhì)量管理的關(guān)鍵層，該層以數(shù)據(jù)倉庫為數(shù)據(jù)的存儲介質(zhì)，通過存入數(shù)據(jù)倉庫來改善數(shù)據(jù)質(zhì)量，因此在該層中數(shù)據(jù)倉庫是重點(diǎn)，本節(jié)將重點(diǎn)介紹數(shù)據(jù)倉庫。企業(yè)利用數(shù)據(jù)倉庫，可以在了解商業(yè)環(huán)境的基礎(chǔ)上來看待生成的信息和事實(shí)，接著就可以利用商業(yè)技巧以及對該事實(shí)的經(jīng)驗(yàn)來提取知識，最后企業(yè)可以利用所提取的知識作出判斷或決策。企業(yè)使用數(shù)據(jù)倉庫可以更好地支持下面的決策：

（1）利潤增長分析通過研究數(shù)據(jù)倉庫中的歷史數(shù)據(jù)來進(jìn)行歷史趨勢分析，從而了解產(chǎn)品銷售、服務(wù)與收益之間的關(guān)系。

（2）改變競爭的基礎(chǔ)從數(shù)據(jù)倉庫的歷史數(shù)據(jù)中收集客戶信息，從而正確地進(jìn)行市場定位，更精確、全面地滿足客戶的需要?？蛻舻臐M意能加強(qiáng)他們和企業(yè)的關(guān)系。這種關(guān)系可以使得企業(yè)在與其他企業(yè)競爭中自身變得更加強(qiáng)大。

（3）客戶關(guān)系管理通過數(shù)據(jù)倉庫的應(yīng)用，增加對客戶實(shí)際情況的了解，可以指導(dǎo)市場部門與客戶保持適當(dāng)?shù)穆?lián)系，避免令人感到厭煩的多余的聯(lián)系。

因此在企業(yè)的數(shù)據(jù)質(zhì)量管理中建立數(shù)據(jù)倉庫是必要的。當(dāng)數(shù)據(jù)從源系統(tǒng)或其他數(shù)據(jù)來源中提取出來時，應(yīng)該先經(jīng)過數(shù)據(jù)變換，才能將它送到數(shù)據(jù)倉庫中。對數(shù)據(jù)進(jìn)行變換的目的有兩個：首先，改進(jìn)數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量：第二，提高倉庫中數(shù)據(jù)的可用性。

3.邏輯層

（1）建立全面數(shù)據(jù)質(zhì)量管理環(huán)境。這是全面數(shù)據(jù)質(zhì)量管理的第一步，也通常是最難的一步。企業(yè)應(yīng)該有專門的數(shù)據(jù)質(zhì)量管理部門，負(fù)責(zé)積極引導(dǎo)企業(yè)，從企業(yè)文化、企業(yè)制度體系、人才培養(yǎng)與訓(xùn)練系統(tǒng)等方面，為建立全體員工參與的數(shù)據(jù)質(zhì)量管理環(huán)境創(chuàng)造條件。在建設(shè)全面數(shù)據(jù)質(zhì)量管理環(huán)境時，建設(shè)人員應(yīng)該和其他部門的人員緊密合作，協(xié)調(diào)溝通有關(guān)問題。同時要建立完善的數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)，促使質(zhì)量管理系統(tǒng)建設(shè)、使用和管理的專業(yè)人員及用戶，能夠在系統(tǒng)設(shè)計(jì)建設(shè)、實(shí)施使用和管理的全程，相互協(xié)作，共同為提高數(shù)據(jù)質(zhì)量而努力。

（2）制定全面數(shù)據(jù)質(zhì)量管理的實(shí)施計(jì)劃。該計(jì)劃包括數(shù)據(jù)質(zhì)量管理的總體目標(biāo)和方向；達(dá)到目標(biāo)應(yīng)采取的方法和策略；測度數(shù)據(jù)質(zhì)量管理計(jì)劃完成的情況。通過對計(jì)劃的管理和對目標(biāo)的分解細(xì)化，保障全面數(shù)據(jù)質(zhì)量管理順利地得以實(shí)施。計(jì)劃實(shí)施的前提。

（3）全面數(shù)據(jù)質(zhì)量管理措施的實(shí)施。實(shí)施全面數(shù)據(jù)質(zhì)量管理，首先要制定全面數(shù)據(jù)質(zhì)量管理的戰(zhàn)略規(guī)劃，把握總體方向，并分析確定數(shù)據(jù)質(zhì)量需求、確立標(biāo)準(zhǔn)。然后，根據(jù)分析結(jié)果，找出低質(zhì)量數(shù)據(jù)的產(chǎn)生原因，選取適當(dāng)?shù)臅r機(jī)，制訂可行的數(shù)據(jù)質(zhì)量改進(jìn)方案，并制定每個方案的具體的可執(zhí)行計(jì)劃。最后，選擇相應(yīng)的改進(jìn)方案并執(zhí)行。該過程可以概括為定義、測度、分析和提高。

（4）全面數(shù)據(jù)質(zhì)量管理過程的評估。評估能夠使數(shù)據(jù)質(zhì)量管理過程不斷優(yōu)化，數(shù)據(jù)質(zhì)量不斷提高。要合理制定數(shù)據(jù)質(zhì)量評價指標(biāo)體系，適時對數(shù)據(jù)質(zhì)量進(jìn)行評估。通過對數(shù)據(jù)質(zhì)量問題發(fā)生的時間、地點(diǎn)、頻率和種類進(jìn)行統(tǒng)計(jì)分析，回答錯誤發(fā)生在哪個環(huán)節(jié)、哪些錯誤的發(fā)生比較頻繁、如何改進(jìn)數(shù)據(jù)質(zhì)量等關(guān)鍵問題，對一些嚴(yán)重錯誤進(jìn)行定位，對頻發(fā)錯誤進(jìn)行研究，對管理漏洞進(jìn)行分析，從而掌握現(xiàn)行數(shù)據(jù)質(zhì)量管理過程中存在的不足，研究相應(yīng)的改進(jìn)措施，實(shí)現(xiàn)管理過程的循環(huán)往復(fù)和不斷優(yōu)化。

四、小結(jié)

本章所給的數(shù)據(jù)質(zhì)量管理框架為三層架構(gòu)，主要基于數(shù)據(jù)倉庫和全面數(shù)據(jù)質(zhì)量管理思想進(jìn)行建設(shè)，旨在提高企業(yè)的數(shù)據(jù)質(zhì)量，從而提高企業(yè)的效益。模塊之間有一定的聯(lián)系，邏輯層和物理層提供第一層的數(shù)據(jù)質(zhì)量管理所需的要素。同時模塊之間也是相互獨(dú)立，可以直接引入比較成熟和有效的工具，例如數(shù)據(jù)清洗工具、質(zhì)量問題分析工具等；而且，對應(yīng)于企業(yè)分層次的質(zhì)量管理，可以定義不同層次的數(shù)據(jù)產(chǎn)品及其質(zhì)量要求，有利于系統(tǒng)的逐步完善。

參考文獻(xiàn)

[1]宋敏，覃正.國外數(shù)據(jù)質(zhì)量管理研究綜述[J].情報(bào)雜志，2007.

[2]張根保.數(shù)字化質(zhì)量管理系統(tǒng)及其關(guān)鍵技術(shù)[J].中國計(jì)量學(xué)院學(xué)報(bào)，2005.