數(shù)據(jù)元質(zhì)量評價(jià)方法研究

方 亮，程紅云，陳 美

（上海寶信軟件股份有限公司，上海 201203）

0 引言

隨著國家大數(shù)據(jù)戰(zhàn)略、數(shù)字中國、數(shù)字經(jīng)濟(jì)、數(shù)據(jù)要素等政策引領(lǐng)，極大推動(dòng)了我國大數(shù)據(jù)的快速發(fā)展和應(yīng)用。在海量數(shù)據(jù)管理的需求驅(qū)動(dòng)下，數(shù)據(jù)管理技術(shù)也在不斷革新和迭代，從早期數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖到目前數(shù)據(jù)中臺，數(shù)據(jù)管理的數(shù)據(jù)量、管理能力和水平都在不斷地提升。與此同時(shí)，海量數(shù)據(jù)匯聚在一起，數(shù)據(jù)的存儲、管理、應(yīng)用、運(yùn)營等難度更大，對數(shù)據(jù)標(biāo)準(zhǔn)的需求更加迫切。

數(shù)據(jù)元是數(shù)據(jù)的標(biāo)準(zhǔn)。在文獻(xiàn)［11］中，數(shù)據(jù)元定義為“由一組屬性規(guī)定其定義、標(biāo)識、表示和允許值的數(shù)據(jù)單元”。在實(shí)踐中，可以通俗的理解為：數(shù)據(jù)元為數(shù)據(jù)模型屬性或數(shù)據(jù)項(xiàng)的標(biāo)準(zhǔn)，數(shù)據(jù)元集合構(gòu)成了數(shù)據(jù)字典，基于同一個(gè)數(shù)據(jù)字典構(gòu)建的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)語言得到了統(tǒng)一，數(shù)據(jù)之間實(shí)現(xiàn)了互通互融，為數(shù)據(jù)資產(chǎn)的高效和高質(zhì)量的賦能奠定了基礎(chǔ)。

數(shù)據(jù)元是構(gòu)建高質(zhì)量數(shù)據(jù)資產(chǎn)的基礎(chǔ)，數(shù)據(jù)元質(zhì)量決定數(shù)據(jù)資產(chǎn)的質(zhì)量，因此必須對數(shù)據(jù)元質(zhì)量進(jìn)行管控。為此，本文結(jié)合國內(nèi)外相關(guān)的研究成果，提出了數(shù)據(jù)元質(zhì)量評價(jià)方法，目標(biāo)為數(shù)據(jù)質(zhì)量管控提供了依據(jù)。

1 研究現(xiàn)狀

和本文相關(guān)的研究內(nèi)容，包括數(shù)據(jù)元和數(shù)據(jù)質(zhì)量。

1.1 數(shù)據(jù)元研究現(xiàn)狀

數(shù)據(jù)元基礎(chǔ)理論主要來源ISO/IECJTC 1/SC 32數(shù)據(jù)管理與交換分技術(shù)委員會制定的元數(shù)據(jù)注冊系統(tǒng)系列標(biāo)準(zhǔn)（數(shù)據(jù)元是元數(shù)據(jù)管理的基本單元），從元數(shù)據(jù)的框架、分類、注冊系統(tǒng)元數(shù)據(jù)模型與基本屬性、數(shù)據(jù)定義的形式、命名原則、注冊等，形成了比較全面的基礎(chǔ)理論。在我國，全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會（SAC/TC28）在ISO/IEC的成果基礎(chǔ)上，等同制定了我國的元數(shù)據(jù)注冊系統(tǒng)系列標(biāo)準(zhǔn)。在文獻(xiàn)［4］中，數(shù)據(jù)元作為數(shù)據(jù)標(biāo)準(zhǔn)能力域的能力項(xiàng)，從數(shù)據(jù)元定義、建設(shè)過程、建設(shè)目標(biāo)、能力等級等給出了數(shù)據(jù)元標(biāo)準(zhǔn)管理成熟度評價(jià)方法。

在應(yīng)用方法方面，文獻(xiàn)［17］—［22］，結(jié)合ISO的元數(shù)據(jù)注冊系統(tǒng)系列標(biāo)準(zhǔn)第二版，從數(shù)據(jù)元的概述、命名、定義和表示、數(shù)據(jù)要素的基本屬性、數(shù)據(jù)要素的提取、數(shù)據(jù)要素標(biāo)準(zhǔn)化階段、數(shù)據(jù)要素管理工具等，給出了比較詳細(xì)的數(shù)據(jù)元標(biāo)準(zhǔn)化實(shí)施方法；在文獻(xiàn)［23］中，制定了面向政務(wù)領(lǐng)域的數(shù)據(jù)元建設(shè)方法和規(guī)范；在文獻(xiàn)［24］中，制定了面向公安領(lǐng)域的數(shù)據(jù)元建設(shè)方法和規(guī)范等。

1.2 數(shù)據(jù)質(zhì)量研究現(xiàn)狀

數(shù)據(jù)元同時(shí)又是數(shù)據(jù)，因此必然面臨數(shù)據(jù)質(zhì)量問題。目前數(shù)據(jù)質(zhì)量研究比較成熟，在實(shí)踐中，通常參考國家標(biāo)準(zhǔn)成果，如在文獻(xiàn)［25］，從準(zhǔn)確性、完備性、一致性、確實(shí)性等提出了15項(xiàng)數(shù)據(jù)質(zhì)量模型特性；文獻(xiàn)［26］對15項(xiàng)數(shù)據(jù)質(zhì)量模型特性，給出了具體測量方法。文獻(xiàn)［27］，從規(guī)范性、完備性、準(zhǔn)確性、一致性、時(shí)效性、可訪問性等，給出了數(shù)據(jù)質(zhì)量評價(jià)指標(biāo)框架、計(jì)算方法和評價(jià)過程等。在文獻(xiàn)［4］中，數(shù)據(jù)質(zhì)量作為能力域，包括數(shù)據(jù)質(zhì)量的需求、檢查、分析、提升等能力項(xiàng)，從過程描述、過程目標(biāo)、能力域等給出了數(shù)據(jù)治理管理成熟度評價(jià)方法。

從目前國內(nèi)外研究成果來看，數(shù)據(jù)元研究主要集中在數(shù)據(jù)元的基礎(chǔ)理論、建設(shè)方法、建設(shè)規(guī)范等方面，面向數(shù)據(jù)元的質(zhì)量評價(jià)研究成果很少，本文將結(jié)合目前相關(guān)的研究成果，研究數(shù)據(jù)元質(zhì)量評價(jià)方法。

2 數(shù)據(jù)元質(zhì)量評價(jià)指標(biāo)

數(shù)據(jù)元質(zhì)量評價(jià)指標(biāo)目標(biāo)是實(shí)現(xiàn)對數(shù)據(jù)元某一觀察維度的質(zhì)量度量，是數(shù)據(jù)元定量評價(jià)的基礎(chǔ)。本章節(jié)將從數(shù)據(jù)元質(zhì)量指標(biāo)框架和指標(biāo)量化進(jìn)行闡述。

2.1 數(shù)據(jù)元質(zhì)量指標(biāo)框架

數(shù)據(jù)元質(zhì)量，與業(yè)務(wù)系統(tǒng)實(shí)時(shí)數(shù)據(jù)的質(zhì)量問題有所不同，在實(shí)踐中，數(shù)據(jù)元的質(zhì)量問題，主要表現(xiàn)為數(shù)據(jù)元的數(shù)據(jù)不完整、不規(guī)范（包括格式、語法、語義、重復(fù)等）、不正確等；此外，作為數(shù)據(jù)標(biāo)準(zhǔn)，對于一個(gè)具體數(shù)據(jù)元，其“名、值、型”通常是固定不變的，并且一般情況不涉及一致性、時(shí)效性和可訪問性等數(shù)據(jù)質(zhì)量問題。

結(jié)合分析，本文參考了文獻(xiàn)［27］，提出了數(shù)據(jù)元質(zhì)量指標(biāo)框架，如圖1所示。

圖1 數(shù)據(jù)元質(zhì)量指標(biāo)框架

結(jié)合數(shù)據(jù)元質(zhì)量指標(biāo)框架，各指標(biāo)定義如下：

（1）完整性。按照要求，數(shù)據(jù)元被賦予數(shù)值的程度。

（2）規(guī)范性。按照要求，數(shù)據(jù)元數(shù)據(jù)符合規(guī)范的程度。

（3）準(zhǔn)確性。數(shù)據(jù)元準(zhǔn)確表示其所描述的真實(shí)值的程度。

2.2 數(shù)據(jù)元質(zhì)量指標(biāo)量化

數(shù)據(jù)元質(zhì)量指標(biāo)的粒度通常比較粗，需要進(jìn)一步細(xì)化才能更加精準(zhǔn)的量化和度量，為此本文在評價(jià)指標(biāo)基礎(chǔ)上，增加了指標(biāo)小項(xiàng)作為進(jìn)一步細(xì)化，相當(dāng)二級指標(biāo)，同時(shí)對指標(biāo)小項(xiàng)進(jìn)行描述、計(jì)算方法、說明等定義，指標(biāo)評價(jià)量化如表1所示。

表1 數(shù)據(jù)元指標(biāo)評價(jià)量化

3 數(shù)據(jù)元質(zhì)量綜合指數(shù)

數(shù)據(jù)元質(zhì)量指標(biāo)只能反映一個(gè)觀察維度的質(zhì)量問題，不能綜合定量評價(jià)數(shù)據(jù)元質(zhì)量，因此需要能夠綜合定量評估數(shù)據(jù)元質(zhì)量的綜合指數(shù)。

數(shù)據(jù)元質(zhì)量綜合指數(shù)設(shè)計(jì)分析：數(shù)據(jù)元是靜態(tài)數(shù)據(jù)，一旦創(chuàng)建，通常其“名、值、型”不會發(fā)生變化；數(shù)據(jù)元相比業(yè)務(wù)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)，數(shù)據(jù)元的數(shù)量非常少；作為數(shù)據(jù)標(biāo)準(zhǔn)，是數(shù)據(jù)的數(shù)據(jù)字典，是構(gòu)建高質(zhì)量數(shù)據(jù)資產(chǎn)的基礎(chǔ)，因此必須要求質(zhì)量保障，即對于一個(gè)數(shù)據(jù)元，要求其完整性、規(guī)范性和正確性同時(shí)成立。為此，本文提出了健康度作為數(shù)據(jù)元的綜合指數(shù)，相關(guān)內(nèi)容如下。

（1）定義。健康度是按照要求，數(shù)據(jù)元的數(shù)據(jù)同時(shí)滿足完整性、規(guī)范性和正確性的程度。

（2）計(jì)算公式。設(shè)表示健康度，表示數(shù)據(jù)元集中，同時(shí)滿足完整性、規(guī)范性和正確性的數(shù)據(jù)元個(gè)數(shù)；表示數(shù)據(jù)元集中數(shù)據(jù)元的總數(shù)，則健康度的計(jì)算公式如式（1）所示：

健康度主要綜合定量評價(jià)數(shù)據(jù)元的數(shù)據(jù)健康情況，健康度越大，數(shù)據(jù)元質(zhì)量越好，反之越差。

4 數(shù)據(jù)元質(zhì)量評價(jià)過程

數(shù)據(jù)元質(zhì)量評價(jià)過程如下：

（1）成立數(shù)據(jù)元管理委員會。數(shù)據(jù)元作為標(biāo)準(zhǔn)，需要成立數(shù)據(jù)元管理委員會，負(fù)責(zé)數(shù)據(jù)元標(biāo)準(zhǔn)的制定、評審和管理；成員主要包括業(yè)務(wù)專家、評審專家、管理員等；職責(zé)分工是，業(yè)務(wù)專家負(fù)責(zé)制定數(shù)據(jù)元并登記到數(shù)據(jù)元管理系統(tǒng)中，評審專家負(fù)責(zé)對數(shù)據(jù)元的內(nèi)容正確性進(jìn)行評審，管理員負(fù)責(zé)對數(shù)據(jù)元進(jìn)行注冊和發(fā)布。

（2）規(guī)劃數(shù)據(jù)元質(zhì)量。主要工作包括：①制定數(shù)據(jù)元質(zhì)量工作目標(biāo)、計(jì)劃、路徑和舉措。②對數(shù)據(jù)元質(zhì)量進(jìn)行規(guī)章建制，包括制定數(shù)據(jù)元管理辦法、工作方法、工作規(guī)范。③將數(shù)據(jù)元質(zhì)量的規(guī)章建制沉淀到數(shù)據(jù)元管理平臺，為數(shù)據(jù)元質(zhì)量評價(jià)的信息化、自動(dòng)化和智能化提供支持，提高數(shù)據(jù)元質(zhì)量管控效率。

（3）確定數(shù)據(jù)元質(zhì)量評價(jià)指標(biāo)。業(yè)務(wù)專家按照數(shù)據(jù)元的工作方法和工作規(guī)范要求，制定數(shù)據(jù)元，然后登記到數(shù)據(jù)元管理系統(tǒng)中，由數(shù)據(jù)元管理員負(fù)責(zé)確定評價(jià)指標(biāo)，配置相關(guān)參數(shù)。

（4）評價(jià)數(shù)據(jù)元質(zhì)量。系統(tǒng)會對數(shù)據(jù)元的完整性和規(guī)范性進(jìn)行統(tǒng)計(jì)打分，數(shù)據(jù)元評審專家對數(shù)據(jù)元的正確性進(jìn)行評審，最后生成數(shù)據(jù)元質(zhì)量報(bào)告，主要包括指標(biāo)得分、指數(shù)得分、指標(biāo)不合格的數(shù)據(jù)元清單列表和明細(xì)等。對不合格的數(shù)據(jù)元提出質(zhì)量整改，對合格的數(shù)據(jù)元進(jìn)入（6）操作。

（5）數(shù)據(jù)元質(zhì)量提升計(jì)劃。針對數(shù)據(jù)元整改建議，業(yè)務(wù)專家按照不合格的數(shù)據(jù)元清單列表和明細(xì)，對數(shù)據(jù)元進(jìn)行完善和修訂，然后再次提交（4）操作。

（6）數(shù)據(jù)元正式發(fā)布。管理員負(fù)責(zé)對質(zhì)量合格的數(shù)據(jù)元進(jìn)行注冊和發(fā)布。

5 結(jié)語

本文針對數(shù)據(jù)元質(zhì)量管控需求，提出了數(shù)據(jù)元質(zhì)量評價(jià)方法，并從評價(jià)指標(biāo)、綜合指數(shù)、評價(jià)過程進(jìn)行詳細(xì)闡述。在提出的方法中，從某一觀察維度評價(jià)和綜合評價(jià)兩個(gè)方面，分別提出了數(shù)據(jù)元評價(jià)指標(biāo)和綜合指數(shù)，為數(shù)據(jù)元質(zhì)量的精確管控提供了依據(jù)。在實(shí)踐中，對于數(shù)據(jù)元正確性指標(biāo)評價(jià)，通過目前的人工智能、經(jīng)驗(yàn)知識等進(jìn)行自動(dòng)化評價(jià)，結(jié)果證明都不理想，建議由人工專家評審。

本文主要貢獻(xiàn)是基于國內(nèi)外的數(shù)據(jù)元和數(shù)據(jù)質(zhì)量研究成果，提出了數(shù)據(jù)元質(zhì)量評價(jià)方法，為相關(guān)數(shù)據(jù)元質(zhì)量的研究、實(shí)踐工作等提供了一定的參考。