質(zhì)量元數(shù)據(jù)在數(shù)據(jù)治理領(lǐng)域的研究與應(yīng)用

李惠松 王曉光

[摘? ? 要]互聯(lián)網(wǎng)以及數(shù)字技術(shù)的普及，使得人們的生產(chǎn)生活數(shù)據(jù)激增，也使得數(shù)據(jù)成為了輔助人們工作和生活的必要性工具?；诖?，從數(shù)據(jù)治理的角度出發(fā)，對(duì)質(zhì)量元數(shù)據(jù)的內(nèi)涵、內(nèi)容以及其規(guī)范集建立概況進(jìn)行了簡(jiǎn)要分析，闡述了數(shù)據(jù)治理的問(wèn)題和危害，并對(duì)質(zhì)量元數(shù)據(jù)在數(shù)據(jù)治理中的應(yīng)用進(jìn)行了論述。

[關(guān)鍵詞]質(zhì)量元數(shù)據(jù);數(shù)據(jù)治理;數(shù)據(jù)管理

[中圖分類號(hào)]TP311.13;TM7 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（21）04–0–02

Research and Application of Quality Metadata in the Field of Data Governance

Li Hui-song，Wang Xiao-guang

[Abstract]The popularity of the Internet and digital technology has caused a surge in people's production and life data， and it has also made data a necessary tool to assist people in their work and life. Based on this， from the perspective of data governance， this article briefly analyzes the connotation and content of quality metadata and the establishment of its specification set， expounds the problems and hazards of data governance， and discusses the application of quality metadata in data governance.

[Keywords]quality metadata; data governance; data management

目前，為了能讓數(shù)據(jù)價(jià)值得以提升，開展數(shù)據(jù)治理勢(shì)在必行。在數(shù)據(jù)治理工作中，質(zhì)量元數(shù)據(jù)發(fā)揮著極為重要的作用，質(zhì)量元數(shù)據(jù)管理將成為數(shù)據(jù)治理的重要環(huán)節(jié)。因此，在實(shí)踐中應(yīng)該開展有關(guān)于數(shù)據(jù)治理和質(zhì)量元數(shù)據(jù)管理的研究。

1 質(zhì)量元數(shù)據(jù)的基本情況

質(zhì)量元數(shù)據(jù)就是質(zhì)量管理中所用的元數(shù)據(jù)，在使用環(huán)節(jié)能幫助質(zhì)量管理人員提高質(zhì)量數(shù)據(jù)使用效率。目前，質(zhì)量元數(shù)據(jù)可以被分為質(zhì)量業(yè)務(wù)元數(shù)據(jù)和質(zhì)量技術(shù)元數(shù)據(jù)，這兩種數(shù)據(jù)分別以業(yè)務(wù)用戶和技術(shù)客戶為使用者[1]。在實(shí)踐工作中，質(zhì)量業(yè)務(wù)元數(shù)據(jù)與質(zhì)量技術(shù)元數(shù)據(jù)的內(nèi)容存在交叉，但二者也存在明顯差異。比如，產(chǎn)品生命周期內(nèi)的質(zhì)量管理活動(dòng)、業(yè)務(wù)活動(dòng)信息、質(zhì)量數(shù)據(jù)結(jié)構(gòu)、質(zhì)量決策支持元數(shù)據(jù)等都屬于質(zhì)量業(yè)務(wù)元數(shù)據(jù);而數(shù)據(jù)ETL響應(yīng)時(shí)間、OLAP規(guī)則、決策與系統(tǒng)運(yùn)行相關(guān)性等都屬于質(zhì)量技術(shù)元數(shù)據(jù)。

現(xiàn)階段，質(zhì)量元數(shù)據(jù)可以為企業(yè)質(zhì)量管理工作的開展提供巨大輔助，在使用環(huán)節(jié)需要建立質(zhì)量元數(shù)據(jù)規(guī)范集，該項(xiàng)工作的根本目的是為建立質(zhì)量元數(shù)據(jù)標(biāo)準(zhǔn)奠定基礎(chǔ)，規(guī)范集就是這一標(biāo)準(zhǔn)建立的依據(jù)。因此，建立質(zhì)量元數(shù)據(jù)規(guī)范集時(shí)，需要遵循特定原則作業(yè)。比如，基于簡(jiǎn)便性、適用性、交互操作性、易轉(zhuǎn)換性、可拓展性和結(jié)構(gòu)化原則建立規(guī)范集;同時(shí)，還應(yīng)該在作業(yè)時(shí)重視用戶需求和工作靈活性。

2 數(shù)據(jù)治理的問(wèn)題和危害

數(shù)據(jù)治理是提高數(shù)據(jù)可用性的有效方法，從本質(zhì)上來(lái)說(shuō)數(shù)據(jù)治理是一種集組織、制度和技術(shù)為一身的管理行為。元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)安全、數(shù)據(jù)價(jià)值和數(shù)據(jù)組織都屬于數(shù)據(jù)治理的工作范圍，所以在其作業(yè)環(huán)節(jié)存在諸多干擾因素。

2.1 數(shù)據(jù)治理問(wèn)題

數(shù)據(jù)治理工作意義重大，但在其開展環(huán)節(jié)卻十分容易出現(xiàn)以下問(wèn)題：

（1）不完整問(wèn)題。在數(shù)據(jù)治理環(huán)節(jié)，數(shù)據(jù)不完整問(wèn)題十分常見，這種問(wèn)題主要表現(xiàn)為缺少關(guān)鍵性ID、存在明顯的位數(shù)不符問(wèn)題和歷史數(shù)據(jù)保留期限缺乏一致性上。當(dāng)然，也有部分輔助信息的代碼缺乏規(guī)范性，許多以文本方式描述，也影響了數(shù)據(jù)完整性。

（2）邏輯錯(cuò)誤。對(duì)于數(shù)據(jù)治理工作而言，數(shù)據(jù)邏輯的準(zhǔn)確性將會(huì)直接影響其處理成效。但是，在實(shí)踐中卻常常出現(xiàn)邏輯錯(cuò)誤問(wèn)題，具體表現(xiàn)為違反業(yè)務(wù)規(guī)則和業(yè)務(wù)代碼定義兩方面。

（3）缺乏一致性。數(shù)據(jù)的一致性是開展數(shù)據(jù)治理的基礎(chǔ)，但是在相關(guān)工作開展環(huán)節(jié)，很容易出現(xiàn)數(shù)據(jù)不一致問(wèn)題。比如，不同系統(tǒng)的數(shù)據(jù)定義差異，就會(huì)導(dǎo)致同一業(yè)務(wù)的數(shù)據(jù)缺乏一致性;相關(guān)聯(lián)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)不同步也會(huì)導(dǎo)致數(shù)據(jù)缺乏一致性。

（4）冗余問(wèn)題。在數(shù)據(jù)治理工作中，并非所有數(shù)據(jù)皆可用，許多數(shù)據(jù)之間都存在內(nèi)容重復(fù)的問(wèn)題，而且在治理環(huán)節(jié)也存在數(shù)據(jù)記錄重復(fù)的現(xiàn)象，造成了非常嚴(yán)重的冗余問(wèn)題。此外，非法鍵值的存在也同樣易引發(fā)數(shù)據(jù)冗余。

2.2 數(shù)據(jù)治理問(wèn)題的危害

數(shù)據(jù)治理問(wèn)題會(huì)對(duì)數(shù)據(jù)的正常使用以及相關(guān)工作的開展造成極大干擾，將會(huì)危害實(shí)踐工作的正常開展?；谏鲜鲋卫韱?wèn)題，許多無(wú)效和重復(fù)性的工作浪費(fèi)了人力物力資源，使得數(shù)據(jù)治理工作的成本大幅增加，數(shù)據(jù)集成項(xiàng)目的重復(fù)實(shí)施率高達(dá)83%。同時(shí)，面對(duì)數(shù)據(jù)治理問(wèn)題，企業(yè)會(huì)錯(cuò)失商機(jī)，還容易讓消費(fèi)者喪失信心，低劣的數(shù)據(jù)質(zhì)量將會(huì)嚴(yán)重干擾企業(yè)的正常年收入[2]。此外，在數(shù)據(jù)治理問(wèn)題的出現(xiàn)使得工作人員不得不在辨別數(shù)據(jù)可用性上花費(fèi)更多時(shí)間，會(huì)導(dǎo)致作業(yè)成本進(jìn)一步增加。所以，為了提高數(shù)據(jù)治理工作的有效性以及長(zhǎng)效性，相關(guān)工作人員需要合理開展數(shù)據(jù)組織建設(shè)工作。在建設(shè)數(shù)據(jù)治理體系（圖1）時(shí)，應(yīng)該對(duì)數(shù)據(jù)治理委員會(huì)、數(shù)據(jù)管理指導(dǎo)委員會(huì)、數(shù)據(jù)管理制度團(tuán)隊(duì)等基礎(chǔ)管理組織進(jìn)行有效建設(shè)。

3 基于質(zhì)量元數(shù)據(jù)的數(shù)據(jù)治理

元數(shù)據(jù)可以用于描述數(shù)據(jù)，是數(shù)據(jù)治理工作中極為重要的組成部分。對(duì)于數(shù)據(jù)治理工作而言，有效開展元數(shù)據(jù)管理至關(guān)重要。

3.1 質(zhì)量元數(shù)據(jù)管理作用

在數(shù)據(jù)治理工作中，質(zhì)量元數(shù)據(jù)的應(yīng)用應(yīng)該滿足端對(duì)端數(shù)據(jù)連線需求和業(yè)務(wù)反應(yīng)需求，同時(shí)業(yè)務(wù)和技術(shù)用戶還應(yīng)該共享數(shù)據(jù)庫(kù)。為有效開展數(shù)據(jù)治理，需要對(duì)質(zhì)量元數(shù)據(jù)進(jìn)行科學(xué)管理，此項(xiàng)工作的開展可以發(fā)揮出如下作用：

（1）優(yōu)化業(yè)務(wù)導(dǎo)航。基于質(zhì)量元數(shù)據(jù)管理，業(yè)務(wù)人員能更為快速地明確業(yè)務(wù)范圍、流程、數(shù)據(jù)類別以及歸屬關(guān)系，將強(qiáng)化對(duì)工作整體內(nèi)容和需要的認(rèn)知，為相關(guān)工作的開展提供便捷性導(dǎo)航。

（2）強(qiáng)化數(shù)據(jù)質(zhì)量。質(zhì)量元數(shù)據(jù)是對(duì)質(zhì)量數(shù)據(jù)和其他相關(guān)數(shù)據(jù)的描述，所以質(zhì)量元數(shù)據(jù)管理工作的開展更有助于提高數(shù)據(jù)質(zhì)量，能為提升數(shù)據(jù)可用性和實(shí)用性奠定基礎(chǔ)。

（3）提高工作效率。質(zhì)量元數(shù)據(jù)管理工作的開展，能提高效整合工作成效，還能極大提升數(shù)據(jù)應(yīng)用環(huán)節(jié)的作業(yè)質(zhì)量。而且，在開展質(zhì)量元數(shù)據(jù)管理工作后，出現(xiàn)重復(fù)數(shù)據(jù)的概率將會(huì)大幅降低，那么數(shù)據(jù)冗余和非一致性問(wèn)題也將得到緩解。此外，質(zhì)量元數(shù)據(jù)管理還將基于多種分析方式（圖2），為業(yè)務(wù)數(shù)據(jù)問(wèn)題提供快速響應(yīng)的機(jī)會(huì)，可以極大提升問(wèn)題數(shù)據(jù)定位的精準(zhǔn)性，降低定位難度。

圖2? 多元分析模式

（4）降低成本。質(zhì)量元數(shù)據(jù)管理能提高溝通和應(yīng)用的精準(zhǔn)性，數(shù)據(jù)邏輯錯(cuò)誤問(wèn)題將會(huì)被極大消除，數(shù)據(jù)的使用成本會(huì)降低。在實(shí)踐中，管理工作的開展為提高數(shù)據(jù)信息獲取速率、強(qiáng)化數(shù)據(jù)系統(tǒng)建設(shè)提供了輔助，所以數(shù)據(jù)開發(fā)和分析成本也將隨之降低。

3.2 質(zhì)量元數(shù)據(jù)管理方法

元數(shù)據(jù)主要用于描述其他數(shù)據(jù)，質(zhì)量元數(shù)據(jù)的主要描述對(duì)象就是企業(yè)質(zhì)量管理工作中出現(xiàn)的各種數(shù)據(jù)。在實(shí)踐工作中，質(zhì)量元數(shù)據(jù)有著多樣化來(lái)源，其形式并非全都為數(shù)字，“數(shù)據(jù)”屬于事務(wù)性符號(hào)，是一種可用于統(tǒng)計(jì)計(jì)算工作的數(shù)值，也屬于可能是圖表信息、公式信息、數(shù)字信息或代碼信息[3]。

3.2.1 質(zhì)量元數(shù)據(jù)接入

確定質(zhì)量元數(shù)據(jù)的范圍是開展質(zhì)量元數(shù)據(jù)管理的第一步，而質(zhì)量元數(shù)據(jù)接入是質(zhì)量元數(shù)據(jù)管理中的另一個(gè)重要內(nèi)容，元數(shù)據(jù)通常由源系統(tǒng)接入。若企業(yè)沒(méi)有實(shí)時(shí)性要求或建立數(shù)倉(cāng)，那么數(shù)倉(cāng)就是接入已有元數(shù)據(jù)的最佳渠道，而其他元數(shù)據(jù)則主要由源系統(tǒng)補(bǔ)充。但是，這種方法存在較高風(fēng)險(xiǎn)，容易引發(fā)數(shù)據(jù)治理當(dāng)中的不一致問(wèn)題，所以現(xiàn)階段大多數(shù)企業(yè)都以配置自動(dòng)化方式開展元數(shù)據(jù)抽取工作。

3.2.2 質(zhì)量元數(shù)據(jù)標(biāo)準(zhǔn)

質(zhì)量元數(shù)據(jù)的定義規(guī)范性將會(huì)影響質(zhì)量元數(shù)據(jù)管理和數(shù)據(jù)治理質(zhì)量，所以在實(shí)踐中應(yīng)該設(shè)立明確標(biāo)準(zhǔn)，為確保質(zhì)量元數(shù)據(jù)具有一致性和完整性奠定基礎(chǔ)。在實(shí)踐中，企業(yè)的實(shí)際需求存在差異性，所以質(zhì)量元數(shù)據(jù)的開放對(duì)象也不完全相同。那么，要保證質(zhì)量元數(shù)據(jù)使用和管理質(zhì)量，就應(yīng)該明確其使用人群和應(yīng)用標(biāo)準(zhǔn)。比如，制定元數(shù)據(jù)開放權(quán)限，規(guī)范質(zhì)量元數(shù)據(jù)申請(qǐng)、發(fā)布和審核流程等。為了避免質(zhì)量元數(shù)據(jù)濫用，非質(zhì)量元數(shù)據(jù)對(duì)應(yīng)業(yè)務(wù)工作者必須在申請(qǐng)后才可使用質(zhì)量元數(shù)據(jù)。

3.2.3 質(zhì)量元數(shù)據(jù)查找和分析

質(zhì)量元數(shù)據(jù)內(nèi)容龐雜，包含大量信息，所以在使用時(shí)需要對(duì)相應(yīng)信息進(jìn)行查找和分析。為了能提高數(shù)據(jù)治理效率，提升企業(yè)質(zhì)量管理成效，相關(guān)工作人員應(yīng)該為質(zhì)量元數(shù)據(jù)的快速查找提供支持。比如，開發(fā)單獨(dú)的質(zhì)量元數(shù)據(jù)查找頁(yè)面，設(shè)計(jì)模糊匹配和精準(zhǔn)匹配，提供關(guān)鍵信息查找等。在此環(huán)節(jié)，應(yīng)該充分提升查找方式的便捷性、易操作性和多樣性，為迅速鎖定質(zhì)量元數(shù)據(jù)奠定基礎(chǔ)。同時(shí)，在質(zhì)量元數(shù)據(jù)分析方面，可以采取血緣分析法。如今，大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)都是Hadoop平臺(tái)，所以血緣分析主要存在兩種思路：①對(duì)hql腳本進(jìn)行解析，進(jìn)而基于正則表達(dá)式來(lái)完成各行字符串的匹配工作;②基于平臺(tái)自帶的語(yǔ)法進(jìn)行分類解析。這兩種方法都可以滿足血緣分析需求，但是后者的使用便捷性較高。對(duì)于質(zhì)量元數(shù)據(jù)管理工作而言，血緣分析是一種十分重要的關(guān)聯(lián)影響分析方法，能有效提升數(shù)據(jù)分析和定位的速度與質(zhì)量。

4 結(jié)束語(yǔ)

質(zhì)量元數(shù)據(jù)已經(jīng)成為了企業(yè)質(zhì)量管理工作的重要工具，為優(yōu)化現(xiàn)代質(zhì)量管理提供了巨大幫助。在數(shù)據(jù)治理環(huán)節(jié)，質(zhì)量元數(shù)據(jù)管理是極為重要的組成部分，所以在實(shí)踐中應(yīng)該通過(guò)合理應(yīng)用質(zhì)量元數(shù)據(jù)、有效開展質(zhì)量元數(shù)據(jù)管理來(lái)提高數(shù)據(jù)治理成效。

參考文獻(xiàn)

[1] 鄭躍平，甘祺璇，張采薇，等.地方政府?dāng)?shù)據(jù)治理的現(xiàn)狀與問(wèn)題——基于43個(gè)政務(wù)熱線部門的實(shí)證研究[J].電子政務(wù)，2020（7）：66-79.

[2] 康軍.數(shù)字化轉(zhuǎn)型下通信運(yùn)營(yíng)商數(shù)據(jù)治理的“困”與“道”[J].江蘇通信，2020，36（3）：58-64.

[3] 程芳，張權(quán)，董少林.基于數(shù)據(jù)集成的質(zhì)量元數(shù)據(jù)研究[J].標(biāo)準(zhǔn)科學(xué)，2019（5）：140-142.