一種基于流程化處理機(jī)制的數(shù)據(jù)質(zhì)量提升方法研究

何毅鵬 徐睿烽 張 銳

（廣東電網(wǎng)有限責(zé)任公司東莞供電局，廣東東莞523000）

0 引言

在大數(shù)據(jù)時代，數(shù)據(jù)成為了寶貴的資源，帶有規(guī)模性、多樣性等特點(diǎn)。而數(shù)據(jù)出現(xiàn)不一致、沖突等情況，將導(dǎo)致數(shù)據(jù)質(zhì)量問題的產(chǎn)生，將給數(shù)據(jù)資源利用帶來不利影響。從數(shù)據(jù)質(zhì)量提升角度建立流程化處理機(jī)制，按照科學(xué)流程解決數(shù)據(jù)質(zhì)量問題，能夠保證數(shù)據(jù)的完整性、有效性和真實(shí)性，為實(shí)現(xiàn)數(shù)據(jù)資源價值最大化奠定了扎實(shí)基礎(chǔ)。

圖1 數(shù)據(jù)質(zhì)量流程化處理

1 數(shù)據(jù)質(zhì)量問題分析

數(shù)據(jù)由傳感器、監(jiān)控設(shè)備、服務(wù)系統(tǒng)等各種信息源產(chǎn)生，所以類型復(fù)雜、多樣，存在難提取、價值密度低等問題。因此需要通過數(shù)據(jù)治理對數(shù)據(jù)進(jìn)行收集、存儲和使用，滿足數(shù)據(jù)資源管理需求。通過數(shù)據(jù)源獲取數(shù)據(jù)，數(shù)據(jù)真實(shí)性、完整性等各項(xiàng)指標(biāo)都將受到數(shù)據(jù)源應(yīng)用環(huán)境的影響，如運(yùn)行不穩(wěn)、遭受網(wǎng)絡(luò)攻擊等因素的存在都會影響數(shù)據(jù)質(zhì)量。在不同數(shù)據(jù)源之間，則存在編碼不一致等問題。數(shù)據(jù)由不同的人員進(jìn)行分析和處理，將受到人為因素的影響。實(shí)際人員在數(shù)據(jù)管理方面，常常因?yàn)椴磺宄到y(tǒng)間協(xié)同關(guān)系導(dǎo)致數(shù)據(jù)質(zhì)量指標(biāo)不穩(wěn)，如在部分系統(tǒng)數(shù)據(jù)修改后，其余系統(tǒng)數(shù)據(jù)保持不變，就會造成數(shù)據(jù)沖突[1]。依靠人力逐條對數(shù)據(jù)問題展開分析和判斷，將耗費(fèi)大量時間和精力，導(dǎo)致數(shù)據(jù)處理效率低下，無法滿足高效利用要求。此外，數(shù)據(jù)需要在多個系統(tǒng)流轉(zhuǎn)，在人員發(fā)現(xiàn)并反饋問題后，難以跨系統(tǒng)地對數(shù)據(jù)進(jìn)行跟蹤管理，造成數(shù)據(jù)問題無法徹底排除，繼而導(dǎo)致數(shù)據(jù)質(zhì)量問題依然未能得到解決，給數(shù)據(jù)質(zhì)量提升帶來阻礙。

2 基于流程化處理機(jī)制的數(shù)據(jù)質(zhì)量提升方法

2.1 方法思路

針對數(shù)據(jù)質(zhì)量問題，應(yīng)建立科學(xué)流程實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的閉環(huán)控制。制定流程化處理機(jī)制，得到明晰的數(shù)據(jù)質(zhì)量管理流程和制度，完成相應(yīng)保障體系和支撐平臺的建設(shè)，能夠通過系統(tǒng)化管理保證數(shù)據(jù)質(zhì)量得到穩(wěn)定提升。如圖1所示，建立數(shù)據(jù)質(zhì)量管理流程規(guī)范，將整個流程劃分為年度計(jì)劃、持續(xù)評估、問題管理、提升優(yōu)化和考核管理五個部分，可以形成數(shù)據(jù)質(zhì)量問題處理的長效機(jī)制。具體來講，就是需要制定動態(tài)更新的檢核機(jī)制，結(jié)合數(shù)據(jù)質(zhì)量管理要求制定年度處理計(jì)劃，確保各項(xiàng)工作中遇到的數(shù)據(jù)質(zhì)量問題能夠得到全面把控[2]。對質(zhì)量規(guī)則進(jìn)行梳理，能夠?qū)?shù)據(jù)質(zhì)量展開科學(xué)評估，并根據(jù)提交的報告完成問題收集、分析和管理。針對問題提出改進(jìn)提升方案，對問題整改工作進(jìn)行統(tǒng)籌管理和跟蹤控制，并通過考核保證改進(jìn)措施得到落實(shí)。根據(jù)考核結(jié)果確定問題整改情況，在下一年度制定相應(yīng)管理計(jì)劃，能夠使數(shù)據(jù)質(zhì)量得到閉環(huán)控制，繼而達(dá)到持續(xù)提升數(shù)據(jù)質(zhì)量的目標(biāo)。

2.2 管理計(jì)劃

按照流程進(jìn)行數(shù)據(jù)質(zhì)量管理，需要結(jié)合管理需求制定科學(xué)管理計(jì)劃。為掌握數(shù)據(jù)質(zhì)量情況，還要開展調(diào)研工作，結(jié)合部門工作要求和現(xiàn)行數(shù)據(jù)標(biāo)準(zhǔn)展開分析，包含元數(shù)據(jù)管理標(biāo)準(zhǔn)、主數(shù)據(jù)管理標(biāo)準(zhǔn)、數(shù)據(jù)安全標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)等等。對以往數(shù)據(jù)資料進(jìn)行收集、整理和分析，并與相關(guān)人員溝通，能夠?qū)?shù)據(jù)使用過程中遇到的問題進(jìn)行匯總，并完成以往檢核過程中發(fā)現(xiàn)的問題收集。在系統(tǒng)分析數(shù)據(jù)質(zhì)量問題的基礎(chǔ)上，可以制定質(zhì)量管理方案。設(shè)立專門的管理機(jī)構(gòu)負(fù)責(zé)相關(guān)工作，能夠得到明確的數(shù)據(jù)治理組織架構(gòu)，將各項(xiàng)工作責(zé)任落實(shí)到個人頭上，保證相關(guān)工作得到有效推進(jìn)。從數(shù)據(jù)來源上來看，各業(yè)務(wù)系統(tǒng)相當(dāng)于豎井，難以保持互聯(lián)互通[3]。而建立專門的管理機(jī)構(gòu)負(fù)責(zé)統(tǒng)籌管理，制定相應(yīng)的互通制度，在關(guān)鍵處理流程節(jié)點(diǎn)上完成采集和監(jiān)控點(diǎn)的部署，能夠使數(shù)據(jù)質(zhì)量問題得到有效把控。根據(jù)后續(xù)質(zhì)量評估、提升等各項(xiàng)工作開展要求，還應(yīng)加強(qiáng)各環(huán)節(jié)職責(zé)劃分，完成管理流程和數(shù)據(jù)規(guī)則制定，保證整個管理過程得到規(guī)范。構(gòu)建質(zhì)量規(guī)則，還應(yīng)采取自下向上的方式，根據(jù)業(yè)務(wù)流程確定重要數(shù)據(jù)項(xiàng)，并根據(jù)加工要求確定數(shù)據(jù)處理邏輯，得到相應(yīng)的檢核規(guī)則。

2.3 質(zhì)量評估

在質(zhì)量評估方面，還要在加強(qiáng)質(zhì)量規(guī)范收集的基礎(chǔ)上完成評估方案的制定。對重要業(yè)務(wù)和應(yīng)用系統(tǒng)進(jìn)行梳理，并按照數(shù)據(jù)質(zhì)量規(guī)范確定檢核范圍，能夠從多個維度開展質(zhì)量評估工作，保證數(shù)據(jù)質(zhì)量問題得到動態(tài)監(jiān)控。結(jié)合這一目標(biāo)，還應(yīng)實(shí)現(xiàn)數(shù)據(jù)全生命周期監(jiān)控，使評估范圍擴(kuò)大到整個經(jīng)營范圍，從內(nèi)部控制、風(fēng)險管理等各角度加強(qiáng)數(shù)據(jù)監(jiān)管。實(shí)際對數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，需要同時采取兩種方式，即人員監(jiān)控和平臺監(jiān)控。依靠人員進(jìn)行監(jiān)控，能夠加強(qiáng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫管理，根據(jù)用戶資料信息和現(xiàn)實(shí)差異發(fā)現(xiàn)質(zhì)量缺陷。通過平臺實(shí)施監(jiān)控，能夠?qū)ο到y(tǒng)數(shù)據(jù)庫倉庫進(jìn)行周期性監(jiān)測，根據(jù)數(shù)據(jù)邏輯查找數(shù)據(jù)質(zhì)量問題。對數(shù)據(jù)質(zhì)量管理平臺進(jìn)行優(yōu)化，能夠?qū)崿F(xiàn)問題自動分析。針對具體問題提出相應(yīng)建議，做到對問題原因進(jìn)行準(zhǔn)確定位，能夠匯總得到數(shù)據(jù)質(zhì)量評估報告。如圖2所示，可從數(shù)據(jù)標(biāo)準(zhǔn)、人員組織、流程、技術(shù)等各角度分析數(shù)據(jù)質(zhì)量問題，采取魚骨圖將問題成因明確羅列出來，為問題管理提供科學(xué)依據(jù)。

圖2 數(shù)據(jù)質(zhì)量問題分析圖

2.4 問題管理

在數(shù)據(jù)質(zhì)量問題管理上，需要采取專項(xiàng)治理措施。根據(jù)問題成因進(jìn)行分類，可以確立治理項(xiàng)目。根據(jù)問題發(fā)生頻率，可以將項(xiàng)目劃分為核心項(xiàng)目、常規(guī)項(xiàng)目，完成不同管理目標(biāo)的設(shè)定，并對治理范圍進(jìn)行確認(rèn)。在問題原因分析方面，還要對監(jiān)控發(fā)現(xiàn)的異常數(shù)據(jù)進(jìn)行整理，選擇突出性數(shù)據(jù)記錄開展調(diào)查。深入一線業(yè)務(wù)對人員進(jìn)行訪談，能夠直接了解數(shù)據(jù)問題形成原因，劃分為可控或需改進(jìn)等不同類型，制定相應(yīng)管理辦法。針對可控問題，可以開展跟蹤管理工作。具體來講，就是每周對問題數(shù)據(jù)展開分析，通過跟蹤及時了解問題控制情況。建立周例會制度，確認(rèn)是否出現(xiàn)增量問題，能夠確定問題管理效果。如果出現(xiàn)增量問題，還應(yīng)對原因進(jìn)行總結(jié)，形成分析報告，下發(fā)清單要求相關(guān)部門進(jìn)行處理。針對涉及多個部門的問題，還應(yīng)建立協(xié)同管理機(jī)制，在系統(tǒng)中建立協(xié)同群，確保數(shù)據(jù)質(zhì)量問題能在各部門得到控制，結(jié)果能夠得到各部門驗(yàn)證確認(rèn)，以免因系統(tǒng)不同處導(dǎo)致新問題發(fā)生。針對不可控問題，還應(yīng)制定提升方案進(jìn)行優(yōu)化。

2.5 提升優(yōu)化

在數(shù)據(jù)質(zhì)量提升優(yōu)化階段，需對關(guān)鍵數(shù)據(jù)項(xiàng)存在的問題進(jìn)行整改，完成提升方案的編制。在方案中需要明確羅列改進(jìn)方向、匹配方案等，保證方案的有效性。具體來講，就是可以結(jié)合業(yè)務(wù)需求、數(shù)據(jù)標(biāo)準(zhǔn)等確認(rèn)需要改進(jìn)的內(nèi)容，主要針對數(shù)據(jù)收集、整理、分析等各種流程。通過合理選擇數(shù)據(jù)源，并重新進(jìn)行數(shù)據(jù)收集、分析等過程的規(guī)劃部署，按照科學(xué)邏輯進(jìn)行數(shù)據(jù)整合應(yīng)用，能夠使數(shù)據(jù)質(zhì)量得到提升。在方案執(zhí)行階段，還要對數(shù)據(jù)責(zé)任人進(jìn)行確認(rèn)，建立相應(yīng)管理小組。根據(jù)規(guī)章制度完成責(zé)任劃分，然后定期進(jìn)行數(shù)據(jù)探查，能夠確定方案執(zhí)行效果。在探查過程中，需要從數(shù)據(jù)一致性、有效性、完整性等多個方面進(jìn)行評價，完成各種信息項(xiàng)和數(shù)據(jù)庫表的檢驗(yàn)，保證技術(shù)性細(xì)節(jié)可以達(dá)到標(biāo)準(zhǔn)要求。在完成階段性改進(jìn)提升工作后，需要加強(qiáng)數(shù)據(jù)提升效果監(jiān)測，根據(jù)實(shí)際情況進(jìn)行方案改進(jìn)，繼而使數(shù)據(jù)質(zhì)量得到有效提升。

2.6 考核管理

在數(shù)據(jù)質(zhì)量提升方面，需要將管理成效與績效考核掛鉤，完成數(shù)據(jù)質(zhì)量考核機(jī)制的建立。通過對數(shù)據(jù)質(zhì)量指標(biāo)進(jìn)行分解，完成部門考核指標(biāo)的量化設(shè)計(jì)，能夠使數(shù)據(jù)治理工作得到有效推進(jìn)?？己瞬捎眠^程性評價和結(jié)果性評價相結(jié)合的辦法，包含日常檢核情況、月末統(tǒng)計(jì)數(shù)據(jù)、年終匯總結(jié)果三個部分，能夠用于對數(shù)據(jù)治理情況進(jìn)行系統(tǒng)評價。日常檢核主要根據(jù)檢核規(guī)則開展數(shù)據(jù)質(zhì)量檢核工作，每天都會在平臺上更新顯示，各部門可以根據(jù)檢核情況采取整改措施。月末需要對各部門數(shù)據(jù)質(zhì)量問題進(jìn)行統(tǒng)計(jì)，并對整改情況進(jìn)行通報，確定相關(guān)工作能否有效落實(shí)。年終考核需要完成各月結(jié)果匯總，對各部門在數(shù)據(jù)質(zhì)量提升工作中取得的成績，給出相應(yīng)的評分。將評分上報績效管理機(jī)構(gòu)，在績效考核中發(fā)布相關(guān)數(shù)據(jù)。建立相應(yīng)的懲處機(jī)制，對表現(xiàn)不佳的部門進(jìn)行懲處，對表現(xiàn)優(yōu)異的部門進(jìn)行獎勵，能夠督促各部門積極整改。

3 結(jié)語

嚴(yán)格按照流程化處理機(jī)制進(jìn)行數(shù)據(jù)質(zhì)量管理，能夠使數(shù)據(jù)質(zhì)量問題得到系統(tǒng)把控，通過科學(xué)分析、處理和改進(jìn)使數(shù)據(jù)質(zhì)量得到持續(xù)提升。整個過程都能得到嚴(yán)密監(jiān)控，保證各種計(jì)劃、方案得到有效落實(shí)，并根據(jù)效果實(shí)現(xiàn)循環(huán)改進(jìn)，確保問題最終得到消除。