基于智能化數(shù)據(jù)探索的數(shù)據(jù)質(zhì)量管理方法

練海榮 孫曉寧 張未來

(蘇州龍石信息科技有限公司，蘇州 215000)

0 引言

現(xiàn)階段，我國數(shù)字政府的基礎(chǔ)建設(shè)取得了較大的進(jìn)展，伴隨著基礎(chǔ)庫、交換平臺、資源目錄、城市大腦等數(shù)字政府支撐平臺的深化應(yīng)用，數(shù)據(jù)量快速增長，數(shù)據(jù)量的增長必然帶來數(shù)據(jù)質(zhì)量管理的問題。本文通過對政務(wù)數(shù)據(jù)質(zhì)量管理體系和工作機(jī)制的研究，提出現(xiàn)狀評估、問題溯源、質(zhì)量修復(fù)、考核評價的四步走解決方案，結(jié)合管理制度、工作指南和考核標(biāo)準(zhǔn)，以及基于智能化的數(shù)據(jù)探索技術(shù)，明晰政務(wù)數(shù)據(jù)質(zhì)量管理的架構(gòu)、流程、機(jī)制、評價指標(biāo)、規(guī)章制度等工作內(nèi)容[1]，建立健全數(shù)據(jù)質(zhì)量管控機(jī)制，指導(dǎo)數(shù)據(jù)質(zhì)量提升，通過數(shù)據(jù)質(zhì)量管理激活數(shù)據(jù)資源價值[2]，為數(shù)字政府建設(shè)提供良好的數(shù)據(jù)支撐。

1 我國政務(wù)數(shù)據(jù)發(fā)展現(xiàn)狀

從2014年大數(shù)據(jù)首次寫入政府工作報告以來，我國的大數(shù)據(jù)蓬勃發(fā)展，技術(shù)產(chǎn)業(yè)和應(yīng)用創(chuàng)新不斷邁向新高度，融合應(yīng)用不斷深化[3]。在2020年發(fā)布的《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》文件中明確規(guī)定，要加快培育數(shù)據(jù)要素市場，推進(jìn)政府?dāng)?shù)據(jù)開放共享、提升社會數(shù)據(jù)資源價值、加強(qiáng)數(shù)據(jù)資源整合和安全保護(hù)，探索建立統(tǒng)一規(guī)范的數(shù)據(jù)管理制度，提高數(shù)據(jù)質(zhì)量和規(guī)范性。數(shù)據(jù)作為當(dāng)前社會經(jīng)濟(jì)發(fā)展的基礎(chǔ)性要素，其地位得到了前所未有的重視。我國政務(wù)大數(shù)據(jù)的發(fā)展大致經(jīng)歷了以下幾個階段。

1.1 初步探索階段

2012年，國家發(fā)展和改革委員會印發(fā)《“十二五”國家政務(wù)信息化工程建設(shè)規(guī)劃》(簡稱《規(guī)劃》)，《規(guī)劃》要求深化國家基礎(chǔ)信息資源開發(fā)利用，提出了人口信息資源庫、法人單位信息資源庫、空間地理信息資源庫、宏觀經(jīng)濟(jì)信息資源庫、文化信息資源庫的建設(shè)目標(biāo)，并依法向政務(wù)部門和社會開放。2014年，“大數(shù)據(jù)”首次寫入政府工作報告，大數(shù)據(jù)開始成為國內(nèi)社會各界關(guān)注的熱點(diǎn)。

1.2 數(shù)據(jù)匯聚階段

數(shù)據(jù)匯聚階段以2015年印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》(簡稱《綱要》)為標(biāo)志，《綱要》提出了我國大數(shù)據(jù)整體發(fā)展的頂層規(guī)劃和統(tǒng)籌布局，并明確數(shù)據(jù)已成為國家基礎(chǔ)性戰(zhàn)略資源，規(guī)劃了政府?dāng)?shù)據(jù)資源共享開放工程、國家大數(shù)據(jù)資源統(tǒng)籌發(fā)展工程、政府治理大數(shù)據(jù)工程等十大任務(wù)。

1.3 數(shù)據(jù)共享開放階段

2016年國務(wù)院印發(fā)《政務(wù)信息資源共享管理暫行辦法》(國發(fā)〔2016〕51號)、2017年國務(wù)院辦公廳關(guān)于印發(fā)《政務(wù)信息系統(tǒng)整合共享實(shí)施方案》(國辦發(fā)〔2017〕39號)，以及國家發(fā)展和改革委員會、中共中央網(wǎng)絡(luò)安全和信息化委員會辦公室聯(lián)合印發(fā)《政務(wù)信息資源目錄編制指南(試行)》(發(fā)改高技〔2017〕1272號)，對我國政務(wù)信息資源的開放共享提供了指導(dǎo)方向。自此，政務(wù)信息資源的開放共享進(jìn)入推廣應(yīng)用階段。

1.4 數(shù)據(jù)深化應(yīng)用階段

經(jīng)過多年建設(shè)，大數(shù)據(jù)技術(shù)框架和基礎(chǔ)設(shè)施已基本成熟，大數(shù)據(jù)的應(yīng)用逐步向上層應(yīng)用聚焦，國家的大數(shù)據(jù)戰(zhàn)略也逐步走向深化階段，國家、地方陸續(xù)出臺了促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的規(guī)劃、行動和指導(dǎo)意見，大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)深度融合。另一方面，相關(guān)的大數(shù)據(jù)管理職能部門也相繼成立，專門負(fù)責(zé)對大數(shù)據(jù)發(fā)展進(jìn)行統(tǒng)一管理和規(guī)劃。大數(shù)據(jù)的應(yīng)用在之前互聯(lián)網(wǎng)、營銷、廣告等領(lǐng)域的基礎(chǔ)上逐步向工業(yè)、政務(wù)、電信、交通、金融、醫(yī)療、教育等領(lǐng)域廣泛落地，涌現(xiàn)了一批大數(shù)據(jù)典型應(yīng)用[3]。

2020年，中共中央、國務(wù)院發(fā)布《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》(簡稱《意見》)?！兑庖姟访鞔_提出了土地、勞動力、資本、技術(shù)、數(shù)據(jù)5個要素領(lǐng)域的改革方向和具體舉措，以構(gòu)建更加完善的要素市場化配置體制機(jī)制。數(shù)據(jù)要素化，數(shù)據(jù)要素市場化、價值化和資產(chǎn)化是下一階段的發(fā)展目標(biāo)。

2 政務(wù)數(shù)據(jù)治理面臨的問題

無論是智慧城市建設(shè)還是數(shù)字政府建設(shè)，其關(guān)鍵因素都在于政務(wù)數(shù)據(jù)。政務(wù)數(shù)據(jù)的發(fā)展從數(shù)據(jù)匯聚、數(shù)據(jù)共享到現(xiàn)階段的深化應(yīng)用，數(shù)據(jù)已成為數(shù)字政府建設(shè)的關(guān)鍵因素。但是多年來，由于機(jī)構(gòu)變動、職能調(diào)整以及信息化的快速發(fā)展等因素，政務(wù)數(shù)據(jù)在快速發(fā)展和應(yīng)用的過程中，數(shù)據(jù)質(zhì)量管理機(jī)制尚未形成，數(shù)據(jù)質(zhì)量參差不齊，無法滿足高速發(fā)展的數(shù)據(jù)應(yīng)用需求。

在實(shí)際數(shù)據(jù)應(yīng)用的過程中，從數(shù)據(jù)規(guī)劃和生產(chǎn)，到數(shù)據(jù)的融合和增強(qiáng)，再到最后的歸檔和消除，數(shù)據(jù)質(zhì)量問題在數(shù)據(jù)生命周期的任何環(huán)節(jié)都會出現(xiàn)，例如數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)共享、數(shù)據(jù)分析應(yīng)用等。結(jié)合政務(wù)行業(yè)現(xiàn)狀，總結(jié)以下幾個主要問題。

2.1 數(shù)據(jù)質(zhì)量意識薄弱

長期以來，數(shù)據(jù)被定義為業(yè)務(wù)系統(tǒng)的附屬品，數(shù)據(jù)所能帶來的價值尚未得到充分肯定。這也導(dǎo)致了我國的信息化發(fā)展一直側(cè)重于應(yīng)用系統(tǒng)建設(shè)而忽略數(shù)據(jù)建設(shè)，數(shù)據(jù)應(yīng)用僅僅停留在統(tǒng)計、分析和展示層面，缺少深層次的應(yīng)用價值挖掘，進(jìn)而導(dǎo)致了在整個信息化建設(shè)進(jìn)程中，數(shù)據(jù)質(zhì)量一直未得到重視，數(shù)據(jù)質(zhì)量文化建設(shè)不到位。

2.2 數(shù)據(jù)質(zhì)量管理責(zé)權(quán)體系不健全

在之前政務(wù)數(shù)據(jù)的發(fā)展階段中，政務(wù)信息化建設(shè)由各個業(yè)務(wù)部門自發(fā)開展，以支撐本部門業(yè)務(wù)流轉(zhuǎn)為主要目標(biāo)。直到近幾年，隨著大數(shù)據(jù)管理職能部門的成立，政務(wù)數(shù)據(jù)才轉(zhuǎn)為專門的職能部門負(fù)責(zé)，但是在管理機(jī)制和權(quán)責(zé)方面尚未形成成熟的體系，主要體現(xiàn)在頂層規(guī)劃、標(biāo)準(zhǔn)體系、評價體系、考核體系等方面的欠缺。尤其是數(shù)據(jù)質(zhì)量管控相對滯后，管控工作片段化，沒有形成完整的數(shù)據(jù)質(zhì)量管控體系和全面的數(shù)據(jù)質(zhì)量保障機(jī)制，從而制約數(shù)據(jù)資產(chǎn)價值的充分發(fā)揮[4]。

2.3 自動化和智能化質(zhì)量管理技術(shù)應(yīng)用不足

隨著大數(shù)據(jù)的蓬勃發(fā)展，政務(wù)數(shù)據(jù)在類型、數(shù)量、增速等方面的特點(diǎn)顯著增強(qiáng)。數(shù)據(jù)庫規(guī)模的不斷增加、不同數(shù)據(jù)源之間的關(guān)系愈加復(fù)雜、數(shù)據(jù)處理的實(shí)時性要求越來越高，這些因素給數(shù)據(jù)質(zhì)量管理工作增加了困難，非自動化的方法、普通腳本監(jiān)測的方式已無法滿足數(shù)據(jù)質(zhì)量管理的要求，尤其是在面對復(fù)雜業(yè)務(wù)和海量數(shù)據(jù)的情況下，缺少必要的技術(shù)手段來進(jìn)行數(shù)據(jù)質(zhì)量管理工作。

3 對政務(wù)數(shù)據(jù)質(zhì)量管理的幾點(diǎn)認(rèn)識

我國的政務(wù)大數(shù)據(jù)在經(jīng)歷了數(shù)據(jù)交換、數(shù)據(jù)匯聚和數(shù)據(jù)共享等基礎(chǔ)建設(shè)工作之后，已經(jīng)逐步向數(shù)據(jù)質(zhì)量、數(shù)據(jù)生態(tài)和數(shù)據(jù)價值方面轉(zhuǎn)變。在政務(wù)領(lǐng)域，以數(shù)據(jù)利用和共享為核心、以優(yōu)化政務(wù)服務(wù)為目標(biāo)的跨部門、跨系統(tǒng)的協(xié)同不斷增多，對數(shù)據(jù)質(zhì)量的要求也越來越高，數(shù)據(jù)質(zhì)量管理成為一項(xiàng)復(fù)雜的系統(tǒng)工程。亟需建立科學(xué)、合理、系統(tǒng)的工作機(jī)制，以此來提升數(shù)據(jù)的準(zhǔn)確性、一致性、完整性、規(guī)范性、時效性和可訪問性[5]，最終使政務(wù)數(shù)據(jù)作為數(shù)字政府和數(shù)字經(jīng)濟(jì)的核心資產(chǎn)來管理和應(yīng)用?；谡?wù)數(shù)據(jù)行業(yè)現(xiàn)狀和實(shí)踐經(jīng)驗(yàn)，本文對政務(wù)數(shù)據(jù)質(zhì)量的管理工作提出了以下幾點(diǎn)認(rèn)識。

3.1 以建立健全數(shù)據(jù)質(zhì)量管理體系為基礎(chǔ)

針對目前數(shù)據(jù)質(zhì)量管理機(jī)制不健全、管理責(zé)權(quán)不清晰等問題，在當(dāng)前數(shù)據(jù)質(zhì)量管理工作中亟需健全管理機(jī)制，界定管理權(quán)責(zé)、制定統(tǒng)一標(biāo)準(zhǔn)、落實(shí)評估考核是當(dāng)前提升數(shù)據(jù)質(zhì)量的第一要務(wù)。在國家和地方相關(guān)政策和管理辦法的基礎(chǔ)上，設(shè)計和制定切實(shí)可行的數(shù)據(jù)質(zhì)量工作方案、工作流程、角色和職責(zé)以及考核體系，建立相應(yīng)的組織架構(gòu)和管理制度，本著實(shí)事求是、突出重點(diǎn)、有錯必糾的原則有序推進(jìn)數(shù)據(jù)質(zhì)量提升工作。管理體系是整個數(shù)據(jù)質(zhì)量工作的重點(diǎn)和基礎(chǔ)，必須為數(shù)據(jù)管理方、數(shù)據(jù)應(yīng)用方、數(shù)據(jù)提供方建立標(biāo)準(zhǔn)和指導(dǎo)方針，保障數(shù)據(jù)質(zhì)量管理工作有法可依、有章可循，以此來推動數(shù)據(jù)質(zhì)量管理工作的不斷進(jìn)步。

數(shù)據(jù)質(zhì)量管理工作需要提升全體質(zhì)量意識，形成數(shù)據(jù)質(zhì)量常態(tài)化治理的文化。管理部門制定數(shù)據(jù)質(zhì)量管理體系并進(jìn)行培訓(xùn)宣貫，通過數(shù)據(jù)質(zhì)量管理體系的貫徹，數(shù)據(jù)應(yīng)用方積極反饋問題，數(shù)據(jù)責(zé)任方積極主動配合管理部門進(jìn)行問題整改，逐步形成數(shù)據(jù)質(zhì)量的良性生態(tài)。

3.2 以源頭數(shù)據(jù)質(zhì)量管控為手段

數(shù)據(jù)質(zhì)量問題的解決越靠后，成本越高，因此數(shù)據(jù)質(zhì)量管理解決問題必須前移。在數(shù)字政府基礎(chǔ)庫和主題庫的建設(shè)過程中，數(shù)據(jù)來源于不同的業(yè)務(wù)部門，主要的質(zhì)量問題也集中在業(yè)務(wù)源頭，只有通過對問題進(jìn)行根因分析，通過優(yōu)化業(yè)務(wù)系統(tǒng)、業(yè)務(wù)規(guī)則、業(yè)務(wù)流程等手段從源頭解決問題，才能達(dá)到標(biāo)本兼治的效果。因此，在整個數(shù)據(jù)質(zhì)量管理工作中，必須以源頭數(shù)據(jù)質(zhì)量管控為主要手段，存量問題數(shù)據(jù)派發(fā)至業(yè)務(wù)源頭進(jìn)行修正，同時找到產(chǎn)生問題的根本原因，從根源解決問題，避免增量問題數(shù)據(jù)的持續(xù)出現(xiàn)。

3.3 以滿足應(yīng)用需求為目標(biāo)

在當(dāng)下政務(wù)數(shù)據(jù)快速增長的階段，有限的時間和資源無法糾正每個數(shù)據(jù)并分析和改進(jìn)數(shù)據(jù)質(zhì)量。因此，數(shù)據(jù)質(zhì)量管理工作必須有明確的目標(biāo)，應(yīng)從滿足應(yīng)用需求的角度出發(fā)，評估數(shù)據(jù)并確定優(yōu)先級，聚焦關(guān)鍵數(shù)據(jù)，讓數(shù)據(jù)質(zhì)量管理工作投入產(chǎn)出比最大化。

聚焦關(guān)鍵數(shù)據(jù)并不意味著忽略其他問題，而是應(yīng)該按照業(yè)務(wù)優(yōu)先級的原則，采用PDCA(Plan、Do、Check、Act)的工作方式，分批次、分步驟地解決問題，構(gòu)建常態(tài)化的、循序漸進(jìn)的工作方案，逐步實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理的目標(biāo)。

3.4 以考核評價為驅(qū)動力

政務(wù)數(shù)據(jù)質(zhì)量管理工作涉及部門多、業(yè)務(wù)多，須從指標(biāo)定義、問題發(fā)現(xiàn)、問題整改、問題跟蹤、效果評估幾個方面建立問題處理的閉環(huán)機(jī)制。從業(yè)務(wù)、技術(shù)、管理多個維度出發(fā)定義評測指標(biāo)，由工具自動發(fā)現(xiàn)問題并及時通知到責(zé)任人，跟蹤問題整改進(jìn)度，通過相應(yīng)的質(zhì)量問題督辦和考核機(jī)制，保證數(shù)據(jù)質(zhì)量問題閉環(huán)管理。

在實(shí)際工作中，將數(shù)據(jù)質(zhì)量指標(biāo)納入部門高質(zhì)量發(fā)展的考核體系，考核結(jié)果不僅僅是簡單的排名表，更要注重激勵先進(jìn)和鞭策后進(jìn)?？己嗽u價是促進(jìn)數(shù)據(jù)質(zhì)量提升的主要驅(qū)動力，也是統(tǒng)籌推進(jìn)全局?jǐn)?shù)據(jù)質(zhì)量提升的重要環(huán)節(jié)。

4 政務(wù)數(shù)據(jù)質(zhì)量管理實(shí)踐經(jīng)驗(yàn)

在相關(guān)理論依據(jù)和行業(yè)研究的基礎(chǔ)上，針對政務(wù)數(shù)據(jù)質(zhì)量，本文提出現(xiàn)狀評估、問題溯源、質(zhì)量修復(fù)和考核評價四步走的解決方案。在不影響現(xiàn)有數(shù)據(jù)共享交換流程的基礎(chǔ)上，形成數(shù)據(jù)匯聚與質(zhì)量提升的雙循環(huán)，獨(dú)立運(yùn)轉(zhuǎn)，相互監(jiān)督，相互促進(jìn)。并結(jié)合大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)算法，深度挖掘數(shù)據(jù)質(zhì)量問題，快速定位根本原因，通過工單派發(fā)工作方式，將問題數(shù)據(jù)派發(fā)到責(zé)任人，定時督辦和考核，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理可控、可管和可追蹤。同時，采用PDCA工作方式，不斷循環(huán)重復(fù)數(shù)據(jù)質(zhì)量工作過程，直至數(shù)據(jù)質(zhì)量達(dá)到既定目標(biāo)。

4.1 現(xiàn)狀評估

工作的第一步是對當(dāng)前數(shù)據(jù)質(zhì)量管理工作的現(xiàn)狀進(jìn)行評估，評估的內(nèi)容包括定義數(shù)據(jù)質(zhì)量管理目標(biāo)、識別關(guān)鍵數(shù)據(jù)、確定質(zhì)量標(biāo)準(zhǔn)、評估數(shù)據(jù)質(zhì)量水平、評估數(shù)據(jù)質(zhì)量改進(jìn)的成本，并發(fā)布數(shù)據(jù)質(zhì)量管理工作的基線報告。

4.1.1 定義數(shù)據(jù)質(zhì)量管理目標(biāo)

數(shù)據(jù)質(zhì)量管理工作首先要明確所要達(dá)到的目標(biāo)，包括數(shù)據(jù)應(yīng)用目標(biāo)、質(zhì)量提升目標(biāo)、流程改進(jìn)目標(biāo)以及績效考核目標(biāo)，為后續(xù)工作指定方向。

4.1.2 識別關(guān)鍵數(shù)據(jù)

數(shù)據(jù)質(zhì)量管理工作需要聚焦于關(guān)鍵數(shù)據(jù)[6]，根據(jù)業(yè)務(wù)影響和業(yè)務(wù)需求來確定數(shù)據(jù)質(zhì)量的管理范圍，識別數(shù)據(jù)干系人，干系人需要包括數(shù)據(jù)提供者、數(shù)據(jù)應(yīng)用者、數(shù)據(jù)管理者等，并確定數(shù)據(jù)利益相關(guān)方如何使用數(shù)據(jù)以及對數(shù)據(jù)質(zhì)量的期望。通過調(diào)研的方式了解部門業(yè)務(wù)需求和應(yīng)用需求，并確定支持這些業(yè)務(wù)和應(yīng)用所需要的數(shù)據(jù)，以及數(shù)據(jù)應(yīng)用的頻率，形成數(shù)據(jù)/業(yè)務(wù)流程圖、數(shù)據(jù)/應(yīng)用流程圖以及數(shù)據(jù)全生命周期圖，進(jìn)而識別數(shù)據(jù)價值和成本。在綜合考慮業(yè)務(wù)需求、業(yè)務(wù)影響等因素的前提下，對數(shù)據(jù)質(zhì)量管理工作進(jìn)行優(yōu)先級排序，確定關(guān)鍵數(shù)據(jù)。這不僅僅為后續(xù)的原因分析提供幫助，也可以使部門對數(shù)據(jù)現(xiàn)狀有一個更加全面、直觀的理解和認(rèn)識。

4.1.3 確定質(zhì)量標(biāo)準(zhǔn)

結(jié)合數(shù)據(jù)質(zhì)量目標(biāo)和識別的關(guān)鍵數(shù)據(jù)，分析和設(shè)計數(shù)據(jù)質(zhì)量評價指標(biāo)。在國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)的指導(dǎo)下，結(jié)合管理規(guī)范、工作流程、數(shù)據(jù)存儲、業(yè)務(wù)規(guī)范等因素，制定數(shù)據(jù)質(zhì)量評價指標(biāo)。在此階段，可以充分調(diào)動各個部門的業(yè)務(wù)專家和技術(shù)人員共同參與指標(biāo)的制定，保障數(shù)據(jù)質(zhì)量指標(biāo)的完整性和合理性，同時也與業(yè)務(wù)部門在數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)上達(dá)成共識。

數(shù)據(jù)質(zhì)量評價指標(biāo)的設(shè)計以《GB/T 36344-2018 信息技術(shù) 數(shù)據(jù)質(zhì)量評價指標(biāo)》為指導(dǎo)，需涵蓋數(shù)據(jù)內(nèi)容的規(guī)范性、完整性、準(zhǔn)確性、一致性、時效性和可訪問性六大類指標(biāo)框架，以及數(shù)據(jù)使用維度的可理解性、可追溯性、安全性、可用性、易用性、穩(wěn)定性、適配性、完善性[7]，基于此細(xì)分二級指標(biāo)和三級指標(biāo)，包括空值檢查、數(shù)據(jù)缺失檢查、唯一性檢查、值域檢查、邏輯關(guān)系檢查、格式規(guī)范性檢查、引用完整性檢查、一致性檢查、時效性檢查、更新頻率檢查、交叉比對檢查、波動性檢查等。

數(shù)據(jù)質(zhì)量評價指標(biāo)的制定在數(shù)據(jù)質(zhì)量管理工作中具有很大的挑戰(zhàn)性，尤其是在面對海量數(shù)據(jù)和復(fù)雜業(yè)務(wù)規(guī)則的情況下，如何能夠有效地識別問題數(shù)據(jù)是評價指標(biāo)定義的難點(diǎn)。在此，可以使用智能推薦相關(guān)算法，基于在實(shí)踐中積累的規(guī)則庫自動匹配相關(guān)規(guī)則。例如，根據(jù)數(shù)據(jù)內(nèi)容中的身份證號碼、統(tǒng)一社會信用代碼、郵政編碼、手機(jī)號碼、郵箱地址等識別出對應(yīng)的質(zhì)量評價指標(biāo)，字段之間可以采用相關(guān)性分析技術(shù)，識別出字段之間的邏輯關(guān)系規(guī)則。規(guī)則的自動化探索技術(shù)大大降低了制定評價指標(biāo)工作的難度。

4.1.4 評估數(shù)據(jù)質(zhì)量水平

圍繞已確定的數(shù)據(jù)范圍和評價指標(biāo)，從相關(guān)數(shù)據(jù)源提取數(shù)據(jù)，利用技術(shù)工具完成數(shù)據(jù)質(zhì)量初始評估，并記錄問題的級別和類型。

復(fù)雜業(yè)務(wù)規(guī)則的執(zhí)行需要大量計算和分析，手動的腳本監(jiān)測已無法滿足海量數(shù)據(jù)實(shí)時監(jiān)測的要求。因此，在此階段需要充分使用大數(shù)據(jù)分析技術(shù)才能滿足海量數(shù)據(jù)質(zhì)量監(jiān)測要求，可以充分利用聚類分析、近鄰分析、關(guān)聯(lián)分析、屬性分析等數(shù)據(jù)分析模型和算法進(jìn)行異常數(shù)據(jù)自動識別，也可以利用正態(tài)性檢驗(yàn)、函數(shù)相關(guān)性等統(tǒng)計分析方法。

4.1.5 評估數(shù)據(jù)質(zhì)量改進(jìn)的成本

針對發(fā)現(xiàn)的每一類問題進(jìn)行根因分析，識別每個缺陷產(chǎn)生的根本原因。產(chǎn)生問題的原因眾多，數(shù)據(jù)流通過程中的任何一個環(huán)節(jié)都可能產(chǎn)生質(zhì)量問題。因此，需要透過表面現(xiàn)象不斷追蹤，直至定位的問題產(chǎn)生的根本原因，進(jìn)而制定改進(jìn)流程和評估改進(jìn)成本。考慮修復(fù)成本時，需將當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)區(qū)別對待，數(shù)據(jù)的新鮮度是決定數(shù)據(jù)價值的一個因素，是否需要修復(fù)歷史數(shù)據(jù)需要綜合考慮修復(fù)成本。此步驟可以使用因果圖或魚骨圖等技術(shù)來支撐根本原因分析。

4.1.6 發(fā)布數(shù)據(jù)質(zhì)量管理工作的基線報告

通過數(shù)據(jù)質(zhì)量評估報告的發(fā)布，讓數(shù)據(jù)干系人充分了解當(dāng)前的數(shù)據(jù)質(zhì)量水平。質(zhì)量評估報告是對評估的結(jié)果分析和解釋，通過圖形化、統(tǒng)計報表等方式讓數(shù)據(jù)干系人直觀了解，主要包括如下幾個部分。

(1)數(shù)據(jù)評估范圍。

(2)數(shù)據(jù)評估方法。

(3)數(shù)據(jù)評估標(biāo)準(zhǔn)。

(4)數(shù)據(jù)質(zhì)量的當(dāng)前水平，包括組織架構(gòu)、規(guī)章制度、質(zhì)量缺陷和對應(yīng)的根本原因。

(5)當(dāng)前水平與質(zhì)量目標(biāo)之間的差距分析。

(6)質(zhì)量改進(jìn)的建議。報告中從缺陷改正、流程優(yōu)化等方面給出改進(jìn)方法和實(shí)施路線，并結(jié)合業(yè)務(wù)/數(shù)據(jù)流程圖、應(yīng)用/數(shù)據(jù)流程圖以及數(shù)據(jù)全生命周期圖確定所影響的范圍。

4.2 問題溯源

在智慧城市和數(shù)字政府建設(shè)進(jìn)程中，無論是基礎(chǔ)庫建設(shè)還是專題庫建設(shè)，數(shù)據(jù)來源錯綜復(fù)雜，數(shù)據(jù)經(jīng)過多環(huán)節(jié)、多流程加工處理之后，實(shí)現(xiàn)“一數(shù)一源”的問題定位變成了難點(diǎn)。問題數(shù)據(jù)發(fā)現(xiàn)之后，需要將問題數(shù)據(jù)定位到來源部門甚至是業(yè)務(wù)部門的業(yè)務(wù)辦理人員，才能完成問題修復(fù)。例如，六大基礎(chǔ)庫之一的法人信息基礎(chǔ)庫，其中的基本信息來源于行政審批局、市場監(jiān)管局、民政局、總工會等部門。因此，可以采用“誰提供誰負(fù)責(zé)、誰登記誰負(fù)責(zé)”的策略，結(jié)合數(shù)據(jù)分級分類定義數(shù)據(jù)的唯一來源，對于多個部門提供的相同信息，通過權(quán)威字段的定義，來確定部門的數(shù)據(jù)權(quán)力范圍和數(shù)據(jù)質(zhì)量責(zé)任。通過技術(shù)手段，在表級別、字段級別精確定義數(shù)據(jù)來源，依據(jù)工單派發(fā)的方式，將問題數(shù)據(jù)及時通知到責(zé)任人，實(shí)現(xiàn)“一數(shù)一源”的管理。

4.3 質(zhì)量修復(fù)

數(shù)據(jù)責(zé)任部門在接收到問題數(shù)據(jù)之后，需在源頭業(yè)務(wù)端進(jìn)行問題修復(fù)。修復(fù)之后的數(shù)據(jù)通過現(xiàn)有的數(shù)據(jù)交換和共享流程重新進(jìn)行數(shù)據(jù)更新，保證在數(shù)據(jù)生命周期中各個環(huán)節(jié)的問題都能得到及時修正，并通過復(fù)評測以確認(rèn)修正結(jié)果是否滿足要求，直至該問題關(guān)閉。在數(shù)據(jù)修復(fù)過程中，數(shù)據(jù)管理部門有責(zé)任對數(shù)據(jù)提供部門提供指導(dǎo)和幫助，包括提供統(tǒng)一的支撐工具、問題數(shù)據(jù)的解釋以及工作流程的說明等。

4.4 考核評價

依據(jù)數(shù)據(jù)質(zhì)量管理制度和考核體系，數(shù)據(jù)管理部門負(fù)責(zé)對數(shù)據(jù)質(zhì)量工作進(jìn)行考核評價?？己嗽u價體系需要能夠客觀、合理、科學(xué)地反映數(shù)據(jù)質(zhì)量管理工作的實(shí)際情況，須從新增問題數(shù)、修復(fù)問題數(shù)、未修復(fù)問題數(shù)、問題修復(fù)及時性、數(shù)據(jù)是否按照約定頻率更新等維度進(jìn)行考核評價，評價結(jié)果可以通過運(yùn)營門戶、內(nèi)部通報等方式定期發(fā)布，以此來督辦數(shù)據(jù)質(zhì)量管理工作，提高數(shù)據(jù)干系人的數(shù)據(jù)質(zhì)量意識。

5 結(jié)束語

針對政務(wù)數(shù)據(jù)質(zhì)量管理工作，本文提出了現(xiàn)狀評估、問題溯源、質(zhì)量修復(fù)和考核評價四步走的解決方案，以滿足業(yè)務(wù)需求為目標(biāo)，以考核評價為驅(qū)動力，突出源頭數(shù)據(jù)質(zhì)量管控，建立指標(biāo)定義、問題發(fā)現(xiàn)、問題整改、問題跟蹤、效果評估的閉環(huán)工作機(jī)制，并采用PDCA的工作方法，逐步提升數(shù)據(jù)質(zhì)量水平，直至達(dá)到預(yù)期的數(shù)據(jù)質(zhì)量目標(biāo)。同時，在當(dāng)前海量數(shù)據(jù)和復(fù)雜數(shù)據(jù)的背景下，強(qiáng)調(diào)利用大數(shù)據(jù)、機(jī)器學(xué)習(xí)等技術(shù)進(jìn)行質(zhì)量評價指標(biāo)的定義和數(shù)據(jù)異常點(diǎn)的探索，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理的自動化和智能化。

政務(wù)數(shù)據(jù)質(zhì)量是當(dāng)前數(shù)字政府建設(shè)和數(shù)據(jù)共享開放的前提條件，是實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化的必要保障，本文提出的四步走解決方案，已在實(shí)踐中驗(yàn)證了其有效性，對政務(wù)數(shù)據(jù)質(zhì)量管理工作具有借鑒意義。