數(shù)據(jù)質(zhì)量管理在電力安全生產(chǎn)信息系統(tǒng)中的應(yīng)用

【摘要】企業(yè)的數(shù)據(jù)質(zhì)量與業(yè)務(wù)績效之間存在著直接聯(lián)系，高質(zhì)量的數(shù)據(jù)是提高企業(yè)精細化管理水平、推動管理提升的重要支撐。本文重點研究數(shù)據(jù)質(zhì)量應(yīng)該包含哪些方面的內(nèi)容，以及通過什么樣的步驟或方法對數(shù)據(jù)質(zhì)量進行管理和監(jiān)控，并以電力安全生產(chǎn)設(shè)備數(shù)據(jù)為基礎(chǔ)，講述如何通過信息系統(tǒng)提升生產(chǎn)設(shè)備數(shù)據(jù)的質(zhì)量。

【關(guān)鍵詞】數(shù)據(jù)質(zhì)量；業(yè)務(wù)績效；信息系統(tǒng)；現(xiàn)狀

1.數(shù)據(jù)質(zhì)量背景

南方電網(wǎng)公司2012年工作會議明確提出要“著力提高精細化管理水平”，扎實開展“管理提升年”活動，推進公司整體管理水平的提升。隨著公司信息化建設(shè)的不斷深入，對數(shù)據(jù)信息的需求量越來越大、要求越來越高，數(shù)據(jù)質(zhì)量的高低直接影響和決定著業(yè)務(wù)數(shù)據(jù)、統(tǒng)計信息的有用性及其價值，直接關(guān)系到公司的經(jīng)濟效益、社會效益以及公司管理和發(fā)展的順利進行，因此迫切需要開展數(shù)據(jù)質(zhì)量專項工程，切實落實“突出抓好數(shù)據(jù)質(zhì)量”的要求，深化應(yīng)用信息化手段，推動管理提升和管理精細化。

2.數(shù)據(jù)質(zhì)量現(xiàn)狀

經(jīng)過多年信息化建設(shè)，公司在數(shù)據(jù)質(zhì)量管理方面取得了一定的成效，整體數(shù)據(jù)質(zhì)量得到了一定提升。但是在傳統(tǒng)管理模式下，還存在諸如缺乏統(tǒng)一管理、數(shù)據(jù)源不唯一、責(zé)任不明確、缺乏企業(yè)資源統(tǒng)一建模以及數(shù)據(jù)標準執(zhí)行不到位等問題。以安全生產(chǎn)設(shè)備為例，問題主要如下：

（1）缺乏統(tǒng)一管理：目前設(shè)備涵蓋了變電、輸電、配電網(wǎng)，變電和輸電設(shè)備的管理主要在主網(wǎng)生產(chǎn)或資產(chǎn)系統(tǒng)中集中管理，而配網(wǎng)設(shè)備則是在營配一體化或配網(wǎng)生產(chǎn)系統(tǒng)中，管理源頭不統(tǒng)一。

（2）數(shù)據(jù)源不唯一：主網(wǎng)生產(chǎn)系統(tǒng)、資產(chǎn)系統(tǒng)、營配一體化系統(tǒng)、配網(wǎng)生產(chǎn)系統(tǒng)由不同的廠家在不同時期建設(shè)，數(shù)據(jù)要求不統(tǒng)一，導(dǎo)致數(shù)據(jù)源不統(tǒng)一。

（3）責(zé)任不明確：設(shè)備數(shù)據(jù)的建立橫跨了工程、物資、生產(chǎn)、財務(wù)等多個部門，涉及的業(yè)務(wù)部門多、數(shù)據(jù)復(fù)雜、信息量大，數(shù)據(jù)未進行很好的職責(zé)劃分，導(dǎo)致業(yè)務(wù)部門在數(shù)據(jù)信息的錄入和管理上缺乏指導(dǎo)及考核，數(shù)據(jù)的質(zhì)量不高，管理混亂。

（4）缺乏統(tǒng)一建模：由于系統(tǒng)建設(shè)的周期不一致，對設(shè)備的數(shù)據(jù)的應(yīng)用范圍要求也不一致，未形成統(tǒng)一的設(shè)備模型，導(dǎo)致同類設(shè)備，在元數(shù)據(jù)模型上存在差異，影響到數(shù)據(jù)分析及數(shù)據(jù)質(zhì)量。

3.數(shù)據(jù)質(zhì)量概述

數(shù)據(jù)質(zhì)量也就是信息質(zhì)量，不良的數(shù)據(jù)將產(chǎn)生不準確的信息和較差的業(yè)務(wù)績效。在系統(tǒng)建設(shè)的不同階段，對數(shù)據(jù)質(zhì)量的關(guān)注點也有所不同。早期對數(shù)據(jù)質(zhì)量的關(guān)注點主要是提高數(shù)據(jù)準確性，隨著系統(tǒng)功能和定位的不斷延伸，關(guān)注的重點逐步由數(shù)據(jù)準確性擴展至完整性、一致性、及時性等方面，這些內(nèi)容也屬于數(shù)據(jù)質(zhì)量的范疇。

數(shù)據(jù)質(zhì)量好不好，首先需要考慮數(shù)據(jù)質(zhì)量六大基本要素是否滿足，所謂六大基本要素是指：

完整性：主要包括實體不缺失、屬性不缺失、記錄不缺失和字段值不缺失四個方面；

（1）唯一性：指主鍵唯一和候選鍵唯一兩個方面；

（2）一致性：指統(tǒng)一數(shù)據(jù)來源、統(tǒng)一存儲和統(tǒng)一數(shù)據(jù)口徑；

（3）精確度：指計量誤差、度量單位等方面的精確程度；

（4）合法性：主要包括格式、類型、域值和業(yè)務(wù)規(guī)則的有效性；

（5）及時性：指數(shù)據(jù)刷新、修改和提取等操作的及時性和快速性。

4.影響因素分析

如圖1所示，影響數(shù)據(jù)質(zhì)量的因素主要來源于四方面：信息因素、技術(shù)因素、流程因素和管理因素。

4.1 信息因素

由于對數(shù)據(jù)本身的描述理解及其度量標準的偏差而造成的數(shù)據(jù)質(zhì)量問題，產(chǎn)生這部分數(shù)據(jù)質(zhì)量問題的原因主要有：

（1）元數(shù)據(jù)描述及理解錯誤、數(shù)據(jù)度量的各種性質(zhì)得不到保證和變化頻度不恰當(dāng)?shù)取?/p>

（2）元數(shù)據(jù)描述及理解錯誤中的相關(guān)元數(shù)據(jù)主要包括業(yè)務(wù)描述、業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語、業(yè)務(wù)指標口徑等。

（3）數(shù)據(jù)度量和變化頻度提供了衡量數(shù)據(jù)質(zhì)量好壞的手段。數(shù)據(jù)度量主要包括完整性、唯一性、一致性、準確性、合法性。變化頻度主要包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)的變化周期和實體數(shù)據(jù)的刷新周期。

4.2 技術(shù)因素

主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實現(xiàn)上的某種缺陷。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護等方面的內(nèi)容。

4.3 流程因素

由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等各環(huán)節(jié)：

（1）創(chuàng)建流程質(zhì)量問題主要指操作員數(shù)據(jù)錄入時缺乏審核流程；

（2）傳遞流程質(zhì)量問題主要指通信流程溝通不暢；

（3）裝載流程質(zhì)量問題主要指清洗流程缺乏/不當(dāng)、調(diào)度流程邏輯錯誤、數(shù)據(jù)加載流程邏輯錯誤及數(shù)據(jù)轉(zhuǎn)換流程邏輯錯誤；

（4）使用流程質(zhì)量問題主要指數(shù)據(jù)使用流程缺乏流程管理；

（5）維護流程質(zhì)量問題主要指缺乏變更維護流程、缺乏錯誤數(shù)據(jù)維護流程、缺乏數(shù)據(jù)測試流程以及對人工后臺調(diào)整數(shù)據(jù)沒有嚴格的流程監(jiān)控；

（6）稽核流程質(zhì)量問題主要指缺乏數(shù)據(jù)錯誤反饋流程。

4.4 管理因素

由于人員素質(zhì)及管理機制方面的原因造成的數(shù)據(jù)質(zhì)量問題。如人員培訓(xùn)、人員管理、培訓(xùn)或者獎懲措施不當(dāng)導(dǎo)致的管理缺失或者管理缺陷。

5.數(shù)據(jù)質(zhì)量管理過程

數(shù)據(jù)質(zhì)量管理（Data Quality Manage-ment），是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題，進行識別、度量、監(jiān)控、預(yù)警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程，其終極目標是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價值，并最終為企業(yè)贏得經(jīng)濟效益。

5.1 數(shù)據(jù)質(zhì)量管理方法

數(shù)據(jù)質(zhì)量管理借鑒六西格瑪管理方法，以事實為驅(qū)動，講信息和數(shù)據(jù)質(zhì)量提高周期分為評估、認知、行動三個階段，每個階段開展相應(yīng)的具體數(shù)據(jù)質(zhì)量管理活動。如圖2所示：

（1）定義和商定問題、時機和目標，以指導(dǎo)整個數(shù)據(jù)質(zhì)量管理的工作。

（2）收集、匯總、分析有關(guān)形式和信息環(huán)境。設(shè)計設(shè)計捕獲和評估的方案。

（3）按照數(shù)據(jù)質(zhì)量維度對數(shù)據(jù)質(zhì)量進行評估。

（4）使用各種技術(shù)評估劣質(zhì)數(shù)據(jù)對業(yè)務(wù)產(chǎn)生的影響。

（5）確定影響數(shù)據(jù)質(zhì)量的真實原因，并區(qū)分這些原因的影響的數(shù)據(jù)質(zhì)量的級別。

（6）最終確定行動的建議，為數(shù)據(jù)質(zhì)量改善制定方案，包括數(shù)據(jù)級和組織級的。

（7）建立數(shù)據(jù)錯誤預(yù)防方案，并改正當(dāng)前數(shù)據(jù)問題。

（8）通過改進組織管理流程，最大限度控制由管理上的缺陷造成的數(shù)據(jù)質(zhì)量問題。

（9）對數(shù)據(jù)和管理實施監(jiān)控，維護已改善的效果。

（10）溝通貫穿管理始終，循環(huán)的評估組織管理流程，以確保數(shù)據(jù)質(zhì)量改善的成果得到有效保持。

5.2 數(shù)據(jù)質(zhì)量分析流程

在明確評估方法后，需要對數(shù)據(jù)開展分析工作，評估對業(yè)務(wù)的影響，主要通過以下5個步驟：

（1）識別需要審查的數(shù)據(jù)集合；

（2）按照業(yè)務(wù)用途對數(shù)據(jù)集歸類；

（3）利用分析工具對數(shù)據(jù)集進行經(jīng)驗分析；

（4）列出所有潛在的異常之處；

（5）對于顯現(xiàn)出的數(shù)據(jù)缺陷，提交給數(shù)據(jù)專家進行處理并評估潛在的業(yè)務(wù)影響；

本質(zhì)上，對數(shù)據(jù)集進行統(tǒng)計分析是為了評估：

（1）生成記錄的比例；

（2）數(shù)據(jù)值產(chǎn)生的每個屬性的數(shù)量；

（3）經(jīng)常發(fā)生的值；

（4）潛在的極端值；

（5）同一個表內(nèi)列之間的關(guān)系；

（6）表與表之間的關(guān)系；

5.2.1 數(shù)據(jù)質(zhì)量規(guī)范定義

根據(jù)分析的結(jié)果，建立數(shù)據(jù)質(zhì)量規(guī)范，對數(shù)據(jù)質(zhì)量管控要求進行明確的約束，需要體現(xiàn)的內(nèi)容包括：

（1）可測量性：規(guī)范要具有可測量性，在不同的業(yè)務(wù)范圍內(nèi)，可以進行計量；

（2）業(yè)務(wù)相關(guān)性：要與業(yè)務(wù)期望相匹配；

（3）可接受性：數(shù)據(jù)的質(zhì)量維度表達了業(yè)務(wù)的需求，對質(zhì)量維度的測量提供了一個數(shù)據(jù)質(zhì)量水平，應(yīng)設(shè)定一個符合業(yè)務(wù)需求的質(zhì)量水平基準，當(dāng)?shù)陀谶@個基準時，應(yīng)及時處理；

（4）責(zé)任分工：當(dāng)數(shù)據(jù)質(zhì)量不符合業(yè)務(wù)期望時，按照預(yù)定義的職責(zé)，應(yīng)該有人對此負責(zé)采取處理措施；

（5）可控制性：恰當(dāng)?shù)臄?shù)據(jù)質(zhì)量測量維度應(yīng)表達業(yè)務(wù)控制的要求，換句話說，當(dāng)數(shù)據(jù)質(zhì)量進入不良的范圍時，應(yīng)觸發(fā)數(shù)據(jù)改進流程；

（6）跟蹤性：持續(xù)跟蹤數(shù)據(jù)的改善過程。

5.2.2 數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則定義

在數(shù)據(jù)質(zhì)量管控要求范圍內(nèi)，參考數(shù)據(jù)質(zhì)量維度，對數(shù)據(jù)集的每個數(shù)據(jù)項進行業(yè)務(wù)規(guī)則的定義：

（1）值范圍檢查：錄入的數(shù)值在枚舉值范圍內(nèi)，如郵政編碼；

（2）定義一致性：在全流程中，保證數(shù)據(jù)的定義被一致性的理解；

（3）范圍規(guī)則：數(shù)據(jù)的屬性值應(yīng)確保在一定范圍內(nèi)（時間的、數(shù)字的、預(yù)定義的）；

（4）格式符合度：為數(shù)據(jù)制定要遵循的模式，如電話號碼模式；

（5）匹配性檢查：某些數(shù)據(jù)屬性值必須與其他域內(nèi)的某個值相匹配，如市與省之間的關(guān)系；

（6）值和記錄的完整性：不存在遺漏的屬性值；

（7）準確性確認：比較錄入和輸出的數(shù)據(jù)值，確認其準確性；

（8）唯一性確認：錄入的數(shù)據(jù)必須唯一；

（9）時間線確認：標識數(shù)據(jù)的可用和可訪問時間特征。

5.3 數(shù)據(jù)質(zhì)量控制

數(shù)據(jù)的質(zhì)量改進絕非一朝一夕的事情，而是一個持續(xù)的過程。在明確了數(shù)據(jù)質(zhì)量的規(guī)則之后，需要制定一個數(shù)據(jù)問題整改提升的流程，通過不斷的改進流程，持續(xù)不斷地排除錯誤、對數(shù)據(jù)進行整合和標準化，最后達到流程的自動化，從而降低數(shù)據(jù)質(zhì)量計劃的總體開銷。

數(shù)據(jù)質(zhì)量控制還需要選擇和實施數(shù)據(jù)質(zhì)量策略。目前的策略類型有兩種：在輸入數(shù)據(jù)時提高數(shù)據(jù)質(zhì)量的方法稱為“上游”方法，而從系統(tǒng)提取數(shù)據(jù)的應(yīng)用程序（如數(shù)據(jù)倉庫）中改善數(shù)據(jù)質(zhì)量的方法是“下游”方法。事后制定流程優(yōu)化持續(xù)改進即為“下游”方法，事前的數(shù)據(jù)錄入（“上游”方法）的質(zhì)量預(yù)控更為重要。

上游策略研究當(dāng)前應(yīng)用程序的邏輯、數(shù)據(jù)和流程，解決檢查過程中發(fā)現(xiàn)的異常情況。此策略可能涉及到更改應(yīng)用程序邏輯、添加更好的表驗證、改善與數(shù)據(jù)輸入相關(guān)的流程，它致力于數(shù)據(jù)的高準確性。

6.生產(chǎn)域設(shè)備數(shù)據(jù)質(zhì)量看板

安全生產(chǎn)管理信息系統(tǒng)的核心主數(shù)據(jù)為設(shè)備，設(shè)備數(shù)據(jù)質(zhì)量的好壞直接影響到整個生產(chǎn)管理信息系統(tǒng)的業(yè)務(wù)應(yīng)用。故以生產(chǎn)設(shè)備數(shù)據(jù)作為數(shù)據(jù)質(zhì)量看板的數(shù)據(jù)集，參考數(shù)據(jù)質(zhì)量的核心要素和管理方法，對生產(chǎn)管理信息系統(tǒng)設(shè)備數(shù)據(jù)進行質(zhì)量管控，促進生產(chǎn)業(yè)務(wù)的應(yīng)用。

6.1 規(guī)則定義

以南方電網(wǎng)公司設(shè)備信息分類與編碼標準為基礎(chǔ)，按設(shè)備分類進行設(shè)備數(shù)據(jù)質(zhì)量規(guī)則的定義，作為數(shù)據(jù)質(zhì)量校驗、評估的依據(jù)。根據(jù)標準中的分類、基本信息和技術(shù)參數(shù)規(guī)范，選取必填的重要屬性，劃定屬性的數(shù)據(jù)類型、長度、業(yè)務(wù)規(guī)則、字段類型、編碼，并從完整性、規(guī)范性、唯一性等方面進行約束。

6.2 數(shù)據(jù)質(zhì)量評估

在安全生產(chǎn)管理信息系統(tǒng)中按設(shè)備類別固化設(shè)備數(shù)據(jù)質(zhì)量規(guī)則，形成數(shù)據(jù)質(zhì)量規(guī)則庫，選定由下至上的數(shù)據(jù)質(zhì)量評估方法，以數(shù)據(jù)質(zhì)量規(guī)則為標準，對每類設(shè)備的每個數(shù)據(jù)進行檢查和校驗，挑出不符合規(guī)則的設(shè)備數(shù)據(jù)，形成問題數(shù)據(jù)記錄。結(jié)合數(shù)據(jù)質(zhì)量管理目標，按數(shù)據(jù)問題類型、不符合規(guī)則項等維度統(tǒng)計異常數(shù)據(jù)量，導(dǎo)出統(tǒng)計數(shù)據(jù)，形成數(shù)據(jù)質(zhì)量報告。

安全生產(chǎn)管理信息系統(tǒng)將設(shè)備按邏輯及物理方式劃分為功能位置、設(shè)備及部件三種類型，根據(jù)數(shù)據(jù)質(zhì)量規(guī)則，自動對設(shè)備進行檢查和校驗，分別統(tǒng)計出功能位置的錯誤設(shè)備數(shù)據(jù)量、錯誤率，設(shè)備及部件按照變電一次、繼保、輸電、通信、自動化等專業(yè)進行匯總統(tǒng)計錯誤設(shè)備數(shù)據(jù)量、錯誤率，并能按照統(tǒng)計數(shù)量進行挖掘查看明細設(shè)備，能清楚知道設(shè)備屬性，因為什么原因產(chǎn)生錯誤，并能與業(yè)務(wù)規(guī)則進行比較查看，供各專業(yè)人員分析及糾錯。

6.3 質(zhì)量改善

以數(shù)據(jù)質(zhì)量看板中檢查發(fā)現(xiàn)的設(shè)備數(shù)據(jù)質(zhì)量問題記錄為依據(jù)，分析認定為異常數(shù)據(jù)，則在安全生產(chǎn)管理信息系統(tǒng)中直接發(fā)起設(shè)備變更的管理流程，按數(shù)據(jù)質(zhì)量的要求調(diào)整錯誤的設(shè)備信息。在問題記錄全部處理完畢后，再次執(zhí)行數(shù)據(jù)質(zhì)量規(guī)則的檢查與校驗，驗證錯誤數(shù)據(jù)是否得到糾正，形成PDCA的閉環(huán)管理，持續(xù)提升設(shè)備數(shù)據(jù)質(zhì)量。

7.總結(jié)

數(shù)據(jù)質(zhì)量作為影響決策正確性的基礎(chǔ)元素，已經(jīng)成為南方電網(wǎng)公司一體化大潮下最具競爭力的工具之一?？煽康臄?shù)據(jù)是企業(yè)最具價值的資產(chǎn)，在數(shù)據(jù)質(zhì)量管理上所投入的資金和時間，將會在現(xiàn)在和未來得到高額的回報。目前在生產(chǎn)域設(shè)備數(shù)據(jù)看板上探索研究了數(shù)據(jù)質(zhì)量管理的方法、規(guī)則，后續(xù)需要借鑒此經(jīng)驗，在整個企業(yè)內(nèi)部，建立科學(xué)有效的數(shù)據(jù)質(zhì)量管理系統(tǒng)，對組織的數(shù)據(jù)質(zhì)量實施全程、全域和全員管理，將數(shù)據(jù)質(zhì)量管理以制度化、規(guī)范化的方式落實到數(shù)據(jù)生成、傳遞和使用的各個過程、方面和人員之中。

參考文獻

[1]南網(wǎng)生產(chǎn)域數(shù)據(jù)質(zhì)量整治方案（部門發(fā)文）.

[2]南方電網(wǎng)公司數(shù)據(jù)質(zhì)量專項工程工作方案.

[3]數(shù)據(jù)中心數(shù)據(jù)接口單元-生產(chǎn)管理分冊.

[4]南方電網(wǎng)公司生產(chǎn)域數(shù)據(jù)質(zhì)量規(guī)則.

[5]南方電網(wǎng)公司設(shè)備信息分類與編碼標準.