【摘要】企業(yè)的數(shù)據(jù)質(zhì)量與業(yè)務(wù)績效之間存在著直接聯(lián)系,高質(zhì)量的數(shù)據(jù)是提高企業(yè)精細化管理水平、推動管理提升的重要支撐。本文重點研究數(shù)據(jù)質(zhì)量應(yīng)該包含哪些方面的內(nèi)容,以及通過什么樣的步驟或方法對數(shù)據(jù)質(zhì)量進行管理和監(jiān)控,并以電力安全生產(chǎn)設(shè)備數(shù)據(jù)為基礎(chǔ),講述如何通過信息系統(tǒng)提升生產(chǎn)設(shè)備數(shù)據(jù)的質(zhì)量。
【關(guān)鍵詞】數(shù)據(jù)質(zhì)量;業(yè)務(wù)績效;信息系統(tǒng);現(xiàn)狀
1.數(shù)據(jù)質(zhì)量背景
南方電網(wǎng)公司2012年工作會議明確提出要“著力提高精細化管理水平”,扎實開展“管理提升年”活動,推進公司整體管理水平的提升。隨著公司信息化建設(shè)的不斷深入,對數(shù)據(jù)信息的需求量越來越大、要求越來越高,數(shù)據(jù)質(zhì)量的高低直接影響和決定著業(yè)務(wù)數(shù)據(jù)、統(tǒng)計信息的有用性及其價值,直接關(guān)系到公司的經(jīng)濟效益、社會效益以及公司管理和發(fā)展的順利進行,因此迫切需要開展數(shù)據(jù)質(zhì)量專項工程,切實落實“突出抓好數(shù)據(jù)質(zhì)量”的要求,深化應(yīng)用信息化手段,推動管理提升和管理精細化。
2.數(shù)據(jù)質(zhì)量現(xiàn)狀
經(jīng)過多年信息化建設(shè),公司在數(shù)據(jù)質(zhì)量管理方面取得了一定的成效,整體數(shù)據(jù)質(zhì)量得到了一定提升。但是在傳統(tǒng)管理模式下,還存在諸如缺乏統(tǒng)一管理、數(shù)據(jù)源不唯一、責(zé)任不明確、缺乏企業(yè)資源統(tǒng)一建模以及數(shù)據(jù)標準執(zhí)行不到位等問題。以安全生產(chǎn)設(shè)備為例,問題主要如下:
(1)缺乏統(tǒng)一管理:目前設(shè)備涵蓋了變電、輸電、配電網(wǎng),變電和輸電設(shè)備的管理主要在主網(wǎng)生產(chǎn)或資產(chǎn)系統(tǒng)中集中管理,而配網(wǎng)設(shè)備則是在營配一體化或配網(wǎng)生產(chǎn)系統(tǒng)中,管理源頭不統(tǒng)一。
(2)數(shù)據(jù)源不唯一:主網(wǎng)生產(chǎn)系統(tǒng)、資產(chǎn)系統(tǒng)、營配一體化系統(tǒng)、配網(wǎng)生產(chǎn)系統(tǒng)由不同的廠家在不同時期建設(shè),數(shù)據(jù)要求不統(tǒng)一,導(dǎo)致數(shù)據(jù)源不統(tǒng)一。
(3)責(zé)任不明確:設(shè)備數(shù)據(jù)的建立橫跨了工程、物資、生產(chǎn)、財務(wù)等多個部門,涉及的業(yè)務(wù)部門多、數(shù)據(jù)復(fù)雜、信息量大,數(shù)據(jù)未進行很好的職責(zé)劃分,導(dǎo)致業(yè)務(wù)部門在數(shù)據(jù)信息的錄入和管理上缺乏指導(dǎo)及考核,數(shù)據(jù)的質(zhì)量不高,管理混亂。
(4)缺乏統(tǒng)一建模:由于系統(tǒng)建設(shè)的周期不一致,對設(shè)備的數(shù)據(jù)的應(yīng)用范圍要求也不一致,未形成統(tǒng)一的設(shè)備模型,導(dǎo)致同類設(shè)備,在元數(shù)據(jù)模型上存在差異,影響到數(shù)據(jù)分析及數(shù)據(jù)質(zhì)量。
3.數(shù)據(jù)質(zhì)量概述
數(shù)據(jù)質(zhì)量也就是信息質(zhì)量,不良的數(shù)據(jù)將產(chǎn)生不準確的信息和較差的業(yè)務(wù)績效。在系統(tǒng)建設(shè)的不同階段,對數(shù)據(jù)質(zhì)量的關(guān)注點也有所不同。早期對數(shù)據(jù)質(zhì)量的關(guān)注點主要是提高數(shù)據(jù)準確性,隨著系統(tǒng)功能和定位的不斷延伸,關(guān)注的重點逐步由數(shù)據(jù)準確性擴展至完整性、一致性、及時性等方面,這些內(nèi)容也屬于數(shù)據(jù)質(zhì)量的范疇。
數(shù)據(jù)質(zhì)量好不好,首先需要考慮數(shù)據(jù)質(zhì)量六大基本要素是否滿足,所謂六大基本要素是指:
完整性:主要包括實體不缺失、屬性不缺失、記錄不缺失和字段值不缺失四個方面;
(1)唯一性:指主鍵唯一和候選鍵唯一兩個方面;
(2)一致性:指統(tǒng)一數(shù)據(jù)來源、統(tǒng)一存儲和統(tǒng)一數(shù)據(jù)口徑;
(3)精確度:指計量誤差、度量單位等方面的精確程度;
(4)合法性:主要包括格式、類型、域值和業(yè)務(wù)規(guī)則的有效性;
(5)及時性:指數(shù)據(jù)刷新、修改和提取等操作的及時性和快速性。
4.影響因素分析
如圖1所示,影響數(shù)據(jù)質(zhì)量的因素主要來源于四方面:信息因素、技術(shù)因素、流程因素和管理因素。
4.1 信息因素
由于對數(shù)據(jù)本身的描述理解及其度量標準的偏差而造成的數(shù)據(jù)質(zhì)量問題,產(chǎn)生這部分數(shù)據(jù)質(zhì)量問題的原因主要有:
(1)元數(shù)據(jù)描述及理解錯誤、數(shù)據(jù)度量的各種性質(zhì)得不到保證和變化頻度不恰當(dāng)?shù)取?/p>
(2)元數(shù)據(jù)描述及理解錯誤中的相關(guān)元數(shù)據(jù)主要包括業(yè)務(wù)描述、業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語、業(yè)務(wù)指標口徑等。
(3)數(shù)據(jù)度量和變化頻度提供了衡量數(shù)據(jù)質(zhì)量好壞的手段。數(shù)據(jù)度量主要包括完整性、唯一性、一致性、準確性、合法性。變化頻度主要包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)的變化周期和實體數(shù)據(jù)的刷新周期。
4.2 技術(shù)因素
主要是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題,它產(chǎn)生的直接原因是技術(shù)實現(xiàn)上的某種缺陷。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護等方面的內(nèi)容。
4.3 流程因素
由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題,主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等各環(huán)節(jié):
(1)創(chuàng)建流程質(zhì)量問題主要指操作員數(shù)據(jù)錄入時缺乏審核流程;
(2)傳遞流程質(zhì)量問題主要指通信流程溝通不暢;
(3)裝載流程質(zhì)量問題主要指清洗流程缺乏/不當(dāng)、調(diào)度流程邏輯錯誤、數(shù)據(jù)加載流程邏輯錯誤及數(shù)據(jù)轉(zhuǎn)換流程邏輯錯誤;
(4)使用流程質(zhì)量問題主要指數(shù)據(jù)使用流程缺乏流程管理;
(5)維護流程質(zhì)量問題主要指缺乏變更維護流程、缺乏錯誤數(shù)據(jù)維護流程、缺乏數(shù)據(jù)測試流程以及對人工后臺調(diào)整數(shù)據(jù)沒有嚴格的流程監(jiān)控;
(6)稽核流程質(zhì)量問題主要指缺乏數(shù)據(jù)錯誤反饋流程。
4.4 管理因素
由于人員素質(zhì)及管理機制方面的原因造成的數(shù)據(jù)質(zhì)量問題。如人員培訓(xùn)、人員管理、培訓(xùn)或者獎懲措施不當(dāng)導(dǎo)致的管理缺失或者管理缺陷。
5.數(shù)據(jù)質(zhì)量管理過程
數(shù)據(jù)質(zhì)量管理(Data Quality Manage-ment),是指對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應(yīng)用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題,進行識別、度量、監(jiān)控、預(yù)警等一系列管理活動,并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進一步提高。數(shù)據(jù)質(zhì)量管理是循環(huán)管理過程,其終極目標是通過可靠的數(shù)據(jù)提升數(shù)據(jù)在使用中的價值,并最終為企業(yè)贏得經(jīng)濟效益。
5.1 數(shù)據(jù)質(zhì)量管理方法
數(shù)據(jù)質(zhì)量管理借鑒六西格瑪管理方法,以事實為驅(qū)動,講信息和數(shù)據(jù)質(zhì)量提高周期分為評估、認知、行動三個階段,每個階段開展相應(yīng)的具體數(shù)據(jù)質(zhì)量管理活動。如圖2所示:
(1)定義和商定問題、時機和目標,以指導(dǎo)整個數(shù)據(jù)質(zhì)量管理的工作。
(2)收集、匯總、分析有關(guān)形式和信息環(huán)境。設(shè)計設(shè)計捕獲和評估的方案。
(3)按照數(shù)據(jù)質(zhì)量維度對數(shù)據(jù)質(zhì)量進行評估。
(4)使用各種技術(shù)評估劣質(zhì)數(shù)據(jù)對業(yè)務(wù)產(chǎn)生的影響。
(5)確定影響數(shù)據(jù)質(zhì)量的真實原因,并區(qū)分這些原因的影響的數(shù)據(jù)質(zhì)量的級別。
(6)最終確定行動的建議,為數(shù)據(jù)質(zhì)量改善制定方案,包括數(shù)據(jù)級和組織級的。
(7)建立數(shù)據(jù)錯誤預(yù)防方案,并改正當(dāng)前數(shù)據(jù)問題。
(8)通過改進組織管理流程,最大限度控制由管理上的缺陷造成的數(shù)據(jù)質(zhì)量問題。
(9)對數(shù)據(jù)和管理實施監(jiān)控,維護已改善的效果。
(10)溝通貫穿管理始終,循環(huán)的評估組織管理流程,以確保數(shù)據(jù)質(zhì)量改善的成果得到有效保持。
5.2 數(shù)據(jù)質(zhì)量分析流程
在明確評估方法后,需要對數(shù)據(jù)開展分析工作,評估對業(yè)務(wù)的影響,主要通過以下5個步驟:
(1)識別需要審查的數(shù)據(jù)集合;
(2)按照業(yè)務(wù)用途對數(shù)據(jù)集歸類;
(3)利用分析工具對數(shù)據(jù)集進行經(jīng)驗分析;
(4)列出所有潛在的異常之處;
(5)對于顯現(xiàn)出的數(shù)據(jù)缺陷,提交給數(shù)據(jù)專家進行處理并評估潛在的業(yè)務(wù)影響;
本質(zhì)上,對數(shù)據(jù)集進行統(tǒng)計分析是為了評估:
(1)生成記錄的比例;
(2)數(shù)據(jù)值產(chǎn)生的每個屬性的數(shù)量;
(3)經(jīng)常發(fā)生的值;
(4)潛在的極端值;
(5)同一個表內(nèi)列之間的關(guān)系;
(6)表與表之間的關(guān)系;
5.2.1 數(shù)據(jù)質(zhì)量規(guī)范定義
根據(jù)分析的結(jié)果,建立數(shù)據(jù)質(zhì)量規(guī)范,對數(shù)據(jù)質(zhì)量管控要求進行明確的約束,需要體現(xiàn)的內(nèi)容包括:
(1)可測量性:規(guī)范要具有可測量性,在不同的業(yè)務(wù)范圍內(nèi),可以進行計量;
(2)業(yè)務(wù)相關(guān)性:要與業(yè)務(wù)期望相匹配;
(3)可接受性:數(shù)據(jù)的質(zhì)量維度表達了業(yè)務(wù)的需求,對質(zhì)量維度的測量提供了一個數(shù)據(jù)質(zhì)量水平,應(yīng)設(shè)定一個符合業(yè)務(wù)需求的質(zhì)量水平基準,當(dāng)?shù)陀谶@個基準時,應(yīng)及時處理;
(4)責(zé)任分工:當(dāng)數(shù)據(jù)質(zhì)量不符合業(yè)務(wù)期望時,按照預(yù)定義的職責(zé),應(yīng)該有人對此負責(zé)采取處理措施;
(5)可控制性:恰當(dāng)?shù)臄?shù)據(jù)質(zhì)量測量維度應(yīng)表達業(yè)務(wù)控制的要求,換句話說,當(dāng)數(shù)據(jù)質(zhì)量進入不良的范圍時,應(yīng)觸發(fā)數(shù)據(jù)改進流程;
(6)跟蹤性:持續(xù)跟蹤數(shù)據(jù)的改善過程。
5.2.2 數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則定義
在數(shù)據(jù)質(zhì)量管控要求范圍內(nèi),參考數(shù)據(jù)質(zhì)量維度,對數(shù)據(jù)集的每個數(shù)據(jù)項進行業(yè)務(wù)規(guī)則的定義:
(1)值范圍檢查:錄入的數(shù)值在枚舉值范圍內(nèi),如郵政編碼;
(2)定義一致性:在全流程中,保證數(shù)據(jù)的定義被一致性的理解;
(3)范圍規(guī)則:數(shù)據(jù)的屬性值應(yīng)確保在一定范圍內(nèi)(時間的、數(shù)字的、預(yù)定義的);
(4)格式符合度:為數(shù)據(jù)制定要遵循的模式,如電話號碼模式;
(5)匹配性檢查:某些數(shù)據(jù)屬性值必須與其他域內(nèi)的某個值相匹配,如市與省之間的關(guān)系;
(6)值和記錄的完整性:不存在遺漏的屬性值;
(7)準確性確認:比較錄入和輸出的數(shù)據(jù)值,確認其準確性;
(8)唯一性確認:錄入的數(shù)據(jù)必須唯一;
(9)時間線確認:標識數(shù)據(jù)的可用和可訪問時間特征。
5.3 數(shù)據(jù)質(zhì)量控制
數(shù)據(jù)的質(zhì)量改進絕非一朝一夕的事情,而是一個持續(xù)的過程。在明確了數(shù)據(jù)質(zhì)量的規(guī)則之后,需要制定一個數(shù)據(jù)問題整改提升的流程,通過不斷的改進流程,持續(xù)不斷地排除錯誤、對數(shù)據(jù)進行整合和標準化,最后達到流程的自動化,從而降低數(shù)據(jù)質(zhì)量計劃的總體開銷。
數(shù)據(jù)質(zhì)量控制還需要選擇和實施數(shù)據(jù)質(zhì)量策略。目前的策略類型有兩種:在輸入數(shù)據(jù)時提高數(shù)據(jù)質(zhì)量的方法稱為“上游”方法,而從系統(tǒng)提取數(shù)據(jù)的應(yīng)用程序(如數(shù)據(jù)倉庫)中改善數(shù)據(jù)質(zhì)量的方法是“下游”方法。事后制定流程優(yōu)化持續(xù)改進即為“下游”方法,事前的數(shù)據(jù)錄入(“上游”方法)的質(zhì)量預(yù)控更為重要。
上游策略研究當(dāng)前應(yīng)用程序的邏輯、數(shù)據(jù)和流程,解決檢查過程中發(fā)現(xiàn)的異常情況。此策略可能涉及到更改應(yīng)用程序邏輯、添加更好的表驗證、改善與數(shù)據(jù)輸入相關(guān)的流程,它致力于數(shù)據(jù)的高準確性。
6.生產(chǎn)域設(shè)備數(shù)據(jù)質(zhì)量看板
安全生產(chǎn)管理信息系統(tǒng)的核心主數(shù)據(jù)為設(shè)備,設(shè)備數(shù)據(jù)質(zhì)量的好壞直接影響到整個生產(chǎn)管理信息系統(tǒng)的業(yè)務(wù)應(yīng)用。故以生產(chǎn)設(shè)備數(shù)據(jù)作為數(shù)據(jù)質(zhì)量看板的數(shù)據(jù)集,參考數(shù)據(jù)質(zhì)量的核心要素和管理方法,對生產(chǎn)管理信息系統(tǒng)設(shè)備數(shù)據(jù)進行質(zhì)量管控,促進生產(chǎn)業(yè)務(wù)的應(yīng)用。
6.1 規(guī)則定義
以南方電網(wǎng)公司設(shè)備信息分類與編碼標準為基礎(chǔ),按設(shè)備分類進行設(shè)備數(shù)據(jù)質(zhì)量規(guī)則的定義,作為數(shù)據(jù)質(zhì)量校驗、評估的依據(jù)。根據(jù)標準中的分類、基本信息和技術(shù)參數(shù)規(guī)范,選取必填的重要屬性,劃定屬性的數(shù)據(jù)類型、長度、業(yè)務(wù)規(guī)則、字段類型、編碼,并從完整性、規(guī)范性、唯一性等方面進行約束。
6.2 數(shù)據(jù)質(zhì)量評估
在安全生產(chǎn)管理信息系統(tǒng)中按設(shè)備類別固化設(shè)備數(shù)據(jù)質(zhì)量規(guī)則,形成數(shù)據(jù)質(zhì)量規(guī)則庫,選定由下至上的數(shù)據(jù)質(zhì)量評估方法,以數(shù)據(jù)質(zhì)量規(guī)則為標準,對每類設(shè)備的每個數(shù)據(jù)進行檢查和校驗,挑出不符合規(guī)則的設(shè)備數(shù)據(jù),形成問題數(shù)據(jù)記錄。結(jié)合數(shù)據(jù)質(zhì)量管理目標,按數(shù)據(jù)問題類型、不符合規(guī)則項等維度統(tǒng)計異常數(shù)據(jù)量,導(dǎo)出統(tǒng)計數(shù)據(jù),形成數(shù)據(jù)質(zhì)量報告。
安全生產(chǎn)管理信息系統(tǒng)將設(shè)備按邏輯及物理方式劃分為功能位置、設(shè)備及部件三種類型,根據(jù)數(shù)據(jù)質(zhì)量規(guī)則,自動對設(shè)備進行檢查和校驗,分別統(tǒng)計出功能位置的錯誤設(shè)備數(shù)據(jù)量、錯誤率,設(shè)備及部件按照變電一次、繼保、輸電、通信、自動化等專業(yè)進行匯總統(tǒng)計錯誤設(shè)備數(shù)據(jù)量、錯誤率,并能按照統(tǒng)計數(shù)量進行挖掘查看明細設(shè)備,能清楚知道設(shè)備屬性,因為什么原因產(chǎn)生錯誤,并能與業(yè)務(wù)規(guī)則進行比較查看,供各專業(yè)人員分析及糾錯。
6.3 質(zhì)量改善
以數(shù)據(jù)質(zhì)量看板中檢查發(fā)現(xiàn)的設(shè)備數(shù)據(jù)質(zhì)量問題記錄為依據(jù),分析認定為異常數(shù)據(jù),則在安全生產(chǎn)管理信息系統(tǒng)中直接發(fā)起設(shè)備變更的管理流程,按數(shù)據(jù)質(zhì)量的要求調(diào)整錯誤的設(shè)備信息。在問題記錄全部處理完畢后,再次執(zhí)行數(shù)據(jù)質(zhì)量規(guī)則的檢查與校驗,驗證錯誤數(shù)據(jù)是否得到糾正,形成PDCA的閉環(huán)管理,持續(xù)提升設(shè)備數(shù)據(jù)質(zhì)量。
7.總結(jié)
數(shù)據(jù)質(zhì)量作為影響決策正確性的基礎(chǔ)元素,已經(jīng)成為南方電網(wǎng)公司一體化大潮下最具競爭力的工具之一??煽康臄?shù)據(jù)是企業(yè)最具價值的資產(chǎn),在數(shù)據(jù)質(zhì)量管理上所投入的資金和時間,將會在現(xiàn)在和未來得到高額的回報。目前在生產(chǎn)域設(shè)備數(shù)據(jù)看板上探索研究了數(shù)據(jù)質(zhì)量管理的方法、規(guī)則,后續(xù)需要借鑒此經(jīng)驗,在整個企業(yè)內(nèi)部,建立科學(xué)有效的數(shù)據(jù)質(zhì)量管理系統(tǒng),對組織的數(shù)據(jù)質(zhì)量實施全程、全域和全員管理,將數(shù)據(jù)質(zhì)量管理以制度化、規(guī)范化的方式落實到數(shù)據(jù)生成、傳遞和使用的各個過程、方面和人員之中。
參考文獻
[1]南網(wǎng)生產(chǎn)域數(shù)據(jù)質(zhì)量整治方案(部門發(fā)文).
[2]南方電網(wǎng)公司數(shù)據(jù)質(zhì)量專項工程工作方案.
[3]數(shù)據(jù)中心數(shù)據(jù)接口單元-生產(chǎn)管理分冊.
[4]南方電網(wǎng)公司生產(chǎn)域數(shù)據(jù)質(zhì)量規(guī)則.
[5]南方電網(wǎng)公司設(shè)備信息分類與編碼標準.