摘 要: 電網(wǎng)設(shè)備臺(tái)帳數(shù)據(jù)是電網(wǎng)生產(chǎn)運(yùn)營(yíng)分析最基礎(chǔ)的數(shù)據(jù),其數(shù)據(jù)質(zhì)量水平?jīng)Q定了大量數(shù)據(jù)分析結(jié)果的可信度和決策的科學(xué)性。以廣東電網(wǎng)公司設(shè)備臺(tái)帳數(shù)據(jù)為研究樣本,通過(guò)歸納識(shí)別設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量的問(wèn)題表象,剖析導(dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題的技術(shù)、管理深層次原因;基于業(yè)務(wù)協(xié)同與標(biāo)準(zhǔn)化等管理理論和數(shù)據(jù)分析挖掘方法,提出了有針對(duì)性的數(shù)據(jù)質(zhì)量改善管理措施和技術(shù)措施,為提升信息系統(tǒng)數(shù)據(jù)質(zhì)量提供了支撐。
關(guān)鍵詞: 數(shù)據(jù)質(zhì)量; 設(shè)備臺(tái)帳管理; 檢測(cè)規(guī)則; 改善措施
中圖分類號(hào): TN915?34 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào): 1004?373X(2016)13?0163?04
Abstract: The power grid equipment ledger data is the most fundamental data of power grid production and operation analysis, and its data quality level decides the reliability of massive data analysis results and scientificity of decision making. In this paper, the equipment ledger data of Guangdong Power Grid Corporation is taken as the research sample, and the problems of equipment ledger data quality is concluded and recognized to analyze the technology and management fundamental reasons causing data quality. On the basis of management theories of business collaboration and standardization, and data analysis and mining method, the management measure and technology measure for data quality improvement are proposed to provide the support for improving the information system data quality.
Keywords: data quality; equipment ledger management; detection rule; improvement measure
0 引 言
經(jīng)過(guò)信息系統(tǒng)的多年運(yùn)轉(zhuǎn)完善,廣東電網(wǎng)以設(shè)備臺(tái)帳為核心的數(shù)據(jù)資產(chǎn)已超過(guò)400T,而且仍然在以每年30%的復(fù)合增長(zhǎng)率高速膨脹,大量的數(shù)據(jù)資產(chǎn)為企業(yè)分析決策奠定了基礎(chǔ),但目前仍存在數(shù)據(jù)質(zhì)量達(dá)不到分析要求,實(shí)用化水平不高的問(wèn)題[1]。本文以廣東電網(wǎng)公司設(shè)備臺(tái)帳數(shù)據(jù)為研究樣本,通過(guò)歸納識(shí)別設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量的問(wèn)題表象,剖析導(dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題的技術(shù)、管理深層次原因,基于業(yè)務(wù)協(xié)同與標(biāo)準(zhǔn)化等管理理論和數(shù)據(jù)分析挖掘方法,提出了針對(duì)性的數(shù)據(jù)質(zhì)量改善管理措施和技術(shù)措施,為提升信息系統(tǒng)數(shù)據(jù)質(zhì)量提供了支撐。
1 設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量問(wèn)題表象歸納
經(jīng)過(guò)數(shù)據(jù)清理工作及應(yīng)用問(wèn)題總結(jié),歸納出廣東電網(wǎng)設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量問(wèn)題主要表現(xiàn)在以下幾方面。
(1) 數(shù)據(jù)不完整
部分設(shè)備臺(tái)帳缺少記錄,記錄中個(gè)別字段經(jīng)查詢?yōu)榭?,主要集中在隔離開關(guān)、變電站自動(dòng)化系統(tǒng)等設(shè)備或者系統(tǒng)的設(shè)備管理部門名稱、調(diào)管名稱、系統(tǒng)維護(hù)廠商名等字段,主要表現(xiàn)為數(shù)據(jù)缺失或把數(shù)據(jù)標(biāo)記為“9999”等情況。
(2) 數(shù)據(jù)不準(zhǔn)確
主要集中在高壓柜?斷路器、PCM設(shè)備、SDH光設(shè)備和路由器、主變母線等設(shè)備的額定電壓、額定峰值耐受電流、供電方式、型式、額定短時(shí)耐受電流、類型、額定電流、中壓?低壓負(fù)載損耗、絕緣類型、操作方式等字段,主要表現(xiàn)如下:
① 數(shù)據(jù)不符合事先對(duì)數(shù)據(jù)約束的規(guī)范。如:PCM設(shè)備或SDH光設(shè)備的供電方式要求同時(shí)錄入兩類信息,包括交流/直流、單電源/雙電源,但實(shí)際數(shù)據(jù)中往往僅含有交流/直流信息。
② 數(shù)據(jù)異常。即實(shí)際數(shù)據(jù)出現(xiàn)不應(yīng)存在的值,如:UPS設(shè)備的直流輸入電壓出現(xiàn)為‘12’,‘240’的情況,根據(jù)電力基本常識(shí),UPS輸入電壓不存在這樣的取值,取值不合理。
(3) 數(shù)據(jù)不一致
主要集中在斷路器、隔離開關(guān)等設(shè)備的名稱、編碼、投運(yùn)日期等字段。主要表現(xiàn)在:設(shè)備臺(tái)帳中的數(shù)據(jù)與其他系統(tǒng)(如財(cái)務(wù)資產(chǎn)卡片)數(shù)據(jù)不一致,如資產(chǎn)卡片中設(shè)備名稱為開關(guān)柜,設(shè)備臺(tái)帳中為斷路器。
除以上三種數(shù)據(jù)質(zhì)量問(wèn)題表象外,還存在數(shù)據(jù)錯(cuò)誤、數(shù)據(jù)污染、域值重復(fù)等問(wèn)題。
2 設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量原因分析
引發(fā)數(shù)據(jù)質(zhì)量問(wèn)題的原因既有管理上的,也有技術(shù)上的。主要集中在制度執(zhí)行不到位、業(yè)務(wù)過(guò)程“兩本賬”、操作人員素質(zhì)不高、系統(tǒng)設(shè)計(jì)不完善、數(shù)據(jù)檢測(cè)規(guī)則不健全、數(shù)據(jù)清理不及時(shí)等,根據(jù)數(shù)據(jù)質(zhì)量的基本特征,下面就常見的原因進(jìn)行詳細(xì)分析:
(1) 制度執(zhí)行不到位
廣東電網(wǎng)已制定并發(fā)布了各業(yè)務(wù)部門的設(shè)備臺(tái)帳管理制度,但在執(zhí)行過(guò)程中因缺乏精細(xì)匹配的數(shù)據(jù)質(zhì)量落地機(jī)制,導(dǎo)致數(shù)據(jù)錄入與審核的執(zhí)行不到位,臺(tái)帳數(shù)據(jù)質(zhì)量降低。
① 在設(shè)備臺(tái)帳錄入階段,設(shè)備臺(tái)帳錄入質(zhì)量缺乏考核制度與指標(biāo),不利于數(shù)據(jù)管理人員把握設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量的整體情況。
② 在設(shè)備臺(tái)帳維護(hù)階段,維護(hù)人員在清理核查過(guò)程中發(fā)現(xiàn)設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量問(wèn)題,缺乏整改與跟蹤機(jī)制。
③ 缺少常態(tài)化的培訓(xùn)機(jī)制。在信息系統(tǒng)運(yùn)轉(zhuǎn)后,沒(méi)有及時(shí)對(duì)相關(guān)業(yè)務(wù)人員進(jìn)行培訓(xùn),導(dǎo)致數(shù)據(jù)維護(hù)水平不高。
(2) 業(yè)務(wù)過(guò)程 “兩本賬”
在實(shí)際業(yè)務(wù)過(guò)程中,基層單位對(duì)系統(tǒng)的依賴性不高,對(duì)數(shù)據(jù)質(zhì)量的價(jià)值認(rèn)識(shí)不足。如:有的管理部門經(jīng)常另外發(fā)一份表格,要求全部重新統(tǒng)計(jì)設(shè)備臺(tái)帳,導(dǎo)致設(shè)備臺(tái)帳數(shù)據(jù)進(jìn)入系統(tǒng)外循環(huán)階段,降低了設(shè)備臺(tái)帳的使用與維護(hù)意識(shí),導(dǎo)致數(shù)據(jù)質(zhì)量不能持續(xù)提升。
(3) 系統(tǒng)操作人員素質(zhì)不高
由于業(yè)務(wù)人員的IT素質(zhì)參差不齊,在系統(tǒng)使用過(guò)程中,不能理解或不能精確使用系統(tǒng)提供的數(shù)據(jù),不能確定每個(gè)數(shù)據(jù)元素的真正含義,針對(duì)同一數(shù)據(jù)項(xiàng),不同的人也有不同的理解。在設(shè)備臺(tái)帳錄入過(guò)程中,有出現(xiàn)填充默認(rèn)值或無(wú)意義參數(shù)的現(xiàn)象,導(dǎo)致設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量降低。
(4) 系統(tǒng)設(shè)計(jì)不完善
隨著業(yè)務(wù)精細(xì)化的發(fā)展,信息模型也不斷完善,但由于信息模型更新滯后,導(dǎo)致原有系統(tǒng)設(shè)計(jì)存在缺陷或者不完善,引起數(shù)據(jù)項(xiàng)定義不清晰、信息分類不細(xì)致、存在歷史數(shù)據(jù)與現(xiàn)有標(biāo)準(zhǔn)的不匹配等一系列問(wèn)題。
(5) 數(shù)據(jù)檢測(cè)規(guī)則不健全
設(shè)備臺(tái)帳初期數(shù)據(jù)質(zhì)量主要依賴于業(yè)務(wù)系統(tǒng)設(shè)置的一些規(guī)則,如:字段不允許為空,后期則主要依賴于數(shù)據(jù)質(zhì)量檢測(cè)平臺(tái),規(guī)則主要以判斷字段是否為空、列舉所有可能取值等為主,對(duì)于沒(méi)有明顯的業(yè)務(wù)規(guī)則、隱性的數(shù)據(jù)質(zhì)量等問(wèn)題,仍然缺少有效的技術(shù)檢測(cè)手段,無(wú)法滿足數(shù)據(jù)日益變化的數(shù)據(jù)質(zhì)量問(wèn)題檢測(cè)需求。檢測(cè)規(guī)則的不健全主要表現(xiàn)在以下兩方面:
① 業(yè)務(wù)規(guī)范應(yīng)用不到位。目前某些設(shè)備技術(shù)參數(shù)的評(píng)價(jià)規(guī)則可根據(jù)明確的業(yè)務(wù)規(guī)范來(lái)設(shè)定,但在數(shù)據(jù)質(zhì)量檢測(cè)平臺(tái)仍未得到很好的應(yīng)用。如檢測(cè)主變壓器技術(shù)參數(shù)的規(guī)則共28條,其中僅16條可檢查出數(shù)據(jù)質(zhì)量問(wèn)題,余下的某些規(guī)則由于業(yè)務(wù)規(guī)范應(yīng)用不到位的原因,并沒(méi)有很好地發(fā)揮作用,如圖1所示。
② 規(guī)則過(guò)于寬泛。目前某些字段的檢測(cè)規(guī)則過(guò)于寬松,規(guī)則檢測(cè)的數(shù)據(jù)基本全部通過(guò),但實(shí)際數(shù)據(jù)仍存在數(shù)據(jù)范圍不在業(yè)務(wù)實(shí)際分布區(qū)間、數(shù)據(jù)精度不滿足要求等情況,數(shù)據(jù)質(zhì)量水平并不高。如僅約束主變套管的額定電流是否為空,實(shí)際數(shù)據(jù)中取值為9999,1111,00等數(shù)據(jù)質(zhì)量問(wèn)題仍未檢測(cè)出來(lái)。詳細(xì)見表1。
(6) 數(shù)據(jù)清理不及時(shí)
歷史存量數(shù)據(jù)的產(chǎn)生沒(méi)有明確的數(shù)據(jù)質(zhì)量控制規(guī)范,數(shù)據(jù)質(zhì)量問(wèn)題較多,由于大量歷史數(shù)據(jù)的采集、核對(duì)、處置需要投入大量的資源,會(huì)產(chǎn)生數(shù)據(jù)清理不及時(shí)的現(xiàn)象,無(wú)法滿足信息系統(tǒng)升級(jí)或集成的需要。
3 提高設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量建議與措施
針對(duì)廣東電網(wǎng)公司數(shù)據(jù)質(zhì)量原因的剖析,建議以管理措施與技術(shù)手段并進(jìn)的方式,建立設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量提升策略[2]。具體建議與措施包括:
(1) 建立全過(guò)程數(shù)據(jù)質(zhì)量管控機(jī)制,落實(shí)設(shè)備臺(tái)帳的各項(xiàng)管理制度標(biāo)準(zhǔn)
① 以誰(shuí)使用誰(shuí)負(fù)責(zé)為出發(fā)點(diǎn),制定業(yè)務(wù)部門的數(shù)據(jù)質(zhì)量考核指標(biāo),促進(jìn)設(shè)備臺(tái)帳管理制度在業(yè)務(wù)部門的執(zhí)行。
② 仿照設(shè)備運(yùn)維模式,建立數(shù)據(jù)質(zhì)量缺陷管理制度。每一個(gè)數(shù)據(jù)質(zhì)量問(wèn)題,都應(yīng)該形成缺陷記錄,記錄發(fā)現(xiàn)時(shí)間、發(fā)現(xiàn)人、具體問(wèn)題描述、消缺時(shí)間等。對(duì)數(shù)據(jù)的消缺率、消缺及時(shí)率進(jìn)行定期檢查,及時(shí)督促。建立數(shù)據(jù)質(zhì)量案例存檔機(jī)制,對(duì)已經(jīng)發(fā)現(xiàn)和處理過(guò)的數(shù)據(jù)質(zhì)量問(wèn)題分類存檔,主要內(nèi)容包括:數(shù)據(jù)質(zhì)量監(jiān)控點(diǎn)設(shè)置、數(shù)據(jù)質(zhì)量檢查項(xiàng)、已發(fā)現(xiàn)的歷史數(shù)據(jù)質(zhì)量問(wèn)題描述、可選解決方案、最終實(shí)施的解決方案、解決成果評(píng)估等。
③ 建立常態(tài)化的系統(tǒng)更新與培訓(xùn)機(jī)制。及時(shí)響應(yīng)業(yè)務(wù)人員的需求,完善信息系統(tǒng)功能,更新操作手冊(cè),對(duì)基層業(yè)務(wù)人員開展有針對(duì)性的培訓(xùn),形成完善的信息系統(tǒng)從需求響應(yīng)到發(fā)布培訓(xùn)的閉環(huán)跟蹤機(jī)制。
(2) 規(guī)范系統(tǒng)使用過(guò)程
業(yè)務(wù)部門從實(shí)際需求出發(fā),制定系統(tǒng)使用規(guī)范,實(shí)現(xiàn)數(shù)據(jù)錄入、統(tǒng)計(jì)分析、匯報(bào)考核都完全在信息系統(tǒng)中實(shí)現(xiàn),杜絕“兩本賬”,真正做到“用系統(tǒng)數(shù)據(jù)說(shuō)話”,主動(dòng)促進(jìn)數(shù)據(jù)質(zhì)量提升。
(3) 建立專門的員工輔導(dǎo)隊(duì)伍,輔導(dǎo)提高系統(tǒng)操作規(guī)范
充分利用各地市局信息中心資源,組建信息部門主導(dǎo)的數(shù)據(jù)巡查隊(duì)伍,并形成數(shù)據(jù)巡查規(guī)范,巡查隊(duì)伍經(jīng)過(guò)統(tǒng)一培訓(xùn),分配到各業(yè)務(wù)部門,輔助數(shù)據(jù)錄入工作,提高業(yè)務(wù)部門的系統(tǒng)操作規(guī)范。
(4) 完善業(yè)務(wù)模型,優(yōu)化系統(tǒng)設(shè)計(jì)
建立信息模型快速更新機(jī)制,及時(shí)優(yōu)化系統(tǒng)設(shè)計(jì)[3?4]。在業(yè)務(wù)部門設(shè)立用戶聯(lián)絡(luò)人,增進(jìn)用戶與信息部及系統(tǒng)開發(fā)者之間的聯(lián)系,一旦有業(yè)務(wù)模型更新時(shí),用戶聯(lián)系人可以監(jiān)督業(yè)務(wù)模型信息化落地,為確定數(shù)據(jù)范圍、數(shù)據(jù)的類型等提供幫助。
(5) 完善數(shù)據(jù)質(zhì)量檢測(cè)規(guī)則
針對(duì)不同類型的數(shù)據(jù),充分利用數(shù)據(jù)挖掘技術(shù),提取相關(guān)數(shù)據(jù)進(jìn)行數(shù)據(jù)探索,建立檢測(cè)模型并提煉檢測(cè)規(guī)則。一方面,對(duì)原有檢測(cè)規(guī)則進(jìn)行補(bǔ)充完善,并對(duì)模型進(jìn)行校驗(yàn)固化,完善數(shù)據(jù)質(zhì)量檢測(cè)系統(tǒng)[5];另一方面,將檢測(cè)規(guī)則提交給業(yè)務(wù)系統(tǒng)開發(fā)商,促進(jìn)規(guī)則在系統(tǒng)錄入中的應(yīng)用,從源頭提升數(shù)據(jù)質(zhì)量,如圖2所示。
以資產(chǎn)管理系統(tǒng)設(shè)備臺(tái)帳中輸電線路的檔距取值為例,大多數(shù)輸電線路的檔距取值在240~ 520 m之間,而對(duì)于少數(shù)檔距取值為120~160 m,860 m的輸電線路,其相應(yīng)的線路長(zhǎng)度和桿塔數(shù)量存在數(shù)據(jù)質(zhì)量問(wèn)題的可能性較大。而原有校驗(yàn)規(guī)則較為寬泛(僅檢查是否為空),無(wú)法發(fā)現(xiàn)此類由于系統(tǒng)用戶錄入錯(cuò)誤或資料記錄錯(cuò)誤等原因造成的數(shù)據(jù)質(zhì)量問(wèn)題,如圖3所示。
針對(duì)輸電線路檔距中異常取值,進(jìn)一步開展數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則的分析建模研究,挖掘更多潛在的數(shù)據(jù)質(zhì)量問(wèn)題,并結(jié)合模型的結(jié)果和業(yè)務(wù)經(jīng)驗(yàn)提煉數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則,可對(duì)輸電線路現(xiàn)有規(guī)則進(jìn)行補(bǔ)充。即500 kV輸電線路檔距可考慮設(shè)定為200~600 m;220 kV輸電線路檔距可考慮設(shè)定為100~500 m;110 kV/35 kV輸電線路檔距可考慮設(shè)定為100~300 m。
通過(guò)分析資產(chǎn)管理系統(tǒng)設(shè)備臺(tái)帳數(shù)據(jù)的特點(diǎn)可以發(fā)現(xiàn),在參考字段的特定取值或分類下,待檢測(cè)字段取值具有一定的規(guī)律性,通常為多個(gè)特定取值、特定取值范圍或關(guān)鍵的特征描述。檢測(cè)模式如圖4所示。
(6) 歷史問(wèn)題數(shù)據(jù)清理
建立歷史數(shù)據(jù)清理的專項(xiàng)工作方案,分批次逐步清理歷史數(shù)據(jù)。由設(shè)備管理部門牽頭,其他業(yè)務(wù)部門(如:財(cái)務(wù)部、信息部)協(xié)同配合,結(jié)合統(tǒng)一資產(chǎn)目錄進(jìn)行設(shè)備現(xiàn)場(chǎng)盤點(diǎn)與數(shù)據(jù)一致性核對(duì)。核查完成后,由各業(yè)務(wù)部門負(fù)責(zé)和更新設(shè)備臺(tái)帳,保證數(shù)據(jù)的完整、準(zhǔn)確。
建議排查順序如下:主網(wǎng)設(shè)備→配網(wǎng)設(shè)備,高電壓等級(jí)→低電壓等級(jí),一次設(shè)備→二次設(shè)備。
4 結(jié) 語(yǔ)
本文從廣東電網(wǎng)公司設(shè)備臺(tái)帳數(shù)據(jù)質(zhì)量問(wèn)題診斷出發(fā),通過(guò)識(shí)別歸納數(shù)據(jù)質(zhì)量問(wèn)題的各種表現(xiàn),剖析造成數(shù)據(jù)質(zhì)量問(wèn)題的原因,提出了數(shù)據(jù)質(zhì)量提升的系統(tǒng)性措施。對(duì)電網(wǎng)企業(yè)提高生產(chǎn)設(shè)備數(shù)據(jù)質(zhì)量和信息系統(tǒng)實(shí)用化水平有較強(qiáng)的指導(dǎo)意義。同時(shí)也對(duì)企業(yè)利用數(shù)據(jù)開展業(yè)務(wù)分析、支撐企業(yè)決策起到了促進(jìn)作用。
參考文獻(xiàn)
[1] 楊浩,徐暉,蕭展輝,等.廣東電網(wǎng)公司生產(chǎn)管理信息系統(tǒng)實(shí)用化評(píng)價(jià)研究[J].廣東電力,2010,23(4):29?34.
[2] 陳孟婕.數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)清洗技術(shù)的研究與應(yīng)用[D].北京:北京郵電大學(xué),2013.
[3] 黨芳芳.電網(wǎng)企業(yè)業(yè)務(wù)數(shù)據(jù)質(zhì)量管控技術(shù)的研究[D].北京:華北電力大學(xué),2014.
[4] LUCAS A. Corporate data quality management towards a meta?framework [C]// Proceedings of 2011 International Conference on Management and Service Science. Wuhan, China: IEEE, 2011: 1?6.
[5] 王曉華.電信數(shù)據(jù)挖掘的數(shù)據(jù)質(zhì)量評(píng)估技術(shù)研究[D].杭州:浙江大學(xué),2010.
[6] 汪晨,鄧松,張濤,等.智能電網(wǎng)環(huán)境下用戶行為可信數(shù)據(jù)安全交換研究[J].現(xiàn)代電子技術(shù),2014,37(1):75?79.