基于數(shù)據(jù)資源整合平臺(tái)的數(shù)據(jù)質(zhì)量提升技術(shù)研究與應(yīng)用

陳武

[摘 要] 針對(duì)信息系統(tǒng)產(chǎn)生信息孤島、運(yùn)行維護(hù)工作困難、統(tǒng)一管控薄弱、長(zhǎng)期積累的數(shù)據(jù)不能互用共享等問(wèn)題，開(kāi)展了統(tǒng)一數(shù)據(jù)資源整合平臺(tái)的構(gòu)建研究，并從數(shù)據(jù)完整性、一致性、規(guī)范性、及時(shí)性、規(guī)范性等方面提出綜合的數(shù)據(jù)質(zhì)量提升方案，為曲靖供電局局全業(yè)務(wù)管理應(yīng)用提供數(shù)據(jù)支撐。

[關(guān)鍵詞] 數(shù)據(jù)資源整合平臺(tái)；數(shù)據(jù)完整性；一致性；規(guī)范性；及時(shí)性

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 23. 094

[中圖分類(lèi)號(hào)] TP311 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2017）23- 0189- 03

1 引 言

云南電網(wǎng)曲靖供電局通過(guò)多年的項(xiàng)目建設(shè)，形成了各種各樣的信息化系統(tǒng)來(lái)支撐日常工作的開(kāi)展。雖然建立了許多信息系統(tǒng)卻也產(chǎn)生了許多信息孤島、運(yùn)行維護(hù)工作困難、統(tǒng)一管控薄弱、長(zhǎng)期積累的數(shù)據(jù)不能互用共享等問(wèn)題。

針對(duì)目前信息資源管理過(guò)程的困惑，曲靖供電局將借助云計(jì)算手段實(shí)現(xiàn)信息資源池化管理，有效提高本局的資源使用效率，降低資源管理難度。通過(guò)資源管理平臺(tái)實(shí)現(xiàn)與外部單位數(shù)據(jù)貫通，并通過(guò)資源管理平臺(tái)實(shí)現(xiàn)資源動(dòng)態(tài)調(diào)度，實(shí)現(xiàn)曲靖供電局基礎(chǔ)設(shè)施及服務(wù)模式。同時(shí)將為未來(lái)云網(wǎng)分布式數(shù)據(jù)中心的建設(shè)進(jìn)行預(yù)研與技術(shù)沉淀，延伸電力產(chǎn)業(yè)鏈，打造出全新高效優(yōu)勢(shì)明顯的電力信息通信產(chǎn)業(yè)，推動(dòng)電網(wǎng)由單一輸電載體向綜合性能源及信息供給平臺(tái)發(fā)展。

2 現(xiàn)狀分析

由于曲靖供電局在用的信息系統(tǒng)主要有南網(wǎng)推廣的CSGII各業(yè)務(wù)系統(tǒng)、云網(wǎng)統(tǒng)一組織自建的業(yè)務(wù)系統(tǒng)，以及曲靖局為支持輔助業(yè)務(wù)開(kāi)展而自建的系統(tǒng)。目前曲靖局相關(guān)系統(tǒng)交互時(shí)信息不能很好的共享、數(shù)據(jù)不能互通、來(lái)回切換查找比較復(fù)雜、數(shù)據(jù)不能根據(jù)各自崗位的需要，直觀的呈現(xiàn)出來(lái)，處于被動(dòng)式、運(yùn)維不能統(tǒng)一管控，未能對(duì)曲靖局的全業(yè)務(wù)管理提供有效的支撐。本文將開(kāi)展統(tǒng)一數(shù)據(jù)資源整合平臺(tái)的構(gòu)建研究，并從數(shù)據(jù)完整性、一致性、規(guī)范性、及時(shí)性、規(guī)范性等方面提出綜合的數(shù)據(jù)質(zhì)量提升方案，為曲靖供電局全業(yè)務(wù)管理應(yīng)用提供數(shù)據(jù)支撐。

3 數(shù)據(jù)資源整合平臺(tái)構(gòu)建

平臺(tái)構(gòu)建將以數(shù)據(jù)為核心，運(yùn)用平臺(tái)化的建設(shè)思路構(gòu)建分布式數(shù)據(jù)中心，通過(guò)數(shù)據(jù)建模、數(shù)據(jù)集成、數(shù)據(jù)融合等技術(shù)手段，對(duì)現(xiàn)有系統(tǒng)數(shù)據(jù)進(jìn)行整合，提高各業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)共享能力，提升曲靖局?jǐn)?shù)據(jù)資產(chǎn)的應(yīng)用水平，如下圖1所示。

其中，數(shù)據(jù)源主要包括南網(wǎng)通推的資產(chǎn)管理系統(tǒng)、GIS系統(tǒng)、營(yíng)銷(xiāo)系統(tǒng)，云網(wǎng)自建的技術(shù)監(jiān)督、所務(wù)系統(tǒng)、調(diào)度系統(tǒng)，曲靖供電局自建的訂餐管理系統(tǒng)、班組精益化支撐平臺(tái)，圖像及環(huán)境監(jiān)控，門(mén)戶(hù)等系統(tǒng)，涉及信息系統(tǒng)較多，數(shù)據(jù)結(jié)構(gòu)復(fù)雜。

數(shù)據(jù)接入將針對(duì)各系統(tǒng)實(shí)際情況，以ETL工具、文件解析器、JStorm流式處理、數(shù)據(jù)導(dǎo)入、MQ消息隊(duì)列等方式支撐。

數(shù)據(jù)中心則需構(gòu)建統(tǒng)一的數(shù)據(jù)模型，基于hadoop架構(gòu)體系上部署關(guān)系型、非關(guān)系型的數(shù)據(jù)統(tǒng)一存儲(chǔ)、模型管理及數(shù)據(jù)質(zhì)量管理。提供離線計(jì)算、流式計(jì)算、內(nèi)存計(jì)算、機(jī)器學(xué)習(xí)等的統(tǒng)一計(jì)算，以及服務(wù)管理、服務(wù)注冊(cè)、服務(wù)發(fā)布、服務(wù)訂閱、訪問(wèn)控制、負(fù)載均衡的統(tǒng)一服務(wù)。

4 數(shù)據(jù)質(zhì)量提升

針對(duì)來(lái)源于不同信息系統(tǒng)的數(shù)據(jù)范圍，如何解決數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲(chǔ)、統(tǒng)一應(yīng)用需從數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)規(guī)范性等方面開(kāi)展數(shù)據(jù)質(zhì)量提升工作。

4.1 數(shù)據(jù)完整性驗(yàn)證及提升

數(shù)據(jù)完整性是指數(shù)據(jù)的精確性和可靠性，本模塊需實(shí)現(xiàn)相關(guān)數(shù)據(jù)的完整性驗(yàn)證。

（1）驗(yàn)證變電站信息的完整性，包括：變電站名稱(chēng)、地址、變電站類(lèi)型、變電站類(lèi)別、變壓器臺(tái)數(shù)、主變壓器總?cè)萘?、出線數(shù)、進(jìn)線數(shù)、污區(qū)等級(jí)、控制方式、值守方式等信息是否完整。

（2）驗(yàn)證設(shè)備臺(tái)賬信息的完整性，包括：設(shè)備名稱(chēng)、設(shè)備類(lèi)別、設(shè)備型號(hào)、電壓等級(jí)、生產(chǎn)廠家、供應(yīng)商名稱(chēng)、出廠編號(hào)、出廠日期、投運(yùn)日期、是否虛擬、資產(chǎn)狀態(tài)、固定資產(chǎn)編碼、運(yùn)行編號(hào)、經(jīng)度、緯度、海拔高度、運(yùn)維部門(mén)、所屬供電局等信息是否完整。

（3）驗(yàn)證缺陷記錄信息的完整性，包括：缺陷設(shè)備、缺陷部件、缺陷時(shí)間、缺陷類(lèi)型、缺陷等級(jí)、缺陷表象、缺陷原因、缺陷部位、缺陷描述、缺陷發(fā)現(xiàn)來(lái)源、缺陷處理措施、處理情況描述、遺留問(wèn)題、消缺人、消缺時(shí)間、消缺結(jié)果、未消缺原因等信息是否完整。

（4）驗(yàn)證監(jiān)測(cè)裝置信息的完整性，包括：監(jiān)測(cè)裝置名稱(chēng)、監(jiān)測(cè)裝置類(lèi)型、監(jiān)測(cè)裝置廠家、監(jiān)測(cè)裝置安裝日期等是否完整。

4.2 數(shù)據(jù)一致性驗(yàn)證及提升

數(shù)據(jù)一致性通常指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整，本模塊需實(shí)現(xiàn)相關(guān)數(shù)據(jù)的一致性性驗(yàn)證。

（1）驗(yàn)證設(shè)備信息中所屬變電站編號(hào)是否和變電站信息中的編號(hào)一致。

（2）驗(yàn)證設(shè)備缺陷記錄中的設(shè)備編碼是否和設(shè)備信息中的物理編碼一致。

（3）驗(yàn)證設(shè)備試驗(yàn)報(bào)告中設(shè)備編碼是否和設(shè)備信息中的物理編碼一致。

（4）驗(yàn)證變電監(jiān)測(cè)裝置中的被監(jiān)測(cè)設(shè)備編碼是否和設(shè)備信息中的物理編碼一致。

（5）驗(yàn)證輸電監(jiān)測(cè)裝置中的線路編號(hào)是否和線路信息中的編號(hào)一致。

（6）驗(yàn)證變電監(jiān)測(cè)數(shù)據(jù)的中裝置編碼是否和變電監(jiān)測(cè)裝置中的編碼一致。

（7）驗(yàn)證輸電監(jiān)測(cè)數(shù)據(jù)中終端編碼是否和輸電監(jiān)測(cè)裝置中的終端編碼一致。

發(fā)現(xiàn)數(shù)據(jù)不一致時(shí)可協(xié)調(diào)數(shù)據(jù)源端進(jìn)行處理并上傳，或采用人工核對(duì)的方式完成整改。

4.3 數(shù)據(jù)及時(shí)性驗(yàn)證及提升

任何信息的價(jià)值都有其時(shí)間性，且在某種程度上信息越及時(shí)其價(jià)值越高。過(guò)時(shí)的信息只能作為歷史資料，對(duì)決策毫無(wú)用處。所以，及時(shí)性原則是相關(guān)性的重要保證，沒(méi)有及時(shí)性也就談不上相關(guān)性。本模塊需實(shí)現(xiàn)相關(guān)數(shù)據(jù)的及時(shí)性驗(yàn)證。

（1）驗(yàn)證設(shè)備缺陷數(shù)據(jù)是否每天及時(shí)上傳。

（2）驗(yàn)證變電在線監(jiān)測(cè)數(shù)據(jù)是否每天及時(shí)上傳。

（3）驗(yàn)證輸電在線監(jiān)測(cè)數(shù)據(jù)是否每天及時(shí)上傳。

（4）驗(yàn)證配電在線監(jiān)測(cè)數(shù)據(jù)是否每天及時(shí)上傳。

（5）驗(yàn)證氣象環(huán)境數(shù)據(jù)是否每天及時(shí)上傳。

（6）驗(yàn)證雷電監(jiān)測(cè)數(shù)據(jù)是否每天及時(shí)上傳，包括以上數(shù)據(jù)每天上傳數(shù)據(jù)量、上傳時(shí)間的驗(yàn)證。

發(fā)現(xiàn)有數(shù)據(jù)間斷或停止上傳時(shí)，可自動(dòng)進(jìn)行提醒，并通知運(yùn)維人員補(bǔ)采或補(bǔ)錄。

4.4 數(shù)據(jù)準(zhǔn)確性驗(yàn)證及提升

數(shù)據(jù)準(zhǔn)確性直接反應(yīng)了設(shè)備運(yùn)行的真實(shí)情況，需保障上傳數(shù)據(jù)的真實(shí)性、準(zhǔn)確性。

（1）驗(yàn)證變電站信息是否與實(shí)際情況一一對(duì)應(yīng)。

（2）驗(yàn)證設(shè)備信息是否與實(shí)際情況一一對(duì)應(yīng)。

（3）驗(yàn)證線路信息是否與實(shí)際情況一一對(duì)應(yīng)。

（4）驗(yàn)證變電監(jiān)測(cè)裝置信息是否與實(shí)際情況一一對(duì)應(yīng)。

（5）驗(yàn)證輸電監(jiān)測(cè)裝置信息是否與實(shí)際情況一一對(duì)應(yīng)。

（6）驗(yàn)證配變監(jiān)測(cè)點(diǎn)信息是否與實(shí)際情況一一對(duì)應(yīng)。

發(fā)現(xiàn)數(shù)據(jù)不準(zhǔn)確時(shí)可協(xié)調(diào)數(shù)據(jù)源端進(jìn)行處理并上傳，或采用人工核對(duì)的方式完成整改。

4.5 數(shù)據(jù)規(guī)范性驗(yàn)證及提升

數(shù)據(jù)規(guī)范性主要體現(xiàn)在接入的數(shù)據(jù)需符合事先定義的數(shù)據(jù)類(lèi)型、數(shù)據(jù)長(zhǎng)度規(guī)范。

（1）驗(yàn)證日期型數(shù)據(jù)的規(guī)范性，包括：“出廠日期”、“投產(chǎn)日期”、“退役日期”等數(shù)據(jù)類(lèi)型為“日期型”的信息字段，應(yīng)滿(mǎn)足“yyyymmdd”（yyyy-表示4位年份數(shù)字；mm-表示2位月份數(shù)字，不足2位長(zhǎng)度用0填充；dd-表示2位日期數(shù)字，不足2位長(zhǎng)度用0填充；）的數(shù)據(jù)格式要求，同時(shí)還應(yīng)滿(mǎn)足[1960-01-01～當(dāng)前日期）的區(qū)間范圍要求，并通過(guò)“出廠日期<投產(chǎn)日期<退役日期”（“退役日期”非空）的數(shù)據(jù)有效性邏輯校驗(yàn)。

（2）驗(yàn)證數(shù)值型數(shù)據(jù)的規(guī)范性，包括：“氫氣”、“一氧化碳”、“甲烷”、“乙烯”等數(shù)據(jù)類(lèi)型為“數(shù)字型”的字段，應(yīng)滿(mǎn)足“保留小數(shù)點(diǎn)后面2位”。

（3）驗(yàn)證文字描述性數(shù)據(jù)的規(guī)范性，包括：“缺陷描述”、“災(zāi)害信息”、“試驗(yàn)結(jié)論”等“字符型”的信息字段，應(yīng)滿(mǎn)足“中文漢字描述為主”。

發(fā)現(xiàn)數(shù)據(jù)不規(guī)范時(shí)可協(xié)調(diào)數(shù)據(jù)源端進(jìn)行處理并上傳，或采用人工核對(duì)的方式完成整改。

5 結(jié) 論

本文主要分析了曲靖供電局信息系統(tǒng)建設(shè)及應(yīng)用現(xiàn)狀，存在問(wèn)題，并提出數(shù)據(jù)資源整合平臺(tái)建設(shè)構(gòu)想，基于數(shù)據(jù)資源整合平臺(tái)工具，從數(shù)據(jù)完整性、數(shù)一致性、數(shù)據(jù)及時(shí)性、數(shù)據(jù)準(zhǔn)確性、數(shù)據(jù)規(guī)范性等方面提出數(shù)據(jù)質(zhì)量提升的示例方法，為曲靖供電局相關(guān)信息系統(tǒng)交互信息共享、數(shù)據(jù)互通、數(shù)據(jù)交互應(yīng)用以及供電局層面全業(yè)務(wù)管理提供有效的支撐。

主要參考文獻(xiàn)

[1][美]Matt Casters，Roland Bouman.Pentaho Kettle 解決方案[M].初建軍，曹雪梅，譯.北京：電子工業(yè)出版社，2014.

[2][荷]Wil van der Aalst.工作流管理：模型、方法和系統(tǒng)[M].王建民，聞立杰，譯.北京：清華大學(xué)出版社，2004.

[3][美]米羅斯拉夫·庫(kù)巴特.機(jī)器學(xué)習(xí)導(dǎo)論[M].王勇，仲?lài)?guó)強(qiáng)，孫鑫，譯.北京：機(jī)械工業(yè)出版社，2009.

[4][英]維克托·邁爾-舍恩伯格，肯尼思·庫(kù)克耶.大數(shù)據(jù)時(shí)代[M].周濤，等，譯.杭州：浙江人民出版社，2012.

[5][美]Jared Dean.大數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)[M].林清怡，譯.北京：人民郵電出版社，2015.