數(shù)據(jù)質(zhì)量核查工具的設(shè)計(jì)與實(shí)現(xiàn)

陸俊 李葵 周明 辛永 陸鑫

摘 要：本項(xiàng)目研究旨在解決一體化電量與線損管理系統(tǒng)的數(shù)據(jù)集成和實(shí)施過程中遇到的數(shù)據(jù)傳輸路線繁瑣、傳輸時(shí)間過長、傳輸過程缺乏有效的監(jiān)控和問題處理機(jī)制以及數(shù)據(jù)準(zhǔn)確性和及時(shí)性不能滿足線損計(jì)算要求的問題。通過建設(shè)數(shù)據(jù)質(zhì)量核查工具，實(shí)現(xiàn)各專業(yè)數(shù)據(jù)到線損系統(tǒng)傳輸過程監(jiān)控，完成線損系統(tǒng)中各類數(shù)據(jù)的合理性校驗(yàn)，完善的線損數(shù)據(jù)質(zhì)量管控機(jī)制能夠確保數(shù)據(jù)的準(zhǔn)確、及時(shí)和有效。

關(guān)鍵詞：線損應(yīng)用；傳輸監(jiān)控；數(shù)據(jù)校驗(yàn)；質(zhì)量管控

中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2018）08-0047-03

Abstract：The purpose of this project is to solve the problem of complicated data transmission line，long transmission time，lack of effective monitoring and problem handling mechanism in the process of data integration and implementation of integrated electricity and line loss management system，and the problem of data accuracy and timeliness can not meet the requirement of line loss calculation. Through the construction of data quality verification tools，we can monitor the transmission process of various professional data to line loss system，complete the verification of all kinds of data in the line loss system，and improve the quality control mechanism of the line loss data，which ensures the accuracy，timely and effective data.

Keywords：line loss application；transmission monitoring；data validation；quality control

0 引 言

隨著國家電網(wǎng)公司“十二五”信息化系統(tǒng)的建設(shè)，線損管理相關(guān)業(yè)務(wù)支撐系統(tǒng)得到了長足的發(fā)展。一體化電量與線損管理系統(tǒng)（簡稱同期線損系統(tǒng)）全面推廣應(yīng)用，系統(tǒng)建設(shè)所覆蓋的管理層級(jí)、電壓層級(jí)、電網(wǎng)設(shè)備、用電客戶、計(jì)量裝置和采集數(shù)據(jù)呈幾何級(jí)急速增長，系統(tǒng)已經(jīng)面向各層級(jí)、各專業(yè)、各基層班組全面開放，實(shí)施工作量越來越大，數(shù)據(jù)治理范圍越來越廣，管控工作越來越困難。在同期線損系統(tǒng)建設(shè)過程中，發(fā)現(xiàn)多系統(tǒng)間關(guān)聯(lián)、數(shù)據(jù)傳輸過程及線損管控治理不及時(shí)等各類問題。當(dāng)數(shù)據(jù)質(zhì)量出現(xiàn)異常時(shí)，能夠及時(shí)預(yù)警，通知相關(guān)專業(yè)或部門進(jìn)行數(shù)據(jù)消缺，確保數(shù)據(jù)質(zhì)量可靠、傳輸穩(wěn)定、消缺及時(shí)，并滿足同期線損系統(tǒng)數(shù)據(jù)接入要求。同時(shí)為進(jìn)一步加強(qiáng)公司基礎(chǔ)管理，扎實(shí)做好同期線損管理系統(tǒng)建設(shè)和基礎(chǔ)數(shù)據(jù)治理工作，確保源端數(shù)據(jù)從中間平臺(tái)到線損數(shù)據(jù)庫過程中數(shù)據(jù)傳輸?shù)臏?zhǔn)確性和效率，通過對(duì)傳輸完成的數(shù)據(jù)進(jìn)行合理性校驗(yàn)分析，實(shí)現(xiàn)對(duì)線損數(shù)據(jù)質(zhì)量的管控，促進(jìn)線損數(shù)據(jù)治理和同期線損系統(tǒng)建設(shè)快速有效進(jìn)行。

1 同期線損系統(tǒng)存在的問題

隨著同期線損系統(tǒng)建設(shè)工作的推進(jìn)，同期線損系統(tǒng)對(duì)電網(wǎng)生產(chǎn)運(yùn)營數(shù)據(jù)質(zhì)量要求越來越高，同期線損系統(tǒng)在數(shù)據(jù)集成和實(shí)施過程中遇到了很大的難題。主要包括以下兩個(gè)方面：

（1）數(shù)據(jù)傳輸模式并非都是全量傳輸，數(shù)據(jù)傳輸路線繁瑣，傳輸時(shí)間過長，傳輸過程沒有有效的監(jiān)控和問題處理機(jī)制，導(dǎo)致存在冗余數(shù)據(jù)，運(yùn)維人員不能及時(shí)發(fā)現(xiàn)和處理問題，從而影響同期線損計(jì)算結(jié)果；

（2）同期線損系統(tǒng)的基礎(chǔ)數(shù)據(jù)大都來源于各個(gè)業(yè)務(wù)系統(tǒng)，因各種原因?qū)е聰?shù)據(jù)的準(zhǔn)確性和及時(shí)性不能滿足線損計(jì)算的要求，從而造成線損計(jì)算錯(cuò)誤，且同期線損系統(tǒng)目前的計(jì)算周期也較長。線損專責(zé)不能及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，也不能及時(shí)掌握數(shù)據(jù)治理的效果，工作效率不高。

2 數(shù)據(jù)質(zhì)量核查工具的建設(shè)目標(biāo)

建設(shè)線損數(shù)據(jù)質(zhì)量核查工具的總體目標(biāo)是充分利用同期線損系統(tǒng)，開發(fā)省級(jí)線損數(shù)據(jù)質(zhì)量管理工具，以加強(qiáng)基礎(chǔ)管理、支撐專業(yè)分析、滿足高級(jí)應(yīng)用、實(shí)現(xiàn)智能決策為功能主線，實(shí)現(xiàn)檔案數(shù)據(jù)傳輸監(jiān)控、采集數(shù)據(jù)傳輸監(jiān)控、營配關(guān)系數(shù)據(jù)傳輸監(jiān)控、數(shù)據(jù)一致性校驗(yàn)、數(shù)據(jù)合理性校驗(yàn)、指標(biāo)全過程監(jiān)控和業(yè)務(wù)全方位貫通協(xié)同，實(shí)現(xiàn)同期線損系統(tǒng)建設(shè)標(biāo)準(zhǔn)化、智能化、精益化和自動(dòng)化，有力地支撐公司堅(jiān)強(qiáng)智能電網(wǎng)和現(xiàn)代配電網(wǎng)建設(shè)。

通過各專業(yè)數(shù)據(jù)到線損系統(tǒng)傳輸過程監(jiān)控、線損系統(tǒng)中各類數(shù)據(jù)合理性校驗(yàn)，協(xié)同各業(yè)務(wù)系統(tǒng)建立完善的線損數(shù)據(jù)質(zhì)量管控機(jī)制，確保數(shù)據(jù)地準(zhǔn)確、及時(shí)和有效。數(shù)據(jù)質(zhì)量核查工具為省級(jí)、地市、縣公司和供電所等各級(jí)單位線損數(shù)據(jù)質(zhì)量治理提供異常清單，與調(diào)度、運(yùn)檢、營銷相關(guān)業(yè)務(wù)融合互動(dòng)，提升同期線損系統(tǒng)建設(shè)的數(shù)據(jù)質(zhì)量。

數(shù)據(jù)質(zhì)量核查工具建設(shè)分為以下三個(gè)方面：

（1）開展數(shù)據(jù)質(zhì)量核查，實(shí)現(xiàn)省級(jí)同期線損庫與數(shù)據(jù)中心、源端系統(tǒng)數(shù)據(jù)進(jìn)行比對(duì)，發(fā)現(xiàn)不一致的數(shù)據(jù)，并定位到具體環(huán)節(jié)，降低人工比對(duì)數(shù)據(jù)的投入，為同期線損計(jì)算提供數(shù)據(jù)保障；

（2）開展數(shù)據(jù)異常分析，利用大數(shù)據(jù)技術(shù)開展高損、負(fù)損的異常診斷，列出產(chǎn)生高損、負(fù)損的原因，為公司線損治理提供可行性方案，減少人工分析；

（3）開展數(shù)據(jù)異常監(jiān)控，把數(shù)據(jù)責(zé)任落實(shí)到具體專業(yè)和源頭系統(tǒng)，通過數(shù)據(jù)異常工單能夠?qū)崿F(xiàn)異常數(shù)據(jù)及時(shí)匯總、及時(shí)跟蹤和及時(shí)消缺，保障數(shù)據(jù)治理工作的有序開展。

3 數(shù)據(jù)質(zhì)量核查工具的設(shè)計(jì)與實(shí)現(xiàn)

隨著同期線損系統(tǒng)建設(shè)的推進(jìn)，發(fā)現(xiàn)多系統(tǒng)間關(guān)聯(lián)、數(shù)據(jù)傳輸過程及數(shù)據(jù)治理沒有有效的核查工具，導(dǎo)致線損所需源段數(shù)據(jù)不能及時(shí)準(zhǔn)確地反饋線損數(shù)據(jù)質(zhì)量，從而影響日線損、月線損的結(jié)果計(jì)算。同時(shí)線損數(shù)據(jù)治理工具需根據(jù)計(jì)算結(jié)果進(jìn)行分析，影響數(shù)據(jù)治理效率。線損數(shù)據(jù)質(zhì)量將圍繞以下四個(gè)方面進(jìn)行設(shè)計(jì)：

（1）優(yōu)化數(shù)據(jù)傳輸過程，進(jìn)行數(shù)據(jù)傳輸管理。通過對(duì)源段從中間平臺(tái)到省級(jí)線損數(shù)據(jù)庫的傳輸過程進(jìn)行優(yōu)化，確保線損數(shù)據(jù)傳輸時(shí)間能夠有效支撐日線損計(jì)算。通過傳輸時(shí)間、數(shù)據(jù)量等方面對(duì)數(shù)據(jù)進(jìn)行日志管理和記錄，有效管控?cái)?shù)據(jù)傳輸時(shí)間和傳輸頻度，使地市線損數(shù)據(jù)治理結(jié)果能夠及時(shí)得到線損數(shù)據(jù)質(zhì)量提高的反饋，促進(jìn)線損數(shù)據(jù)治理的進(jìn)行；

（2） 進(jìn)行主要線損數(shù)據(jù)傳輸過程全量數(shù)據(jù)一致性比對(duì)。數(shù)據(jù)傳輸過程中因?yàn)楦鞣N原因會(huì)導(dǎo)致源段與數(shù)據(jù)中心，或者數(shù)據(jù)中心與省級(jí)線損庫數(shù)據(jù)存在差異。工具通過大數(shù)據(jù)技術(shù)將數(shù)據(jù)抽取到大數(shù)據(jù)服務(wù)進(jìn)行一致性比對(duì)，并將不一致的結(jié)果反饋給相關(guān)負(fù)責(zé)人進(jìn)行數(shù)據(jù)治理，在不改變數(shù)據(jù)傳輸通道的前提下，確保線損數(shù)據(jù)傳輸完整和準(zhǔn)確；

（3）進(jìn)行省級(jí)線損數(shù)據(jù)合理性分析。由于同期線損對(duì)各專業(yè)數(shù)據(jù)要求較高，無論是字段，還是與其他業(yè)務(wù)系統(tǒng)的關(guān)聯(lián)關(guān)系都超出了各業(yè)務(wù)系統(tǒng)本身的需求。本工具對(duì)傳輸?shù)绞〖?jí)線損數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行了線損合理性分析，初步篩選出不合理數(shù)據(jù)，將結(jié)果反饋給相關(guān)負(fù)責(zé)人進(jìn)行確認(rèn)和整改，節(jié)省了線損專責(zé)和運(yùn)維人員根據(jù)線損結(jié)果核查數(shù)據(jù)的大量時(shí)間，在線損計(jì)算前解決部分問題，提高線損治理效率；

（4）建立符合省級(jí)特色的異常診斷界面。對(duì)數(shù)據(jù)傳輸、一致性、合理性和日線損結(jié)果進(jìn)行分析和展現(xiàn)，使各線損專責(zé)能夠清楚地查看自己的負(fù)責(zé)線路、臺(tái)區(qū)等指標(biāo)問題及原因，各專責(zé)根據(jù)實(shí)際情況制定問題處理計(jì)劃，同時(shí)關(guān)聯(lián)工單系統(tǒng)，及時(shí)管控線損治理進(jìn)度。通過明確問題、分工和管控線損治理進(jìn)展的方式來促進(jìn)線損建設(shè)。

在同期線損數(shù)據(jù)核查架構(gòu)設(shè)計(jì)上，采用插件式設(shè)計(jì)模式，減少與現(xiàn)有集成程序的耦合度。改造省級(jí)線損同步程序，具體系統(tǒng)結(jié)構(gòu)圖如圖1所示。

數(shù)據(jù)質(zhì)量核查工具從以下六個(gè)功能模塊進(jìn)行開發(fā)：

（1）數(shù)據(jù)傳輸優(yōu)化。對(duì)線損檔案和表底數(shù)據(jù)從源端到中間平臺(tái)到同期線損省級(jí)數(shù)據(jù)庫傳輸過程進(jìn)行優(yōu)化，同時(shí)對(duì)傳輸過程中產(chǎn)生的冗余數(shù)據(jù)進(jìn)行清洗，將清洗后的數(shù)據(jù)移至異常數(shù)據(jù)庫；

（2）數(shù)據(jù)傳輸管理。制定數(shù)據(jù)傳輸計(jì)劃，記錄傳輸批次號(hào)和時(shí)間，生成數(shù)據(jù)傳輸日志，并在數(shù)據(jù)傳輸過程中進(jìn)行數(shù)據(jù)一致性比對(duì)；

（3）數(shù)據(jù)合理性分析。對(duì)已抽取至線損庫的數(shù)據(jù)進(jìn)行合理性校驗(yàn)分析，并對(duì)異常數(shù)據(jù)進(jìn)行標(biāo)紅處理，連同臟數(shù)據(jù)一起發(fā)送至備份數(shù)據(jù)庫，供源端整理分析。對(duì)不合理數(shù)據(jù)進(jìn)行異常數(shù)據(jù)標(biāo)記處理后，通過工單系統(tǒng)發(fā)送至各源段系統(tǒng)負(fù)責(zé)人處；

（4）線損異常診斷。完善線損管理界面，針對(duì)線損異常做統(tǒng)計(jì)和細(xì)化分析，除了滿足同期線損系統(tǒng)需求的基礎(chǔ)頁面外，針對(duì)安徽省個(gè)性化頁面展現(xiàn)需求，充分滿足安徽同期線損系統(tǒng)治理要求，輔助線損專責(zé)查找線損異常原因；

（5）報(bào)表管理。對(duì)傳輸異常和異常數(shù)據(jù)分析等結(jié)果進(jìn)行分類匯總，結(jié)合工單系統(tǒng)發(fā)送至各相關(guān)負(fù)責(zé)人；

（6）系統(tǒng)管理。通過權(quán)限管理做到每個(gè)角色只負(fù)責(zé)自己管轄的數(shù)據(jù)，通過工單系統(tǒng)將問題提交給各級(jí)系統(tǒng)角色，充分發(fā)揮系統(tǒng)積極性。

4 數(shù)據(jù)質(zhì)量核查工具的效益分析

（1）對(duì)各類線損數(shù)據(jù)傳輸過程進(jìn)行監(jiān)控，確保源端數(shù)據(jù)完整地傳輸?shù)骄€損系統(tǒng)，增加傳輸效率，減少線損實(shí)施人員的數(shù)據(jù)核查時(shí)間；

（2）線損數(shù)據(jù)質(zhì)量核查工具采用大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)傳輸過程中的數(shù)據(jù)進(jìn)行一致性校驗(yàn)，解決數(shù)據(jù)傳輸過程問題，加快同期線損系統(tǒng)數(shù)據(jù)治理和指標(biāo)建設(shè)進(jìn)度；

（3）實(shí)現(xiàn)電量與線損本地化計(jì)算，做到電量與線損異常數(shù)據(jù)早發(fā)現(xiàn)、早治理，提高線損數(shù)據(jù)治理效率；

（4）對(duì)傳輸?shù)骄€損庫的數(shù)據(jù)進(jìn)行合理性分析，并分類導(dǎo)出數(shù)據(jù)異常結(jié)果。提高各業(yè)務(wù)系統(tǒng)線損數(shù)據(jù)治理工作效率，加快各地市數(shù)據(jù)治理速度，提升同期線損系統(tǒng)建設(shè)效果；

（5）根據(jù)角色不同、顯示不同的線損數(shù)據(jù)，做到線損建設(shè)過程責(zé)任到人，提升地市同期線損建設(shè)效率。

5 結(jié) 論

本文在同期線損系統(tǒng)的基礎(chǔ)上建設(shè)數(shù)據(jù)質(zhì)量核查工具，圍繞數(shù)據(jù)傳輸優(yōu)化、數(shù)據(jù)傳輸管理、數(shù)據(jù)合理性分析、線損異常診斷、報(bào)表管理和系統(tǒng)管理這六個(gè)方面建設(shè)數(shù)據(jù)質(zhì)量核查工具。數(shù)據(jù)質(zhì)量核查工具通過對(duì)線損系統(tǒng)數(shù)據(jù)傳輸過程進(jìn)行監(jiān)控、對(duì)各類數(shù)據(jù)合理性進(jìn)行校驗(yàn)以及協(xié)同各業(yè)務(wù)系統(tǒng)建立完善的線損數(shù)據(jù)質(zhì)量管控機(jī)制，確保了數(shù)據(jù)的準(zhǔn)確、及時(shí)和有效。數(shù)據(jù)質(zhì)量核查工具為省級(jí)、地市、縣公司和供電所等各級(jí)單位線損數(shù)據(jù)質(zhì)量治理提供異常清單，與調(diào)度、運(yùn)檢和營銷相關(guān)業(yè)務(wù)融合互動(dòng)，提升了同期線損系統(tǒng)建設(shè)的數(shù)據(jù)質(zhì)量。

參考文獻(xiàn)：

[1] 國家電網(wǎng)公司.關(guān)于國家電網(wǎng)公司“五大”體系建設(shè)總體方案的報(bào)告 [R].北京：國家電網(wǎng)公司，2011.

[2] 國家電網(wǎng)公司.關(guān)于國家電網(wǎng)公司“大規(guī)劃”體系建設(shè)方案的報(bào)告 [R].北京：國家電網(wǎng)公司，2011.

作者簡介：陸?。?983.03-），男，漢族，安徽合肥人，高級(jí)工程師，碩士研究生。研究方向：電力通信新技術(shù)應(yīng)用、信息通信調(diào)度管理、基建通信工程管理、電力信息化建設(shè)。