基于規(guī)則的電力數(shù)據(jù)指標(biāo)檢查系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

荀 華，韓荀杰，張 森

（1.內(nèi)蒙古電力科學(xué)研究院，內(nèi)蒙古呼和浩特010020；2.杭州電子科技大學(xué)，浙江 杭州 310018；3.紫光軟件系統(tǒng)有限公司，陜西西安 710000）

0 引言

隨著生產(chǎn)管理系統(tǒng)建設(shè)的不斷深入，輸變電設(shè)備臺(tái)賬數(shù)據(jù)以及運(yùn)行數(shù)據(jù)越來(lái)越多，由于人員誤操作、系統(tǒng)誤發(fā)、參數(shù)設(shè)置等原因?qū)е碌臉I(yè)務(wù)數(shù)據(jù)質(zhì)量問(wèn)題也越來(lái)越嚴(yán)重[1，2]，主要表現(xiàn)在屬性缺失、數(shù)據(jù)不完整、數(shù)據(jù)處理不及時(shí)、數(shù)據(jù)不規(guī)范、數(shù)據(jù)重復(fù)、數(shù)據(jù)屬性不一致等，這些數(shù)據(jù)質(zhì)量問(wèn)題直接影響后續(xù)業(yè)務(wù)操作和決策，尤其是在數(shù)據(jù)表之間存在依賴關(guān)系的情況下，影響范圍更廣。傳統(tǒng)電力行業(yè)應(yīng)用的生產(chǎn)管理信息系統(tǒng)錄入缺乏規(guī)范性管理，且在實(shí)際運(yùn)行場(chǎng)景中經(jīng)常出現(xiàn)數(shù)據(jù)錄入錯(cuò)誤、缺失以及數(shù)據(jù)屬性不一致等問(wèn)題[3]。如果其中一張數(shù)據(jù)表出現(xiàn)異常，由于缺乏有效的數(shù)據(jù)質(zhì)量檢查手段，設(shè)備故障時(shí)就可能無(wú)法追蹤溯源發(fā)現(xiàn)故障原因，不同部門間可能造成數(shù)據(jù)沖突，業(yè)務(wù)決策也將出現(xiàn)偏差。

針對(duì)上述電力數(shù)據(jù)質(zhì)量問(wèn)題，電力系統(tǒng)的研究人員和學(xué)者已經(jīng)提出了一些有效的數(shù)據(jù)質(zhì)量分析方法和系統(tǒng)。在數(shù)據(jù)質(zhì)量檢測(cè)方面，文獻(xiàn)[4，5]都針對(duì)多數(shù)據(jù)源提出了電網(wǎng)數(shù)據(jù)檢測(cè)和校核方法，文獻(xiàn)[6]通過(guò)獲取電能質(zhì)量數(shù)據(jù)來(lái)檢測(cè)服務(wù)數(shù)據(jù)的一致性和性能；在數(shù)據(jù)質(zhì)量評(píng)價(jià)方面，文獻(xiàn)[7-9]針對(duì)電網(wǎng)數(shù)據(jù)分別提出了自動(dòng)化、多維度和綜合的質(zhì)量評(píng)價(jià)方法和系統(tǒng)，多角度評(píng)價(jià)數(shù)據(jù)質(zhì)量。上述方法已經(jīng)能夠解決一些特定電力業(yè)務(wù)的數(shù)據(jù)質(zhì)量問(wèn)題，但是缺乏一定的擴(kuò)展性，考慮到電力業(yè)務(wù)數(shù)據(jù)特點(diǎn)和行業(yè)數(shù)據(jù)規(guī)范，基于規(guī)則的數(shù)據(jù)質(zhì)量管理和評(píng)估[10，11]能夠靈活、高效地通過(guò)權(quán)重配比實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理和自定義評(píng)估分析。

本文提出一種基于規(guī)則的電力數(shù)據(jù)質(zhì)量檢查方法，根據(jù)該方法設(shè)計(jì)并實(shí)現(xiàn)了面向電力業(yè)務(wù)的數(shù)據(jù)指標(biāo)檢查系統(tǒng)，發(fā)現(xiàn)數(shù)據(jù)存在的問(wèn)題，修正問(wèn)題數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。該系統(tǒng)針對(duì)電力生產(chǎn)管理信息系統(tǒng)數(shù)據(jù)建立面向特定業(yè)務(wù)需求的數(shù)據(jù)質(zhì)量檢查規(guī)則，采用規(guī)則權(quán)重配置方式綜合評(píng)估數(shù)據(jù)檢查任務(wù)，實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的質(zhì)量檢驗(yàn)，標(biāo)記數(shù)據(jù)存在的質(zhì)量問(wèn)題，分規(guī)則對(duì)比多個(gè)數(shù)據(jù)表通過(guò)率，并進(jìn)行可視化展示，即時(shí)生成質(zhì)檢評(píng)估報(bào)告，實(shí)現(xiàn)電力業(yè)務(wù)數(shù)據(jù)的全方位質(zhì)量把控。

1 質(zhì)檢規(guī)則及評(píng)估方法

電力數(shù)據(jù)指標(biāo)檢查系統(tǒng)主要面向各類變壓器參數(shù)、斷路器參數(shù)、線路缺陷記錄數(shù)據(jù)、試驗(yàn)記錄數(shù)據(jù)、檢修記錄數(shù)據(jù)以及線路臺(tái)賬信息等數(shù)據(jù)。

1.1 數(shù)據(jù)質(zhì)檢規(guī)則

數(shù)據(jù)完整性和正確性是判斷數(shù)據(jù)可用價(jià)值最重要的指標(biāo)，所以數(shù)據(jù)質(zhì)量檢查主要從數(shù)據(jù)完整性和正確性兩大維度對(duì)電力業(yè)務(wù)數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估：

1）數(shù)據(jù)完整性：該指標(biāo)用于表征數(shù)據(jù)表記錄的完整性校驗(yàn)，主要包括“字段數(shù)值不能為空”。

2）數(shù)據(jù)正確性：該指標(biāo)用于表征數(shù)據(jù)表記錄的正確性校驗(yàn)，主要包括“字段數(shù)值以特定字符結(jié)尾”，“字段數(shù)值小于500 kV”，“字段1數(shù)值為220 kV時(shí)，字段2數(shù)值以特定字符結(jié)尾”等規(guī)則類型。

一個(gè)質(zhì)量檢查規(guī)則即一個(gè)評(píng)分標(biāo)準(zhǔn)，可以校驗(yàn)單字段，也可以校驗(yàn)多字段邏輯關(guān)系。特別的，檢查范圍可以采用過(guò)濾條件來(lái)篩選部分?jǐn)?shù)據(jù)進(jìn)行校。

1.2 數(shù)據(jù)質(zhì)量評(píng)估方法

基于質(zhì)檢規(guī)則評(píng)估電力數(shù)據(jù)質(zhì)量主要通過(guò)配置規(guī)則權(quán)重進(jìn)行綜合評(píng)分計(jì)算，考慮到電力數(shù)據(jù)表中不同的字段對(duì)電力業(yè)務(wù)運(yùn)行影響程度不同，不同數(shù)據(jù)表下不同字段相關(guān)的規(guī)則權(quán)重配置不同。

當(dāng)數(shù)據(jù)檢查任務(wù)處于執(zhí)行成功狀態(tài)時(shí)，具體得分計(jì)算如式（1）所示：

式中，N（N≥0）表示當(dāng)前任務(wù)包含的規(guī)則總數(shù)，一項(xiàng)數(shù)據(jù)檢查任務(wù)中可以包含m（m≥0）張數(shù)據(jù)表，每張數(shù)據(jù)表對(duì)應(yīng)n（n≥0）條規(guī)則，即 ；si表示單個(gè)規(guī)則得分，計(jì)算如式（2）所示：

式中，D（D>0）表示該規(guī)則檢查的數(shù)據(jù)總條數(shù)；Dpass（Dpass≥0）表示通過(guò)該規(guī)則的數(shù)據(jù)條數(shù)；

wi表示單個(gè)規(guī)則對(duì)應(yīng)的權(quán)重，規(guī)則權(quán)重配置主要分為三種，如式（3）所示：

根據(jù)帶權(quán)重等級(jí)的質(zhì)檢規(guī)則計(jì)算獲取的評(píng)分更能反應(yīng)真實(shí)電力數(shù)據(jù)的可用度和價(jià)值性。

2 數(shù)據(jù)指標(biāo)檢查系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)技術(shù)框架

系統(tǒng)整體架構(gòu)設(shè)計(jì)主要分為三層：數(shù)據(jù)層，服務(wù)層和展示層。數(shù)據(jù)層存儲(chǔ)電力數(shù)據(jù)，經(jīng)過(guò)服務(wù)層獲取檢查結(jié)果并計(jì)算評(píng)分，最后提供給前端展示層進(jìn)行可視化展示，具體技術(shù)架構(gòu)如圖1所示：

圖1 系統(tǒng)整體技術(shù)架構(gòu)

2.2 系統(tǒng)功能模塊

系統(tǒng)功能模塊設(shè)計(jì)也分為三層，數(shù)據(jù)層主要存儲(chǔ)業(yè)務(wù)數(shù)據(jù)和質(zhì)檢結(jié)果數(shù)據(jù)，為服務(wù)層提供數(shù)據(jù)支持，經(jīng)過(guò)服務(wù)層處理和分析后，將結(jié)果傳輸至展示層進(jìn)行展示。其中，服務(wù)層是平臺(tái)最核心的功能層，主要包括：公共數(shù)據(jù)管理、方案管理、任務(wù)及調(diào)度管理和結(jié)果及評(píng)價(jià)管理，具體如圖2所示。

圖2 系統(tǒng)功能模塊

1）數(shù)據(jù)層

數(shù)據(jù)層的主要功能是存儲(chǔ)導(dǎo)入的數(shù)據(jù)和經(jīng)過(guò)檢查的結(jié)果數(shù)據(jù)，是整個(gè)系統(tǒng)的基礎(chǔ)功能層。

a.公共數(shù)據(jù)：系統(tǒng)外部導(dǎo)入的基于行業(yè)標(biāo)準(zhǔn)用語(yǔ)、業(yè)內(nèi)標(biāo)準(zhǔn)用語(yǔ)制定的碼表集合，是行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。

b.方案數(shù)據(jù)：用戶創(chuàng)建的方案信息，包括方案名稱和描述、方案下的數(shù)據(jù)模型信息、質(zhì)檢規(guī)則信息、模型關(guān)系信息以及上傳的質(zhì)檢報(bào)告等。

c.待檢數(shù)據(jù)：用戶根據(jù)數(shù)據(jù)模型導(dǎo)入的待檢查的數(shù)據(jù)。

d.質(zhì)檢結(jié)果數(shù)據(jù)：對(duì)導(dǎo)入的數(shù)據(jù)執(zhí)行質(zhì)檢任務(wù)操作后生成帶標(biāo)記的結(jié)果數(shù)據(jù)。

2）服務(wù)層

服務(wù)層的主要功能是從數(shù)據(jù)層獲取數(shù)據(jù)，解析數(shù)據(jù)，根據(jù)質(zhì)檢規(guī)則檢查數(shù)據(jù)，發(fā)現(xiàn)問(wèn)題并標(biāo)記，最后保存異常數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)計(jì)算后生成檢測(cè)報(bào)告，包括規(guī)則通過(guò)率、異常數(shù)據(jù)明細(xì)和數(shù)據(jù)對(duì)比。

a.公共數(shù)據(jù)管理

公共數(shù)據(jù)主要用于質(zhì)量檢查規(guī)則的標(biāo)準(zhǔn)性和規(guī)范性檢查。在質(zhì)檢規(guī)則制定時(shí)，可以引用公共數(shù)據(jù)的枚舉集合或者碼表記錄的內(nèi)在邏輯關(guān)系進(jìn)行制定，使得檢查規(guī)則有標(biāo)準(zhǔn)和規(guī)范可依。

b.方案管理

方案管理包括數(shù)據(jù)模型，質(zhì)檢規(guī)則，模型關(guān)系，質(zhì)檢報(bào)告四個(gè)子模塊。

數(shù)據(jù)模型：指待測(cè)數(shù)據(jù)的表結(jié)構(gòu)，是數(shù)據(jù)導(dǎo)入的基礎(chǔ)。通常將數(shù)據(jù)評(píng)價(jià)標(biāo)準(zhǔn)一致的多張數(shù)據(jù)表放在同一個(gè)方案中，即一個(gè)方案中可以包含多個(gè)數(shù)據(jù)模型。

質(zhì)檢規(guī)則：一個(gè)質(zhì)檢規(guī)則即一個(gè)評(píng)分標(biāo)準(zhǔn)，可以單個(gè)字段校驗(yàn)，也可以多個(gè)字段邏輯關(guān)系校驗(yàn)。

模型關(guān)系：數(shù)據(jù)模型關(guān)系的體現(xiàn)是數(shù)據(jù)依賴，主要功能是為推導(dǎo)問(wèn)題數(shù)據(jù)影響范圍提供依據(jù)。

質(zhì)檢報(bào)告：是對(duì)任務(wù)輸出結(jié)果的樣式進(jìn)行定義的過(guò)程，主要功能是依據(jù)用戶上傳的模板生成報(bào)告。

c.任務(wù)及調(diào)度管理

該模塊提供對(duì)質(zhì)檢任務(wù)的綜合管理，是在方案模板建立基礎(chǔ)上，用戶創(chuàng)建一個(gè)任務(wù)進(jìn)行數(shù)據(jù)抽取和執(zhí)行檢查的過(guò)程。

數(shù)據(jù)抽?。横槍?duì)數(shù)據(jù)模型的物理表，將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中，導(dǎo)入可以覆蓋導(dǎo)入也可以追加導(dǎo)入。

任務(wù)執(zhí)行：根據(jù)創(chuàng)建的質(zhì)檢規(guī)則進(jìn)行數(shù)據(jù)篩查和計(jì)算的過(guò)程，執(zhí)行結(jié)束后會(huì)生成質(zhì)檢結(jié)果和評(píng)分。

d.結(jié)果及評(píng)價(jià)管理

結(jié)果及評(píng)價(jià)管理是將任務(wù)分析結(jié)果以多種形式進(jìn)行打包，主要包括結(jié)果評(píng)分、質(zhì)檢報(bào)告、結(jié)果對(duì)比和影響分析。

3）展示層

展示層的主要功能是獲取服務(wù)層結(jié)果及評(píng)價(jià)信息并進(jìn)行可視化。

2.3 數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)

系統(tǒng)數(shù)據(jù)庫(kù)采用MySQL數(shù)據(jù)庫(kù)，數(shù)據(jù)表邏輯結(jié)構(gòu)如圖3所示：

數(shù)據(jù)表之間以主鍵ID互相關(guān)聯(lián)。其中，方案表（project）、模型表（model）、字段表（model_field）、模型關(guān)系表（relation）、規(guī)則表（rule）、規(guī)則權(quán)重表（rule_weight）和任務(wù)表（task）都是通過(guò)用戶創(chuàng)建而生成的記錄表；任務(wù)執(zhí)行記錄表（task_run_log）記錄的是任務(wù)執(zhí)行信息；用戶表（user）記錄用戶信息。

圖3 數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)

3 系統(tǒng)實(shí)現(xiàn)與實(shí)例驗(yàn)證

本系統(tǒng)作為一個(gè)電力業(yè)務(wù)應(yīng)用系統(tǒng)，在平臺(tái)管理、實(shí)時(shí)數(shù)據(jù)庫(kù)等基礎(chǔ)應(yīng)用服務(wù)的基礎(chǔ)山，實(shí)現(xiàn)了數(shù)據(jù)指標(biāo)檢查、質(zhì)量校驗(yàn)、異常數(shù)據(jù)標(biāo)記、質(zhì)量評(píng)估和可視化展示等功能，為電力企業(yè)生產(chǎn)管理信息系統(tǒng)數(shù)據(jù)構(gòu)建了全方位的質(zhì)量把控應(yīng)用。

3.1 系統(tǒng)部署

系統(tǒng)部署方案如圖4所示：

圖4 系統(tǒng)部署方案

數(shù)據(jù)指標(biāo)檢查系統(tǒng)可通過(guò)反向代理服務(wù)來(lái)訪問(wèn)。靜態(tài)文件服務(wù)部署靜態(tài)資源文件，應(yīng)用服務(wù)主要服務(wù)數(shù)據(jù)質(zhì)量檢查服務(wù)，任務(wù)調(diào)度服務(wù)器主要用來(lái)管理任務(wù)執(zhí)行，應(yīng)用數(shù)據(jù)庫(kù)服務(wù)器即數(shù)據(jù)指標(biāo)檢查服務(wù)數(shù)據(jù)庫(kù)、存儲(chǔ)方案及任務(wù)數(shù)據(jù)，計(jì)算服務(wù)器是用于執(zhí)行數(shù)據(jù)指標(biāo)檢查任務(wù)的計(jì)算服務(wù)器。

3.2 數(shù)據(jù)指標(biāo)檢查流程

系統(tǒng)執(zhí)行數(shù)據(jù)指標(biāo)檢查流程主要分為三大部分：方案管理，任務(wù)調(diào)度和結(jié)果與評(píng)價(jià)。具體如圖5所示：

圖5 數(shù)據(jù)指標(biāo)檢查系統(tǒng)流程

方案是數(shù)據(jù)指標(biāo)檢查的基礎(chǔ)，首先創(chuàng)建檢查方案、模型和對(duì)應(yīng)字段，對(duì)于存在依賴關(guān)系的模型添加模型關(guān)系標(biāo)識(shí)，根據(jù)業(yè)務(wù)或者公共數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建質(zhì)檢規(guī)則，測(cè)試規(guī)則是否正確構(gòu)建，定義規(guī)則的等級(jí)權(quán)重。

然后，創(chuàng)建檢查任務(wù)，導(dǎo)入與模型字段對(duì)應(yīng)的數(shù)據(jù)表，執(zhí)行任務(wù)即可獲取結(jié)果數(shù)據(jù)，對(duì)于執(zhí)行失敗的任務(wù)，原因可能是數(shù)據(jù)格式不匹配或?qū)?yīng)規(guī)則不正確，此時(shí)，需要?jiǎng)h除任務(wù)重新創(chuàng)建。

獲取結(jié)果數(shù)據(jù)后，根據(jù)第二章所述質(zhì)檢評(píng)估方法進(jìn)行計(jì)算和統(tǒng)計(jì)獲取綜合評(píng)分和各個(gè)規(guī)則通過(guò)率，對(duì)于一個(gè)方案下存在多個(gè)任務(wù)的情況，可以將多次任務(wù)結(jié)果進(jìn)行可視化對(duì)比展示，最終生成質(zhì)檢報(bào)告，便于導(dǎo)出。

3.3 實(shí)例驗(yàn)證

系統(tǒng)以某地區(qū)電力公司變壓器參數(shù)表為例，對(duì)該數(shù)據(jù)指標(biāo)檢查系統(tǒng)進(jìn)行測(cè)試。該電力公司變壓器有干式變壓器、SF6變壓器和油浸式主變壓器三種，其中干式變壓器參數(shù)表有69個(gè)字段，SF6變壓器有85個(gè)字段，油浸式主變壓器有80個(gè)字段。根據(jù)系統(tǒng)流程，數(shù)據(jù)指標(biāo)檢查步驟如下：

1）創(chuàng)建變壓器參數(shù)檢查方案。

該方案下包含三個(gè)模型：干式變壓器參數(shù)表、SF6變壓器參數(shù)表和油浸式主變壓器參數(shù)表，創(chuàng)建規(guī)則如表1所示：

表1 變壓器參數(shù)表質(zhì)檢規(guī)則（部分）

根據(jù)電力業(yè)務(wù)需求，創(chuàng)建干式變壓器參數(shù)表質(zhì)檢規(guī)則79條，SF6變壓器參數(shù)表質(zhì)檢規(guī)則95條，油浸式主變壓器參數(shù)表質(zhì)檢規(guī)則82條。

2）根據(jù)方案創(chuàng)建并執(zhí)行變壓器參數(shù)檢查任務(wù)。

導(dǎo)入與模型相同表結(jié)構(gòu)的數(shù)據(jù)，干式變壓器參數(shù)表有155條記錄，69個(gè)字段；SF6變壓器參數(shù)表有155條記錄，85個(gè)字段；油浸式主變壓器參數(shù)表有155條記錄，80個(gè)字段。

根據(jù)數(shù)據(jù)質(zhì)量評(píng)估方法，變壓器參數(shù)檢查任務(wù)規(guī)則權(quán)重之和計(jì)算如式（4）：

式中，N（N=n1+n2+n3）表示方案下規(guī)則總數(shù)；

n1（n1=79）表示干式變壓器參數(shù)表規(guī)則條數(shù)；

n2（n2=95）表示SF6變壓器參數(shù)表規(guī)則條數(shù)；

n3（n3=82）表示油浸式主變壓器參數(shù)表規(guī)則條數(shù)。

變壓器參數(shù)檢查任務(wù)綜合得分Score計(jì)算如式（5）：

綜上，變壓器參數(shù)檢查任務(wù)綜合得分Score=97.5，即三張數(shù)據(jù)表綜合通過(guò)率為97.5%。特別說(shuō)明：得分可以只選擇部分規(guī)則進(jìn)行計(jì)算。

3）根據(jù)任務(wù)執(zhí)行結(jié)果進(jìn)行可視化并生成報(bào)告。

可視化展示除了綜合評(píng)分還包括單條質(zhì)檢規(guī)則的通過(guò)率查看和質(zhì)檢報(bào)告查看，分別如圖6、圖7所示：

圖6 變壓器參數(shù)檢查任務(wù)-評(píng)分界面

圖7 變壓器參數(shù)檢查任務(wù)-質(zhì)量評(píng)估報(bào)告

4 結(jié)語(yǔ)

電力數(shù)據(jù)質(zhì)量不僅影響電力運(yùn)維人員的工作效率，也直接影響電力系統(tǒng)業(yè)務(wù)安全運(yùn)行。為了解決現(xiàn)有生產(chǎn)管理信息系統(tǒng)記錄數(shù)據(jù)的缺失、不一致等質(zhì)量問(wèn)題導(dǎo)致的人工核查成本高和部門間數(shù)據(jù)沖突等情況，本文設(shè)計(jì)并開(kāi)發(fā)實(shí)現(xiàn)了一種基于規(guī)則的電力數(shù)據(jù)指標(biāo)檢查系統(tǒng)，根據(jù)具體電力業(yè)務(wù)建立質(zhì)量檢測(cè)規(guī)則體系，從完整性和正確性兩個(gè)角度高效并量化地檢查數(shù)據(jù)，解決電力數(shù)據(jù)質(zhì)量檢查難題，快速地將缺失數(shù)據(jù)和不一致數(shù)據(jù)精準(zhǔn)地標(biāo)記出來(lái)，并在數(shù)據(jù)可信度和數(shù)據(jù)影響范圍方面給出量化評(píng)分和可視化展現(xiàn)。實(shí)際應(yīng)用表明，該系統(tǒng)為電力企業(yè)提供了高效、高質(zhì)量的數(shù)據(jù)指標(biāo)檢查服務(wù)，實(shí)現(xiàn)了對(duì)電力數(shù)據(jù)的規(guī)范化梳理和整治。未來(lái)該系統(tǒng)還將針對(duì)電力業(yè)務(wù)數(shù)據(jù)擴(kuò)展統(tǒng)計(jì)分析和修復(fù)推薦等功能。